検知システムおよびその信号処理方法、プログラム
【課題】光源または光源に照射された被写体の状態を検知できることはもとより、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができ、時間的な要因に左右されず、目的の検出対象を高精度で検出することが可能な検知システムおよびその信号処理方法、プログラムを提供する。
【解決手段】演算部１３４の演算結果により光源を抽出しているか否かを判定する光源抽出判定部１３６と、光源抽出判定部１３６の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部１３７と、遮断発生位置抽出部１３７の抽出結果により遮断発生数をカウントする遮断発生数カウント部１３８と、遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部１３９と、を含む。
【解決手段】演算部１３４の演算結果により光源を抽出しているか否かを判定する光源抽出判定部１３６と、光源抽出判定部１３６の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部１３７と、遮断発生位置抽出部１３７の抽出結果により遮断発生数をカウントする遮断発生数カウント部１３８と、遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部１３９と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。
【背景技術】
【０００２】
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
【０００３】
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
【０００４】
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
【０００５】
また、従来監視カメラシステムにおいて、移動物体の検知を行う手法として背景差分法やフレーム間差分法が知られている。
背景差分法では、たとえば屋内に固定されたカメラによって撮影された移動物体を含んでいない画像、すなわち背景画像を取得し、その背景画像とカメラによって撮影される動画像の各フレームとの比較から差分画像を求めることで移動物体の検知を行う。
フレーム間差分法では、カメラによって撮影される動画像の連続する２フレームｆt-1、ｆtの差分を求める。静止物体についてはフレーム間の差分が０となるため、この方法においても移動物体を検知することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３０１９３０９号公報
【特許文献２】特開２００８−１４１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記検知システムでは、光源または光源に照射された被写体の検知において、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができない場合がある。
【０００８】
また、背景差分法およびフレーム間差分法には以下に挙げるような問題点がある。
背景差分法では、たとえば撮影を行うカメラを屋外に設置した場合に、天候や日照等の時間的に変化する撮像画像によって背景を容易に決定することができない。
フレーム間差分法では、たとえばカメラの目前に物が置かれた場合その瞬間の差分は抽出されるが、その後フレーム間の差分は無くなるため検知が行えなくなる。このとき、カメラの撮像映像が目的とする映像かどうかの判定は困難であり、人によるカメラ映像の確認が必要となる。
【０００９】
また、両方法に共通して、移動物体全てを検知するため特定の検知対象、たとえば人間を検知したいといった場合に、落ち葉や風で飛ばされたゴミ等の外乱を検出し誤検知に繋がることがある。
両方法では、画像中の差分を抽出するため、移動物体と背景の色や明るさが近い場合検知できないことがある。
そのため天候や日照等の時間的な要因に左右されず、目的の検出対象を高精度で検出し、それ以外の移動物体に対しては検知を行わない動体検知システムが求められている。
【００１０】
本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができ、時間的な要因に左右されず、目的の検出対象を高精度で検出することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、上記信号処理部は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、検出可能な光源の位置を記憶する光源位置記憶部と、上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記光源位置記憶部から取得した光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算部と、上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、上記光源抽出判定部の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部と、上記遮断発生位置抽出部の抽出結果により遮断発生数をカウントする遮断発生数カウント部と、上記遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部と、を含む。
【００１２】
本発明の第２の観点の検知システムの信号処理方法は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、上記信号処理ステップは、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算ステップと、上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出ステップと、上記遮断発生位置抽出ステップの抽出結果により遮断発生数をカウントする遮断発生数カウントステップと、上記遮断発生数カウントステップのカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定ステップと、を含む。
【００１３】
本発明の第３の観点は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、上記信号処理は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算処理と、上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出処理と、上記遮断発生位置抽出処理の抽出結果により遮断発生数をカウントする遮断発生数カウント処理と、上記遮断発生数カウント処理のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定処理と、を含む検知システムの信号処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１４】
本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができ、時間的な要因に左右されず、目的の検出対象を高精度で検出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る検知システムの構成例を示す図である。
【図２】本実施形態に係る光源位置記憶部に記憶される光源位置と演算範囲を関連付けて示す図である。
【図３】被写体を含むカメラ（撮像装置）の撮像範囲の一例を示す図である。
【図４】カメラ（撮像装置）の基本構成を示す図である。
【図５】１画素あたりの撮像範囲ＩＲＮＧと遮断発生数との関連から遮断物の情報を得る具体例を説明するための図である。
【図６】遮断の位置情報による判定について説明するための撮像映像の一例を示す図である。
【図７】本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【図８】図７のＣＣＤの時系列を説明するための図である。
【図９】単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
【図１０】奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【図１１】本実施形態に係る第１の演算部および第２の演算部における輝度信号の信号処理法を説明するためのタイミングチャートである。
【図１２】光源に含まれる周波数成分についての波形Ｗ６を示す図である。
【図１３】デューティー比Ｄと２乗和ＳＡＣＢＤとの関係の一例を示す図である。
【図１４】本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面に関連づけて説明する。
【００１７】
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
【００１８】
本検知システム１０は、光源１１、撮像装置１２、および信号処理部１３を有する。
本実施形態において、撮像装置１２は、撮像装置の走査面周期の所定倍で変化する光源またはその光源によって照射された被写体（以下光源に含む）を撮像する。
信号処理部１３は、撮像装置１２から取得した出力信号を処理し、光源１１を安定して検知している状況において検知が行えなかった時に、光源１１と撮像装置１２の間の領域に移動物体が侵入したことを検知する。このとき光源１１は複数個あってもよい。
【００１９】
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
【００２０】
本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１によって照明された被写体を撮像し、撮像して得られた撮像信号を信号処理部１３の輝度信号抽出部に出力する。
【００２１】
信号処理部１３は、輝度信号抽出部１３１、第１の演算部（Ａ）１３２、第２の演算部（Ｂ）１３３、演算処理部（時間平均２乗和演算処理部）１３４、および光源位置記憶部１３５、光源抽出判定部１３６を含む。
さらに、信号処理部１３は、遮断発生位置抽出部１３７、遮断発生数カウント部１３８、遮断情報判定部１３９、判定テーブル部１４０、および出力部１４１を含んで構成されている。
【００２２】
信号処理部１３の輝度信号抽出部１３１は、入力された信号から輝度信号を抽出し、この輝度信号を第１の演算部１３２および第２の演算部１３３に出力する。
輝度信号抽出部１３３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１３２、第２の演算部１３３、演算処理部１３４の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３１は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
【００２３】
第１の演算部１３２は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１３２の出力結果Ａは、演算処理部１３４に出力される。
第２の演算部１３３は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１３３の出力結果Ｂは、演算処理部１３４に出力される。
なお、この第１の演算部１３２と第２の演算部１３３の動作の詳細については後述する。
【００２４】
第１の演算部１３２と第２の演算部１３３からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１３４に入力される。
演算処理部１３４は、光源位置記憶部１３５から取得した光源１１の位置において演算を行って、被写体の周数成分の検出値を求める。
演算処理部１３４は出力結果の検出値としての２乗和の値（Ａ２＋Ｂ２）を求め、その結果を光源抽出判定部１３６に出力する。
【００２５】
図２は、本実施形態に係る光源位置記憶部１３５に記憶される光源位置と演算範囲を関連付けて示す図である。
光源位置記憶部１３５は、図２に示すように、安定検出されている光源１１−１，１１−２の位置が記憶されている。
演算処理部１３４は、その位置情報で形成される座標情報等に指定される演算範囲ＲＮＧ１、ＲＮＧ２で上記した演算処理を行う。
演算範囲ＲＮＧ１は、｛（Ｘｓ１，Ｙｓ１）−（Ｘｅ１，Ｙｅ１）｝で与えられる。
演算範囲ＲＮＧ２は、｛（Ｘｓ２，Ｙｓ２）−（Ｘｅ２，Ｙｅ２）｝で与えられる。
【００２６】
光源抽出判定部１３６は、演算処理部１３４の演算結果から、閾値での判定により光源を抽出しているか否かの判定を行い、判定結果を遮断発生位置抽出部１３７に出力する。
このとき、光源１１と撮像装置１２の間に遮断物が存在すると、その演算結果は０に近い値を取り光源１１が抽出されていないものと判定される。
【００２７】
遮断発生位置抽出部１３７は、光源抽出判定部１３６の判定結果から光源１１が抽出されていない、すなわち遮断が発生していると判定された位置を検出し、検出結果を遮断発生数カウント部１３８に出力する。
【００２８】
遮断発生数カウント部１３８は、遮断が発生した回数をカウントし、カウント値を遮断情報判定部１３９に出力する。
ここで発生数とは映像信号におけるフレーム数のことであり、遮断が発生したフレームの枚数をカウントする。
具体的には、たとえばＮＴＳＣではフレームレートが３０ＦＰＳと規定されており、１秒間の遮断であれば３０回、０．５秒の間遮断されれば１５回カウントされる。
【００２９】
遮断情報判定部１３９は、遮断発生位置抽出部１３７および遮断発生数カウント部１３８での結果から、判定テーブル部１４０のテーブルを参照して遮断物に関する情報を抽出し判定を行う。
【００３０】
ここで遮断物に関する情報の抽出に関連して、撮像装置１２であるカメラで撮像された移動物体の幅や速度、カメラとの距離といった移動物体の情報と、カメラの映像における画素との関係について説明する。
以下の説明では、撮像装置１２をカメラとして説明する。
【００３１】
［移動物体の情報と、カメラの映像における画素との関係］
まず、カメラと被写体、およびその構成や設置に関連する各パラメータを図３および図４に示すように定義する。
図３は、被写体ＯＢＪを含むカメラ（撮像装置）１２の撮像範囲の一例を示す図である。
図４は、カメラ（撮像装置）１２の基本構成を示す図である。
【００３２】
図３に示すように、撮像範囲ＩＲＮＧは（幅Ｗ×高さＨ）の大きさであり、１画素当たりの撮像範囲ＰＲＮＧは（幅Ｗｐｉｘｅｌ×高さＨｐｉｘｅｌ）の大きさである。
カメラ（撮像装置）１２は、レンズ１２１およびイメージセンサ（固体撮像素子）１２２を有する。レンズ１２１から被写体ＯＢＪまでの距離はＬ、レンズ１２１の焦点距離はｆに設定される。
イメージセンサ１２２は、センサ幅はＷＩＳ、センサ高さはＨＩＳ、画素配列（横）はａｒｒａｙＷ、画素配列（縦）はａｒｒａｙＨに設定される。
単位はａｒｒａｙＷ、ａｒｒａｙＨについては（ｄｏｔ）、その他は（ｍ）であるものとする。
【００３３】
各パラメータの相関は式（１）、（２）のように表わされる。
【００３４】
【数１】
【００３５】
また、１画素あたりの撮像範囲ＩＲＮＧは式（３）、（４）で表わされる。
【００３６】
【数２】
【００３７】
以上のことから、式（３）、（４）と先に述べた遮断発生数との関連から遮断物の情報を得ることができる。
【００３８】
その具体例を図５に関連付けて説明する。
図５は、１画素あたりの撮像範囲ＩＲＮＧと遮断発生数との関連から遮断物の情報を得る具体例を説明するための図である。
【００３９】
まず、カメラ（撮像装置）１２と光源１１の間を移動物体ＭＯＢＪが通過した場合、光源１１が完全に遮断されそれが検知されるには次に挙げる条件が必要となる。
第１は、移動物体ＭＯＢＪはカメラ（撮像装置）１２で撮像された映像中にて、光源１１の検知範囲Ｍｎよりも大きいことである。
第２は、移動物体ＭＯＢＪの速度ｖは、規定のフレームレートにおいて最低１フレーム光源を遮断する速度であることである。
【００４０】
たとえば今、フレームレート３０（ＦＰＳ）のカメラ１２によって撮像された映像中で光源１１が検知されており、その範囲は［ｎ（dot）×ｍ（dot）]（x軸方向×y軸方向）となっているものとする。
このとき、幅ｂ（ｍ）の移動物体が速度ｖ（ｍ/ｓ）でｘ軸方向に移動し光源１１とカメラ１２の間を横切るものとすると、その遮断発生数は次のようになる。まず、幅ｂを画素数に変換すると、次のようになる。
【００４１】
【数３】
【００４２】
また、速度ｖについても画素およびフレームでの値に変換すると、次にようになる。
【００４３】
【数４】
【００４４】
このとき、光源１１が完全に遮断されるには上記条件から次のようになる
【００４５】
【数５】
【００４６】
また、このときカウントされる遮断発生数Ｉは、次式で与えられる。
【００４７】
【数６】
【００４８】
これらは、ｙ軸方向についても同様である。
【００４９】
以上のことから遮断情報判定部１３９は、まずその遮断発生数Ｉにより検知対象が目的の移動物体ＭＯＢＪかどうかの判定を行う。
たとえば今、人の通過を検知する場合を考える。
カメラ１２と光源１１の幅は１０（ｍ）とし、光源は[２０（dot）×２０（dot）]で認識されており、その他各パラメータは次に示すとおりであるとする。
【００５０】
【数７】
【００５１】
今、人が光源１１の直前を通過したものとすると、その時の遮断発生数Ｉは次式で与えられる。
【００５２】
【数８】
【００５３】
このときの速度ｖと遮断発生数Ｉの関係は表１に示すようになる。
【００５４】
【表１】
【００５５】
人の歩行速度は４（km/h）＝１．１（m/s）程度とされており、このとき最低４フレームの遮断が検出される。
このような速度ｖと遮断発生数Ｉの関連からこれらの値をテーブルとして、自分が目的とする速度ｖで移動する人をその遮断発生数Ｉから検知することができる。
【００５６】
［遮断の位置情報による判定］
次に、遮断の位置情報による判定について説明する。
図６は、遮断の位置情報による判定について説明するための撮像映像の一例を示す図である。
【００５７】
まず、光源１１とカメラ（撮像装置）１２の設置において、光源１１の形状や位置、個数は撮像映像中において任意である。
今、撮像映像が図６のようになっているものとする。
【００５８】
光源１１は移動物体ＭＯＢＪである人の胸と膝のあたりに設置されており、人がこの間を通過すると光源１１−１と１１−３もしくは光源１１−２と１１−４の縦方向の２つの光源が同時に遮断されるように配置されている。
このとき、木の葉ＬＶＳが落ちてきたとすると、その大きさから２つ同時に遮断されることはない。
また、小動物ＳＡＭが通過した場合に、その設置高さから光源１１−１および１１−２が遮断されることはない。
また、光源１１は各々について認識されているため、小動物ＳＡＭが光源１１−３の前に停滞し光源を遮断し続けていた場合に木の葉ＬＶＳが光源１１−１を遮断した場合にも、その遮断が発生したタイミングや遮断発生数Ｉの違いから人かどうかの判定が可能である。
また、カメラ１２の前に物が置かれたり、カメラ１２に布が被せられた場合に多数の光源１１が遮断され続けるため、目的とする映像かどうかの判定が可能である。また、隣り合う光源１１の遮断発生のタイミングから、人が通過した場合の移動方向も検知することができる。
【００５９】
これらの処理においては、一つの光源１１であってもその形状、たとえば光源１１−２と１１−４を繋げた縦長の光源等でも実現できるため、その個数は複数に限定されない。これらの項目においてそれぞれ判定テーブルを用いることで検知の精度を向上させることができる。
【００６０】
以上のことから遮断情報判定部１３９は、遮断発生位置および遮断発生数Ｉを基に移動物体検知の判定を行う。
【００６１】
出力部１４１は、遮断情報判定部１３９の判定結果からその情報を出力する。その出力はＬＥＤの点灯であったり、ディスプレイへの表示等形式は問わない。
【００６２】
以上の結果より、以下の効果を得ることができる。
光源１１を認識しその遮断を検知するため、天候や日照などの時間的変化に左右されない。
光源１１とカメラ（撮像装置）１２の間に常駐する遮断物が発生した場合、常に遮断判定が出されるため目的の映像が撮像されているかどうかリアルタイムで判定可能である。
遮断発生数のカウント、またカメラと光源の設置方法により目的とする検知対象と落ち葉やゴミといった外乱との区別ができる。
点滅光源の周波数を検知しているため、移動物体の色や明るさに左右されずに検知を行うことができる。
【００６３】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
【００６４】
図７は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【００６５】
図７のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
【００６６】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に転送される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に転送された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力される。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４ＫＨｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
【００６７】
図８は、図７のＣＣＤ２０の時系列を説明するための図である。
【００６８】
図８に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図８から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
【００６９】
さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３１で輝度信号が抽出され、この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力される。
ここで、本実施例に係るＣＣＤ２０（図７を参照）からの画素の読み出し方法について説明する。
【００７０】
図９は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図１０は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【００７１】
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図９に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図１０に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
【００７２】
図９の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
【００７３】
以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が第１の演算部１３２および第２の演算部１３３に入力される。この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力されて所定の処理が行われる。
【００７４】
次に、第１の演算部１３２および第２の演算部１３３で行われる輝度信号の処理方法について図１１に関連付けて説明する。
【００７５】
図１１は、本実施形態に係る第１の演算部１３２および第２の演算部１３３における輝度信号の信号処理法を説明するためのタイミングチャートである。
【００７６】
図１１（Ａ）は、撮像装置１２１のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図１１（Ｂ）〜（Ｅ）はそれぞれ、演算部で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図１１（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図１１（Ａ）に示すように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
【００７７】
図１１（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図１１（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図１１（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
【００７８】
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１３２で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１３３で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
【００７９】
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図１１（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図１１（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
【００８０】
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
【００８１】
【数９】
【００８２】
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（９）式と（１０）式より、波形Ｗ３は（１２）式のように表せる。
【００８３】
【数１０】
【００８４】
ところで、図１１（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（１３）式のような正弦波で表せる。
【００８５】
【数１１】
【００８６】
（１２）式によって表される波形Ｗ３に（１３）式で表せる正弦波Ｗ５を掛けると（１５）式となる。
【００８７】
【数１２】
【００８８】
次に、時刻０から時刻Ｔまでにおける（１５）式の時間平均をとる。（１５）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（１５）式のようになる。
【００８９】
【数１３】
【００９０】
このようにして、時間平均ＳＡＣが第１の演算部１３２にて求まる。時間平均ＳＢＤも同様にして第２の演算部１３３にて求められ、（１７）式で表される。
【００９１】
【数１４】
【００９２】
さて、（１６）式と（１７）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ２＋ＳＢＤ２）は（１８）式で表される。
【００９３】
【数１５】
【００９４】
この（１８）式より、ＣＣＤ２０（図７を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１８）式で表される波形の成分が検出される。
【００９５】
次に、光源１１に含まれる周波数成分について考察する。
図１２は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
【００９６】
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１９）式のようにフーリエ級数の一般式で表される。
【００９７】
【数１６】
【００９８】
（１９）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（２０）〜（２２）式のように求まる。
【００９９】
【数１７】
【０１００】
したがって、波形Ｗ６のフーリエ級数は、（２３）式で表される。
【０１０１】
【数１８】
【０１０２】
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（１５）式と（２３）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（２４）式のようになる。
【０１０３】
【数１９】
【０１０４】
光源１１の点灯のデューティー比をＤとすると（２５）式で表される。
【０１０５】
【数２０】
【０１０６】
よって、（２４）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（２５）式を用いると（２６）式のようになる。
【０１０７】
【数２１】
【０１０８】
ところで、以下に示す（２６）式の右辺の項（２７）は収束する。
【０１０９】
【数２２】
【０１１０】
この（２６）式の右辺の項（２７）は、デューティー比Ｄに対し、表２のような値をとる。以下に、表２を示す。
【０１１１】
【表２】
【０１１２】
表２に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１３に示すようになる。
【０１１３】
図１３より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（２６）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
【０１１４】
［数２３］
ＳＡＣ２＋ＳＢＤ２＝０．０８３３３Ｌ１２ …（２８）
【０１１５】
（２８）式に示すように、演算処理部１３４は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）は光源抽出判定部１３６にて光源を抽出処理の判定に用いられる。
【０１１６】
本実施形態に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
【０１１７】
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。
【０１１８】
［数２４］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ …（２９）
【０１１９】
（１５）式と（２３）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
【０１２０】
表３は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【０１２１】
【表３】
【０１２２】
表３のｆ１は（１３）式の正弦波の有する周波数で、ｆ２は（２９）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表３によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
【０１２３】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
【０１２４】
【数２５】
したがって、（３０）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示していない信号処理で別に除去できる。
【０１２５】
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【０１２６】
以下に、本実施形態に係る検知システムの一連の動作を図１４に関連付けて説明する。
【０１２７】
図１４は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【０１２８】
たとえば、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３１で輝度信号を取得し（ＳＴ２）、この輝度信号を第１の演算部１３２と第２の演算部１３３に出力する。
ここで、検出位置が決定され（ＳＴ３）、第１の演算部１３２にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１３３にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ４）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１３４に出力される。
次いで、演算処理部１３４にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ５）、その結果が光源抽出判定部１３６に出力される。
【０１２９】
光源抽出判定部１３６においては、演算処理部１３４の演算結果から、閾値での判定により光源を抽出しているか否かの判定が行われ（ＳＴ６）、判定結果を遮断発生位置抽出部１３７に出力される。
このとき、光源１１と撮像装置１２の間に遮断物が存在すると、その演算結果は０に近い値を取り光源１１が抽出されていないものと判定される。
ステップＳＴ６において、光源が抽出されていないと判定されると、遮断発生位置抽出部１３７において、光源抽出判定部１３６の判定結果から光源１１が抽出されていない、すなわち遮断が発生していると判定された位置が検出され（ＳＴ７）、検出結果を遮断発生数カウント部１３８に出力される。
遮断発生数カウント部１３８においては、遮断が発生した回数がカウント（＋１され）され（ＳＴ８）、カウント値が遮断情報判定部１３９に出力される。
ステップＳＴ６において、光源が抽出されていると判定されると、遮断発生位置抽出部１３７により遮断発生数カウント部１３８の遮断発生数Ｉがクリアされる（ＳＴ９）。
そして、遮断情報判定部１３９において、遮断発生位置抽出部１３７および遮断発生数カウント部１３８での結果から、判定テーブル部１４０のテーブルを参照して遮断物に関する情報が抽出され、判定が行われ（ＳＴ１０）、判定結果が出力部１４１から出力される（ＳＴ１１）。
【０１３０】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【０１３１】
光源を認識しその遮断を検知するため、天候や日照などの時間的変化に左右されない。
光源とカメラ（撮像装置）の間に常駐する遮断物が発生した場合、常に遮断判定が出されるため目的の映像が撮像されているかどうかリアルタイムで判定可能である。
遮断発生数のカウント、またカメラと光源の設置方法により目的とする検知対象と落ち葉やゴミといった外乱との区別ができる。
点滅光源の周波数を検知しているため、移動物体の色や明るさに左右されずに検知を行うことができる。
そして、本実施形態に係る検知システムによれば、カメラを用いた移動物体の検知において、天候や日照等の時間的要因に左右されず、非検知時に撮像状態の異常を検知することができ、目的の検知対象以外の外乱とを区別することができ、移動物体を高精度で検知することができる。
【０１３２】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【０１３３】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【０１３４】
本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１３５】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【０１３６】
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１３７】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１３８】
１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・信号処理部、１３１・・・輝度信号抽出部、１３２・・・第１の演算部（Ａ）、１３３・・・第２の演算部（Ｂ）、１３４・・・演算処理部（時間平均２乗和演算処理部）、１３５・・・光源位置記憶部、１３６・・・光源抽出判定部、１３７・・・遮断発生位置抽出部、１３８・・・遮断発生数カウント部、１３９・・・遮断情報判定部、１４０・・・判定テーブル部、１４１・・・出力部。
【技術分野】
【０００１】
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。
【背景技術】
【０００２】
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
【０００３】
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
【０００４】
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
【０００５】
また、従来監視カメラシステムにおいて、移動物体の検知を行う手法として背景差分法やフレーム間差分法が知られている。
背景差分法では、たとえば屋内に固定されたカメラによって撮影された移動物体を含んでいない画像、すなわち背景画像を取得し、その背景画像とカメラによって撮影される動画像の各フレームとの比較から差分画像を求めることで移動物体の検知を行う。
フレーム間差分法では、カメラによって撮影される動画像の連続する２フレームｆt-1、ｆtの差分を求める。静止物体についてはフレーム間の差分が０となるため、この方法においても移動物体を検知することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３０１９３０９号公報
【特許文献２】特開２００８−１４１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記検知システムでは、光源または光源に照射された被写体の検知において、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができない場合がある。
【０００８】
また、背景差分法およびフレーム間差分法には以下に挙げるような問題点がある。
背景差分法では、たとえば撮影を行うカメラを屋外に設置した場合に、天候や日照等の時間的に変化する撮像画像によって背景を容易に決定することができない。
フレーム間差分法では、たとえばカメラの目前に物が置かれた場合その瞬間の差分は抽出されるが、その後フレーム間の差分は無くなるため検知が行えなくなる。このとき、カメラの撮像映像が目的とする映像かどうかの判定は困難であり、人によるカメラ映像の確認が必要となる。
【０００９】
また、両方法に共通して、移動物体全てを検知するため特定の検知対象、たとえば人間を検知したいといった場合に、落ち葉や風で飛ばされたゴミ等の外乱を検出し誤検知に繋がることがある。
両方法では、画像中の差分を抽出するため、移動物体と背景の色や明るさが近い場合検知できないことがある。
そのため天候や日照等の時間的な要因に左右されず、目的の検出対象を高精度で検出し、それ以外の移動物体に対しては検知を行わない動体検知システムが求められている。
【００１０】
本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができ、時間的な要因に左右されず、目的の検出対象を高精度で検出することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、上記信号処理部は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、検出可能な光源の位置を記憶する光源位置記憶部と、上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記光源位置記憶部から取得した光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算部と、上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、上記光源抽出判定部の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部と、上記遮断発生位置抽出部の抽出結果により遮断発生数をカウントする遮断発生数カウント部と、上記遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部と、を含む。
【００１２】
本発明の第２の観点の検知システムの信号処理方法は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、上記信号処理ステップは、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算ステップと、上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出ステップと、上記遮断発生位置抽出ステップの抽出結果により遮断発生数をカウントする遮断発生数カウントステップと、上記遮断発生数カウントステップのカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定ステップと、を含む。
【００１３】
本発明の第３の観点は、光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、上記信号処理は、上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算処理と、上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出処理と、上記遮断発生位置抽出処理の抽出結果により遮断発生数をカウントする遮断発生数カウント処理と、上記遮断発生数カウント処理のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定処理と、を含む検知システムの信号処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１４】
本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、撮像装置と光源の間の遮断物によって検知が行えない場合に、その遮断情報を検出することができ、時間的な要因に左右されず、目的の検出対象を高精度で検出することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る検知システムの構成例を示す図である。
【図２】本実施形態に係る光源位置記憶部に記憶される光源位置と演算範囲を関連付けて示す図である。
【図３】被写体を含むカメラ（撮像装置）の撮像範囲の一例を示す図である。
【図４】カメラ（撮像装置）の基本構成を示す図である。
【図５】１画素あたりの撮像範囲ＩＲＮＧと遮断発生数との関連から遮断物の情報を得る具体例を説明するための図である。
【図６】遮断の位置情報による判定について説明するための撮像映像の一例を示す図である。
【図７】本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【図８】図７のＣＣＤの時系列を説明するための図である。
【図９】単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
【図１０】奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【図１１】本実施形態に係る第１の演算部および第２の演算部における輝度信号の信号処理法を説明するためのタイミングチャートである。
【図１２】光源に含まれる周波数成分についての波形Ｗ６を示す図である。
【図１３】デューティー比Ｄと２乗和ＳＡＣＢＤとの関係の一例を示す図である。
【図１４】本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態を図面に関連づけて説明する。
【００１７】
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
【００１８】
本検知システム１０は、光源１１、撮像装置１２、および信号処理部１３を有する。
本実施形態において、撮像装置１２は、撮像装置の走査面周期の所定倍で変化する光源またはその光源によって照射された被写体（以下光源に含む）を撮像する。
信号処理部１３は、撮像装置１２から取得した出力信号を処理し、光源１１を安定して検知している状況において検知が行えなかった時に、光源１１と撮像装置１２の間の領域に移動物体が侵入したことを検知する。このとき光源１１は複数個あってもよい。
【００１９】
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
【００２０】
本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１によって照明された被写体を撮像し、撮像して得られた撮像信号を信号処理部１３の輝度信号抽出部に出力する。
【００２１】
信号処理部１３は、輝度信号抽出部１３１、第１の演算部（Ａ）１３２、第２の演算部（Ｂ）１３３、演算処理部（時間平均２乗和演算処理部）１３４、および光源位置記憶部１３５、光源抽出判定部１３６を含む。
さらに、信号処理部１３は、遮断発生位置抽出部１３７、遮断発生数カウント部１３８、遮断情報判定部１３９、判定テーブル部１４０、および出力部１４１を含んで構成されている。
【００２２】
信号処理部１３の輝度信号抽出部１３１は、入力された信号から輝度信号を抽出し、この輝度信号を第１の演算部１３２および第２の演算部１３３に出力する。
輝度信号抽出部１３３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１３２、第２の演算部１３３、演算処理部１３４の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３１は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
【００２３】
第１の演算部１３２は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１３２の出力結果Ａは、演算処理部１３４に出力される。
第２の演算部１３３は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１３３の出力結果Ｂは、演算処理部１３４に出力される。
なお、この第１の演算部１３２と第２の演算部１３３の動作の詳細については後述する。
【００２４】
第１の演算部１３２と第２の演算部１３３からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１３４に入力される。
演算処理部１３４は、光源位置記憶部１３５から取得した光源１１の位置において演算を行って、被写体の周数成分の検出値を求める。
演算処理部１３４は出力結果の検出値としての２乗和の値（Ａ２＋Ｂ２）を求め、その結果を光源抽出判定部１３６に出力する。
【００２５】
図２は、本実施形態に係る光源位置記憶部１３５に記憶される光源位置と演算範囲を関連付けて示す図である。
光源位置記憶部１３５は、図２に示すように、安定検出されている光源１１−１，１１−２の位置が記憶されている。
演算処理部１３４は、その位置情報で形成される座標情報等に指定される演算範囲ＲＮＧ１、ＲＮＧ２で上記した演算処理を行う。
演算範囲ＲＮＧ１は、｛（Ｘｓ１，Ｙｓ１）−（Ｘｅ１，Ｙｅ１）｝で与えられる。
演算範囲ＲＮＧ２は、｛（Ｘｓ２，Ｙｓ２）−（Ｘｅ２，Ｙｅ２）｝で与えられる。
【００２６】
光源抽出判定部１３６は、演算処理部１３４の演算結果から、閾値での判定により光源を抽出しているか否かの判定を行い、判定結果を遮断発生位置抽出部１３７に出力する。
このとき、光源１１と撮像装置１２の間に遮断物が存在すると、その演算結果は０に近い値を取り光源１１が抽出されていないものと判定される。
【００２７】
遮断発生位置抽出部１３７は、光源抽出判定部１３６の判定結果から光源１１が抽出されていない、すなわち遮断が発生していると判定された位置を検出し、検出結果を遮断発生数カウント部１３８に出力する。
【００２８】
遮断発生数カウント部１３８は、遮断が発生した回数をカウントし、カウント値を遮断情報判定部１３９に出力する。
ここで発生数とは映像信号におけるフレーム数のことであり、遮断が発生したフレームの枚数をカウントする。
具体的には、たとえばＮＴＳＣではフレームレートが３０ＦＰＳと規定されており、１秒間の遮断であれば３０回、０．５秒の間遮断されれば１５回カウントされる。
【００２９】
遮断情報判定部１３９は、遮断発生位置抽出部１３７および遮断発生数カウント部１３８での結果から、判定テーブル部１４０のテーブルを参照して遮断物に関する情報を抽出し判定を行う。
【００３０】
ここで遮断物に関する情報の抽出に関連して、撮像装置１２であるカメラで撮像された移動物体の幅や速度、カメラとの距離といった移動物体の情報と、カメラの映像における画素との関係について説明する。
以下の説明では、撮像装置１２をカメラとして説明する。
【００３１】
［移動物体の情報と、カメラの映像における画素との関係］
まず、カメラと被写体、およびその構成や設置に関連する各パラメータを図３および図４に示すように定義する。
図３は、被写体ＯＢＪを含むカメラ（撮像装置）１２の撮像範囲の一例を示す図である。
図４は、カメラ（撮像装置）１２の基本構成を示す図である。
【００３２】
図３に示すように、撮像範囲ＩＲＮＧは（幅Ｗ×高さＨ）の大きさであり、１画素当たりの撮像範囲ＰＲＮＧは（幅Ｗｐｉｘｅｌ×高さＨｐｉｘｅｌ）の大きさである。
カメラ（撮像装置）１２は、レンズ１２１およびイメージセンサ（固体撮像素子）１２２を有する。レンズ１２１から被写体ＯＢＪまでの距離はＬ、レンズ１２１の焦点距離はｆに設定される。
イメージセンサ１２２は、センサ幅はＷＩＳ、センサ高さはＨＩＳ、画素配列（横）はａｒｒａｙＷ、画素配列（縦）はａｒｒａｙＨに設定される。
単位はａｒｒａｙＷ、ａｒｒａｙＨについては（ｄｏｔ）、その他は（ｍ）であるものとする。
【００３３】
各パラメータの相関は式（１）、（２）のように表わされる。
【００３４】
【数１】
【００３５】
また、１画素あたりの撮像範囲ＩＲＮＧは式（３）、（４）で表わされる。
【００３６】
【数２】
【００３７】
以上のことから、式（３）、（４）と先に述べた遮断発生数との関連から遮断物の情報を得ることができる。
【００３８】
その具体例を図５に関連付けて説明する。
図５は、１画素あたりの撮像範囲ＩＲＮＧと遮断発生数との関連から遮断物の情報を得る具体例を説明するための図である。
【００３９】
まず、カメラ（撮像装置）１２と光源１１の間を移動物体ＭＯＢＪが通過した場合、光源１１が完全に遮断されそれが検知されるには次に挙げる条件が必要となる。
第１は、移動物体ＭＯＢＪはカメラ（撮像装置）１２で撮像された映像中にて、光源１１の検知範囲Ｍｎよりも大きいことである。
第２は、移動物体ＭＯＢＪの速度ｖは、規定のフレームレートにおいて最低１フレーム光源を遮断する速度であることである。
【００４０】
たとえば今、フレームレート３０（ＦＰＳ）のカメラ１２によって撮像された映像中で光源１１が検知されており、その範囲は［ｎ（dot）×ｍ（dot）]（x軸方向×y軸方向）となっているものとする。
このとき、幅ｂ（ｍ）の移動物体が速度ｖ（ｍ/ｓ）でｘ軸方向に移動し光源１１とカメラ１２の間を横切るものとすると、その遮断発生数は次のようになる。まず、幅ｂを画素数に変換すると、次のようになる。
【００４１】
【数３】
【００４２】
また、速度ｖについても画素およびフレームでの値に変換すると、次にようになる。
【００４３】
【数４】
【００４４】
このとき、光源１１が完全に遮断されるには上記条件から次のようになる
【００４５】
【数５】
【００４６】
また、このときカウントされる遮断発生数Ｉは、次式で与えられる。
【００４７】
【数６】
【００４８】
これらは、ｙ軸方向についても同様である。
【００４９】
以上のことから遮断情報判定部１３９は、まずその遮断発生数Ｉにより検知対象が目的の移動物体ＭＯＢＪかどうかの判定を行う。
たとえば今、人の通過を検知する場合を考える。
カメラ１２と光源１１の幅は１０（ｍ）とし、光源は[２０（dot）×２０（dot）]で認識されており、その他各パラメータは次に示すとおりであるとする。
【００５０】
【数７】
【００５１】
今、人が光源１１の直前を通過したものとすると、その時の遮断発生数Ｉは次式で与えられる。
【００５２】
【数８】
【００５３】
このときの速度ｖと遮断発生数Ｉの関係は表１に示すようになる。
【００５４】
【表１】
【００５５】
人の歩行速度は４（km/h）＝１．１（m/s）程度とされており、このとき最低４フレームの遮断が検出される。
このような速度ｖと遮断発生数Ｉの関連からこれらの値をテーブルとして、自分が目的とする速度ｖで移動する人をその遮断発生数Ｉから検知することができる。
【００５６】
［遮断の位置情報による判定］
次に、遮断の位置情報による判定について説明する。
図６は、遮断の位置情報による判定について説明するための撮像映像の一例を示す図である。
【００５７】
まず、光源１１とカメラ（撮像装置）１２の設置において、光源１１の形状や位置、個数は撮像映像中において任意である。
今、撮像映像が図６のようになっているものとする。
【００５８】
光源１１は移動物体ＭＯＢＪである人の胸と膝のあたりに設置されており、人がこの間を通過すると光源１１−１と１１−３もしくは光源１１−２と１１−４の縦方向の２つの光源が同時に遮断されるように配置されている。
このとき、木の葉ＬＶＳが落ちてきたとすると、その大きさから２つ同時に遮断されることはない。
また、小動物ＳＡＭが通過した場合に、その設置高さから光源１１−１および１１−２が遮断されることはない。
また、光源１１は各々について認識されているため、小動物ＳＡＭが光源１１−３の前に停滞し光源を遮断し続けていた場合に木の葉ＬＶＳが光源１１−１を遮断した場合にも、その遮断が発生したタイミングや遮断発生数Ｉの違いから人かどうかの判定が可能である。
また、カメラ１２の前に物が置かれたり、カメラ１２に布が被せられた場合に多数の光源１１が遮断され続けるため、目的とする映像かどうかの判定が可能である。また、隣り合う光源１１の遮断発生のタイミングから、人が通過した場合の移動方向も検知することができる。
【００５９】
これらの処理においては、一つの光源１１であってもその形状、たとえば光源１１−２と１１−４を繋げた縦長の光源等でも実現できるため、その個数は複数に限定されない。これらの項目においてそれぞれ判定テーブルを用いることで検知の精度を向上させることができる。
【００６０】
以上のことから遮断情報判定部１３９は、遮断発生位置および遮断発生数Ｉを基に移動物体検知の判定を行う。
【００６１】
出力部１４１は、遮断情報判定部１３９の判定結果からその情報を出力する。その出力はＬＥＤの点灯であったり、ディスプレイへの表示等形式は問わない。
【００６２】
以上の結果より、以下の効果を得ることができる。
光源１１を認識しその遮断を検知するため、天候や日照などの時間的変化に左右されない。
光源１１とカメラ（撮像装置）１２の間に常駐する遮断物が発生した場合、常に遮断判定が出されるため目的の映像が撮像されているかどうかリアルタイムで判定可能である。
遮断発生数のカウント、またカメラと光源の設置方法により目的とする検知対象と落ち葉やゴミといった外乱との区別ができる。
点滅光源の周波数を検知しているため、移動物体の色や明るさに左右されずに検知を行うことができる。
【００６３】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
【００６４】
図７は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【００６５】
図７のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
【００６６】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に転送される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に転送された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力される。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４ＫＨｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
【００６７】
図８は、図７のＣＣＤ２０の時系列を説明するための図である。
【００６８】
図８に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図８から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
【００６９】
さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３１で輝度信号が抽出され、この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力される。
ここで、本実施例に係るＣＣＤ２０（図７を参照）からの画素の読み出し方法について説明する。
【００７０】
図９は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図１０は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【００７１】
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図９に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図１０に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
【００７２】
図９の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
【００７３】
以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が第１の演算部１３２および第２の演算部１３３に入力される。この輝度信号は、第１の演算部１３２および第２の演算部１３３に入力されて所定の処理が行われる。
【００７４】
次に、第１の演算部１３２および第２の演算部１３３で行われる輝度信号の処理方法について図１１に関連付けて説明する。
【００７５】
図１１は、本実施形態に係る第１の演算部１３２および第２の演算部１３３における輝度信号の信号処理法を説明するためのタイミングチャートである。
【００７６】
図１１（Ａ）は、撮像装置１２１のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図１１（Ｂ）〜（Ｅ）はそれぞれ、演算部で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図１１（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図１１（Ａ）に示すように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
【００７７】
図１１（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図１１（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図１１（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
【００７８】
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１３２で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１３３で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
【００７９】
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図１１（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図１１（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
【００８０】
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
【００８１】
【数９】
【００８２】
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（９）式と（１０）式より、波形Ｗ３は（１２）式のように表せる。
【００８３】
【数１０】
【００８４】
ところで、図１１（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（１３）式のような正弦波で表せる。
【００８５】
【数１１】
【００８６】
（１２）式によって表される波形Ｗ３に（１３）式で表せる正弦波Ｗ５を掛けると（１５）式となる。
【００８７】
【数１２】
【００８８】
次に、時刻０から時刻Ｔまでにおける（１５）式の時間平均をとる。（１５）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（１５）式のようになる。
【００８９】
【数１３】
【００９０】
このようにして、時間平均ＳＡＣが第１の演算部１３２にて求まる。時間平均ＳＢＤも同様にして第２の演算部１３３にて求められ、（１７）式で表される。
【００９１】
【数１４】
【００９２】
さて、（１６）式と（１７）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ２＋ＳＢＤ２）は（１８）式で表される。
【００９３】
【数１５】
【００９４】
この（１８）式より、ＣＣＤ２０（図７を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１８）式で表される波形の成分が検出される。
【００９５】
次に、光源１１に含まれる周波数成分について考察する。
図１２は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
【００９６】
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１９）式のようにフーリエ級数の一般式で表される。
【００９７】
【数１６】
【００９８】
（１９）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（２０）〜（２２）式のように求まる。
【００９９】
【数１７】
【０１００】
したがって、波形Ｗ６のフーリエ級数は、（２３）式で表される。
【０１０１】
【数１８】
【０１０２】
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（１５）式と（２３）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（２４）式のようになる。
【０１０３】
【数１９】
【０１０４】
光源１１の点灯のデューティー比をＤとすると（２５）式で表される。
【０１０５】
【数２０】
【０１０６】
よって、（２４）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（２５）式を用いると（２６）式のようになる。
【０１０７】
【数２１】
【０１０８】
ところで、以下に示す（２６）式の右辺の項（２７）は収束する。
【０１０９】
【数２２】
【０１１０】
この（２６）式の右辺の項（２７）は、デューティー比Ｄに対し、表２のような値をとる。以下に、表２を示す。
【０１１１】
【表２】
【０１１２】
表２に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１３に示すようになる。
【０１１３】
図１３より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（２６）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
【０１１４】
［数２３］
ＳＡＣ２＋ＳＢＤ２＝０．０８３３３Ｌ１２ …（２８）
【０１１５】
（２８）式に示すように、演算処理部１３４は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）は光源抽出判定部１３６にて光源を抽出処理の判定に用いられる。
【０１１６】
本実施形態に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
【０１１７】
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。
【０１１８】
［数２４］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ …（２９）
【０１１９】
（１５）式と（２３）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
【０１２０】
表３は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【０１２１】
【表３】
【０１２２】
表３のｆ１は（１３）式の正弦波の有する周波数で、ｆ２は（２９）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表３によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
【０１２３】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
【０１２４】
【数２５】
したがって、（３０）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示していない信号処理で別に除去できる。
【０１２５】
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【０１２６】
以下に、本実施形態に係る検知システムの一連の動作を図１４に関連付けて説明する。
【０１２７】
図１４は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【０１２８】
たとえば、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３１で輝度信号を取得し（ＳＴ２）、この輝度信号を第１の演算部１３２と第２の演算部１３３に出力する。
ここで、検出位置が決定され（ＳＴ３）、第１の演算部１３２にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１３３にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ４）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１３４に出力される。
次いで、演算処理部１３４にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ５）、その結果が光源抽出判定部１３６に出力される。
【０１２９】
光源抽出判定部１３６においては、演算処理部１３４の演算結果から、閾値での判定により光源を抽出しているか否かの判定が行われ（ＳＴ６）、判定結果を遮断発生位置抽出部１３７に出力される。
このとき、光源１１と撮像装置１２の間に遮断物が存在すると、その演算結果は０に近い値を取り光源１１が抽出されていないものと判定される。
ステップＳＴ６において、光源が抽出されていないと判定されると、遮断発生位置抽出部１３７において、光源抽出判定部１３６の判定結果から光源１１が抽出されていない、すなわち遮断が発生していると判定された位置が検出され（ＳＴ７）、検出結果を遮断発生数カウント部１３８に出力される。
遮断発生数カウント部１３８においては、遮断が発生した回数がカウント（＋１され）され（ＳＴ８）、カウント値が遮断情報判定部１３９に出力される。
ステップＳＴ６において、光源が抽出されていると判定されると、遮断発生位置抽出部１３７により遮断発生数カウント部１３８の遮断発生数Ｉがクリアされる（ＳＴ９）。
そして、遮断情報判定部１３９において、遮断発生位置抽出部１３７および遮断発生数カウント部１３８での結果から、判定テーブル部１４０のテーブルを参照して遮断物に関する情報が抽出され、判定が行われ（ＳＴ１０）、判定結果が出力部１４１から出力される（ＳＴ１１）。
【０１３０】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【０１３１】
光源を認識しその遮断を検知するため、天候や日照などの時間的変化に左右されない。
光源とカメラ（撮像装置）の間に常駐する遮断物が発生した場合、常に遮断判定が出されるため目的の映像が撮像されているかどうかリアルタイムで判定可能である。
遮断発生数のカウント、またカメラと光源の設置方法により目的とする検知対象と落ち葉やゴミといった外乱との区別ができる。
点滅光源の周波数を検知しているため、移動物体の色や明るさに左右されずに検知を行うことができる。
そして、本実施形態に係る検知システムによれば、カメラを用いた移動物体の検知において、天候や日照等の時間的要因に左右されず、非検知時に撮像状態の異常を検知することができ、目的の検知対象以外の外乱とを区別することができ、移動物体を高精度で検知することができる。
【０１３２】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【０１３３】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【０１３４】
本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１３５】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【０１３６】
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１３７】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１３８】
１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・信号処理部、１３１・・・輝度信号抽出部、１３２・・・第１の演算部（Ａ）、１３３・・・第２の演算部（Ｂ）、１３４・・・演算処理部（時間平均２乗和演算処理部）、１３５・・・光源位置記憶部、１３６・・・光源抽出判定部、１３７・・・遮断発生位置抽出部、１３８・・・遮断発生数カウント部、１３９・・・遮断情報判定部、１４０・・・判定テーブル部、１４１・・・出力部。
【特許請求の範囲】
【請求項１】
光源と、
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、
上記信号処理部は、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、
検出可能な光源の位置を記憶する光源位置記憶部と、
上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記光源位置記憶部から取得した光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算部と、
上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、
上記光源抽出判定部の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部と、
上記遮断発生位置抽出部の抽出結果により遮断発生数をカウントする遮断発生数カウント部と、
上記遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部と、を含む
検知システム。
【請求項２】
上記遮断情報判定部は、
遮断発生位置および遮断発生数を基に移動物体検知の判定を行う
請求項１記載の検知システム。
【請求項３】
上記遮断情報判定部は、
遮断発生数により検知対象が目的の移動物体であるか否かの判定を行う
請求項２記載の検知システム。
【請求項４】
上記遮断発生数カウント部は、
上記光源が抽出されていない場合にはクリアされる
請求項１から３のいずれか一に記載の検知システム。
【請求項５】
上記遮断発生数は、
映像信号において遮断が発生したフレーム数である
請求項１から４のいずれか一に記載の検知システム。
【請求項６】
光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、
上記信号処理ステップは、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、
上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算ステップと、
上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、
上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出ステップと、
上記遮断発生位置抽出ステップの抽出結果により遮断発生数をカウントする遮断発生数カウントステップと、
上記遮断発生数カウントステップのカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定ステップと、を含む
検知システムの信号処理方法。
【請求項７】
光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、
上記信号処理は、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、
上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算処理と、
上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、
上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出処理と、
上記遮断発生位置抽出処理の抽出結果により遮断発生数をカウントする遮断発生数カウント処理と、
上記遮断発生数カウント処理のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定処理と、を含む
検知システムの信号処理をコンピュータに実行させるプログラム。
【請求項１】
光源と、
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、
上記信号処理部は、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、
検出可能な光源の位置を記憶する光源位置記憶部と、
上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、上記光源位置記憶部から取得した光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算部と、
上記演算部の演算結果により光源を抽出しているか否かを判定する光源抽出判定部と、
上記光源抽出判定部の判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出部と、
上記遮断発生位置抽出部の抽出結果により遮断発生数をカウントする遮断発生数カウント部と、
上記遮断発生数カウント部のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定部と、を含む
検知システム。
【請求項２】
上記遮断情報判定部は、
遮断発生位置および遮断発生数を基に移動物体検知の判定を行う
請求項１記載の検知システム。
【請求項３】
上記遮断情報判定部は、
遮断発生数により検知対象が目的の移動物体であるか否かの判定を行う
請求項２記載の検知システム。
【請求項４】
上記遮断発生数カウント部は、
上記光源が抽出されていない場合にはクリアされる
請求項１から３のいずれか一に記載の検知システム。
【請求項５】
上記遮断発生数は、
映像信号において遮断が発生したフレーム数である
請求項１から４のいずれか一に記載の検知システム。
【請求項６】
光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、
上記信号処理ステップは、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、
上記信号抽出ステップから所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算ステップと、
上記演算ステップの演算結果により光源を抽出しているか否かを判定する光源抽出判定ステップと、
上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出ステップと、
上記遮断発生位置抽出ステップの抽出結果により遮断発生数をカウントする遮断発生数カウントステップと、
上記遮断発生数カウントステップのカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定ステップと、を含む
検知システムの信号処理方法。
【請求項７】
光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、
上記信号処理は、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、
上記信号抽出処理から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、あらかじめ取得した検出可能な光源位置において上記時間平均の値をもとに時間平均の２乗和を求める演算処理と、
上記演算処理の演算結果により光源を抽出しているか否かを判定する光源抽出判定処理と、
上記光源抽出判定ステップの判定結果から光源が抽出されず遮断が発生していると判定された位置を検出する遮断発生位置抽出処理と、
上記遮断発生位置抽出処理の抽出結果により遮断発生数をカウントする遮断発生数カウント処理と、
上記遮断発生数カウント処理のカウント結果から遮断物に関する情報を抽出して判定処理を行う遮断情報判定処理と、を含む
検知システムの信号処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１５７８０（Ｐ２０１２−１５７８０Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５０１１４（Ｐ２０１０−１５０１１４）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００１１５７７３）リズム時計工業株式会社 (208)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【出願人】（０００１１５７７３）リズム時計工業株式会社 (208)
【Ｆターム（参考）】
[ Back to top ]