周期動作検出装置及び方法
【課題】ノイズの影響による誤判別の発生を抑制しつつ、対象とする周期動作を好適に検出する。
【解決手段】周期動作検出装置（１０）は、時間軸に沿って並ぶ複数のフレーム画像のうち、時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目までの各フレーム画像に対して、画素単位又は所定領域単位で、時間軸方向に周波数変換を施す周波数変換手段（１１０）と、周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、該第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段（１２０）と、該演算された差分値に基づいて、検出対象とする周期動作が存在するか否かを判定する判定手段（１３０）と、を備える。
【解決手段】周期動作検出装置（１０）は、時間軸に沿って並ぶ複数のフレーム画像のうち、時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目までの各フレーム画像に対して、画素単位又は所定領域単位で、時間軸方向に周波数変換を施す周波数変換手段（１１０）と、周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、該第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段（１２０）と、該演算された差分値に基づいて、検出対象とする周期動作が存在するか否かを判定する判定手段（１３０）と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像中から、例えば手振り等の周期性を有する動作を検出する周期動作検出装置及び方法の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、時系列の濃淡画像（即ち、グレースケール画像）を低解像度化し、低解像度化された画像を構成する各画素の濃淡値を取得して、濃淡値の時系列変化から特徴量を取得し、該取得された特徴量と、予め定められた検出対象の特徴量とを比較して検出対象の有無を判別する装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２４８８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の背景技術では、ノイズの影響により誤判別が生じる可能性があるという技術的問題点がある。
【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、ノイズの影響による誤判別の発生を抑制することができる周期動作検出装置及び方法を提案することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の周期動作検出装置は、上記課題を解決するために、時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換手段と、前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段と、前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定手段と、を備える。
【０００７】
本発明の周期動作検出装置によれば、例えばメモリ、プロセッサ等を備えてなる周波数変換手段は、時間軸に沿って並ぶ複数のフレーム画像のうち、該時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目までの各フレーム画像に対して、画素単位又は所定領域単位で、該時間軸方向に周波数変換を施す。
【０００８】
「時間軸に沿って並ぶ複数のフレーム画像」は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等の撮像装置により生成すればよい。尚、撮像装置は、当該周期動作検出装置とは別個の装置であってもよいし、当該周期動作検出装置に備えられていてもよい。撮像装置が、当該周期動作検出装置とは別個の装置である場合、時間軸に沿って並ぶ複数のフレーム画像は、ネットワークを介して、或いは、例えばフラッシュメモリや光ディスク等の情報記録媒体を介して、当該周期動作検出装置に入力される。
【０００９】
例えば８０画素×６０画素、１４０画素×１６０画素等の比較的低解像度のフレーム画像に対しては、画素単位で周波数変換が施されることが望ましい。他方、例えば１９２０画素×１０８０画素、７２０画素×４８０画素等の比較的高解像度のフレーム画像に対しては、例えば８画素×８画素、１６画素×１６画素、２５画素×２５画素等の複数の画素からなる所定領域単位で周波数変換が施されることが望ましい。
【００１０】
このように構成すれば、比較的低解像度のフレーム画像については、振れ幅の比較的小さな周期動作の検出漏れを抑制することができ、比較的高解像度のフレーム画像については、比較的容易に周期動作を検出することができると共に、周期動作の検出までに要する時間を短縮することができる。
【００１１】
尚、周波数変換には、例えばウィンドウフーリエ変換や離散フーリエ変換等を適用可能である。
【００１２】
例えばメモリ、プロセッサ等を備えてなる第１演算手段は、周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、該第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する。
【００１３】
第１周波数は、検出対象とする周期動作毎に異なっており、例えば手振りでは、２Ｈｚ（ヘルツ）〜６Ｈｚである。第１周波数は、予め実験等により、例えば検出対象とする周期動作に係る周波数（又は周波数範囲）を求め、該求められた周波数（又は周波数範囲）に基づいて決定すればよい。
【００１４】
ここで、本願発明者の研究によれば、以下の事項が判明している。即ち、動きの無い又はほとんど無い定常状態である場合、或いは、一の方向に一回だけ物体が通り過ぎた場合、周波数変換の結果は、周波数が高くなるほど、周波数成分（パワー）が減衰する。このため、第１周波数に係るパワーと第２周波数に係るパワーとの差分値を演算すると負の値になる。他方、周期動作が存在する場合、周波数変換の結果は、該周期動作に対応する周波数にピークが現れる。このため、第１周波数に係るパワーと第２周波数に係るパワーとの差分値を演算すると正の値になる。
【００１５】
そこで本発明では、例えばメモリ、プロセッサ、コンパレータ等を備えてなる判定手段により、演算された差分値に基づいて、検出対象とする周期動作が存在するか否かが判定される。具体的には例えば、判定手段は、演算された差分値が正の値であることを条件に、検出対象とする周期動作が存在すると判定し、演算された差分値が負の値であることを条件に、検出対象とする周期動作が存在しないと判定する。
【００１６】
本発明では特に、ｉ番目からｉ＋ｊ番目までの（即ち、所定時間分の）複数のフレーム画像各々に対して、周波数変換が施され、差分値が演算される。このため、判定結果の信頼性を向上させることができる。言い換えれば、ノイズの影響による誤判定の発生を抑制することができる。
【００１７】
以上の結果、本発明の周期動作検出装置によれば、ノイズの影響による誤判定の発生を抑制しつつ、比較的容易に対象とする周期動作を検出することができる。
【００１８】
本発明の周期動作検出装置の一態様では、前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値を逐次積算して積算値を出力する第２演算手段を含み、前記出力された積算値が第１閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する。
【００１９】
この態様によれば、例えばメモリ、プロセッサ等を備えてなる第２演算手段は、演算された差分値のうち、ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の画素単位又は一の所定領域単位についての差分値を逐次積算して積算値を出力する。
【００２０】
「ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の画素単位又は一の所定領域単位についての差分値」は、具体的には、ｉ番目のフレーム画像における一画素（ｉ、ｘ１、ｙ１）に係る差分値と、ｉ＋１番目のフレーム画像において、該一画素と対応する画素（ｉ＋１、ｘ１、ｙ１）に係る差分値と、…、ｉ＋ｊ番目のフレーム画像において、該一画素と対応する画素（ｉ＋ｊ、ｘ１、ｙ１）に係る差分値と、を意味する。
【００２１】
「差分値を逐次積算して積算値を出力」は、具体的には例えば、ｉ番目のフレーム画像に対応する差分値と、ｉ＋１番目のフレーム画像に対応する差分値とを積算した段階で、１番目の積算値を出力し、次に、該１番目の積算値と、ｉ＋２番目のフレーム画像に対応する差分値とを積算した段階で２番目の積算値を出力し、・・・、ｎ−１番目の積算値と、ｉ＋ｊ番目のフレーム画像に対応する差分値とを積算した段階でｎ番目の積算値を出力することを意味する。
【００２２】
判定手段は、出力された積算値が第１閾値より大きいことを条件に、検出対象とする周期動作が存在すると判定する。他方、判定手段は、出力された積算値が第１閾値より小さいことを条件に、検出対象とする周期動作が存在しないと判定する。
【００２３】
「第１閾値」とは、検出対象とする周期動作が存在するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。
【００２４】
このような「第１閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば演算される差分値の範囲を求め、該求められた範囲のうちの一の数値と、検出対象とする周期動作の継続期間の最小値に対応するフレーム画像数との積として設定すればよい。
【００２５】
具体的には例えば、１秒間当たり３０枚のフレーム画像が存在する場合（即ち、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の場合）であって、演算される差分値の範囲のうちの一の数値を０．０３、検出対象とする周期動作が少なくとも１秒間継続する場合、第１閾値は０．９（＝０．０３×１×３０）とすればよい。
【００２６】
判定手段が第２演算手段を含む態様では、前記第２演算手段は、前記積算値が負の値となる場合、前記積算値をゼロとしてよい。
【００２７】
このように構成すれば、検出対象とする周期動作の検出漏れを効果的に抑制することができ、実用上非常に有利である。
【００２８】
具体的には例えば、ｉ番目からｉ＋ｊ番目までの複数のフレーム画像のうち、ｉ＋ｋ番目（但し、１≦ｋ＜ｊ）以降のフレーム画像にのみ、検出対象とする周期動作が含まれている場合、積算値を演算すべき差分値のうち、先頭（即ち、ｉ番目のフレーム画像に対応する差分値）からある程度経過するまでは、負の値が続くこととなる。この場合に、単純に積算値が演算されると、負の値を持つ差分値に起因して、積算値が上記第１閾値未満となり、検出対象とする周期動作が存在しないと、判定手段により判定される可能性がある、或いは、積算値が上記第１閾値を超えるまでにかかる処理時間が比較的長くなる可能性がある。
【００２９】
これに対して、上述の如く、積算値が負の値となる場合に該積算値をゼロとすれば、検出対象とする周期動作が含まれないフレーム画像の影響を排除することができる。
【００３０】
この態様では、前記第２演算手段は、前記積算値を得るために積算すべき差分値のうち、第２閾値より大きい差分値を前記第２閾値としてよい。
【００３１】
このように構成すれば、判定手段による判定結果（即ち、検出対象とする周期動作の検出結果）の信頼性を向上させることができる。
【００３２】
本願発明者の研究によれば、以下の事項が判明している。即ち、ノイズの影響により、例えば、２〜３フレーム画像だけ（つまり、極めて短い時間だけ）、周波数変換の結果における検出対象とする周期動作に対応する周波数に比較的大きなピークが現れた場合、該２〜３フレーム画像について得られる差分値が比較的大きくなる。すると、該２〜３フレーム画像について得られる差分値の積算値だけで、上記第１閾値を超えてしまい、検出対象とする周期動作が存在すると、判定手段により判定される可能性がある（つまり、誤判定される可能性がある）。
【００３３】
そこで、上述の如く、差分値が第２閾値を超える場合に該差分値を第２閾値とすれば、ノイズの影響による誤判定を抑制することができる。ここで、「第２閾値」とは、積算値を得るために積算すべき差分値の値を変更するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。
【００３４】
このような「第２閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば、検出対象とする周期動作の継続期間と検出の信頼度との関係を求め、該求められた関係に基づいて、実践上十分な信頼度が得られる該周期動作の継続期間を特定し、該特定された継続期間に対応するフレーム画像数分の差分値が積算されるまで上記第１閾値を超えないような値として設定すればよい。
【００３５】
具体的には例えば、第１閾値が０．９であり、十分な信頼度が得られる継続期間が１秒であり、３０ｆｐｓである場合、第２閾値は、０．０３（＝０．９÷（１×３０））とすればよい。
【００３６】
本発明の周期動作検出装置の他の態様では、前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値の各々が第３閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する。
【００３７】
この態様によれば、ノイズの影響による誤判定を抑制することができ、もって、判定手段による判定結果の信頼性を向上させることができる。
【００３８】
「第３閾値」とは、検出対象とする周期動作が存在するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。本発明では、「第３閾値」は、典型的には、ゼロ又は正の値である。このような「第３閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば当該周期動作検出装置における演算誤差を求め、該演算誤差に応じて設定すればよい。
【００３９】
本発明の周期動作検出方法は、上記課題を解決するために、時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換工程と、前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算工程と、前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定工程と、を備える。
【００４０】
本発明の周期動作検出方法によれば、上述した本発明の周期動作検出装置と同様に、ノイズの影響による誤判定の発生を抑制しつつ、比較的容易に対象とする周期動作を検出することができる。
【００４１】
尚、本発明の周期動作検出方法においても、上述した本発明の周期動作検出装置に係る各種態様と同様の各種態様を採ることができる。
【００４２】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００４３】
【図１】第１実施形態に係る周期動作検出装置を備える電子機器の構成を示すブロック図である。
【図２】第１実施形態に係る時間軸に沿って並ぶ複数のフレーム画像の概念を示す概念図である。
【図３】第１実施形態に係る周期動作検出装置の動作を示すフローチャートである。
【図４】（ａ）は定常状態の場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図５】（ａ）は一の方向に一回だけ物体が通り過ぎた場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図６】（ａ）は周期動作がある場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図７】特定周波数に係るパワーの変動（実線ａ参照）と、比較周波数に係るパワーの変動（実線ｂ参照）との一例を示す図である。
【図８】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の一例を示す図である。
【図９】第１実施形態の第１変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１０】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【図１１】第１実施形態の第２変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１２】第１実施形態の第３変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１３】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【図１４】第１実施形態の第４変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１５】第１実施形態の第５変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１６】第２実施形態に係る周期動作検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００４４】
以下、本発明の周期動作検出装置に係る実施形態について、図面に基づいて説明する。
【００４５】
＜第１実施形態＞
本発明の周期動作検出装置に係る第１実施形態について、図１乃至図８を参照して説明する。
【００４６】
（電子機器の構成）
先ず、本実施形態に係る周期動作検出装置を備える電子機器の構成について、図１を参照して説明する。図１は、本実施形態に係る周期動作検出装置を備える電子機器の構成を示すブロック図である。
【００４７】
図１において、電子機器１は、周期動作検出装置１０、撮像装置２０、画像変換部３０、制御部４０、記憶装置５０、表示装置６０及び操作パネル７０を備えて構成されている。
【００４８】
周期動作検出装置１０は、周波数変換部１１０、差分演算部１２０及び判定部１３０を備えて構成されている。本実施形態に係る「周波数変換部１１０」、「差分演算部１２０」及び「判定部１３０」は、夫々、本発明に係る「周波数変換手段」、「第１演算手段」及び「判定手段」の一例である。
【００４９】
撮像装置２０は、例えばレンズ、ＣＣＤ等を備えて構成されており、動画や連続写真を撮影し、時間軸上で所定間隔或いは一定間隔で並ぶ複数のフレーム画像を生成するように構成されている。
【００５０】
画像変換部３０は、撮像装置２０により生成された複数のフレーム画像の少なくとも一部に対して、グレースケール化処理を施したり、低解像度化処理を施したりする。ここで、「グレースケール化処理」及び「低解像度化処理」には、公知の各種態様を適用可能であるので、説明の煩雑化を防ぐ目的からここではその詳細については触れないこととする。
【００５１】
尚、撮像装置２０により生成されるフレーム画像が、モノトーンのフレーム画像である場合、画像変換部３０は、グレースケール化処理を実行しない。また、撮像装置２０が、比較的低解像度の撮像素子を備えており、生成されるフレーム画像が比較的低解像度である場合、画像変換部３０は、低解像度化処理を実行しなくてもよい。更には、撮像装置２０により生成されるフレーム画像が、モノトーン且つ比較的低解像度のフレーム画像である場合には、電子機器１が画像変換部３０を備えていなくてもよい。
【００５２】
例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、不揮発性メモリ等である記憶装置５０は、撮影装置２０によって生成されたフレーム画像や、画像変換部３０によりグレースケール化処理及び／又は低解像度化処理が施されたフレーム画像等を逐次蓄える。
【００５３】
例えばメモリ、プロセッサ等を備えてなる制御部４０は、周期動作検出装置１０や撮像装置２０等の電子機器１に備えられている各種部材を統括制御する。具体的には例えば、制御部４０は、操作パネル７０により受け付けられたユーザの指示に応じて、動画等を撮影するように撮像装置２０を制御したり、該撮像装置２０により撮影された動画等を表示するように、例えば液晶ディスプレイ等である表示装置６０を制御したりする。
【００５４】
制御部４０は、特に、操作パネル７０により、周期動作検出の要求が受け付けられた際に、記憶装置５０に蓄えられている、グレースケール化処理及び／又は低解像度化処理が施されたフレーム画像を、入力端子Ｐ１を介して、順次読み込むように周期動作検出装置１０を制御する。
【００５５】
ここで、周期動作検出装置１０に読み込まれるフレーム画像について、図２を参照して説明を加える。図２は、本実施形態に係る時間軸に沿って並ぶ複数のフレーム画像の概念を示す概念図である。
【００５６】
図２において、複数のフレーム画像ｉ、ｉ＋１、ｉ＋２、…、ｉ＋ｊの各々は、時間軸上における時刻ｔ０、ｔ１、ｔ２、…、ｔｊに取得されている。各フレーム画像ｉ、ｉ＋１、ｉ＋２、…、ｉ＋ｊは、比較的低解像度（例えば、縦３０画素×横４０画素、縦６０画素×横８０画素等）のモノトーンのフレーム画像である。
【００５７】
このような比較的低解像度のフレーム画像を用いることにより、ノイズの低減と、周期動作検出装置１０における処理量の削減とを図ることができる。
【００５８】
（周期動作検出装置の動作）
次に、周期動作検出装置１０の動作について、図３のフローチャートを参照して具体的に説明する。
【００５９】
図３において、先ず、周波数変換部１１０は、周期動作検出装置１０に読み込まれたフレーム画像から、時刻ｔに取得されたフレーム画像を取得する（ステップＳ１０１）。ここでは、時刻ｔ０に取得されたフレーム画像ｉを取得したものとする。
【００６０】
次に、周波数変換部１１０は、フレーム画像ｉ対して、画素単位で、或いは、複数の画素からなる所定領域単位で、時間軸方向に周波数変換を施す（ステップＳ１０２）。ここで、周波数変換部１１０が画素単位で周波数変換を行う場合について、より具体的に説明する。
【００６１】
フレーム画像ｉにおける画素Ｐｉ（ｉ、ｘ１、ｙ１）に対して周波数変換が施される場合、周波数変換部１１０は、画素Ｐｉ（ｉ、ｘ１、ｙ１）の輝度値、及びフレーム画像ｉに続く、例えば２９のフレーム画像ｉ＋１、…、ｉ＋２９の各々において画素Ｐｉ（ｉ、ｘ１、ｙ１）に対応する画素である画素Ｐｉ＋１（ｉ＋１、ｘ１、ｙ１）、…、Ｐｉ＋２９（ｉ＋２９、ｘ１、ｙ１）の輝度値を取得する（つまり、３０フレーム画像分の輝度値を取得する）。
【００６２】
続いて、周波数変換部１１０は、取得された輝度値に基づいて、画素Ｐｉ（ｉ、ｘ１、ｙ１）の輝度値の時間変動を求め、該求められた時間変動に対して周波数変換を施す。尚、所定領域単位で周波数変換が行われる場合には、画素単位の場合と同様に、該所定領域毎の輝度値の時間変動が求められ、該求められた時間変動に対して周波数変換が施される。
【００６３】
輝度値の時間変動と、周波数変換の結果について、図４乃至図６を参照して説明を加える。図４（ａ）は定常状態の場合の輝度値の時間変動の一例であり、図４（ｂ）は該時間変動の周波数変換の結果である。図５（ａ）は一の方向に一回だけ物体が通り過ぎた場合の輝度値の時間変動の一例であり、図５（ｂ）は該時間変動の周波数変換の結果である。図６（ａ）は周期動作がある場合の輝度値の時間変動の一例であり、図６（ｂ）は該時間変動の周波数変換の結果である。尚、図４乃至図６に示す周波数変換の結果は、周波数変換の一例としての、ハミング窓を用いたウィンドウフーリエ変換を、輝度値の時間変動に対して施した場合の結果である。
【００６４】
定常状態の場合、図４（ａ）に示すように、輝度値の時間変動はほとんど無い。図４（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図４（ｂ）に示すような結果が得られる。尚、ウィンドウフーリエ変換が施されると、窓関数の畳み込みにより、比較的低い周波数（ここでは、１Ｈｚ以下）に集中する。
【００６５】
一回だけ物体が通り過ぎた場合、図５（ａ）に示すように、輝度値の時間変動には一つだけピークが現れる。図５（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図５（ｂ）に示すような結果が得られる。
【００６６】
図４（ｂ）及び図５（ｂ）からわかるように、定常状態の場合、及び一回だけ物体が通り過ぎた場合、ウィンドウフーリエ変換が施されると、周波数が高くなる減衰するスペクトルが得られる。
【００６７】
周期動作がある場合、図６（ａ）に示すように、周期的にピークが現れる。図６（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図６（ｂ）に示すような結果が得られる。図６（ｂ）からわかるように、周期動作がある場合、該周期動作に対応した周波数（ここでは、４Ｈｚ）にピークが現れる。
【００６８】
再び図３に戻り、ステップＳ１０２の処理の後、差分演算部１２０は、検出対象とする周期動作の周波数である、本発明に係る「第１周波数」の一例としての、特定周波数のパワー（即ち、図４（ｂ）等における縦軸の値）と、該特定周波数より低く且つゼロより高い一の周波数である、本発明に係る「第２周波数」の一例としての、比較周波数のパワーと、の差分値（即ち、（特定周波数のパワー）−（比較周波数のパワー））を演算する（ステップＳ１０３）。尚、ここで演算された差分値は、時刻ｔに取得されたフレーム画像（ここでは、フレーム画像ｉ）の各画素又は所定領域に係る差分値である。
【００６９】
例えば、特定周波数を４Ｈｚとし、比較周波数を２Ｈｚとすると、図４に示す定常状態の場合、及び図５に示す一回だけ物体が通り過ぎた場合では、演算された差分値は負の値となる。他方、図６に示す周期動作がある場合では、演算された差分値は正の値となる。
【００７０】
次に、本発明に係る「第２演算手段」の一例としての、判定部１３０は、画素毎又は所定領域毎に、演算された差分値を逐次積算して累積値を取得する（ステップＳ１０４）。続いて、判定部１３０は、累積値が第１閾値より大きいか否かを判定する（ステップＳ１０５）。
【００７１】
より具体的には、判定部１３０は、フレーム画像ｉの各画素又は所定領域に係る差分値を、前回の累積値（つまり、フレーム画像ｉ−１の各画素又は所定領域に係る差分値を積算することにより得られた累積値）に加算する。尚、フレーム画像ｉが最初のフレーム画像の場合は、前回の累積値はゼロである。そして、判定部１３０は、累積値が更新される度に、該更新された累積値が第１閾値より大きいか否かを判定する。
【００７２】
累積値が第１閾値より大きいと判定された場合（ステップＳ１０５：Ｙｅｓ）、判定部１３０は、検出対象とする周期動作があると判定する（ステップＳ１０６）。尚、この際、周期動作検出装置１０は、例えば「周期動作検出」を示す信号を、出力端子Ｐ２を介して、制御部４０に送信する。該信号を受信した制御部４０は、表示装置６０上に、例えば周期動作が検出された旨を示すメッセージ又は画像等を示すように、表示装置６０を制御する。
【００７３】
他方、ステップＳ１０５の処理において、累積値が第１閾値より小さいと判定された場合（ステップＳ１０５：Ｎｏ）、判定部１３０は、後述するステップＳ１０７の処理を実行する。尚、累積値が第１閾値と「等しい」場合は、どちらかの場合に含めて扱えばよい。
【００７４】
ここで、累積値について、図７及び図８を参照して説明を加える。図７は、特定周波数に係るパワーの変動（実線ａ参照）と、比較周波数に係るパワーの変動（点線ｂ参照）との一例を示す図である。図８は、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の一例を示す図である。
【００７５】
図７に示されるように、約２６０フレーム目までは、特定周波数に係るパワーよりも比較周波数に係るパワーが大きい。つまり、検出対象とする周期動作は存在しない。このため、図８に示すように、累積値は減少する。他方で、約２６０フレーム目以降は、比較周波数に係るパワーよりも特定周波数に係るパワーが大きい。つまり、検出対象とする周期動作が存在している。このため、図８に示すように、累積値が増加に転じる。
【００７６】
例えば、第１閾値を“１”とすると、判定部１３０は、約４００フレーム画像分の差分値が積算された時点で、検出対象とする周期動作があると判定する（図８参照）。本実施形態では特に、特定周波数に係るパワーが比較周波数に係るパワーよりも大きい状態、即ち、差分値が正の値となる状態が、ある程度継続されないと第１閾値を超えないような値として、該第１閾値が設定されている。このため、判定部１３０による判定結果（言い換えれば、周期動作検出装置１０による検出結果）の信頼度を向上させることができる。
【００７７】
再び図３に戻り、判定部１３０は、動作を終了するか否かを判定する（ステップＳ１０７）。ここで、動作を終了するか否かは、所定の終了条件を満たしたか否かにより判定すればよい。「所定の終了条件」は、例えば、検出対象とする周期動作が検出されたこと、ユーザからの終了要求があること、ユーザにより予め設定された範囲の各フレーム画像について一連の処理が終了したこと、等である。
【００７８】
動作を終了すると判定された場合（ステップＳ１０７：Ｙｅｓ）、周期動作検出装置１０は、動作を終了すると共に、動作を終了することを示す信号を、出力端子Ｐ２を介して、制御部４０に送信する。
【００７９】
他方、動作を終了しないと判定された場合（ステップＳ１０７：Ｎｏ）、周期動作検出装置１０は、時刻ｔの値を更新して（ステップＳ１０８）、ステップＳ１０１の処理を実行する（即ち、次のフレーム画像を取得する）。
【００８０】
本実施形態では、上述の如く、差分値の累積値が第１閾値より大きいことを条件に、検出対象とする周期動作が存在すると判定される。このため、周期動作検出装置１０は、複数のフレーム画像に対して、上述した一連の処理を施すことを前提に構成されている。
【００８１】
ここでは、上述したステップＳ１０７の処理において動作を終了すると判定されるまでに、周期動作検出装置１０が、フレーム画像ｉからフレーム画像ｉ＋ｊ（本発明に係る「ｉ＋ｊ番目のフレーム画像に相当）までの各フレーム画像に対して、上述した一連の処理を施すものとする。尚、図２では“ｊ”が、便宜上、２９よりも大きい値となっているが、“ｊ”は２９以下であってよい。
【００８２】
＜第１変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第１変形例について、図９のフローチャートを参照して説明する。
【００８３】
図９において、上述したステップＳ１０４の処理において累積値が取得された後、判定部１３０は、該取得された累積値が負の値であるか否かを判定する（ステップＳ２０１）。累積値が負の値であると判定された場合（ステップＳ２０１：Ｙｅｓ）、判定部１３０は、累積値をゼロとして（ステップＳ２０２）、上述したステップＳ１０５の処理を実行する。他方、累積値が負の値でない（即ち、累積値がゼロ以上である）と判定された場合（ステップＳ２０１：Ｎｏ）、判定部１３０は、上述したステップＳ１０５の処理を実行する。
【００８４】
図９のフローチャートに示した処理が実行された場合の累積値の変動は、例えば図１０のようになる。ここで、例えば第１閾値を“１”とすると、図１０に示すように、約３６０フレーム画像分の差分値が積算された時点で累積値が第１閾値より大きくなるので、図３のフローチャートに示した処理に比べて、早期に検出対象とする周期動作を検出することができる。
【００８５】
図１０は、図８と同趣旨の、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【００８６】
＜第２変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第２変形例について、図１１のフローチャートを参照して説明する。
【００８７】
図１１において、上述したステップＳ１０３の処理において差分値が演算された後、差分演算部１２０は、演算された差分値をＮ倍する（Ｎ＞０）（ステップＳ３０１）。次に、判定部１３０は、上述したステップＳ１０４の処理を実行する。このように構成すれば、比較的早期に累積値が第１閾値に達するため、対象とする周期動作が存在する場合に、比較的早期に該周期動作を検出することができる。
【００８８】
尚、ステップＳ１０４の処理の後は、図２のフローチャートにおけるステップＳ１０５の処理が実行されてもよいし、図９のフローチャートにおけるステップＳ２０１の処理が実行されてもよい。
【００８９】
＜第３変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第３変形例について、図１２のフローチャートを参照して説明する。
【００９０】
図１２において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が第２閾値より大きいか否かを判定する（ステップＳ４０１）。差分値が第２閾値より大きいと判定された場合（ステップＳ４０１：Ｙｅｓ）、判定部１３０は、差分値を第２閾値として（ステップＳ４０２）、上述したステップＳ１０４及びＳ３０１の処理を実行する。他方、差分値が第２閾値以下であると判定された場合（ステップＳ４０１：Ｎｏ）、判定部１３０は、上述したステップＳ１０４及びＳ３０１の処理を実行する。
【００９１】
図１２のフローチャートに示した処理が実行された場合の累積値の変動は、例えば図１３のようになる。差分値に上限（即ち、第２閾値）が存在しているので、図１３に示すように、図９のフローチャートに示した処理に比べて、累積値の上昇の程度が緩やかになる。
【００９２】
図１３は、図８と同趣旨の、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【００９３】
＜第４変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第４変形例について、図１４のフローチャートを参照して説明する。
【００９４】
図１４において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が負の定数Ｍより小さいか否かを判定する（ステップＳ５０１）。差分値が負の定数Ｍより小さいと判定された場合（ステップＳ５０１：Ｙｅｓ）、判定部１３０は、差分値を負の定数Ｍとして（ステップＳ５０２）、上述したステップＳ４０１の処理を実行する。他方、差分値が負の定数Ｍ以上であると判定された場合（ステップＳ５０１：Ｎｏ）、判定部１３０は、上述したステップＳ４０１の処理を実行する。このように構成すれば、累積値の変動を抑制することができる。
【００９５】
＜第５変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第５変形例について、図１５のフローチャートを参照して説明する。
【００９６】
図１５において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が負であるか否かを判定する（ステップＳ６０１）。差分値が負であると判定された場合（ステップＳ６０１：Ｙｅｓ）、判定部１３０は、差分値を負の定数Ｍとして（ステップＳ６０２）、上述したステップＳ４０１の処理を実行する。他方、差分値が負ではないと判定された場合（ステップＳ６０１：Ｎｏ）、判定部１３０は、上述したステップＳ４０１の処理を実行する。このように構成すれば、対象とする周期動作が存在しない箇所の減衰を比較的速くすることができ、ノイズに対する耐性をより向上させることができる。
【００９７】
＜第２実施形態＞
本発明の周期動作検出装置に係る第２実施形態を、図１６のフローチャートを参照して説明する。第２実施形態では、周期動作検出装置の動作の一部が異なる以外は、第１実施形態の構成と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図１６のフローチャートを参照して説明する。
【００９８】
図１６において、上述したステップＳ１０３の処理の後、判定部１３０は、演算された差分値が、例えばゼロ等である第３閾値より大きいか否かを判定する（ステップＳ７０１）。差分値が第３閾値より大きいと判定された場合（ステップＳ７０１：Ｙｅｓ）、判定部１３０は、所定時間経過したか否かを判定する（ステップＳ７０２）。ここで、「所定時間経過」とは、Ｎ枚のフレーム画像を処理する過程で、ｎ枚の連続するフレーム画像について、差分値が第３閾値より大きいと連続して判定されたことを意味する（Ｎ＞０；ｎ＞０；Ｎ＞ｎ）。
【００９９】
所定時間経過したと判定された場合（ステップＳ７０２：Ｙｅｓ）、判定部１３０は、検出対象とする周期動作があると判定する（ステップＳ７０３）。続いて、判定部１３０は、上述したステップＳ１０７の処理を実行する。
【０１００】
ステップＳ７０１の処理において、差分値が第３閾値より小さいと判定された場合（ステップＳ７０１：Ｎｏ）、及びステップＳ７０２の処理において、所定時間経過していないと判定された場合（ステップＳ７０２：Ｎｏ）、判定部１３０は、上述したステップＳ１０７の処理を実行する。
【０１０１】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う周期動作検出装置及び方法もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【０１０２】
１…電子機器、１０…周期動作検出装置、２０…撮像装置、３０…画像変換部、４０…制御部、５０…記憶装置、６０…表示装置、７０…操作パネル、１１０…周波数変換部、１２０…差分演算部、１３０…判定部
【技術分野】
【０００１】
本発明は、動画像中から、例えば手振り等の周期性を有する動作を検出する周期動作検出装置及び方法の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、時系列の濃淡画像（即ち、グレースケール画像）を低解像度化し、低解像度化された画像を構成する各画素の濃淡値を取得して、濃淡値の時系列変化から特徴量を取得し、該取得された特徴量と、予め定められた検出対象の特徴量とを比較して検出対象の有無を判別する装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２４８８２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の背景技術では、ノイズの影響により誤判別が生じる可能性があるという技術的問題点がある。
【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、ノイズの影響による誤判別の発生を抑制することができる周期動作検出装置及び方法を提案することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の周期動作検出装置は、上記課題を解決するために、時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換手段と、前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段と、前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定手段と、を備える。
【０００７】
本発明の周期動作検出装置によれば、例えばメモリ、プロセッサ等を備えてなる周波数変換手段は、時間軸に沿って並ぶ複数のフレーム画像のうち、該時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目までの各フレーム画像に対して、画素単位又は所定領域単位で、該時間軸方向に周波数変換を施す。
【０００８】
「時間軸に沿って並ぶ複数のフレーム画像」は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等の撮像装置により生成すればよい。尚、撮像装置は、当該周期動作検出装置とは別個の装置であってもよいし、当該周期動作検出装置に備えられていてもよい。撮像装置が、当該周期動作検出装置とは別個の装置である場合、時間軸に沿って並ぶ複数のフレーム画像は、ネットワークを介して、或いは、例えばフラッシュメモリや光ディスク等の情報記録媒体を介して、当該周期動作検出装置に入力される。
【０００９】
例えば８０画素×６０画素、１４０画素×１６０画素等の比較的低解像度のフレーム画像に対しては、画素単位で周波数変換が施されることが望ましい。他方、例えば１９２０画素×１０８０画素、７２０画素×４８０画素等の比較的高解像度のフレーム画像に対しては、例えば８画素×８画素、１６画素×１６画素、２５画素×２５画素等の複数の画素からなる所定領域単位で周波数変換が施されることが望ましい。
【００１０】
このように構成すれば、比較的低解像度のフレーム画像については、振れ幅の比較的小さな周期動作の検出漏れを抑制することができ、比較的高解像度のフレーム画像については、比較的容易に周期動作を検出することができると共に、周期動作の検出までに要する時間を短縮することができる。
【００１１】
尚、周波数変換には、例えばウィンドウフーリエ変換や離散フーリエ変換等を適用可能である。
【００１２】
例えばメモリ、プロセッサ等を備えてなる第１演算手段は、周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、該第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する。
【００１３】
第１周波数は、検出対象とする周期動作毎に異なっており、例えば手振りでは、２Ｈｚ（ヘルツ）〜６Ｈｚである。第１周波数は、予め実験等により、例えば検出対象とする周期動作に係る周波数（又は周波数範囲）を求め、該求められた周波数（又は周波数範囲）に基づいて決定すればよい。
【００１４】
ここで、本願発明者の研究によれば、以下の事項が判明している。即ち、動きの無い又はほとんど無い定常状態である場合、或いは、一の方向に一回だけ物体が通り過ぎた場合、周波数変換の結果は、周波数が高くなるほど、周波数成分（パワー）が減衰する。このため、第１周波数に係るパワーと第２周波数に係るパワーとの差分値を演算すると負の値になる。他方、周期動作が存在する場合、周波数変換の結果は、該周期動作に対応する周波数にピークが現れる。このため、第１周波数に係るパワーと第２周波数に係るパワーとの差分値を演算すると正の値になる。
【００１５】
そこで本発明では、例えばメモリ、プロセッサ、コンパレータ等を備えてなる判定手段により、演算された差分値に基づいて、検出対象とする周期動作が存在するか否かが判定される。具体的には例えば、判定手段は、演算された差分値が正の値であることを条件に、検出対象とする周期動作が存在すると判定し、演算された差分値が負の値であることを条件に、検出対象とする周期動作が存在しないと判定する。
【００１６】
本発明では特に、ｉ番目からｉ＋ｊ番目までの（即ち、所定時間分の）複数のフレーム画像各々に対して、周波数変換が施され、差分値が演算される。このため、判定結果の信頼性を向上させることができる。言い換えれば、ノイズの影響による誤判定の発生を抑制することができる。
【００１７】
以上の結果、本発明の周期動作検出装置によれば、ノイズの影響による誤判定の発生を抑制しつつ、比較的容易に対象とする周期動作を検出することができる。
【００１８】
本発明の周期動作検出装置の一態様では、前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値を逐次積算して積算値を出力する第２演算手段を含み、前記出力された積算値が第１閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する。
【００１９】
この態様によれば、例えばメモリ、プロセッサ等を備えてなる第２演算手段は、演算された差分値のうち、ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の画素単位又は一の所定領域単位についての差分値を逐次積算して積算値を出力する。
【００２０】
「ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の画素単位又は一の所定領域単位についての差分値」は、具体的には、ｉ番目のフレーム画像における一画素（ｉ、ｘ１、ｙ１）に係る差分値と、ｉ＋１番目のフレーム画像において、該一画素と対応する画素（ｉ＋１、ｘ１、ｙ１）に係る差分値と、…、ｉ＋ｊ番目のフレーム画像において、該一画素と対応する画素（ｉ＋ｊ、ｘ１、ｙ１）に係る差分値と、を意味する。
【００２１】
「差分値を逐次積算して積算値を出力」は、具体的には例えば、ｉ番目のフレーム画像に対応する差分値と、ｉ＋１番目のフレーム画像に対応する差分値とを積算した段階で、１番目の積算値を出力し、次に、該１番目の積算値と、ｉ＋２番目のフレーム画像に対応する差分値とを積算した段階で２番目の積算値を出力し、・・・、ｎ−１番目の積算値と、ｉ＋ｊ番目のフレーム画像に対応する差分値とを積算した段階でｎ番目の積算値を出力することを意味する。
【００２２】
判定手段は、出力された積算値が第１閾値より大きいことを条件に、検出対象とする周期動作が存在すると判定する。他方、判定手段は、出力された積算値が第１閾値より小さいことを条件に、検出対象とする周期動作が存在しないと判定する。
【００２３】
「第１閾値」とは、検出対象とする周期動作が存在するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。
【００２４】
このような「第１閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば演算される差分値の範囲を求め、該求められた範囲のうちの一の数値と、検出対象とする周期動作の継続期間の最小値に対応するフレーム画像数との積として設定すればよい。
【００２５】
具体的には例えば、１秒間当たり３０枚のフレーム画像が存在する場合（即ち、３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）の場合）であって、演算される差分値の範囲のうちの一の数値を０．０３、検出対象とする周期動作が少なくとも１秒間継続する場合、第１閾値は０．９（＝０．０３×１×３０）とすればよい。
【００２６】
判定手段が第２演算手段を含む態様では、前記第２演算手段は、前記積算値が負の値となる場合、前記積算値をゼロとしてよい。
【００２７】
このように構成すれば、検出対象とする周期動作の検出漏れを効果的に抑制することができ、実用上非常に有利である。
【００２８】
具体的には例えば、ｉ番目からｉ＋ｊ番目までの複数のフレーム画像のうち、ｉ＋ｋ番目（但し、１≦ｋ＜ｊ）以降のフレーム画像にのみ、検出対象とする周期動作が含まれている場合、積算値を演算すべき差分値のうち、先頭（即ち、ｉ番目のフレーム画像に対応する差分値）からある程度経過するまでは、負の値が続くこととなる。この場合に、単純に積算値が演算されると、負の値を持つ差分値に起因して、積算値が上記第１閾値未満となり、検出対象とする周期動作が存在しないと、判定手段により判定される可能性がある、或いは、積算値が上記第１閾値を超えるまでにかかる処理時間が比較的長くなる可能性がある。
【００２９】
これに対して、上述の如く、積算値が負の値となる場合に該積算値をゼロとすれば、検出対象とする周期動作が含まれないフレーム画像の影響を排除することができる。
【００３０】
この態様では、前記第２演算手段は、前記積算値を得るために積算すべき差分値のうち、第２閾値より大きい差分値を前記第２閾値としてよい。
【００３１】
このように構成すれば、判定手段による判定結果（即ち、検出対象とする周期動作の検出結果）の信頼性を向上させることができる。
【００３２】
本願発明者の研究によれば、以下の事項が判明している。即ち、ノイズの影響により、例えば、２〜３フレーム画像だけ（つまり、極めて短い時間だけ）、周波数変換の結果における検出対象とする周期動作に対応する周波数に比較的大きなピークが現れた場合、該２〜３フレーム画像について得られる差分値が比較的大きくなる。すると、該２〜３フレーム画像について得られる差分値の積算値だけで、上記第１閾値を超えてしまい、検出対象とする周期動作が存在すると、判定手段により判定される可能性がある（つまり、誤判定される可能性がある）。
【００３３】
そこで、上述の如く、差分値が第２閾値を超える場合に該差分値を第２閾値とすれば、ノイズの影響による誤判定を抑制することができる。ここで、「第２閾値」とは、積算値を得るために積算すべき差分値の値を変更するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。
【００３４】
このような「第２閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば、検出対象とする周期動作の継続期間と検出の信頼度との関係を求め、該求められた関係に基づいて、実践上十分な信頼度が得られる該周期動作の継続期間を特定し、該特定された継続期間に対応するフレーム画像数分の差分値が積算されるまで上記第１閾値を超えないような値として設定すればよい。
【００３５】
具体的には例えば、第１閾値が０．９であり、十分な信頼度が得られる継続期間が１秒であり、３０ｆｐｓである場合、第２閾値は、０．０３（＝０．９÷（１×３０））とすればよい。
【００３６】
本発明の周期動作検出装置の他の態様では、前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値の各々が第３閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する。
【００３７】
この態様によれば、ノイズの影響による誤判定を抑制することができ、もって、判定手段による判定結果の信頼性を向上させることができる。
【００３８】
「第３閾値」とは、検出対象とする周期動作が存在するか否かを決定する値であり、予め固定値として、或いは、何らかの物理量又はパラメータに応じた可変値として設定されている。本発明では、「第３閾値」は、典型的には、ゼロ又は正の値である。このような「第３閾値」は、実験的若しくは経験的に、又はシミュレーションによって、例えば当該周期動作検出装置における演算誤差を求め、該演算誤差に応じて設定すればよい。
【００３９】
本発明の周期動作検出方法は、上記課題を解決するために、時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換工程と、前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算工程と、前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定工程と、を備える。
【００４０】
本発明の周期動作検出方法によれば、上述した本発明の周期動作検出装置と同様に、ノイズの影響による誤判定の発生を抑制しつつ、比較的容易に対象とする周期動作を検出することができる。
【００４１】
尚、本発明の周期動作検出方法においても、上述した本発明の周期動作検出装置に係る各種態様と同様の各種態様を採ることができる。
【００４２】
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【００４３】
【図１】第１実施形態に係る周期動作検出装置を備える電子機器の構成を示すブロック図である。
【図２】第１実施形態に係る時間軸に沿って並ぶ複数のフレーム画像の概念を示す概念図である。
【図３】第１実施形態に係る周期動作検出装置の動作を示すフローチャートである。
【図４】（ａ）は定常状態の場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図５】（ａ）は一の方向に一回だけ物体が通り過ぎた場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図６】（ａ）は周期動作がある場合の輝度値の時間変動の一例であり、（ｂ）は該時間変動の周波数変換の結果である。
【図７】特定周波数に係るパワーの変動（実線ａ参照）と、比較周波数に係るパワーの変動（実線ｂ参照）との一例を示す図である。
【図８】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の一例を示す図である。
【図９】第１実施形態の第１変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１０】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【図１１】第１実施形態の第２変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１２】第１実施形態の第３変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１３】図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【図１４】第１実施形態の第４変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１５】第１実施形態の第５変形例に係る周期動作検出装置の動作を示すフローチャートである。
【図１６】第２実施形態に係る周期動作検出装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００４４】
以下、本発明の周期動作検出装置に係る実施形態について、図面に基づいて説明する。
【００４５】
＜第１実施形態＞
本発明の周期動作検出装置に係る第１実施形態について、図１乃至図８を参照して説明する。
【００４６】
（電子機器の構成）
先ず、本実施形態に係る周期動作検出装置を備える電子機器の構成について、図１を参照して説明する。図１は、本実施形態に係る周期動作検出装置を備える電子機器の構成を示すブロック図である。
【００４７】
図１において、電子機器１は、周期動作検出装置１０、撮像装置２０、画像変換部３０、制御部４０、記憶装置５０、表示装置６０及び操作パネル７０を備えて構成されている。
【００４８】
周期動作検出装置１０は、周波数変換部１１０、差分演算部１２０及び判定部１３０を備えて構成されている。本実施形態に係る「周波数変換部１１０」、「差分演算部１２０」及び「判定部１３０」は、夫々、本発明に係る「周波数変換手段」、「第１演算手段」及び「判定手段」の一例である。
【００４９】
撮像装置２０は、例えばレンズ、ＣＣＤ等を備えて構成されており、動画や連続写真を撮影し、時間軸上で所定間隔或いは一定間隔で並ぶ複数のフレーム画像を生成するように構成されている。
【００５０】
画像変換部３０は、撮像装置２０により生成された複数のフレーム画像の少なくとも一部に対して、グレースケール化処理を施したり、低解像度化処理を施したりする。ここで、「グレースケール化処理」及び「低解像度化処理」には、公知の各種態様を適用可能であるので、説明の煩雑化を防ぐ目的からここではその詳細については触れないこととする。
【００５１】
尚、撮像装置２０により生成されるフレーム画像が、モノトーンのフレーム画像である場合、画像変換部３０は、グレースケール化処理を実行しない。また、撮像装置２０が、比較的低解像度の撮像素子を備えており、生成されるフレーム画像が比較的低解像度である場合、画像変換部３０は、低解像度化処理を実行しなくてもよい。更には、撮像装置２０により生成されるフレーム画像が、モノトーン且つ比較的低解像度のフレーム画像である場合には、電子機器１が画像変換部３０を備えていなくてもよい。
【００５２】
例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、不揮発性メモリ等である記憶装置５０は、撮影装置２０によって生成されたフレーム画像や、画像変換部３０によりグレースケール化処理及び／又は低解像度化処理が施されたフレーム画像等を逐次蓄える。
【００５３】
例えばメモリ、プロセッサ等を備えてなる制御部４０は、周期動作検出装置１０や撮像装置２０等の電子機器１に備えられている各種部材を統括制御する。具体的には例えば、制御部４０は、操作パネル７０により受け付けられたユーザの指示に応じて、動画等を撮影するように撮像装置２０を制御したり、該撮像装置２０により撮影された動画等を表示するように、例えば液晶ディスプレイ等である表示装置６０を制御したりする。
【００５４】
制御部４０は、特に、操作パネル７０により、周期動作検出の要求が受け付けられた際に、記憶装置５０に蓄えられている、グレースケール化処理及び／又は低解像度化処理が施されたフレーム画像を、入力端子Ｐ１を介して、順次読み込むように周期動作検出装置１０を制御する。
【００５５】
ここで、周期動作検出装置１０に読み込まれるフレーム画像について、図２を参照して説明を加える。図２は、本実施形態に係る時間軸に沿って並ぶ複数のフレーム画像の概念を示す概念図である。
【００５６】
図２において、複数のフレーム画像ｉ、ｉ＋１、ｉ＋２、…、ｉ＋ｊの各々は、時間軸上における時刻ｔ０、ｔ１、ｔ２、…、ｔｊに取得されている。各フレーム画像ｉ、ｉ＋１、ｉ＋２、…、ｉ＋ｊは、比較的低解像度（例えば、縦３０画素×横４０画素、縦６０画素×横８０画素等）のモノトーンのフレーム画像である。
【００５７】
このような比較的低解像度のフレーム画像を用いることにより、ノイズの低減と、周期動作検出装置１０における処理量の削減とを図ることができる。
【００５８】
（周期動作検出装置の動作）
次に、周期動作検出装置１０の動作について、図３のフローチャートを参照して具体的に説明する。
【００５９】
図３において、先ず、周波数変換部１１０は、周期動作検出装置１０に読み込まれたフレーム画像から、時刻ｔに取得されたフレーム画像を取得する（ステップＳ１０１）。ここでは、時刻ｔ０に取得されたフレーム画像ｉを取得したものとする。
【００６０】
次に、周波数変換部１１０は、フレーム画像ｉ対して、画素単位で、或いは、複数の画素からなる所定領域単位で、時間軸方向に周波数変換を施す（ステップＳ１０２）。ここで、周波数変換部１１０が画素単位で周波数変換を行う場合について、より具体的に説明する。
【００６１】
フレーム画像ｉにおける画素Ｐｉ（ｉ、ｘ１、ｙ１）に対して周波数変換が施される場合、周波数変換部１１０は、画素Ｐｉ（ｉ、ｘ１、ｙ１）の輝度値、及びフレーム画像ｉに続く、例えば２９のフレーム画像ｉ＋１、…、ｉ＋２９の各々において画素Ｐｉ（ｉ、ｘ１、ｙ１）に対応する画素である画素Ｐｉ＋１（ｉ＋１、ｘ１、ｙ１）、…、Ｐｉ＋２９（ｉ＋２９、ｘ１、ｙ１）の輝度値を取得する（つまり、３０フレーム画像分の輝度値を取得する）。
【００６２】
続いて、周波数変換部１１０は、取得された輝度値に基づいて、画素Ｐｉ（ｉ、ｘ１、ｙ１）の輝度値の時間変動を求め、該求められた時間変動に対して周波数変換を施す。尚、所定領域単位で周波数変換が行われる場合には、画素単位の場合と同様に、該所定領域毎の輝度値の時間変動が求められ、該求められた時間変動に対して周波数変換が施される。
【００６３】
輝度値の時間変動と、周波数変換の結果について、図４乃至図６を参照して説明を加える。図４（ａ）は定常状態の場合の輝度値の時間変動の一例であり、図４（ｂ）は該時間変動の周波数変換の結果である。図５（ａ）は一の方向に一回だけ物体が通り過ぎた場合の輝度値の時間変動の一例であり、図５（ｂ）は該時間変動の周波数変換の結果である。図６（ａ）は周期動作がある場合の輝度値の時間変動の一例であり、図６（ｂ）は該時間変動の周波数変換の結果である。尚、図４乃至図６に示す周波数変換の結果は、周波数変換の一例としての、ハミング窓を用いたウィンドウフーリエ変換を、輝度値の時間変動に対して施した場合の結果である。
【００６４】
定常状態の場合、図４（ａ）に示すように、輝度値の時間変動はほとんど無い。図４（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図４（ｂ）に示すような結果が得られる。尚、ウィンドウフーリエ変換が施されると、窓関数の畳み込みにより、比較的低い周波数（ここでは、１Ｈｚ以下）に集中する。
【００６５】
一回だけ物体が通り過ぎた場合、図５（ａ）に示すように、輝度値の時間変動には一つだけピークが現れる。図５（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図５（ｂ）に示すような結果が得られる。
【００６６】
図４（ｂ）及び図５（ｂ）からわかるように、定常状態の場合、及び一回だけ物体が通り過ぎた場合、ウィンドウフーリエ変換が施されると、周波数が高くなる減衰するスペクトルが得られる。
【００６７】
周期動作がある場合、図６（ａ）に示すように、周期的にピークが現れる。図６（ａ）に示した輝度値の時間変動に対してウィンドウフーリエ変換を施すと、図６（ｂ）に示すような結果が得られる。図６（ｂ）からわかるように、周期動作がある場合、該周期動作に対応した周波数（ここでは、４Ｈｚ）にピークが現れる。
【００６８】
再び図３に戻り、ステップＳ１０２の処理の後、差分演算部１２０は、検出対象とする周期動作の周波数である、本発明に係る「第１周波数」の一例としての、特定周波数のパワー（即ち、図４（ｂ）等における縦軸の値）と、該特定周波数より低く且つゼロより高い一の周波数である、本発明に係る「第２周波数」の一例としての、比較周波数のパワーと、の差分値（即ち、（特定周波数のパワー）−（比較周波数のパワー））を演算する（ステップＳ１０３）。尚、ここで演算された差分値は、時刻ｔに取得されたフレーム画像（ここでは、フレーム画像ｉ）の各画素又は所定領域に係る差分値である。
【００６９】
例えば、特定周波数を４Ｈｚとし、比較周波数を２Ｈｚとすると、図４に示す定常状態の場合、及び図５に示す一回だけ物体が通り過ぎた場合では、演算された差分値は負の値となる。他方、図６に示す周期動作がある場合では、演算された差分値は正の値となる。
【００７０】
次に、本発明に係る「第２演算手段」の一例としての、判定部１３０は、画素毎又は所定領域毎に、演算された差分値を逐次積算して累積値を取得する（ステップＳ１０４）。続いて、判定部１３０は、累積値が第１閾値より大きいか否かを判定する（ステップＳ１０５）。
【００７１】
より具体的には、判定部１３０は、フレーム画像ｉの各画素又は所定領域に係る差分値を、前回の累積値（つまり、フレーム画像ｉ−１の各画素又は所定領域に係る差分値を積算することにより得られた累積値）に加算する。尚、フレーム画像ｉが最初のフレーム画像の場合は、前回の累積値はゼロである。そして、判定部１３０は、累積値が更新される度に、該更新された累積値が第１閾値より大きいか否かを判定する。
【００７２】
累積値が第１閾値より大きいと判定された場合（ステップＳ１０５：Ｙｅｓ）、判定部１３０は、検出対象とする周期動作があると判定する（ステップＳ１０６）。尚、この際、周期動作検出装置１０は、例えば「周期動作検出」を示す信号を、出力端子Ｐ２を介して、制御部４０に送信する。該信号を受信した制御部４０は、表示装置６０上に、例えば周期動作が検出された旨を示すメッセージ又は画像等を示すように、表示装置６０を制御する。
【００７３】
他方、ステップＳ１０５の処理において、累積値が第１閾値より小さいと判定された場合（ステップＳ１０５：Ｎｏ）、判定部１３０は、後述するステップＳ１０７の処理を実行する。尚、累積値が第１閾値と「等しい」場合は、どちらかの場合に含めて扱えばよい。
【００７４】
ここで、累積値について、図７及び図８を参照して説明を加える。図７は、特定周波数に係るパワーの変動（実線ａ参照）と、比較周波数に係るパワーの変動（点線ｂ参照）との一例を示す図である。図８は、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の一例を示す図である。
【００７５】
図７に示されるように、約２６０フレーム目までは、特定周波数に係るパワーよりも比較周波数に係るパワーが大きい。つまり、検出対象とする周期動作は存在しない。このため、図８に示すように、累積値は減少する。他方で、約２６０フレーム目以降は、比較周波数に係るパワーよりも特定周波数に係るパワーが大きい。つまり、検出対象とする周期動作が存在している。このため、図８に示すように、累積値が増加に転じる。
【００７６】
例えば、第１閾値を“１”とすると、判定部１３０は、約４００フレーム画像分の差分値が積算された時点で、検出対象とする周期動作があると判定する（図８参照）。本実施形態では特に、特定周波数に係るパワーが比較周波数に係るパワーよりも大きい状態、即ち、差分値が正の値となる状態が、ある程度継続されないと第１閾値を超えないような値として、該第１閾値が設定されている。このため、判定部１３０による判定結果（言い換えれば、周期動作検出装置１０による検出結果）の信頼度を向上させることができる。
【００７７】
再び図３に戻り、判定部１３０は、動作を終了するか否かを判定する（ステップＳ１０７）。ここで、動作を終了するか否かは、所定の終了条件を満たしたか否かにより判定すればよい。「所定の終了条件」は、例えば、検出対象とする周期動作が検出されたこと、ユーザからの終了要求があること、ユーザにより予め設定された範囲の各フレーム画像について一連の処理が終了したこと、等である。
【００７８】
動作を終了すると判定された場合（ステップＳ１０７：Ｙｅｓ）、周期動作検出装置１０は、動作を終了すると共に、動作を終了することを示す信号を、出力端子Ｐ２を介して、制御部４０に送信する。
【００７９】
他方、動作を終了しないと判定された場合（ステップＳ１０７：Ｎｏ）、周期動作検出装置１０は、時刻ｔの値を更新して（ステップＳ１０８）、ステップＳ１０１の処理を実行する（即ち、次のフレーム画像を取得する）。
【００８０】
本実施形態では、上述の如く、差分値の累積値が第１閾値より大きいことを条件に、検出対象とする周期動作が存在すると判定される。このため、周期動作検出装置１０は、複数のフレーム画像に対して、上述した一連の処理を施すことを前提に構成されている。
【００８１】
ここでは、上述したステップＳ１０７の処理において動作を終了すると判定されるまでに、周期動作検出装置１０が、フレーム画像ｉからフレーム画像ｉ＋ｊ（本発明に係る「ｉ＋ｊ番目のフレーム画像に相当）までの各フレーム画像に対して、上述した一連の処理を施すものとする。尚、図２では“ｊ”が、便宜上、２９よりも大きい値となっているが、“ｊ”は２９以下であってよい。
【００８２】
＜第１変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第１変形例について、図９のフローチャートを参照して説明する。
【００８３】
図９において、上述したステップＳ１０４の処理において累積値が取得された後、判定部１３０は、該取得された累積値が負の値であるか否かを判定する（ステップＳ２０１）。累積値が負の値であると判定された場合（ステップＳ２０１：Ｙｅｓ）、判定部１３０は、累積値をゼロとして（ステップＳ２０２）、上述したステップＳ１０５の処理を実行する。他方、累積値が負の値でない（即ち、累積値がゼロ以上である）と判定された場合（ステップＳ２０１：Ｎｏ）、判定部１３０は、上述したステップＳ１０５の処理を実行する。
【００８４】
図９のフローチャートに示した処理が実行された場合の累積値の変動は、例えば図１０のようになる。ここで、例えば第１閾値を“１”とすると、図１０に示すように、約３６０フレーム画像分の差分値が積算された時点で累積値が第１閾値より大きくなるので、図３のフローチャートに示した処理に比べて、早期に検出対象とする周期動作を検出することができる。
【００８５】
図１０は、図８と同趣旨の、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【００８６】
＜第２変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第２変形例について、図１１のフローチャートを参照して説明する。
【００８７】
図１１において、上述したステップＳ１０３の処理において差分値が演算された後、差分演算部１２０は、演算された差分値をＮ倍する（Ｎ＞０）（ステップＳ３０１）。次に、判定部１３０は、上述したステップＳ１０４の処理を実行する。このように構成すれば、比較的早期に累積値が第１閾値に達するため、対象とする周期動作が存在する場合に、比較的早期に該周期動作を検出することができる。
【００８８】
尚、ステップＳ１０４の処理の後は、図２のフローチャートにおけるステップＳ１０５の処理が実行されてもよいし、図９のフローチャートにおけるステップＳ２０１の処理が実行されてもよい。
【００８９】
＜第３変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第３変形例について、図１２のフローチャートを参照して説明する。
【００９０】
図１２において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が第２閾値より大きいか否かを判定する（ステップＳ４０１）。差分値が第２閾値より大きいと判定された場合（ステップＳ４０１：Ｙｅｓ）、判定部１３０は、差分値を第２閾値として（ステップＳ４０２）、上述したステップＳ１０４及びＳ３０１の処理を実行する。他方、差分値が第２閾値以下であると判定された場合（ステップＳ４０１：Ｎｏ）、判定部１３０は、上述したステップＳ１０４及びＳ３０１の処理を実行する。
【００９１】
図１２のフローチャートに示した処理が実行された場合の累積値の変動は、例えば図１３のようになる。差分値に上限（即ち、第２閾値）が存在しているので、図１３に示すように、図９のフローチャートに示した処理に比べて、累積値の上昇の程度が緩やかになる。
【００９２】
図１３は、図８と同趣旨の、図７に示した特定周波数に係るパワーと比較周波数に係るパワーとの差分値を逐次積算した場合の累積値の変動の他の一例を示す図である。
【００９３】
＜第４変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第４変形例について、図１４のフローチャートを参照して説明する。
【００９４】
図１４において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が負の定数Ｍより小さいか否かを判定する（ステップＳ５０１）。差分値が負の定数Ｍより小さいと判定された場合（ステップＳ５０１：Ｙｅｓ）、判定部１３０は、差分値を負の定数Ｍとして（ステップＳ５０２）、上述したステップＳ４０１の処理を実行する。他方、差分値が負の定数Ｍ以上であると判定された場合（ステップＳ５０１：Ｎｏ）、判定部１３０は、上述したステップＳ４０１の処理を実行する。このように構成すれば、累積値の変動を抑制することができる。
【００９５】
＜第５変形例＞
次に、第１実施形態の周期動作検出装置１０に係る第５変形例について、図１５のフローチャートを参照して説明する。
【００９６】
図１５において、上述したステップＳ１０３の処理において差分値が演算された後、判定部１３０は、該演算された差分値が負であるか否かを判定する（ステップＳ６０１）。差分値が負であると判定された場合（ステップＳ６０１：Ｙｅｓ）、判定部１３０は、差分値を負の定数Ｍとして（ステップＳ６０２）、上述したステップＳ４０１の処理を実行する。他方、差分値が負ではないと判定された場合（ステップＳ６０１：Ｎｏ）、判定部１３０は、上述したステップＳ４０１の処理を実行する。このように構成すれば、対象とする周期動作が存在しない箇所の減衰を比較的速くすることができ、ノイズに対する耐性をより向上させることができる。
【００９７】
＜第２実施形態＞
本発明の周期動作検出装置に係る第２実施形態を、図１６のフローチャートを参照して説明する。第２実施形態では、周期動作検出装置の動作の一部が異なる以外は、第１実施形態の構成と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図１６のフローチャートを参照して説明する。
【００９８】
図１６において、上述したステップＳ１０３の処理の後、判定部１３０は、演算された差分値が、例えばゼロ等である第３閾値より大きいか否かを判定する（ステップＳ７０１）。差分値が第３閾値より大きいと判定された場合（ステップＳ７０１：Ｙｅｓ）、判定部１３０は、所定時間経過したか否かを判定する（ステップＳ７０２）。ここで、「所定時間経過」とは、Ｎ枚のフレーム画像を処理する過程で、ｎ枚の連続するフレーム画像について、差分値が第３閾値より大きいと連続して判定されたことを意味する（Ｎ＞０；ｎ＞０；Ｎ＞ｎ）。
【００９９】
所定時間経過したと判定された場合（ステップＳ７０２：Ｙｅｓ）、判定部１３０は、検出対象とする周期動作があると判定する（ステップＳ７０３）。続いて、判定部１３０は、上述したステップＳ１０７の処理を実行する。
【０１００】
ステップＳ７０１の処理において、差分値が第３閾値より小さいと判定された場合（ステップＳ７０１：Ｎｏ）、及びステップＳ７０２の処理において、所定時間経過していないと判定された場合（ステップＳ７０２：Ｎｏ）、判定部１３０は、上述したステップＳ１０７の処理を実行する。
【０１０１】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う周期動作検出装置及び方法もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【０１０２】
１…電子機器、１０…周期動作検出装置、２０…撮像装置、３０…画像変換部、４０…制御部、５０…記憶装置、６０…表示装置、７０…操作パネル、１１０…周波数変換部、１２０…差分演算部、１３０…判定部
【特許請求の範囲】
【請求項１】
時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換手段と、
前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段と、
前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定手段と、
を備えることを特徴とする周期動作検出装置。
【請求項２】
前記判定手段は、
前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値を逐次積算して積算値を出力する第２演算手段を含み、
前記出力された積算値が第１閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する
ことを特徴とする請求項１に記載の周期動作検出装置。
【請求項３】
前記第２演算手段は、前記積算値が負の値となる場合、前記積算値をゼロとすることを特徴とする請求項２に記載の周期動作検出装置。
【請求項４】
前記第２演算手段は、前記積算値を得るために積算すべき差分値のうち、第２閾値より大きい差分値を前記第２閾値とすることを特徴とする請求項３に記載の周期動作検出装置。
【請求項５】
前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値の各々が第３閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定することを特徴とする請求項１に記載の周期動作検出装置。
【請求項６】
時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換工程と、
前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算工程と、
前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定工程と、
を備えることを特徴とする周期動作検出方法。
【請求項１】
時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換手段と、
前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算手段と、
前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定手段と、
を備えることを特徴とする周期動作検出装置。
【請求項２】
前記判定手段は、
前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値を逐次積算して積算値を出力する第２演算手段を含み、
前記出力された積算値が第１閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定する
ことを特徴とする請求項１に記載の周期動作検出装置。
【請求項３】
前記第２演算手段は、前記積算値が負の値となる場合、前記積算値をゼロとすることを特徴とする請求項２に記載の周期動作検出装置。
【請求項４】
前記第２演算手段は、前記積算値を得るために積算すべき差分値のうち、第２閾値より大きい差分値を前記第２閾値とすることを特徴とする請求項３に記載の周期動作検出装置。
【請求項５】
前記判定手段は、前記演算された差分値のうち、前記ｉ番目からｉ＋ｊ番目までの各フレーム画像において相互に対応する一の前記画素単位又は一の前記所定領域単位についての差分値の各々が第３閾値より大きいことを条件に、前記検出対象とする周期動作が存在すると判定することを特徴とする請求項１に記載の周期動作検出装置。
【請求項６】
時間軸に沿って並ぶ複数のフレーム画像のうち、前記時間軸上において連続して並ぶ、ｉ番目からｉ＋ｊ番目まで（ｉ、ｊは自然数）の各フレーム画像に対して、画素単位又は所定領域単位で、前記時間軸方向に周波数変換を施す周波数変換工程と、
前記周波数変換の結果に基づき、検出対象とする周期動作の周波数である第１周波数に係るパワーと、前記第１周波数より低く且つゼロより高い一の周波数である第２周波数に係るパワーと、の差分値を演算する第１演算工程と、
前記演算された差分値に基づいて、前記検出対象とする周期動作が存在するか否かを判定する判定工程と、
を備えることを特徴とする周期動作検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１２３５３８（Ｐ２０１２−１２３５３８Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７２７５８（Ｐ２０１０−２７２７５８）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【出願人】（５９９０１１６８７）学校法人 中央大学 (110)
【Ｆターム（参考）】
[ Back to top ]