画像動き検知装置、画像動き検知方法、プログラム及び記録媒体
【課題】 適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定可能とする。
【解決手段】 利用者が動きありボタン３−４及び動きなしボタン３−５を操作することによって、表示される動画像に動きがある期間（第１の期間）と動きがない期間（第２の期間）とを指定する。すると、所定の基準画像に対する第１の期間における動画像の変化量と、当該所定の基準画像に対する第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値が決定され、決定されたしきい値の上限値から下限値までの範囲内において、利用者は任意のしきい値を決定することができる。このように決定されたしきい値と当該所定の基準画像に対する動画像の変化量とに基づいて動画像の動きが検知される。
【解決手段】 利用者が動きありボタン３−４及び動きなしボタン３−５を操作することによって、表示される動画像に動きがある期間（第１の期間）と動きがない期間（第２の期間）とを指定する。すると、所定の基準画像に対する第１の期間における動画像の変化量と、当該所定の基準画像に対する第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値が決定され、決定されたしきい値の上限値から下限値までの範囲内において、利用者は任意のしきい値を決定することができる。このように決定されたしきい値と当該所定の基準画像に対する動画像の変化量とに基づいて動画像の動きが検知される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、動画像の動きを検知するための画像動き検知装置、画像動き検知方法、プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
監視システムにおいて、画像処理により監視画像の変化を自動的に求め、変化があったときに通知をしたり画像を保存蓄積したりする機能が実用化されている。ここで動き検知感度を設定するために、動き検知処理の途中経過である画像の変化量を表示し、対話的に感度を調整する機能が実装されているものがある。
【０００３】
例えば、画像の変化量を表示するインジケータを見ながら検知パラメータを調節できるものが知られている。また、特許文献１及び２には、ビデオ編集システムにおいてシーンの変化を画像処理によって求め、シーンの変化時刻と変化時の画像を編集画面上に視覚的に表示する機能を有するものが開示されている。
【０００４】
一方、背景差分やフレーム間差分により画像の動き検知を行う方法において、動きのある画像と動きのない画像とを入力して、誤検知および検出漏れをなくすような最適な感度を設定する方法が特許文献３に開示されている。
【特許文献１】特開平１１−０３２３０１号公報
【特許文献２】特開平９−６５２８７号公報
【特許文献３】特開平９−２００７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の動画像の動き検知機能では検知感度の設定が可能であるが、実際に設定できる値の範囲は広いことが多く、試行錯誤を繰り返して調整する必要がある。また、ビデオ編集システムにおいてカット検出によるシーン開始画像や代表画像表示機能があるが、検出強度の調整機能はないことが一般的である。一方、特許文献３に開示された発明は、動きのある画像とない画像から適正な感度の範囲を提示し、使用者が感度設定をする際の負担を軽減するものであるが、特許文献３には使用者が入力を行うための具体的なインタフェースが開示されていない。
【０００６】
従って、本発明の目的は、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定可能とすることにある。
【課題を解決するための手段】
【０００７】
斯かる目的を達成するために、本発明の画像動き検知装置は、動画像を表示する画像表示手段と、利用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、前記上下限値決定手段により決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段とを有することを特徴とする。
【０００８】
本発明の画像動き検知方法は、動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、動画像を表示する画像表示ステップと、利用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする。
【０００９】
本発明の画像動き検知装置は、動画像を表示する画像表示手段と、感度の自動設定開始を指示する自動設定開始指示手段と、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定手段とを有することを特徴とする。
【００１０】
本発明の画像動き検知方法は、動画像を表示する画像表示ステップと、感度の自動設定開始を指示する自動設定開始指示ステップと、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定ステップとを有することを特徴とする。
【００１１】
本発明のプログラムは、前記画像動き検知方法をコンピュータに実行させることを特徴とする。本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者の操作に応じて動画像に動きがある第１の期間及び動きがない第２の期間を指定し、所定の基準画像に対する第１の期間における動画像の変化量と、当該所定の基準画像に対する第２の期間における動画像の変化量とに基づいてしきい値の上限値及び下限値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定することが可能となる。
【００１３】
また、感度の自動設定開始を指示し、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値を、利用者の簡単な操作のみで自動設定することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
本発明の第１の実施形態では、画像間差分による動き検知処理の感度設定において、ライブ画像に対して動きがある時間と動きがない時間とを指定することにより、適正な感度範囲を自動的に計算して表示する動き検知設定の例を述べる。
【００１７】
本実施形態におけるハードウェアは、カメラと接続可能なコンピュータから構成される。ここで、カメラの映像出力は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ ｃｏｌｏｒ ｔｅｌｅｖｉｓｉｏｎ）の他に、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４接続による独自形式などあるが、本発明は映像出力形式には依存しない。また、コンピュータはＣＰＵ、ＲＡＭ、ＲＯＭ、二次記憶、モニタ、キーボード、マウス、外部入出力インタフェースを備え、カメラからの映像を入力可能な機能があればよく、市販のパーソナルコンピュータや専用のセットトップボックス、携帯情報端末、携帯電話端末などその形状は問わない。
【００１８】
また、以下の説明ではカメラとコンピュータが直接接続し、コンピュータ上で設定を行う方式を説明するが、設定を別のコンピュータからネットワーク経由で行うことも可能である。また、カメラにネットワーク接続機能があり、ネットワーク経由でカメラの映像をコンピュータ取得して動き検知処理を行うことも可能である。
【００１９】
次に、本実施形態におけるソフトウェアは、コンピュータ上でカメラから画像を取得し動き検知処理を行う画像処理プロセスと、画像や動き検知処理結果を表示し、設定を行うＧＵＩプロセスから構成される。ＧＵＩプロセスをメインプロセス、画像処理プロセスをサブプロセスとする。ここでプロセスとはプログラムの実行単位であり、複数のプログラムであってもよいし、スレッドと呼ばれる単一プログラム中の実行単位であってもよい。
【００２０】
次に図１を用いて差分による動き検知処理の概要を説明する。撮像部１−１は映像を入力するカメラである。カメラから取得された画像は基準画像生成部１−２において、基準画像生成に用いられる。基準画像は差分アルゴリズムによって異なる。典型的な差分処理としてはフレーム間差分や背景差分があり、フレーム間差分における基準画像は１または複数フレーム前の画像である。また背景差分であれば、例えば過去の動きのない時間帯における複数フレームの平均画像やメディアン画像が用いられる。
【００２１】
次に差分処理部１−３において、入力画像と基準画像の差分処理が行われ変化量が算出される。典型的な差分処理は入力画像と基準画像との差の絶対値和を変化量とする。ここでは例えば各画素のＲＧＢ成分やＹＣｂＣｒ成分、あるいは、ＪＰＥＧの各符号ブロックの符号量やＤＣＴ係数などが，差分演算に使用される。
【００２２】
次に判別処理部１−４において、求められた差分量が「動き検知あり」の状態に相当するかどうかを判別する。ここでよく用いられるのは、差分量があるしきい値を超えた場合は動きありとみなし、しきい値以下であれば動きなしとする方法である。しきい値は設定部１−５で使用者によって設定、変更が可能である。ここでしきい値は設定部１−５では「感度」に変換されて表示し、指定することが多い。しきい値が大きいほど感度が低く、しきい値が小さいほど感度が高くなる。例えば、感度Ｓとしきい値Ｔｈの関係は以下のように表される。
【００２３】
Ｓ＝ａ（Ｔｈｍａｘ−Ｔｈ）＋ｂ
ここでＴｈｍａｘはしきい値の最大値、ａ、ｂは定数である。
【００２４】
以上は典型的な差分による動き検知方式の例であるが、本実施形態は変化量としきい値から差分処理を行う方法を対象にするものなので、変化量を求める差分演算の種類に依存するものではない。
【００２５】
次に図２を用いて、変化量と動画像の動きのあり・なしの指定から適正なしきい値の範囲を求めるアルゴリズムについて説明する。
【００２６】
図２（ａ）は変化量の時間変移を示したグラフであり、横軸は時刻、縦軸は変化量である。ここで動きのない時間Ｔ１〜Ｔ２、Ｔ５〜Ｔ６、および、動きのある時間Ｔ３〜Ｔ４を指定したとする。変化量は動きが明瞭であれば、動きのあるときとないときで明らかな差があるため、動きのない時間における変化量の最大値から適正なしきい値の下限Ｔｈ１が、動きのある時間における変化量の最小値から適正なしきい値の上限Ｔｈ２を決定することができる。その結果、使用者はしきい値の下限Ｔｈ１から上限Ｔｈ２の間で適正なしきい値Ｔｈを設定すればよい。
【００２７】
適正なしきい値の下限Ｔｈ１と上限Ｔｈ２の設定方法としては別の方法もある。図２（ｂ）はしきい値を変更した場合の誤検知率と未検知率を表したものである。誤検知とは動きがないにもかかわらず誤って動きありと判別されることである。誤検知率曲線２−１は図２（ａ）における動き検知なし時間の変化量の分布から生成され、しきい値を大きくするほど低くなる。同様に未検知とは動きがあるにもかかわらず動きなしと判別されることである。未検知率曲線２−２は図２（ａ）における動き検知あり時間の変化量の分布から生成され、しきい値を小さくするほど低くなる。
【００２８】
よって誤検知率と未検知率の和が検知全体の精度となり、図２（ｂ）の検知率曲線２−３で示される。その結果、一定の判別精度Ｅを保つためのしきい値の範囲はＴｈ１からＴｈ２となる。この手法によれば、動きなしと指定したときの変化量分布と動きありと指定したときの変化量分布が重複していても判別が可能である。
【００２９】
次に図３を用いて動き検知感度設定のＧＵＩを説明する。図３（ａ）は感度設定を行うダイアログウィンドウの一例を示した図である。ダイアログはプリセット選択部３−１、画像表示部３−２、検知対象領域設定枠３−３、動きありボタン３−４、動きなしボタン３−５、変化量・判別結果表示部３−６、感度調節部３−７、決定ボタン３−８、キャンセルボタン３−９から構成される。
【００３０】
プリセット設定部３−１は制御可能なカメラのパン、チルト、ズームを指定したプリセットを選択するものである。当然のことながら固定カメラの場合は不要である。動き検知対象領域３−３は画像中で差分処理の対象となる領域を指定する枠であり、その位置やサイズはマウスカーソルのドラッグ操作により変更可能である。
【００３１】
動きありボタン３−４、および、動きなしボタン３−５は動きありおよびなしの開始時刻と終了時刻を指定する。両ボタンは一度押すと押下状態になり、再び押すと通常状態となる。押下時に開始時刻を指定し、押上時に終了時刻を指定する。指定後、動きのありおよびなし時間のデータはＲＡＭや二次記憶に保存される。そして、動きありボタンを押し上げて動きありの終了を指定したときに適正なしきい値の上限が算出され、動きなしボタンを押し上げて動きなしの終了を指定したときには適正なしきい値の下限が設定される。
【００３２】
変化量・判別結果表示部３−６は変化量をグラフで表示するとともに、動き有無の判別結果を色で表示する。感度調整部３−７はしきい値を感度に変換して表示し、スライダーのつまみをドラッグすることで感度を設定できる。スライダーでは図３（ｂ）に示すように、最小適正感度Ｓ１から最大適正感度Ｓ２までの値が強調表示される。既に述べたように適正感度の最小値Ｓ１は適正しきい値の最大値Ｔｈ２から求められ、適正感度の最大値Ｓ２は適正しきい値の最小値Ｔｈ２から求められる。
【００３３】
次に図４および図５を用いて、動き検知設定プログラムの動作手順を説明する。図４はＧＵＩを含むメインプロセスの動作手順であり、図５は動き検知処理を行うサブプロセスの動作手順である。
【００３４】
図４のメインプロセスにおいて、開始後、ステップＳ４０１で初期化処理を行い、ステップＳ４０２でサブプロセスを起動する。初期化を終了すると図３に示すようなダイアログを表示する。次にステップＳ４０３においてイベント待ちを行う。以下では本発明に係わる主要なイベントのみを説明する。
【００３５】
イベントが発生すると、ステップＳ４０４においてプリセット入力処理かどうか判別する。このイベントはプリセット選択部３−１を変更すると発生する。もしそうであればＹ分岐し、ステップＳ４０５でプリセット設定を、ステップＳ４０６でカメラ制御を行い、ステップＳ４０３に戻って次のイベントを待つ。
【００３６】
ステップＳ４０４でプリセット入力イベントでない場合にはＮ分岐し、ステップＳ４０７で領域変更イベントかどうか判別する。このイベントは動き検知対象領域枠３−３を変更した場合に発生する。もしそうである場合にはＹ分岐し、ステップＳ４０８に進んで領域変更処理を行い、ステップＳ４０３に戻って次のイベントを待つ。
【００３７】
ステップＳ４０７において領域変更イベントでない場合にはＮ分岐し、ステップＳ４０９で動きありボタン押下イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１０で動きあり開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４０９において押下イベントでない場合にはＮ分岐し、ステップＳ４１１で動きありボタン押上イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１２に進んで動きあり終了時刻を記録する。次にステップＳ４１３で適正しきい値の上限値を計算し、ステップＳ４１４で感度設定表示を更新し、ステップＳ４０３に戻って次のイベント待ちを行う。
【００３８】
ステップＳ４１１で動きありボタン押上イベントでない場合にはＮ分岐し、ステップＳ４１５に進んで動きなし押下イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１６に進んで動きなし開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４１５において動きなし押下イベントでない場合にはＮ分岐し、ステップＳ４１７に進んで動きなし押上イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１８に進んで動きなし終了時刻を記録し、ステップＳ４１９で適正しきい値の下限値を計算し、ステップＳ４１４以下の処理を行う。
【００３９】
もし、ステップＳ４１７で動きなしボタン押上イベントでない場合にはステップＳ４２０に進んで検知設定更新要求かどうか判別する。このイベントは決定ボタン３−８を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ４２１で動き検知設定値を更新する。もしそうでない場合はステップＳ４０３に戻って次のイベントを待つ。
【００４０】
次に、図５を用いて画像処理を行うサブプロセスの動作原理を説明する。開始後、ステップＳ５０１で画像を１枚取得する。画像はカメラから入力したり、ネットワーク経由で取得したりする。次に、ステップＳ５０２で差分処理に必要な基準画像が存在するかどうか判別する。
【００４１】
基準画像は前述したように過去の画像を少なくとも１つ使用する。このため、ステップＳ５０２において基準画像がない場合にはＮ分岐し、ステップＳ５０６に進んで基準画像の生成と更新を行う。ここで背景差分の場合は基準画像作成時には動きがない状態である必要があるが、設定を行うタイミングを調節することによって対応が可能である。また設定ダイアログに「設定開始」などのボタンを付けてタイミングを調節することもできるが、本発明に係わる部分ではないため説明を省略する。
【００４２】
ステップＳ５０２において、もし基準画像がある場合にはＹ分岐し、ステップＳ５０３に進んで差分処理を行う。次にステップＳ５０４で動き判別処理、ステップＳ５０５で変化量表示更新処理を行い、ステップＳ５０６で基準画像を更新してステップＳ５０７で画面表示を更新する。画像表示の際には変化のあった領域を強調して表示することも可能である。最後にステップＳ５０８で終了指示が無ければＮ分岐してステップＳ５０１に戻って処理を繰り返す。
【００４３】
プログラム処理にはこの他にもキャンセルボタン３−９押下時の処理があるが、キャンセルした場合には設定値は確定されずにダイアログは終了する。またオペレーションシステム固有のイベントに対する処理の説明は省略する。
【００４４】
以上の説明からも明らかなように、本実施形態によれば、画像の差分に基づく動き検知において、使用者が画像を見ながら動きありの開始・終了時刻と、動きなしの開始・終了時刻を指定することによって、適正なしきい値の範囲を求めるとともに、適正な感度値の上限と下限を表示し、使用者がより簡便にしきい値および感度設定を行うことができる。
【００４５】
＜第２の実施形態＞
本発明の第２の実施形態として、蓄積映像に対して第１の実施形態と同様に動きありと動きなしの時間を入力し、適正なしきい値および感度設定を行う方法を説明する。蓄積映像に加えて変化量の時間変位グラフも同時に示すことで、動きありなし期間の設定をより分かりやすく行うこと目的とする。
【００４６】
本実施形態のハードウェア構成とソフトウェア構成は第１の実施形態と同一であるので説明を省略する。本実施形態における感度設定のＧＵＩの例を図６に示す。図６はダイアログウィンドウであり、画像表示部６−１、動き検知対象領域設定部６−２、蓄積映像選択部６−１６、動きありボタン６−３、動きなしボタン６−４、変化量・動き判別結果表示部６−５、感度調整部６−６、代表画像表示部６−７、６−８、６−９、変化量変移グラフ６−１０、動き時間表示バー６−１２、時刻表示バー６−１１、再生制御ボタン群６−１３、決定ボタン６−１４、キャンセルボタン６−１５から構成される。なお、図６とは別に、ライブ画像画面で蓄積映像を録画するために新たにボタンを追加する必要があるが、説明を省略する。
【００４７】
次に、操作方法を説明する。まず蓄積映像選択部６−１６により任意の映像を選択する。すると画像表示部６−１は当該映像が表示され、再生を開始する。再生中は変化量表示部６−５に変化量が表示される。動き検知対象領域６−２はマウスのドラッグにより位置とサイズを変更して動き検知の対象となる領域を指定する。再生中に再度再生ボタンを押すと再生を停止する。
【００４８】
動きありボタン６−３と動きなしボタン６−４は、第１の実施形態と同様に、再生中の適当なタイミングでボタンを操作することにより、動き有無の開始・終了時刻を指定する。ただし、本実施形態では動きありボタン６−３が押下されると変化量グラフ６−１０において、動き時間表示バー６−１２の表示を開始し、押上されるとバーの長さが決定する。バーの色や柄は動きありとなしが識別できるように異なっている。同時に時間表示バー６−１１には開始・終了時刻を表示する。以上の処理は動き検知なしボタン６−４の押下・押上に対しても同様である。
【００４９】
動き時間表示バー６−１２が決定すると、バーの表示と対応して期間中の代表画像を６−７、６−８、６−９のように表示する。画像は動き検知ありの場合は変化量が最大である時刻の画像などが考えられるが、単に動きあり・なし開始時の画像でもよい。本実施形態では、動きなし期間及び動きあり期間の全てに対応する代表画像６−７、６−８、６−９を表示させているが、そのうちの何れか一を表示させるように構成してもよい。動き期間表示バー６−１２は水平方向にドラッグすることで開始・終了時刻を変更できる。同じく、本実施形態では、動きなし期間及び動きあり期間の全てに対応する動き期間表示バー６−１２を表示させているが、そのうちの何れか一を表示させるように構成してもよい。開始・終了時刻の変更があると、感度表示部６−６、代表画像表示部６−７〜９の表示も更新する。
【００５０】
時刻制御スライダー６−１１はつまみをドラッグすることで再生時刻を変更できる。また、再生制御ボタン群６−１３は、再生、早送り、巻き戻しなどの操作が可能であるが、これらは一般の動画像再生ソフトと同じ動作である。
【００５１】
動きありとなしの開始・終了時刻が決定すると適正なしきい値の下限と上限が決定し、感度設定スライダー６−６の強調表示部分に反映される。適正なしきい値の範囲を決定するアルゴリズムは第１の実施形態と全く同じである。変化量・判別結果表示部６−５、感度設定スライダー６−６、決定ボタン６−１４、キャンセルボタン６−１５の操作も第１の実施形態と同じ処理であるため説明を省略する。
【００５２】
次に、図７、図８を用いて本実施形態における動き検知感度設定プログラムの動作手順を説明する。図７はメインプロセスの動作手順である。本実施形態のプロセス構成は第１の実施形態のプロセス構成と同一であり、動作も同一の点が多いため、以下では第１の実施形態と異なる点を中心に説明を行う。
【００５３】
開始後、ステップＳ７０１で初期化し、ステップＳ７０２で画像処理プロセスを起動し、ステップＳ７０３でイベント待ちを行う。イベントが発生するとステップＳ７０４で再生制御イベントかどうか判別する。これは再生、早送り、巻き戻しボタン６−１３、および、時刻指定バー６−１１が操作された場合に発生する。もしそうであるならばＹ分岐し、ステップＳ７０５で再生制御処理を行う。なお、早送りと巻き戻しを行っている間は動き検知処理を行わない。
【００５４】
ステップＳ７０４において、もし再生制御入力ではないのであればＮ分岐し、ステップＳ７０６に進んで検知領域変更入力かどうか判別する。もしそうであればＹ分岐し、ステップＳ７０７において検知領域変更処理として、変更された領域の場所とサイズを記録する。
【００５５】
ステップＳ７０６で検知領域変更入力ではない場合はＮ分岐し、ステップＳ７０８で動きあり・なしボタン関連のイベントかどうか判別する。イベント処理（ステップＳ７０８）とイベント発生時の動作（ステップＳ７０９）に関しては、第１の実施形態の動作手順（ステップＳ４０９〜ステップＳ４１９）と同一であるため図示は省略する。ただし、前述したように開始、終了時刻が決定すると、時刻表示バー６−１１、動き時間表示バー６−１２、代表画像表示部６−７〜９の表示が更新される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。
【００５６】
ステップＳ７０８で動きあり・なしボタンに関するイベントで無かった場合にはＮ分岐し、ステップＳ７１０において、動き時間表示バー変更イベントかどうか判別する。このイベントは動き期間表示バー６−１２をマウスでドラッグすることにより位置およびサイズを変更した場合に発生する。もしそうであればＹ分岐し、ステップＳ７１１で動き時間表示バーの変更処理を行う。位置とサイズは開始時刻と終了時刻に変換される。開始時刻と終了時刻が変更すると、動き期間表示バー６−１２、代表画像表示部６−７〜９の表示も連動して変更される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。
【００５７】
ステップＳ７１０で動き期間表示バー６−１２の変更イベントではない場合はＮ分岐し、ステップＳ７１２に進んで動き検知設定変更イベントかどうか判別する。このイベントは第１の実施形態における図４のステップＳ４２０と同じ処理であり、決定ボタン６−１４を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ７１３で動き検知設定値を更新する。
【００５８】
次に、画像処理を行うサブプロセスの動作手順を図８に示す。第１の実施形態におけるサブプロセスと同一の処理を含むため、異なる点を中心に説明する。開始後、ステップＳ８０１において、停止状態かどうか判別する。もしそうであれば、Ｙ分岐しステップＳ８１０に進んで終了指示イベントがあったかどうか判定し、もし終了指示イベントがあればＹ分岐して終了する。もしなければＮ分岐し、ステップＳ８０１に戻って処理を続ける。
【００５９】
ステップＳ８０１において停止状態で無ければＮ分岐し、ステップＳ８０２で再生状態かどうか判定する。もしそうであればＹ分岐し、ステップＳ８０３において残フレームがあるかどうか判定する。もしそうであればＹ分岐しステップＳ８０４以下の画像差分処理を行う。ステップＳ８０４からステップＳ８１０の処理は第１の実施形態における図５のステップＳ５０２からステップＳ５０８と同一であるので説明を省略する。処理が終了するとステップＳ８０１に戻る。
【００６０】
ステップＳ８０２において再生状態でない場合には早送り・巻き戻し状態であるのでＮ分岐し、ステップＳ８１２に進んで早送り・巻き戻し処理を行う。そしてステップＳ８０９で表示を更新しステップＳ８１０での終了判定処理に進む。またステップＳ８０３において、再生時に残りのフレームがなくなった場合、ステップＳ８１１に進んで停止状態に変更し、後はステップＳ８０９以下の処理を行う。
【００６１】
本実施形態によれば、画像の差分に基づく動き検知において、使用者が蓄積映像の再生画像を見ながら動きのない時間と動きのある時間を入力することによって、適正なしきい値および感度の範囲を自動的に計算する。また、変化量の時間変位をグラフ表示し、動きありおよび動きなしの開始・終了時刻をグラフィカルに表示することによって、動きあり・なし時間の設定を簡便に行うことができる。
【００６２】
＜第３の実施形態＞
本発明の第３の実施形態として、第１の実施形態において、動きあり時間における変化量の分布から画像上の動き検知対象領域を自動的に設定する方法を述べる。
【００６３】
図９を用いて本実施形態における動き検知対象領域の自動設定の方法を説明する。図９は画像９−１上において、動きありとした時間中の変化量の和を部分領域ごとに表示したものである。ここでは大きな動きがあった領域ほど濃い色で示されている。これは時間方向のヒストグラムであり、ある一定値以上の和を持つ部分領域を抽出して、その外接矩形９−２を求めれば、それが動き検知対象領域である。
【００６４】
本実施形態における動き検知設定のＧＵＩは図１０に示すように、第１の実施形態における設定ＧＵＩ図（図３）に、動き検知領域を自動的に設定することを指示するためのチェックボックス１０−８を追加すればよい。そして、動きありボタンを押上げたタイミングで上記アルゴリズムにより検知対象領域を決定する。
【００６５】
本実施形態におけるプログラムの動作手順は、第１の実施形態と同一であり、メインプロセスの処理手順ステップＳ４１２の動きあり終了処理において、上記方法により検知対象領域を求める処理を追加すればよいため、説明を省略する。
【００６６】
以上は第１の実施形態に追加した例であるが、第２の実施形態に対しても同様な方法によって、検知対象領域を自動的に設定するように機能を追加できることは言うまでもない。
【００６７】
本実施形態によれば、画像の差分に基づく動き検知において、使用者が動きあり時間を指定し、動きあり時間中の変化量の統計から、動き検知対象領域を自動的に設定することができる。これにより動き検知対象領域の設定処理を簡便化できる。
【００６８】
以上のように、本発明によれば、画像間の差分から得た変化量から画像の動きを検出する動き検知方法において、動きありの時間と動きなしの時間を使用者が指定することにより、適正なしきい値を計算し、適正な感度の範囲を使用者に提示するための動き検知設定を行うことができる。また、ライブ画像に加えて蓄積映像に対しても適正な感度範囲を提示することができる。さらに、動きあり時間を指定し、時間中の変化量の統計から自動的に動き検知対象領域を指定する動き検知設定方法が提供される。
【００６９】
＜第４の実施形態＞
本発明の第４の実施形態として，画像中に動きのないときに自動感度設定開始を指示すると、数秒間の差分値の統計量から最適な感度を自動的に設定する方法を説明する。
【００７０】
本実施形態のハードウェア構成およびソフトウェア構成は第１の実施形態と同一であるため説明を省略する。図１１は本実施形態における感度設定画面の例である．第１の実施形態と異なる点は、動きありボタン３−４、および、動きなしボタン３−５を廃止し、その代わりに、自動設定ボタン１１−４を設けたものである。また本実施形態は感度を自動的に設定するものであるため、感度設定スライダー１１−７には，３−７のように感度の上限および下限は表示しない。動きがない状態で自動感度設定ボタン１１−４を押下することにより，自動感度設定を開始する。
【００７１】
図１２を用いて自動感度設定の手順を説明する。図１２は動き検知設定プログラムの自動感度設定に関する動作手順である。使用者は画面に動きがないことを確認して自動設定ボタン１１−４を押下する。ここで動きがない状態とは検出対象である動きがない状態であり、樹木の揺れや水面のゆらぎなどの、検出対象外の動きが存在しても問題ない。
【００７２】
動き検知設定の開始後、ステップＳ１２０１において画像取得を試みる。本実施形態では第１の実施形態で説明した基準画像は既に取得しているものとする。ステップＳ１２０２でもし画像取得が失敗した場合にはＮ分岐し、ステップＳ１２０３に進んで連続して失敗したかどうか判別する。連続失敗回数には上限を設け、もしこの上限値以下の場合はＮ分岐してステップＳ１２０１に戻って再度画像取得を行う。もし上限値を超えて連続して失敗した場合にはＹ分岐し、ステップＳ１２０４に進んで失敗メッセージを表示して自動設定を終了する。この場合感度の値は自動設定開始前の値のままである。
【００７３】
ステップＳ１２０２において画像取得に成功した場合にはＹ分岐し、ステップＳ１２０５において差分処理を行う。第１の実施形態でも説明したように、本実施形態は差分処理に依存しないが、例えば連続するフレームにおいて検知領域１１−３を構成する８ｘ８画素のＪＰＥＧブロックに対し，量子化後のＤＣＴ係数の差分和を求めて差分値とする方法がある．ここで連続するフレームとは例えば現在のフレームと一つ前のフレームのことである。
【００７４】
次にステップＳ１２０６で取得したフレームにおける平均差分値Ｄｔ（ｔ＝１…ｎ）を計算する．平均を求める際には例外的な値を排除するために，差分値の上下１０％程度は除外する．つぎにステップＳ１２０７で最低取得時間を経過したかどうかを判別する。最低取得時間は例えば２秒間などと固定値で定め、もし最低取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像取得と差分処理を続ける。
【００７５】
ステップＳ１２０７において最低取得時間を経過していた場合にはＹ分岐し、ステップＳ１２０８に進んで最低フレーム数以上取得したかどうか判別する。これは統計的に意味のある値を持たせるために、例えば最低５フレーム分の平均差分値を用いて最終的な平均差分値を算出するためである。
【００７６】
もし最低フレーム数分画像を取得していない場合にはＮ分岐し、ステップＳ１２０９にて最大取得時間経過したかどうか判別する。最大取得時間は例えば１０秒とする。もし最大取得時間経過した場合にはＹ分岐してステップＳ１２０４で失敗メッセージを表示して終了する。これは例えば１０秒間待っても５フレーム取得できない、といった状況である。もし最大取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像の取得と差分処理を続ける。
【００７７】
ステップＳ１２０８において最低フレーム数以上取得した場合にはＹ分岐し、ステップＳ１２１０で全フレームにわたる平均差分値計算を行う。これは各フレームの平均差分値Ｄｔのさらに平均Ｄを求めるものである。ここでも上位と下位１０％の値を省くことにより雑音を除去できる．つぎにステップＳ１２１１において、差分値から感度を求める。ここでは第１の実施形態と同様の式を用いて、しきい値Ｄと反比例するように感度Ｓを求める。
【００７８】
Ｓ＝ａ（Ｄｍａｘ−Ｄ）＋ｂ
但し、Ｓ：感度、Ｄｍａｘ：最大差分値、Ｄ：平均差分値、ａ、ｂは定数。
【００７９】
上式において定数ｂは感度を鈍くする働きをするもので、通常負の値をとる。感度計算後ステップＳ１２１２で自動感度設定の成功メッセージを表示する。そしてステップＳ１２１３で感度を新たな値に更新し、終了する。
【００８０】
本方式は固定カメラのほかに、パン、チルト、ズームなどのカメラ制御を行うことが可能なカメラへの適用できることは言うまでもない。ただしこのようなカメラにおいて、自動感度設定中に画像に影響するようなカメラ制御を行った場合、自動感度設定は失敗する。このようなカメラ制御には例えば、パン、チルト、ズーム、フォーカス、ゲイン、露出、絞り、シャッタースピード、ホワイトバランスなどが含まれる。
【００８１】
本実施形態では自動感度設定の開始のみを指定するため、自動感度設定を行っている間画面中に動きがないことを過程している。このため、予想に反して画面中に大きな動きが連続して生じた場合、これを雑音として除去できるとは限らずに正しい値が設定されない場合がある。しかしながら数秒間の安定した動きのない状態があれば、その間の差分量から自動的に感度を求めることができる。
【００８２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８７】
【図１】差分による動き検知処理の概要を説明するための図である。
【図２】変化量の時間変移を示した図である。
【図３】本発明の第１の実施形態に係る動き検知感度設定のＧＵＩを示した図である。
【図４】本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。
【図５】本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。
【図６】本発明の第２の実施形態に係る動き検知感度設定のＧＵＩを示した図である。
【図７】本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。
【図８】本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。
【図９】本発明の第３の実施形態に係る動き検知対象領域の自動設定方法を説明するための図である。
【図１０】本発明の第３の実施形態に係る動き検知設定のＧＵＩを示した図である。
【図１１】本発明の第４の実施形態に係わる動き検知設定のＧＵＩを示した図である。
【図１２】本発明の第４の実施形態に係わる動き検知設定プログラムの動作手順を示したフローチャートである。
【符号の説明】
【００８８】
１−１ 撮像部
１−２ 基準画像生成部
１−３ 差分処理部
１−４ 判別処理部
１−５ 設定部
３−１、１０−１ プリセット選択部
３−２、６−１、１０−２ 画像表示部
３−３、１０−３ 検知対象領域設定枠
３−４、６−３、１０−４ 動きありボタン
３−５、６−４、１０−５ 動きなしボタン
３−６、６−５、１０−６ 変化量・動き判別結果表示部
３−７、６−６、１０−７ 感度調節部
３−８、６−１４、１０−９ 決定ボタン
３−９、６−１５、１０−１０ キャンセルボタン
６−７〜９ 代表画像表示部
６−１０ 変化量変移グラフ
６−１１ 時刻表示バー
６−１２ 動き期間表示バー
６−１３ 再生制御ボタン群
１０−８ チェックボックス
１１−４ 自動感度設定ボタン
【技術分野】
【０００１】
本発明は、本発明は、動画像の動きを検知するための画像動き検知装置、画像動き検知方法、プログラム及び記録媒体に関するものである。
【背景技術】
【０００２】
監視システムにおいて、画像処理により監視画像の変化を自動的に求め、変化があったときに通知をしたり画像を保存蓄積したりする機能が実用化されている。ここで動き検知感度を設定するために、動き検知処理の途中経過である画像の変化量を表示し、対話的に感度を調整する機能が実装されているものがある。
【０００３】
例えば、画像の変化量を表示するインジケータを見ながら検知パラメータを調節できるものが知られている。また、特許文献１及び２には、ビデオ編集システムにおいてシーンの変化を画像処理によって求め、シーンの変化時刻と変化時の画像を編集画面上に視覚的に表示する機能を有するものが開示されている。
【０００４】
一方、背景差分やフレーム間差分により画像の動き検知を行う方法において、動きのある画像と動きのない画像とを入力して、誤検知および検出漏れをなくすような最適な感度を設定する方法が特許文献３に開示されている。
【特許文献１】特開平１１−０３２３０１号公報
【特許文献２】特開平９−６５２８７号公報
【特許文献３】特開平９−２００７６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の動画像の動き検知機能では検知感度の設定が可能であるが、実際に設定できる値の範囲は広いことが多く、試行錯誤を繰り返して調整する必要がある。また、ビデオ編集システムにおいてカット検出によるシーン開始画像や代表画像表示機能があるが、検出強度の調整機能はないことが一般的である。一方、特許文献３に開示された発明は、動きのある画像とない画像から適正な感度の範囲を提示し、使用者が感度設定をする際の負担を軽減するものであるが、特許文献３には使用者が入力を行うための具体的なインタフェースが開示されていない。
【０００６】
従って、本発明の目的は、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定可能とすることにある。
【課題を解決するための手段】
【０００７】
斯かる目的を達成するために、本発明の画像動き検知装置は、動画像を表示する画像表示手段と、利用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、前記上下限値決定手段により決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段とを有することを特徴とする。
【０００８】
本発明の画像動き検知方法は、動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、動画像を表示する画像表示ステップと、利用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする。
【０００９】
本発明の画像動き検知装置は、動画像を表示する画像表示手段と、感度の自動設定開始を指示する自動設定開始指示手段と、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定手段とを有することを特徴とする。
【００１０】
本発明の画像動き検知方法は、動画像を表示する画像表示ステップと、感度の自動設定開始を指示する自動設定開始指示ステップと、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定ステップとを有することを特徴とする。
【００１１】
本発明のプログラムは、前記画像動き検知方法をコンピュータに実行させることを特徴とする。本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、利用者の操作に応じて動画像に動きがある第１の期間及び動きがない第２の期間を指定し、所定の基準画像に対する第１の期間における動画像の変化量と、当該所定の基準画像に対する第２の期間における動画像の変化量とに基づいてしきい値の上限値及び下限値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定することが可能となる。
【００１３】
また、感度の自動設定開始を指示し、自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値を、利用者の簡単な操作のみで自動設定することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。
【００１５】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
本発明の第１の実施形態では、画像間差分による動き検知処理の感度設定において、ライブ画像に対して動きがある時間と動きがない時間とを指定することにより、適正な感度範囲を自動的に計算して表示する動き検知設定の例を述べる。
【００１７】
本実施形態におけるハードウェアは、カメラと接続可能なコンピュータから構成される。ここで、カメラの映像出力は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ ｃｏｌｏｒ ｔｅｌｅｖｉｓｉｏｎ）の他に、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４接続による独自形式などあるが、本発明は映像出力形式には依存しない。また、コンピュータはＣＰＵ、ＲＡＭ、ＲＯＭ、二次記憶、モニタ、キーボード、マウス、外部入出力インタフェースを備え、カメラからの映像を入力可能な機能があればよく、市販のパーソナルコンピュータや専用のセットトップボックス、携帯情報端末、携帯電話端末などその形状は問わない。
【００１８】
また、以下の説明ではカメラとコンピュータが直接接続し、コンピュータ上で設定を行う方式を説明するが、設定を別のコンピュータからネットワーク経由で行うことも可能である。また、カメラにネットワーク接続機能があり、ネットワーク経由でカメラの映像をコンピュータ取得して動き検知処理を行うことも可能である。
【００１９】
次に、本実施形態におけるソフトウェアは、コンピュータ上でカメラから画像を取得し動き検知処理を行う画像処理プロセスと、画像や動き検知処理結果を表示し、設定を行うＧＵＩプロセスから構成される。ＧＵＩプロセスをメインプロセス、画像処理プロセスをサブプロセスとする。ここでプロセスとはプログラムの実行単位であり、複数のプログラムであってもよいし、スレッドと呼ばれる単一プログラム中の実行単位であってもよい。
【００２０】
次に図１を用いて差分による動き検知処理の概要を説明する。撮像部１−１は映像を入力するカメラである。カメラから取得された画像は基準画像生成部１−２において、基準画像生成に用いられる。基準画像は差分アルゴリズムによって異なる。典型的な差分処理としてはフレーム間差分や背景差分があり、フレーム間差分における基準画像は１または複数フレーム前の画像である。また背景差分であれば、例えば過去の動きのない時間帯における複数フレームの平均画像やメディアン画像が用いられる。
【００２１】
次に差分処理部１−３において、入力画像と基準画像の差分処理が行われ変化量が算出される。典型的な差分処理は入力画像と基準画像との差の絶対値和を変化量とする。ここでは例えば各画素のＲＧＢ成分やＹＣｂＣｒ成分、あるいは、ＪＰＥＧの各符号ブロックの符号量やＤＣＴ係数などが，差分演算に使用される。
【００２２】
次に判別処理部１−４において、求められた差分量が「動き検知あり」の状態に相当するかどうかを判別する。ここでよく用いられるのは、差分量があるしきい値を超えた場合は動きありとみなし、しきい値以下であれば動きなしとする方法である。しきい値は設定部１−５で使用者によって設定、変更が可能である。ここでしきい値は設定部１−５では「感度」に変換されて表示し、指定することが多い。しきい値が大きいほど感度が低く、しきい値が小さいほど感度が高くなる。例えば、感度Ｓとしきい値Ｔｈの関係は以下のように表される。
【００２３】
Ｓ＝ａ（Ｔｈｍａｘ−Ｔｈ）＋ｂ
ここでＴｈｍａｘはしきい値の最大値、ａ、ｂは定数である。
【００２４】
以上は典型的な差分による動き検知方式の例であるが、本実施形態は変化量としきい値から差分処理を行う方法を対象にするものなので、変化量を求める差分演算の種類に依存するものではない。
【００２５】
次に図２を用いて、変化量と動画像の動きのあり・なしの指定から適正なしきい値の範囲を求めるアルゴリズムについて説明する。
【００２６】
図２（ａ）は変化量の時間変移を示したグラフであり、横軸は時刻、縦軸は変化量である。ここで動きのない時間Ｔ１〜Ｔ２、Ｔ５〜Ｔ６、および、動きのある時間Ｔ３〜Ｔ４を指定したとする。変化量は動きが明瞭であれば、動きのあるときとないときで明らかな差があるため、動きのない時間における変化量の最大値から適正なしきい値の下限Ｔｈ１が、動きのある時間における変化量の最小値から適正なしきい値の上限Ｔｈ２を決定することができる。その結果、使用者はしきい値の下限Ｔｈ１から上限Ｔｈ２の間で適正なしきい値Ｔｈを設定すればよい。
【００２７】
適正なしきい値の下限Ｔｈ１と上限Ｔｈ２の設定方法としては別の方法もある。図２（ｂ）はしきい値を変更した場合の誤検知率と未検知率を表したものである。誤検知とは動きがないにもかかわらず誤って動きありと判別されることである。誤検知率曲線２−１は図２（ａ）における動き検知なし時間の変化量の分布から生成され、しきい値を大きくするほど低くなる。同様に未検知とは動きがあるにもかかわらず動きなしと判別されることである。未検知率曲線２−２は図２（ａ）における動き検知あり時間の変化量の分布から生成され、しきい値を小さくするほど低くなる。
【００２８】
よって誤検知率と未検知率の和が検知全体の精度となり、図２（ｂ）の検知率曲線２−３で示される。その結果、一定の判別精度Ｅを保つためのしきい値の範囲はＴｈ１からＴｈ２となる。この手法によれば、動きなしと指定したときの変化量分布と動きありと指定したときの変化量分布が重複していても判別が可能である。
【００２９】
次に図３を用いて動き検知感度設定のＧＵＩを説明する。図３（ａ）は感度設定を行うダイアログウィンドウの一例を示した図である。ダイアログはプリセット選択部３−１、画像表示部３−２、検知対象領域設定枠３−３、動きありボタン３−４、動きなしボタン３−５、変化量・判別結果表示部３−６、感度調節部３−７、決定ボタン３−８、キャンセルボタン３−９から構成される。
【００３０】
プリセット設定部３−１は制御可能なカメラのパン、チルト、ズームを指定したプリセットを選択するものである。当然のことながら固定カメラの場合は不要である。動き検知対象領域３−３は画像中で差分処理の対象となる領域を指定する枠であり、その位置やサイズはマウスカーソルのドラッグ操作により変更可能である。
【００３１】
動きありボタン３−４、および、動きなしボタン３−５は動きありおよびなしの開始時刻と終了時刻を指定する。両ボタンは一度押すと押下状態になり、再び押すと通常状態となる。押下時に開始時刻を指定し、押上時に終了時刻を指定する。指定後、動きのありおよびなし時間のデータはＲＡＭや二次記憶に保存される。そして、動きありボタンを押し上げて動きありの終了を指定したときに適正なしきい値の上限が算出され、動きなしボタンを押し上げて動きなしの終了を指定したときには適正なしきい値の下限が設定される。
【００３２】
変化量・判別結果表示部３−６は変化量をグラフで表示するとともに、動き有無の判別結果を色で表示する。感度調整部３−７はしきい値を感度に変換して表示し、スライダーのつまみをドラッグすることで感度を設定できる。スライダーでは図３（ｂ）に示すように、最小適正感度Ｓ１から最大適正感度Ｓ２までの値が強調表示される。既に述べたように適正感度の最小値Ｓ１は適正しきい値の最大値Ｔｈ２から求められ、適正感度の最大値Ｓ２は適正しきい値の最小値Ｔｈ２から求められる。
【００３３】
次に図４および図５を用いて、動き検知設定プログラムの動作手順を説明する。図４はＧＵＩを含むメインプロセスの動作手順であり、図５は動き検知処理を行うサブプロセスの動作手順である。
【００３４】
図４のメインプロセスにおいて、開始後、ステップＳ４０１で初期化処理を行い、ステップＳ４０２でサブプロセスを起動する。初期化を終了すると図３に示すようなダイアログを表示する。次にステップＳ４０３においてイベント待ちを行う。以下では本発明に係わる主要なイベントのみを説明する。
【００３５】
イベントが発生すると、ステップＳ４０４においてプリセット入力処理かどうか判別する。このイベントはプリセット選択部３−１を変更すると発生する。もしそうであればＹ分岐し、ステップＳ４０５でプリセット設定を、ステップＳ４０６でカメラ制御を行い、ステップＳ４０３に戻って次のイベントを待つ。
【００３６】
ステップＳ４０４でプリセット入力イベントでない場合にはＮ分岐し、ステップＳ４０７で領域変更イベントかどうか判別する。このイベントは動き検知対象領域枠３−３を変更した場合に発生する。もしそうである場合にはＹ分岐し、ステップＳ４０８に進んで領域変更処理を行い、ステップＳ４０３に戻って次のイベントを待つ。
【００３７】
ステップＳ４０７において領域変更イベントでない場合にはＮ分岐し、ステップＳ４０９で動きありボタン押下イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１０で動きあり開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４０９において押下イベントでない場合にはＮ分岐し、ステップＳ４１１で動きありボタン押上イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１２に進んで動きあり終了時刻を記録する。次にステップＳ４１３で適正しきい値の上限値を計算し、ステップＳ４１４で感度設定表示を更新し、ステップＳ４０３に戻って次のイベント待ちを行う。
【００３８】
ステップＳ４１１で動きありボタン押上イベントでない場合にはＮ分岐し、ステップＳ４１５に進んで動きなし押下イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１６に進んで動きなし開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４１５において動きなし押下イベントでない場合にはＮ分岐し、ステップＳ４１７に進んで動きなし押上イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１８に進んで動きなし終了時刻を記録し、ステップＳ４１９で適正しきい値の下限値を計算し、ステップＳ４１４以下の処理を行う。
【００３９】
もし、ステップＳ４１７で動きなしボタン押上イベントでない場合にはステップＳ４２０に進んで検知設定更新要求かどうか判別する。このイベントは決定ボタン３−８を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ４２１で動き検知設定値を更新する。もしそうでない場合はステップＳ４０３に戻って次のイベントを待つ。
【００４０】
次に、図５を用いて画像処理を行うサブプロセスの動作原理を説明する。開始後、ステップＳ５０１で画像を１枚取得する。画像はカメラから入力したり、ネットワーク経由で取得したりする。次に、ステップＳ５０２で差分処理に必要な基準画像が存在するかどうか判別する。
【００４１】
基準画像は前述したように過去の画像を少なくとも１つ使用する。このため、ステップＳ５０２において基準画像がない場合にはＮ分岐し、ステップＳ５０６に進んで基準画像の生成と更新を行う。ここで背景差分の場合は基準画像作成時には動きがない状態である必要があるが、設定を行うタイミングを調節することによって対応が可能である。また設定ダイアログに「設定開始」などのボタンを付けてタイミングを調節することもできるが、本発明に係わる部分ではないため説明を省略する。
【００４２】
ステップＳ５０２において、もし基準画像がある場合にはＹ分岐し、ステップＳ５０３に進んで差分処理を行う。次にステップＳ５０４で動き判別処理、ステップＳ５０５で変化量表示更新処理を行い、ステップＳ５０６で基準画像を更新してステップＳ５０７で画面表示を更新する。画像表示の際には変化のあった領域を強調して表示することも可能である。最後にステップＳ５０８で終了指示が無ければＮ分岐してステップＳ５０１に戻って処理を繰り返す。
【００４３】
プログラム処理にはこの他にもキャンセルボタン３−９押下時の処理があるが、キャンセルした場合には設定値は確定されずにダイアログは終了する。またオペレーションシステム固有のイベントに対する処理の説明は省略する。
【００４４】
以上の説明からも明らかなように、本実施形態によれば、画像の差分に基づく動き検知において、使用者が画像を見ながら動きありの開始・終了時刻と、動きなしの開始・終了時刻を指定することによって、適正なしきい値の範囲を求めるとともに、適正な感度値の上限と下限を表示し、使用者がより簡便にしきい値および感度設定を行うことができる。
【００４５】
＜第２の実施形態＞
本発明の第２の実施形態として、蓄積映像に対して第１の実施形態と同様に動きありと動きなしの時間を入力し、適正なしきい値および感度設定を行う方法を説明する。蓄積映像に加えて変化量の時間変位グラフも同時に示すことで、動きありなし期間の設定をより分かりやすく行うこと目的とする。
【００４６】
本実施形態のハードウェア構成とソフトウェア構成は第１の実施形態と同一であるので説明を省略する。本実施形態における感度設定のＧＵＩの例を図６に示す。図６はダイアログウィンドウであり、画像表示部６−１、動き検知対象領域設定部６−２、蓄積映像選択部６−１６、動きありボタン６−３、動きなしボタン６−４、変化量・動き判別結果表示部６−５、感度調整部６−６、代表画像表示部６−７、６−８、６−９、変化量変移グラフ６−１０、動き時間表示バー６−１２、時刻表示バー６−１１、再生制御ボタン群６−１３、決定ボタン６−１４、キャンセルボタン６−１５から構成される。なお、図６とは別に、ライブ画像画面で蓄積映像を録画するために新たにボタンを追加する必要があるが、説明を省略する。
【００４７】
次に、操作方法を説明する。まず蓄積映像選択部６−１６により任意の映像を選択する。すると画像表示部６−１は当該映像が表示され、再生を開始する。再生中は変化量表示部６−５に変化量が表示される。動き検知対象領域６−２はマウスのドラッグにより位置とサイズを変更して動き検知の対象となる領域を指定する。再生中に再度再生ボタンを押すと再生を停止する。
【００４８】
動きありボタン６−３と動きなしボタン６−４は、第１の実施形態と同様に、再生中の適当なタイミングでボタンを操作することにより、動き有無の開始・終了時刻を指定する。ただし、本実施形態では動きありボタン６−３が押下されると変化量グラフ６−１０において、動き時間表示バー６−１２の表示を開始し、押上されるとバーの長さが決定する。バーの色や柄は動きありとなしが識別できるように異なっている。同時に時間表示バー６−１１には開始・終了時刻を表示する。以上の処理は動き検知なしボタン６−４の押下・押上に対しても同様である。
【００４９】
動き時間表示バー６−１２が決定すると、バーの表示と対応して期間中の代表画像を６−７、６−８、６−９のように表示する。画像は動き検知ありの場合は変化量が最大である時刻の画像などが考えられるが、単に動きあり・なし開始時の画像でもよい。本実施形態では、動きなし期間及び動きあり期間の全てに対応する代表画像６−７、６−８、６−９を表示させているが、そのうちの何れか一を表示させるように構成してもよい。動き期間表示バー６−１２は水平方向にドラッグすることで開始・終了時刻を変更できる。同じく、本実施形態では、動きなし期間及び動きあり期間の全てに対応する動き期間表示バー６−１２を表示させているが、そのうちの何れか一を表示させるように構成してもよい。開始・終了時刻の変更があると、感度表示部６−６、代表画像表示部６−７〜９の表示も更新する。
【００５０】
時刻制御スライダー６−１１はつまみをドラッグすることで再生時刻を変更できる。また、再生制御ボタン群６−１３は、再生、早送り、巻き戻しなどの操作が可能であるが、これらは一般の動画像再生ソフトと同じ動作である。
【００５１】
動きありとなしの開始・終了時刻が決定すると適正なしきい値の下限と上限が決定し、感度設定スライダー６−６の強調表示部分に反映される。適正なしきい値の範囲を決定するアルゴリズムは第１の実施形態と全く同じである。変化量・判別結果表示部６−５、感度設定スライダー６−６、決定ボタン６−１４、キャンセルボタン６−１５の操作も第１の実施形態と同じ処理であるため説明を省略する。
【００５２】
次に、図７、図８を用いて本実施形態における動き検知感度設定プログラムの動作手順を説明する。図７はメインプロセスの動作手順である。本実施形態のプロセス構成は第１の実施形態のプロセス構成と同一であり、動作も同一の点が多いため、以下では第１の実施形態と異なる点を中心に説明を行う。
【００５３】
開始後、ステップＳ７０１で初期化し、ステップＳ７０２で画像処理プロセスを起動し、ステップＳ７０３でイベント待ちを行う。イベントが発生するとステップＳ７０４で再生制御イベントかどうか判別する。これは再生、早送り、巻き戻しボタン６−１３、および、時刻指定バー６−１１が操作された場合に発生する。もしそうであるならばＹ分岐し、ステップＳ７０５で再生制御処理を行う。なお、早送りと巻き戻しを行っている間は動き検知処理を行わない。
【００５４】
ステップＳ７０４において、もし再生制御入力ではないのであればＮ分岐し、ステップＳ７０６に進んで検知領域変更入力かどうか判別する。もしそうであればＹ分岐し、ステップＳ７０７において検知領域変更処理として、変更された領域の場所とサイズを記録する。
【００５５】
ステップＳ７０６で検知領域変更入力ではない場合はＮ分岐し、ステップＳ７０８で動きあり・なしボタン関連のイベントかどうか判別する。イベント処理（ステップＳ７０８）とイベント発生時の動作（ステップＳ７０９）に関しては、第１の実施形態の動作手順（ステップＳ４０９〜ステップＳ４１９）と同一であるため図示は省略する。ただし、前述したように開始、終了時刻が決定すると、時刻表示バー６−１１、動き時間表示バー６−１２、代表画像表示部６−７〜９の表示が更新される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。
【００５６】
ステップＳ７０８で動きあり・なしボタンに関するイベントで無かった場合にはＮ分岐し、ステップＳ７１０において、動き時間表示バー変更イベントかどうか判別する。このイベントは動き期間表示バー６−１２をマウスでドラッグすることにより位置およびサイズを変更した場合に発生する。もしそうであればＹ分岐し、ステップＳ７１１で動き時間表示バーの変更処理を行う。位置とサイズは開始時刻と終了時刻に変換される。開始時刻と終了時刻が変更すると、動き期間表示バー６−１２、代表画像表示部６−７〜９の表示も連動して変更される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。
【００５７】
ステップＳ７１０で動き期間表示バー６−１２の変更イベントではない場合はＮ分岐し、ステップＳ７１２に進んで動き検知設定変更イベントかどうか判別する。このイベントは第１の実施形態における図４のステップＳ４２０と同じ処理であり、決定ボタン６−１４を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ７１３で動き検知設定値を更新する。
【００５８】
次に、画像処理を行うサブプロセスの動作手順を図８に示す。第１の実施形態におけるサブプロセスと同一の処理を含むため、異なる点を中心に説明する。開始後、ステップＳ８０１において、停止状態かどうか判別する。もしそうであれば、Ｙ分岐しステップＳ８１０に進んで終了指示イベントがあったかどうか判定し、もし終了指示イベントがあればＹ分岐して終了する。もしなければＮ分岐し、ステップＳ８０１に戻って処理を続ける。
【００５９】
ステップＳ８０１において停止状態で無ければＮ分岐し、ステップＳ８０２で再生状態かどうか判定する。もしそうであればＹ分岐し、ステップＳ８０３において残フレームがあるかどうか判定する。もしそうであればＹ分岐しステップＳ８０４以下の画像差分処理を行う。ステップＳ８０４からステップＳ８１０の処理は第１の実施形態における図５のステップＳ５０２からステップＳ５０８と同一であるので説明を省略する。処理が終了するとステップＳ８０１に戻る。
【００６０】
ステップＳ８０２において再生状態でない場合には早送り・巻き戻し状態であるのでＮ分岐し、ステップＳ８１２に進んで早送り・巻き戻し処理を行う。そしてステップＳ８０９で表示を更新しステップＳ８１０での終了判定処理に進む。またステップＳ８０３において、再生時に残りのフレームがなくなった場合、ステップＳ８１１に進んで停止状態に変更し、後はステップＳ８０９以下の処理を行う。
【００６１】
本実施形態によれば、画像の差分に基づく動き検知において、使用者が蓄積映像の再生画像を見ながら動きのない時間と動きのある時間を入力することによって、適正なしきい値および感度の範囲を自動的に計算する。また、変化量の時間変位をグラフ表示し、動きありおよび動きなしの開始・終了時刻をグラフィカルに表示することによって、動きあり・なし時間の設定を簡便に行うことができる。
【００６２】
＜第３の実施形態＞
本発明の第３の実施形態として、第１の実施形態において、動きあり時間における変化量の分布から画像上の動き検知対象領域を自動的に設定する方法を述べる。
【００６３】
図９を用いて本実施形態における動き検知対象領域の自動設定の方法を説明する。図９は画像９−１上において、動きありとした時間中の変化量の和を部分領域ごとに表示したものである。ここでは大きな動きがあった領域ほど濃い色で示されている。これは時間方向のヒストグラムであり、ある一定値以上の和を持つ部分領域を抽出して、その外接矩形９−２を求めれば、それが動き検知対象領域である。
【００６４】
本実施形態における動き検知設定のＧＵＩは図１０に示すように、第１の実施形態における設定ＧＵＩ図（図３）に、動き検知領域を自動的に設定することを指示するためのチェックボックス１０−８を追加すればよい。そして、動きありボタンを押上げたタイミングで上記アルゴリズムにより検知対象領域を決定する。
【００６５】
本実施形態におけるプログラムの動作手順は、第１の実施形態と同一であり、メインプロセスの処理手順ステップＳ４１２の動きあり終了処理において、上記方法により検知対象領域を求める処理を追加すればよいため、説明を省略する。
【００６６】
以上は第１の実施形態に追加した例であるが、第２の実施形態に対しても同様な方法によって、検知対象領域を自動的に設定するように機能を追加できることは言うまでもない。
【００６７】
本実施形態によれば、画像の差分に基づく動き検知において、使用者が動きあり時間を指定し、動きあり時間中の変化量の統計から、動き検知対象領域を自動的に設定することができる。これにより動き検知対象領域の設定処理を簡便化できる。
【００６８】
以上のように、本発明によれば、画像間の差分から得た変化量から画像の動きを検出する動き検知方法において、動きありの時間と動きなしの時間を使用者が指定することにより、適正なしきい値を計算し、適正な感度の範囲を使用者に提示するための動き検知設定を行うことができる。また、ライブ画像に加えて蓄積映像に対しても適正な感度範囲を提示することができる。さらに、動きあり時間を指定し、時間中の変化量の統計から自動的に動き検知対象領域を指定する動き検知設定方法が提供される。
【００６９】
＜第４の実施形態＞
本発明の第４の実施形態として，画像中に動きのないときに自動感度設定開始を指示すると、数秒間の差分値の統計量から最適な感度を自動的に設定する方法を説明する。
【００７０】
本実施形態のハードウェア構成およびソフトウェア構成は第１の実施形態と同一であるため説明を省略する。図１１は本実施形態における感度設定画面の例である．第１の実施形態と異なる点は、動きありボタン３−４、および、動きなしボタン３−５を廃止し、その代わりに、自動設定ボタン１１−４を設けたものである。また本実施形態は感度を自動的に設定するものであるため、感度設定スライダー１１−７には，３−７のように感度の上限および下限は表示しない。動きがない状態で自動感度設定ボタン１１−４を押下することにより，自動感度設定を開始する。
【００７１】
図１２を用いて自動感度設定の手順を説明する。図１２は動き検知設定プログラムの自動感度設定に関する動作手順である。使用者は画面に動きがないことを確認して自動設定ボタン１１−４を押下する。ここで動きがない状態とは検出対象である動きがない状態であり、樹木の揺れや水面のゆらぎなどの、検出対象外の動きが存在しても問題ない。
【００７２】
動き検知設定の開始後、ステップＳ１２０１において画像取得を試みる。本実施形態では第１の実施形態で説明した基準画像は既に取得しているものとする。ステップＳ１２０２でもし画像取得が失敗した場合にはＮ分岐し、ステップＳ１２０３に進んで連続して失敗したかどうか判別する。連続失敗回数には上限を設け、もしこの上限値以下の場合はＮ分岐してステップＳ１２０１に戻って再度画像取得を行う。もし上限値を超えて連続して失敗した場合にはＹ分岐し、ステップＳ１２０４に進んで失敗メッセージを表示して自動設定を終了する。この場合感度の値は自動設定開始前の値のままである。
【００７３】
ステップＳ１２０２において画像取得に成功した場合にはＹ分岐し、ステップＳ１２０５において差分処理を行う。第１の実施形態でも説明したように、本実施形態は差分処理に依存しないが、例えば連続するフレームにおいて検知領域１１−３を構成する８ｘ８画素のＪＰＥＧブロックに対し，量子化後のＤＣＴ係数の差分和を求めて差分値とする方法がある．ここで連続するフレームとは例えば現在のフレームと一つ前のフレームのことである。
【００７４】
次にステップＳ１２０６で取得したフレームにおける平均差分値Ｄｔ（ｔ＝１…ｎ）を計算する．平均を求める際には例外的な値を排除するために，差分値の上下１０％程度は除外する．つぎにステップＳ１２０７で最低取得時間を経過したかどうかを判別する。最低取得時間は例えば２秒間などと固定値で定め、もし最低取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像取得と差分処理を続ける。
【００７５】
ステップＳ１２０７において最低取得時間を経過していた場合にはＹ分岐し、ステップＳ１２０８に進んで最低フレーム数以上取得したかどうか判別する。これは統計的に意味のある値を持たせるために、例えば最低５フレーム分の平均差分値を用いて最終的な平均差分値を算出するためである。
【００７６】
もし最低フレーム数分画像を取得していない場合にはＮ分岐し、ステップＳ１２０９にて最大取得時間経過したかどうか判別する。最大取得時間は例えば１０秒とする。もし最大取得時間経過した場合にはＹ分岐してステップＳ１２０４で失敗メッセージを表示して終了する。これは例えば１０秒間待っても５フレーム取得できない、といった状況である。もし最大取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像の取得と差分処理を続ける。
【００７７】
ステップＳ１２０８において最低フレーム数以上取得した場合にはＹ分岐し、ステップＳ１２１０で全フレームにわたる平均差分値計算を行う。これは各フレームの平均差分値Ｄｔのさらに平均Ｄを求めるものである。ここでも上位と下位１０％の値を省くことにより雑音を除去できる．つぎにステップＳ１２１１において、差分値から感度を求める。ここでは第１の実施形態と同様の式を用いて、しきい値Ｄと反比例するように感度Ｓを求める。
【００７８】
Ｓ＝ａ（Ｄｍａｘ−Ｄ）＋ｂ
但し、Ｓ：感度、Ｄｍａｘ：最大差分値、Ｄ：平均差分値、ａ、ｂは定数。
【００７９】
上式において定数ｂは感度を鈍くする働きをするもので、通常負の値をとる。感度計算後ステップＳ１２１２で自動感度設定の成功メッセージを表示する。そしてステップＳ１２１３で感度を新たな値に更新し、終了する。
【００８０】
本方式は固定カメラのほかに、パン、チルト、ズームなどのカメラ制御を行うことが可能なカメラへの適用できることは言うまでもない。ただしこのようなカメラにおいて、自動感度設定中に画像に影響するようなカメラ制御を行った場合、自動感度設定は失敗する。このようなカメラ制御には例えば、パン、チルト、ズーム、フォーカス、ゲイン、露出、絞り、シャッタースピード、ホワイトバランスなどが含まれる。
【００８１】
本実施形態では自動感度設定の開始のみを指定するため、自動感度設定を行っている間画面中に動きがないことを過程している。このため、予想に反して画面中に大きな動きが連続して生じた場合、これを雑音として除去できるとは限らずに正しい値が設定されない場合がある。しかしながら数秒間の安定した動きのない状態があれば、その間の差分量から自動的に感度を求めることができる。
【００８２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００８７】
【図１】差分による動き検知処理の概要を説明するための図である。
【図２】変化量の時間変移を示した図である。
【図３】本発明の第１の実施形態に係る動き検知感度設定のＧＵＩを示した図である。
【図４】本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。
【図５】本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。
【図６】本発明の第２の実施形態に係る動き検知感度設定のＧＵＩを示した図である。
【図７】本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。
【図８】本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。
【図９】本発明の第３の実施形態に係る動き検知対象領域の自動設定方法を説明するための図である。
【図１０】本発明の第３の実施形態に係る動き検知設定のＧＵＩを示した図である。
【図１１】本発明の第４の実施形態に係わる動き検知設定のＧＵＩを示した図である。
【図１２】本発明の第４の実施形態に係わる動き検知設定プログラムの動作手順を示したフローチャートである。
【符号の説明】
【００８８】
１−１ 撮像部
１−２ 基準画像生成部
１−３ 差分処理部
１−４ 判別処理部
１−５ 設定部
３−１、１０−１ プリセット選択部
３−２、６−１、１０−２ 画像表示部
３−３、１０−３ 検知対象領域設定枠
３−４、６−３、１０−４ 動きありボタン
３−５、６−４、１０−５ 動きなしボタン
３−６、６−５、１０−６ 変化量・動き判別結果表示部
３−７、６−６、１０−７ 感度調節部
３−８、６−１４、１０−９ 決定ボタン
３−９、６−１５、１０−１０ キャンセルボタン
６−７〜９ 代表画像表示部
６−１０ 変化量変移グラフ
６−１１ 時刻表示バー
６−１２ 動き期間表示バー
６−１３ 再生制御ボタン群
１０−８ チェックボックス
１１−４ 自動感度設定ボタン
【特許請求の範囲】
【請求項１】
動画像を表示する画像表示手段と、
利用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、
所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、
前記上下限値決定手段により決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、
前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段とを有することを特徴とする画像動き検知装置。
【請求項２】
前記所定の基準画像に対する動画像の変化量の変移状況を表示する変化量変移表示手段を更に有することを特徴とする請求項１に記載の画像動き検知装置。
【請求項３】
前記変化量変移表示手段により表示される前記変化量の変移状況の近傍に、前記第１の期間及び前記第２の期間の少なくとも何れか一の期間を利用者の操作に応じて変更する期間変更手段を更に有することを特徴とする請求項２に記載の画像動き検知装置。
【請求項４】
前記第１の期間における動画像に基づいて、前記動き検知手段の動き検知対象となる画像領域を設定する検知対象領域設定手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像動き検知装置。
【請求項５】
前記検知対象領域設定手段は、前記第１の期間における動画像から動きが検知された画像領域を、前記動き検知手段の動き検知対象となる画像領域として設定することを特徴とする請求項４に記載の画像動き検知装置。
【請求項６】
前記上下限値決定手段により決定された前記上限値及び前記下限値を表示するしきい値決定範囲表示手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像動き検知装置。
【請求項７】
前記動き検知手段は、前記所定の基準画像に対する動画像の変化量が前記しきい値以上である場合、又は、前記所定の基準画像に対する動画像の変化量が前記しきい値を超過した場合、動画像の動きを検知することを特徴とする請求項１乃至６の何れか１項に記載の画像動き検知装置。
【請求項８】
前記第１の期間及び前記第２の期間の少なくとも何れか一の期間における代表画像を表示する代表画像表示手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の画像動き検知装置。
【請求項９】
前記期間指定手段は、ライブ画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至８の何れか１項に記載の画像動き検知装置。
【請求項１０】
動画像を蓄積する蓄積手段を更に有し、
前記期間指定手段は、前記蓄積手段に蓄積される動画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至８の何れか１項に記載の画像動き検知装置。
【請求項１１】
動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、
動画像を表示する画像表示ステップと、
利用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、
所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、
決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、
決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする画像動き検知方法。
【請求項１２】
請求項１１に記載の画像動き検知方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
動画像を表示する画像表示手段と、
感度の自動設定開始を指示する自動設定開始指示手段と、
自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定手段と
を有することを特徴とする画像動き検知装置。
【請求項１５】
前記しきい値設定手段は、各フレームにおける差分値集合の上限と下限の一定量を除いた平均値求め、さらに複数フレームにおける前記差分値の平均値の上限と下限の一定量を除いた平均差分値に一定のオフセットを加算した値を前記しきい値とすることを特徴とする請求項１４に記載の画像動き検知装置。
【請求項１６】
自動感度設定中にカメラパラメータが変更した場合には自動感度設定を中断する中断手段と、中断したことを表示する自動感度設定中断表示手段とをさらに有することを特徴とする請求項１４または１５に記載の画像動き検知装置。
【請求項１７】
前記カメラパラメータとはカメラの撮影位置、パン、チルト、ズーム、フォーカス、絞り、露出、シャッタースピード、ホワイトバランスのうちの少なくとも一つであることを特徴とする請求項１６に記載の画像動き検知装置。
【請求項１８】
前記しきい値に反比例する感度を表示し、使用者が感度を設定することで間接的にしきい値を設定するしきい値設定手段をさらに有することを特徴とする請求項１４乃至１７の何れか１項に記載の画像動き検知装置。
【請求項１９】
自動感度設定の結果を前記感度表示に反映する感度設定手段をさらに有することを特徴とする請求項１８に記載の画像動き検知装置。
【請求項２０】
動画像を表示する画像表示ステップと、
感度の自動設定開始を指示する自動設定開始指示ステップと、
自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定ステップと
を有することを特徴とする画像動き検知方法。
【請求項２１】
請求項２０に記載の画像動き検知方法をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
動画像を表示する画像表示手段と、
利用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、
所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、
前記上下限値決定手段により決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、
前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段とを有することを特徴とする画像動き検知装置。
【請求項２】
前記所定の基準画像に対する動画像の変化量の変移状況を表示する変化量変移表示手段を更に有することを特徴とする請求項１に記載の画像動き検知装置。
【請求項３】
前記変化量変移表示手段により表示される前記変化量の変移状況の近傍に、前記第１の期間及び前記第２の期間の少なくとも何れか一の期間を利用者の操作に応じて変更する期間変更手段を更に有することを特徴とする請求項２に記載の画像動き検知装置。
【請求項４】
前記第１の期間における動画像に基づいて、前記動き検知手段の動き検知対象となる画像領域を設定する検知対象領域設定手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像動き検知装置。
【請求項５】
前記検知対象領域設定手段は、前記第１の期間における動画像から動きが検知された画像領域を、前記動き検知手段の動き検知対象となる画像領域として設定することを特徴とする請求項４に記載の画像動き検知装置。
【請求項６】
前記上下限値決定手段により決定された前記上限値及び前記下限値を表示するしきい値決定範囲表示手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像動き検知装置。
【請求項７】
前記動き検知手段は、前記所定の基準画像に対する動画像の変化量が前記しきい値以上である場合、又は、前記所定の基準画像に対する動画像の変化量が前記しきい値を超過した場合、動画像の動きを検知することを特徴とする請求項１乃至６の何れか１項に記載の画像動き検知装置。
【請求項８】
前記第１の期間及び前記第２の期間の少なくとも何れか一の期間における代表画像を表示する代表画像表示手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の画像動き検知装置。
【請求項９】
前記期間指定手段は、ライブ画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至８の何れか１項に記載の画像動き検知装置。
【請求項１０】
動画像を蓄積する蓄積手段を更に有し、
前記期間指定手段は、前記蓄積手段に蓄積される動画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至８の何れか１項に記載の画像動き検知装置。
【請求項１１】
動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、
動画像を表示する画像表示ステップと、
利用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、
所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、
決定されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、
決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする画像動き検知方法。
【請求項１２】
請求項１１に記載の画像動き検知方法をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１４】
動画像を表示する画像表示手段と、
感度の自動設定開始を指示する自動設定開始指示手段と、
自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定手段と
を有することを特徴とする画像動き検知装置。
【請求項１５】
前記しきい値設定手段は、各フレームにおける差分値集合の上限と下限の一定量を除いた平均値求め、さらに複数フレームにおける前記差分値の平均値の上限と下限の一定量を除いた平均差分値に一定のオフセットを加算した値を前記しきい値とすることを特徴とする請求項１４に記載の画像動き検知装置。
【請求項１６】
自動感度設定中にカメラパラメータが変更した場合には自動感度設定を中断する中断手段と、中断したことを表示する自動感度設定中断表示手段とをさらに有することを特徴とする請求項１４または１５に記載の画像動き検知装置。
【請求項１７】
前記カメラパラメータとはカメラの撮影位置、パン、チルト、ズーム、フォーカス、絞り、露出、シャッタースピード、ホワイトバランスのうちの少なくとも一つであることを特徴とする請求項１６に記載の画像動き検知装置。
【請求項１８】
前記しきい値に反比例する感度を表示し、使用者が感度を設定することで間接的にしきい値を設定するしきい値設定手段をさらに有することを特徴とする請求項１４乃至１７の何れか１項に記載の画像動き検知装置。
【請求項１９】
自動感度設定の結果を前記感度表示に反映する感度設定手段をさらに有することを特徴とする請求項１８に記載の画像動き検知装置。
【請求項２０】
動画像を表示する画像表示ステップと、
感度の自動設定開始を指示する自動設定開始指示ステップと、
自動設定開始指示後に画像中に動きがないことを想定して、所定の基準画像に対する動画像の変化量を複数フレームわたって撮影し、求めた変化量から動き検知のためのしきい値を決定するしきい値決定ステップと
を有することを特徴とする画像動き検知方法。
【請求項２１】
請求項２０に記載の画像動き検知方法をコンピュータに実行させるためのプログラム。
【請求項２２】
請求項２１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００５−１６００１７（Ｐ２００５−１６００１７Ａ）
【公開日】平成１７年６月１６日（２００５．６．１６）
【国際特許分類】
【出願番号】特願２００４−１４１２３９（Ｐ２００４−１４１２３９）
【出願日】平成１６年５月１１日（２００４．５．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１７年６月１６日（２００５．６．１６）
【国際特許分類】
【出願日】平成１６年５月１１日（２００４．５．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]