説明

撮像装置およびその制御方法

【課題】 動き検出の感度調整を行わなくても、被写体の動きを精度良く検出することができる撮像装置を提供する。
【解決手段】 連続的に撮影された画像のうちの第1のフレームと第2のフレームとを比較して動き検出を行う(S905,S906)。被写体の動きが検出されなかった場合、第1のフレームから遠ざかる方向に、第2のフレームから所定フレーム数隔てたフレームを新たな第2のフレームとして再度上記動き検出を行うことを、被写体の動きが検出されるまで繰り返す。そして、上記動き検出処理により被写体の動きが検出された時の第1および第2のフレームのデータをメモリに記憶する(S907)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置およびその制御方法に関し、特に、遠隔監視システム等に使用される撮像装置およびその制御方法に関するものである。
【背景技術】
【0002】
ビルの監視カメラなど、遠隔監視システムで使用されるカメラ装置で撮影した画像をリモート装置(遠隔装置)に転送するものが数多く提案されている。
【0003】
監視カメラが常時撮影した画像を全てリモート装置に転送するのは通信回線の浪費である。そこで、一般には、一定時間毎に撮影を行い、または、各種センサ等からの信号をトリガとして撮影を行い、その撮影画像をリモート装置に転送することが行われる。あるいは、撮影時に動き検出処理を行い、その動き検出されたときの画像フレームだけをリモート装置に転送するという技術もある。
【0004】
【特許文献1】特開2000−13741号公報
【特許文献2】特開2000−69506号公報
【特許文献3】特開平9−307807号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかし、従来の動き検出の技術においては、動きを検出するための感度調整に試行錯誤が必要であった。
【0006】
また、動き検出された画像を保存するときに動きが小さいものを検出するように動き検出の感度を調整している場合に、動きの遅い被写体に対しても動きの速い被写体に対するのと同じフレームレートで画像が保存されてしまうので記憶媒体を無駄に消費してしまうという問題もあった。
【0007】
本発明は、以上のような問題を解決するためになされたもので、従来必要であった動き検出の感度調整を行わなくても、被写体の動きを精度良く検出することができる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面に係る撮像装置は、画像を連続的に撮影する撮影手段と、前記撮影手段により撮影された画像の第1のフレームと第2のフレームとを比較して被写体の動きを検出する動き検出手段と、前記動き検出手段により被写体の動きが検出されなかった場合、第1のフレームから遠ざかる方向に、第2のフレームから所定フレーム数隔てたフレームを新たな第2のフレームとして再度前記動き検出手段を動作させることを、被写体の動きが検出されるまで繰り返す制御手段と、前記動き検出手段により被写体の動きが検出された時の第1および第2のフレームのデータを記憶する記憶手段とを有する。
【発明の効果】
【0009】
本発明によれば、従来のような動き検出の感度調整を行わなくても、被写体の動きを精度良く検出することができる。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【0011】
図1の(a)は、本実施形態に係る撮像システムの構成を示す図である。101は、室内104において例えばドア106や机107を撮影するように設置された撮像装置である。この撮像装置101は通信機能およびWebサーバ機能を備えており、Webサーバを起動することで公衆網102を経由してインターネットへ接続することができる。一方、撮像装置101に対するリモート装置である通信端末103はWebブラウザ機能を備えており、このWebブラウザを起動することでインターネットに接続することができる。通信端末103がインターネットに接続されている状態で、通信端末103が画像モニターの指示を送信すると、撮像装置101はこれに応答して、撮影した画像を送信する。こうして撮像装置101から送られた画像は通信端末103のWebブラウザに表示される。同図(b)の105は、通信端末103のWebブラウザに表示例を示している。このような構成により、リモートの通信端末103から、室内104のドア106や机107をモニターすることが可能である。
【0012】
なお、撮像装置101と通信端末103との間に介在する通信媒体はいかなるものでもよく、例えば、有線アナログ回線、ISDN、有線LAN、無線LAN、PDC、PHS、IMT−2000、その他今後標準化される通信規格に準拠した通信媒体が使用可能である。
【0013】
また、通信端末103は、そのキー操作によってカメラ制御コマンドを撮像装置101に送信することで、パン、チルトによる撮影方向の変更やズームによる画角の変更を行うカメラ制御が可能である。
【0014】
その後、通信端末103から監視モードの指示を送信すると、撮像装置101はこれに応答して、カメラ制御により設定された方向を設定されたズーム倍率で静止画像を一定時間間隔で連続して撮影し、動き検出動作を行う。
【0015】
撮像装置101は、異なる時点の2つの画像を比較することで動き検出を行う。撮像装置101は、その動きを検出すると、その2つの画像を画像ファイルとして保存するとともに、例えば電子メールの添付ファイルとして通信端末103へと送信する。これにより通信端末103は動き検出された画像を確認することができる。あるいは、撮像装置101はその動き検出に係る2つの画像を外部のWebサーバにアップロードし、そのURLを通信端末103に通知するようにしてもよい。通信端末103は、その通知されたURLでもってWebサーバへアクセスし、これにより動き検出に係る2つの画像を確認できる。もっとも、そのWebサーバは外部の装置でなくてもよく、撮像装置101で動作するWebサーバへ通信端末103からアクセスされる形態でもよい。
【0016】
図2は、撮像装置101の機能構成を示すブロック図である。撮像装置101は、図示のように、設定記憶部201、撮像部202、カメラ制御部203、RAM204、制御部205、動き検出部206、画像記憶部207、通信部208によって構成される。
【0017】
設定記憶部201は、撮像装置101の動き検出処理で使用される比較段階(後述)の設定値を格納する記憶領域である。
【0018】
撮像部202は撮像装置101のカメラユニットに相当し、画像を撮影する。
【0019】
カメラ制御部203は、外部から入力されたカメラ制御コマンドに応じて、パンチルトによる撮影方向の変更やズームによる画角の変更を行う。
【0020】
RAM204は、一時的な記憶領域であり、動作アルゴリズムによって使用され、撮像部202で撮影された画像が記憶される。
【0021】
制御部205は、撮像装置101の動作アルゴリズムを格納したROM、動作アルゴリズムを実行するCPU(いずれも図示省略)を含む構成であり、設定記憶部201、撮像部202、カメラ制御部203、RAM204、動き検出部206、画像記憶部207、通信部208の制御を司る。
【0022】
動き検出部206は、撮像部202によって撮影された画像をフレームごとに比較して被写体の動きを判別する。
【0023】
画像記憶部207は、制御部205の指示に従って撮影画像データを記憶する。
【0024】
通信部208は、制御部205の指示に従って、通信網を経由して通信端末やサーバと接続し、撮影画像データを送信する。
【0025】
図3は、通信端末103のユーザインタフェースの一例を示す図である。表示部301には文字や画像が表示される。上キー302、左キー303、右キー304、下キー305はメニューの選択や撮像装置の撮影方向の変更に使用される。決定キー306は、選択したメニューの確定に使用される。文字キー307は、発信時の番号入力やWebブラウザへのURL入力に使用される。終了キー308は、通信の終了、メニュー画面の終了、画像モニターの終了を指示するのに使用される。発信キー309は通信を開始するときに使用される。F1キー310、F2キー311、F3キー312はファンクションキーである。ここでは一例として、F1キー310がズームの望遠側への移動、F2キー311がズームの広角側への移動、F3キー312がズームのホームポジションに対応するものとする。
【0026】
図4は、本実施形態における動き検出の比較段階の設定例を示す図である。
【0027】
表示例401は、通信端末103が撮像装置101に接続した時における通信端末103に表示されるメニュー画面の例である。このメニュー画面において、上キー302、下キー305によってメニューが選択され、決定キー306によってそのメニューが確定される。ここで、「画像モニター」を選択すると、撮像装置101で撮影が開始され、画像フレームが順次送信されてくる。画像モニターの状態においては、左キー303、右キー304でパン動作の指示が行われ、上キー302、下キー305でチルト動作の指示が行われる。また、ファンクションキー310、311、312でズーム動作の指示が行われる。たとえば、図1に示したように撮像装置101によって室内104のドア106と机107を監視したい場合、画像モニターの状態で402に示すようにドア106と机107が撮影されるようにカメラ制御を行う。画像モニターを終了してメニュー画面に戻るときは終了キー308で指示が行われる。
【0028】
一方、表示例401で「監視モード」を選択すると、表示例403のように比較段階設定画面が表示される。表示例403では、最初の比較段階としてデフォルトの間隔「1」が表示されている。ここで文字キー307によって間隔の値が入力され、決定キー306によって確定される。確定されると、リスト404に示されるように比較段階のインデックス「1」と間隔の値「I(1)」が対応付けされて、設定記憶部201へ記憶される。順次、表示例405に示すように比較段階2の入力へ移行し、リスト406のように比較段階の設定値が追加される。リスト407は比較段階が3個の例である。一般的には、比較段階の個数をnとしてリスト408に示すような対応関係が設定記憶部201に記憶される。
【0029】
ここで一般的には、比較段階の個数をnとすると、比較段階j(1≦j≦n)の設定値I(j) (I(j)は整数, 1≦j≦n)が比較段階の設定値として記憶される。ここで、I(j), I(k)(1≦j<k≦n)には、
I(j)<I(k) (1≦j<k≦n)
の関係があるように設定される。
【0030】
比較段階の設定は終了キー308が押されることによって行われる。その後、表示例409のように「監視モード開始」または「終了」を選択するメニューが表示される。「監視モード開始」が選択されると表示例410のように「監視モード中」の表示となり、撮像装置101では動き検出処理が開始される。表示例409で「終了」が選択されると、表示例401のメニュー画面が表示される。
【0031】
表示例410の「監視モード中」のときに「監視モード終了」が選択されると、表示例401のメニュー画面が表示され、撮像装置101は動き検出処理を終了する。
【0032】
図5は、本実施形態における撮像装置101の概略動作を示すフローチャートである。
【0033】
まずステップS501でWebサーバが起動される。次にステップS502で、画像モニターの指示があるか否かが判別される。画像モニターの指示がある場合はステップS503へ進み、画像モニターの指示がない場合はステップS504へ進む。
【0034】
ステップS503では、画像モニター動作の処理が行われる。このステップS503の処理の詳細は図6を参照して後述する。
【0035】
ステップS504では、監視モードの指示がある否かが判別される。監視モードの指示がある場合はステップS505へ進み、監視モードの指示がない場合はステップS506へ進む。
【0036】
ステップS505では、監視モード動作の処理が行われる。このステップS505の処理の詳細は図7を参照して後述する。
【0037】
ステップS506では、メニュー画面の終了指示があるか否かが判別される。メニュー画面の終了指示がある場合はステップS507へ進み、メニュー画面の終了指示がない場合はステップS502に戻って処理が続けられる。
【0038】
ステップS507では、Webサーバが終了される。
【0039】
図6は、ステップS503の画像モニター動作の詳細を示すフローチャートである。
【0040】
ステップS601で撮影が開始される。撮影された画像フレームは通信網を経由して通信端末へ送信される。
【0041】
ステップS602では、撮像装置101へ送られてきた指示がパン・チルト・ズームに関するカメラ制御コマンドであるか否かが判別される。カメラ制御コマンドである場合はステップS603へ進み、カメラ制御コマンドではない場合はステップS604へ進む。
【0042】
ステップS603では、カメラ制御コマンドに従ってカメラ制御が行われる。
【0043】
ステップS604では、撮像装置101へ送られてきた指示が画像モニター終了であるか否かが判別される。画像モニター終了ではない場合はステップS602に戻り処理が繰り返され、画像モニター終了である場合はこの画像モニター動作のフローを抜ける。
【0044】
図7は、ステップS505の監視モード動作の詳細を示すフローチャートである。
【0045】
ステップS701で比較段階の設定が行われる。このステップS701の処理の詳細は、図8を参照して後述する。
【0046】
ステップS702では、監視モード開始であるか否かが判別される。監視モード開始である場合はステップS703へ進み、監視モード開始ではない場合はステップS708へ進む。
【0047】
以下の説明では、第1のフレームとして、動き検出における比較元となる画像フレームを「基準画像」といい、第2のフレームとして、比較対象となる画像を「比較画像」という。
【0048】
ステップS703では、撮影開始時より取得される画像の数を表す基準画像カウンタが初期化される。基準画像カウンタをNとすると、N=0に初期化されてRAM204に記憶される。
【0049】
ステップS704では、撮像部202で撮影された画像が1フレーム取得される。
【0050】
ステップS705では、ステップS704で取得された1フレームの画像を基準画像としてRAM204に記憶される。
【0051】
ステップS706では、撮像部202で撮影された画像フレームから比較画像が取得され、RAM204に記憶された基準画像とともに動き検出部206に入力されて動き検出処理が行われる。このステップS706の処理の詳細は、図9を参照して後述する。
【0052】
ステップS707では、撮像装置101へ送られてきた指示が監視モード終了であるか否かが判別される。監視モード終了ではない場合はステップS706へ戻って処理が繰り返され、監視モード終了である場合はこの処理フローを抜ける。
【0053】
ステップS708でも、撮像装置101へ送られてきた指示が監視モード終了であるか否かが判別される。監視モード終了ではない場合はステップS702へ戻って処理が繰り返され、監視モード終了である場合はこの処理フローを抜ける。
【0054】
図8は、ステップS701の比較段階設定動作の詳細を示すフローチャートである。
【0055】
ステップS801では、比較段階の個数が初期化される。比較段階の個数をnとすると、n=1に初期化される。
【0056】
ステップS802では、比較段階の値が入力されたか否かが判別される。比較段階の値が入力された場合はステップS803へ進み、比較段階の値が入力されない場合はステップS810へ進む。
【0057】
ステップS803では、比較段階I(n)すなわちI(1)が設定記憶部201に記憶される。
【0058】
ステップS804では、比較段階の個数nが1増加される。
【0059】
ステップS805では、比較段階の値の入力が行われる。
【0060】
ステップS806では、ステップS805で入力された比較段階の値I(n)が一つ前に設定された比較段階の値I(n−1)よりも大きいか否かが判別される。I(n−1)<I(n)の場合はステップS807へ進み、I(n−1)<I(n)ではない場合はステップS805へ戻り処理が繰り返される。
【0061】
ステップS807では、比較段階I(n)が設定記憶部201に記憶される。
【0062】
ステップS808では、比較段階設定動作を終了するか否かが判別される。比較段階設定動作を終了する場合はステップS809へ進み、比較段階設定動作を終了しない場合はステップS804へ戻って処理が繰り返される。
【0063】
ステップS809では、比較段階の個数nが設定記憶部201へ記憶され、この比較段階設定に係る動作フローを抜ける。
【0064】
ステップS810でも、比較段階設定動作を終了するか否かが判別される。比較段階設定動作を終了する場合はステップS811へ進み、比較段階設定動作を終了しない場合はステップS802へ戻って処理が繰り返される。
【0065】
ステップS811では、比較段階I(n)すなわちI(1)に対してI(1)=1が設定されて設定記憶部201に記憶され、その後ステップS809に進む。
【0066】
図9は、ステップS706の動き検出動作の詳細を示すフローチャートである。
【0067】
ステップS901では、比較画像カウンタが初期化される。比較画像カウンタをiとすると、i=0に初期化される。
【0068】
ステップS902では、撮像部202で撮影された画像が1フレーム取得される。
【0069】
ステップS903では、比較画像カウンタiが1増加される。
【0070】
ステップS904では、比較画像カウンタiに等しい比較段階が設定記憶部201に記憶されているか否かが判別される。すなわち、i=I(j)を満たすj(1≦j≦n)が存在するか否かが判別される。条件を満たす比較段階が存在する場合はステップS905へ進み、条件を満たす比較段階が存在しない場合はステップS902へ戻って処理が繰り返される。
【0071】
ステップS905では、ステップS902で取得された画像を比較画像として、基準画像と比較画像との比較が行われる。
【0072】
ステップS906では、ステップS905で行われた画像比較の結果、被写体の動きが検出されたか否かが判別される。その動きが検出された場合はステップS907へ進み、検出されない場合はステップS908へ進む。
【0073】
ステップS907では、動き検出に使用された基準画像と比較画像が画像記憶部207へ保存される。
【0074】
ステップS908では、比較画像カウンタiが最後の比較段階I(n)と等しいか否かが判別される。i=I(n)の場合はステップS909へ進み、i≠I(n)の場合はステップS902へ戻って処理が繰り返される。
【0075】
ステップS909では、基準画像の更新が行われる。具体的には、ステップS905での動き検出で使用された比較画像が新たな基準画像としてRAM204に保存される。古い基準画像はRAM204から削除される。
【0076】
ステップS910では、基準画像カウンタNに比較画像カウンタiが加算され、その後、動き検出動作が終了する。
【0077】
図10は、上記した動き検出動作を概念的に説明する図である。
【0078】
図10に示す例では、比較段階の個数はn=3である。比較段階1はI(1)=1であるから、撮像部202で撮影された基準画像の次のフレームが比較画像として使用される。比較段階2はI(2)=3であるから、基準画像の3フレーム後の画像が比較画像として使用される。比較段階3はI(3)=6であるから、基準画像の6フレーム後の画像が比較画像として使用される。ここで設定している比較段階の値は動き検出動作の概念を示すための一例である。被写体の動きが検出されない状態では、比較段階3での画像比較が終了した後、そこで使用された比較画像を新たに基準画像として各比較段階での画像比較が行われる。
【0079】
本実施形態によれば、被写体の動きがある場合、動きが小さい場合、中程度の場合、大きい場合のそれぞれについて、従来のような動き検出の感度調整を行うことなく検出することが可能である。動きが大きい場合は比較段階1で動き検出され、動きが中程度の場合は比較段階2で動き検出され、動きが小さい場合は比較段階3で動き検出される。動き検出される場合は、画像比較に使用された基準画像と比較画像が画像記憶部207へ順次記憶される。
【0080】
また、以上の動作によれば、動きの遅い被写体に対しては、単位時間当たりに保存される画像の数は少なくなるため、記憶媒体を有効に使うことができるという効果もある。
【0081】
(他の実施形態)
以上、本発明の実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【0082】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータがその供給されたプログラムコードを読み出して実行することによっても達成される。その場合、プログラムの機能を有していれば、その形態はプログラムである必要はない。
【0083】
従って、本発明の機能処理をコンピュータで実現するために、そのコンピュータにインストールされるプログラムコード自体およびそのプログラムを格納した記憶媒体も本発明を構成することになる。つまり、本発明の特許請求の範囲には、本発明の機能処理を実現するためのコンピュータプログラム自体、およびそのプログラムを格納した記憶媒体も含まれる。
【0084】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
【0085】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM、DVD−R)などがある。
【0086】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、そのホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明のクレームに含まれるものである。
【0087】
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【0088】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【0089】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【0090】
【図1】本発明の実施形態に係る撮像システムの構成を示す図である。
【図2】本発明の実施形態における撮像装置の機能構成を示すブロック図である。
【図3】本発明の実施形態における通信端末のユーザインタフェースの一例を示す図である。
【図4】本発明の実施形態における動き検出の比較段階の設定例を示す図である。
【図5】本発明の実施形態における撮像装置の概略動作を示すフローチャートである。
【図6】本発明の実施形態における撮像装置による画像モニター動作を示すフローチャートである。
【図7】本発明の実施形態における撮像装置による監視モード動作を示すフローチャートである。
【図8】本発明の実施形態における撮像装置による比較段階設定動作を示すフローチャートである。
【図9】本発明の実施形態における撮像装置による動き検出動作を示すフローチャートである。
【図10】本発明の実施形態における撮像装置による動き検出動作を概念的に説明する図である。

【特許請求の範囲】
【請求項1】
画像を連続的に撮影する撮影手段と、
前記撮影手段により撮影された画像の第1のフレームと第2のフレームとを比較して被写体の動きを検出する動き検出手段と、
前記動き検出手段により被写体の動きが検出されなかった場合、第1のフレームから遠ざかる方向に、第2のフレームから所定フレーム数隔てたフレームを新たな第2のフレームとして再度前記動き検出手段を動作させることを、被写体の動きが検出されるまで繰り返す制御手段と、
前記動き検出手段により被写体の動きが検出された時の第1および第2のフレームのデータを記憶する記憶手段と、
を有することを特徴とする撮像装置。
【請求項2】
前記動き検出手段により被写体の動きが検出された時、または、前記制御手段により被写体の動きが検出されないまま前記動き検出手段の動作が所定回数繰り返された時の第2のフレームを、新たな第1のフレームとして設定する設定手段を更に有することを特徴とする請求項1に記載の撮像装置。
【請求項3】
各回の前記動き検出手段の動作における第1のフレームと第2のフレームとの間隔を設定する設定手段を更に有することを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
画像を連続的に撮影する撮影工程と、
前記撮影工程で撮影された画像の第1のフレームと第2のフレームとを比較して被写体の動きを検出する動き検出工程と、
前記動き検出工程で被写体の動きが検出されなかった場合、第1のフレームから遠ざかる方向に、第2のフレームから所定フレーム数隔てたフレームを新たな第2のフレームとして再度前記動き検出工程を実行することを、被写体の動きが検出されるまで繰り返す制御工程と、
前記動き検出工程により被写体の動きが検出された時の第1および第2のフレームのデータをメモリに記憶する記憶工程と、
を有することを特徴とする撮像装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2006−345447(P2006−345447A)
【公開日】平成18年12月21日(2006.12.21)
【国際特許分類】
【出願番号】特願2005−171651(P2005−171651)
【出願日】平成17年6月10日(2005.6.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】