画像処理装置、画像処理システム及び画像処理プログラム
【課題】不正使用者を撮像した画像を劣化させることなしに、長期保管する必要性の小さな画像を排除して長期保管での記憶容量を減少させる画像処理装置、画像処理システム及び画像処理プログラムを提供する。
【解決手段】検出動画像を検出する手段により検出動画像を映像データから検出し、顔の正面検出処理手段２２が検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断し、前記検出動画像に顔が正面を向いた人物が写り込んでいる検出フレームがある場合に静止画抽出処理手段２５が検出フレームを抽出静止画像として抽出し、前記検出動画像を記録する代わりに当該抽出静止画像を記録する。
【解決手段】検出動画像を検出する手段により検出動画像を映像データから検出し、顔の正面検出処理手段２２が検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断し、前記検出動画像に顔が正面を向いた人物が写り込んでいる検出フレームがある場合に静止画抽出処理手段２５が検出フレームを抽出静止画像として抽出し、前記検出動画像を記録する代わりに当該抽出静止画像を記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを画像処理して記録する画像処理装置、画像処理システム及び画像処理プログラムに関し、特に、人物が写り込む映像データを動画像又は静止画像で記録する画像処理装置、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
ＣＤ(Cash Dispenser)やＡＴＭ(Automated Teller Machine)などの無人端末には、防犯目的で監視カメラが設置され、画像が記録されている。この記録されている画像の記録方式は様々種類があるが、主要なものとしてテープ媒体（ＶＴＲ(Video Tape Recorder)）、デジタルデータ（ＭＰＥＧ４(Moving Picture Experts Group phase 4)、モーションＪＰＥＧ(Motion-Joint Photographic Experts Group)など）がある。
【０００３】
前記デジタルデータとして画像を記録した場合には、画像処理を施すことで利用効率を上げるなど、応用的な活用も考えられる。画像処理の応用例としては、例えば、動き自動検出機能、行列自動カウント機能がある。この動き自動検出機能は、画像中の動く対象を検出すると画質と記録レートを自動的に上げて記録し、アラームを鳴動させる。また、行列自動カウント機能は、行列に並ぶ人の数を自動的にカウントし、混雑状況を把握可能なものである。
また、利用客を特定するイメージ情報を用いて不正使用の防止及び検出を目的とした現金自動取引方法が、特許文献１に開示されている。
【０００４】
この特許文献１の現金自動取引方法は、利用客のイメージ情報を取り込むためのイメージ情報取り込み部を有し、現金自動取引装置と接続されたデータ記憶装置に記憶されるイメージ情報に基づいて前記イメージ情報を識別し、識別の結果、所定の特徴が識別された場合に、通常とは異なる取引を行う構成である。
【特許文献１】特許第２９６０４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、昨今、預金者保護の観点から、偽造カード、盗難カード等を用いた無人端末での不正取引を防止する施策が提案され、預金無人端末での監視カメラで撮像された画像の長期保管も望まれている。
【０００６】
しかしながら、画像は記録方式による差異はあるものの、多くの記憶領域を使用するため、例えば１年以上の長期保管を実現しようとする場合には現在実現されている各種システムでは記憶媒体の量に制約を受けるという課題を有する。
【０００７】
具体的に、ＶＴＲで画像を記録している場合には、保管期間が長期間になるに従ってテープの購入費用が嵩むと共に、その画像を記録したテープの保管場所の確保が困難であり、また、無数にあるテープから該当のテープを探す手間も生じる。
【０００８】
他方、デジタルデータで記録した場合には、ＶＴＲで画像を記録する場合と比べ、記録媒体の保管場所の確保、並びに、該当画像の検索性は改善するものの、大量のデータを記録する装置のコストが莫大となり、また、大量のデータを記録する装置もある程度の設置場所を要するという課題を解決することができない。
【０００９】
ここで、現在記録している品質よりも相当程度劣化させた品質で撮像して記録する方法を容易推考の方法として採り得るかもしれないが、劣化させた画像から肝心の不正取引者が困難となれば本末転倒である。
【００１０】
さらに、前記特許文献１の現金自動取引方法によれば、防犯カメラを手で隠したり、防犯カメラの視野に入らないような位置で取引したり、サングラス等で顔を隠したりして取引する場合には、その取引が不正な取引である可能性があり、精密に撮影したり、取引時間を長引かせるようにしたり、窓口に誘導するようにして、不正の取引をしようとする者に対して抑制作用がある。しかし、この特許文献１の現金自動取引方法によっても、前説した記録した画像の長期保管による課題を解決することはできない。
【００１１】
本発明は前記課題を解決するためになされたものであり、不正使用者を撮像した画像を劣化させることなしに、長期保管する必要性の小さな画像を排除して長期保管での記憶容量を減少させる画像処理装置、画像処理システム及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
図１は本発明の画像記憶の原理説明図である。
図１に示すように、監視カメラで撮影された映像データをもとに、以下の画像処理を施し、必要度に合わせた形式で保存する。
＜１＞シーンチェンジ検出
刻々と記録される映像データから、人物等が現れた箇所の画像の変化を検知し、そのシーンのみを抽出する。例えば、図１（１）に示した例では、背景のみ表示されているフレームから、女性が歩いて監視カメラ側に近づいていくフレームに移行し、さらに、顔が大写しされたフレームにまで移行している。シーンチェンジ時のフレームのみを抽出してもよいし、既定のシーンからのシーンチェンジから再び既定のシーンに戻るシーンチェンジまでのフレーム（その一部）を抽出してもよい。ここで、既定のシーンとは、監視対象となる人物等が写り込んでいないフレームである。
【００１３】
＜２＞顔の向き検出
前記＜1＞で抽出されたシーン（人物が映っているシーン）から顔の向きを自動的に検知する。
・顔が正面を向いているものは、静止画像として記録して保存する。図１（２）上部右側では正面を向いている女性の顔画像を静止画像として記録し、他方、図１（２）上部左側では前記＜１＞により抽出されたフレームであるものの顔の向きを検出することができず記録されない。
・顔の向きが常に正面を向かず例えば下を終始みているもの又は激しく変化しているものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。
【００１４】
＜３＞開眼状況
前記＜２＞で静止画又は動画として記録するとの切り分けは実行せずに、顔の向き検出で顔が正面を向いているとされたシーンから開眼状況を自動的に検知する。
・開眼状況が正常とみられるものは、静止画像として記録して保存する。
・開眼状況が異常（サングラス等）であって認識できなかったものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。
ここで、前記＜２＞顔の向き検出を行うことなく、開眼状況を把握できる場合には静止画像として記録し、他方、開眼状況を認識できない場合には前記＜１＞のシーンチェンジで検出されたフレーム全てからなる動画像を記録する構成にすることもできる。
【００１５】
監視カメラから送られてくる映像データに対して前記＜１＞の処理を行うことで、監視カメラで撮像された全てのフレームが記録されるのではなく、人物が写りこんだフレームのみを記録する。また、同じ人物を撮像した連続したフレームの集合である検出動画像のフレーム毎に前記＜２＞＜３＞の処理を実行し、撮像されている人物の顔が正面を向いているフレームがある場合、撮像されている人物が開眼しているフレームがある場合、又は、撮像されている人物の顔が正面を向き且つその人物が開眼しているフレームがある場合には、検出動画像を記録するのではなく該当フレームを記録する。
また、このように一部抽出されたフレームを読み出して表示する場合においては、記録すべきデータ量を減少させることになるだけでなく、検索対象となるデータ量も小さくなるため検索時のレスポンスも向上する。
【００１６】
（１）顔の正面検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記動画切出処理手段が切出した検出動画像を記録するものである。
【００１７】
このように本発明においては、前記検出動画像を検出する手段により検出動画像を映像データから検出し、前記顔の正面検出処理手段が当該検出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断し、前記検出動画像に顔が正面を向いた人物が写り込んでいる検出フレームがある場合に前記静止画抽出処理手段が検出フレームを抽出静止画像として抽出し、前記検出動画像を記録する代わりに当該抽出静止画像を記録するので、人物が写っていない動画像を含む映像データと比して人物が写っている検出動画像を記録することで相当の記憶容量を節約することができ、さらに、検出動画像の中で写り込んでいる人物の顔が正面を向いている検出フレームを有する検出動画像は抽出静止画像を検出動画像の代わりに記録するため、一層画像記録に必要となる記憶容量を減少させることができるという効果を奏する。
【００１８】
後説する実施形態では、人物が写り込んでいるフレームであって顔が正面を向き、且つ、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に、検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録する例を示したが、顔が正面を向いている人物が写り込んでいる検出フレームを検出動画像が有する場合に開眼の有無に拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよいし、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に顔が正面を向いているか否かに拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよい。
前記検出動画像を検出する手段は、後説する実施形態においてはシーンチェンジ検出処理部に相当する。
【００１９】
（２）顔の正面検出及び開眼検出による動画像の静止画像化
本発明に係る画像処理装置は必要に応じて、前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出するものである。
【００２０】
このように本発明においては、写り込んでいる人物の顔が正面を向いているだけでなく、開眼している検出フレームを検出動画像が有している場合に検出動画像の代わりに抽出静止画像を記録するので、顔が正面を向いているだけでなく開眼しているより望ましい状態で人物が写り込んでいる場合にだけデータ量の少ない静止画像で記録しており、記録した後に詳細に精査を必要とする検出動画像を静止画像として記録するという状況を回避しつつ、仮に静止画像を精査する場合にあってもその静止画像により人物を確実に確認することができるという効果を有する。
【００２１】
（３）開眼検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、当該開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記動画切出処理手段が切出した検出動画像を記録するものである。
【００２２】
（４）画像への撮像日時の付加
本発明に係る画像処理装置は必要に応じて、前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録するものである。
このように本発明においては、撮像日時を付加して抽出静止画像又は検出動画像を記録しているので、画像処理装置から抽出静止画像又は検出動画像を取得する場合の検索性に優れるという効果を有する。
【００２３】
（５）複数の画像処理装置による構成
本発明に係る画像処理システムは、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を映像データから切出す動画切出処理手段とを備える第１の画像処理装置と、当該第１の画像処理装置が切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段とを備える第２の画像処理装置とを備え、前記第２の画像処理装置の静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記第１の画像処理装置の動画切出処理手段が切出した検出動画像を記録するものである。
【００２４】
これまで本発明を画像処理装置又は画像処理システムとして捉えてきたが、これまでの説示により画像処理方法又は画像処理プログラムとして把握することもできる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【発明の効果】
【００２５】
ＣＤやＡＴＭなどの無人端末を運営する金融機関では、防犯上の記録画像の無駄を大幅に削減でき、保管の効率化を図ることができる。
同時に、保管の長期化も実現でき、預金者の信頼度を向上することができる。
万一、犯罪が起こった場合、金融機関や捜査当局にとって、証拠性の向上や事実関係の解明に役立つものとなる。そして、より迅速な解決が期待できる。
【発明を実施するための最良の形態】
【００２６】
本実施の形態では、主にシステムについて説明するが、所謂当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム及び方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００２７】
（本発明の第１の実施形態）
本発明の第１の実施形態に係る画像サーバを用いた監視システムについて図面を用いて説明する。
［１．システム構成］
図２は本実施形態に係る監視システムのシステム構成図である。
本実施形態に係る監視システムは、監視カメラ１、この監視カメラ１から送られる映像データを情報処理して記録する画像サーバ２、並びに、この画像サーバ２で記録されている画像情報を読み出して表示するための画像クライアント３を含む。
【００２８】
監視カメラ１は、例えば、銀行などのＡＴＭ(Automated Teller Machine)毎に設置され、そのＡＴＭを使用する利用者を撮像している。本実施形態に係る画像サーバ２においては、後説するように、利用者の顔の正面や開眼状況を把握するために利用者の顔の正面や眼が写り込んだフレームが得られるように、ＡＴＭを操作している利用者と対向方向に監視カメラ１のレンズを設けることが望ましい。
【００２９】
監視カメラ１が画像サーバ２に映像データを出力するための接続形態は、監視カメラ１が監視カメラ用の信号線（例えば、信号線の種類としては、ＲＣＡ−ＲＣＡケーブル、ＢＮＣ−ＢＮＣケーブル、ＢＮＣ−ＲＣＡケーブル、ＲＣＡ−ＢＮＣケーブルなどがある。ここで、ＲＣＡ、ＢＮＣは例示であり、他の映像インタフェースであってもよい。）で画像サーバ２に直接的に接続するタイプと、監視カメラ１が監視カメラ用の信号線で中継装置（図示しない）に接続し、この中継装置と画像サーバ２が信号線で接続するタイプと、ネットワークを介して画像サーバ２に映像データを送信するために監視カメラ１がＬＡＮ(Local Area Network)などのネットワークに接続するタイプなどがある。図２は監視カメラ１が直接的に接続するタイプと、監視カメラ１がネットワークに接続するタイプを例示している。
画像サーバ２と画像クライアント３は同一のＬＡＮに接続して通信可能となっている。
【００３０】
［１．１ ハードウェア構成］
画像サーバ２は、画像サーバプログラムをインストールしてロード可能となることでコンピュータ上に構築される。画像クライアント３も、同様に、画像クライアントプログラムをインストールしてロード可能となることでコンピュータ上に構築される。
【００３１】
画像サーバ２又は画像クラインと３が構築されているコンピュータは、図３に示すように、ＣＰＵ１０、メインメモリ１１、ＭＢチップセット１２、ビデオカード１３、ＨＤＤ１４、ブリッジ回路１５、光学ドライブ１６、キーボード１７、マウス１８及びネットワークインタフェース１９を含む。この図３のハードウェア構成は一例であり、この例に限定されない。
【００３２】
［１．２ システム構成要素］
図４は本実施形態に係る画像サーバのブロック構成図である。
前記画像サーバ２は、シーンチェンジ検出処理部２１、顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報（日時等）付加保存処理部２７を含む。
【００３３】
前記シーンチェンジ検出処理部２１は、人物が撮像領域に入る際及び人物が撮像領域から出る際の映像であるシーンの変わり目を自動検出する機能を有する。監視カメラ１から送られてくる映像データには、人物が写っている画像と人物が写っていない画像がある。人物が写っていない画像は既定の画像とする。既定の画像は予め設定する他、監視カメラ１から送られてくる画像が所定時間以上略同一である場合に既定の画像とする構成であってもよく、このように構成することで画像内の固定的に写っているもの（壁の色、壁に貼っているポスター）が変化した場合であっても既定の画像の設定を変更することなく対応することができる。
【００３４】
この既定の画像と処理対象の画像の差分情報を求める。その差分情報が所定閾値以上であれば人物がいると判断する。この画像の差分情報を用いて人物の有無の判断する方法の他、複数のフレームを利用して撮像領域において動くオブジェクトがあるか否かを判断することにより人物がいるか否かを判断することができる。なお、画像の差分を求める手法や、動画像内で動くオブジェクトを特定する手法は既に公知、周知、慣用技術であるためここでの説明は省略する。また、前記差分情報を求める領域を画像内の特定領域（それぞれの環境によって異なるが、利用者が写り込む可能性がある領域。利用者が写り込む可能性がある領域のみを対象とすることで利用者が写る可能性がない領域を排除できる。）とすることもできる。
【００３５】
前記顔の正面検出処理部２２は、前記シーンチェンジ検出処理部２１が検出した同じ人物が写っている連続したフレームの集合である検出動画像中のフレームの顔が正面を向いているのか否かを判断する機能を有する。顔の正面検出の手法は、例えば、特開２００４−２３４３６７号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開２０００−９７６７６号公報、特開２００６−３３８３２９号公報、特開２００６−２６８２４８号公報、特開２００６−７２７７０号公報がある）。この開示されている顔の向き検出手法は、顔が撮像された静止画像の垂直方向の画素データを夫々加算し、算出した複数の加算値に基づき顔の向きを検出するものである。この顔の向き検出手法を用いれば画像を入力することで顔の向きを求めることができる。正確には、左右方向の顔の傾き角度求めることができ、この求めた角度と、予め設定されている顔が正面を向いているとされる左右方向の顔の傾き角度範囲内にあるか否かで処理対象の画像内の顔が正面を向いているのか否かを判断することができる。この他、画像内の顔を特定する手法が周知、慣用技術となっており、画像内の顔を特定した後に、顔の正面検出の手法を適用することが望ましい。
【００３６】
前記開眼状況検出処理部２３は、検出動画像中のフレームの顔が開眼しているか否かを判断する機能を有する。開眼状況の検出手法は、例えば、特開２００４−２３４４９４号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開平６−３２１５４号公報、特表２００２−５０９３２０号公報、特開２００５−３１２８６８号公報がある）。この開示されている眼の状態判定手法は、顔が撮像された静止画像中の眼の領域を特定し、特定した眼の領域内の瞼の形状を検出し、検出した瞼の形状に基づき眼の開閉状態を判定するものである。この眼の状態判定手法を用いれば画像又は動画像を入力することで開眼しているか否かを判断することができる。
【００３７】
前記正常取引／不正取引判断処理部２４は、前記顔の正面検出処理部２２での処理結果及び開眼状況検出処理部２３での処理結果に基づいて正常取引か不正取引かを判断する機能を有する。より具体的には、この正常取引／不正取引判断処理部２４は、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている場合に正常取引だと判断し、それ以外の場合には不正取引の可能性があると判断する。それ以外とは、正面を向いていないと判断されている場合、正面を向いているが開眼していない場合である。
【００３８】
前記静止画抽出処理部２５は、前記正常取引／不正取引判断処理部２４で正常取引であると判断された場合に、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている検出フレームを前記検出動画像から抽出静止画像として抽出する。検出動画像を構成するフレームから人物の顔の正面であり、開眼している検出フレームを顔の正面検出処理部２２及び開眼状況検出処理部２３により検出した場合に、検出動画像から検出フレームが一枚検出された時点でその一枚のフレームを抽出静止画像として静止画抽出処理部２５により抽出してもよい。また、検出動画像から全ての検出フレームを検出して全ての検出フレームを抽出静止画像として抽出してもよいし、その複数の検出フレームの中で最も正面を向き（上下傾き角度０［度］、左右傾き角度０［度］）、最も開眼状態のよい（上まぶたと下まぶたで閉じられた領域の面積が最大）検出フレームを抽出静止画像として抽出してもよい。さらに、検出フレームが検出された時点で所定間隔で検出動画像から静止画像を抽出してもよい。さらにまた、検出フレームが検出された時点で検出動画像の中から前フレームとの比較で差分情報が所定閾値以上のフレームを静止画像として抽出してもよい。
【００３９】
前記動画切出処理部２６は、前記正常取引／不正取引判断処理部２４で不正取引であると判断された場合に、検出動画像をそのまま切出す機能を有する。
前記メタ情報付加保存処理部２７は、前記静止画像抽出処理部２５が処理した抽出静止画像又は前記動画切出処理部２６が処理した検出動画像に対してその抽出静止画像、検出動画像の撮像日時等の属性情報を付加して保存する機能を有する。撮像日時は監視カメラ１からの映像データに付与されている場合には、フレーム毎に取得することができる。撮像日時は、例えば、抽出静止画像には抽出静止画像の撮像日時又は抽出静止画像を抽出した検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加し、検出動画像には検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加する。
【００４０】
図５は本実施形態に係る画像サーバの画像抽出の説明図である。所定期間の映像データがあるとして、この映像データの画像サーバ２での処理は、人物がいるシーンチェンジを検出して検出動画像を処理対象とし（図５（ｂ）参照）、この検出動画像を構成するフレームについて人物の顔が正面を向いているか否かを判断し、さらに、人物の顔が正面を向いているとされたフレームについて人物が開眼しているか否かを判断し、人物の顔が正面を向いており、且つ、人物が開眼している検出フレームがある場合には該当する検出動画像に代えて抽出静止画像とし（図５（ｃ）参照）、そのような検出フレームを有しない検出動画像はそのまま動画像として記録する（図５（ｄ）参照）。
【００４１】
［２．動作］
図６は本実施形態に係る画像サーバの動作フローチャートである。
監視カメラ１は常時撮像領域を撮像し、画像サーバ２に映像データを送信している。
画像サーバ２が監視カメラ１からの映像データを受信して取り込む（ステップＳ１０１）。画像サーバ２のシーンチェンジ検出処理部２１が映像データを構成するフレーム単位に人物が写り込んでいるか否かを判断する（ステップＳ１１１）。処理対象のフレームに人物が写り込んでいない場合には画像サーバ２はアイドル状態とみなして映像を記録することなく廃棄する（ステップＳ１２１）。シーンチェンジ検出処理部２１が処理対象のフレームに人物が写り込んでいる場合にはその人物が写り込んでいるフレームを一時的に蓄積する（ステップＳ１１２）。シーンチェンジ検出処理部２１は、一時的に蓄積したフレームに連続する映像データの次のフレームを処理対象とし（ステップＳ１１３）、この処理対象のフレームに人物が写り込んでいるか否かを判断する（ステップＳ１１４）。一時的に蓄積したフレームに連続するフレームに人物が写り込んでいると判断した場合には、前記ステップＳ１１２に戻る。
【００４２】
前記ステップＳ１１４において蓄積したフレームに連続するフレームに人物が写り込んでいないと判断した場合には、顔の正面検出処理部２２が蓄積したフレームの集合である検出動画像を構成するフレームの中に顔の向きが正面であるフレームがあるか否かを判断する（ステップＳ１３１）。
【００４３】
前記ステップＳ１３１で顔の向きが正面であるフレームを有する検出動画像であると判断した場合には、開眼状況検出処理部２３が顔の向きが正面であると判断されたフレームに写り込んでいる人物が開眼しているか否かを判断する（ステップＳ１４１）。検出フレームがあると判断した場合には正常取引／不正取引判断処理部２４が正常取引とみなして、静止画抽出処理部２５を介して蓄積しているフレームの中から検出フレームを静止画像として抽出する（ステップＳ１５１）。
【００４４】
前記ステップＳ１３１で顔の向きが正面であるフレームがないと判断した場合、又は、前記ステップＳ１４１で開眼しているフレームがないと判断した場合、正常取引／不正取引判断処理部２４が不正取引の可能があるとして動画切出処理部２６を介して検出動画像をそのまま切出す（ステップＳ１６１）。
【００４５】
メタ情報（日時等）付加保存処理部２７が記録したフレームに対して対応する撮像日時などのメタ情報を付加する（ステップＳ１７１）。
続けて、メタ情報（日時等）付加保存処理部２７がメタ情報を付加した前記ステップＳ１５１で抽出した抽出静止画像、又は、メタ情報を付加したステップＳ１６１で切出した検出動画像を記録する（ステップＳ１８１）。
【００４６】
このようにメタ情報を付加して記録された抽出静止画像、検出動画像を画像クライアント３で撮像日時を指定して画像サーバ２から所望の静止画、動画を取得して表示することができる。監視システムの管理者は、定期的又は必要に応じて動作を取得して実際に不正取引がないかを取引ログも参照しながら確認する。例えば、何度も暗証番号を間違えて且つ挙動不審である場合には不正取引を実行しようとしたか、若しくは、実際に実行したかの可能性極めて高い。他の例としては、取引ログから明らかに不正取引がなされていることが判明している場合に、その取引時間を検索キーとして抽出静止画、検出動画像を取得することで不正取引の実行犯を容易に特定することができる。このように従来のように全ての動画像を記録せず使用する記録領域を小さくしつつも、従来と同様に必要に応じて実行犯の特定に使用でき、逆に、抽出静止画、検出動画像のデータ容量が小さいために検索のレスポンスも高く、利便性に富む。
【００４７】
なお、本実施形態においては、検出フレームを有する検出動画像の場合には抽出静止画像を抽出したが、検出フレームを有するとされた検出動画像の全てのフレームを抽出静止画像に置き換えることもできる。このように構成することで、ＭＰＥＧ(Moving Picture Experts Group)のように動きベクトルを考慮して圧縮して記録する映像方式の場合には同じフレームが連続することで大幅に記憶容量を低減することができる。
【００４８】
（本発明の第２の実施形態）
図７は本実施形態に係る監視システムのシステム構成図である。
前記第１の実施形態では、一つの監視カメラ１に接続する画像サーバ２が映像データから正常取引か不正取引かの判断も行い、正常取引の場合には検出動画像内の検出フレームである抽出静止画像で記録し、他方、不正取引の場合には検出動画像で記録する構成を説示した。本実施形態では、図７に示すように、複数の画像サーバ２が連携して最終的に正常取引か不正取引かの判断も行い、抽出静止画像又は検出動画像で記録することを異にする構成である。本実施形態の画像サーバは、映像データをそのまま記録する１次データ用画像サーバ４と、この１次データ用画像サーバ４が記録している動画像を受けて人物が写っている画像のみを記録する２次データ用画像サーバ５（シーンチェンジ検出処理部２１及び動画切出処理部２６の機能を有する）と、この２次データ用画像サーバ５が記録している動画像を受けて正常取引であると判断した場合には抽出静止画で記録し、不正取引であると判断した場合には検出動画像そのままで記録する３次データ用画像サーバ７（顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報付加保存処理部２７の機能を有する）とからなる。
【００４９】
前記２次データ用画像サーバ５と同一のＬＡＮに接続する２次データ用画像クライアント６は、この２次データ用画像サーバ５から画像を検索、取得して表示する機能を有する。
前記３次データ用画像サーバ７と同一のＬＡＮに接続する３次データ用画像クライアント８は、この３次データ用画像サーバ７から静止画、動画像を検索、取得して表示する機能を有する。
【００５０】
図８は本実施形態に係る監視システムの画像データの記憶過程の説明図である。
例えば、監視カメラ１からの映像データを受けて１次データ用画像サーバ４が所定期間（例えば、１日）の動画像を記録した後に、２次データ用画像サーバ５にその所定期間の画像を一括処理で送信する。このとき、送信した所定期間の動画像は１次データ用画像サーバ４が第１の指定期間だけ記録し、この記録から第１の指定期間経過後に削除する。
２次データ用画像サーバ５が前記所定期間の動画像を検出動画像にして記録した後に、３次データ用画像サーバ７に送信する。このとき、検出動画像は２次データ用画像サーバ５が第２の指定期間だけ記録し、この記録から第２の指定期間経過後に削除する。
【００５１】
３次データ用画像サーバ７が同じ人物が写り込んでいる連続するフレームからなる検出動画像毎に正常取引か不正取引かを判断し、正常取引であればその検出動画像から抽出静止画像を抽出して記録し、不正取引であれば検出動画像のまま記録する。このとき、抽出静止画像と検出動画像からなる動画像を３次データ用画像サーバ７が第３の指定期間だけ記録し、この記録から第３の指定期間経過後に削除する。
【００５２】
第１の指定期間、第２の指定期間、第３の指定期間の順で期間は長くなる。特に、図７で例示した銀行本店に配設された３次データ用画像サーバ７においては第３の指定期間が特に長く、従来であれば銀行本店であっても銀行支点と同様に監視カメラ１から送信されてきた画像そのまま記録しており大きなデータ容量を必要としていたが、大幅に必要となる記憶容量を減少させることができる。
【００５３】
（その他の実施形態）
［複数の人物が写り込んでいる映像］
監視カメラ１の撮像方向及びズームイン・アウトによっては監視対象以外の人物も監視対象の人物と一緒に画像に写り込むことがある。監視カメラ１の撮像方向及びズームイン・アウトの設定を調整することで対応することができる他の解決方法を以下説明する。
【００５４】
前記第１の実施形態では、前記ステップＳ１１１での画像変化の開始から前記ステップＳ１１４での画像変化の終了までを検出動画像として検出したが、このままでは監視対象の人物と監視対象以外の人物が写り込む映像の場合には、監視対象の人物がＡＴＭの操作を終了して今まで監視対象以外の人物が次の監視対象の人物となる際の移り変わりを検出することができず、監視対象の人物が変わったにも拘らず同一の検出動画像として検出させる可能性がある。このような状況に対応すべく、前記ステップＳ１１１での画像変化の開始のフレームから、終了のフレームを検出するために顔の正面検出及び／又は開眼状況検出を実行し、顔が正面を向いている場合には顔が正面を向かなくなるまでのフレーム、開眼している場合には開眼しなくなるまでのフレーム、又は、顔が正面を向いて開眼している場合には顔が正面を向かなくなるまで若しくは開眼しなくなるまでのフレームを検出動画像として検出する構成とする。このとき、画像変化の開始のフレームから、正面を向かなくなって所定時間後のフレームまで、若しくは、開眼しなくなって所定時間後のフレームまでを検出動画像とすることもでき、正面を向かなくなっても、開眼しなくなっても暫くは監視対象の人物のフレームとして処理することができる。例えば、図９は、顔が正面を向いている場合に顔が正面を向かなくなるまでのフレームまでを検出動画像とする構成の動作フローチャートを示す。同じステップ番号が付与されているステップは同様な動作をするために説明を省略する。ステップＳ１１２で画像を一時的に蓄積した後、顔の正面検出処理部２２が顔の向きが正面であるか否かを判断し（ステップＳ２０１）、顔の向きが正面を向いていないと判断した場合にはステップＳ１１３に進む。前記ステップＳ２０１で顔の向きが正面を向いていると判断した場合には、顔の正面検出処理部２２は、次のフレームを処理対象とし（ステップＳ２０２）、この処理対象のフレームに写っている人物の顔が正面を向いているか否かを判断する（ステップＳ２０３）。処理対象のフレームで顔が正面を向いていると判断した場合には、シーンチェンジ検出処理部２１が画像を一時的に蓄積し（ステップＳ２０４）、ステップＳ２０２に戻る。前記ステップＳ２０３で処理対象のフレームで顔が正面を向いていないと判断した場合には、ステップＳ１３１に進む。
【００５５】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【図面の簡単な説明】
【００５６】
【図１】本発明の画像記憶の原理説明図である。
【図２】本発明の第１の実施形態に係る監視システムのシステム構成図である。
【図３】本発明の第１の実施形態に係るコンピュータのハードウェア構成図である。
【図４】本発明の第１の実施形態に係る画像サーバのブロック構成図である。
【図５】本発明の第１の実施形態に係る画像サーバの画像抽出の説明図である。
【図６】本発明の第１の実施形態に係る画像サーバの動作フローチャートである。
【図７】本発明の第２の実施形態に係る監視システムのシステム構成図である。
【図８】本発明の第２の実施形態に係る監視システムの画像データの記憶過程の説明図である。
【図９】本発明のその他の実施形態に係る画像サーバの動作フローチャートである。
【符号の説明】
【００５７】
１ 監視カメラ
２ 画像サーバ
３ 画像クライアント
１０ ＣＰＵ
１１ メインメモリ
１２ ＭＢチップセット
１３ ビデオカード
１４ ＨＤＤ
１５ ブリッジ回路
１６ 光学ドライブ
１７ キーボード
１８ マウス
１９ ネットワークインタフェース
２１ シーンチェンジ検出処理部
２２ 顔の正面検出処理部
２３ 開眼状況検出処理部
２４ 正常取引／不正取引判断処理部
２５ 静止画抽出処理部
２６ 動画切出処理部
２７ メタ情報（日時等）付加保存処理部
４ １次データ用画像サーバ
５ ２次データ用画像サーバ
６ ２次データ用画像クライアント
７ ３次データ用画像サーバ
８ ３次データ用画像クライアント
【技術分野】
【０００１】
本発明は、映像データを画像処理して記録する画像処理装置、画像処理システム及び画像処理プログラムに関し、特に、人物が写り込む映像データを動画像又は静止画像で記録する画像処理装置、画像処理システム及び画像処理プログラムに関する。
【背景技術】
【０００２】
ＣＤ(Cash Dispenser)やＡＴＭ(Automated Teller Machine)などの無人端末には、防犯目的で監視カメラが設置され、画像が記録されている。この記録されている画像の記録方式は様々種類があるが、主要なものとしてテープ媒体（ＶＴＲ(Video Tape Recorder)）、デジタルデータ（ＭＰＥＧ４(Moving Picture Experts Group phase 4)、モーションＪＰＥＧ(Motion-Joint Photographic Experts Group)など）がある。
【０００３】
前記デジタルデータとして画像を記録した場合には、画像処理を施すことで利用効率を上げるなど、応用的な活用も考えられる。画像処理の応用例としては、例えば、動き自動検出機能、行列自動カウント機能がある。この動き自動検出機能は、画像中の動く対象を検出すると画質と記録レートを自動的に上げて記録し、アラームを鳴動させる。また、行列自動カウント機能は、行列に並ぶ人の数を自動的にカウントし、混雑状況を把握可能なものである。
また、利用客を特定するイメージ情報を用いて不正使用の防止及び検出を目的とした現金自動取引方法が、特許文献１に開示されている。
【０００４】
この特許文献１の現金自動取引方法は、利用客のイメージ情報を取り込むためのイメージ情報取り込み部を有し、現金自動取引装置と接続されたデータ記憶装置に記憶されるイメージ情報に基づいて前記イメージ情報を識別し、識別の結果、所定の特徴が識別された場合に、通常とは異なる取引を行う構成である。
【特許文献１】特許第２９６０４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、昨今、預金者保護の観点から、偽造カード、盗難カード等を用いた無人端末での不正取引を防止する施策が提案され、預金無人端末での監視カメラで撮像された画像の長期保管も望まれている。
【０００６】
しかしながら、画像は記録方式による差異はあるものの、多くの記憶領域を使用するため、例えば１年以上の長期保管を実現しようとする場合には現在実現されている各種システムでは記憶媒体の量に制約を受けるという課題を有する。
【０００７】
具体的に、ＶＴＲで画像を記録している場合には、保管期間が長期間になるに従ってテープの購入費用が嵩むと共に、その画像を記録したテープの保管場所の確保が困難であり、また、無数にあるテープから該当のテープを探す手間も生じる。
【０００８】
他方、デジタルデータで記録した場合には、ＶＴＲで画像を記録する場合と比べ、記録媒体の保管場所の確保、並びに、該当画像の検索性は改善するものの、大量のデータを記録する装置のコストが莫大となり、また、大量のデータを記録する装置もある程度の設置場所を要するという課題を解決することができない。
【０００９】
ここで、現在記録している品質よりも相当程度劣化させた品質で撮像して記録する方法を容易推考の方法として採り得るかもしれないが、劣化させた画像から肝心の不正取引者が困難となれば本末転倒である。
【００１０】
さらに、前記特許文献１の現金自動取引方法によれば、防犯カメラを手で隠したり、防犯カメラの視野に入らないような位置で取引したり、サングラス等で顔を隠したりして取引する場合には、その取引が不正な取引である可能性があり、精密に撮影したり、取引時間を長引かせるようにしたり、窓口に誘導するようにして、不正の取引をしようとする者に対して抑制作用がある。しかし、この特許文献１の現金自動取引方法によっても、前説した記録した画像の長期保管による課題を解決することはできない。
【００１１】
本発明は前記課題を解決するためになされたものであり、不正使用者を撮像した画像を劣化させることなしに、長期保管する必要性の小さな画像を排除して長期保管での記憶容量を減少させる画像処理装置、画像処理システム及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
図１は本発明の画像記憶の原理説明図である。
図１に示すように、監視カメラで撮影された映像データをもとに、以下の画像処理を施し、必要度に合わせた形式で保存する。
＜１＞シーンチェンジ検出
刻々と記録される映像データから、人物等が現れた箇所の画像の変化を検知し、そのシーンのみを抽出する。例えば、図１（１）に示した例では、背景のみ表示されているフレームから、女性が歩いて監視カメラ側に近づいていくフレームに移行し、さらに、顔が大写しされたフレームにまで移行している。シーンチェンジ時のフレームのみを抽出してもよいし、既定のシーンからのシーンチェンジから再び既定のシーンに戻るシーンチェンジまでのフレーム（その一部）を抽出してもよい。ここで、既定のシーンとは、監視対象となる人物等が写り込んでいないフレームである。
【００１３】
＜２＞顔の向き検出
前記＜1＞で抽出されたシーン（人物が映っているシーン）から顔の向きを自動的に検知する。
・顔が正面を向いているものは、静止画像として記録して保存する。図１（２）上部右側では正面を向いている女性の顔画像を静止画像として記録し、他方、図１（２）上部左側では前記＜１＞により抽出されたフレームであるものの顔の向きを検出することができず記録されない。
・顔の向きが常に正面を向かず例えば下を終始みているもの又は激しく変化しているものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。
【００１４】
＜３＞開眼状況
前記＜２＞で静止画又は動画として記録するとの切り分けは実行せずに、顔の向き検出で顔が正面を向いているとされたシーンから開眼状況を自動的に検知する。
・開眼状況が正常とみられるものは、静止画像として記録して保存する。
・開眼状況が異常（サングラス等）であって認識できなかったものについては、覗き見や不正引出などの可能性があると判断し、操作の一部始終を記録し保存する。
ここで、前記＜２＞顔の向き検出を行うことなく、開眼状況を把握できる場合には静止画像として記録し、他方、開眼状況を認識できない場合には前記＜１＞のシーンチェンジで検出されたフレーム全てからなる動画像を記録する構成にすることもできる。
【００１５】
監視カメラから送られてくる映像データに対して前記＜１＞の処理を行うことで、監視カメラで撮像された全てのフレームが記録されるのではなく、人物が写りこんだフレームのみを記録する。また、同じ人物を撮像した連続したフレームの集合である検出動画像のフレーム毎に前記＜２＞＜３＞の処理を実行し、撮像されている人物の顔が正面を向いているフレームがある場合、撮像されている人物が開眼しているフレームがある場合、又は、撮像されている人物の顔が正面を向き且つその人物が開眼しているフレームがある場合には、検出動画像を記録するのではなく該当フレームを記録する。
また、このように一部抽出されたフレームを読み出して表示する場合においては、記録すべきデータ量を減少させることになるだけでなく、検索対象となるデータ量も小さくなるため検索時のレスポンスも向上する。
【００１６】
（１）顔の正面検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記動画切出処理手段が切出した検出動画像を記録するものである。
【００１７】
このように本発明においては、前記検出動画像を検出する手段により検出動画像を映像データから検出し、前記顔の正面検出処理手段が当該検出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断し、前記検出動画像に顔が正面を向いた人物が写り込んでいる検出フレームがある場合に前記静止画抽出処理手段が検出フレームを抽出静止画像として抽出し、前記検出動画像を記録する代わりに当該抽出静止画像を記録するので、人物が写っていない動画像を含む映像データと比して人物が写っている検出動画像を記録することで相当の記憶容量を節約することができ、さらに、検出動画像の中で写り込んでいる人物の顔が正面を向いている検出フレームを有する検出動画像は抽出静止画像を検出動画像の代わりに記録するため、一層画像記録に必要となる記憶容量を減少させることができるという効果を奏する。
【００１８】
後説する実施形態では、人物が写り込んでいるフレームであって顔が正面を向き、且つ、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に、検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録する例を示したが、顔が正面を向いている人物が写り込んでいる検出フレームを検出動画像が有する場合に開眼の有無に拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよいし、開眼している人物が写り込んでいる検出フレームを検出動画像が有する場合に顔が正面を向いているか否かに拘らず検出動画像の代わりに検出フレームを抽出静止画像として抽出して記録してもよい。
前記検出動画像を検出する手段は、後説する実施形態においてはシーンチェンジ検出処理部に相当する。
【００１９】
（２）顔の正面検出及び開眼検出による動画像の静止画像化
本発明に係る画像処理装置は必要に応じて、前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出するものである。
【００２０】
このように本発明においては、写り込んでいる人物の顔が正面を向いているだけでなく、開眼している検出フレームを検出動画像が有している場合に検出動画像の代わりに抽出静止画像を記録するので、顔が正面を向いているだけでなく開眼しているより望ましい状態で人物が写り込んでいる場合にだけデータ量の少ない静止画像で記録しており、記録した後に詳細に精査を必要とする検出動画像を静止画像として記録するという状況を回避しつつ、仮に静止画像を精査する場合にあってもその静止画像により人物を確実に確認することができるという効果を有する。
【００２１】
（３）開眼検出による動画像の静止画像化
本発明に係る画像処理装置は、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、当該開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、前記開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記動画切出処理手段が切出した検出動画像を記録するものである。
【００２２】
（４）画像への撮像日時の付加
本発明に係る画像処理装置は必要に応じて、前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録するものである。
このように本発明においては、撮像日時を付加して抽出静止画像又は検出動画像を記録しているので、画像処理装置から抽出静止画像又は検出動画像を取得する場合の検索性に優れるという効果を有する。
【００２３】
（５）複数の画像処理装置による構成
本発明に係る画像処理システムは、撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を映像データから切出す動画切出処理手段とを備える第１の画像処理装置と、当該第１の画像処理装置が切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段とを備える第２の画像処理装置とを備え、前記第２の画像処理装置の静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、前記第１の画像処理装置の動画切出処理手段が切出した検出動画像を記録するものである。
【００２４】
これまで本発明を画像処理装置又は画像処理システムとして捉えてきたが、これまでの説示により画像処理方法又は画像処理プログラムとして把握することもできる。
これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【発明の効果】
【００２５】
ＣＤやＡＴＭなどの無人端末を運営する金融機関では、防犯上の記録画像の無駄を大幅に削減でき、保管の効率化を図ることができる。
同時に、保管の長期化も実現でき、預金者の信頼度を向上することができる。
万一、犯罪が起こった場合、金融機関や捜査当局にとって、証拠性の向上や事実関係の解明に役立つものとなる。そして、より迅速な解決が期待できる。
【発明を実施するための最良の形態】
【００２６】
本実施の形態では、主にシステムについて説明するが、所謂当業者であれば明らかな通り、本発明はコンピュータで使用可能なプログラム及び方法としても実施できる。また、本発明は、ハードウェア、ソフトウェア、または、ソフトウェア及びハードウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置または磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００２７】
（本発明の第１の実施形態）
本発明の第１の実施形態に係る画像サーバを用いた監視システムについて図面を用いて説明する。
［１．システム構成］
図２は本実施形態に係る監視システムのシステム構成図である。
本実施形態に係る監視システムは、監視カメラ１、この監視カメラ１から送られる映像データを情報処理して記録する画像サーバ２、並びに、この画像サーバ２で記録されている画像情報を読み出して表示するための画像クライアント３を含む。
【００２８】
監視カメラ１は、例えば、銀行などのＡＴＭ(Automated Teller Machine)毎に設置され、そのＡＴＭを使用する利用者を撮像している。本実施形態に係る画像サーバ２においては、後説するように、利用者の顔の正面や開眼状況を把握するために利用者の顔の正面や眼が写り込んだフレームが得られるように、ＡＴＭを操作している利用者と対向方向に監視カメラ１のレンズを設けることが望ましい。
【００２９】
監視カメラ１が画像サーバ２に映像データを出力するための接続形態は、監視カメラ１が監視カメラ用の信号線（例えば、信号線の種類としては、ＲＣＡ−ＲＣＡケーブル、ＢＮＣ−ＢＮＣケーブル、ＢＮＣ−ＲＣＡケーブル、ＲＣＡ−ＢＮＣケーブルなどがある。ここで、ＲＣＡ、ＢＮＣは例示であり、他の映像インタフェースであってもよい。）で画像サーバ２に直接的に接続するタイプと、監視カメラ１が監視カメラ用の信号線で中継装置（図示しない）に接続し、この中継装置と画像サーバ２が信号線で接続するタイプと、ネットワークを介して画像サーバ２に映像データを送信するために監視カメラ１がＬＡＮ(Local Area Network)などのネットワークに接続するタイプなどがある。図２は監視カメラ１が直接的に接続するタイプと、監視カメラ１がネットワークに接続するタイプを例示している。
画像サーバ２と画像クライアント３は同一のＬＡＮに接続して通信可能となっている。
【００３０】
［１．１ ハードウェア構成］
画像サーバ２は、画像サーバプログラムをインストールしてロード可能となることでコンピュータ上に構築される。画像クライアント３も、同様に、画像クライアントプログラムをインストールしてロード可能となることでコンピュータ上に構築される。
【００３１】
画像サーバ２又は画像クラインと３が構築されているコンピュータは、図３に示すように、ＣＰＵ１０、メインメモリ１１、ＭＢチップセット１２、ビデオカード１３、ＨＤＤ１４、ブリッジ回路１５、光学ドライブ１６、キーボード１７、マウス１８及びネットワークインタフェース１９を含む。この図３のハードウェア構成は一例であり、この例に限定されない。
【００３２】
［１．２ システム構成要素］
図４は本実施形態に係る画像サーバのブロック構成図である。
前記画像サーバ２は、シーンチェンジ検出処理部２１、顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報（日時等）付加保存処理部２７を含む。
【００３３】
前記シーンチェンジ検出処理部２１は、人物が撮像領域に入る際及び人物が撮像領域から出る際の映像であるシーンの変わり目を自動検出する機能を有する。監視カメラ１から送られてくる映像データには、人物が写っている画像と人物が写っていない画像がある。人物が写っていない画像は既定の画像とする。既定の画像は予め設定する他、監視カメラ１から送られてくる画像が所定時間以上略同一である場合に既定の画像とする構成であってもよく、このように構成することで画像内の固定的に写っているもの（壁の色、壁に貼っているポスター）が変化した場合であっても既定の画像の設定を変更することなく対応することができる。
【００３４】
この既定の画像と処理対象の画像の差分情報を求める。その差分情報が所定閾値以上であれば人物がいると判断する。この画像の差分情報を用いて人物の有無の判断する方法の他、複数のフレームを利用して撮像領域において動くオブジェクトがあるか否かを判断することにより人物がいるか否かを判断することができる。なお、画像の差分を求める手法や、動画像内で動くオブジェクトを特定する手法は既に公知、周知、慣用技術であるためここでの説明は省略する。また、前記差分情報を求める領域を画像内の特定領域（それぞれの環境によって異なるが、利用者が写り込む可能性がある領域。利用者が写り込む可能性がある領域のみを対象とすることで利用者が写る可能性がない領域を排除できる。）とすることもできる。
【００３５】
前記顔の正面検出処理部２２は、前記シーンチェンジ検出処理部２１が検出した同じ人物が写っている連続したフレームの集合である検出動画像中のフレームの顔が正面を向いているのか否かを判断する機能を有する。顔の正面検出の手法は、例えば、特開２００４−２３４３６７号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開２０００−９７６７６号公報、特開２００６−３３８３２９号公報、特開２００６−２６８２４８号公報、特開２００６−７２７７０号公報がある）。この開示されている顔の向き検出手法は、顔が撮像された静止画像の垂直方向の画素データを夫々加算し、算出した複数の加算値に基づき顔の向きを検出するものである。この顔の向き検出手法を用いれば画像を入力することで顔の向きを求めることができる。正確には、左右方向の顔の傾き角度求めることができ、この求めた角度と、予め設定されている顔が正面を向いているとされる左右方向の顔の傾き角度範囲内にあるか否かで処理対象の画像内の顔が正面を向いているのか否かを判断することができる。この他、画像内の顔を特定する手法が周知、慣用技術となっており、画像内の顔を特定した後に、顔の正面検出の手法を適用することが望ましい。
【００３６】
前記開眼状況検出処理部２３は、検出動画像中のフレームの顔が開眼しているか否かを判断する機能を有する。開眼状況の検出手法は、例えば、特開２００４−２３４４９４号公報に開示がある（この他にも複数の公報の開示があり、例えば、特開平６−３２１５４号公報、特表２００２−５０９３２０号公報、特開２００５−３１２８６８号公報がある）。この開示されている眼の状態判定手法は、顔が撮像された静止画像中の眼の領域を特定し、特定した眼の領域内の瞼の形状を検出し、検出した瞼の形状に基づき眼の開閉状態を判定するものである。この眼の状態判定手法を用いれば画像又は動画像を入力することで開眼しているか否かを判断することができる。
【００３７】
前記正常取引／不正取引判断処理部２４は、前記顔の正面検出処理部２２での処理結果及び開眼状況検出処理部２３での処理結果に基づいて正常取引か不正取引かを判断する機能を有する。より具体的には、この正常取引／不正取引判断処理部２４は、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている場合に正常取引だと判断し、それ以外の場合には不正取引の可能性があると判断する。それ以外とは、正面を向いていないと判断されている場合、正面を向いているが開眼していない場合である。
【００３８】
前記静止画抽出処理部２５は、前記正常取引／不正取引判断処理部２４で正常取引であると判断された場合に、顔の正面検出処理部２２で正面を向いていると判断され、且つ、開眼状況検出処理部２３で開眼していると判断されている検出フレームを前記検出動画像から抽出静止画像として抽出する。検出動画像を構成するフレームから人物の顔の正面であり、開眼している検出フレームを顔の正面検出処理部２２及び開眼状況検出処理部２３により検出した場合に、検出動画像から検出フレームが一枚検出された時点でその一枚のフレームを抽出静止画像として静止画抽出処理部２５により抽出してもよい。また、検出動画像から全ての検出フレームを検出して全ての検出フレームを抽出静止画像として抽出してもよいし、その複数の検出フレームの中で最も正面を向き（上下傾き角度０［度］、左右傾き角度０［度］）、最も開眼状態のよい（上まぶたと下まぶたで閉じられた領域の面積が最大）検出フレームを抽出静止画像として抽出してもよい。さらに、検出フレームが検出された時点で所定間隔で検出動画像から静止画像を抽出してもよい。さらにまた、検出フレームが検出された時点で検出動画像の中から前フレームとの比較で差分情報が所定閾値以上のフレームを静止画像として抽出してもよい。
【００３９】
前記動画切出処理部２６は、前記正常取引／不正取引判断処理部２４で不正取引であると判断された場合に、検出動画像をそのまま切出す機能を有する。
前記メタ情報付加保存処理部２７は、前記静止画像抽出処理部２５が処理した抽出静止画像又は前記動画切出処理部２６が処理した検出動画像に対してその抽出静止画像、検出動画像の撮像日時等の属性情報を付加して保存する機能を有する。撮像日時は監視カメラ１からの映像データに付与されている場合には、フレーム毎に取得することができる。撮像日時は、例えば、抽出静止画像には抽出静止画像の撮像日時又は抽出静止画像を抽出した検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加し、検出動画像には検出動画像の開始フレーム及び／又は最終フレームの撮像日時を付加する。
【００４０】
図５は本実施形態に係る画像サーバの画像抽出の説明図である。所定期間の映像データがあるとして、この映像データの画像サーバ２での処理は、人物がいるシーンチェンジを検出して検出動画像を処理対象とし（図５（ｂ）参照）、この検出動画像を構成するフレームについて人物の顔が正面を向いているか否かを判断し、さらに、人物の顔が正面を向いているとされたフレームについて人物が開眼しているか否かを判断し、人物の顔が正面を向いており、且つ、人物が開眼している検出フレームがある場合には該当する検出動画像に代えて抽出静止画像とし（図５（ｃ）参照）、そのような検出フレームを有しない検出動画像はそのまま動画像として記録する（図５（ｄ）参照）。
【００４１】
［２．動作］
図６は本実施形態に係る画像サーバの動作フローチャートである。
監視カメラ１は常時撮像領域を撮像し、画像サーバ２に映像データを送信している。
画像サーバ２が監視カメラ１からの映像データを受信して取り込む（ステップＳ１０１）。画像サーバ２のシーンチェンジ検出処理部２１が映像データを構成するフレーム単位に人物が写り込んでいるか否かを判断する（ステップＳ１１１）。処理対象のフレームに人物が写り込んでいない場合には画像サーバ２はアイドル状態とみなして映像を記録することなく廃棄する（ステップＳ１２１）。シーンチェンジ検出処理部２１が処理対象のフレームに人物が写り込んでいる場合にはその人物が写り込んでいるフレームを一時的に蓄積する（ステップＳ１１２）。シーンチェンジ検出処理部２１は、一時的に蓄積したフレームに連続する映像データの次のフレームを処理対象とし（ステップＳ１１３）、この処理対象のフレームに人物が写り込んでいるか否かを判断する（ステップＳ１１４）。一時的に蓄積したフレームに連続するフレームに人物が写り込んでいると判断した場合には、前記ステップＳ１１２に戻る。
【００４２】
前記ステップＳ１１４において蓄積したフレームに連続するフレームに人物が写り込んでいないと判断した場合には、顔の正面検出処理部２２が蓄積したフレームの集合である検出動画像を構成するフレームの中に顔の向きが正面であるフレームがあるか否かを判断する（ステップＳ１３１）。
【００４３】
前記ステップＳ１３１で顔の向きが正面であるフレームを有する検出動画像であると判断した場合には、開眼状況検出処理部２３が顔の向きが正面であると判断されたフレームに写り込んでいる人物が開眼しているか否かを判断する（ステップＳ１４１）。検出フレームがあると判断した場合には正常取引／不正取引判断処理部２４が正常取引とみなして、静止画抽出処理部２５を介して蓄積しているフレームの中から検出フレームを静止画像として抽出する（ステップＳ１５１）。
【００４４】
前記ステップＳ１３１で顔の向きが正面であるフレームがないと判断した場合、又は、前記ステップＳ１４１で開眼しているフレームがないと判断した場合、正常取引／不正取引判断処理部２４が不正取引の可能があるとして動画切出処理部２６を介して検出動画像をそのまま切出す（ステップＳ１６１）。
【００４５】
メタ情報（日時等）付加保存処理部２７が記録したフレームに対して対応する撮像日時などのメタ情報を付加する（ステップＳ１７１）。
続けて、メタ情報（日時等）付加保存処理部２７がメタ情報を付加した前記ステップＳ１５１で抽出した抽出静止画像、又は、メタ情報を付加したステップＳ１６１で切出した検出動画像を記録する（ステップＳ１８１）。
【００４６】
このようにメタ情報を付加して記録された抽出静止画像、検出動画像を画像クライアント３で撮像日時を指定して画像サーバ２から所望の静止画、動画を取得して表示することができる。監視システムの管理者は、定期的又は必要に応じて動作を取得して実際に不正取引がないかを取引ログも参照しながら確認する。例えば、何度も暗証番号を間違えて且つ挙動不審である場合には不正取引を実行しようとしたか、若しくは、実際に実行したかの可能性極めて高い。他の例としては、取引ログから明らかに不正取引がなされていることが判明している場合に、その取引時間を検索キーとして抽出静止画、検出動画像を取得することで不正取引の実行犯を容易に特定することができる。このように従来のように全ての動画像を記録せず使用する記録領域を小さくしつつも、従来と同様に必要に応じて実行犯の特定に使用でき、逆に、抽出静止画、検出動画像のデータ容量が小さいために検索のレスポンスも高く、利便性に富む。
【００４７】
なお、本実施形態においては、検出フレームを有する検出動画像の場合には抽出静止画像を抽出したが、検出フレームを有するとされた検出動画像の全てのフレームを抽出静止画像に置き換えることもできる。このように構成することで、ＭＰＥＧ(Moving Picture Experts Group)のように動きベクトルを考慮して圧縮して記録する映像方式の場合には同じフレームが連続することで大幅に記憶容量を低減することができる。
【００４８】
（本発明の第２の実施形態）
図７は本実施形態に係る監視システムのシステム構成図である。
前記第１の実施形態では、一つの監視カメラ１に接続する画像サーバ２が映像データから正常取引か不正取引かの判断も行い、正常取引の場合には検出動画像内の検出フレームである抽出静止画像で記録し、他方、不正取引の場合には検出動画像で記録する構成を説示した。本実施形態では、図７に示すように、複数の画像サーバ２が連携して最終的に正常取引か不正取引かの判断も行い、抽出静止画像又は検出動画像で記録することを異にする構成である。本実施形態の画像サーバは、映像データをそのまま記録する１次データ用画像サーバ４と、この１次データ用画像サーバ４が記録している動画像を受けて人物が写っている画像のみを記録する２次データ用画像サーバ５（シーンチェンジ検出処理部２１及び動画切出処理部２６の機能を有する）と、この２次データ用画像サーバ５が記録している動画像を受けて正常取引であると判断した場合には抽出静止画で記録し、不正取引であると判断した場合には検出動画像そのままで記録する３次データ用画像サーバ７（顔の正面検出処理部２２、開眼状況検出処理部２３、正常取引／不正取引判断処理部２４、静止画抽出処理部２５、動画切出処理部２６及びメタ情報付加保存処理部２７の機能を有する）とからなる。
【００４９】
前記２次データ用画像サーバ５と同一のＬＡＮに接続する２次データ用画像クライアント６は、この２次データ用画像サーバ５から画像を検索、取得して表示する機能を有する。
前記３次データ用画像サーバ７と同一のＬＡＮに接続する３次データ用画像クライアント８は、この３次データ用画像サーバ７から静止画、動画像を検索、取得して表示する機能を有する。
【００５０】
図８は本実施形態に係る監視システムの画像データの記憶過程の説明図である。
例えば、監視カメラ１からの映像データを受けて１次データ用画像サーバ４が所定期間（例えば、１日）の動画像を記録した後に、２次データ用画像サーバ５にその所定期間の画像を一括処理で送信する。このとき、送信した所定期間の動画像は１次データ用画像サーバ４が第１の指定期間だけ記録し、この記録から第１の指定期間経過後に削除する。
２次データ用画像サーバ５が前記所定期間の動画像を検出動画像にして記録した後に、３次データ用画像サーバ７に送信する。このとき、検出動画像は２次データ用画像サーバ５が第２の指定期間だけ記録し、この記録から第２の指定期間経過後に削除する。
【００５１】
３次データ用画像サーバ７が同じ人物が写り込んでいる連続するフレームからなる検出動画像毎に正常取引か不正取引かを判断し、正常取引であればその検出動画像から抽出静止画像を抽出して記録し、不正取引であれば検出動画像のまま記録する。このとき、抽出静止画像と検出動画像からなる動画像を３次データ用画像サーバ７が第３の指定期間だけ記録し、この記録から第３の指定期間経過後に削除する。
【００５２】
第１の指定期間、第２の指定期間、第３の指定期間の順で期間は長くなる。特に、図７で例示した銀行本店に配設された３次データ用画像サーバ７においては第３の指定期間が特に長く、従来であれば銀行本店であっても銀行支点と同様に監視カメラ１から送信されてきた画像そのまま記録しており大きなデータ容量を必要としていたが、大幅に必要となる記憶容量を減少させることができる。
【００５３】
（その他の実施形態）
［複数の人物が写り込んでいる映像］
監視カメラ１の撮像方向及びズームイン・アウトによっては監視対象以外の人物も監視対象の人物と一緒に画像に写り込むことがある。監視カメラ１の撮像方向及びズームイン・アウトの設定を調整することで対応することができる他の解決方法を以下説明する。
【００５４】
前記第１の実施形態では、前記ステップＳ１１１での画像変化の開始から前記ステップＳ１１４での画像変化の終了までを検出動画像として検出したが、このままでは監視対象の人物と監視対象以外の人物が写り込む映像の場合には、監視対象の人物がＡＴＭの操作を終了して今まで監視対象以外の人物が次の監視対象の人物となる際の移り変わりを検出することができず、監視対象の人物が変わったにも拘らず同一の検出動画像として検出させる可能性がある。このような状況に対応すべく、前記ステップＳ１１１での画像変化の開始のフレームから、終了のフレームを検出するために顔の正面検出及び／又は開眼状況検出を実行し、顔が正面を向いている場合には顔が正面を向かなくなるまでのフレーム、開眼している場合には開眼しなくなるまでのフレーム、又は、顔が正面を向いて開眼している場合には顔が正面を向かなくなるまで若しくは開眼しなくなるまでのフレームを検出動画像として検出する構成とする。このとき、画像変化の開始のフレームから、正面を向かなくなって所定時間後のフレームまで、若しくは、開眼しなくなって所定時間後のフレームまでを検出動画像とすることもでき、正面を向かなくなっても、開眼しなくなっても暫くは監視対象の人物のフレームとして処理することができる。例えば、図９は、顔が正面を向いている場合に顔が正面を向かなくなるまでのフレームまでを検出動画像とする構成の動作フローチャートを示す。同じステップ番号が付与されているステップは同様な動作をするために説明を省略する。ステップＳ１１２で画像を一時的に蓄積した後、顔の正面検出処理部２２が顔の向きが正面であるか否かを判断し（ステップＳ２０１）、顔の向きが正面を向いていないと判断した場合にはステップＳ１１３に進む。前記ステップＳ２０１で顔の向きが正面を向いていると判断した場合には、顔の正面検出処理部２２は、次のフレームを処理対象とし（ステップＳ２０２）、この処理対象のフレームに写っている人物の顔が正面を向いているか否かを判断する（ステップＳ２０３）。処理対象のフレームで顔が正面を向いていると判断した場合には、シーンチェンジ検出処理部２１が画像を一時的に蓄積し（ステップＳ２０４）、ステップＳ２０２に戻る。前記ステップＳ２０３で処理対象のフレームで顔が正面を向いていないと判断した場合には、ステップＳ１３１に進む。
【００５５】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【図面の簡単な説明】
【００５６】
【図１】本発明の画像記憶の原理説明図である。
【図２】本発明の第１の実施形態に係る監視システムのシステム構成図である。
【図３】本発明の第１の実施形態に係るコンピュータのハードウェア構成図である。
【図４】本発明の第１の実施形態に係る画像サーバのブロック構成図である。
【図５】本発明の第１の実施形態に係る画像サーバの画像抽出の説明図である。
【図６】本発明の第１の実施形態に係る画像サーバの動作フローチャートである。
【図７】本発明の第２の実施形態に係る監視システムのシステム構成図である。
【図８】本発明の第２の実施形態に係る監視システムの画像データの記憶過程の説明図である。
【図９】本発明のその他の実施形態に係る画像サーバの動作フローチャートである。
【符号の説明】
【００５７】
１ 監視カメラ
２ 画像サーバ
３ 画像クライアント
１０ ＣＰＵ
１１ メインメモリ
１２ ＭＢチップセット
１３ ビデオカード
１４ ＨＤＤ
１５ ブリッジ回路
１６ 光学ドライブ
１７ キーボード
１８ マウス
１９ ネットワークインタフェース
２１ シーンチェンジ検出処理部
２２ 顔の正面検出処理部
２３ 開眼状況検出処理部
２４ 正常取引／不正取引判断処理部
２５ 静止画抽出処理部
２６ 動画切出処理部
２７ メタ情報（日時等）付加保存処理部
４ １次データ用画像サーバ
５ ２次データ用画像サーバ
６ ２次データ用画像クライアント
７ ３次データ用画像サーバ
８ ３次データ用画像クライアント
【特許請求の範囲】
【請求項１】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、
当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理装置。
【請求項２】
前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、
当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出する
前記請求項１に記載の画像処理装置。
【請求項３】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、
当該開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理装置。
【請求項４】
前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、
前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録する
前記請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を映像データから切出す動画切出処理手段とを備える第１の画像処理装置と、
当該第１の画像処理装置が切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段とを備える第２の画像処理装置とを備え、
前記第２の画像処理装置の静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記第１の画像処理装置の動画切出処理手段が切出した検出動画像を記録する画像処理システム。
【請求項６】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、
前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、
当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記開眼状況検出処理手段により検出動画像が開眼している検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段としてコンピュータを動作させるための画像処理プログラムであって、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理プログラム。
【請求項１】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、
当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理装置。
【請求項２】
前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段とを備え、
当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、前記静止画抽出処理手段が当該検出フレームを抽出静止画像として抽出する
前記請求項１に記載の画像処理装置。
【請求項３】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、
当該開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記開眼状況検出処理手段により検出動画像が開眼している人物が写り込んでいる検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段とを備え、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理装置。
【請求項４】
前記静止画抽出処理手段が抽出した抽出静止画像に撮像日時を付加して記録し、
前記動画切出処理手段が切出した検出動画像に撮像日時を付加して記録する
前記請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいる検出動画像を検出する手段と、当該検出した検出動画像を映像データから切出す動画切出処理手段とを備える第１の画像処理装置と、
当該第１の画像処理装置が切出した検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、当該顔の正面検出処理手段により検出動画像が顔の正面が写り込んでいる検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段とを備える第２の画像処理装置とを備え、
前記第２の画像処理装置の静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記第１の画像処理装置の動画切出処理手段が切出した検出動画像を記録する画像処理システム。
【請求項６】
撮像領域に不定期に人物が写り込む映像データから同一人物が連続して写り込んでいるフレームからなる検出動画像を検出する手段と、
当該検出された検出動画像を構成するフレームに写り込んでいる人物の顔が正面を向いているか否かを判断する顔の正面検出処理手段と、
前記顔の正面検出処理手段により顔の正面が写り込んでいるとされたフレームの人物が開眼しているか否かを判断する開眼状況検出処理手段と、
当該開眼状況検出処理手段により検出動画像が開眼している検出フレームを有すると判断された場合に、当該検出フレームを抽出静止画像として抽出する静止画抽出処理手段と、
前記開眼状況検出処理手段により検出動画像が開眼している検出フレームを有しないと判断された場合に、前記検出した検出動画像を映像データから切出す動画切出処理手段としてコンピュータを動作させるための画像処理プログラムであって、
前記静止画抽出処理手段が検出動画像の代わりに抽出した抽出静止画像を記録し、
前記動画切出処理手段が切出した検出動画像を記録する画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２３６３４５（Ｐ２００８−２３６３４５Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７２７３０（Ｐ２００７−７２７３０）
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２０日（２００７．３．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]