監視記録装置
【課題】 画像から目的の人物を容易に検索することができる監視記録装置を提供する。
【解決手段】 監視記録装置は、入力された画像から顔画像を検出する顔画像検出部２と、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する人物認証部３と、識別子を付与された顔画像および顔画像の情報を記憶する検出結果記憶部４と、検出結果記憶部に記憶された顔画像を検索する検出結果検索部５とを備える。
【解決手段】 監視記録装置は、入力された画像から顔画像を検出する顔画像検出部２と、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する人物認証部３と、識別子を付与された顔画像および顔画像の情報を記憶する検出結果記憶部４と、検出結果記憶部に記憶された顔画像を検索する検出結果検索部５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の行動を監視する監視記録装置に関するものである。
【背景技術】
【０００２】
銀行などの設備において出入りする人物の監視を行う監視記録装置では、長時間の画像を記録するため、記録するデータ量を減らす必要がある。そのため、カメラから入力された画像を一定のフレーム間隔で間引いて記録したり、画質のレベルを下げたりしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−０４６９１１号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の監視記録装置では、入力された画像から一端、人物の顔などの画像を検出すると、その後の画像を同一人物のものとして記録し、この画像を用いて目的の人物の検索などを行う。
【０００５】
しかしながら、このような監視記録装置では、一つのフレームの画像に複数の人物が検出された場合には、異なる人物を同一人物として記録してしまう。また、検出された人物が一定期間画像の外に出た後、再度画像内に入った場合には、同一人物を異なる人物として記録してしまう。そのため、過去に記録した画像から目的の人物を容易に検索することができないという問題点があった。
【０００６】
この発明は、上述のような問題を解決するためになされたものであり、画像から目的の人物を容易に検索することができる監視記録装置を得るものである。
【課題を解決するための手段】
【０００７】
この発明に係る監視記録装置は、入力された画像から顔画像を検出する顔画像検出部と、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された顔画像および顔画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された顔画像を検索する検出結果検索部とを備えたものである。
【０００８】
また、この発明に係る監視記録装置は、入力された画像から人物画像を検出する人物画像検出部と、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された人物画像および前記人物画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された人物画像を検索する検出結果検索部とを備えたものである。
【０００９】
さらに、この発明に係る監視記録装置は、入力された画像から人物画像を検出する人物画像検出部と、検出された人物画像から顔画像を検出する顔画像検出部と、異なるフレーム間の顔画像または人物画像が同一人物のものであるかを判断し、顔画像または人物画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された顔画像、顔画像の情報または識別子を付与された人物画像、人物画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された顔画像または人物画像を検索する検出結果検索部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、画像から目的の人物を容易に検索することができる監視記録装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１における監視記録装置の構成を示すブロック図である。図２は、実施の形態１の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を示すフローチャートである。以下に、実施の形態１の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００１２】
監視対象エリアを撮影するカメラ１から出力された画像は、顔画像検出部２に入力される（Ｓ１）。顔画像検出部２は、入力された画像の中から人物の顔の部分の画像（以下「顔画像」という。）を検出する（Ｓ２）。
【００１３】
ここで、人物の顔における特徴の一例を示す。図３は、人物の顔の白黒画像である。図４は、図３の人物の顔の白黒画像にぼかし処理を施したものである。図３に示すように、人物の顔の白黒画像にぼかし処理を施すと、目に相当する部分は、顔の他の部分よりも黒い横長の楕円状となり、この楕円状の部分の長手方向に二つ並んでいる。目に相当する２つの部分の中心下部には、口に相当する部分が、目に相当する部分とほぼ同じ黒色で、横長の楕円状となり、目に相当する部分と平行に存在する。以下に、顔画像検出部２が、入力された画像の中から人物の顔画像を検出する顔画像検出方法の一例を示す。この他にも画像から顔画像を検出する方法は種々あり、他の手法を用いて顔画像を検出しても良い。
【００１４】
顔画像検出部２は、入力された画像を白黒にし、ぼかし処理を施す。ぼかし処理を施した画像が以下の三つの条件を満たしているかどうか判断する。
【００１５】
条件１：他の部分より黒い横長の楕円状の部分が二つ、楕円状の部分の長手方向に並んでいる。
条件２：上記二つ並んだ楕円状の部分の中心下部に、これらと平行（略平行を含む）に他の部分より黒いもう一つの楕円状の部分が存在する。
条件３：上記三つの黒い楕円状の部分の周辺は、ほぼ同じ薄い灰色である。
【００１６】
条件１から条件３の三つの条件を満たしている場合には、入力された画像の中に人物の顔画像が存在すると認定し、目と口に相当する三つの黒い楕円状の部分から所定範囲の領域の画像を顔画像として検出する。条件１から条件３のうち一つでも条件を満たさない場合には、入力された画像の中に人物の顔画像が存在しないと認定し、一連の処理を終了する。
【００１７】
人物の顔画像が検出された場合には、顔画像検出部２は、顔画像およびその顔画像の情報を人物認証部３に出力する（Ｓ３）。顔画像の情報は、顔画像の領域、大きさ、明るさ、顔の向きなどの画像の情報および顔画像の位置など人物の認証に必要な情報を含む。人物認証部３は、顔画像およびその顔画像の情報に基づいて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し、入力された顔画像に人物ごとの識別子を付与する。
【００１８】
人物認証部３は、入力された顔画像の位置とこの顔画像の前のフレームに記録された顔画像の位置とから計算されるフレーム間での顔画像の移動量を用いて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する（Ｓ４）。フレーム間での顔画像の移動量が予め設定されている閾値以内である場合には、入力された顔画像と前のフレームに記録された顔画像とが同一人物のものであると判断し、フレーム間での顔画像の移動量が閾値を超えている場合には、入力された顔画像と前のフレームに記録された顔画像とが同一人物のものでないと判断する。なお、フレーム間における顔画像の移動量の閾値は、フレーム間における撮影時間の間隔に依存して設定される。
【００１９】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像に前のフレームに記録された顔画像と同じ識別子を顔画像の情報として付与する（Ｓ５）。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像に新しい識別子を顔画像の情報として付与する（Ｓ６）。
【００２０】
人物認証部３は、入力された顔画像に識別子を付与すると、顔画像およびその識別子を含む顔画像の情報を検出結果記憶部４に出力する（Ｓ７）。検出結果記憶部４は、人物認証部３から入力された顔画像および識別子を含む顔画像の情報を記憶し、一連の処理を終了する（Ｓ８）。
【００２１】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像は、検出結果検索部５によって検索される。
【００２２】
検出結果検索部５を用いて顔画像および顔画像の情報を検索する場合には、顔画像に顔画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の顔画像を一括して検索することができる。また、異なるフレームに記録された同一人物の顔画像の中から、各人物を代表する顔画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００２３】
また、人物認証部３は、顔画像を用いて、入力された顔画像の人物とこの顔画像の前のフレームに記録された顔画像の人物とが同一人物であるかを判断しているので、入力された画像の人物が前のフレームの画像に記録された他の人物と比較して、似た体格をしている場合または特徴的な衣服を着用していない場合であっても、入力された画像の人物と前のフレームに記録された他の人物とを区別することができる。したがって、監視対象エリアを通過する人物が全員同じ制服を着用している場合であっても、入力された画像の人物と前のフレームに記録された他の人物とを区別することができる。そのため、入力された画像から目的の人物を容易に検索することが可能となる。
【００２４】
この実施の形態１では、カメラ１から出力された画像が顔画像検出部２に入力されるとしたが、顔画像検出部２に入力される画像は、監視対象エリアを撮影するカメラ１から直接出力されるものでなくてもよく、一端、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの記録媒体に記録したものでもよい。この場合、ＤＶＤなどの記録媒体に記録した画像を顔画像検出部２に出力する装置は、監視記録装置自身に備えられていてもよいし、監視記録装置の外部に備えられていてもよい。
【００２５】
この実施の形態１では、人物認証部３は、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与するとした。これは、入力された顔画像とこの顔画像の直前のフレームに記録された顔画像とが同一人物のものであるかを判断する場合だけでなく、入力された画像と２つ以上前のフレームに記録された顔画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する。
【００２６】
また、この実施の形態１では、人物認証部３が異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間での顔画像の移動量を用いた。人物認証部３は、異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間での顔画像の移動方向を用いてもよい。フレーム間での顔画像の移動方向が所定方向内である場合には、異なるフレーム間の顔画像を同一人物のものであると判断し、フレーム間での顔画像の移動方向が所定方向外である場合には、異なるフレーム間の顔画像を同一人物のものでないと判断する。
【００２７】
さらに、人物認証部３は、異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間の顔画像の類似度を用いてもよい。人物認証部３は、異なるフレーム間の顔画像にパターンマッチング処理を施し、両者の類似度を求める。類似度が所定値以上である場合には、異なるフレーム間の顔画像が同一人物のものであると判断し、類似度が所定値未満である場合には、異なるフレーム間の顔画像が同一人物のものでないと判断する。
【００２８】
さらに、人物認証部３は、フレーム間での顔画像の移動量、移動方向および類似度などの人物の認証に必要な因子を２つ以上組み合わせて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断してもよい。フレーム間での顔画像の移動量、移動方向および類似度などの人物の認証に必要な因子を組み合わせて判断するので、異なるフレーム間の顔画像が同一人物のものであるかを高精度に判断することができる。
【００２９】
実施の形態２．
図５は、この発明の実施の形態２における監視記録装置の構成を示すブロック図である。図中、実施の形態１と同一の構成には、同一の符号を付している。実施の形態１に示した監視記録装置は、入力された画像から顔画像を検出し、異なるフレーム間の顔画像が同一人物のものであるかを判断し、人物ごとの識別子を付与する。この実施の形態２に示す監視記録装置では、入力された画像から人物画像を検出し、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物ごとの識別子を付与する点が、実施の形態１に示した監視記録装置と異なっている。
【００３０】
図６は、実施の形態２の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を示すフローチャートである。以下に、実施の形態２の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００３１】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される（Ｓ１１）。人物画像検出部６は、入力された画像の中から人物の画像（以下「人物画像」という。）を検出する（Ｓ１２）。以下に、人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法の一例を示す。これ以外にも画像から人物画像を検出する手法は種々あり、他の手法を用いて人物画像を検出しても良い。
【００３２】
図７に人物画像を示す。図７に示すように、人物画像には、人物の頭に相当する楕円状の部分１０１が存在し、この楕円状の部分１０１の下に連なって、体に相当する長方形状の部分１０２が存在する。そこで、人物画像検出部６は、入力された画像が以下の三つの条件を満たしているかどうか判断する。
【００３３】
条件１：縦長の楕円状の部分が存在する。
条件２：上記楕円状の部分の下に、上記楕円状の部分よりも大きい長方形状の部分が存在する。
条件３：上記楕円状の部分と長方形状の部分とは、連なっている。
【００３４】
条件１から条件３の三つの条件を満たしている場合には、入力された画像の中に人物画像が存在すると認定し、楕円状の部分と長方形状の部分とを人物画像として検出する。条件１から条件３のうち一つでも条件を満たさない場合には、入力された画像の中に人物画像が存在しないと認定し、一連の処理を終了する。
【００３５】
人物画像が検出された場合には、人物画像検出部６は、人物画像およびその人物画像の情報を人物認証部３に出力する（Ｓ１３）。人物画像の情報は、人物画像の領域、大きさ、明るさ、人物の向きなどの画像の情報および人物画像の位置など人物の認証に必要な情報を含む。人物認証部３は、人物画像およびその人物画像の情報に基づいて、入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し（Ｓ１４）、入力された人物画像に人物ごとの識別子を付与する。
【００３６】
人物認証部３が入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法としては、実施の形態１に示した顔画像の場合と同様のものを用いればよい。
【００３７】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する（Ｓ１５）。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像情報として付与する（Ｓ１６）。
【００３８】
人物認証部３は、実施の形態１と同様に、入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する。これは、入力された人物画像とこの人物画像の直前のフレームに記録された人物画像とが同一人物のものであるかを判断する場合だけでなく、入力された人物画像と２つ以上前のフレームに記録された人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物画像に人物ごとの識別子を付与する。
【００３９】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像およびその識別子を含む人物画像の情報を検出結果記憶部４に出力する（Ｓ１７）。検出結果記憶部４は、人物認証部３から入力された人物画像および識別子を含む人物画像の情報を記憶し、一連の処理を終了する（Ｓ１８）。
【００４０】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された人物画像は、検出結果検索部５によって検索される。
【００４１】
検出結果検索部５を用いて人物画像および人物画像の情報を検索する場合には、人物画像に人物画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の人物画像を一括して検索することができる。また、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００４２】
また、人物認証部３は、人物画像を用いて、異なるフレーム間の人物画像が同一人物のものであるかを判断しているので、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも異なるフレームに記録された同一人物の人物画像を一括して検索することができ、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、人物が後ろ向きまたは下向きである場合など、入力された画像から顔画像を検出できない際にも、入力された画像から目的の人物を容易に検索することが可能となる。
【００４３】
実施の形態３．
図８は、この発明の実施の形態３における監視記録装置の構成を示すブロック図である。図中、実施の形態１および実施の形態２と同一の構成には、同一の符号を付している。実施の形態１または実施の形態２に示した監視記録装置は、顔画像検出部２または人物画像検出部６のいずれか一方を備え、入力された画像から顔画像または人物画像を検出する。一方、実施の形態３に示す監視記録装置は、顔画像検出部２および人物画像検出部６の両方を備え、人物画像検出部６が検出した人物画像から顔画像を検出する点が、実施の形態１または実施の形態２に示した監視記録装置と異なっている。
【００４４】
図９は、実施の形態３の監視記録装置が行う画像が入力されてから記憶されるまでの一連の処理を示すフローチャートである。以下に、実施の形態３の監視記録装置が行う画像が入力されてから記憶されるまでの一連の処理を説明する。
【００４５】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される（Ｓ２１）。人物画像検出部６は、入力された画像の中から人物画像を検出する（Ｓ２２）。人物画像検出部６が人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を顔画像検出部２に出力する（Ｓ２３）。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００４６】
顔画像検出部２は、人物画像検出部６から人物画像が入力されると、この人物画像を処理し、人物画像の中から顔画像を検出する（Ｓ２４）。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報を人物認証部３に出力する（Ｓ２５）。人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する（Ｓ２６）。
【００４７】
人物認証部３は、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し（Ｓ２７）、入力された顔画像および人物画像に人物ごとの識別子を付与する。顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００４８】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する（Ｓ２８）。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する（Ｓ２９）。
【００４９】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、識別子を付与した顔画像および人物画像、顔画像の情報ならびに人物画像の情報を検出結果記憶部４に出力する（Ｓ３０）。検出結果記憶部４は、人物認証部３から入力された顔画像および人物画像、顔画像の情報ならびに人物画像の情報を記憶し、一連の処理を終了する（Ｓ３１）。
【００５０】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し（Ｓ３２）、入力された人物画像に人物ごとの識別子を付与する。人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００５１】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する（Ｓ３３）。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像の情報として付与する（Ｓ３４）。
【００５２】
人物認証部３は、実施の形態１と同様に、入力された顔画像または人物画像とこの前のフレームに記録された顔画像または人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与するとした。これは、入力された顔画像または人物画像とこの直前のフレームに記録された顔画像または人物画像とが同一人物のものであるかどうかを判断する場合だけでなく、２つ以上前のフレームに記録された顔画像または人物画像とが同一人物のものであるかどうかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の２つの顔画像または人物画像が同一人物のものであるかを判断し、顔画像または人物画像に人物ごとの識別子を付与する。
【００５３】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像および人物画像の情報を検出結果記憶部４に出力する（Ｓ３５）。検出結果記憶部４は、人物認証部３から入力された人物画像および人物画像の情報を記憶し、一連の処理を終了する（Ｓ３６）。
【００５４】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像または人物画像は、検出結果検索部５を用いて検索される。
【００５５】
検出結果検索部５を用いて、顔画像、顔画像の情報または人物画像、人物画像の情報を検索する場合には、顔画像または人物画像に顔画像の情報または人物画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の顔画像または人物画像を一括して検索することができる。また、異なるフレームに記録された同一人物の顔画像または人物画像の中から、各人物を代表する顔画像または人物画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００５６】
また、人物認証部３は、人物画像の中から顔画像を検出するので、画像全体の中から顔画像を検出する場合に比べて、顔画像の検出時間を短縮することができる。
【００５７】
また、人物認証部３は、人物画像の中から顔画像が検出されない場合には、人物画像を用いて、異なるフレーム間の人物画像が同一人物のものであるかを判断している。そのため、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも、異なるフレームに記録された同一人物の人物画像を一括して検索することができ、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも、入力された画像から目的の人物を容易に検索することが可能となる。
【００５８】
この実施の形態３では、人物画像の中から顔画像が検出された場合には、顔画像およびその顔画像の情報に基づいて顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断するとした。しかしながら、顔画像、顔画像の情報、人物画像および人物画像の情報に基づいて、顔画像および人物画像と前のフレームに記録された顔画像および人物画像とが同一人物のものであるかを判断してもよい。これによって、顔画像および顔画像の情報のみを用いて判断する場合または人物画像および人物画像の情報のみを用いて判断する場合よりも、異なるフレーム間の顔画像および人物画像が同一人物のものであるかを精度よく判断することができる。
【００５９】
実施の形態４．
図１０は、この発明の実施の形態４における監視記録装置の構成を示すブロック図である。人物画像検出部６に、人物画像が人物の特徴を表示する度合いを計算する人物特徴表示度計算部７が電気的に接続されており、顔画像検出部２に、顔画像が人物の顔の特徴を表示する度合いを計算する顔特徴表示度計算部８が電気的に接続されている。この発明の実施の形態４に示す監視記録装置は、この人物特徴表示度計算部７と顔特徴表示度計算部８とが設置されている点が、実施の形態３に示す監視記録装置とは異なっている。その他の構成は、実施の形態３に示す監視記録装置と同様である。以下に、実施の形態４の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００６０】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される。人物画像検出部６は、入力された画像の中から人物画像を検出する。人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を人物特徴表示度計算部７に出力する。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００６１】
人物画像およびその人物画像の情報を入力された人物特徴表示度計算部７は、人物画像が人物の特徴を表示する度合いを示す人物画像のベストショットスコアを計算する。人物画像のベストショットスコアは、人物画像の大きさ、明るさ、人物の向きなどの人物画像の情報から計算される。人物特徴表示度計算部７は、計算したベストショットスコアを人物画像の情報として人物画像検出部６に出力する。人物画像検出部６は、ベストショットスコアが入力されると、人物画像および人物画像のベストショットスコアを含む人物画像の情報を顔画像検出部２に出力する。
【００６２】
顔画像検出部２は、人物画像検出部６から人物画像および人物画像の情報が入力されると、人物画像の中から顔画像を検出する。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、顔画像およびその顔画像の情報を顔特徴表示度計算部８に出力する。
【００６３】
顔画像および顔画像の情報が入力されると、顔特徴表示度計算部８は、顔画像検出部２から顔画像が顔の特徴を表示する度合いを示す顔画像のベストショットスコアを計算する。顔画像のベストショットスコアは、顔画像の大きさ、明るさ、顔の向きなどの顔画像の情報から計算される。顔特徴表示度計算部８は、計算したベストショットスコアを顔画像の情報として顔画像検出部２に出力する。顔画像検出部２は、ベストショットスコアが入力されると、人物画像、人物画像のベストショットスコアを含む人物画像の情報、顔画像、顔画像のベストショットスコアを含む顔画像の情報を人物認証部３に出力する。
【００６４】
一方、顔画像検出部２は、人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する。
【００６５】
人物認証部３は、人物画像、その人物画像の情報、その人物画像の顔画像およびその顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する。顔画像およびその顔画像の情報に基づいて顔画像と前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００６６】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する。
【００６７】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、識別子を付与した顔画像および人物画像、顔画像の情報ならびに人物画像の情報を検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力されたこれら顔画像および人物画像、顔画像の情報ならびに人物画像の情報を記憶し、一連の処理を終了する。
【００６８】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する。人物画像およびその人物画像の情報に基づいて、人物画像と前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００６９】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像情報として付与する。
【００７０】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像および人物画像の情報を検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された人物画像および人物画像の情報を記憶し、一連の処理を終了する。
【００７１】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像または人物画像は、検出結果検索部５によって検索される。
【００７２】
顔画像または人物画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の顔の特徴を最もよく表す顔画像または人物の特徴を最もよく表す人物画像を用いて、顔画像または人物画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７３】
この実施の形態４では、実施の形態３に示す監視記録装置に人物特徴表示度計算部７および顔特徴表示度計算部８を設けたが、実施の形態１に示す監視記録装置に顔特徴表示度計算部８を設けてもよい。実施の形態１に示す監視記録装置に顔特徴表示度計算部８を設けると、顔画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の顔の特徴を最もよく表す顔画像を用いて、顔画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７４】
同様に、実施の形態２に示す監視記録装置に人物特徴表示度計算部７を設けてもよい。実施の形態２に示す監視記録装置に人物特徴表示度計算部７を設けると、人物画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の特徴を最もよく表す人物画像を用いて、人物画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７５】
実施の形態５．
図１１は、この発明の実施の形態５における監視記録装置の構成を示すブロック図である。この発明の実施の形態５に示す監視記録装置は、カメラ１からの画像を記憶する画像記憶部９が設置されている点が、実施の形態３に示す監視記録装置とは異なっている。その他の構成は、実施の形態３に示す監視記録装置と同様である。以下に、実施の形態５の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００７６】
カメラ１が撮影した画像は、人物画像検出部６および画像記憶部９の両方に出力される。画像記憶部９は、カメラ１から入力された画像を記憶する。一方、人物画像検出部６は、入力された画像の中から人物画像を検出する。人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を顔画像検出部２に出力する。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００７７】
顔画像検出部２は、人物画像検出部６から人物画像が入力されると、この人物画像の中から顔画像を検出する。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報を人物認証部３に出力する。人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する。
【００７８】
人物認証部３は、人物画像、その人物画像の情報、その人物画像の顔画像およびその顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する。顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００７９】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する。
【００８０】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、顔画像の情報ならびに人物画像の情報のみを検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された顔画像の情報および人物画像の情報のみを記憶し、一連の処理を終了する。
【００８１】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する。人物画像およびその人物画像の情報に基づいて人物画像と前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００８２】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像の情報として付与する。
【００８３】
人物認証部３は、入力された人物画像に識別子を付与すると、人物画像の情報のみを検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された人物画像の情報のみを記憶し、一連の処理を終了する。
【００８４】
検出結果検索部５は、検出結果記憶部４および画像記憶部９のそれぞれと電気的に接続されている。画像記憶部９に記憶された顔画像または人物画像は、検出結果記憶部４に記憶された顔画像の情報または人物画像の情報を用いて検出結果検索部５によって検索される。
【００８５】
この実施の形態５では、画像記憶部９を設けているので、カメラ１が撮影した画像全体を画像記憶部９に記憶しておくことができる。また、検出結果記憶部４には、画像内での顔画像の位置などの顔画像の情報または画像内での人物画像の位置などの人物画像の情報のみを記憶し、顔画像および人物画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【００８６】
この実施の形態５では、実施の形態３に示す監視記録装置に画像記憶部９を設けたが、実施の形態１に示す監視記録装置に画像記憶部９を設けてもよい。実施の形態１に示す監視記録装置に画像記憶部９を設けると、検出結果記憶部４には、画像内での顔画像の位置などの顔画像の情報のみを記憶し、顔画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【００８７】
同様に、実施の形態２に示す監視記録装置に画像記憶部９を設けてもよい。実施の形態２に示す監視記録装置に画像記憶部９を設けると、検出結果記憶部４には、画像内での人物画像の位置などの人物画像の情報のみを記憶し、人物画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【図面の簡単な説明】
【００８８】
【図１】この発明の実施の形態１による監視記録装置の構成を示すブロック図である。
【図２】実施の形態１の監視記録装置が行う処理を示すフローチャートである。
【図３】人物の顔の白黒画像である。
【図４】図３の人物の顔の白黒画像にぼかし処理を施したものである。
【図５】この発明の実施の形態２における監視記録装置の構成を示すブロック図である。
【図６】実施の形態２の監視記録装置が行う処理を示すフローチャートである。
【図７】人物画像を含む画像を示す図である。
【図８】この発明の実施の形態３おける監視記録装置の構成を示すブロック図である。
【図９】実施の形態３の監視記録装置が行う処理を示すフローチャートである。
【図１０】この発明の実施の形態４おける監視記録装置の構成を示すブロック図である。
【図１１】この発明の実施の形態５おける監視記録装置の構成を示すブロック図である。
【符号の説明】
【００８９】
１ カメラ、 ２ 顔画像検出部、 ３ 人物認証部、 ４ 検出結果記憶部、 ５ 検出結果検索部、 ６ 人物画像検出部、 ７ 人物特徴表示度計算部、 ８ 顔特徴表示度計算部、 ９ 画像記憶部、 １０１ 楕円状の部分、 １０２ 長方形状の部分。
【技術分野】
【０００１】
本発明は、人物の行動を監視する監視記録装置に関するものである。
【背景技術】
【０００２】
銀行などの設備において出入りする人物の監視を行う監視記録装置では、長時間の画像を記録するため、記録するデータ量を減らす必要がある。そのため、カメラから入力された画像を一定のフレーム間隔で間引いて記録したり、画質のレベルを下げたりしている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−０４６９１１号公報（第３頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の監視記録装置では、入力された画像から一端、人物の顔などの画像を検出すると、その後の画像を同一人物のものとして記録し、この画像を用いて目的の人物の検索などを行う。
【０００５】
しかしながら、このような監視記録装置では、一つのフレームの画像に複数の人物が検出された場合には、異なる人物を同一人物として記録してしまう。また、検出された人物が一定期間画像の外に出た後、再度画像内に入った場合には、同一人物を異なる人物として記録してしまう。そのため、過去に記録した画像から目的の人物を容易に検索することができないという問題点があった。
【０００６】
この発明は、上述のような問題を解決するためになされたものであり、画像から目的の人物を容易に検索することができる監視記録装置を得るものである。
【課題を解決するための手段】
【０００７】
この発明に係る監視記録装置は、入力された画像から顔画像を検出する顔画像検出部と、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された顔画像および顔画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された顔画像を検索する検出結果検索部とを備えたものである。
【０００８】
また、この発明に係る監視記録装置は、入力された画像から人物画像を検出する人物画像検出部と、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された人物画像および前記人物画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された人物画像を検索する検出結果検索部とを備えたものである。
【０００９】
さらに、この発明に係る監視記録装置は、入力された画像から人物画像を検出する人物画像検出部と、検出された人物画像から顔画像を検出する顔画像検出部と、異なるフレーム間の顔画像または人物画像が同一人物のものであるかを判断し、顔画像または人物画像に人物ごとの識別子を付与する人物認証部と、識別子を付与された顔画像、顔画像の情報または識別子を付与された人物画像、人物画像の情報を記憶する検出結果記憶部と、検出結果記憶部に記憶された顔画像または人物画像を検索する検出結果検索部とを備えたものである。
【発明の効果】
【００１０】
この発明によれば、画像から目的の人物を容易に検索することができる監視記録装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１における監視記録装置の構成を示すブロック図である。図２は、実施の形態１の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を示すフローチャートである。以下に、実施の形態１の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００１２】
監視対象エリアを撮影するカメラ１から出力された画像は、顔画像検出部２に入力される（Ｓ１）。顔画像検出部２は、入力された画像の中から人物の顔の部分の画像（以下「顔画像」という。）を検出する（Ｓ２）。
【００１３】
ここで、人物の顔における特徴の一例を示す。図３は、人物の顔の白黒画像である。図４は、図３の人物の顔の白黒画像にぼかし処理を施したものである。図３に示すように、人物の顔の白黒画像にぼかし処理を施すと、目に相当する部分は、顔の他の部分よりも黒い横長の楕円状となり、この楕円状の部分の長手方向に二つ並んでいる。目に相当する２つの部分の中心下部には、口に相当する部分が、目に相当する部分とほぼ同じ黒色で、横長の楕円状となり、目に相当する部分と平行に存在する。以下に、顔画像検出部２が、入力された画像の中から人物の顔画像を検出する顔画像検出方法の一例を示す。この他にも画像から顔画像を検出する方法は種々あり、他の手法を用いて顔画像を検出しても良い。
【００１４】
顔画像検出部２は、入力された画像を白黒にし、ぼかし処理を施す。ぼかし処理を施した画像が以下の三つの条件を満たしているかどうか判断する。
【００１５】
条件１：他の部分より黒い横長の楕円状の部分が二つ、楕円状の部分の長手方向に並んでいる。
条件２：上記二つ並んだ楕円状の部分の中心下部に、これらと平行（略平行を含む）に他の部分より黒いもう一つの楕円状の部分が存在する。
条件３：上記三つの黒い楕円状の部分の周辺は、ほぼ同じ薄い灰色である。
【００１６】
条件１から条件３の三つの条件を満たしている場合には、入力された画像の中に人物の顔画像が存在すると認定し、目と口に相当する三つの黒い楕円状の部分から所定範囲の領域の画像を顔画像として検出する。条件１から条件３のうち一つでも条件を満たさない場合には、入力された画像の中に人物の顔画像が存在しないと認定し、一連の処理を終了する。
【００１７】
人物の顔画像が検出された場合には、顔画像検出部２は、顔画像およびその顔画像の情報を人物認証部３に出力する（Ｓ３）。顔画像の情報は、顔画像の領域、大きさ、明るさ、顔の向きなどの画像の情報および顔画像の位置など人物の認証に必要な情報を含む。人物認証部３は、顔画像およびその顔画像の情報に基づいて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し、入力された顔画像に人物ごとの識別子を付与する。
【００１８】
人物認証部３は、入力された顔画像の位置とこの顔画像の前のフレームに記録された顔画像の位置とから計算されるフレーム間での顔画像の移動量を用いて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する（Ｓ４）。フレーム間での顔画像の移動量が予め設定されている閾値以内である場合には、入力された顔画像と前のフレームに記録された顔画像とが同一人物のものであると判断し、フレーム間での顔画像の移動量が閾値を超えている場合には、入力された顔画像と前のフレームに記録された顔画像とが同一人物のものでないと判断する。なお、フレーム間における顔画像の移動量の閾値は、フレーム間における撮影時間の間隔に依存して設定される。
【００１９】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像に前のフレームに記録された顔画像と同じ識別子を顔画像の情報として付与する（Ｓ５）。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像に新しい識別子を顔画像の情報として付与する（Ｓ６）。
【００２０】
人物認証部３は、入力された顔画像に識別子を付与すると、顔画像およびその識別子を含む顔画像の情報を検出結果記憶部４に出力する（Ｓ７）。検出結果記憶部４は、人物認証部３から入力された顔画像および識別子を含む顔画像の情報を記憶し、一連の処理を終了する（Ｓ８）。
【００２１】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像は、検出結果検索部５によって検索される。
【００２２】
検出結果検索部５を用いて顔画像および顔画像の情報を検索する場合には、顔画像に顔画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の顔画像を一括して検索することができる。また、異なるフレームに記録された同一人物の顔画像の中から、各人物を代表する顔画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００２３】
また、人物認証部３は、顔画像を用いて、入力された顔画像の人物とこの顔画像の前のフレームに記録された顔画像の人物とが同一人物であるかを判断しているので、入力された画像の人物が前のフレームの画像に記録された他の人物と比較して、似た体格をしている場合または特徴的な衣服を着用していない場合であっても、入力された画像の人物と前のフレームに記録された他の人物とを区別することができる。したがって、監視対象エリアを通過する人物が全員同じ制服を着用している場合であっても、入力された画像の人物と前のフレームに記録された他の人物とを区別することができる。そのため、入力された画像から目的の人物を容易に検索することが可能となる。
【００２４】
この実施の形態１では、カメラ１から出力された画像が顔画像検出部２に入力されるとしたが、顔画像検出部２に入力される画像は、監視対象エリアを撮影するカメラ１から直接出力されるものでなくてもよく、一端、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などの記録媒体に記録したものでもよい。この場合、ＤＶＤなどの記録媒体に記録した画像を顔画像検出部２に出力する装置は、監視記録装置自身に備えられていてもよいし、監視記録装置の外部に備えられていてもよい。
【００２５】
この実施の形態１では、人物認証部３は、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与するとした。これは、入力された顔画像とこの顔画像の直前のフレームに記録された顔画像とが同一人物のものであるかを判断する場合だけでなく、入力された画像と２つ以上前のフレームに記録された顔画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の顔画像が同一人物のものであるかを判断し、顔画像に人物ごとの識別子を付与する。
【００２６】
また、この実施の形態１では、人物認証部３が異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間での顔画像の移動量を用いた。人物認証部３は、異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間での顔画像の移動方向を用いてもよい。フレーム間での顔画像の移動方向が所定方向内である場合には、異なるフレーム間の顔画像を同一人物のものであると判断し、フレーム間での顔画像の移動方向が所定方向外である場合には、異なるフレーム間の顔画像を同一人物のものでないと判断する。
【００２７】
さらに、人物認証部３は、異なるフレーム間の顔画像が同一人物のものであるかを判断する方法として、フレーム間の顔画像の類似度を用いてもよい。人物認証部３は、異なるフレーム間の顔画像にパターンマッチング処理を施し、両者の類似度を求める。類似度が所定値以上である場合には、異なるフレーム間の顔画像が同一人物のものであると判断し、類似度が所定値未満である場合には、異なるフレーム間の顔画像が同一人物のものでないと判断する。
【００２８】
さらに、人物認証部３は、フレーム間での顔画像の移動量、移動方向および類似度などの人物の認証に必要な因子を２つ以上組み合わせて、入力された顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断してもよい。フレーム間での顔画像の移動量、移動方向および類似度などの人物の認証に必要な因子を組み合わせて判断するので、異なるフレーム間の顔画像が同一人物のものであるかを高精度に判断することができる。
【００２９】
実施の形態２．
図５は、この発明の実施の形態２における監視記録装置の構成を示すブロック図である。図中、実施の形態１と同一の構成には、同一の符号を付している。実施の形態１に示した監視記録装置は、入力された画像から顔画像を検出し、異なるフレーム間の顔画像が同一人物のものであるかを判断し、人物ごとの識別子を付与する。この実施の形態２に示す監視記録装置では、入力された画像から人物画像を検出し、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物ごとの識別子を付与する点が、実施の形態１に示した監視記録装置と異なっている。
【００３０】
図６は、実施の形態２の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を示すフローチャートである。以下に、実施の形態２の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００３１】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される（Ｓ１１）。人物画像検出部６は、入力された画像の中から人物の画像（以下「人物画像」という。）を検出する（Ｓ１２）。以下に、人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法の一例を示す。これ以外にも画像から人物画像を検出する手法は種々あり、他の手法を用いて人物画像を検出しても良い。
【００３２】
図７に人物画像を示す。図７に示すように、人物画像には、人物の頭に相当する楕円状の部分１０１が存在し、この楕円状の部分１０１の下に連なって、体に相当する長方形状の部分１０２が存在する。そこで、人物画像検出部６は、入力された画像が以下の三つの条件を満たしているかどうか判断する。
【００３３】
条件１：縦長の楕円状の部分が存在する。
条件２：上記楕円状の部分の下に、上記楕円状の部分よりも大きい長方形状の部分が存在する。
条件３：上記楕円状の部分と長方形状の部分とは、連なっている。
【００３４】
条件１から条件３の三つの条件を満たしている場合には、入力された画像の中に人物画像が存在すると認定し、楕円状の部分と長方形状の部分とを人物画像として検出する。条件１から条件３のうち一つでも条件を満たさない場合には、入力された画像の中に人物画像が存在しないと認定し、一連の処理を終了する。
【００３５】
人物画像が検出された場合には、人物画像検出部６は、人物画像およびその人物画像の情報を人物認証部３に出力する（Ｓ１３）。人物画像の情報は、人物画像の領域、大きさ、明るさ、人物の向きなどの画像の情報および人物画像の位置など人物の認証に必要な情報を含む。人物認証部３は、人物画像およびその人物画像の情報に基づいて、入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し（Ｓ１４）、入力された人物画像に人物ごとの識別子を付与する。
【００３６】
人物認証部３が入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法としては、実施の形態１に示した顔画像の場合と同様のものを用いればよい。
【００３７】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する（Ｓ１５）。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像情報として付与する（Ｓ１６）。
【００３８】
人物認証部３は、実施の形態１と同様に、入力された人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する。これは、入力された人物画像とこの人物画像の直前のフレームに記録された人物画像とが同一人物のものであるかを判断する場合だけでなく、入力された人物画像と２つ以上前のフレームに記録された人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の人物画像が同一人物のものであるかを判断し、人物画像に人物ごとの識別子を付与する。
【００３９】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像およびその識別子を含む人物画像の情報を検出結果記憶部４に出力する（Ｓ１７）。検出結果記憶部４は、人物認証部３から入力された人物画像および識別子を含む人物画像の情報を記憶し、一連の処理を終了する（Ｓ１８）。
【００４０】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された人物画像は、検出結果検索部５によって検索される。
【００４１】
検出結果検索部５を用いて人物画像および人物画像の情報を検索する場合には、人物画像に人物画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の人物画像を一括して検索することができる。また、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００４２】
また、人物認証部３は、人物画像を用いて、異なるフレーム間の人物画像が同一人物のものであるかを判断しているので、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも異なるフレームに記録された同一人物の人物画像を一括して検索することができ、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、人物が後ろ向きまたは下向きである場合など、入力された画像から顔画像を検出できない際にも、入力された画像から目的の人物を容易に検索することが可能となる。
【００４３】
実施の形態３．
図８は、この発明の実施の形態３における監視記録装置の構成を示すブロック図である。図中、実施の形態１および実施の形態２と同一の構成には、同一の符号を付している。実施の形態１または実施の形態２に示した監視記録装置は、顔画像検出部２または人物画像検出部６のいずれか一方を備え、入力された画像から顔画像または人物画像を検出する。一方、実施の形態３に示す監視記録装置は、顔画像検出部２および人物画像検出部６の両方を備え、人物画像検出部６が検出した人物画像から顔画像を検出する点が、実施の形態１または実施の形態２に示した監視記録装置と異なっている。
【００４４】
図９は、実施の形態３の監視記録装置が行う画像が入力されてから記憶されるまでの一連の処理を示すフローチャートである。以下に、実施の形態３の監視記録装置が行う画像が入力されてから記憶されるまでの一連の処理を説明する。
【００４５】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される（Ｓ２１）。人物画像検出部６は、入力された画像の中から人物画像を検出する（Ｓ２２）。人物画像検出部６が人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を顔画像検出部２に出力する（Ｓ２３）。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００４６】
顔画像検出部２は、人物画像検出部６から人物画像が入力されると、この人物画像を処理し、人物画像の中から顔画像を検出する（Ｓ２４）。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報を人物認証部３に出力する（Ｓ２５）。人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する（Ｓ２６）。
【００４７】
人物認証部３は、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断し（Ｓ２７）、入力された顔画像および人物画像に人物ごとの識別子を付与する。顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００４８】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する（Ｓ２８）。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する（Ｓ２９）。
【００４９】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、識別子を付与した顔画像および人物画像、顔画像の情報ならびに人物画像の情報を検出結果記憶部４に出力する（Ｓ３０）。検出結果記憶部４は、人物認証部３から入力された顔画像および人物画像、顔画像の情報ならびに人物画像の情報を記憶し、一連の処理を終了する（Ｓ３１）。
【００５０】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断し（Ｓ３２）、入力された人物画像に人物ごとの識別子を付与する。人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００５１】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する（Ｓ３３）。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像の情報として付与する（Ｓ３４）。
【００５２】
人物認証部３は、実施の形態１と同様に、入力された顔画像または人物画像とこの前のフレームに記録された顔画像または人物画像とが同一人物のものであるかを判断し、人物ごとの識別子を付与するとした。これは、入力された顔画像または人物画像とこの直前のフレームに記録された顔画像または人物画像とが同一人物のものであるかどうかを判断する場合だけでなく、２つ以上前のフレームに記録された顔画像または人物画像とが同一人物のものであるかどうかを判断し、人物ごとの識別子を付与する場合も含む。したがって、人物認証部３では、異なるフレーム間の２つの顔画像または人物画像が同一人物のものであるかを判断し、顔画像または人物画像に人物ごとの識別子を付与する。
【００５３】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像および人物画像の情報を検出結果記憶部４に出力する（Ｓ３５）。検出結果記憶部４は、人物認証部３から入力された人物画像および人物画像の情報を記憶し、一連の処理を終了する（Ｓ３６）。
【００５４】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像または人物画像は、検出結果検索部５を用いて検索される。
【００５５】
検出結果検索部５を用いて、顔画像、顔画像の情報または人物画像、人物画像の情報を検索する場合には、顔画像または人物画像に顔画像の情報または人物画像の情報として人物ごとに異なる識別子が付与されているので、異なるフレームに記録された同一人物の顔画像または人物画像を一括して検索することができる。また、異なるフレームに記録された同一人物の顔画像または人物画像の中から、各人物を代表する顔画像または人物画像を容易に選択することができる。これによって、入力された画像から目的の人物を容易に検索することが可能となる。
【００５６】
また、人物認証部３は、人物画像の中から顔画像を検出するので、画像全体の中から顔画像を検出する場合に比べて、顔画像の検出時間を短縮することができる。
【００５７】
また、人物認証部３は、人物画像の中から顔画像が検出されない場合には、人物画像を用いて、異なるフレーム間の人物画像が同一人物のものであるかを判断している。そのため、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも、異なるフレームに記録された同一人物の人物画像を一括して検索することができ、異なるフレームに記録された同一人物の人物画像の中から、各人物を代表する人物画像を容易に選択することができる。これによって、人物が後ろ向きまたは下向きである場合など入力された画像から顔画像を検出できない際にも、入力された画像から目的の人物を容易に検索することが可能となる。
【００５８】
この実施の形態３では、人物画像の中から顔画像が検出された場合には、顔画像およびその顔画像の情報に基づいて顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断するとした。しかしながら、顔画像、顔画像の情報、人物画像および人物画像の情報に基づいて、顔画像および人物画像と前のフレームに記録された顔画像および人物画像とが同一人物のものであるかを判断してもよい。これによって、顔画像および顔画像の情報のみを用いて判断する場合または人物画像および人物画像の情報のみを用いて判断する場合よりも、異なるフレーム間の顔画像および人物画像が同一人物のものであるかを精度よく判断することができる。
【００５９】
実施の形態４．
図１０は、この発明の実施の形態４における監視記録装置の構成を示すブロック図である。人物画像検出部６に、人物画像が人物の特徴を表示する度合いを計算する人物特徴表示度計算部７が電気的に接続されており、顔画像検出部２に、顔画像が人物の顔の特徴を表示する度合いを計算する顔特徴表示度計算部８が電気的に接続されている。この発明の実施の形態４に示す監視記録装置は、この人物特徴表示度計算部７と顔特徴表示度計算部８とが設置されている点が、実施の形態３に示す監視記録装置とは異なっている。その他の構成は、実施の形態３に示す監視記録装置と同様である。以下に、実施の形態４の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００６０】
監視対象エリアを撮影するカメラ１から出力された画像は、人物画像検出部６に入力される。人物画像検出部６は、入力された画像の中から人物画像を検出する。人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を人物特徴表示度計算部７に出力する。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００６１】
人物画像およびその人物画像の情報を入力された人物特徴表示度計算部７は、人物画像が人物の特徴を表示する度合いを示す人物画像のベストショットスコアを計算する。人物画像のベストショットスコアは、人物画像の大きさ、明るさ、人物の向きなどの人物画像の情報から計算される。人物特徴表示度計算部７は、計算したベストショットスコアを人物画像の情報として人物画像検出部６に出力する。人物画像検出部６は、ベストショットスコアが入力されると、人物画像および人物画像のベストショットスコアを含む人物画像の情報を顔画像検出部２に出力する。
【００６２】
顔画像検出部２は、人物画像検出部６から人物画像および人物画像の情報が入力されると、人物画像の中から顔画像を検出する。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、顔画像およびその顔画像の情報を顔特徴表示度計算部８に出力する。
【００６３】
顔画像および顔画像の情報が入力されると、顔特徴表示度計算部８は、顔画像検出部２から顔画像が顔の特徴を表示する度合いを示す顔画像のベストショットスコアを計算する。顔画像のベストショットスコアは、顔画像の大きさ、明るさ、顔の向きなどの顔画像の情報から計算される。顔特徴表示度計算部８は、計算したベストショットスコアを顔画像の情報として顔画像検出部２に出力する。顔画像検出部２は、ベストショットスコアが入力されると、人物画像、人物画像のベストショットスコアを含む人物画像の情報、顔画像、顔画像のベストショットスコアを含む顔画像の情報を人物認証部３に出力する。
【００６４】
一方、顔画像検出部２は、人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する。
【００６５】
人物認証部３は、人物画像、その人物画像の情報、その人物画像の顔画像およびその顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する。顔画像およびその顔画像の情報に基づいて顔画像と前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００６６】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する。
【００６７】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、識別子を付与した顔画像および人物画像、顔画像の情報ならびに人物画像の情報を検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力されたこれら顔画像および人物画像、顔画像の情報ならびに人物画像の情報を記憶し、一連の処理を終了する。
【００６８】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する。人物画像およびその人物画像の情報に基づいて、人物画像と前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００６９】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像情報として付与する。
【００７０】
人物認証部３は、入力された人物画像に識別子を付与すると、識別子を付与した人物画像および人物画像の情報を検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された人物画像および人物画像の情報を記憶し、一連の処理を終了する。
【００７１】
検出結果検索部５は、検出結果記憶部４と電気的に接続されており、検出結果記憶部４に記憶された顔画像または人物画像は、検出結果検索部５によって検索される。
【００７２】
顔画像または人物画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の顔の特徴を最もよく表す顔画像または人物の特徴を最もよく表す人物画像を用いて、顔画像または人物画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７３】
この実施の形態４では、実施の形態３に示す監視記録装置に人物特徴表示度計算部７および顔特徴表示度計算部８を設けたが、実施の形態１に示す監視記録装置に顔特徴表示度計算部８を設けてもよい。実施の形態１に示す監視記録装置に顔特徴表示度計算部８を設けると、顔画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の顔の特徴を最もよく表す顔画像を用いて、顔画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７４】
同様に、実施の形態２に示す監視記録装置に人物特徴表示度計算部７を設けてもよい。実施の形態２に示す監視記録装置に人物特徴表示度計算部７を設けると、人物画像のベストショットスコアを計算し、ベストショットスコアの最も高い、すなわち人物の特徴を最もよく表す人物画像を用いて、人物画像を検索するので、入力された画像から目的の人物を容易に検索することが可能となる。
【００７５】
実施の形態５．
図１１は、この発明の実施の形態５における監視記録装置の構成を示すブロック図である。この発明の実施の形態５に示す監視記録装置は、カメラ１からの画像を記憶する画像記憶部９が設置されている点が、実施の形態３に示す監視記録装置とは異なっている。その他の構成は、実施の形態３に示す監視記録装置と同様である。以下に、実施の形態５の監視記録装置が行う画像が入力されてから記憶するまでの一連の処理を説明する。
【００７６】
カメラ１が撮影した画像は、人物画像検出部６および画像記憶部９の両方に出力される。画像記憶部９は、カメラ１から入力された画像を記憶する。一方、人物画像検出部６は、入力された画像の中から人物画像を検出する。人物画像検出部６が入力された画像の中から人物画像を検出する人物画像検出方法は、実施の形態２に示したものと同様である。人物画像検出部６は、人物画像を検出した場合には、人物画像およびその人物画像の情報を顔画像検出部２に出力する。人物画像検出部６は、人物画像を検出しなかった場合には、一連の処理を終了する。
【００７７】
顔画像検出部２は、人物画像検出部６から人物画像が入力されると、この人物画像の中から顔画像を検出する。顔画像検出部２が人物画像の中から顔画像を検出する顔画像検出方法は、実施の形態１に示したものと同様である。顔画像検出部２は、人物画像の中から顔画像を検出した場合には、人物画像、人物画像の情報、その人物画像の顔画像および顔画像の情報を人物認証部３に出力する。人物画像の中から顔画像を検出しなかった場合には、人物画像およびその人物画像の情報のみを人物認証部３に出力する。
【００７８】
人物認証部３は、人物画像、その人物画像の情報、その人物画像の顔画像およびその顔画像の情報が入力された場合には、顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する。顔画像およびその顔画像の情報に基づいて、顔画像とこの顔画像の前のフレームに記録された顔画像とが同一人物のものであるかを判断する方法は、実施の形態１に示した方法と同様である。
【００７９】
人物認証部３は、入力された顔画像が前のフレームに記録された顔画像と同一人物のものであると判断した場合には、入力された顔画像および人物画像に前のフレームに記録された顔画像および人物画像と同じ識別子を顔画像の情報および人物画像の情報として付与する。入力された顔画像が前のフレームに記録された顔画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された顔画像および人物画像に新しい識別子を顔画像の情報および人物画像の情報として付与する。
【００８０】
人物認証部３は、入力された顔画像および人物画像に識別子を付与すると、顔画像の情報ならびに人物画像の情報のみを検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された顔画像の情報および人物画像の情報のみを記憶し、一連の処理を終了する。
【００８１】
一方、人物認証部３は、人物画像およびその人物画像の情報のみが入力された場合には、人物画像およびその人物画像の情報に基づいて、人物画像とこの人物画像の前のフレームに記録された人物画像とが同一人物のものであるかを判断する。人物画像およびその人物画像の情報に基づいて人物画像と前のフレームに記録された人物画像とが同一人物のものであるかを判断する方法は、実施の形態２に示した方法と同様である。
【００８２】
人物認証部３は、入力された人物画像が前のフレームに記録された人物画像と同一人物のものであると判断した場合には、入力された人物画像に前のフレームに記録された人物画像と同じ識別子を人物画像の情報として付与する。入力された人物画像が前のフレームに記録された人物画像と同一人物のものでないと判断した場合には、新たに現れた人物であるとして、入力された人物画像に新しい識別子を人物画像の情報として付与する。
【００８３】
人物認証部３は、入力された人物画像に識別子を付与すると、人物画像の情報のみを検出結果記憶部４に出力する。検出結果記憶部４は、人物認証部３から入力された人物画像の情報のみを記憶し、一連の処理を終了する。
【００８４】
検出結果検索部５は、検出結果記憶部４および画像記憶部９のそれぞれと電気的に接続されている。画像記憶部９に記憶された顔画像または人物画像は、検出結果記憶部４に記憶された顔画像の情報または人物画像の情報を用いて検出結果検索部５によって検索される。
【００８５】
この実施の形態５では、画像記憶部９を設けているので、カメラ１が撮影した画像全体を画像記憶部９に記憶しておくことができる。また、検出結果記憶部４には、画像内での顔画像の位置などの顔画像の情報または画像内での人物画像の位置などの人物画像の情報のみを記憶し、顔画像および人物画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【００８６】
この実施の形態５では、実施の形態３に示す監視記録装置に画像記憶部９を設けたが、実施の形態１に示す監視記録装置に画像記憶部９を設けてもよい。実施の形態１に示す監視記録装置に画像記憶部９を設けると、検出結果記憶部４には、画像内での顔画像の位置などの顔画像の情報のみを記憶し、顔画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【００８７】
同様に、実施の形態２に示す監視記録装置に画像記憶部９を設けてもよい。実施の形態２に示す監視記録装置に画像記憶部９を設けると、検出結果記憶部４には、画像内での人物画像の位置などの人物画像の情報のみを記憶し、人物画像は記憶しないので、検出結果記憶部４の容量を小さくすることができる。
【図面の簡単な説明】
【００８８】
【図１】この発明の実施の形態１による監視記録装置の構成を示すブロック図である。
【図２】実施の形態１の監視記録装置が行う処理を示すフローチャートである。
【図３】人物の顔の白黒画像である。
【図４】図３の人物の顔の白黒画像にぼかし処理を施したものである。
【図５】この発明の実施の形態２における監視記録装置の構成を示すブロック図である。
【図６】実施の形態２の監視記録装置が行う処理を示すフローチャートである。
【図７】人物画像を含む画像を示す図である。
【図８】この発明の実施の形態３おける監視記録装置の構成を示すブロック図である。
【図９】実施の形態３の監視記録装置が行う処理を示すフローチャートである。
【図１０】この発明の実施の形態４おける監視記録装置の構成を示すブロック図である。
【図１１】この発明の実施の形態５おける監視記録装置の構成を示すブロック図である。
【符号の説明】
【００８９】
１ カメラ、 ２ 顔画像検出部、 ３ 人物認証部、 ４ 検出結果記憶部、 ５ 検出結果検索部、 ６ 人物画像検出部、 ７ 人物特徴表示度計算部、 ８ 顔特徴表示度計算部、 ９ 画像記憶部、 １０１ 楕円状の部分、 １０２ 長方形状の部分。
【特許請求の範囲】
【請求項１】
入力された画像から顔画像を検出する顔画像検出部と、
異なるフレーム間の前記顔画像が同一人物のものであるかを判断し、前記顔画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された顔画像および前記顔画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記顔画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項２】
入力された画像から人物画像を検出する人物画像検出部と、
異なるフレーム間の前記人物画像が同一人物のものであるかを判断し、前記人物画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された人物画像および前記人物画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記人物画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項３】
入力された画像から人物画像を検出する人物画像検出部と、
検出された人物画像から顔画像を検出する顔画像検出部と、
異なるフレーム間の前記顔画像または前記人物画像が同一人物のものであるかを判断し、前記顔画像または前記人物画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された顔画像、前記顔画像の情報または前記識別子を付与された人物画像、前記人物画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記顔画像または前記人物画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項４】
顔画像が人物の顔の特徴を表示する度合いを計算する顔特徴表示度計算部を備え、
検出結果記録部が記憶する顔画像の情報は、前記顔画像が人物の顔の特徴を表示する度合いを含んでいることを特徴とする請求項１または請求項３のいずれかに記載の監視記録装置。
【請求項５】
人物画像が人物の特徴を表示する度合いを計算する人物特徴表示度計算部を備え、
検出結果記録部が記憶する人物画像の情報は、前記人物画像が人物の特徴を表示する度合いを含んでいることを特徴とする請求項２または請求項３のいずれかに記載の監視記録装置。
【請求項６】
入力された画像を保存する画像記憶部を備えたことを特徴とする請求項１ないし請求項３のいずれか１項に記載の監視記録装置。
【請求項１】
入力された画像から顔画像を検出する顔画像検出部と、
異なるフレーム間の前記顔画像が同一人物のものであるかを判断し、前記顔画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された顔画像および前記顔画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記顔画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項２】
入力された画像から人物画像を検出する人物画像検出部と、
異なるフレーム間の前記人物画像が同一人物のものであるかを判断し、前記人物画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された人物画像および前記人物画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記人物画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項３】
入力された画像から人物画像を検出する人物画像検出部と、
検出された人物画像から顔画像を検出する顔画像検出部と、
異なるフレーム間の前記顔画像または前記人物画像が同一人物のものであるかを判断し、前記顔画像または前記人物画像に人物ごとの識別子を付与する人物認証部と、
前記識別子を付与された顔画像、前記顔画像の情報または前記識別子を付与された人物画像、前記人物画像の情報を記憶する検出結果記憶部と、
前記検出結果記憶部に記憶された前記顔画像または前記人物画像を検索する検出結果検索部と
を備えたことを特徴とする監視記録装置。
【請求項４】
顔画像が人物の顔の特徴を表示する度合いを計算する顔特徴表示度計算部を備え、
検出結果記録部が記憶する顔画像の情報は、前記顔画像が人物の顔の特徴を表示する度合いを含んでいることを特徴とする請求項１または請求項３のいずれかに記載の監視記録装置。
【請求項５】
人物画像が人物の特徴を表示する度合いを計算する人物特徴表示度計算部を備え、
検出結果記録部が記憶する人物画像の情報は、前記人物画像が人物の特徴を表示する度合いを含んでいることを特徴とする請求項２または請求項３のいずれかに記載の監視記録装置。
【請求項６】
入力された画像を保存する画像記憶部を備えたことを特徴とする請求項１ないし請求項３のいずれか１項に記載の監視記録装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−１７８５１６（Ｐ２００６−１７８５１６Ａ）
【公開日】平成１８年７月６日（２００６．７．６）
【国際特許分類】
【出願番号】特願２００４−３６８０８０（Ｐ２００４−３６８０８０）
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１８年７月６日（２００６．７．６）
【国際特許分類】
【出願日】平成１６年１２月２０日（２００４．１２．２０）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]