説明

顔領域検出装置及び検出方法

【課題】人の顔イメージを用いた録画、検索、再生作業を容易に行うことができる顔領域検出装置を提供する。
【解決手段】入力される画像から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、内部演算を通じて顔特性コード(FC)で符号化してデータベース化する顔検出認識部(FDR)と、前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コードと保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果を伝送する顔検出サーバ(FS)とを備えてなる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔の検査及び測定、特に実時間で入力される動画像の画面から、顔の検査及び測定を行うための方法とシステムに関する。顔認識は、バイオ認識のうち、データの取得が便利であり、機械との接触拒否感のない方法である。この顔の検査及び測定プログラムは、入力される静止画または動画のうち、顔の特徴的な位置、大きさ等を認識して数値化するものであり、この技術は、顔合成の有無、表情識別等を認識して、特定人物を感知し認識することにより、犯罪予防、ロボットと人間の交流等に応用され得る。
【背景技術】
【0002】
本発明は、顔領域検出装置及び検出方法に関し、より詳しくは、赤外線発光LEDと赤外線絞りを備え、不均等な明暗分布または分均等な外部光源環境に影響されない安定的な顔画像が得られる顔領域検出装置及び前記顔領域検出装置を用いるが、多段分類法による顔情報検出方法により、実時間で入力される外部顔画像から顔イメージの値を実時間で迅速且つ正確に検出することができる顔領域検出方法に関する。
【0003】
人間の顔は、視覚的な判別と身元確認において重要な要素であり、従来から顔の認識と顔表情の解釈に対する分析が広範囲に開発されてきた。最近、画像の流れの中で、顔の検索と身元確認のための技術が提示されてきている。特に、このような顔認識技術とは、静止画や動画に存在する一人以上の顔に対して与えられた顔データベースを用いて、その身元を確認する技術のことをいう。このような顔認識技術は、他の生体認識技術である指紋認識等とは異なり、自身の身体の一部を認識装置に接触させずにも生体情報の獲得が可能であり、このような点で強制性が少ないが、顔は、照明及び姿勢の変化により、それ自体の変化が多く、特に周囲環境に極めて敏感であるため、他の生体認識システムに比べて識別力が低いという短所があった。
【0004】
また、顔認識は、前記光源により入力される静止画または動画の顔イメージにおいて、顔の特徴的な位置、大きさ等を認識して数値化する過程を経ており、このような技術は、顔合成の有無、表情識別等を認識して、犯罪予防、ロボットと人間の交流等に応用され得る。
【0005】
顔識別の重要性は、画像入力が重要なものではなく、入力された画像の識別が重要である。このような入力された画像からの顔の識別方法には、代表的に直接認識方法と統計式を用いた方法がある。
【0006】
直接認識方法としては、画面に現れる顔画像の輪郭・肌色及び構成要素の大きさや相互間の距離等の物理的な特徴を用いた規則を作り、その規則により比較・検査及び測定を行う。このような規則により顔画像を把握する方法では、識別速度が速いという長所があるが、外部の環境変化に対する適応力が低下し、認識の誤謬が多い。
【0007】
他方は、統計式を用いた方法であって、入力された顔が持っている固有の特徴をデータ化して、準備された大量のデータベース(顔とその他の事物の形体)と比較分析する方法である。しかし、このような方法は、外部環境における認識の正確度は高いが、計算時間が長く、実時間の識別が不可能であり、多くのデータが必要であるという問題が生じた。
【0008】
また、従来の商用化した顔領域識別は、画像を収集する場合、自然光や照明光を用いる。しかし、このような方法は、光の変化により、顔領域識別性能に大きく影響を及ぼし、特に、外部の光の変化のある場合は、形成される顔イメージの明暗分布に大きな差を生じさせるという問題があった。しかも、外部光の変化がなくても、照らす顔領域に順光、逆光、偏光等のような他の要因が発生する場合、顔識別に大きな影響を及ぼし、所望の高品質の画像イメージを具現することができないという致命的な問題があった。
【発明の開示】
【発明が解決しようとする課題】
【0009】
本発明はこのような問題点に鑑みてなされたものであり、その目的は、特定人物の顔イメージFIを顔特性コード化(FC)して、特定人物の認識及び感知、DVR(digital video recorder)の実時間入力画像または録画されている画像画面において、特定人物のみの検索等の作業に適用して、人の顔イメージを用いた録画及び検索、再生作業を容易に行うことができる顔領域検出装置を提供することにある。
【0010】
また、本発明の他の目的は、外部画像イメージを導入するにあたって、赤外線発光LEDと赤外線絞りを備え、不均等な明暗分布または分均等な外部光源環境に影響されない安定的な顔画像が得られ、前記顔画像を検出するにあたって、多段分類法による顔情報検出方法により、実時間で入力される外部顔画像から顔イメージの値を実時間で迅速且つ正確に検出することができる検出方法を提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するための本発明の特徴によれば、入力される画像物から人の顔イメージを抽出する顔検出段階(Face Detection;FD)で抽出された人の顔イメージ(Face Image;FI)を、内部演算を通じてデータベース化が可能な形態の顔特性コード(Face Feature Code;FC)で符号化する顔検出認識部(Face Detection & Recoginition;FDR)と、前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コード(FC)と保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果を伝送及び管理する顔検出サーバ(Face Server;FS)と、を備え、検出対象を認識して選別することができる顔領域検出装置を提供する。
【0012】
特に、前記顔検出サーバ(FS)の代わりに、伝送線路により速度が遅く、または、限定された空間で使用しなければならない場合は、外装型顔認識モジュール(Face Recognition Module;FR Module)を、直接前記顔検出認識部(FDR)に連結し、顔認識機能の場所と速度の効率性を図ることができるようにする。すなわち、ネットワーク等を用いることができない閉鎖環境下でも、顔検出サーバ(FS)の役割を代わって行うことができるモジュール形態の装置を、FDR装置に外装連結または内蔵することにより、顔の検出及び認識を可能にする。
【発明の効果】
【0013】
本発明によると、特定人物の顔イメージ(FI)を顔特性コード化(FC)し、特定人物の認識及び感知、DVR画像画面において特定人物のみの検索等の作業に適用し、人の顔イメージの検出及び検索作業を容易に行うことができるという効果がある。
【0014】
また、外部画像イメージを導入するにあたって、赤外線発光LEDと赤外線絞りを備え、不均等な明暗分布または分均等な外部光源環境に影響されない安定的な顔画像が得られるという効果がある。
【0015】
特に、多段分類法による顔情報検出方法により、実時間で入力される外部顔画像から顔イメージの値を実時間で迅速且つ正確に検出することができるという効果もある。
【発明を実施するための最良の形態】
【0016】
本発明による顔領域検出装置は、入力される画像物から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、内部演算を通じて顔特性コード(FC)で符号化してデータベース化する顔検出認識部(FDR)と、前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コード(FC)と保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果を伝送する顔検出サーバ(FS)と、を備えてなる。
【0017】
このような構成により、本発明は、特定人物の顔イメージ(FI)を顔特性コード化(FC)して、特定人物の認識及び感知、DVRの実時間入力画像または録画されている画像画面において、特定人物のみの検索等の作業に適用が可能であり、外部人物画像の導入にあたって、赤外線発光LEDと赤外線絞りを備え、不均等な明暗分布または分均等な外部光源環境に影響されない安定的な顔画像が得られるという長所がある。
【発明の実施の形態】
【0018】
本発明は、上記課題を解決するために、入力される画像物から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、内部演算を通じてデータベース化が可能な形態の顔特性コード(FC)で符号化する顔検出認識部(FDR)と、前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コード(FC)と保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果を伝送する顔検出サーバ(FS)と、を備えてなることを特徴とする顔領域検出装置を提供し、特定人物の顔を顔特性コード化し、入力される顔の情報を効率的に判別することができるようにする。
【0019】
また、本発明は、前記顔検出サーバ(FS)が、前記顔検出認識部(FDR)から伝送される顔特性コード(FC)を自体データベースに保存し、前記顔検出認識部(FDR)から抽出される顔イメージ(FI)の情報を伝送され、別途にデータベース化することを特徴とする顔領域検出装置を提供し、漸進的なデータの精度と信頼度を高くし、より多数の使用者の接続と利用を提供することができるようにする。
【0020】
また、本発明は、前記顔検出サーバ(FS)が、FDR装置無しにも、顔検出サーバ(FS)に付加的に設置連結されているカメラまたはファイル形態の写真から画像を入力され、自体的に顔検出作業(FD)と前記顔検出作業(FD)から得られた顔イメージ(FI)を顔特性コード(FC)に転換し、データベースを追加して補強・管理することができる機能を与えることにより、顔検出サーバ(FS)装置の効率性を高めることができるようにする。
【0021】
また、本発明は、前記顔検出認識部(FDR)が、その内部に、画像データをデジタル信号に転換するDVRをさらに備えてなることを特徴とする顔領域検出装置を提供し、前記顔検出認識部(FDR)内のDVR部分から提供される実時間画像及び記録保存されている画像に対して顔検出作業を行うことができるようにする。
【0022】
また、本発明は、前記外部から入力される画像が、光源を被写体に照射する赤外線発光部と、前記赤外線発光部から導出された光源が被写体で反射されて入射される赤外線光を得るカメラにより得られた画像であることを特徴とする顔領域検出装置を提供し、外部光源に影響されずに、安定的な顔画像を得ることができるようにする。
【0023】
また、本発明は、前記カメラが、前記カメラの前面に付設され、赤外線以外の光線をろ過する赤外線絞りをさらに備えてなることを特徴とする顔領域検出装置を提供し、画像イメージの獲得に効率的であり、安定的な赤外線の波長を選別することができるようにする。
【0024】
また、本発明は、前記赤外線絞りが、 赤外線以外の光線を選択してろ過するように構成され、中心波長が800〜1000nmである波長を有する光線を選別して通過させる ことを特徴とする顔領域検出装置を提供することにより、さらに正確なイメージの顔画像を得ることができる。
【0025】
また、本発明は、前記赤外線絞りの直径が、10〜40nmであり、前記赤外線発光部は、直径が10〜40nmである赤外線発光LEDであるが、赤外線放出中心波長が800〜1000nmであることを特徴とする顔領域検出装置を提供し、顔画像の獲得に効率的な構造を有するようにする。
【0026】
また、本発明は、入力される画像物から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、内部演算を通じてデータベース化が可能な形態の顔特性コード(FC)で符号化する顔検出認識部(FDR)と、前記顔検出認識部(FDR)の外部にUSBを通じて直接装着され、前記顔検出認識部(FDR)から伝送される顔特性コード(FC)と、自体保存された既存の顔特性コード(FC)を比較して、顔特性が一致するか否かを判断した後、判断結果を前記顔検出認識部に再伝送する顔認識モジュール(FRモジュール)と、を備えてなることを特徴とする顔領域検出装置を提供し、伝送線路による遅延等のために、速度が遅く、または限定された空間でのみ用いられる場合、直接前記顔検出認識部(FDR)にUSBを通じて外装型で連結する形式で顔認識モジュールを装着することにより、桁外れに速い検索速度を具現させることができる。このような高速の検索システムを導入することにより、既存の虹彩認識、指紋認識、手静脈認識等の人の認識システムよりも、使用者の拒否感を緩和し、認識の速度を桁外れに改善し、出入統制システムに汎用的に適用可能にする。
【0027】
また、本発明は、前記顔認識モジュールが、前記顔検出認識部(FDR)の内部に内蔵されて装着されることを特徴とする顔領域検出装置を提供することができる。
【0028】
また、本発明は、
(1)赤外線光源から被写体に赤外線を照射する段階と、
(2)前記照射された赤外線が被写体から反射されてカメラに画像イメージとして入力される段階と、
(3)顔検出認識部(FDR)において、前記入力された画像イメージから顔イメージ(FI)を抽出し、抽出された前記顔イメージ(FI)を内部演算を通じて顔特性コード(FC)化する段階と、
(4)前記顔特性コード(FC)をネットワークを介して顔検出サーバ(FS)に伝送し、前記顔検出サーバ(FS)に保存された顔特性コードデータと一致するか否かを比較し、その比較結果を顔検出認識部(FDR)に再伝送する段階と、を含んでなることを特徴とする顔領域検査方法を提供する。
【0029】
また、本発明は、前記(1)段階が、赤外線発光LEDにより行われる段階であることを特徴とする顔領域検査方法を提供し、顔画像の獲得の効率性を高める。
【0030】
また、本発明は、前記(2)段階の画像イメージが、カメラの前面部に設置された絞りを通過する、赤外線放出中心波長が800〜1000nmである画像イメージであることを特徴とする顔領域検査方法を提供し、画像イメージの精度を向上させることができるようにする。
【0031】
また、本発明は、前記(3)段階が、入力される画像イメージを実時間で正面顔の情報を検索測定してデータ化するが、AdaBoost計算方法の多段分類器により行われることを特徴とする顔領域検査方法を提供し、統計、分類、段階的区分の方式による実時間入力の顔画像を検索するが、その測定速度及び正確性を高めることができるようにする。
【0032】
また、本発明は、前記データ化過程が、
(1)実時間で入力される画像イメージから顔画面を抽出する段階と、
(2)前記抽出された顔画面をAdaBoost法により、大略検査と微細検査を繰り返してデータ値として導出する段階と、
(3)前記(2)段階で検出されたデータ値を識別位置に伝送する段階と、
(4)前記伝送されたデータ値により顔特徴を決定する段階と、
(5)前記決定された顔特徴に顔の各部位の幾何学的位置を決定し、左右顔の明暗の偏差を均一化し、最終的な顔画面を導出する段階と、
(6)前記(5)段階で導出された顔画面を回転、拡大、または収縮して標準顔画面に一致する画像を導出する段階と、を含んでなることを特徴とする顔領域検査方法を提供する。
【0033】
以下、添付した図面に基づき、本発明の構成と作用について詳述する。
【0034】
図1を参照すると、本発明による顔領域検出装置は、入力される画像物10から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、内部演算を通じて顔特性コード(FC)で符号化してデータベース化する顔検出認識部(FDR)20と、前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コード(FC)と保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果(Face Recognition Result;FRR)を伝送する顔検出サーバ(FS)30と、で構成される。
【0035】
前記顔検出認識部(FDR)20は、内部に、外部入力画像から、基本的に人の顔のみを検出した顔イメージ(FI)を顔特性コード(FC)で符号化する内部演算が行われる顔検出部(FD)21と、顔特性コードを保存するデータベースDB1と、基本的な一連の作業を制御する中央処理装置(CPU)22と、で構成されることが好ましい。
【0036】
前記顔検出認識部20とネットワーク、すなわち、インターネットやLAN網を介して連結される前記顔検出サーバ(FS)30は、前記顔検出認識部20からコード化された入力画像の顔特性コードFCを伝送され、内部のデータベースDB2に保存された既存の顔特性コードと一致する結果があるかを比較し、比較結果をさらに前記顔検出認識部20に送付する。若し、 外部入力画像の顔特性コードが既存の保存された顔特性コードと一致すれば、その一致する顔認識結果値(FRR)を前記顔検出認識部20に伝送するようになる。
【0037】
また、前記顔検出サーバ30には、上述のように、別途のデータベースが構築されており、さらに、入力される新たな顔特性コード(FC)を保存可能にし、新たな情報のアップデートが行われるようにすることが好ましい。
【0038】
上述した顔検出サーバ30は、顔検出認識部20で作業が行われた顔イメージ(FI)のコード化された顔特性コード(FC)を伝送され、既存のデータと比較する作業を経て、結果物を伝送する役割をするが、さらには、顔検出サーバ(FS)30自体内でも顔検出作業による顔イメージ(FI)を顔特性コード(FC)に変換する作業が行われるようにすることが好ましい。
【0039】
前記顔検出サーバ(FS)のこのような自体機能は、前記顔検出サーバ(FS)に、外部画像を受けることができるカメラ(例えば、PC用USBカメラ)や画像キャプチャー装置を取り付け、直接画像入力を受け、または、ファイル形態で保存されている写真から画像を入力されるようにし、このように入力された顔が含まれている画像を、前記顔検出サーバ(FS)内にソフトウェア形態のプログラムで内蔵されている顔検出装置を通じてFDを行うことにより可能になる。
【0040】
このように前記顔検出サーバ(FS)内での顔検出(FD)過程を通じて抽出された顔イメージ(FI)は、顔検出認識部(FDR)で抽出された顔イメージ(FI)と同様に、顔検出サーバ(FS)内で制限なく用いられ得る。すなわち、自体的な顔検出(FD)を通じて顔イメージ(FI)の抽出が可能になることにより、外部的な顔検出装置無しに得られた顔イメージ(FI)を用いて、顔検出サーバ(FS)が自身の持っているデータベースを追加して補強・管理するにあたって、その効率性を極大化することができる。
【0041】
前記顔検出認識部(FDR)20は、さらに、画像信号をデジタル信号に変換するDVRを備えてなることが好ましい。この際、図1に示すように、外部画像入力10がある場合、前記DVR11を通じてデジタル画像信号に変換され、ここで提供される画像から顔イメージを抽出可能に前記顔検出認識部(FDR)20が作製されることが好ましい。これは、後述する本発明による顔領域検出装置を通じて、顔特性コードを介して特定人物の検索及び認識を可能にする基礎となる。
【0042】
図2を参考すると、本発明は、前記顔検出サーバ(FS)無しに、別途の外装型顔認識モジュール(FRモジュール)を、USB等の連結を通じて連結させることにより、前記顔検出認識装置(FDR)20そのもので、顔領域の検出認識作業が可能であるように作製されることが好ましい。前記顔認識モジュール40は、内部に、図1の顔検出サーバ(FS)の機能を有するものであり、伝送線路の問題等や限定された場所での使用等で、伝送速度の問題が発生し、または、使用上の制約が発生する場合、外部分離連結型で備える代替型顔検出サーバの役割を行うことができるようにするものである。もちろん、前記外装型顔認識モジュール40は、分離型であってもよいが、前記顔検出認識装置20の内部に内蔵型で形成させてもよい。
【0043】
さらに好ましくは、外部から、顔検出認識装置(FDR)を備えた使用者が、インターネットやLAN網を介して接続する場合は、前記顔検出サーバ(FS)と、前記外装型顔認識モジュール40を同時に用いて、大容量の接続者を処理可能にすることがより好ましい(図2の(b))。
【0044】
このような外装型顔認識モジュール(FRモジュール)の使用は、その活用度が汎用的であり、出入統制システム、IPカメラ用TX及びRX、ドアロック、自動車用キーロック等に活用され、既存の虹彩認識、指紋認識、手静脈認識よりも、使用者の拒否感及び認識速度の桁外れの向上を通じて、速い代替が可能である。
【0045】
図3は、外部の使用者が、前記顔検出認識装置(FDR)を備えて顔検出作業を活用する例を、概念図として作成したものである。
【0046】
図3を参照すると、上述したように、データベースDB2化された顔特性コード(FC)に対する情報を保存している顔検出サーバ30と連結される顔検出認識(FDR)装置20を備えた多数の使用者が、自身が備えた画像入力装置、例えば、前記顔検出認識装置20内に備えられたDVR、あるいは、外部の監視カメラ等を通じて前記顔検出認識装置20に入力される画像信号から確認しようとする人物情報に対するコード(FC)を、顔検出サーバ(FS)30に伝送し、特定人物に対する確認と検索を行うことができるようになる。
【0047】
もちろん、この場合、図2において上述したように、外装型顔認識モジュール(FRモジュール)を同時に装着する場合であれば、前記全体的なシステムの処理容量と検索速度は、顕著に向上することは言うまでもない。
【0048】
図4を参照して、外部画像を導入する装置において、カメラ装備で外部画像を撮影し、本発明による顔検出認識(FDR)装置30に入力して顔を検出するシステムについて具体的に説明する。
【0049】
前記外部の画像を導入する装置において、最も基本となる構成としては、カメラ50と赤外線絞り60と赤外線発光部70との3部分で構成されている。前記赤外線発光部は、赤外線LEDを用いることが好ましい。前記赤外線絞り60は、自然光線をろ過する作用を有し、前記カメラ50レンズの前部に取り付けられる構造で形成されることが好ましい。
【0050】
特に、前記赤外線絞り60は、中心波長の800〜1000nm間、直径が40nmで作製されることが好ましい。また、前記赤外線発光LED70は、その中心波長が800〜1000nm間、直径が40nmで選択されることが好ましい。
【0051】
前記構成要素の作用を検討すると、先ず、前記赤外線発光LED70を用いて、光源を被写体または顔に照らすようになる。その後、光線が反射され、カメラ50の前側にある赤外線絞り60を通じてろ過される。具体的には、前記赤外線絞り60は、赤外線推進光源周波数を除いた自然光、外部光源等の周波光線をろ過するようになる。最後に、ろ過された光線がさらにカメラ50に光線が投射され、顔画像イメージを獲得するようになる。もちろん、画像の処理は、前記獲得した画像イメージに合う電子処理設備に伝達し、顔イメージの識別処理を進行する過程が必要である。一般に、逆光、偏光等の外部自然光の妨害は、赤外線発光LEDの能力に比べて極めて少ないため、自然光の妨害が殆どないと考えてもよく、顔形状イメージは、全的に赤外線発光LEDの作用によるものである。
【0052】
前記顔検出認識(FDR)装置20は、前記カメラ50から入力される画像信号を通じて人の顔部分を抽出して顔イメージを形成し、これを、内部的な演算過程を通じて顔特性コード(FC)を抽出する。前記顔検出認識(FDR)装置は、図1において説明したように、顔検出部(FD部)、データベース、中央処理装置等を備え、特に好ましくは、前記顔検出部は、FD動作の効率性のために、DSPやFD機能を特化して設計された別途のICを用いることが好ましい。
【0053】
以下では、上述した本発明による顔領域検出装置を用いる利用方法に対する一実施例により、本発明の適用方式を具体的に説明する。
【0054】
1.盗難防止機能への適用
このような本発明による顔領域検出装置において、顔イメージを顔特性コードで分類する機能は、汎用的な機能が可能であるところ、例えば、カメラに接近した人の顔にマスクが掛けられ、または、他の物で顔を隠す場合は、顔特性コード(FC)が抽出されないようになる。これにより、感知センサによる単純録画機能のみを有する既存のDVRに生じる問題点を解決することができるようにする。
【0055】
例えば、現金自動預入支払機(ATM)に設置されたDVR画像物を事後検索する際、大部分被疑者で推測される人が、マスクを掛けたり顔を隠したりして、確認不可能な場合を防止することができるものである。若し、マスクを掛けた人が、ATMから現金を引き出そうとする場合、顔検出認識装置(FDR)からFCが抽出されなければ現金引出が不可能であるように、ATMの機能を補完することにより、盗難防止及び犯罪予防ができるようにするものである。
【0056】
2.特定人物のみを録画
特に、使用者が、所望の特定人物または多数の特定人物群の顔特性コード(FC)を設定した場合、前記設定された顔特性コード(FC)が抽出される画像のみを録画することにより、既存のDVRよりも顕著に高い録画可能時間を延長することができる長所を確保することもできる。すなわち、本発明は、特定人物の顔特性コード(FC)を基準とする顔領域検出装置により、前記特定人物が有した顔特性コード(FC)が一致する人の顔として認識する場合にのみ、画像を録画することを特徴とする顔領域検出装置の利用方法を提供する。これにより、犯罪予防のために、特定人物の出現等の録画の必要性がある場合は、録画機能があるDVR等の媒体と連結し、特定人物の顔特性コード(FC)と一致する人物が出現した場合にのみ、録画機能を作動して録画可能にし、活用の汎用性を具現することができるようにする。
【0057】
3.録画画像から特定人物のみの検索
本発明による顔領域検出装置を用いて、録画画像から特定人物のみの検索を行うようにしてもよい。
例えば、DVRに保存された順次的な画像物に含まれた多数の人の顔情報を、顔領域検出方法により、所望の特定人物の顔検出(FD)と、検出された結果物である顔イメージ(FI)をコード化した顔特性コード(FC)に分類し、特定人物が出現する部分の画像物部分のみを検索・選別してディスプレイしまたは別に保存してもよい。これにより、DVRに保存されている多様な人物の群のうち、特定人物が出現する部分のセクションに移動し、または、特定人物の関連した画像部分のみを選別することができる検索指標として前記顔特性コード(FC)を活用し、検索の新たな活用性を提供することができるようにする。
【0058】
具体的に説明すると、極めて長い分量の録画画像物において、既存の方式では、所望の部分の場面をみようとすると、録画時間部分に戻し、その時点で録画された画像をディスプレイする方式を取るようになる。
しかし、本発明を用いる場合は、録画された画像物に存在する顔イメージを備えた特定人物の顔特性コード(FC)を用いて、当該画像物に現れる人物群落から、前記顔特性コード(FC)を備えた特定人物が出現する部分の画像のみを直ちに検索してディスプレイすることができるようになるものである。
【0059】
もちろん、この場合、検索対象となる録画物は、本発明の顔検出認識(FDR)装置内に備えられたDVRを用いてもよく、外部画像機器を連結しても構わない。
【0060】
4.多数の人物群からの特定人物の導出
本発明による場合、運動競技場や多数の群衆が雲集した場合、または、多数の人が往来するコンビニ店等の監視カメラと、本発明の顔検出認識(FDR)と顔検出サーバFSが連動される場合、これをカメラにより録画し、または、画像を入力されるとき、多数の群衆の画像信号を分析し、それぞれの人物を顔特性コード(FC)化し、所望の人物を探すこともできる。
【0061】
したがって、例えば、犯罪容疑者の顔を検出する場合に活用される場合であれば、顔検出認識(FDR)装置のデータベースまたは顔検出サーバ(FS)で所望の容疑者の顔特性コード(FC)と、画像に捉えられた特定人物の顔特性コード(FC)を比較し、現在入力されたFCと一致する容疑者(データベース上に既登録されている人物)のFCとのFC一致率(%)、また、一般的な容疑者の記録事項をモニタにディスプレイすることにより、装置管理及び監督者に、現在入力画像中の人物または表示された一致率以上を有している人物に対する付加身の上情報等を提供して表示することもできる。
【0062】
以下では、上述した本発明の顔領域検出装置において、顔イメージ(FI)を検出する方法について説明する。
【0063】
本方法は、画像入力中に実時間で顔検査及び測定を行う方法として、以下のような順序で進行する。
【0064】
外部画像入力後、顔検査及び測定方法を用いて、入力される画像中から顔を検査及び測定する。もちろん、外部画像の入力は、上述したように録画されたDVRの画像信号により、または、上述した赤外線光源を通じてカメラの画像イメージを入力することを含む。
【0065】
本発明は、AdaBoost統計分割分類器の顔検査及び測定方法により、実時間の正面顔を検査及び測定する。
【0066】
前記顔検査及び測定を行う方法の具体的な実施過程は、以下のようである。
【0067】
イ)入力される動画において、顔検査及び測定方法を用いて、画面から顔を検査及び測定し、もう一度検査及び測定する。
【0068】
ロ)前記イ)過程に記載の動画像の画面での顔検査及び測定方法は、AdaBoost計算方法の多段分類器により具現される。
【0069】
ハ)前記ロ)過程に記載の動画像の画面での顔検査及び測定方法の特徴は、以下の順序で進行されるものである。
i)動画導入 ii)顔抽出 iii)抽出された顔から特徴確認 iv)顔を幾何学的に数値化 v)顔画面を回転、縮小、拡大
ニ)顔検査及び測定のために標準顔画面を得る。
【0070】
ホ)前記ハ)に記載の動画像の画面での顔検査及び測定方法の特徴は、入力された顔画面から左右明暗偏差を除去した後、顔検査及び測定を行う方法である。
【0071】
ヘ)前記ハ)に記載の動画像の画面から顔検査及び測定された実時間の顔画面の縮小拡大過程で、顔画像の微細特徴を計算し分類して判断する。顔の主要位置と距離、また微細な特徴は、数値化された顔値の積分と二乗積分により得られる。
【0072】
ト)前記イ)に記載の動画像の画面での顔検査及び測定方法は、大略検査及び測定と微細検査及び測定との二段階からなる。この場合、微細検査及び測定時の検査密度は、大略検査及び測定時の検査密度よりも高い。
【0073】
チ)前記方法のうち、大略検査及び測定方法は、顔画面を抽出して拡大・縮小し、準備されたデータベースのうち、条件を満たすデータを抽出した後、入力された顔画面を明暗度幾何二乗差計算法−AdaBoostに基づいて計算するものであって、与えられた画面で微細な顔付き特徴を計算するものである−を用いて、明暗の偏差を修正した後、同時に分類部分に送って判断する。その判断結果を、次の段階であるCPU ARMに渡す。
【0074】
リ)前記チ)に記載の動画検査及び測定方法の結果物が、画面に表示される。
【0075】
図5を参照すると、図5は、画像画面が入力され、上記でのAdaBoost方法による多段分類器で実現される検査及び測定の流れを簡略に示すものである。上記のような本発明の好適な実施例によるAdaBoostに基づいた統計、分類、段階的区分の方法は、検査及び測定速度が速く、実時間で入力される動画の検査及び測定が容易であり、左右顔の明暗偏差を除去することにより、照度不均衡による誤謬を予防することができるという長所がある。
【0076】
このように抽出された顔イメージ(FI)は、内部演算過程を経て、顔特性コード化(FC)されてデータベース化される。上述した過程の全般的な部分は、全てFCを顔認識資料として活用する標準的な例を説明したが、顔特性コード段階の前段階である顔イメージ(FI)も、顔認識試料として活用することができることは言うまでもない。
【産業上の利用可能性】
【0077】
本発明によると、特定人物の顔イメージ(FI)を顔特性コード化(FC)して、特定人物の認識及び感知、DVR画像画面における特定人物のみの検索等の作業に適用し、人の顔イメージの検出及び検索作業を容易に行うことができる。これを活用すると、現金自動預入支払機、公共機関、空港等で特定人物を容易に検索することにより、効率的な保安作業や人物の探し出し作業に活用され得る。
【図面の簡単な説明】
【0078】
【図1】本発明による好適な実施例を示す概念図である。
【図2】本発明の他の実施例を示す概念図である。
【図3】本発明による顔領域検出装置の作用状態を示す図である。
【図4】本発明のまた他の一実施例を示す概念図である。
【図5】本発明による顔イメージを検出する段階を示す図である。

【特許請求の範囲】
【請求項1】
入力される画像物から人の顔イメージを抽出する顔検出段階(Face Detection;FD)で抽出された人の顔イメージ(Face Image;FI)を、
内部演算を通じてデータベース化が可能な形態の顔特性コード(Face Feature Code;FC)で符号化する顔検出認識部(Face Detection & Recognition;FDR)と、
前記顔特性コード(FC)をネットワークを介して伝送させ、前記伝送された顔特性コード(FC)と保存された既存の顔特性コードのデータベースを比較して、顔特性が一致するか否かを判断し、前記顔検出認識部に前記判断結果を伝送する顔検出サーバ(Face Server;FS)と、
を備えてなることを特徴とする顔領域検出装置。
【請求項2】
前記顔検出サーバ(FS)が、前記顔検出認識部(FDR)から伝送される顔特性コード(FC)を自体データベースに保存し、前記顔検出認識部(FDR)から抽出される顔イメージ(FI)の情報を伝送され、別途にデータベース化することを特徴とする請求項1に記載の顔領域検出装置。
【請求項3】
前記顔検出サーバ(FS)が、自体的に顔検出作業(FD)と前記顔検出作業(FD)から得られた顔イメージ(FI)を顔特性コード(FC)に転換し、データベース化が可能であることを特徴とする請求項1に記載の顔領域検出装置。
【請求項4】
前記顔検出認識部(FDR)が、その内部に、画像データをデジタル信号に転換するDVR(digital video recorder)をさらに備えてなることを特徴とする請求項1に記載の顔領域検出装置。
【請求項5】
前記入力される画像が、
光源を被写体に照射する赤外線発光部と、
前記赤外線発光部から導出された光源が被写体で反射され、入射される赤外線光を得るカメラにより得られた画像であることを特徴とする請求項4に記載の顔領域検出装置。
【請求項6】
前記カメラが、
前記カメラの前面に付設され、赤外線以外の光線をろ過する赤外線絞りをさらに備えてなることを特徴とする請求項5に記載の顔領域検出装置。
【請求項7】
前記赤外線絞りが、 赤外線以外の光線を選択してろ過するように構成され、中心波長が800〜1000nmである波長を有する光線を選別して通過させる ことを特徴とする請求項6に記載の顔領域検出装置。
【請求項8】
前記赤外線絞りの直径が、10〜40nmであり、
前記赤外線発光部は、直径が10〜40nmである赤外線発光LEDであるが、赤外線放出中心波長が800〜1000nmであることを特徴とする請求項7に記載の顔領域検出装置。
【請求項9】
入力される画像物から人の顔イメージを抽出する顔検出段階(FD)で抽出された人の顔イメージ(FI)を、
内部演算を通じてデータベース化が可能な形態の顔特性コード(FC)で符号化する顔検出認識部(FDR)と、
前記顔検出認識部(FDR)の外部にUSBを通じて直接装着され、前記顔検出認識部(FDR)から伝送される顔特性コード(FC)と、自体保存された既存の顔特性コード(FC)を比較して、顔特性が一致するか否かを判断した後、判断結果を前記顔検出認識部に再伝送する顔認識モジュール(FRモジュール)と、
を備えてなることを特徴とする顔領域検出装置。
【請求項10】
前記顔認識モジュール(FRモジュール)が、前記顔検出認識部(FDR)の内部に内蔵されて装着されることを特徴とする請求項9に記載の顔領域検出装置。
【請求項11】
(1)赤外線光源から被写体に赤外線を照射する段階と、
(2)前記照射された赤外線が被写体から反射されてカメラに画像イメージとして入力される段階と、
(3)顔検出認識部(FDR)において、前記入力された画像イメージから顔イメージ(FI)を抽出し、抽出された前記顔イメージ(FI)を内部演算を通じて顔特性コード(FC)化する段階と、
(4)前記顔特性コード(FC)をネットワークを介して顔検出サーバ(FS)に伝送し、前記顔検出サーバ(FS)に保存された顔特性コードデータと一致するか否かを比較し、比較結果を顔検出認識部(FDR)に再伝送する段階と、
を含んでなることを特徴とする顔領域検査方法。
【請求項12】
前記(1)段階が、赤外線発光LEDにより行われる段階であることを特徴とする請求項11に記載の顔領域検査方法。
【請求項13】
前記(2)段階の画像イメージが、カメラの前面部に設置された絞りを通過する、赤外線放出中心波長が800〜1000nmである画像イメージであることを特徴とする請求項11に記載の顔領域検査方法。
【請求項14】
前記(3)段階は、入力される画像イメージを実時間で正面顔の情報を検索測定してデータ化するが、AdaBoost計算方法の多段分類器により行われることを特徴とする請求項11に記載の顔領域検査方法。
【請求項15】
前記データ化過程が、
1)実時間で入力される画像イメージから顔画面を抽出する段階と、
2)前記抽出された顔画面をAdaBoost法により、大略検査と微細検査を繰り返してデータ値として導出する段階と、
3)前記2)段階で検出されたデータ値を識別位置に伝送する段階と、
4)前記伝送されたデータ値により顔特徴を決定する段階と、
5)前記決定された顔特徴に顔の各部位の幾何学的位置を決定し、左右顔の明暗の偏差を均一化し、最終的な顔画面を導出する段階と、
6)前記5)段階で導出された顔画面を回転、拡大、または収縮して 標準顔画面 に一致する画像を導出する段階と、
を含んでなることを特徴とする請求項14に記載の顔領域検査方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2008−259190(P2008−259190A)
【公開日】平成20年10月23日(2008.10.23)
【国際特許分類】
【出願番号】特願2008−69196(P2008−69196)
【出願日】平成20年3月18日(2008.3.18)
【出願人】(508083862)アートニクス インコーポレイティッド (1)
【Fターム(参考)】