画像処理システム、発熱者特定方法、画像処理装置およびその制御方法と制御プログラム
【課題】多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定すること。
【解決手段】撮影した画像内の人物画像から人物を特定する画像処理システムで、人物画像を蓄積する人物画像蓄積部と、撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出部と、熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出部と、前記抽出された人物画像の特徴と前記人物画像蓄積部に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定部と、前記人物特定部が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出部が測定した熱とを対応付けて登録する登録部と、を備えることを特徴とする。
【解決手段】撮影した画像内の人物画像から人物を特定する画像処理システムで、人物画像を蓄積する人物画像蓄積部と、撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出部と、熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出部と、前記抽出された人物画像の特徴と前記人物画像蓄積部に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定部と、前記人物特定部が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出部が測定した熱とを対応付けて登録する登録部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多数の通行人から発熱者を特定する技術に関する。
【背景技術】
【0002】
上記技術分野において、特許文献1に示されているように、人物が含まれた入力画像の中から人物の顔画像を抽出するために入力画像と比較するテンプレートを作成する技術が知られている。また、特許文献2には、赤外線センサを画素単位に並べて人の体温を感知して正確な人の動きを検知する赤外線カメラが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−333052号公報
【特許文献2】特開2003−259217号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、現在、感染症などの対策として、できるだけ速やかに感染の疑いが有る人物を特定して、必要であれば隔離するなどの処置が重要になっている。しかしながら、多くの人物が往来する場所である、例えば飛行場や学校の校門などで、感染の疑いが有る人物を速やかに精度良く特定するための技術やそのシステムはなかった。そして、上記従来技術を単に寄せ集めるだけでは、多くの人物を含む映像から感染の疑いが有る人物を速やかに特定することはできない。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係るシステムは、
撮影した画像内の人物画像から人物を特定する画像処理システムであって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする。
【0007】
上記目的を達成するため、本発明に係る方法は、
撮影した画像内の人物画像から発熱している人物を特定する発熱者特定方法であって、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする。
【0008】
上記目的を達成するため、本発明に係る装置は、
撮影した画像内の人物画像から人物を特定する画像処理装置であって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする。
【0009】
上記目的を達成するため、本発明に係る方法は、
撮影した画像内の人物画像から人物を特定する画像処理装置の制御方法であって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする。
【0010】
上記目的を達成するため、本発明に係るプログラムは、
撮影した画像内の人物画像から人物を特定する画像処理装置の制御プログラムであって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1実施形態に係る画像処理システムの構成を示すブロック図である。
【図2】本発明の第2実施形態に係る画像処理システムの概念を示す図である。
【図3】本発明の第2実施形態に係る画像処理システムの構成を示すブロック図である。
【図4】本発明の第2実施形態に係る表示部の表示画面を示す図である。
【図5】本発明の第2実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図6】本発明の第2実施形態に係る人物画像DBの構成を示す図である。
【図7】本発明の第2実施形態に係る発熱者登録部の構成を示す図である。
【図8A】本発明の第2実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図8B】本発明の第2実施形態に係る熱画像からの体温測定の処理手順を示すフローチャートである。
【図8C】本発明の第2実施形態に係る顔画像の特徴抽出の処理手順を示すフローチャートである。
【図9】本発明の第3実施形態に係る画像処理システムの概念を示す図である。
【図10】本発明の第3実施形態に係る画像処理システムの構成を示すブロック図である。
【図11】本発明の第3実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図12】本発明の第3実施形態に係る顔画像DBの構成を示す図である。
【図13】本発明の第3実施形態に係る体温履歴DBの構成を示す図である。
【図14】本発明の第3実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0014】
[第1実施形態]
本発明の第1実施形態としての画像処理システム100について、図1を用いて説明する。画像処理システム100は、撮影した画像内の人物画像から人物を特定するシステムである。
【0015】
図1に示すように、画像処理システム100は、人物画像蓄積部111と、人物画像抽出部112と、熱画像検出部113と、人物特定部114と、登録部115と、を含む。人物画像蓄積部111は、人物画像を蓄積する。人物画像抽出部112は、撮影部120により撮影した画像内から人物画像を抽出する。熱画像検出部113は、熱画像撮影部130により撮影した顔画像から熱を測定する。人物特定部114は、抽出された人物画像の特徴と人物画像蓄積部111に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する。登録部115は、人物特定部114が特定した人物の顔画像と、人物の顔画像に対して熱画像検出部113が測定した熱とを対応付けて登録する。
【0016】
本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。
【0017】
[第2実施形態]
次に、本発明の第2実施形態に係る画像処理システムについて説明する。本実施形態では、人物往来が多い場所である飛行場における防疫システムを説明する。本実施形態においては、まず、出入国を管理する飛行場の税関などの各所で発熱者の検出を行なうと同時に、パスポートの写真などに基づいて発熱者特定を行なう。次に、特定した発熱者の情報を、ネットワークを介して、空港の各カウンタや防疫に関連する各機関、あるいは当該発熱者の行き先や人物往来が多い駅やコンビニエンス・ストア(以下、コンビニ)などに送信する。
【0018】
本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できると共に、その人物を迅速に見付けることができる。
【0019】
《本実施形態の画像処理システムの概念》
図2は、本実施形態に係る画像処理システム200の概念を示す図である。
【0020】
図2において210は、飛行場の税関や搭乗出入口、通路、ロビー、カウンタなど人の往来の多い地点において、ビデオカメラによる映像から人物を特定すると共に、熱画像カメラで当該人物の体温を測定し、所定閾値を超える体温の人物を選別して発熱者と推定する。本例では、発熱者の顔画像に対応付けて、パスポート番号や氏名、国籍、年齢などを登録する。なお、発熱者の顔画像は、パスポート写真ではなく、映像から抽出した顔画像の中で人物を特徴付ける情報量が最も多いフレーム選別を行なったショット(以下、ベストショットと言う)を使用するのが望ましい。ベストショットは、例えば、目の間の距離である目間距離や顔の向きの正面の度合いを表わす正面率などを参照して決定される。
【0021】
登録された、発熱者の顔画像、パスポート番号や氏名、国籍、年齢などの情報は、ネットワーク280を介して全部やその一部が次の各部署に送られて、発熱者の追跡を可能とする。各部署としては、空港カウンタのコンピュータ220、警察関係のコンピュータ230、保健所や病院のコンピュータ240、コンビニ/スーパー/デパートなどのコンピュータ250、交通機関の駅にあるコンピュータ260、感染症対策本部270が含まれる。
【0022】
《画像処理システムの構成》
図3は、本実施形態に係る画像処理システム200の構成を示すブロック図である。図3の画像処理システム200においては、空港の画像処理装置210が発熱者を検出して、顔画像と熱とを対応付けて登録し、ネットワーク280を介して通知する。
【0023】
画像処理装置210は、以下の機能構成部を備える。顔画像抽出部301は、空港各所に設置されたビデオカメラ320から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部302は、ビデオカメラ320の近傍に配置された熱画像カメラ330から送られる熱画像から温度(本例では、体温に相当)を検出する。人物特定部304は、顔画像抽出部301が抽出した顔画像の特徴と、人物IDに対応付けて人物画像またはその特徴を蓄積する人物画像DB303(図7参照)からの顔画像の特徴とを比較して、映像中の人物を特定する。
【0024】
通信制御部305は、ネットワーク280を介して、図2に示した各部署のコンピュータ220〜270と通信する。メッセージ解析部306は、通信制御部305で受信したメッセージを解析して、当該画像処理装置210が検出すべき情報の指示や送信すべき情報の内容を、情報選択部307または送信画面生成部309に送る。例えば、受信するメッセージとしては警察からの指名手配などもあるが、本実施形態では、感染症の防疫指示を受信した場合とする。メッセージ解析部306は、感染症の防疫指示に従って、情報選択部307に対して、所定体温Th以上の発熱者を検出するように指示を送る。また、防疫指示に対応する送信画面が送信画面生成部309で準備される。
【0025】
本実施形態の場合には、情報選択部307は、人物特定部304が特定した人物の顔画像に対応して熱画像検出部302が検出した温度が所定体温Th以上の場合に、顔画像と熱(体温)とを関連付けて発熱者登録部308に登録する。なお、図示はしないが、発熱者の情報も同時に登録する(図7参照)。また、情報選択部307は、各人物のベストショットの顔画像を人物特定にために有効な情報として人物画像DB303に記憶する。
【0026】
送信画面生成部309は、メッセージ解析部306の解析結果に従ったフォーマットで送信画面を生成する。表示画面生成部310は、ビデオカメラ320からの映像および熱画像カメラ330からの熱画像、顔画像抽出部301が抽出した顔画像、熱画像検出部302が検出した体温、人物画像DB303に蓄積された人物画像、から表示画面を生成して、表示部340に表示する(図4参照)。なお、図3には、画像処理装置210への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。
【0027】
(表示部の表示画面)
図4は、本実施形態に係る表示部340の表示画面を示す図である。この図面のフォーマットや表示内容は一例であって、これに限定はされない。
【0028】
表示部340には、熱画像カメラ330が検知した熱画像401が一連のフレームで表示される。また、ビデオカメラ320で撮影された映像420が一連のフレームで表示される。熱画像401と映像420の各フレームは時間的に対応しており、ほぼ同じ角度から同じ場面を取得している。403には、一連の映像420の中から対象とする人物が、最もその人物を特徴付ける情報の多いベストショットの静止画が表示される。407は、かかるベストショット403を選択するための検索条件が設定である。特に、顔の正面度と目間とが、ベストショット403の選択の条件となる。
【0029】
404は、人物画像DB303に蓄積されたパスポート画像の一覧であり、図4では、人物特定部304における判断結果の確かさである得点(スコア)の高い順に顔画像が表示されている。405は、ベストショット403で捕らえられた人物の顔画像403aの拡大画像である。一方、406は、パスポート画像一覧404から選択された顔画像の拡大画像である。オペラータは、映像中の拡大画像405とパスポート画像一覧から選択された画像406とを比較して、目視により候補顔画像から最も近い顔画像を選択する。408は、音声を発生するスピーカである。スピーカ408は、通常の音声と共に、発熱者が見付かった場合の警告音を発生する。
【0030】
《画像処理装置のハードウエア構成》
図5は、本実施形態に係る画像処理装置210のハードウエア構成を示すブロック図である。
【0031】
図5で、CPU510は演算制御用のプロセッサであり、プログラムを実行することで図2の各機能構成部を実現する。ROM520は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部305は、ネットワークを介して各部署のコンピュータと通信する。通信は無線でも有線でもよい。
【0032】
RAM540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。541は、ビデオカメラ320から入力されてきた撮影人物画像データである。542は、撮影人物画像データ541と人物画像DB303の画像データとから特定された特定人物IDである。543は、ベストショットを判別しようとしている顔を有する人物を識別する人物IDである。544は、熱画像カメラ330から入力されてきた熱画像データである。545は、各部署のコンピュータから送信され通信制御部305により受信された受信メッセージである。546は、各部署のコンピュータに送信する送信画面データである。547は、表示部340に表示する表示画面データである。
【0033】
ストレージ550は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。303は、図2に前出の人物IDに対応付けて顔画像ほかの情報を蓄積する人物画像DBである(図6参照)。308は、図2に前出の発熱者の情報を登録する発熱者登録部である(図7参照)。ストレージ350には、以下のプログラムが格納される。551は、全体の処理を実行させる画像処理プログラムである。552は、画像処理プログラム551において、ビデオカメラ320の映像から顔画像を抽出する顔画像抽出モジュールである。553は、画像処理プログラム551において、映像から抽出された顔画像の人物を人物画像DB303の顔画像と比較して、人物を特定する人物特定モジュールである。554は、画像処理プログラム551において、熱画像カメラ330の熱画像から熱を測定する熱画像分析モジュールである。555は、画像処理プログラム551において、人物が特定された顔画像と当該人物の熱とを対応付けて送信する送信画面、あるいは表示部340に表示する表示画面を生成する出力画面生成モジュールである。
【0034】
画像処理装置210には、入力インタフェース560を介して、ビデオカメラ320、熱画像カメラ330、入力操作用のキーボード561やポインティングデバイスなどの操作部562が接続される。また、出力インタフェース570を介して表示部340やスピーカ408が接続される。
【0035】
なお、図5には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
【0036】
(人物画像DBの構成)
図6は、本実施形態に係る人物画像DB303の構成を示す図である。
【0037】
本実施形態では、人物ID601に対応付けて、パスポート番号602、氏名603、国籍604、性別605、生年月日606、年齢607などの人物に関する情報が記憶される。そして、パスポート顔画像608と最新のベストショット顔画像609、および顔画像の特徴値610が記憶される。なお、特徴値610は、パスポート顔画像608と最新のベストショット顔画像609の両方、あるいは一方の特徴値が記憶される。なお、特徴値610は、人物特定における顔認識において高速に認識するために記憶されており、種々の顔認識に汎用とする場合は、特に記憶する必要はない。また、人物に関する情報は図6に限定されず、人物画像DB303の用途に対応して増減されてよい。
【0038】
(発熱者登録部の構成)
図7は、本実施形態に係る発熱者登録部308の構成を示す図である。
【0039】
本実施形態では、人物ID701、パスポート番号702、氏名703、国籍704などの人物に関する情報に対応付けて、最新のベストショット顔画像709と体温710とが記憶されている。さらに、入管処理の情報である、入国の目的711、滞在先712、滞在日数713などが記憶される。かかる入管処理の情報は、発熱者を追跡する場合の参考情報として有用である。
【0040】
なお、空港には入出国する人物以外の人物もいるので、人物に関する情報が無い場合もある。図7においては、特定可能な人物720と特定不能な人物730とが記憶されている。特定不能な人物730の人物ID7101がシリアル番号のような一意の人物を特定する番号であればよい。
【0041】
《画像処理装置の処理手順》
図8Aは、本実施形態に係る画像処理装置210の処理手順を示すフローチャートである。このフローチャートは、図5のCPU510がRAM540を使用しながら実行し、図3の各機能構成部を実現する。
【0042】
まず、ステップS801において、ビデオカメラ320から映像を入力する。ステップS803において、入力された映像から顔画像を抽出する。かかる顔画像の抽出は、例えば肌色領域として抽出するものや、まず2つの目をその特徴から抽出して、次に2つの目から顔画像を抽出する方法がある。また、顔データや顔でないデータの典型的なサンプルをたくさん集めて、そのサンプルとの比較から顔らしい画像を抽出する方法もある。かかる抽出方法から、本実施形態では、サンプルとの比較による抽出方法を採用している。かかる抽出方法によれば、特殊な特徴量算出を省きサンブルとの比較処理のみで顔画像を抽出でき、ビデオカメラから入力される実時間の映像から高速に複数の顔画像を抽出可能なので、本実施形態の処理にとって望ましい。ステップS805においては、熱画像カメラ330から入力された熱画像から、ステップS803において抽出した顔画像の人物の体温を測定する(図8B参照)。ステップS807において、測定した体温が閾値Thを越えるかを判断する。越えない場合はステップS803に戻って、同じ映像に映っている他の人物について同様の処理を繰り返す。
【0043】
測定した体温が閾値Thを越えた場合にはステップS809に進んで、発熱者を仮の人物IDを付して発熱者登録部308に登録する。さらに、顔画像のみの送信画面を生成して各部署に通知する。このように、人物の特定前に通知するのは、一刻も早い捜索が必要なためである。
【0044】
続いて、ステップS811において、顔画像の特徴が抽出される(図8C参照)。顔画像の特徴抽出としては、従来から各種のものが提案されているが、本実施形態においては、顔画像の抽出時に使用したような、目間距離や、顔画像中の他の部位などの配置や関連性を特徴とする。次に、ステップS813において、ステップS811で抽出した特徴と、人物画像DB303に蓄積された顔画像あるいはその特徴とを比較して、一致する人物の顔画像があるかを分析する。この場合に、本実施形態では、誰か1人を特定するのではなく、図4のパスポート画像一覧404に示したように、特徴の類似点ごとにスコアを付けて、その合計が大きい順に人物候補として表示する。一番大きいスコアの人物が映像中の人物であればそのまま、別の人物が映像中の人物であればオペレータが選択することで、人物の特定がされる。
【0045】
ステップS815においては、一致する人物がいるか否かが判定される。一致する人物が居なければ発熱者登録部308の情報はそのままである(図7の730参照)。一致する人物が見付かればステップS817に進んで、ステップS809で仮の人物IDで発熱者登録部308に登録した情報を、特定された人物IDに置き換えて、人物に関する情報を追加する(図7の720参照)。また、人物に関する情報を追加した送信情報を生成して、各部署に送信する。
【0046】
なお、図8Aでは、ベストショットの人物画像DB303への登録あるいは更新についての説明は省略した。また、図8Aの処理手順は一例であり、例えば、すべての顔画像を抽出して登録する処理を行ないながら、熱画像から閾値以上の体温を検出した場合に、登録した顔画像から対応する人物を見つけ出すように処理してもよい。
【0047】
(熱画像からの体温測定の処理手順)
図8Bは、本実施形態に係る熱画像からの体温測定の処理手順(S805)を示すフローチャートである。
【0048】
まず、ステップS821において、抽出された顔画像から熱測定に適する優先順位の高い額の中央位置を算出して測定位置選択を行なう。ステップS823においては、額の中央位置での体温測定が可能か否かを判断する。例えば、額に熱画像カメラと皮膚間の妨害物である髪が垂れていた場合や帽子を目深に被っている場合、メガネのフレームで妨害されている場合の有無などが考えられる。額での体温測定が可能ならばステップS831に進んで、体温検出を行なう。体温測定不可と判断されればステップS825に進んで、額の次に体温測定に適している頬の中心位置を算出する。次に、ステップS827において、頬における対応測定が可能であるか否かを判断する。例えば、マスクをしている場合や冬期にマフラーをしている場合などが考えられる。頬での体温測定が可能ならばステップS831に進んで、体温検出を行なう。体温測定不可と判断されればステップS829に進んで、額の次に体温測定に適している他の領域(例えば、口や首すじ)を設定する。ステップS831において、熱画像より対象人物の顔画像の設定部位に対応して体温を検出する。なお、一般に口の中が最も体温測定に適していると認識されており、確実な測定が必要な場合は税関のカウンタなどで強制的に口中から体温測定をすることも可能である。
【0049】
なお、熱画像を取得する熱画像カメラ330や熱画像から熱を検出する技術は良く知られており、本実施形態はその技術を使って熱を測定し、特殊な熱測定技術そのものを開示するものではない。
【0050】
(顔画像の特徴抽出の処理手順)
図8Cは、本実施形態に係る顔画像の特徴抽出の処理手順(S811)を示すフローチャートである。
【0051】
まず、ステップS841において、ビデオカメラ320で撮影された映像中の人物の顔画像からメガネを抽出する。ステップS843において、抽出されたメガネを顔画像から消去する。次に、ステップS845において、撮影された映像中の顔画像からマスクを抽出する。ステップS847において、抽出されたマスクを顔画像から消去する。さらに他の顔画像を変形・変更する装飾品などの装飾品抽出を行なって消去する。そして、ステップS849において、残りの顔画像から特徴を抽出する。
【0052】
[第3実施形態]
次に、本発明の第3実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、上記第2実施形態と比べると、発熱者を追跡するのではなく、閉じられた人物集団内における発熱者の過去の体温履歴を監視する点で異なる。具体的には、学校の登下校時に校門付近で生徒の顔画像を取得して、当該生徒の体温を測定する。毎日の体温を生徒に対応付けて蓄積し、今日の体温がどのような体調によるものなのかを監視し、その結果を表示する。本実施形態においても、ビデオカメラと熱画像カメラとにより、特定された生徒の体温を関連付けて登録する。本実施形態によれば、生徒の健康監視を正確に行なえると共に、インフルエンザなどの感染症の広がりを事前に防止することが可能となる。
【0053】
《本実施形態の画像処理システムの概念》
図9は、本実施形態に係る画像処理システム900の概念を示す図である。
【0054】
図9において910は、学校の校門において、ビデオカメラによる映像から生徒を特定すると共に、熱画像カメラで当該生徒の体温を測定し、所定閾値を超える体温の生徒を発熱者と推定する。なお、本実施形態では、第2実施例と異なり各生徒の体温履歴が蓄積されているので、平均体温や基礎体温などが明瞭であり、一律の閾値でなく生徒に対応して閾値を変化させてもよい。本例では、発熱者の顔画像に対応付けて、体温履歴を登録する。なお、発熱者の顔画像は、生徒手帳などの写真ではなく、映像から抽出した顔画像の中で生徒を特徴付ける情報が最も多いショット(以下、ベストショットと言う)を使用するのが望ましい。
【0055】
画像処理システム900は、生徒名簿930の生徒IDに対応付けて顔画像を登録する顔画像DB940と、体温履歴を蓄積する体温履歴DB950とを有する。校門から送られた発熱者の顔画像と、顔画像DB940に登録された顔画像とは、発熱生徒特定部920で比較して生徒が特定され画像処理装置、は生徒IDに基づいて体温履歴DB950から体温履歴を検索して、読出す。画像処理装置は表示部960に、生徒情報961、対応履歴データ962、体温履歴データに基づく体温の経時変化を表わす体温変化グラフ963、を表示する。なお、画像処理装置は学校内のコンピュータであっても、学外の担当医のコンピュータであってもよいが、担当医のコンピュータであることが望ましい。発熱生徒が感染症(インフルエンザ)であるか否かが早急に判断されて、感染症の場合は速やかに病院に連れて行く、あるいは自宅に送るなどの迅速な対応が可能になる。また、体温履歴から長期的な病気の発見という生徒の健康管理にも役に立つ。
【0056】
《画像処理システムの構成》
図10は、本実施形態に係る画像処理システム900の構成を示すブロック図である。図10の画像処理システム900においては、学校の画像処理装置1010が発熱者を検出して、顔画像と熱とを対応付けて蓄積し、体温履歴を表示する。
【0057】
画像処理装置1010は、以下の機能構成部を備える。顔画像抽出部1011は、校門に設置されたビデオカメラ1020から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部1012は、ビデオカメラ1020の近傍に配置された熱画像カメラ1030から送られる熱画像から温度(本例では、体温に相当)を検出する。生徒特定部1013は、顔画像抽出部1011が抽出した顔画像の特徴と、生徒IDに対応付けて生徒の顔画像またはその特徴を蓄積する顔画像DB940(図12参照)からの顔画像の特徴とを比較して、映像中の生徒を特定する。生徒特定部1013で特定された生徒IDに対応付けて熱画像検出部1012で検出した体温が体温履歴DB950に蓄積される。
【0058】
体温履歴読出部1015は、異常体温検知部1014が所定閾値Thを越える体温を検知した場合に、生徒特定部1013が現在特定している生徒IDに対応する体温履歴を体温履歴DB950から読出す。表示画面生成部1016は、体温履歴読出部1015が読出した体温履歴に基づいて、図9の表示部960に図示したような表示画面を生成して、表示部960に表示する。なお、表示部960は、前述のように、学校内に有ってもよいし、ネットワークを介して担当医の場所に合ってもよい。また、図10には、画像処理装置1010への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。
【0059】
また、完全には一致しないが、その機能から、図10の熱画像検出部1012、生徒特定部1013、異常体温検知部1014、体温履歴読出部1015、が図9の発熱生徒特定部920に相当するものである。
【0060】
《画像処理装置のハードウエア構成》
図11は、本実施形態に係る画像処理装置1010のハードウエア構成を示すブロック図である。
【0061】
図11で、CPU1110は演算制御用のプロセッサであり、プログラムを実行することで図2の各機能構成部を実現する。ROM1120は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
【0062】
RAM1140は、CPU1110が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1140には、本実施形態の実現に必要なデータを記憶する領域が確保されている。1141は、ビデオカメラ1020から入力されてきた入力画像データである。1142は、入力画像データ1141から抽出された顔画像データである。1143は、顔画像データ1142と顔画像DB940の画像データとから特定された特定生徒IDである。1144は、熱画像カメラ1030から入力されてきた熱画像データである。1145は、特定生徒ID1143で特定される特定生徒の検出熱である。1146は、体温を判定するための体温の閾値である。1147は、測定した熱が体温の閾値1146を越える場合にセットされる異常フラグである。1148は、表示部960に表示される表示画面データである。
【0063】
ストレージ1150は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。930は、生徒名と生徒IDとを対応付けて記憶する生徒名簿である。940は、生徒IDに対応付けて顔画像ほかの情報を蓄積する顔画像DBである(図12参照)。950は、生徒IDに対応付けて体温履歴を蓄積する体温履歴DBである(図13参照)。ストレージ1150には、以下のプログラムが格納される。1151は、全体の処理を実行させる画像処理プログラムである。1152は、画像処理プログラム1151において、ビデオカメラ1020の映像から顔画像を抽出する顔画像抽出モジュールである。1153は、画像処理プログラム1151において、映像から抽出された顔画像の人物を顔画像DB940の顔画像と比較して、生徒を特定する生徒特定モジュールである。1154は、画像処理プログラム1151において、熱画像カメラ1030の熱画像から熱を測定する熱画像分析モジュールである。1155は、画像処理プログラム1151において、特定された生徒の対応に関する履歴情報を表示部340に表示する表示画面を生成する表示画面生成モジュールである。
【0064】
画像処理装置210には、入力インタフェース1160を介して、ビデオカメラ1020、熱画像カメラ1030、が接続される。また、出力インタフェース1170を介して表示部960が接続される。
【0065】
なお、図11には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
【0066】
(顔画像DBの構成)
図12は、本実施形態に係る顔画像DB940の構成を示す図である。
【0067】
本実施形態では、生徒ID1201に対応付けて、登録顔画像1202と最新のベストショットの顔画像1203が記憶される。なお、生徒に関する情報は図12に限定されず、顔画像DB940の用途に対応して増減されてよい。
【0068】
(体温履歴DBの構成)
図13は、本実施形態に係る体温履歴DB950の構成を示す図である。
【0069】
本実施形態では、生徒ID1301に対応付けて、基礎体温1302、平均体温1303、対応履歴1304が記憶されている。さらに、体温履歴の日時に対応して、学校の行事などのイベントが記憶されていてもよい。
【0070】
《画像処理装置の処理手順》
図14は、本実施形態に係る画像処理装置1010の処理手順を示すフローチャートである。このフローチャートは、図11のCPU1110がRAM1140を使用しながら実行し、図9および図10の各機能構成部を実現する。
【0071】
まず、ステップS1401において、ビデオカメラ1020からの映像を入力する。次に、ステップS1403において、入力映像から顔画像を抽出する。次に、ステップS1405において、顔画像から特徴を抽出する。なお、ステップS1405は第2実施形態の図8Cで示した手順と同様であるので、図示および説明は省略する。ステップS1407においては、ステップS1405で抽出した顔画像の特徴と、顔画像DB940に登録された顔画像から生徒を特定する。
【0072】
ステップS1409において、特定された生徒の体温を対応する顔画像から測定する。なお、ステップS1409の処理は、第2実施形態の図8Bの処理と同様であるので、図示および説明は省略する。ステップS1411において、生徒IDに対応付けて測定した体温を体温履歴DB950に蓄積する。ステップS1413においては、ステップS1409で測定した体温が閾値Thを越えるか否かが判定される。越えていなければステップS1403に戻って、生徒IDの特定とその生徒の体温の体温履歴DB950への蓄積を繰り返す。
【0073】
測定した体温が閾値Thを越える場合はステップS1415に進んで、体温履歴DB950から生徒IDに基づいて体温履歴を検索して読出す。ステップS1417において、読出した体温履歴に基づいて表示画面を生成する。そして、ステップS1419において、表示部960に表示する。
【0074】
[他の実施形態]
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0075】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
【技術分野】
【0001】
本発明は、多数の通行人から発熱者を特定する技術に関する。
【背景技術】
【0002】
上記技術分野において、特許文献1に示されているように、人物が含まれた入力画像の中から人物の顔画像を抽出するために入力画像と比較するテンプレートを作成する技術が知られている。また、特許文献2には、赤外線センサを画素単位に並べて人の体温を感知して正確な人の動きを検知する赤外線カメラが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−333052号公報
【特許文献2】特開2003−259217号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、現在、感染症などの対策として、できるだけ速やかに感染の疑いが有る人物を特定して、必要であれば隔離するなどの処置が重要になっている。しかしながら、多くの人物が往来する場所である、例えば飛行場や学校の校門などで、感染の疑いが有る人物を速やかに精度良く特定するための技術やそのシステムはなかった。そして、上記従来技術を単に寄せ集めるだけでは、多くの人物を含む映像から感染の疑いが有る人物を速やかに特定することはできない。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係るシステムは、
撮影した画像内の人物画像から人物を特定する画像処理システムであって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする。
【0007】
上記目的を達成するため、本発明に係る方法は、
撮影した画像内の人物画像から発熱している人物を特定する発熱者特定方法であって、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする。
【0008】
上記目的を達成するため、本発明に係る装置は、
撮影した画像内の人物画像から人物を特定する画像処理装置であって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする。
【0009】
上記目的を達成するため、本発明に係る方法は、
撮影した画像内の人物画像から人物を特定する画像処理装置の制御方法であって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする。
【0010】
上記目的を達成するため、本発明に係るプログラムは、
撮影した画像内の人物画像から人物を特定する画像処理装置の制御プログラムであって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
をコンピュータに実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。
【図面の簡単な説明】
【0012】
【図1】本発明の第1実施形態に係る画像処理システムの構成を示すブロック図である。
【図2】本発明の第2実施形態に係る画像処理システムの概念を示す図である。
【図3】本発明の第2実施形態に係る画像処理システムの構成を示すブロック図である。
【図4】本発明の第2実施形態に係る表示部の表示画面を示す図である。
【図5】本発明の第2実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図6】本発明の第2実施形態に係る人物画像DBの構成を示す図である。
【図7】本発明の第2実施形態に係る発熱者登録部の構成を示す図である。
【図8A】本発明の第2実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図8B】本発明の第2実施形態に係る熱画像からの体温測定の処理手順を示すフローチャートである。
【図8C】本発明の第2実施形態に係る顔画像の特徴抽出の処理手順を示すフローチャートである。
【図9】本発明の第3実施形態に係る画像処理システムの概念を示す図である。
【図10】本発明の第3実施形態に係る画像処理システムの構成を示すブロック図である。
【図11】本発明の第3実施形態に係る画像処理装置のハードウエア構成を示すブロック図である。
【図12】本発明の第3実施形態に係る顔画像DBの構成を示す図である。
【図13】本発明の第3実施形態に係る体温履歴DBの構成を示す図である。
【図14】本発明の第3実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0014】
[第1実施形態]
本発明の第1実施形態としての画像処理システム100について、図1を用いて説明する。画像処理システム100は、撮影した画像内の人物画像から人物を特定するシステムである。
【0015】
図1に示すように、画像処理システム100は、人物画像蓄積部111と、人物画像抽出部112と、熱画像検出部113と、人物特定部114と、登録部115と、を含む。人物画像蓄積部111は、人物画像を蓄積する。人物画像抽出部112は、撮影部120により撮影した画像内から人物画像を抽出する。熱画像検出部113は、熱画像撮影部130により撮影した顔画像から熱を測定する。人物特定部114は、抽出された人物画像の特徴と人物画像蓄積部111に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する。登録部115は、人物特定部114が特定した人物の顔画像と、人物の顔画像に対して熱画像検出部113が測定した熱とを対応付けて登録する。
【0016】
本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できる。
【0017】
[第2実施形態]
次に、本発明の第2実施形態に係る画像処理システムについて説明する。本実施形態では、人物往来が多い場所である飛行場における防疫システムを説明する。本実施形態においては、まず、出入国を管理する飛行場の税関などの各所で発熱者の検出を行なうと同時に、パスポートの写真などに基づいて発熱者特定を行なう。次に、特定した発熱者の情報を、ネットワークを介して、空港の各カウンタや防疫に関連する各機関、あるいは当該発熱者の行き先や人物往来が多い駅やコンビニエンス・ストア(以下、コンビニ)などに送信する。
【0018】
本実施形態によれば、多くの人物が往来する場所で、感染の疑いが有る人物を速やかに精度良く特定できると共に、その人物を迅速に見付けることができる。
【0019】
《本実施形態の画像処理システムの概念》
図2は、本実施形態に係る画像処理システム200の概念を示す図である。
【0020】
図2において210は、飛行場の税関や搭乗出入口、通路、ロビー、カウンタなど人の往来の多い地点において、ビデオカメラによる映像から人物を特定すると共に、熱画像カメラで当該人物の体温を測定し、所定閾値を超える体温の人物を選別して発熱者と推定する。本例では、発熱者の顔画像に対応付けて、パスポート番号や氏名、国籍、年齢などを登録する。なお、発熱者の顔画像は、パスポート写真ではなく、映像から抽出した顔画像の中で人物を特徴付ける情報量が最も多いフレーム選別を行なったショット(以下、ベストショットと言う)を使用するのが望ましい。ベストショットは、例えば、目の間の距離である目間距離や顔の向きの正面の度合いを表わす正面率などを参照して決定される。
【0021】
登録された、発熱者の顔画像、パスポート番号や氏名、国籍、年齢などの情報は、ネットワーク280を介して全部やその一部が次の各部署に送られて、発熱者の追跡を可能とする。各部署としては、空港カウンタのコンピュータ220、警察関係のコンピュータ230、保健所や病院のコンピュータ240、コンビニ/スーパー/デパートなどのコンピュータ250、交通機関の駅にあるコンピュータ260、感染症対策本部270が含まれる。
【0022】
《画像処理システムの構成》
図3は、本実施形態に係る画像処理システム200の構成を示すブロック図である。図3の画像処理システム200においては、空港の画像処理装置210が発熱者を検出して、顔画像と熱とを対応付けて登録し、ネットワーク280を介して通知する。
【0023】
画像処理装置210は、以下の機能構成部を備える。顔画像抽出部301は、空港各所に設置されたビデオカメラ320から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部302は、ビデオカメラ320の近傍に配置された熱画像カメラ330から送られる熱画像から温度(本例では、体温に相当)を検出する。人物特定部304は、顔画像抽出部301が抽出した顔画像の特徴と、人物IDに対応付けて人物画像またはその特徴を蓄積する人物画像DB303(図7参照)からの顔画像の特徴とを比較して、映像中の人物を特定する。
【0024】
通信制御部305は、ネットワーク280を介して、図2に示した各部署のコンピュータ220〜270と通信する。メッセージ解析部306は、通信制御部305で受信したメッセージを解析して、当該画像処理装置210が検出すべき情報の指示や送信すべき情報の内容を、情報選択部307または送信画面生成部309に送る。例えば、受信するメッセージとしては警察からの指名手配などもあるが、本実施形態では、感染症の防疫指示を受信した場合とする。メッセージ解析部306は、感染症の防疫指示に従って、情報選択部307に対して、所定体温Th以上の発熱者を検出するように指示を送る。また、防疫指示に対応する送信画面が送信画面生成部309で準備される。
【0025】
本実施形態の場合には、情報選択部307は、人物特定部304が特定した人物の顔画像に対応して熱画像検出部302が検出した温度が所定体温Th以上の場合に、顔画像と熱(体温)とを関連付けて発熱者登録部308に登録する。なお、図示はしないが、発熱者の情報も同時に登録する(図7参照)。また、情報選択部307は、各人物のベストショットの顔画像を人物特定にために有効な情報として人物画像DB303に記憶する。
【0026】
送信画面生成部309は、メッセージ解析部306の解析結果に従ったフォーマットで送信画面を生成する。表示画面生成部310は、ビデオカメラ320からの映像および熱画像カメラ330からの熱画像、顔画像抽出部301が抽出した顔画像、熱画像検出部302が検出した体温、人物画像DB303に蓄積された人物画像、から表示画面を生成して、表示部340に表示する(図4参照)。なお、図3には、画像処理装置210への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。
【0027】
(表示部の表示画面)
図4は、本実施形態に係る表示部340の表示画面を示す図である。この図面のフォーマットや表示内容は一例であって、これに限定はされない。
【0028】
表示部340には、熱画像カメラ330が検知した熱画像401が一連のフレームで表示される。また、ビデオカメラ320で撮影された映像420が一連のフレームで表示される。熱画像401と映像420の各フレームは時間的に対応しており、ほぼ同じ角度から同じ場面を取得している。403には、一連の映像420の中から対象とする人物が、最もその人物を特徴付ける情報の多いベストショットの静止画が表示される。407は、かかるベストショット403を選択するための検索条件が設定である。特に、顔の正面度と目間とが、ベストショット403の選択の条件となる。
【0029】
404は、人物画像DB303に蓄積されたパスポート画像の一覧であり、図4では、人物特定部304における判断結果の確かさである得点(スコア)の高い順に顔画像が表示されている。405は、ベストショット403で捕らえられた人物の顔画像403aの拡大画像である。一方、406は、パスポート画像一覧404から選択された顔画像の拡大画像である。オペラータは、映像中の拡大画像405とパスポート画像一覧から選択された画像406とを比較して、目視により候補顔画像から最も近い顔画像を選択する。408は、音声を発生するスピーカである。スピーカ408は、通常の音声と共に、発熱者が見付かった場合の警告音を発生する。
【0030】
《画像処理装置のハードウエア構成》
図5は、本実施形態に係る画像処理装置210のハードウエア構成を示すブロック図である。
【0031】
図5で、CPU510は演算制御用のプロセッサであり、プログラムを実行することで図2の各機能構成部を実現する。ROM520は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部305は、ネットワークを介して各部署のコンピュータと通信する。通信は無線でも有線でもよい。
【0032】
RAM540は、CPU510が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM540には、本実施形態の実現に必要なデータを記憶する領域が確保されている。541は、ビデオカメラ320から入力されてきた撮影人物画像データである。542は、撮影人物画像データ541と人物画像DB303の画像データとから特定された特定人物IDである。543は、ベストショットを判別しようとしている顔を有する人物を識別する人物IDである。544は、熱画像カメラ330から入力されてきた熱画像データである。545は、各部署のコンピュータから送信され通信制御部305により受信された受信メッセージである。546は、各部署のコンピュータに送信する送信画面データである。547は、表示部340に表示する表示画面データである。
【0033】
ストレージ550は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。303は、図2に前出の人物IDに対応付けて顔画像ほかの情報を蓄積する人物画像DBである(図6参照)。308は、図2に前出の発熱者の情報を登録する発熱者登録部である(図7参照)。ストレージ350には、以下のプログラムが格納される。551は、全体の処理を実行させる画像処理プログラムである。552は、画像処理プログラム551において、ビデオカメラ320の映像から顔画像を抽出する顔画像抽出モジュールである。553は、画像処理プログラム551において、映像から抽出された顔画像の人物を人物画像DB303の顔画像と比較して、人物を特定する人物特定モジュールである。554は、画像処理プログラム551において、熱画像カメラ330の熱画像から熱を測定する熱画像分析モジュールである。555は、画像処理プログラム551において、人物が特定された顔画像と当該人物の熱とを対応付けて送信する送信画面、あるいは表示部340に表示する表示画面を生成する出力画面生成モジュールである。
【0034】
画像処理装置210には、入力インタフェース560を介して、ビデオカメラ320、熱画像カメラ330、入力操作用のキーボード561やポインティングデバイスなどの操作部562が接続される。また、出力インタフェース570を介して表示部340やスピーカ408が接続される。
【0035】
なお、図5には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
【0036】
(人物画像DBの構成)
図6は、本実施形態に係る人物画像DB303の構成を示す図である。
【0037】
本実施形態では、人物ID601に対応付けて、パスポート番号602、氏名603、国籍604、性別605、生年月日606、年齢607などの人物に関する情報が記憶される。そして、パスポート顔画像608と最新のベストショット顔画像609、および顔画像の特徴値610が記憶される。なお、特徴値610は、パスポート顔画像608と最新のベストショット顔画像609の両方、あるいは一方の特徴値が記憶される。なお、特徴値610は、人物特定における顔認識において高速に認識するために記憶されており、種々の顔認識に汎用とする場合は、特に記憶する必要はない。また、人物に関する情報は図6に限定されず、人物画像DB303の用途に対応して増減されてよい。
【0038】
(発熱者登録部の構成)
図7は、本実施形態に係る発熱者登録部308の構成を示す図である。
【0039】
本実施形態では、人物ID701、パスポート番号702、氏名703、国籍704などの人物に関する情報に対応付けて、最新のベストショット顔画像709と体温710とが記憶されている。さらに、入管処理の情報である、入国の目的711、滞在先712、滞在日数713などが記憶される。かかる入管処理の情報は、発熱者を追跡する場合の参考情報として有用である。
【0040】
なお、空港には入出国する人物以外の人物もいるので、人物に関する情報が無い場合もある。図7においては、特定可能な人物720と特定不能な人物730とが記憶されている。特定不能な人物730の人物ID7101がシリアル番号のような一意の人物を特定する番号であればよい。
【0041】
《画像処理装置の処理手順》
図8Aは、本実施形態に係る画像処理装置210の処理手順を示すフローチャートである。このフローチャートは、図5のCPU510がRAM540を使用しながら実行し、図3の各機能構成部を実現する。
【0042】
まず、ステップS801において、ビデオカメラ320から映像を入力する。ステップS803において、入力された映像から顔画像を抽出する。かかる顔画像の抽出は、例えば肌色領域として抽出するものや、まず2つの目をその特徴から抽出して、次に2つの目から顔画像を抽出する方法がある。また、顔データや顔でないデータの典型的なサンプルをたくさん集めて、そのサンプルとの比較から顔らしい画像を抽出する方法もある。かかる抽出方法から、本実施形態では、サンプルとの比較による抽出方法を採用している。かかる抽出方法によれば、特殊な特徴量算出を省きサンブルとの比較処理のみで顔画像を抽出でき、ビデオカメラから入力される実時間の映像から高速に複数の顔画像を抽出可能なので、本実施形態の処理にとって望ましい。ステップS805においては、熱画像カメラ330から入力された熱画像から、ステップS803において抽出した顔画像の人物の体温を測定する(図8B参照)。ステップS807において、測定した体温が閾値Thを越えるかを判断する。越えない場合はステップS803に戻って、同じ映像に映っている他の人物について同様の処理を繰り返す。
【0043】
測定した体温が閾値Thを越えた場合にはステップS809に進んで、発熱者を仮の人物IDを付して発熱者登録部308に登録する。さらに、顔画像のみの送信画面を生成して各部署に通知する。このように、人物の特定前に通知するのは、一刻も早い捜索が必要なためである。
【0044】
続いて、ステップS811において、顔画像の特徴が抽出される(図8C参照)。顔画像の特徴抽出としては、従来から各種のものが提案されているが、本実施形態においては、顔画像の抽出時に使用したような、目間距離や、顔画像中の他の部位などの配置や関連性を特徴とする。次に、ステップS813において、ステップS811で抽出した特徴と、人物画像DB303に蓄積された顔画像あるいはその特徴とを比較して、一致する人物の顔画像があるかを分析する。この場合に、本実施形態では、誰か1人を特定するのではなく、図4のパスポート画像一覧404に示したように、特徴の類似点ごとにスコアを付けて、その合計が大きい順に人物候補として表示する。一番大きいスコアの人物が映像中の人物であればそのまま、別の人物が映像中の人物であればオペレータが選択することで、人物の特定がされる。
【0045】
ステップS815においては、一致する人物がいるか否かが判定される。一致する人物が居なければ発熱者登録部308の情報はそのままである(図7の730参照)。一致する人物が見付かればステップS817に進んで、ステップS809で仮の人物IDで発熱者登録部308に登録した情報を、特定された人物IDに置き換えて、人物に関する情報を追加する(図7の720参照)。また、人物に関する情報を追加した送信情報を生成して、各部署に送信する。
【0046】
なお、図8Aでは、ベストショットの人物画像DB303への登録あるいは更新についての説明は省略した。また、図8Aの処理手順は一例であり、例えば、すべての顔画像を抽出して登録する処理を行ないながら、熱画像から閾値以上の体温を検出した場合に、登録した顔画像から対応する人物を見つけ出すように処理してもよい。
【0047】
(熱画像からの体温測定の処理手順)
図8Bは、本実施形態に係る熱画像からの体温測定の処理手順(S805)を示すフローチャートである。
【0048】
まず、ステップS821において、抽出された顔画像から熱測定に適する優先順位の高い額の中央位置を算出して測定位置選択を行なう。ステップS823においては、額の中央位置での体温測定が可能か否かを判断する。例えば、額に熱画像カメラと皮膚間の妨害物である髪が垂れていた場合や帽子を目深に被っている場合、メガネのフレームで妨害されている場合の有無などが考えられる。額での体温測定が可能ならばステップS831に進んで、体温検出を行なう。体温測定不可と判断されればステップS825に進んで、額の次に体温測定に適している頬の中心位置を算出する。次に、ステップS827において、頬における対応測定が可能であるか否かを判断する。例えば、マスクをしている場合や冬期にマフラーをしている場合などが考えられる。頬での体温測定が可能ならばステップS831に進んで、体温検出を行なう。体温測定不可と判断されればステップS829に進んで、額の次に体温測定に適している他の領域(例えば、口や首すじ)を設定する。ステップS831において、熱画像より対象人物の顔画像の設定部位に対応して体温を検出する。なお、一般に口の中が最も体温測定に適していると認識されており、確実な測定が必要な場合は税関のカウンタなどで強制的に口中から体温測定をすることも可能である。
【0049】
なお、熱画像を取得する熱画像カメラ330や熱画像から熱を検出する技術は良く知られており、本実施形態はその技術を使って熱を測定し、特殊な熱測定技術そのものを開示するものではない。
【0050】
(顔画像の特徴抽出の処理手順)
図8Cは、本実施形態に係る顔画像の特徴抽出の処理手順(S811)を示すフローチャートである。
【0051】
まず、ステップS841において、ビデオカメラ320で撮影された映像中の人物の顔画像からメガネを抽出する。ステップS843において、抽出されたメガネを顔画像から消去する。次に、ステップS845において、撮影された映像中の顔画像からマスクを抽出する。ステップS847において、抽出されたマスクを顔画像から消去する。さらに他の顔画像を変形・変更する装飾品などの装飾品抽出を行なって消去する。そして、ステップS849において、残りの顔画像から特徴を抽出する。
【0052】
[第3実施形態]
次に、本発明の第3実施形態に係る画像処理システムについて説明する。本実施形態に係る画像処理システムは、上記第2実施形態と比べると、発熱者を追跡するのではなく、閉じられた人物集団内における発熱者の過去の体温履歴を監視する点で異なる。具体的には、学校の登下校時に校門付近で生徒の顔画像を取得して、当該生徒の体温を測定する。毎日の体温を生徒に対応付けて蓄積し、今日の体温がどのような体調によるものなのかを監視し、その結果を表示する。本実施形態においても、ビデオカメラと熱画像カメラとにより、特定された生徒の体温を関連付けて登録する。本実施形態によれば、生徒の健康監視を正確に行なえると共に、インフルエンザなどの感染症の広がりを事前に防止することが可能となる。
【0053】
《本実施形態の画像処理システムの概念》
図9は、本実施形態に係る画像処理システム900の概念を示す図である。
【0054】
図9において910は、学校の校門において、ビデオカメラによる映像から生徒を特定すると共に、熱画像カメラで当該生徒の体温を測定し、所定閾値を超える体温の生徒を発熱者と推定する。なお、本実施形態では、第2実施例と異なり各生徒の体温履歴が蓄積されているので、平均体温や基礎体温などが明瞭であり、一律の閾値でなく生徒に対応して閾値を変化させてもよい。本例では、発熱者の顔画像に対応付けて、体温履歴を登録する。なお、発熱者の顔画像は、生徒手帳などの写真ではなく、映像から抽出した顔画像の中で生徒を特徴付ける情報が最も多いショット(以下、ベストショットと言う)を使用するのが望ましい。
【0055】
画像処理システム900は、生徒名簿930の生徒IDに対応付けて顔画像を登録する顔画像DB940と、体温履歴を蓄積する体温履歴DB950とを有する。校門から送られた発熱者の顔画像と、顔画像DB940に登録された顔画像とは、発熱生徒特定部920で比較して生徒が特定され画像処理装置、は生徒IDに基づいて体温履歴DB950から体温履歴を検索して、読出す。画像処理装置は表示部960に、生徒情報961、対応履歴データ962、体温履歴データに基づく体温の経時変化を表わす体温変化グラフ963、を表示する。なお、画像処理装置は学校内のコンピュータであっても、学外の担当医のコンピュータであってもよいが、担当医のコンピュータであることが望ましい。発熱生徒が感染症(インフルエンザ)であるか否かが早急に判断されて、感染症の場合は速やかに病院に連れて行く、あるいは自宅に送るなどの迅速な対応が可能になる。また、体温履歴から長期的な病気の発見という生徒の健康管理にも役に立つ。
【0056】
《画像処理システムの構成》
図10は、本実施形態に係る画像処理システム900の構成を示すブロック図である。図10の画像処理システム900においては、学校の画像処理装置1010が発熱者を検出して、顔画像と熱とを対応付けて蓄積し、体温履歴を表示する。
【0057】
画像処理装置1010は、以下の機能構成部を備える。顔画像抽出部1011は、校門に設置されたビデオカメラ1020から送られる映像中から人物を抽出し、さらにその人物の顔画像を抽出する。一方、熱画像検出部1012は、ビデオカメラ1020の近傍に配置された熱画像カメラ1030から送られる熱画像から温度(本例では、体温に相当)を検出する。生徒特定部1013は、顔画像抽出部1011が抽出した顔画像の特徴と、生徒IDに対応付けて生徒の顔画像またはその特徴を蓄積する顔画像DB940(図12参照)からの顔画像の特徴とを比較して、映像中の生徒を特定する。生徒特定部1013で特定された生徒IDに対応付けて熱画像検出部1012で検出した体温が体温履歴DB950に蓄積される。
【0058】
体温履歴読出部1015は、異常体温検知部1014が所定閾値Thを越える体温を検知した場合に、生徒特定部1013が現在特定している生徒IDに対応する体温履歴を体温履歴DB950から読出す。表示画面生成部1016は、体温履歴読出部1015が読出した体温履歴に基づいて、図9の表示部960に図示したような表示画面を生成して、表示部960に表示する。なお、表示部960は、前述のように、学校内に有ってもよいし、ネットワークを介して担当医の場所に合ってもよい。また、図10には、画像処理装置1010への指示を入力する機能構成部は図示されていないが、キーボードやポインティングデバイスがあってよい。
【0059】
また、完全には一致しないが、その機能から、図10の熱画像検出部1012、生徒特定部1013、異常体温検知部1014、体温履歴読出部1015、が図9の発熱生徒特定部920に相当するものである。
【0060】
《画像処理装置のハードウエア構成》
図11は、本実施形態に係る画像処理装置1010のハードウエア構成を示すブロック図である。
【0061】
図11で、CPU1110は演算制御用のプロセッサであり、プログラムを実行することで図2の各機能構成部を実現する。ROM1120は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
【0062】
RAM1140は、CPU1110が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM1140には、本実施形態の実現に必要なデータを記憶する領域が確保されている。1141は、ビデオカメラ1020から入力されてきた入力画像データである。1142は、入力画像データ1141から抽出された顔画像データである。1143は、顔画像データ1142と顔画像DB940の画像データとから特定された特定生徒IDである。1144は、熱画像カメラ1030から入力されてきた熱画像データである。1145は、特定生徒ID1143で特定される特定生徒の検出熱である。1146は、体温を判定するための体温の閾値である。1147は、測定した熱が体温の閾値1146を越える場合にセットされる異常フラグである。1148は、表示部960に表示される表示画面データである。
【0063】
ストレージ1150は、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。930は、生徒名と生徒IDとを対応付けて記憶する生徒名簿である。940は、生徒IDに対応付けて顔画像ほかの情報を蓄積する顔画像DBである(図12参照)。950は、生徒IDに対応付けて体温履歴を蓄積する体温履歴DBである(図13参照)。ストレージ1150には、以下のプログラムが格納される。1151は、全体の処理を実行させる画像処理プログラムである。1152は、画像処理プログラム1151において、ビデオカメラ1020の映像から顔画像を抽出する顔画像抽出モジュールである。1153は、画像処理プログラム1151において、映像から抽出された顔画像の人物を顔画像DB940の顔画像と比較して、生徒を特定する生徒特定モジュールである。1154は、画像処理プログラム1151において、熱画像カメラ1030の熱画像から熱を測定する熱画像分析モジュールである。1155は、画像処理プログラム1151において、特定された生徒の対応に関する履歴情報を表示部340に表示する表示画面を生成する表示画面生成モジュールである。
【0064】
画像処理装置210には、入力インタフェース1160を介して、ビデオカメラ1020、熱画像カメラ1030、が接続される。また、出力インタフェース1170を介して表示部960が接続される。
【0065】
なお、図11には、本実施形態に必須なデータやプログラムのみが示されており、OSなどの汎用のデータやプログラムは図示されていない。
【0066】
(顔画像DBの構成)
図12は、本実施形態に係る顔画像DB940の構成を示す図である。
【0067】
本実施形態では、生徒ID1201に対応付けて、登録顔画像1202と最新のベストショットの顔画像1203が記憶される。なお、生徒に関する情報は図12に限定されず、顔画像DB940の用途に対応して増減されてよい。
【0068】
(体温履歴DBの構成)
図13は、本実施形態に係る体温履歴DB950の構成を示す図である。
【0069】
本実施形態では、生徒ID1301に対応付けて、基礎体温1302、平均体温1303、対応履歴1304が記憶されている。さらに、体温履歴の日時に対応して、学校の行事などのイベントが記憶されていてもよい。
【0070】
《画像処理装置の処理手順》
図14は、本実施形態に係る画像処理装置1010の処理手順を示すフローチャートである。このフローチャートは、図11のCPU1110がRAM1140を使用しながら実行し、図9および図10の各機能構成部を実現する。
【0071】
まず、ステップS1401において、ビデオカメラ1020からの映像を入力する。次に、ステップS1403において、入力映像から顔画像を抽出する。次に、ステップS1405において、顔画像から特徴を抽出する。なお、ステップS1405は第2実施形態の図8Cで示した手順と同様であるので、図示および説明は省略する。ステップS1407においては、ステップS1405で抽出した顔画像の特徴と、顔画像DB940に登録された顔画像から生徒を特定する。
【0072】
ステップS1409において、特定された生徒の体温を対応する顔画像から測定する。なお、ステップS1409の処理は、第2実施形態の図8Bの処理と同様であるので、図示および説明は省略する。ステップS1411において、生徒IDに対応付けて測定した体温を体温履歴DB950に蓄積する。ステップS1413においては、ステップS1409で測定した体温が閾値Thを越えるか否かが判定される。越えていなければステップS1403に戻って、生徒IDの特定とその生徒の体温の体温履歴DB950への蓄積を繰り返す。
【0073】
測定した体温が閾値Thを越える場合はステップS1415に進んで、体温履歴DB950から生徒IDに基づいて体温履歴を検索して読出す。ステップS1417において、読出した体温履歴に基づいて表示画面を生成する。そして、ステップS1419において、表示部960に表示する。
【0074】
[他の実施形態]
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【0075】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。
【特許請求の範囲】
【請求項1】
撮影した画像内の人物画像から人物を特定する画像処理システムであって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記熱が所定閾値を超える人物の顔画像を選別する選別手段と、
前記選別手段が選別した顔画像を、前記人物を追跡するために出力する出力手段と、
をさらに備えることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記人物画像蓄積手段は、パスポートの人物画像を蓄積し、
前記撮影手段および前記熱画像撮影手段は、出入国を管理する場所に配置されることを特徴とする請求項1または2に記載の画像処理システム。
【請求項4】
前記熱が所定閾値を超える人物の顔画像を選別する選別手段と、
前記選別手段が選別した顔画像を前記登録手段から検索して、前記顔画像により特定される人物の熱の経時変化を出力する出力手段と、
をさらに備えることを特徴とする請求項1に記載の画像処理システム。
【請求項5】
前記人物画像蓄積手段は、生徒の人物画像を蓄積し、
前記撮影手段および前記熱画像撮影手段は、学校の校門に配置されることを特徴とする請求項1または4に記載の画像処理システム。
【請求項6】
前記撮影手段は、一連のフレームを撮影する手段であって、
前記人物画像抽出手段は、
前記一連のフレームの各フレームから顔データや顔でないデータの典型的なサンプルとの比較に基づいて顔画像を抽出する顔画像抽出手段と、
前記一連のフレームから、2つの目の間の距離が長く、かつ、前記顔画像の正面度が高い顔画像を含むフレームを選別するフレーム選別手段と、
を有することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理システム。
【請求項7】
前記熱画像検出手段は、あらかじめ決められた優先順位と前記熱画像撮影手段と皮膚間にある妨害物の有無とに基づいて、顔画像から熱を測定する部位を選択する測定位置選択手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理システム。
【請求項8】
前記人物特定手段は、前記撮影手段が撮影した一連の複数のフレームから、対象の人物画像が特徴を表わす情報量をより多く有するフレームを、特徴を比較するベストショットとして選択する選択手段を有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理システム。
【請求項9】
前記選択手段は、少なくとも、目の間の距離である目間距離と顔の向きの正面の度合いを表わす正面率とを参照して、対象の人物画像が特徴を表わす情報量をより多く有するフレームを選択することを特徴とする請求項8に記載の画像処理システム。
【請求項10】
前記人物特定手段は、対象の人物画像からメガネやマスクを含む装飾品を抽出する装飾品抽出手段を有し、
前記装飾品を消去した人物画像の特徴から人物を特定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理システム。
【請求項11】
撮影した画像内の人物画像から発熱している人物を特定する発熱者特定方法であって、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする発熱者特定方法。
【請求項12】
撮影した画像内の人物画像から人物を特定する画像処理装置であって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする画像処理装置。
【請求項13】
撮影した画像内の人物画像から人物を特定する画像処理装置の制御方法であって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする画像処理装置の制御方法。
【請求項14】
撮影した画像内の人物画像から人物を特定する画像処理装置の制御プログラムであって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【請求項1】
撮影した画像内の人物画像から人物を特定する画像処理システムであって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする画像処理システム。
【請求項2】
前記熱が所定閾値を超える人物の顔画像を選別する選別手段と、
前記選別手段が選別した顔画像を、前記人物を追跡するために出力する出力手段と、
をさらに備えることを特徴とする請求項1に記載の画像処理システム。
【請求項3】
前記人物画像蓄積手段は、パスポートの人物画像を蓄積し、
前記撮影手段および前記熱画像撮影手段は、出入国を管理する場所に配置されることを特徴とする請求項1または2に記載の画像処理システム。
【請求項4】
前記熱が所定閾値を超える人物の顔画像を選別する選別手段と、
前記選別手段が選別した顔画像を前記登録手段から検索して、前記顔画像により特定される人物の熱の経時変化を出力する出力手段と、
をさらに備えることを特徴とする請求項1に記載の画像処理システム。
【請求項5】
前記人物画像蓄積手段は、生徒の人物画像を蓄積し、
前記撮影手段および前記熱画像撮影手段は、学校の校門に配置されることを特徴とする請求項1または4に記載の画像処理システム。
【請求項6】
前記撮影手段は、一連のフレームを撮影する手段であって、
前記人物画像抽出手段は、
前記一連のフレームの各フレームから顔データや顔でないデータの典型的なサンプルとの比較に基づいて顔画像を抽出する顔画像抽出手段と、
前記一連のフレームから、2つの目の間の距離が長く、かつ、前記顔画像の正面度が高い顔画像を含むフレームを選別するフレーム選別手段と、
を有することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理システム。
【請求項7】
前記熱画像検出手段は、あらかじめ決められた優先順位と前記熱画像撮影手段と皮膚間にある妨害物の有無とに基づいて、顔画像から熱を測定する部位を選択する測定位置選択手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理システム。
【請求項8】
前記人物特定手段は、前記撮影手段が撮影した一連の複数のフレームから、対象の人物画像が特徴を表わす情報量をより多く有するフレームを、特徴を比較するベストショットとして選択する選択手段を有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理システム。
【請求項9】
前記選択手段は、少なくとも、目の間の距離である目間距離と顔の向きの正面の度合いを表わす正面率とを参照して、対象の人物画像が特徴を表わす情報量をより多く有するフレームを選択することを特徴とする請求項8に記載の画像処理システム。
【請求項10】
前記人物特定手段は、対象の人物画像からメガネやマスクを含む装飾品を抽出する装飾品抽出手段を有し、
前記装飾品を消去した人物画像の特徴から人物を特定することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理システム。
【請求項11】
撮影した画像内の人物画像から発熱している人物を特定する発熱者特定方法であって、
撮影手段により撮影した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影した顔画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする発熱者特定方法。
【請求項12】
撮影した画像内の人物画像から人物を特定する画像処理装置であって、
人物画像を蓄積する人物画像蓄積手段と、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出手段と、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出手段と、
前記抽出された人物画像の特徴と前記人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定手段と、
前記人物特定手段が特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出手段が測定した熱とを対応付けて登録する登録手段と、
を備えることを特徴とする画像処理装置。
【請求項13】
撮影した画像内の人物画像から人物を特定する画像処理装置の制御方法であって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
を含むことを特徴とする画像処理装置の制御方法。
【請求項14】
撮影した画像内の人物画像から人物を特定する画像処理装置の制御プログラムであって、
撮影手段により撮影された画像を受信して、前記受信した画像内から人物画像を抽出する人物画像抽出ステップと、
熱画像撮影手段により撮影された顔画像を受信して、前記受信した熱画像から熱を測定する熱画像検出ステップと、
前記抽出された人物画像の特徴と、人物画像を蓄積する人物画像蓄積手段に蓄積された人物画像の特徴とを比較して、撮影した画像内の人物を特定する人物特定ステップと、
前記人物特定ステップにおいて特定した人物の顔画像と、前記人物の顔画像に対して前記熱画像検出ステップにおいて測定した熱とを対応付けて登録する登録ステップと、
をコンピュータに実行させることを特徴とする制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−235415(P2012−235415A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−104164(P2011−104164)
【出願日】平成23年5月9日(2011.5.9)
【出願人】(000164449)九州日本電気ソフトウェア株式会社 (67)
【Fターム(参考)】
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願日】平成23年5月9日(2011.5.9)
【出願人】(000164449)九州日本電気ソフトウェア株式会社 (67)
【Fターム(参考)】
[ Back to top ]