物体検知方法及びその装置
【課題】 撮影条件に応じて適切な認識方式を適用可能な物体検知装置を提供する。
【解決手段】 撮像部１０の撮像方向を設定する撮影モード設定部８０と、設定された撮影モードに基づいて物体辞書記憶部６０から使用する認識辞書を設定する辞書設定部７０と、撮像部１０で撮像した画像から設定された前記認識辞書により所定の物体を認識して検知する物体認識部４０とを備える。
【解決手段】 撮像部１０の撮像方向を設定する撮影モード設定部８０と、設定された撮影モードに基づいて物体辞書記憶部６０から使用する認識辞書を設定する辞書設定部７０と、撮像部１０で撮像した画像から設定された前記認識辞書により所定の物体を認識して検知する物体認識部４０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知方法及びその装置に関し、特に、カメラ等の撮像装置で撮影した画像から通行者を検知して、その数を計測するための物体検知方法およびその装置に関する。
【背景技術】
【０００２】
近年、セキュリティのために店舗内への監視カメラの設置が急速に普及している。また、そのようなカメラを使って、映像を取得するだけでなく、店舗に出入り、または、付近を通行した人の数を自動的にカウントし、店舗のマーケティング調査に使用することも提案されている。
【０００３】
このような所定領域における通行人をカメラ映像から自動的にカウントする技術が、特許文献１に記載されている。この特許文献１では、図２に示すように通路の上方から真下に向けてカメラ２を設置し、カメラ上方から見た人間１の頭の形状が円であることから、カメラ映像から円形の物体を抽出することで人間を検知、カウントするようにしている。
【０００４】
一方、近年、以下に示す非特許文献１、２で提案されているような技術を用いて、画像から顔を検出する技術の実用化が進んでいる。このような技術を利用して、図３に示すように通路の前方にカメラ４を設置して、カメラ映像から顔を検出することで人間３をカウントすることも可能である。
【特許文献１】特開平４−１９９４８７号公報
【非特許文献１】Ｒｏｗｌｅｙ ｅｔ ａｌ，“Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２０，ＮＯ．１，ＪＡＮＵＡＲＹ １９９８
【非特許文献２】Ｖｉｏｌａ ａｎｄ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’０１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、人間をカウントしたい場合に、例えば、天井に設置したカメラで真下を通過する人間をカウントするのか、通路の側面に設置したカメラで横切る人間をカウントするのかによって認識対象となるパターンは異なる。従って必要となる認識機能も異なる。よって、逆にシステムに実装されている認識機能に依存して、カメラをどこにどのように設置するかが制限されてしまうといった問題があった。本発明の目的は、前記問題点を解決すべく、撮影条件に応じて適切な認識方式を用いて物体を検知する物体検知方法及びその装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の物体検知方法は、撮像手段の撮像条件を決定する決定工程と、決定された前記撮像条件に基づいて認識方式を設定する設定工程と、前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知工程とを備える。
【０００７】
また、本発明の物体検知装置は、撮像手段の撮像条件を決定する決定手段と、決定された前記撮像条件に基づいて認識方式を設定する設定手段と、前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知手段とを備える。
【発明の効果】
【０００８】
本発明によれば、撮影条件に応じて適切な認識方式を用いて物体を検知することができる。例えば、カメラの撮像方向に連動して、認識対象となる物体の典型的な画像パターンに相当する辞書を用いて物体認識を行うことで、上方と前方のいずれから撮影を行う場合でも、適切な認識機能へ簡単に切替えることができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
（第一の実施の形態）
図１に第一の実施の形態の機能構成を示す。
【００１１】
撮像部１０は、撮像レンズ、およびＣＣＤ、ＣＭＯＳなどの撮像センサから構成され、認識対象を含む画像を撮像する。
【００１２】
ＰＴＺ（パン・ティルト・ズーム）制御部２０は、モータ等の駆動機構により、撮像部１０の撮像方向を左右および上下へ移動させたり、撮像倍率を変更する。
【００１３】
画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得し、フレーム単位で出力する。
【００１４】
物体認識部４０は、画像取得部３０で取得した画像データに所望の物体が映っているかどうかを認識する。
【００１５】
認識結果分析部５０は、物体認識部４０で認識した結果を分析し、分析した結果を、例えば表示部１２６へ表示させるように出力する。
【００１６】
物体辞書記憶部６０は、物体認識部４０で用いる所望の認識対象に対応する物体辞書を記憶したメモリである。物体辞書は数多くの物体パターンから機械学習により予め求められたものであり、物体の撮影方向やサイズなどにより分類されている。
【００１７】
辞書設定部７０は、物体辞書記憶部６０に記憶されている物体辞書の中から物体の撮影条件に適した辞書データを物体認識部４０に設定する。
【００１８】
撮影モード設定部８０は、入力部１２４のキーボード等によって撮影モードの設定を行う。
【００１９】
図１２は、実施形態の物体検知装置のハードウェア構成を示す図である。ＣＰＵ１２１は、プログラムを実行することで種々の処理を実行し、装置各部を制御する。ＲＯＭ１２２はプログラムや各種固定データを記憶する。ＲＡＭ１２３は各種データやプログラムを一時記憶し、ＣＰＵ１２１にワークエリアを提供する。ＣＰＵはＲＯＭ１２２内のプログラムやＨＤＤ１２５などからＲＡＭ１２３へロードされたプログラムを実行する。
【００２０】
入力部１２４は、キーボードやマウスなどを備え、ユーザからのデータや指示の入力を受け付ける。ＨＤＤ１２５は、ハードディスクドライブであり、プログラムや辞書データ、画像データなどを不揮発に記憶する。表示部１２６は入力データや処理結果などを表示する。ＨＤＤ１２５に代えてＣＤＲＯＭドライブなどを備えるようにしてもよい。
【００２１】
Ｉ／Ｆ１２７は、ＰＴＺ制御機構つき撮像装置と接続し、撮像装置が撮影した画像を受け取ったり、撮像装置へＰＴＺ制御のための指示などを送信する。バス１２８は装置各部を接続する。
【００２２】
次に、本実施の形態の動作について、図４の処理フローチャートに従って説明する。なお、本実施の形態においては、最初は図２のような状況で人物１をカメラ２で真上から撮影し、通過する人物のカウントを行うように設定する。その後、図３のような状況で人物３をカメラ４で斜め前方から撮影、カウントするように切替える場合を想定して説明する。
【００２３】
まず、撮影モード設定部８０は、図２のような状況で上方からの人物の撮影に対応するために、ステップＳ１０１で撮像モードを上方撮影モードに設定する。なお、本実施の形態では、撮影モードとして、上方撮影モードと前方撮影モードの２つのモードが存在する。また、物体辞書記憶部６０には、人物を真上から見たパターンを認識する辞書（円形の物体を認識する辞書）と人物を斜め上の前方から見たパターンを認識する辞書（顔を認識する辞書）とが区別して記憶されている。
【００２４】
上方撮影モードでは、撮像部１０が真下を撮影するように予め撮像レンズの駆動量が設定され、物体辞書記憶部６０に記憶されている「人物を真上から見たパターンを認識する辞書」を使用するように設定されている。また、前方撮影モードでは、撮像部１０が前方を撮影するように予め撮像レンズの駆動量が設定され、物体辞書記憶部６０に記憶されている「顔を認識する辞書」を使用するように設定されている。
【００２５】
本実施の形態では２つの撮影モードで動作することを前提に説明する。しかし、例えば図２と図３の間の角度から見た人物を撮影するような撮像レンズの駆動量、その角度から見た人物を認識するような辞書を物体辞書記憶部６０に持ち、３つの撮影モードを持たせるようにしてもよい。また、認識する対象は人物に限定せず、撮影する方向に応じて認識する対象を人物とするか車などとするかを、切替えられるようにしてもよい。
【００２６】
次に、ステップＳ１０２において、ＰＴＺ制御部２０は、ステップＳ１０１で設定した撮影モードに従って、撮像部１０が真下を撮影するように撮像部１０を駆動する。
【００２７】
次に、ステップＳ１０３において、辞書設定部７０は、ステップＳ１０１で設定した撮影モードに従い、物体辞書記憶部６０に記憶されている「人物の真上から見たパターンを認識する辞書」を使用する辞書に決定する。この辞書データを物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００２８】
次に、ステップＳ１０４において、撮像部１０は、入力部１２４からの指示に従って撮像を開始する。
【００２９】
次に、ステップＳ１０５において、画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得する。ここで取得した画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。さらに、本実施の形態ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、物体認識部４０に転送して、物体認識部４０内部の画像メモリに格納する。画像データとしてＹＵＶのデータを取得する場合はＹ成分をそのまま輝度データとしてもよい。
【００３０】
次に、ステップＳ１０６において、物体認識部４０は、内部の画像メモリに転送された画像データから辞書設定部７０で設定された辞書データと照合を行い、所望の物体を認識する。ここで、物体認識は非特許文献１や２で提案されている方法を用いて行うものとする。例えば、非特許文献１では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、その方法について簡単に説明する。
【００３１】
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。
【００３２】
そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図５に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図５に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
【００３３】
また、処理の高速化に着目した例としては、非特許文献２がある。この文献の中ではＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組合せて顔判別の精度を向上させる一方、夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。
【００３４】
また、ＡｄａＢｏｏｓｔ学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに顔でないパターンの候補をその場で除去する。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って顔かどうかの判定を行っている。これにより、すべての候補に対して複雑な判定を行う必要がないので高速である。
【００３５】
なお、非特許文献１及び２は画像から顔を検出する技術について説明しているが、画像から人間の頭の形状を検出する場合についても同様に実現可能である。
【００３６】
次に、ステップＳ１０７において、物体認識部４０で検出した物体領域の位置座標を認識結果分析部５０が分析し、認識結果分析部５０は分析結果を内部メモリに一時的に保存する。
【００３７】
同様にして、次の時間でのフレームにおいてステップＳ１０５からＳ１０７の処理が繰り返される。そして、ステップＳ１０８において、認識結果分析部５０は、２フレーム分の物体認識結果から人数のカウントを行う。その方法を図６及び図７を用いて説明する。
【００３８】
図６および図７は連続した時間での２つのフレームにおける真上から撮像した場合の人物の画像を示しており、図中、斜線部分は人物、矩形は人物頭部として物体認識部４０で検出した結果である。認識結果分析部５０では、前フレームでの物体位置（矩形部分の重心で図６のｐ１）と後フレームでの物体位置（矩形部分の重心で図７のｐ２）とを連結した直線が所定のライン（図６および図７のＬ）を交差した場合にカウントする。例えば、図６および図７の例では、人物が左から右に通行したとしてカウントする。そして、この結果を保存し、表示部１２６に表示する。
【００３９】
ここでは、２フレーム分の物体認識結果から人数のカウントを行う処理について説明したが、３フレーム以上の物体認識結果から人数のカウントを行うようにしてもよい。その場合、物体認識部４０で認識すべき物体に未検知があった場合にも、より精度よく対応できる。
【００４０】
以上のステップＳ１０５からＳ１０８の処理は、撮影動作中、繰返し行われる。そして、入力部１２４から動作終了の指示があった場合は処理を終了する。
【００４１】
また、入力部１２４からの指示により、図３のような状況で前方から人物を撮影、カウントするように切替えた場合の動作を以下に説明する。
【００４２】
まず、ステップＳ１０１に戻って、撮影モード設定部８０は、図３のような状況で前方からの人物の撮影に対応するために、撮像モードを前方撮影モードに設定する。
【００４３】
次に、ステップＳ１０２において、ＰＴＺ制御部２０は、Ｓ１０１で設定した撮影モードに従い、撮像部１０が前方を撮影するように撮像部１０を駆動する。
【００４４】
次に、ステップＳ１０３において、辞書設定部７０は、Ｓ１０１で設定した撮影モードに従い、物体辞書記憶部６０に記憶されている「顔パターンを認識する辞書」を物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００４５】
次に、ステップＳ１０４において、撮像部１０は、入力部１２４からの指示に従って、撮像を開始する。以下、同様にして、ステップＳ１０５からＳ１０８の処理が行われる。
【００４６】
なお、以上の説明で物体認識部４０は頭の形状および顔の認識を辞書データを切替えることによって行う。具体的には、画像から切り出すパターンのサイズ、照合する判別器の数、判別器で照合に使うデータが撮影モードにより異なるので、これらを辞書データとして切替える。
【００４７】
以上説明したように、本実施の形態では、カメラの撮影モードに応じてカメラの撮像方向および認識対象の辞書が連動して設定されるので、カメラの設置条件が変わっても簡単に最適な認識機能に切替えることができる。
【００４８】
（第二の実施の形態）
上述した第一の実施の形態では、予め撮像レンズの駆動量および認識処理に使用する辞書を撮影モードに関連付けて簡単に設定できるような構成にしたが、本発明の構成をこれに限定するものではない。第二の実施の形態では、撮像レンズの方向を検知し、検知した方向に応じて認識処理に使用する辞書を切替えるように構成した。第二の実施の形態の機能構成および処理フローチャートを夫々図８および図９に示す。
【００４９】
まず、図８を用いて第二の実施の形態の構成を説明する。なお、図中、図１と同記号のものは第一の実施の形態における同記号の構成要素と同様の構成要素である。すなわち撮像方向検知部９０のみが第一の実施の形態にない構成要素である。撮像方向検知部９０は、モータ等により駆動するＰＴＺ制御部２０の位置を検知する位置センサーおよび位置センサーの出力を撮像方向データに変換する変換部から成る。
【００５０】
次に、図９を用いて第二の実施の形態の処理手順を説明する。ここで、本実施の形態では、ステップＳ２０１のＰＴＺ制御、ステップＳ２０２の撮像方向検知、及びステップＳ２０３の辞書設定の各ステップは、第一の実施の形態と動作が異なる。一方、ステップＳ２０４〜Ｓ２０８は、第一の実施の形態のステップＳ１０４〜Ｓ１０８と同様である。
【００５１】
まず、ステップＳ２０１において、入力部１２４からの操作によって、ＰＴＺ制御部２０は撮像部１０が所望の撮像方向を向くように撮像部１０を駆動する。例えば、第一の実施の形態における上方撮影モードと同等の撮影を行う場合には撮像部１０が真下を向くように駆動する。
【００５２】
次に、ステップＳ２０２において、撮像方向検知部９０は、ＰＴＺ制御部２０の位置を検知し、撮像方向データに変換して辞書設定部７０へ出力する。
【００５３】
次に、ステップＳ２０３において、辞書設定部７０は、撮像方向検知部９０から送られた撮像方向データに従い、撮像方向データに対応した辞書を選択し、物体認識部４０内部の辞書メモリに選択した辞書データを転送し、物体認識部４０に設定する。
【００５４】
なお、辞書設定部７０は、撮像方向データが撮像部１０が真下方向に向くような方向に対応している場合には、予め物体辞書記憶部６０に記憶されている「人物の真上から見たパターンを認識する辞書」を使用するように設定する。また、撮像方向データが撮像部１０が前方を向くような方向に対応している場合には、予め物体辞書記憶部６０に記憶されている「人物の顔を認識する辞書」を使用するように設定する。
【００５５】
以下、ステップＳ２０４からＳ２０８における動作は、第一の実施の形態のステップＳ１０４からＳ１０８における動作と同様であるので、その説明は省略する。
【００５６】
以上説明したように、本実施の形態では、カメラの撮像方向を検知して、その検知結果によって認識対象の辞書が連動して設定されるので、カメラの設置条件が変わっても簡単に最適な認識機能に切替えることができる。
【００５７】
（第三の実施の形態）
第一および第二の実施の形態では、撮像開始前にカメラの撮像方向の制御と認識対象の辞書の設定を連動して行うようにしたが、本発明の構成をこれに限定するものではない。第三の実施の形態では、撮像中に人物を認識し、認識した人物の動きに応じて人物を追尾するようにカメラの撮像方向の制御を行い、追尾中の撮像方向の変化に連動して認識対象の辞書の設定を行うようにした。第三の実施の形態の機能構成および処理フローチャートを夫々図１０および図１１に示す。
【００５８】
まず、図１０を用いて第三の実施の形態の構成を説明する。なお、図中、図８と同記号のものは第二の実施の形態における同記号の構成要素と同様の構成要素である。すなわち追尾制御部１００のみが第一及び第二の実施の形態にない構成要素である。追尾制御部１００は、物体認識部４０によって認識した人物が画像の中心に来るように撮像方向（パン・ティルト）のパラメータを求めてＰＴＺ制御部２０に出力する。
【００５９】
次に、図１１を用いて第三の実施の形態の動作を説明する。ここで、ステップＳ３０１〜Ｓ３０３は、第二の実施の形態におけるステップＳ２０１〜Ｓ２０３と同様である。また、ステップＳ３０４〜Ｓ３０６は、第一の実施の形態におけるステップＳ１０５〜Ｓ１０７及び第二の実施の形態におけるステップＳ２０５〜Ｓ２０７と同様である。一方、ステップＳ３０７の分析・表示およびステップＳ３０８の追尾の各ステップは、第一及び第二の実施の形態と動作が異なる。
【００６０】
まず、ステップＳ３０１において、入力部１２４からの操作によって、ＰＴＺ制御部２０は撮像部１０が所望の撮像方向を向くように撮像部１０を駆動する。そして、ステップＳ３０２において、撮像方向検知部９０は、ＰＴＺ制御部２０の位置を検知し、撮像方向データを辞書設定部７０に出力する。そして、ステップＳ３０３において、辞書設定部７０は、撮像方向検知部９０から送られた撮像方向データに従い、撮像方向データに対応した辞書を選択し、物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００６１】
次に、ステップＳ３０４において、画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得する。そして、ステップＳ３０５において、物体認識部４０は、内部の画像メモリに転送された画像データから辞書設定部７０で設定された辞書データと照合を行い、所望の物体を認識する。そして、ステップＳ３０６において、物体認識部４０で検出した物体領域の位置座標を認識結果分析部５０に出力し、認識結果分析部５０は内部メモリに一時的に保存する。
【００６２】
次に、ステップＳ３０７において、追尾制御部１００は、物体認識部４０で認識した人物が画像の中心に来るように撮像方向のパラメータを求めてＰＴＺ制御部２０に出力する。即ち、物体認識部４０の出力である物体領域の位置座標から認識した人物が画像の中心に来るようにＰＴＺ制御部２０で制御する撮像方向（パン・ティルト）のパラメータを求める。そして、求めたパラメータをＰＴＺ制御部２０に出力して、撮像部１０が撮像方向を変えて人物を追尾するようにする。
【００６３】
そして、ステップＳ３０８において、認識結果分析部５０は、物体認識結果および撮像方向から所定の条件を満たした場合に人数のカウントを行う。本実施の形態では、撮像部１０の撮像方向が上方から真下を向いた状態の場合に人物のカウントを行う。また、その時、撮像した画像は図６および図７のようになるが、このとき、人物の位置が図６のｐ１から図７のｐ２に確実に移動した場合に人物が左から右に通行したとしてカウントする。
【００６４】
同様にして、次の時間でのフレームにおいてステップＳ３０１からＳ３０８の処理が繰り返される。そして、入力部１２４より動作終了の指示があった場合は処理を終了する。
【００６５】
本実施の形態では、人物がカメラに近づいて来た場合を想定して、以上説明した動作が時間の経過とともに以下のように繰り返される。
【００６６】
まず、初期設定時には、カメラの撮像方向およびカメラが認識する対象は、第一の実施の形態における前方撮影モードと同等の設定が行われる。即ち、ステップＳ３０１においてカメラは図３に示したような前方からの撮影に撮像方向が制御され、ステップＳ３０２において検知した結果、ステップＳ３０３で物体認識部４０が顔パターンを認識するように辞書の設定が行われる。そして、Ｓ３０４からＳ３０７の処理の結果、次のフレームではカメラが認識した人物を中心に捉えるように制御されるが、時間の経過とともに人物がカメラの真下に移動するので、除々にカメラは真下を向くように制御される。
【００６７】
このとき、ステップＳ３０３では、予め定めた所定の撮像方向の範囲では顔パターンの認識、別の所定の撮像方向の範囲では人物の真上から見たパターンの認識を行うように辞書を設定する。そして、撮像方向の適切な境界で自動的に辞書の切替えが行われるようにしておく。なお、撮像方向の中間的な範囲においては、両方のパターンの認識を行うように設定しておいてもよい。
【００６８】
以上説明したように、本実施の形態では、撮像中に人物を認識し、認識した人物の動きに応じて人物を追尾するようにしたので、確実に所定の位置を通過した人物のみカウントすることができる。また、その際、認識対象の辞書の設定をカメラの撮像方向の制御と連動するようにしたので、カメラの撮像方向によって人物の見えが異なっても、精度良く人物の認識を行うことができる。
【００６９】
（その他の実施の形態）
以上の実施例では、カメラで人間を認識し、所定領域を通過した人数をカウントするために本発明を適用する場合について説明したが、本発明の適用範囲はこれに限定したものではない。例えば車など、他の物体の個数を計数するようにしてもよい。さらに本発明は、例えば人と車など、カメラの撮像方向に応じて検知したい対象が異なる場合にも広く適用可能である。
【００７０】
また、認識対象を切替える撮像条件としては、撮像方向に限らず、例えば、撮影倍率に応じて切替えるようにしてもよい。例えば、カメラで人物を認識するためには、カメラが人物を低倍率で捉えている場合には人体（全身）を認識し、カメラが人物を高倍率で捉えている場合には顔を認識するようにするようにしてもよい。
【００７１】
また、以上の実施例では、異なる認識対象に対して認識辞書を切替えることにより認識方式を切替える例について説明した。しかしながら、認識対象毎にそれぞれ異なる認識処理プログラムを備え、認識処理プログラムを切替えるように構成してもよい。
【００７２】
なお、本発明の目的は、上記実施の形態の機能を実現するソフトウェアのプログラムコードを、装置のコンピュータ（またはＣＰＵ）がコンピュータ読み取り可能な記憶媒体から読出して実行することでも達成される。
【００７３】
この場合、コンピュータ可読記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ可読記憶媒体は本発明を構成することになる。
【００７４】
プログラムコードを供給するためのコンピュータ可読記憶媒体としては、種々の媒体が利用できる。例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００７６】
【図１】第一の実施の形態の物体検知装置の機能構成を示す図である。
【図２】人をカメラで上方から撮像する状況を説明する図である。
【図３】人をカメラで前方から撮像する状況を説明する図である。
【図４】第一の実施の形態における物体検知の処理手順を示すフローチャートである。
【図５】画像から顔パターンの探索を行う方法を説明する図である。
【図６】人をカメラで上方から撮像した場合の画像の例（前フレーム）である。
【図７】人をカメラで上方から撮像した場合の画像の例（後フレーム）である。
【図８】第二の実施の形態の物体検知装置の機能構成を示す図である。
【図９】第二の実施の形態における物体検知の処理手順を示すフローチャートである。
【図１０】第三の実施の形態の物体検知装置の機能構成を示す図である。
【図１１】第三の実施の形態における物体検知の処理手順を示すフローチャートである。
【図１２】実施の形態の物体検知装置のハードウェア構成を示す図である。
【技術分野】
【０００１】
本発明は、物体検知方法及びその装置に関し、特に、カメラ等の撮像装置で撮影した画像から通行者を検知して、その数を計測するための物体検知方法およびその装置に関する。
【背景技術】
【０００２】
近年、セキュリティのために店舗内への監視カメラの設置が急速に普及している。また、そのようなカメラを使って、映像を取得するだけでなく、店舗に出入り、または、付近を通行した人の数を自動的にカウントし、店舗のマーケティング調査に使用することも提案されている。
【０００３】
このような所定領域における通行人をカメラ映像から自動的にカウントする技術が、特許文献１に記載されている。この特許文献１では、図２に示すように通路の上方から真下に向けてカメラ２を設置し、カメラ上方から見た人間１の頭の形状が円であることから、カメラ映像から円形の物体を抽出することで人間を検知、カウントするようにしている。
【０００４】
一方、近年、以下に示す非特許文献１、２で提案されているような技術を用いて、画像から顔を検出する技術の実用化が進んでいる。このような技術を利用して、図３に示すように通路の前方にカメラ４を設置して、カメラ映像から顔を検出することで人間３をカウントすることも可能である。
【特許文献１】特開平４−１９９４８７号公報
【非特許文献１】Ｒｏｗｌｅｙ ｅｔ ａｌ，“Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ−ｂａｓｅｄ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２０，ＮＯ．１，ＪＡＮＵＡＲＹ １９９８
【非特許文献２】Ｖｉｏｌａ ａｎｄ Ｊｏｎｅｓ，“Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ’０１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、人間をカウントしたい場合に、例えば、天井に設置したカメラで真下を通過する人間をカウントするのか、通路の側面に設置したカメラで横切る人間をカウントするのかによって認識対象となるパターンは異なる。従って必要となる認識機能も異なる。よって、逆にシステムに実装されている認識機能に依存して、カメラをどこにどのように設置するかが制限されてしまうといった問題があった。本発明の目的は、前記問題点を解決すべく、撮影条件に応じて適切な認識方式を用いて物体を検知する物体検知方法及びその装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の物体検知方法は、撮像手段の撮像条件を決定する決定工程と、決定された前記撮像条件に基づいて認識方式を設定する設定工程と、前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知工程とを備える。
【０００７】
また、本発明の物体検知装置は、撮像手段の撮像条件を決定する決定手段と、決定された前記撮像条件に基づいて認識方式を設定する設定手段と、前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知手段とを備える。
【発明の効果】
【０００８】
本発明によれば、撮影条件に応じて適切な認識方式を用いて物体を検知することができる。例えば、カメラの撮像方向に連動して、認識対象となる物体の典型的な画像パターンに相当する辞書を用いて物体認識を行うことで、上方と前方のいずれから撮影を行う場合でも、適切な認識機能へ簡単に切替えることができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１０】
（第一の実施の形態）
図１に第一の実施の形態の機能構成を示す。
【００１１】
撮像部１０は、撮像レンズ、およびＣＣＤ、ＣＭＯＳなどの撮像センサから構成され、認識対象を含む画像を撮像する。
【００１２】
ＰＴＺ（パン・ティルト・ズーム）制御部２０は、モータ等の駆動機構により、撮像部１０の撮像方向を左右および上下へ移動させたり、撮像倍率を変更する。
【００１３】
画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得し、フレーム単位で出力する。
【００１４】
物体認識部４０は、画像取得部３０で取得した画像データに所望の物体が映っているかどうかを認識する。
【００１５】
認識結果分析部５０は、物体認識部４０で認識した結果を分析し、分析した結果を、例えば表示部１２６へ表示させるように出力する。
【００１６】
物体辞書記憶部６０は、物体認識部４０で用いる所望の認識対象に対応する物体辞書を記憶したメモリである。物体辞書は数多くの物体パターンから機械学習により予め求められたものであり、物体の撮影方向やサイズなどにより分類されている。
【００１７】
辞書設定部７０は、物体辞書記憶部６０に記憶されている物体辞書の中から物体の撮影条件に適した辞書データを物体認識部４０に設定する。
【００１８】
撮影モード設定部８０は、入力部１２４のキーボード等によって撮影モードの設定を行う。
【００１９】
図１２は、実施形態の物体検知装置のハードウェア構成を示す図である。ＣＰＵ１２１は、プログラムを実行することで種々の処理を実行し、装置各部を制御する。ＲＯＭ１２２はプログラムや各種固定データを記憶する。ＲＡＭ１２３は各種データやプログラムを一時記憶し、ＣＰＵ１２１にワークエリアを提供する。ＣＰＵはＲＯＭ１２２内のプログラムやＨＤＤ１２５などからＲＡＭ１２３へロードされたプログラムを実行する。
【００２０】
入力部１２４は、キーボードやマウスなどを備え、ユーザからのデータや指示の入力を受け付ける。ＨＤＤ１２５は、ハードディスクドライブであり、プログラムや辞書データ、画像データなどを不揮発に記憶する。表示部１２６は入力データや処理結果などを表示する。ＨＤＤ１２５に代えてＣＤＲＯＭドライブなどを備えるようにしてもよい。
【００２１】
Ｉ／Ｆ１２７は、ＰＴＺ制御機構つき撮像装置と接続し、撮像装置が撮影した画像を受け取ったり、撮像装置へＰＴＺ制御のための指示などを送信する。バス１２８は装置各部を接続する。
【００２２】
次に、本実施の形態の動作について、図４の処理フローチャートに従って説明する。なお、本実施の形態においては、最初は図２のような状況で人物１をカメラ２で真上から撮影し、通過する人物のカウントを行うように設定する。その後、図３のような状況で人物３をカメラ４で斜め前方から撮影、カウントするように切替える場合を想定して説明する。
【００２３】
まず、撮影モード設定部８０は、図２のような状況で上方からの人物の撮影に対応するために、ステップＳ１０１で撮像モードを上方撮影モードに設定する。なお、本実施の形態では、撮影モードとして、上方撮影モードと前方撮影モードの２つのモードが存在する。また、物体辞書記憶部６０には、人物を真上から見たパターンを認識する辞書（円形の物体を認識する辞書）と人物を斜め上の前方から見たパターンを認識する辞書（顔を認識する辞書）とが区別して記憶されている。
【００２４】
上方撮影モードでは、撮像部１０が真下を撮影するように予め撮像レンズの駆動量が設定され、物体辞書記憶部６０に記憶されている「人物を真上から見たパターンを認識する辞書」を使用するように設定されている。また、前方撮影モードでは、撮像部１０が前方を撮影するように予め撮像レンズの駆動量が設定され、物体辞書記憶部６０に記憶されている「顔を認識する辞書」を使用するように設定されている。
【００２５】
本実施の形態では２つの撮影モードで動作することを前提に説明する。しかし、例えば図２と図３の間の角度から見た人物を撮影するような撮像レンズの駆動量、その角度から見た人物を認識するような辞書を物体辞書記憶部６０に持ち、３つの撮影モードを持たせるようにしてもよい。また、認識する対象は人物に限定せず、撮影する方向に応じて認識する対象を人物とするか車などとするかを、切替えられるようにしてもよい。
【００２６】
次に、ステップＳ１０２において、ＰＴＺ制御部２０は、ステップＳ１０１で設定した撮影モードに従って、撮像部１０が真下を撮影するように撮像部１０を駆動する。
【００２７】
次に、ステップＳ１０３において、辞書設定部７０は、ステップＳ１０１で設定した撮影モードに従い、物体辞書記憶部６０に記憶されている「人物の真上から見たパターンを認識する辞書」を使用する辞書に決定する。この辞書データを物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００２８】
次に、ステップＳ１０４において、撮像部１０は、入力部１２４からの指示に従って撮像を開始する。
【００２９】
次に、ステップＳ１０５において、画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得する。ここで取得した画像データは、例えば８ビットの画素により構成される２次元配列のデータであり、Ｒ、Ｇ、Ｂ、３つの面により構成される。さらに、本実施の形態ではＲＧＢデータを輝度データに変換し、輝度画像データを以後の処理に適用するものとし、物体認識部４０に転送して、物体認識部４０内部の画像メモリに格納する。画像データとしてＹＵＶのデータを取得する場合はＹ成分をそのまま輝度データとしてもよい。
【００３０】
次に、ステップＳ１０６において、物体認識部４０は、内部の画像メモリに転送された画像データから辞書設定部７０で設定された辞書データと照合を行い、所望の物体を認識する。ここで、物体認識は非特許文献１や２で提案されている方法を用いて行うものとする。例えば、非特許文献１では、ニューラル・ネットワークにより画像中の顔パターンを検出している。以下、その方法について簡単に説明する。
【００３１】
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして、切り出した領域の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別する。
【００３２】
そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、図５に示すように画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、図５に示すように読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
【００３３】
また、処理の高速化に着目した例としては、非特許文献２がある。この文献の中ではＡｄａＢｏｏｓｔを使って多くの弱判別器を有効に組合せて顔判別の精度を向上させる一方、夫々の弱判別器をＨａａｒタイプの矩形特徴量で構成し、しかも矩形特徴量の算出を、積分画像を利用して高速に行っている。
【００３４】
また、ＡｄａＢｏｏｓｔ学習によって得た判別器を直列に繋ぎ、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は、まず前段の単純な（すなわち計算量のより少ない）判別器を使って明らかに顔でないパターンの候補をその場で除去する。そして、それ以外の候補に対してのみ、より高い識別性能を持つ後段の複雑な（すなわち計算量のより多い）判別器を使って顔かどうかの判定を行っている。これにより、すべての候補に対して複雑な判定を行う必要がないので高速である。
【００３５】
なお、非特許文献１及び２は画像から顔を検出する技術について説明しているが、画像から人間の頭の形状を検出する場合についても同様に実現可能である。
【００３６】
次に、ステップＳ１０７において、物体認識部４０で検出した物体領域の位置座標を認識結果分析部５０が分析し、認識結果分析部５０は分析結果を内部メモリに一時的に保存する。
【００３７】
同様にして、次の時間でのフレームにおいてステップＳ１０５からＳ１０７の処理が繰り返される。そして、ステップＳ１０８において、認識結果分析部５０は、２フレーム分の物体認識結果から人数のカウントを行う。その方法を図６及び図７を用いて説明する。
【００３８】
図６および図７は連続した時間での２つのフレームにおける真上から撮像した場合の人物の画像を示しており、図中、斜線部分は人物、矩形は人物頭部として物体認識部４０で検出した結果である。認識結果分析部５０では、前フレームでの物体位置（矩形部分の重心で図６のｐ１）と後フレームでの物体位置（矩形部分の重心で図７のｐ２）とを連結した直線が所定のライン（図６および図７のＬ）を交差した場合にカウントする。例えば、図６および図７の例では、人物が左から右に通行したとしてカウントする。そして、この結果を保存し、表示部１２６に表示する。
【００３９】
ここでは、２フレーム分の物体認識結果から人数のカウントを行う処理について説明したが、３フレーム以上の物体認識結果から人数のカウントを行うようにしてもよい。その場合、物体認識部４０で認識すべき物体に未検知があった場合にも、より精度よく対応できる。
【００４０】
以上のステップＳ１０５からＳ１０８の処理は、撮影動作中、繰返し行われる。そして、入力部１２４から動作終了の指示があった場合は処理を終了する。
【００４１】
また、入力部１２４からの指示により、図３のような状況で前方から人物を撮影、カウントするように切替えた場合の動作を以下に説明する。
【００４２】
まず、ステップＳ１０１に戻って、撮影モード設定部８０は、図３のような状況で前方からの人物の撮影に対応するために、撮像モードを前方撮影モードに設定する。
【００４３】
次に、ステップＳ１０２において、ＰＴＺ制御部２０は、Ｓ１０１で設定した撮影モードに従い、撮像部１０が前方を撮影するように撮像部１０を駆動する。
【００４４】
次に、ステップＳ１０３において、辞書設定部７０は、Ｓ１０１で設定した撮影モードに従い、物体辞書記憶部６０に記憶されている「顔パターンを認識する辞書」を物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００４５】
次に、ステップＳ１０４において、撮像部１０は、入力部１２４からの指示に従って、撮像を開始する。以下、同様にして、ステップＳ１０５からＳ１０８の処理が行われる。
【００４６】
なお、以上の説明で物体認識部４０は頭の形状および顔の認識を辞書データを切替えることによって行う。具体的には、画像から切り出すパターンのサイズ、照合する判別器の数、判別器で照合に使うデータが撮影モードにより異なるので、これらを辞書データとして切替える。
【００４７】
以上説明したように、本実施の形態では、カメラの撮影モードに応じてカメラの撮像方向および認識対象の辞書が連動して設定されるので、カメラの設置条件が変わっても簡単に最適な認識機能に切替えることができる。
【００４８】
（第二の実施の形態）
上述した第一の実施の形態では、予め撮像レンズの駆動量および認識処理に使用する辞書を撮影モードに関連付けて簡単に設定できるような構成にしたが、本発明の構成をこれに限定するものではない。第二の実施の形態では、撮像レンズの方向を検知し、検知した方向に応じて認識処理に使用する辞書を切替えるように構成した。第二の実施の形態の機能構成および処理フローチャートを夫々図８および図９に示す。
【００４９】
まず、図８を用いて第二の実施の形態の構成を説明する。なお、図中、図１と同記号のものは第一の実施の形態における同記号の構成要素と同様の構成要素である。すなわち撮像方向検知部９０のみが第一の実施の形態にない構成要素である。撮像方向検知部９０は、モータ等により駆動するＰＴＺ制御部２０の位置を検知する位置センサーおよび位置センサーの出力を撮像方向データに変換する変換部から成る。
【００５０】
次に、図９を用いて第二の実施の形態の処理手順を説明する。ここで、本実施の形態では、ステップＳ２０１のＰＴＺ制御、ステップＳ２０２の撮像方向検知、及びステップＳ２０３の辞書設定の各ステップは、第一の実施の形態と動作が異なる。一方、ステップＳ２０４〜Ｓ２０８は、第一の実施の形態のステップＳ１０４〜Ｓ１０８と同様である。
【００５１】
まず、ステップＳ２０１において、入力部１２４からの操作によって、ＰＴＺ制御部２０は撮像部１０が所望の撮像方向を向くように撮像部１０を駆動する。例えば、第一の実施の形態における上方撮影モードと同等の撮影を行う場合には撮像部１０が真下を向くように駆動する。
【００５２】
次に、ステップＳ２０２において、撮像方向検知部９０は、ＰＴＺ制御部２０の位置を検知し、撮像方向データに変換して辞書設定部７０へ出力する。
【００５３】
次に、ステップＳ２０３において、辞書設定部７０は、撮像方向検知部９０から送られた撮像方向データに従い、撮像方向データに対応した辞書を選択し、物体認識部４０内部の辞書メモリに選択した辞書データを転送し、物体認識部４０に設定する。
【００５４】
なお、辞書設定部７０は、撮像方向データが撮像部１０が真下方向に向くような方向に対応している場合には、予め物体辞書記憶部６０に記憶されている「人物の真上から見たパターンを認識する辞書」を使用するように設定する。また、撮像方向データが撮像部１０が前方を向くような方向に対応している場合には、予め物体辞書記憶部６０に記憶されている「人物の顔を認識する辞書」を使用するように設定する。
【００５５】
以下、ステップＳ２０４からＳ２０８における動作は、第一の実施の形態のステップＳ１０４からＳ１０８における動作と同様であるので、その説明は省略する。
【００５６】
以上説明したように、本実施の形態では、カメラの撮像方向を検知して、その検知結果によって認識対象の辞書が連動して設定されるので、カメラの設置条件が変わっても簡単に最適な認識機能に切替えることができる。
【００５７】
（第三の実施の形態）
第一および第二の実施の形態では、撮像開始前にカメラの撮像方向の制御と認識対象の辞書の設定を連動して行うようにしたが、本発明の構成をこれに限定するものではない。第三の実施の形態では、撮像中に人物を認識し、認識した人物の動きに応じて人物を追尾するようにカメラの撮像方向の制御を行い、追尾中の撮像方向の変化に連動して認識対象の辞書の設定を行うようにした。第三の実施の形態の機能構成および処理フローチャートを夫々図１０および図１１に示す。
【００５８】
まず、図１０を用いて第三の実施の形態の構成を説明する。なお、図中、図８と同記号のものは第二の実施の形態における同記号の構成要素と同様の構成要素である。すなわち追尾制御部１００のみが第一及び第二の実施の形態にない構成要素である。追尾制御部１００は、物体認識部４０によって認識した人物が画像の中心に来るように撮像方向（パン・ティルト）のパラメータを求めてＰＴＺ制御部２０に出力する。
【００５９】
次に、図１１を用いて第三の実施の形態の動作を説明する。ここで、ステップＳ３０１〜Ｓ３０３は、第二の実施の形態におけるステップＳ２０１〜Ｓ２０３と同様である。また、ステップＳ３０４〜Ｓ３０６は、第一の実施の形態におけるステップＳ１０５〜Ｓ１０７及び第二の実施の形態におけるステップＳ２０５〜Ｓ２０７と同様である。一方、ステップＳ３０７の分析・表示およびステップＳ３０８の追尾の各ステップは、第一及び第二の実施の形態と動作が異なる。
【００６０】
まず、ステップＳ３０１において、入力部１２４からの操作によって、ＰＴＺ制御部２０は撮像部１０が所望の撮像方向を向くように撮像部１０を駆動する。そして、ステップＳ３０２において、撮像方向検知部９０は、ＰＴＺ制御部２０の位置を検知し、撮像方向データを辞書設定部７０に出力する。そして、ステップＳ３０３において、辞書設定部７０は、撮像方向検知部９０から送られた撮像方向データに従い、撮像方向データに対応した辞書を選択し、物体認識部４０内部の辞書メモリに転送し、物体認識部４０に設定する。
【００６１】
次に、ステップＳ３０４において、画像取得部３０は、撮像部１０で撮像した画像データを所定時間間隔で取得する。そして、ステップＳ３０５において、物体認識部４０は、内部の画像メモリに転送された画像データから辞書設定部７０で設定された辞書データと照合を行い、所望の物体を認識する。そして、ステップＳ３０６において、物体認識部４０で検出した物体領域の位置座標を認識結果分析部５０に出力し、認識結果分析部５０は内部メモリに一時的に保存する。
【００６２】
次に、ステップＳ３０７において、追尾制御部１００は、物体認識部４０で認識した人物が画像の中心に来るように撮像方向のパラメータを求めてＰＴＺ制御部２０に出力する。即ち、物体認識部４０の出力である物体領域の位置座標から認識した人物が画像の中心に来るようにＰＴＺ制御部２０で制御する撮像方向（パン・ティルト）のパラメータを求める。そして、求めたパラメータをＰＴＺ制御部２０に出力して、撮像部１０が撮像方向を変えて人物を追尾するようにする。
【００６３】
そして、ステップＳ３０８において、認識結果分析部５０は、物体認識結果および撮像方向から所定の条件を満たした場合に人数のカウントを行う。本実施の形態では、撮像部１０の撮像方向が上方から真下を向いた状態の場合に人物のカウントを行う。また、その時、撮像した画像は図６および図７のようになるが、このとき、人物の位置が図６のｐ１から図７のｐ２に確実に移動した場合に人物が左から右に通行したとしてカウントする。
【００６４】
同様にして、次の時間でのフレームにおいてステップＳ３０１からＳ３０８の処理が繰り返される。そして、入力部１２４より動作終了の指示があった場合は処理を終了する。
【００６５】
本実施の形態では、人物がカメラに近づいて来た場合を想定して、以上説明した動作が時間の経過とともに以下のように繰り返される。
【００６６】
まず、初期設定時には、カメラの撮像方向およびカメラが認識する対象は、第一の実施の形態における前方撮影モードと同等の設定が行われる。即ち、ステップＳ３０１においてカメラは図３に示したような前方からの撮影に撮像方向が制御され、ステップＳ３０２において検知した結果、ステップＳ３０３で物体認識部４０が顔パターンを認識するように辞書の設定が行われる。そして、Ｓ３０４からＳ３０７の処理の結果、次のフレームではカメラが認識した人物を中心に捉えるように制御されるが、時間の経過とともに人物がカメラの真下に移動するので、除々にカメラは真下を向くように制御される。
【００６７】
このとき、ステップＳ３０３では、予め定めた所定の撮像方向の範囲では顔パターンの認識、別の所定の撮像方向の範囲では人物の真上から見たパターンの認識を行うように辞書を設定する。そして、撮像方向の適切な境界で自動的に辞書の切替えが行われるようにしておく。なお、撮像方向の中間的な範囲においては、両方のパターンの認識を行うように設定しておいてもよい。
【００６８】
以上説明したように、本実施の形態では、撮像中に人物を認識し、認識した人物の動きに応じて人物を追尾するようにしたので、確実に所定の位置を通過した人物のみカウントすることができる。また、その際、認識対象の辞書の設定をカメラの撮像方向の制御と連動するようにしたので、カメラの撮像方向によって人物の見えが異なっても、精度良く人物の認識を行うことができる。
【００６９】
（その他の実施の形態）
以上の実施例では、カメラで人間を認識し、所定領域を通過した人数をカウントするために本発明を適用する場合について説明したが、本発明の適用範囲はこれに限定したものではない。例えば車など、他の物体の個数を計数するようにしてもよい。さらに本発明は、例えば人と車など、カメラの撮像方向に応じて検知したい対象が異なる場合にも広く適用可能である。
【００７０】
また、認識対象を切替える撮像条件としては、撮像方向に限らず、例えば、撮影倍率に応じて切替えるようにしてもよい。例えば、カメラで人物を認識するためには、カメラが人物を低倍率で捉えている場合には人体（全身）を認識し、カメラが人物を高倍率で捉えている場合には顔を認識するようにするようにしてもよい。
【００７１】
また、以上の実施例では、異なる認識対象に対して認識辞書を切替えることにより認識方式を切替える例について説明した。しかしながら、認識対象毎にそれぞれ異なる認識処理プログラムを備え、認識処理プログラムを切替えるように構成してもよい。
【００７２】
なお、本発明の目的は、上記実施の形態の機能を実現するソフトウェアのプログラムコードを、装置のコンピュータ（またはＣＰＵ）がコンピュータ読み取り可能な記憶媒体から読出して実行することでも達成される。
【００７３】
この場合、コンピュータ可読記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ可読記憶媒体は本発明を構成することになる。
【００７４】
プログラムコードを供給するためのコンピュータ可読記憶媒体としては、種々の媒体が利用できる。例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００７６】
【図１】第一の実施の形態の物体検知装置の機能構成を示す図である。
【図２】人をカメラで上方から撮像する状況を説明する図である。
【図３】人をカメラで前方から撮像する状況を説明する図である。
【図４】第一の実施の形態における物体検知の処理手順を示すフローチャートである。
【図５】画像から顔パターンの探索を行う方法を説明する図である。
【図６】人をカメラで上方から撮像した場合の画像の例（前フレーム）である。
【図７】人をカメラで上方から撮像した場合の画像の例（後フレーム）である。
【図８】第二の実施の形態の物体検知装置の機能構成を示す図である。
【図９】第二の実施の形態における物体検知の処理手順を示すフローチャートである。
【図１０】第三の実施の形態の物体検知装置の機能構成を示す図である。
【図１１】第三の実施の形態における物体検知の処理手順を示すフローチャートである。
【図１２】実施の形態の物体検知装置のハードウェア構成を示す図である。
【特許請求の範囲】
【請求項１】
撮像手段の撮像条件を決定する決定工程と、
決定された前記撮像条件に基づいて認識方式を設定する設定工程と、
前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知工程とを備えることを特徴とする物体検知方法。
【請求項２】
前記撮像手段により連続して撮像される画像から前記検知工程により検知された前記所定の物体の個数を計数する計数工程を備えることを特徴とする請求項１記載の物体検知方法。
【請求項３】
前記設定工程では、前記撮像条件に基づいて使用すべき認識辞書を設定することを特徴とする請求項１記載の物体検知方法。
【請求項４】
前記決定工程では、前記撮像条件として撮像方向を決定することを特徴とする請求項１記載の物体検知方法。
【請求項５】
前記決定工程では、ユーザの指示する撮影モードに基づいて前記撮像方向を決定することを特徴とする請求項４記載の物体検知方法。
【請求項６】
前記決定工程では、前記撮像手段の状態を検出して前記撮像方向を決定することを特徴とする請求項４記載の物体検知方法。
【請求項７】
前記検知工程で検知した前記所定の物体を追尾する追尾工程を備え、当該追尾中に前記決定工程により前記撮像手段の状態を検出して前記撮像方向を決定することを特徴とする請求項６記載の物体検知方法。
【請求項８】
撮像手段の撮像条件を決定する決定手段と、
決定された前記撮像条件に基づいて認識方式を設定する設定手段と、
前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知手段とを備えることを特徴とする物体検知装置。
【請求項９】
請求項１乃至請求項７の何れか１項に記載の物体検知方法を、コンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１】
撮像手段の撮像条件を決定する決定工程と、
決定された前記撮像条件に基づいて認識方式を設定する設定工程と、
前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知工程とを備えることを特徴とする物体検知方法。
【請求項２】
前記撮像手段により連続して撮像される画像から前記検知工程により検知された前記所定の物体の個数を計数する計数工程を備えることを特徴とする請求項１記載の物体検知方法。
【請求項３】
前記設定工程では、前記撮像条件に基づいて使用すべき認識辞書を設定することを特徴とする請求項１記載の物体検知方法。
【請求項４】
前記決定工程では、前記撮像条件として撮像方向を決定することを特徴とする請求項１記載の物体検知方法。
【請求項５】
前記決定工程では、ユーザの指示する撮影モードに基づいて前記撮像方向を決定することを特徴とする請求項４記載の物体検知方法。
【請求項６】
前記決定工程では、前記撮像手段の状態を検出して前記撮像方向を決定することを特徴とする請求項４記載の物体検知方法。
【請求項７】
前記検知工程で検知した前記所定の物体を追尾する追尾工程を備え、当該追尾中に前記決定工程により前記撮像手段の状態を検出して前記撮像方向を決定することを特徴とする請求項６記載の物体検知方法。
【請求項８】
撮像手段の撮像条件を決定する決定手段と、
決定された前記撮像条件に基づいて認識方式を設定する設定手段と、
前記撮像手段で撮像した画像から設定された前記認識方式により所定の物体を認識して検知する検知手段とを備えることを特徴とする物体検知装置。
【請求項９】
請求項１乃至請求項７の何れか１項に記載の物体検知方法を、コンピュータに実行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２３９８７１（Ｐ２００９−２３９８７１Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８６９６０（Ｐ２００８−８６９６０）
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２８日（２００８．３．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]