対象物認識システム
【課題】 あらかじめすべてのサンプルパターンを登録することなく、新たにサンプルパターンを生成することのできる対象物認識システムを提供する。
【解決手段】 画像処理部９は、信号機３の点灯状態に基づいて検出対象を選択する検出対象選択部１０と、歩行者のサンプルパターンを格納するためのパターン格納部１３と、検出対象選択部１０により歩行者が選択された場合に、カメラ４の画像から抽出された移動体とパターン格納部１３のサンプルパターンとを比較して移動体を検出する歩行者検出部１１と、歩行者検出部１１により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部１４と、を備えている。
【解決手段】 画像処理部９は、信号機３の点灯状態に基づいて検出対象を選択する検出対象選択部１０と、歩行者のサンプルパターンを格納するためのパターン格納部１３と、検出対象選択部１０により歩行者が選択された場合に、カメラ４の画像から抽出された移動体とパターン格納部１３のサンプルパターンとを比較して移動体を検出する歩行者検出部１１と、歩行者検出部１１により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部１４と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は対象物認識システムに係り、特に、あらかじめすべてのサンプルパターンを登録することなく、新たにサンプルパターンを生成することを可能とした対象物認識システムに関するものである。
【背景技術】
【０００２】
一般的に、横断歩道に設置される歩行者用信号機においては、横断歩道を渡る歩行者の有無にかかわらず、ある決められた固定秒数で青色または赤色の点灯を切り換え表示するようになっている。
【０００３】
しかしながら、これでは横断歩道に歩行者がいない場合でも歩行者用信号機が青色点灯されてしまったり、あるいは歩行者がまだ横断歩道を渡っている途中に歩行者用信号機が赤色点灯されてしまうといった不都合が生じうる。そのため、従来から、横断歩道に歩行者検出装置を設け、この歩行者検出装置により、横断歩道内の歩行者を検出することで、歩行者用信号機の制御を行うシステムが開発されている。
【０００４】
このような歩行者を検出する技術として、従来、横断歩道を横断する歩行者の画像を取得するためのカメラと、歩行者のうち計測領域における最後尾に位置する歩行者を検出しこの最後尾の歩行者の位置情報および速度から横断予測時間を算出する歩行者検知装置と、歩行者検知装置による横断予測時間に基づいて歩行者用信号機の点灯を制御する信号制御装置と、を備えた技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５０７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１に記載の技術は、歩行者検知装置により、カメラから送られる画像のうち横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定して、歩行者を自動的に検出することが可能であるが、前記従来の技術においては、歩行者の検出を行う場合に、計測領域において移動体を抽出してサンプルパターンと比較することで、歩行者であるか否かを認識するようにしているため、システムの設置場所ごとに十分なサンプルパターンを収集し、あらかじめ登録しておく必要があるという問題を有している。
【０００７】
そして、認識に失敗した場合には、失敗したサンプルパターンを持ち帰り、新たにサンプルパターンの追加登録を行う必要があり、このような作業を繰り返して行うことにより、サンプルパターンをほぼ完全なものとする必要があった。これは、システムの設置場所における設置高さや設置角度などによって歩行者のサンプルパターンが異なるため、一般的に歩行者として認識できるサンプルパターンの他に、各設置場所ごとのサンプルパターンが必要なためである。そのため、対象認識するシステムを設置するまでに多くの手間が掛かってしまうという問題を有している。
【０００８】
本発明は前記した点に鑑みてなされたものであり、あらかじめすべてのサンプルパターンを登録することなく、新たにサンプルパターンを生成することのできる対象物認識システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は前記目的を達成するために、請求項１の発明に係る対象物認識システムは、横断歩道部分の画像を取得するためのカメラと、
前記信号機の点灯状態に基づいて検出対象を選択する検出対象選択部と、対象物のサンプルパターンを格納するためのパターン格納部と、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して移動体を検出する移動体検出部と、前記移動体検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部と、からなる画像処理部を備えた検出装置と、
を備えていることを特徴とする。
【００１０】
請求項２に係る発明は、請求項１において、移動体検出部は、前記検出対象選択部により検出対象の移動体として歩行者が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部であり、前記パターン生成部は、前記歩行者検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成することを特徴とする。
【００１１】
請求項３に係る発明は、請求項１または請求項２において、移動体検出部は、前記検出対象選択部により検出対象の移動体として車両が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して車両を検出する車両検出部であり、前記パターン生成部は、前記車両検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成することを特徴とする。
【００１２】
請求項４に係る発明は、請求項１から請求項３のいずれか一項において、前記検出対象選択部は、前記信号制御装置から送られる灯色情報に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする。
【００１３】
請求項５に係る発明は、請求項１から請求項３のいずれか一項において、前記検出対象選択部は、前記カメラの画像に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする。
【００１４】
請求項６に係る発明は、請求項１から請求項５のいずれか一項において、前記検出装置は、前記カメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するものであることを特徴とする。
【発明の効果】
【００１５】
請求項１に係る発明によれば、画像処理部の移動体検出部により、移動体がサンプルパターンと一致しない場合に、パターン生成部により対象となる移動体を新たなサンプルパターンとして生成し、パターン格納部に格納するようにしているので、実際にシステムを動作させることにより、新たなサンプルパターンを随時登録することができる。そのため、あらかじめサンプルパターンを登録しておく必要がなく、対象認識するシステムの設置を容易に行うことができる。
【００１６】
請求項２に係る発明によれば、移動体検出部を、検出対象選択部により検出対象の移動体として歩行者が選択された場合に、カメラの画像から抽出された移動体とパターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部とし、パターン生成部により、歩行者検出部により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成するようにしているので、実際にシステムを動作させることにより、歩行者の新たなサンプルパターンを随時登録することができ、対象認識するシステムの設置を容易に行うことができる。
【００１７】
請求項３に係る発明によれば、移動体検出部を、検出対象選択部により検出対象の移動体として車両が選択された場合に、カメラの画像から抽出された移動体とパターン格納部のサンプルパターンとを比較して車両を検出する車両検出部とし、パターン生成部により、車両検出部により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成するようにしているので、実際にシステムを動作させることにより、車両の新たなサンプルパターンを随時登録することができ、対象認識するシステムの設置を容易に行うことができる。
【００１８】
請求項４に係る発明によれば、検出対象選択部により、信号制御装置から送られる灯色情報に基づいて信号機の点灯状態を検出して検出対象を選択するようにしているので、適正に検出対象を選択することができる。
【００１９】
請求項５に係る発明によれば、検出対象選択部により、カメラの画像に基づいて信号機の点灯状態を検出して検出対象を選択するようにしているので、適正に検出対象を選択することができる。
【００２０】
請求項６に係る発明によれば、検出装置によりカメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するようにしているので、カメラによる画像に基づいて逐次計測領域を手動で設定する必要がなく、カメラの設置作業が容易であり、かつ、システムの設定も容易となる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る対象物認識システムの実施形態を示す概略図である。
【図２】本発明に係る対象物認識システムの実施形態における制御構成を示すブロック図である。
【図３】図３（ａ）、（ｂ）、（ｃ）は本発明に係る対象物認識システムの実施形態における横断歩道の抽出動作を示すそれぞれ説明図である。
【図４】本発明に係る対象物認識システムの実施形態における歩行者のパターン認識処理を示す説明図である。
【図５】本発明に係る対象物認識システムの実施形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は本発明に係る対象物認識システムの実施形態を示す概略図である。図１に示すように、道路１には、横断歩道２を挟んで対向するように歩行者用信号機３が設置されている。この歩行者用信号機３のうち、一方の歩行者用信号機３には、横断歩道２を横断する歩行者または道路１を走行する車両の画像を取得するためのカメラ４が内蔵されている。
【００２４】
また、カメラ４には、このカメラ４により取得される画像から横断歩道２を渡る歩行者を検出するとともに、道路１を走行して横断歩道２を通過する車両を検出するための検出装置５が接続されている。この検出装置５には、歩行者用信号機３の制御を行う信号制御装置６が接続されている。そして、カメラ４および検出装置５により対象物認識システムが構成されるようになっている。
【００２５】
図２は本発明に係る対象物認識システムの実施形態を示すブロック図である。図２に示すように、検出装置５は、カメラ４による画像を入力する画像入力部７を備えており、この画像入力部７により入力された画像は、メモリ８に一時的に記憶されるように構成されている。
【００２６】
また、検出装置５は、画像入力部７から入力された画像を処理する画像処理部９を備えている。また、画像処理部９には、この信号制御装置６により制御されている灯色情報が送られるように構成されており、画像処理部９は、信号制御装置６から出力される灯色情報に基づいて検出すべき対象が歩行者であるか、車両であるかを選択する検出対象選択部１０を備えている。すなわち、歩行者用信号機３が青の場合は、歩行者が横断歩道２を渡ることができることになるので、検出すべき対象は、歩行者となる。一方、歩行者用信号機３が赤の場合は、歩行者が横断歩道２を渡ることができず、車両が走行することになるので、検出すべき対象は車両となる。このように検出対象選択部１０は、信号制御装置６から送られる灯色情報が青であるか赤であるによって検出すべき対象を選択するようになっている。
【００２７】
また、画像処理部９は、検出対象選択部１０により選択された検出対象が歩行者であった場合に、画像入力部７から入力される画像に基づいて歩行者を検出する移動体検出部としての歩行者検出部１１を備えており、画像処理部９は、検出画像選択部により選択された検出画像が車両であった場合に、画像入力部７から入力される画像に基づいて車両を検出する移動体検出部としての車両検出部１２を備えている。
【００２８】
さらに、本実施形態においては、画像処理部は、歩行者のサンプルパターンを格納するためのパターン格納部１３を備えており、画像処理部は、新たなサンプルパターンを生成するパターン生成部１４を備えている。
【００２９】
画像処理部９の歩行者検出部１１は、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域をあらかじめ設定することができるようになっている。この横断歩道２の自動検出手段としては、例えば、図３（ａ）に示すように、まず、カメラ４が設置された高さ、画角、俯角などの設置条件をあらかじめ取得しておき、画像内における各座標の実距離を算出する。続いて、画像内の白線部分を抽出して２値化した後、図３（ｂ）に示すように、この２値化画像について実距離３０ｃｍ四方の領域を膨張するとともに、図３（ｃ）に示すように、再び縮退することにより得られた台形部分を横断歩道２に対応する計測領域とするものである。
【００３０】
そして、図４に示すように、歩行者検出部１１は、計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較するように構成されている。そして、歩行者検出部は、移動体がサンプルパターンと一致した場合には、移動体が歩行者であると判断して歩行者を検出するものであり、サンプルパターンと一致しない場合には、パターン生成部１４により移動体を新たなサンプルパターンとして生成してパターン格納部１３に格納するように構成されている。すなわち、歩行者信号機が青に制御されている状態では、灯色情報に基づいて検出画像選択部により検出対象が歩行者であると選択されるが、この場合には、横断歩道を渡る移動体は、基本的にすべて歩行者であり、自動車や自動二輪車などの車両が移動することはないと考えられるためである。
【００３１】
また、同様に、車両検出部は、計測領域において移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較するように構成されている。そして、歩行者検出部は、移動体がサンプルパターンと一致した場合には、移動体が車両であると判断して車両を検出するものであり、サンプルパターンと一致しない場合には、パターン生成部１４により移動体を新たなサンプルパターンとして生成してパターン格納部１３に格納するように構成されている。すなわち、歩行者信号機が赤に制御されている状態では、灯色情報に基づいて検出画像選択部により検出対象が車両であると選択されるが、この場合には、横断歩道を通過する移動体は、基本的にすべて車両であり、歩行者が移動することはないと考えられるためである。
【００３２】
次に、本実施形態の作用について図５に示すフローチャートを参照して説明する。
【００３３】
まず、本実施形態においては、カメラ４により撮影された画像は、画像入力部７を介して画像処理部９に入力されるとともに（ＳＴ１）、所定のメモリ８に記憶される。
【００３４】
画像処理部９は、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域を設定して（ＳＴ２）、画像処理部９により画像処理を開始する（ＳＴ３）。
【００３５】
一方、検出対象選択部１０は、信号制御装置６から送られる灯色情報に基づいて、歩行者用信号機３が青の場合は、検出すべき対象を歩行者とし、歩行者用信号機３が赤の場合は、検出すべき対象画像を車両とする（ＳＴ４）。
【００３６】
そして、検出対象選択部１０により、検出画像として歩行者が選択された場合は（ＳＴ５）、画像処理部９の歩行者検出部１１により、カメラ４により撮影された画像の計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較する。そして、歩行者検出部１１は、移動体がサンプルパターンと一致した場合には（ＳＴ５：ＹＥＳ）、移動体が歩行者であると判断して歩行者を検出する（ＳＴ７）。一方、移動体がサンプルパターンと一致しない場合には（ＳＴ５：ＮＯ）、パターン生成部１４により対象となる移動体を歩行者の新たなサンプルパターンとして生成し、パターン格納部１３に格納する（ＳＴ６）。その後、歩行者の検出を行う（ＳＴ７）
【００３７】
また、同様に、検出対象選択部１０により、検出画像として車両が選択された場合は、画像処理部９の車両検出部１２により、カメラ４により撮影された画像の計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較する。そして、歩行者検出部１１は、移動体がサンプルパターンと一致した場合には（ＳＴ８：ＹＥＳ）、移動体が車両であると判断して車両を検出する（ＳＴ１０）。一方、移動体がサンプルパターンと一致しない場合には（ＳＴ８：ＹＥＳ）、パターン生成部１４により対象となる移動体を車両の新たなサンプルパターンとして生成し、パターン格納部１３に格納する（ＳＴ９）。その後、車両の検出を行う（ＳＴ１０）
【００３８】
この歩行者の検出結果または車両の検出結果は、信号制御装置６に出力され（ＳＴ１１）、信号制御装置６は、歩行者または車両の有無に基づいて歩行者用信号機３の青色点灯あるいは点滅または赤色点灯などの点灯制御を行う。
【００３９】
以上述べたように本実施形態においては、画像処理部９の歩行者検出部１１または車両検出部１２により、移動体がサンプルパターンと一致しない場合に、パターン生成部１４により対象となる移動体を歩行者または車両の新たなサンプルパターンとして生成し、パターン格納部１３に格納するようにしているので、実際にシステムを動作させることにより、新たなサンプルパターンを随時登録することができる。そのため、あらかじめサンプルパターンを登録しておく必要がなく、対象認識するシステムの設置を容易に行うことができる。
【００４０】
さらに、画像処理部９により、カメラ４の設置位置に応じて、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域をあらかじめ設定するようにしており、カメラ４による画像に基づいて逐次計測領域を手動で設定する必要がないので、カメラ４の設置作業が容易であり、かつ、システムの設定も容易となる。
【００４１】
なお、前記実施形態においては、信号制御装置６からの灯色情報に基づいて、検出対象を歩行者であるか車両であるか選択するようにしたが、例えば、カメラ４による撮影画像に基づいて、横断歩道２を挟んで対向する歩行者用信号機３の点灯状態を検出することにより、画像処理部９により歩行者用信号機３が青であるか、赤であるかを判断するようにしてもよい。
【００４２】
なお、前記実施形態においては、移動体のサンプルパターンとして歩行者および車両のサンプルパターンを生成するようにしたが、例えば、歩行者のみあるいは車両ののみのサンプルパターンを生成するようにしてもよい。
【００４３】
また、本発明は前記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。
【符号の説明】
【００４４】
１ 道路
２ 横断歩道
３ 歩行者用信号機
４ カメラ
５ 検出装置
６ 信号制御装置
７ 画像入力部
８ メモリ
９ 画像処理部
１０ 検出対象選択部
１１ 歩行者検出部
１２ 車両検出部
１３ パターン格納部
１４ パターン生成部
【技術分野】
【０００１】
本発明は対象物認識システムに係り、特に、あらかじめすべてのサンプルパターンを登録することなく、新たにサンプルパターンを生成することを可能とした対象物認識システムに関するものである。
【背景技術】
【０００２】
一般的に、横断歩道に設置される歩行者用信号機においては、横断歩道を渡る歩行者の有無にかかわらず、ある決められた固定秒数で青色または赤色の点灯を切り換え表示するようになっている。
【０００３】
しかしながら、これでは横断歩道に歩行者がいない場合でも歩行者用信号機が青色点灯されてしまったり、あるいは歩行者がまだ横断歩道を渡っている途中に歩行者用信号機が赤色点灯されてしまうといった不都合が生じうる。そのため、従来から、横断歩道に歩行者検出装置を設け、この歩行者検出装置により、横断歩道内の歩行者を検出することで、歩行者用信号機の制御を行うシステムが開発されている。
【０００４】
このような歩行者を検出する技術として、従来、横断歩道を横断する歩行者の画像を取得するためのカメラと、歩行者のうち計測領域における最後尾に位置する歩行者を検出しこの最後尾の歩行者の位置情報および速度から横断予測時間を算出する歩行者検知装置と、歩行者検知装置による横断予測時間に基づいて歩行者用信号機の点灯を制御する信号制御装置と、を備えた技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５０７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記特許文献１に記載の技術は、歩行者検知装置により、カメラから送られる画像のうち横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定して、歩行者を自動的に検出することが可能であるが、前記従来の技術においては、歩行者の検出を行う場合に、計測領域において移動体を抽出してサンプルパターンと比較することで、歩行者であるか否かを認識するようにしているため、システムの設置場所ごとに十分なサンプルパターンを収集し、あらかじめ登録しておく必要があるという問題を有している。
【０００７】
そして、認識に失敗した場合には、失敗したサンプルパターンを持ち帰り、新たにサンプルパターンの追加登録を行う必要があり、このような作業を繰り返して行うことにより、サンプルパターンをほぼ完全なものとする必要があった。これは、システムの設置場所における設置高さや設置角度などによって歩行者のサンプルパターンが異なるため、一般的に歩行者として認識できるサンプルパターンの他に、各設置場所ごとのサンプルパターンが必要なためである。そのため、対象認識するシステムを設置するまでに多くの手間が掛かってしまうという問題を有している。
【０００８】
本発明は前記した点に鑑みてなされたものであり、あらかじめすべてのサンプルパターンを登録することなく、新たにサンプルパターンを生成することのできる対象物認識システムを提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明は前記目的を達成するために、請求項１の発明に係る対象物認識システムは、横断歩道部分の画像を取得するためのカメラと、
前記信号機の点灯状態に基づいて検出対象を選択する検出対象選択部と、対象物のサンプルパターンを格納するためのパターン格納部と、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して移動体を検出する移動体検出部と、前記移動体検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部と、からなる画像処理部を備えた検出装置と、
を備えていることを特徴とする。
【００１０】
請求項２に係る発明は、請求項１において、移動体検出部は、前記検出対象選択部により検出対象の移動体として歩行者が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部であり、前記パターン生成部は、前記歩行者検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成することを特徴とする。
【００１１】
請求項３に係る発明は、請求項１または請求項２において、移動体検出部は、前記検出対象選択部により検出対象の移動体として車両が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して車両を検出する車両検出部であり、前記パターン生成部は、前記車両検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成することを特徴とする。
【００１２】
請求項４に係る発明は、請求項１から請求項３のいずれか一項において、前記検出対象選択部は、前記信号制御装置から送られる灯色情報に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする。
【００１３】
請求項５に係る発明は、請求項１から請求項３のいずれか一項において、前記検出対象選択部は、前記カメラの画像に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする。
【００１４】
請求項６に係る発明は、請求項１から請求項５のいずれか一項において、前記検出装置は、前記カメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するものであることを特徴とする。
【発明の効果】
【００１５】
請求項１に係る発明によれば、画像処理部の移動体検出部により、移動体がサンプルパターンと一致しない場合に、パターン生成部により対象となる移動体を新たなサンプルパターンとして生成し、パターン格納部に格納するようにしているので、実際にシステムを動作させることにより、新たなサンプルパターンを随時登録することができる。そのため、あらかじめサンプルパターンを登録しておく必要がなく、対象認識するシステムの設置を容易に行うことができる。
【００１６】
請求項２に係る発明によれば、移動体検出部を、検出対象選択部により検出対象の移動体として歩行者が選択された場合に、カメラの画像から抽出された移動体とパターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部とし、パターン生成部により、歩行者検出部により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成するようにしているので、実際にシステムを動作させることにより、歩行者の新たなサンプルパターンを随時登録することができ、対象認識するシステムの設置を容易に行うことができる。
【００１７】
請求項３に係る発明によれば、移動体検出部を、検出対象選択部により検出対象の移動体として車両が選択された場合に、カメラの画像から抽出された移動体とパターン格納部のサンプルパターンとを比較して車両を検出する車両検出部とし、パターン生成部により、車両検出部により抽出された移動体とサンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成するようにしているので、実際にシステムを動作させることにより、車両の新たなサンプルパターンを随時登録することができ、対象認識するシステムの設置を容易に行うことができる。
【００１８】
請求項４に係る発明によれば、検出対象選択部により、信号制御装置から送られる灯色情報に基づいて信号機の点灯状態を検出して検出対象を選択するようにしているので、適正に検出対象を選択することができる。
【００１９】
請求項５に係る発明によれば、検出対象選択部により、カメラの画像に基づいて信号機の点灯状態を検出して検出対象を選択するようにしているので、適正に検出対象を選択することができる。
【００２０】
請求項６に係る発明によれば、検出装置によりカメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するようにしているので、カメラによる画像に基づいて逐次計測領域を手動で設定する必要がなく、カメラの設置作業が容易であり、かつ、システムの設定も容易となる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る対象物認識システムの実施形態を示す概略図である。
【図２】本発明に係る対象物認識システムの実施形態における制御構成を示すブロック図である。
【図３】図３（ａ）、（ｂ）、（ｃ）は本発明に係る対象物認識システムの実施形態における横断歩道の抽出動作を示すそれぞれ説明図である。
【図４】本発明に係る対象物認識システムの実施形態における歩行者のパターン認識処理を示す説明図である。
【図５】本発明に係る対象物認識システムの実施形態の動作を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２３】
図１は本発明に係る対象物認識システムの実施形態を示す概略図である。図１に示すように、道路１には、横断歩道２を挟んで対向するように歩行者用信号機３が設置されている。この歩行者用信号機３のうち、一方の歩行者用信号機３には、横断歩道２を横断する歩行者または道路１を走行する車両の画像を取得するためのカメラ４が内蔵されている。
【００２４】
また、カメラ４には、このカメラ４により取得される画像から横断歩道２を渡る歩行者を検出するとともに、道路１を走行して横断歩道２を通過する車両を検出するための検出装置５が接続されている。この検出装置５には、歩行者用信号機３の制御を行う信号制御装置６が接続されている。そして、カメラ４および検出装置５により対象物認識システムが構成されるようになっている。
【００２５】
図２は本発明に係る対象物認識システムの実施形態を示すブロック図である。図２に示すように、検出装置５は、カメラ４による画像を入力する画像入力部７を備えており、この画像入力部７により入力された画像は、メモリ８に一時的に記憶されるように構成されている。
【００２６】
また、検出装置５は、画像入力部７から入力された画像を処理する画像処理部９を備えている。また、画像処理部９には、この信号制御装置６により制御されている灯色情報が送られるように構成されており、画像処理部９は、信号制御装置６から出力される灯色情報に基づいて検出すべき対象が歩行者であるか、車両であるかを選択する検出対象選択部１０を備えている。すなわち、歩行者用信号機３が青の場合は、歩行者が横断歩道２を渡ることができることになるので、検出すべき対象は、歩行者となる。一方、歩行者用信号機３が赤の場合は、歩行者が横断歩道２を渡ることができず、車両が走行することになるので、検出すべき対象は車両となる。このように検出対象選択部１０は、信号制御装置６から送られる灯色情報が青であるか赤であるによって検出すべき対象を選択するようになっている。
【００２７】
また、画像処理部９は、検出対象選択部１０により選択された検出対象が歩行者であった場合に、画像入力部７から入力される画像に基づいて歩行者を検出する移動体検出部としての歩行者検出部１１を備えており、画像処理部９は、検出画像選択部により選択された検出画像が車両であった場合に、画像入力部７から入力される画像に基づいて車両を検出する移動体検出部としての車両検出部１２を備えている。
【００２８】
さらに、本実施形態においては、画像処理部は、歩行者のサンプルパターンを格納するためのパターン格納部１３を備えており、画像処理部は、新たなサンプルパターンを生成するパターン生成部１４を備えている。
【００２９】
画像処理部９の歩行者検出部１１は、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域をあらかじめ設定することができるようになっている。この横断歩道２の自動検出手段としては、例えば、図３（ａ）に示すように、まず、カメラ４が設置された高さ、画角、俯角などの設置条件をあらかじめ取得しておき、画像内における各座標の実距離を算出する。続いて、画像内の白線部分を抽出して２値化した後、図３（ｂ）に示すように、この２値化画像について実距離３０ｃｍ四方の領域を膨張するとともに、図３（ｃ）に示すように、再び縮退することにより得られた台形部分を横断歩道２に対応する計測領域とするものである。
【００３０】
そして、図４に示すように、歩行者検出部１１は、計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較するように構成されている。そして、歩行者検出部は、移動体がサンプルパターンと一致した場合には、移動体が歩行者であると判断して歩行者を検出するものであり、サンプルパターンと一致しない場合には、パターン生成部１４により移動体を新たなサンプルパターンとして生成してパターン格納部１３に格納するように構成されている。すなわち、歩行者信号機が青に制御されている状態では、灯色情報に基づいて検出画像選択部により検出対象が歩行者であると選択されるが、この場合には、横断歩道を渡る移動体は、基本的にすべて歩行者であり、自動車や自動二輪車などの車両が移動することはないと考えられるためである。
【００３１】
また、同様に、車両検出部は、計測領域において移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較するように構成されている。そして、歩行者検出部は、移動体がサンプルパターンと一致した場合には、移動体が車両であると判断して車両を検出するものであり、サンプルパターンと一致しない場合には、パターン生成部１４により移動体を新たなサンプルパターンとして生成してパターン格納部１３に格納するように構成されている。すなわち、歩行者信号機が赤に制御されている状態では、灯色情報に基づいて検出画像選択部により検出対象が車両であると選択されるが、この場合には、横断歩道を通過する移動体は、基本的にすべて車両であり、歩行者が移動することはないと考えられるためである。
【００３２】
次に、本実施形態の作用について図５に示すフローチャートを参照して説明する。
【００３３】
まず、本実施形態においては、カメラ４により撮影された画像は、画像入力部７を介して画像処理部９に入力されるとともに（ＳＴ１）、所定のメモリ８に記憶される。
【００３４】
画像処理部９は、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域を設定して（ＳＴ２）、画像処理部９により画像処理を開始する（ＳＴ３）。
【００３５】
一方、検出対象選択部１０は、信号制御装置６から送られる灯色情報に基づいて、歩行者用信号機３が青の場合は、検出すべき対象を歩行者とし、歩行者用信号機３が赤の場合は、検出すべき対象画像を車両とする（ＳＴ４）。
【００３６】
そして、検出対象選択部１０により、検出画像として歩行者が選択された場合は（ＳＴ５）、画像処理部９の歩行者検出部１１により、カメラ４により撮影された画像の計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較する。そして、歩行者検出部１１は、移動体がサンプルパターンと一致した場合には（ＳＴ５：ＹＥＳ）、移動体が歩行者であると判断して歩行者を検出する（ＳＴ７）。一方、移動体がサンプルパターンと一致しない場合には（ＳＴ５：ＮＯ）、パターン生成部１４により対象となる移動体を歩行者の新たなサンプルパターンとして生成し、パターン格納部１３に格納する（ＳＴ６）。その後、歩行者の検出を行う（ＳＴ７）
【００３７】
また、同様に、検出対象選択部１０により、検出画像として車両が選択された場合は、画像処理部９の車両検出部１２により、カメラ４により撮影された画像の計測領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体をパターン格納部１３に格納された各サンプルパターンと比較する。そして、歩行者検出部１１は、移動体がサンプルパターンと一致した場合には（ＳＴ８：ＹＥＳ）、移動体が車両であると判断して車両を検出する（ＳＴ１０）。一方、移動体がサンプルパターンと一致しない場合には（ＳＴ８：ＹＥＳ）、パターン生成部１４により対象となる移動体を車両の新たなサンプルパターンとして生成し、パターン格納部１３に格納する（ＳＴ９）。その後、車両の検出を行う（ＳＴ１０）
【００３８】
この歩行者の検出結果または車両の検出結果は、信号制御装置６に出力され（ＳＴ１１）、信号制御装置６は、歩行者または車両の有無に基づいて歩行者用信号機３の青色点灯あるいは点滅または赤色点灯などの点灯制御を行う。
【００３９】
以上述べたように本実施形態においては、画像処理部９の歩行者検出部１１または車両検出部１２により、移動体がサンプルパターンと一致しない場合に、パターン生成部１４により対象となる移動体を歩行者または車両の新たなサンプルパターンとして生成し、パターン格納部１３に格納するようにしているので、実際にシステムを動作させることにより、新たなサンプルパターンを随時登録することができる。そのため、あらかじめサンプルパターンを登録しておく必要がなく、対象認識するシステムの設置を容易に行うことができる。
【００４０】
さらに、画像処理部９により、カメラ４の設置位置に応じて、カメラ４から送られる画像のうち横断歩道２を自動的に検出し、横断歩道２に対応する計測領域をあらかじめ設定するようにしており、カメラ４による画像に基づいて逐次計測領域を手動で設定する必要がないので、カメラ４の設置作業が容易であり、かつ、システムの設定も容易となる。
【００４１】
なお、前記実施形態においては、信号制御装置６からの灯色情報に基づいて、検出対象を歩行者であるか車両であるか選択するようにしたが、例えば、カメラ４による撮影画像に基づいて、横断歩道２を挟んで対向する歩行者用信号機３の点灯状態を検出することにより、画像処理部９により歩行者用信号機３が青であるか、赤であるかを判断するようにしてもよい。
【００４２】
なお、前記実施形態においては、移動体のサンプルパターンとして歩行者および車両のサンプルパターンを生成するようにしたが、例えば、歩行者のみあるいは車両ののみのサンプルパターンを生成するようにしてもよい。
【００４３】
また、本発明は前記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。
【符号の説明】
【００４４】
１ 道路
２ 横断歩道
３ 歩行者用信号機
４ カメラ
５ 検出装置
６ 信号制御装置
７ 画像入力部
８ メモリ
９ 画像処理部
１０ 検出対象選択部
１１ 歩行者検出部
１２ 車両検出部
１３ パターン格納部
１４ パターン生成部
【特許請求の範囲】
【請求項１】
横断歩道部分の画像を取得するためのカメラと、
前記信号機の点灯状態に基づいて検出対象を選択する検出対象選択部と、対象物のサンプルパターンを格納するためのパターン格納部と、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して移動体を検出する移動体検出部と、前記移動体検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部と、からなる画像処理部を備えた検出装置と、
を備えていることを特徴とする対象物認識システム。
【請求項２】
移動体検出部は、前記検出対象選択部により検出対象の移動体として歩行者が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部であり、前記パターン生成部は、前記歩行者検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成することを特徴とする請求項１に記載の対象物認識システム。
【請求項３】
移動体検出部は、前記検出対象選択部により検出対象の移動体として車両が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して車両を検出する車両検出部であり、前記パターン生成部は、前記車両検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成することを特徴とする請求項１または請求項２に記載の対象物認識システム。
【請求項４】
前記検出対象選択部は、前記信号制御装置から送られる灯色情報に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする請求項１から請求項３のいずれか一項に記載の対象物認識システム。
【請求項５】
前記検出対象選択部は、前記カメラの画像に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする請求項１から請求項３のいずれか一項に記載の対象物認識システム。
【請求項６】
前記検出装置は、前記カメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するものであることを特徴とする請求項１から請求項５のいずれか一項に記載の対象物認識システム。
【請求項１】
横断歩道部分の画像を取得するためのカメラと、
前記信号機の点灯状態に基づいて検出対象を選択する検出対象選択部と、対象物のサンプルパターンを格納するためのパターン格納部と、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して移動体を検出する移動体検出部と、前記移動体検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を新たなサンプルパターンとして生成するパターン生成部と、からなる画像処理部を備えた検出装置と、
を備えていることを特徴とする対象物認識システム。
【請求項２】
移動体検出部は、前記検出対象選択部により検出対象の移動体として歩行者が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して歩行者を検出する歩行者検出部であり、前記パターン生成部は、前記歩行者検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を歩行者の新たなサンプルパターンとして生成することを特徴とする請求項１に記載の対象物認識システム。
【請求項３】
移動体検出部は、前記検出対象選択部により検出対象の移動体として車両が選択された場合に、前記カメラの画像から抽出された移動体と前記パターン格納部のサンプルパターンとを比較して車両を検出する車両検出部であり、前記パターン生成部は、前記車両検出部により抽出された移動体と前記サンプルパターンとが一致しない場合に、この抽出された移動体を車両の新たなサンプルパターンとして生成することを特徴とする請求項１または請求項２に記載の対象物認識システム。
【請求項４】
前記検出対象選択部は、前記信号制御装置から送られる灯色情報に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする請求項１から請求項３のいずれか一項に記載の対象物認識システム。
【請求項５】
前記検出対象選択部は、前記カメラの画像に基づいて前記信号機の点灯状態を検出して検出対象を選択することを特徴とする請求項１から請求項３のいずれか一項に記載の対象物認識システム。
【請求項６】
前記検出装置は、前記カメラから送られる画像から横断歩道を自動的に検出し、横断歩道に対応する計測領域をあらかじめ設定するものであることを特徴とする請求項１から請求項５のいずれか一項に記載の対象物認識システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２２１２７１（Ｐ２０１２−２２１２７１Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８６９５２（Ｐ２０１１−８６９５２）
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１１日（２０１１．４．１１）
【出願人】（０００００４６５１）日本信号株式会社 (720)
【Ｆターム（参考）】
[ Back to top ]