撮像システム
【課題】追跡対象の位置および大きさをより正確に検出することができる。
【解決手段】交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、を備えることを特徴とする撮像システムを提供する。
【解決手段】交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、を備えることを特徴とする撮像システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点に設けられる撮像システムに関する。より詳しくは、交差点内および交差点周辺を移動する複数の対象のうちの特定の対象を追跡しながら撮像する撮像システムに関する。
【背景技術】
【０００２】
交差点を走行する車両の運転者を支援する交差点運転支援システムが知られている（例えば特許文献１参照）。このようなシステムでは、自車両の前方および側方を撮像した画像から移動体を検出して当該移動体の危険度に応じて車両の運転者に通知または警報を行うことにより、交差点を走行する際の安全性を高めることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５２３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されたシステムでは、車両前方および車両側方にそれぞれ1台ずつ設けられた撮像装置により移動体を検知することから、移動体の位置および大きさを正確に検出することが難しかった。また、移動体の大きさが急に変化した場合、例えば、車両前方を横断中の歩行者が倒れたり、あるいは蹲ったりした場合は、事故に至る危険性が極めて高い状態となるが、このような移動体の大きさの変化についても正確に検出することができなかった。また、移動体の大きさなどの検出精度を高めるために撮像装置の解像度を上げると、撮像される画像のデータが大きくなり、それに伴って移動体の検出処理による負荷も大きくなることが課題であった。
【課題を解決するための手段】
【０００５】
上記課題を解決することを目的として、本発明は、交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、
予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
を備えることを特徴とする撮像システムを提供する。
【０００６】
このような撮像システムによれば、交差点内および交差点周辺を移動する一または複数の歩行者を全体視撮像部で撮像するとともに、その撮像データから例えば移動速度および移動方向などの条件に基づいて特定された歩行者を追跡対象として複数の特定対象撮像部で追跡しながら撮像することができる。したがって、追跡対象である歩行者の位置だけでなく、当該歩行者の姿勢の変化などを高い精度で検出することができる。したがって、当該歩行者が交差点内で倒れたり、あるいは蹲るなど危険な状態に至ったことを早期に発見することができる。また、全体視撮像部の撮像素子における画素密度は、特定対象撮像部の撮像素子における画素密度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。
【０００７】
また、上記撮像システムにおいて、前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることが好ましい。また、上記撮像システムにおいて、前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象としてもよい。
【０００８】
これにより、危険な状態に至る可能性のより高い歩行者を追跡対象とすることができる。
【０００９】
また、上記撮像システムにおいて、前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することが好ましい。
【００１０】
これにより、交差点内において事故の危険性が高まった歩行者を他の歩行者から識別することができる。
【００１１】
また、上記撮像システムは、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定してもよい。
【００１２】
これにより、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、事故に遭う可能性の高い歩行者を他の歩行者から識別することができる。
【００１３】
また、上記撮像システムは、前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることが好ましい。
【００１４】
これにより、歩行者用信号が赤になったときに交差点内に歩行者が残っている場合でも、当該歩行者を保護することができる。
【００１５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。
【図２】撮像システム１００の構成を示すブロック図である。
【図３】撮像システム１００による歩行者の追跡撮像の動作フローである。
【図４】コンピュータ１０００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【００１７】
以下、添付図面に基づいて本発明の一実施形態について説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態における特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１８】
図1は、本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。また、図２は、撮像システム１００の構成を示すブロック図である。本実施形態に係る撮像システム１００は、交差点５００内およびその周辺を移動する歩行者や自動車などの複数の対象を撮像するとともに、例えば撮像した複数の歩行者から特定の歩行者を選択して追跡撮像し、事故に遭う危険性の高い状態（危険状態）にある歩行者を検出することのできるシステムである。
【００１９】
なお、撮像システム１００の説明のために例示する交差点５００は、図１の上下方向に自動車が対面通行可能な車道５１１と、図１の左右方向に自動車が対面通行可能な車道５１２とが交差する十字路型の交差点である。また、交差点５００には、車道５１１，５１２側方の歩道５２１，５２２，５２３，５２４間を横断するための横断歩道５３１，５３２，５３３，５３４が設けられている。
【００２０】
また、車道５１１，５１２の各横断歩道５３１〜５３４の手前側（交差点５００の中心から遠い側）には、自動車用信号５４１，５４２，５４３，５４４が設けられている。また、横断歩道５３１〜５３４の両側（歩道５２１〜５２４側）には、歩行者用信号５５１，５５２，５５３，５５４が設けられている。
【００２１】
例えば、歩道５２１から歩道５２２へと車道５１１を横断するための横断歩道５３１の手前側には、自動車用信号５４１が設けられている。また、横断歩道５３１の両側には、歩行者用信号５５１が設けられている。なお、自動車用信号５４１〜５４４および歩行者用信号５５１〜５５４は、いずれも路面から５〜１０ｍ程度の高さに設けられる。
【００２２】
例えば車道５１１を交差点５００に向けて移動する自動車６２１Ａ，６２１Ｂは、例えば自動車用信号５４１が青である場合は、そのまま交差点５００内に侵入することができるが、自動車用信号５４１が赤である場合は、横断歩道５３１の手前側に設けられた一時停止線より手前にて停車しなければならない。一方、歩行者６１１Ａ，６１１Ｂ，６１１Ｃ，６１１Ｄ，６１１Ｅは、歩行者用信号５５１が青である場合は、横断歩道５３１を横断できるが、歩行者用信号５５１が赤である場合は、横断することはできない。
【００２３】
図１に示すように、本実施形態に係る撮像システム１００は、固定部１０５と、全体視撮像部１１０と、２台の特定対象撮像部１２０，１３０とを備える。固定部１０５は、車道５１１の両側に設けられた支柱部と当該支柱部に両端が固定された梁部によって構成される。全体視撮像部１１０および特定対象撮像部１２０，１３０は、固定部１０５の梁部に固定される。
【００２４】
本例において、２台の特定対象撮像部１２０，１３０は、全体視撮像部１１０の両側に設けられる。また、全体視撮像部１１０および特定対象撮像部１２０，１３０は、いずれも車道５１１の路面から１０ｍ程度の高さに設置されることが好ましい。なお、全体視撮像部１１０および特定対象撮像部１２０，１３０の配置およびこれらを設置する路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。
【００２５】
図２に示すように、撮像システム１００は、さらに、撮像データ取得部１４１，１４２と、動体識別部１５０と、追跡対象特定部１６０と、制御部１７０と、信号情報取得部１７５と、危険状態判定部１８０と、信号情報制御部１９０とを備える。
【００２６】
全体視撮像部１１０は、交差点５００内およびその周辺（本例では全体視撮像部１１０から見て横断歩道５３１よりも向こう側の車道５１１上）を撮像可能なＣＣＤカメラ１１１、およびＣＣＤカメラ１１１による撮像データを記憶する画像記憶部１１２を有する。ＣＣＤカメラ１１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ１１１は、例えば固定部１０５に固定されており、その撮像範囲は一定である。なお、全体視撮像部１１０は、ＣＣＤカメラ１１１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
【００２７】
画像記憶部１１２は、ＣＣＤカメラ１１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
【００２８】
特定対象撮像部１２０は、全体視撮像部１１０が有するＣＣＤカメラ１１１の撮像範囲のうちの特定の範囲を拡大して撮像する光学ズーム機能を有するＣＣＤカメラ１２１、ＣＣＤカメラ１２１による撮像データを記憶する画像記憶部１２２、およびＣＣＤカメラ１２１を駆動する駆動部１２３を有する。また、特定対象撮像部１３０は、特定対象撮像部１２０のＣＣＤカメラ１２１、画像記憶部１２２、および駆動部１２３のそれぞれと同様の機能を有するＣＣＤカメラ１３１、画像記憶部１３２、および駆動部１３３を有する。
【００２９】
ＣＣＤカメラ１２１，１３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部１２２は、ＣＣＤカメラ１２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部１２０，１３０は、ＣＣＤカメラ１２１，１３１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有し、かつ所定の光学ズーム機能を有するカメラを有してもよい。
【００３０】
画像記憶部１３２は、ＣＣＤカメラ１３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１３２は、画像記憶部１２２，１３２には、画像記憶部１１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
【００３１】
撮像データ取得部１４１は、画像記憶部１１２に対して所定のタイミングでアクセスして画像記憶部１１２が記憶する撮像データを取得する。動体識別部１５０は、撮像データ取得部１４１から出力される撮像データを受け取り、ＣＣＤカメラ１１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。
【００３２】
より具体的には、動体識別部１５０は、ある時点における撮像データが撮像データ取得部１４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部１５０は、次に撮像データ取得部１４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部１５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ１１１の撮像範囲内において移動する対象を識別する。
【００３３】
ここで、動体識別部１５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部１１０のＣＣＤカメラ１１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。
【００３４】
追跡対象特定部１６０は、動体識別部１５０により識別された対象から、特定対象撮像部１２０，１３０により追跡撮像させるべき対象（以下、「追跡対象」と称する）を、予め定められた条件に基づいて特定する。より具体的には、追跡対象特定部１６０は、動体識別部１５０により識別された対象それぞれの位置および移動速度に関する情報を動体識別部１５０から取得し、例えば交差点５００内を移動中に立ち止まったまま動かない歩行者のように、通常の横断歩行者と異なる動きをする歩行者を特定して追跡対象とする。
【００３５】
また、このような歩行者がいない場合は、追跡対象特定部１６０は、横断歩道上を横断中の複数の歩行者について、その移動方向に基づいてグループに分類し、当該グループの最後尾の歩行者を追跡対象とする。また、追跡対象特定部１６０は、複数の歩行者が追跡対象として特定される場合は、それぞれの歩行者について、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行ってもよい。
【００３６】
制御部１７０は、特定結果取得部１７１および撮像条件制御部１７２を有する。特定結果取得部１７１は、追跡対象特定部１６０による追跡対象の位置および移動速度などの情報を取得する。具体的には、特定結果取得部１７１は、例えば、追跡対象特定部１６０により特定された追跡対象の位置および移動速度などの情報を取得する。撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部１２０のＣＣＤカメラ１２１および特定対象撮像部１３０のＣＣＤカメラ１３１の撮像方向および焦点などの撮像条件を設定する。
【００３７】
より具体的には、撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、駆動部１２３に駆動制御信号を与える。そして、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の撮像範囲内に追跡対象が入るようにＣＣＤカメラ１２１の撮像方向を設定する。また、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。
【００３８】
また、これと同様に、撮像条件制御部１７２は、駆動部１３３にも駆動制御信号を与える。そして、駆動部１３３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１３１の撮像方向、焦点、および露出などを追跡対象の撮像に適した条件に設定する。
【００３９】
そして、撮像条件制御部１７２は、ＣＣＤカメラ１２１，１３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ１２１，１３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部１７２は、特定結果取得部１７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を変更してもよい。
【００４０】
このように、２台の特定対象撮像部１２０，１３０（ＣＣＤカメラ１２１，１３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部１２０，１３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。
【００４１】
また、本例のＣＣＤカメラ１２１，１３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ１１１が備える撮像素子よりも高い画素密度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生するなど、当該歩行者が事故に遭う危険性が極めて高い状態に至ったことを正確に検出することができる。
【００４２】
また、本例において、追跡対象特定部１６０が複数の歩行者を追跡対象として特定し、危険度のレベルに応じて順位付けを行っている場合、制御部１７０は、それらの歩行者の当該順位に関する情報を追跡対象特定部１６０から取得し、最も順位の高い歩行者を特定対象撮像部１２０，１３０により追跡撮像させてもよい。
【００４３】
このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部１２０，１３０により追跡撮像させることができる。また、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。
【００４４】
信号情報取得部１７５は、交差点５００に設置された歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。例えば、信号情報取得部１７５は、交差点５００に設置された歩行者用信号５５１〜５５４、および自動車用信号５４１〜５４４のうち、一方が通行または横断不可（例えば赤）を示すときに他方が青（通行または横断可能）を示す一対の信号（例えば自動車用信号５４１と歩行者用信号５５１）の各々の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。
【００４５】
危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに基づいて、当該追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する。より具体的には、危険状態判定部１８０は、例えば、特定対象撮像部１２０，１３０で追跡撮像している歩行者（追跡対象）の撮像データから当該歩行者の姿勢の変化を検出する。そして、危険状態判定部１８０は、歩行者が交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する。
【００４６】
また、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに加えて、信号情報取得部１７５からの信号情報を参照することにより追跡対象を危険対象として識別してもよい。より具体的には、危険状態判定部１８０は、信号情報取得部１７５からの信号情報が、歩行者が横断不可であることを歩行者用信号が示すか、又は、自動車が通行可能であることを自動車用信号が示しているにも関わらず交差点５００内（横断歩道上）に歩行者が残っている場合、当該歩行者が危険状態であると判定する。
【００４７】
そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力する。信号情報制御部１９０は、危険状態判定部１８０から上記情報を受け取ると、自動車用信号を赤に変更して交差点５００内に自動車を侵入させないようにする。このように、本実施形態に係る撮像システム１００によれば、歩行者用信号が赤になったときに交差点５００内に歩行者が残っている場合でも、当該歩行者を保護することができる。
【００４８】
また、本実施形態において、全体視撮像部１１０のＣＣＤカメラ１１１が有する撮像素子の画素密度は、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１が有する撮像素子の画素密度よりも低い。したがって、ＣＣＤカメラ１１１は、ＣＣＤカメラ１２１，１３１よりも解像度は低くなるものの、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ１２１，１３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。
【００４９】
以下において、撮像システム１００の動作フローをより具体的に説明する。
【００５０】
図３は、撮像システム１００による歩行者の追跡撮像の動作フローである。本フローにおいては、まず、全体視撮像部１１０によって、横断歩道５３１および横断歩道５３３を撮像する（ステップ：Ｓ３００）。次に、動体識別部１５０は、全体視撮像部１１０による撮像データから、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅおよび横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、移動する対象として識別する（ステップ：Ｓ３０５）。
【００５１】
追跡対象特定部１６０は、歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅから、特定対象撮像部１２０，１３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ３１０）。
【００５２】
例えば、追跡対象特定部１６０は、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅと、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、横断方向によってそれぞれ２つのグループ（計４グループ）に分類する。本例では、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅは、歩行者６１１Ａ，６１１Ｂ，６１１Ｃのグループと歩行者６１１Ｄ，６１１Ｅのグループに分類される。また、同様に、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅは、歩行者６１３Ａ，６１３Ｂ，６１３Ｃのグループと歩行者６１３Ｄ，６１３Ｅのグループに分類される。
【００５３】
そして、追跡対象特定部１６０は、各グループの最後尾の歩行者を追跡対象とする。したがって、本例では、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが追跡対象となる。なお、追跡対象特定部１６０は、横断歩道上で動かない歩行者がいる場合、その歩行者を上記歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄに替えて追跡対象とする。
【００５４】
そして、本例のように追跡対象が複数特定される場合（ステップ：Ｓ３１５ ＹＥＳ）、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのそれぞれについて、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行う。例えば、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのうち、例えば横断歩道を渡り切るまでの距離が最も遠い歩行者６１１Ｄの危険度が最も高い歩行者として順位付けする。
【００５５】
そして、制御部１７０は、最も上記順位の高い追跡対象である歩行者６１１Ｄを特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３２０）。なお、追跡対象特定部１６０により追跡対象として特定される歩行者が一人の場合（ステップ：Ｓ３１５ ＮＯ）、制御部１７０は、当該歩行者を特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３３０）。
【００５６】
次に、信号情報取得部１７５は、歩行者用信号５５１，５５３および自動車用信号５４１，５４３の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する（ステップ：Ｓ３３５）。そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データおよび信号情報に基づいて、追跡対象である歩行者が危険な状態となっていないかを判定する（ステップ：Ｓ３４０）。
【００５７】
そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ ＮＯ）。また、危険状態判定部１８０は、歩行者用信号５５１，５５３が赤であることを信号情報が示しているときに歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅのいずれかが横断歩道５３１，５５３上に残っている場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ ＮＯ）。
【００５８】
そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力し、信号情報制御部１９０は、自動車用信号を赤にして自動車（例えば自動車６２１Ａ，６２１Ｂ）を停止させる（ステップ：Ｓ３４５）。
【００５９】
一方、危険状態判定部１８０によって、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄを含むいずれの歩行者も危険状態とならず（ステップ：Ｓ３４０ ＹＥＳ）に、そのまま交差点５００外に出た場合（ステップ：Ｓ３５０ ＹＥＳ）、すなわち、全ての歩行者が横断歩道５３１，５５３を渡り切った場合、本フローは終了する。
【００６０】
なお、全体視撮像部１１０により撮像される全ての歩行者が横断歩道５３１，５５３を渡り切るまでは、再び上記ステップＳ３３５以降を繰り返す（ステップ：Ｓ３５０ ＮＯ）。
【００６１】
図４は、コンピュータ１０００のハードウェア構成の一例を示す。コンピュータ１０００は、与えられるプログラムに基づいて、図１から図３において説明した撮像システム１００の全体視撮像部１１０および特定対象撮像部１２０，１３０を制御するホストコンピュータとして機能する。例えば、コンピュータ１０００がホストコンピュータとして機能する場合、プログラムは、コンピュータ１０００を、図１から図３に関連して説明した撮像システム１００の撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させてよい。
【００６２】
コンピュータ１０００は、ＣＰＵ周辺部、入出力部、及びレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１０８２により相互に接続されるＣＰＵ１００５、ＲＡＭ１０２０、グラフィック・コントローラ１０７５、及び表示装置１０８０を有する。入出力部は、入出力コントローラ１０８４によりホスト・コントローラ１０８２に接続される通信インターフェース１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する。レガシー入出力部は、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０を有する。
【００６３】
ホスト・コントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１００５及びグラフィック・コントローラ１０７５とを接続する。ＣＰＵ１００５は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１０７５は、ＣＰＵ１００５等がＲＡＭ１０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィック・コントローラ１０７５は、ＣＰＵ１００５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６４】
入出力コントローラ１０８４は、ホスト・コントローラ１０８２と、比較的高速な入出力装置である通信インターフェース１０３０、ハードディスクドライブ１０４０、ＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェース１０３０は、ネットワークを介して全体視撮像部１１０および特定対象撮像部１２０，１３０などと通信する。ハードディスクドライブ１０４０は、コンピュータ１０００内のＣＰＵ１００５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。
【００６５】
また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、コンピュータ１０００が起動時に実行するブート・プログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、フレキシブルディスク・ドライブ１０５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６６】
ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０２０を介してコンピュータ１０００内のハードディスクドライブ１０４０にインストールされ、ＣＰＵ１００５において実行される。
【００６７】
当該プログラムは、コンピュータ１０００にインストールされる。当該プログラムは、ＣＰＵ１００５等に働きかけて、コンピュータ１０００を、前述した撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させる。
【００６８】
以上に示したプログラムは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１０００に提供してもよい。
【００６９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００７０】
１００…撮像システム
１０５…固定部
１１０…全体視撮像部
１２０，１３０…特定対象撮像部
１１１，１２１，１３１…ＣＣＤカメラ
１１２，１２２，１３２…画像記憶部
１２３，１３３…駆動部
１４１，１４２…撮像データ取得部
１５０…動体識別部
１６０…追跡対象特定部
１７０…制御部
１７１…特定結果取得部
１７２…撮像条件制御部
１７５…信号情報取得部
１８０…危険状態判定部
１９０…信号情報制御部
５００…交差点
５１１，５１２…車道
５２１，５２２，５２３，５２４…歩道
５３１，５３２，５３３，５３４…横断歩道
５４１，５４２，５４３，５４４…自動車用信号
５５１，５５２，５５３，５５４…歩行者用信号
６１１Ａ〜６１１Ｅ，６１２，６１３Ａ〜６１３Ｅ，６１４…歩行者
６２１Ａ，６２１Ｂ…自動車
１０００…コンピュータ
１００５…ＣＰＵ
１０１０…ＲＯＭ
１０２０…ＲＡＭ
１０３０…通信インターフェース
１０４０…ハードディスクドライブ
１０５０…フレキシブルディスク・ドライブ
１０６０…ＣＤ−ＲＯＭドライブ
１０７０…入出力チップ
１０７５…グラフィック・コントローラ
１０８０…表示装置
１０８２…ホスト・コントローラ
１０８４…入出力コントローラ
１０９０…フレキシブルディスク
１０９５…ＣＤ−ＲＯＭ
【技術分野】
【０００１】
本発明は、交差点に設けられる撮像システムに関する。より詳しくは、交差点内および交差点周辺を移動する複数の対象のうちの特定の対象を追跡しながら撮像する撮像システムに関する。
【背景技術】
【０００２】
交差点を走行する車両の運転者を支援する交差点運転支援システムが知られている（例えば特許文献１参照）。このようなシステムでは、自車両の前方および側方を撮像した画像から移動体を検出して当該移動体の危険度に応じて車両の運転者に通知または警報を行うことにより、交差点を走行する際の安全性を高めることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３５２３９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されたシステムでは、車両前方および車両側方にそれぞれ1台ずつ設けられた撮像装置により移動体を検知することから、移動体の位置および大きさを正確に検出することが難しかった。また、移動体の大きさが急に変化した場合、例えば、車両前方を横断中の歩行者が倒れたり、あるいは蹲ったりした場合は、事故に至る危険性が極めて高い状態となるが、このような移動体の大きさの変化についても正確に検出することができなかった。また、移動体の大きさなどの検出精度を高めるために撮像装置の解像度を上げると、撮像される画像のデータが大きくなり、それに伴って移動体の検出処理による負荷も大きくなることが課題であった。
【課題を解決するための手段】
【０００５】
上記課題を解決することを目的として、本発明は、交差点に設けられる撮像システムであって、前記交差点内を移動する歩行者を撮像する全体視撮像部と、
予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
を備えることを特徴とする撮像システムを提供する。
【０００６】
このような撮像システムによれば、交差点内および交差点周辺を移動する一または複数の歩行者を全体視撮像部で撮像するとともに、その撮像データから例えば移動速度および移動方向などの条件に基づいて特定された歩行者を追跡対象として複数の特定対象撮像部で追跡しながら撮像することができる。したがって、追跡対象である歩行者の位置だけでなく、当該歩行者の姿勢の変化などを高い精度で検出することができる。したがって、当該歩行者が交差点内で倒れたり、あるいは蹲るなど危険な状態に至ったことを早期に発見することができる。また、全体視撮像部の撮像素子における画素密度は、特定対象撮像部の撮像素子における画素密度よりも低いので、交差点内外の撮像データから複数の対象を検出する際の検出処理の負荷を抑えることができる。
【０００７】
また、上記撮像システムにおいて、前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることが好ましい。また、上記撮像システムにおいて、前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象としてもよい。
【０００８】
これにより、危険な状態に至る可能性のより高い歩行者を追跡対象とすることができる。
【０００９】
また、上記撮像システムにおいて、前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することが好ましい。
【００１０】
これにより、交差点内において事故の危険性が高まった歩行者を他の歩行者から識別することができる。
【００１１】
また、上記撮像システムは、前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定してもよい。
【００１２】
これにより、例えば歩行者用信号が赤になっても交差点内に残っている歩行者など、事故に遭う可能性の高い歩行者を他の歩行者から識別することができる。
【００１３】
また、上記撮像システムは、前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることが好ましい。
【００１４】
これにより、歩行者用信号が赤になったときに交差点内に歩行者が残っている場合でも、当該歩行者を保護することができる。
【００１５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。
【図２】撮像システム１００の構成を示すブロック図である。
【図３】撮像システム１００による歩行者の追跡撮像の動作フローである。
【図４】コンピュータ１０００のハードウェア構成の一例を示す。
【発明を実施するための形態】
【００１７】
以下、添付図面に基づいて本発明の一実施形態について説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態における特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１８】
図1は、本発明の実施形態に係る撮像システム１００が設けられた交差点５００を上方から見た図である。また、図２は、撮像システム１００の構成を示すブロック図である。本実施形態に係る撮像システム１００は、交差点５００内およびその周辺を移動する歩行者や自動車などの複数の対象を撮像するとともに、例えば撮像した複数の歩行者から特定の歩行者を選択して追跡撮像し、事故に遭う危険性の高い状態（危険状態）にある歩行者を検出することのできるシステムである。
【００１９】
なお、撮像システム１００の説明のために例示する交差点５００は、図１の上下方向に自動車が対面通行可能な車道５１１と、図１の左右方向に自動車が対面通行可能な車道５１２とが交差する十字路型の交差点である。また、交差点５００には、車道５１１，５１２側方の歩道５２１，５２２，５２３，５２４間を横断するための横断歩道５３１，５３２，５３３，５３４が設けられている。
【００２０】
また、車道５１１，５１２の各横断歩道５３１〜５３４の手前側（交差点５００の中心から遠い側）には、自動車用信号５４１，５４２，５４３，５４４が設けられている。また、横断歩道５３１〜５３４の両側（歩道５２１〜５２４側）には、歩行者用信号５５１，５５２，５５３，５５４が設けられている。
【００２１】
例えば、歩道５２１から歩道５２２へと車道５１１を横断するための横断歩道５３１の手前側には、自動車用信号５４１が設けられている。また、横断歩道５３１の両側には、歩行者用信号５５１が設けられている。なお、自動車用信号５４１〜５４４および歩行者用信号５５１〜５５４は、いずれも路面から５〜１０ｍ程度の高さに設けられる。
【００２２】
例えば車道５１１を交差点５００に向けて移動する自動車６２１Ａ，６２１Ｂは、例えば自動車用信号５４１が青である場合は、そのまま交差点５００内に侵入することができるが、自動車用信号５４１が赤である場合は、横断歩道５３１の手前側に設けられた一時停止線より手前にて停車しなければならない。一方、歩行者６１１Ａ，６１１Ｂ，６１１Ｃ，６１１Ｄ，６１１Ｅは、歩行者用信号５５１が青である場合は、横断歩道５３１を横断できるが、歩行者用信号５５１が赤である場合は、横断することはできない。
【００２３】
図１に示すように、本実施形態に係る撮像システム１００は、固定部１０５と、全体視撮像部１１０と、２台の特定対象撮像部１２０，１３０とを備える。固定部１０５は、車道５１１の両側に設けられた支柱部と当該支柱部に両端が固定された梁部によって構成される。全体視撮像部１１０および特定対象撮像部１２０，１３０は、固定部１０５の梁部に固定される。
【００２４】
本例において、２台の特定対象撮像部１２０，１３０は、全体視撮像部１１０の両側に設けられる。また、全体視撮像部１１０および特定対象撮像部１２０，１３０は、いずれも車道５１１の路面から１０ｍ程度の高さに設置されることが好ましい。なお、全体視撮像部１１０および特定対象撮像部１２０，１３０の配置およびこれらを設置する路面からの高さは、本例に限られず、それぞれの撮像部の撮像対象および撮像範囲などにより適切に設定される。
【００２５】
図２に示すように、撮像システム１００は、さらに、撮像データ取得部１４１，１４２と、動体識別部１５０と、追跡対象特定部１６０と、制御部１７０と、信号情報取得部１７５と、危険状態判定部１８０と、信号情報制御部１９０とを備える。
【００２６】
全体視撮像部１１０は、交差点５００内およびその周辺（本例では全体視撮像部１１０から見て横断歩道５３１よりも向こう側の車道５１１上）を撮像可能なＣＣＤカメラ１１１、およびＣＣＤカメラ１１１による撮像データを記憶する画像記憶部１１２を有する。ＣＣＤカメラ１１１は、例えば画素数が３２０×２４０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。また、本例において、ＣＣＤカメラ１１１は、例えば固定部１０５に固定されており、その撮像範囲は一定である。なお、全体視撮像部１１０は、ＣＣＤカメラ１１１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有するカメラを有してもよい。
【００２７】
画像記憶部１１２は、ＣＣＤカメラ１１１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１１２には、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
【００２８】
特定対象撮像部１２０は、全体視撮像部１１０が有するＣＣＤカメラ１１１の撮像範囲のうちの特定の範囲を拡大して撮像する光学ズーム機能を有するＣＣＤカメラ１２１、ＣＣＤカメラ１２１による撮像データを記憶する画像記憶部１２２、およびＣＣＤカメラ１２１を駆動する駆動部１２３を有する。また、特定対象撮像部１３０は、特定対象撮像部１２０のＣＣＤカメラ１２１、画像記憶部１２２、および駆動部１２３のそれぞれと同様の機能を有するＣＣＤカメラ１３１、画像記憶部１３２、および駆動部１３３を有する。
【００２９】
ＣＣＤカメラ１２１，１３１は、例えば画素数が６４０×４８０のＣＣＤイメージセンサを撮像素子として有し、３０ｆｐｓのフレームレートで上記撮像範囲を撮像可能なＣＣＤカメラであってよい。画像記憶部１２２は、ＣＣＤカメラ１２１によって上記フレームレートで撮像された撮像データを時系列で取得し、それぞれの撮像データを撮像時間に対応付けて記憶する。なお、特定対象撮像部１２０，１３０は、ＣＣＤカメラ１２１，１３１に替えて、ＣＭＯＳイメージセンサなど他の方式の撮像素子を有し、かつ所定の光学ズーム機能を有するカメラを有してもよい。
【００３０】
画像記憶部１３２は、ＣＣＤカメラ１３１によって上記フレームレートで撮像された撮像データを撮像時間に対応付けて記憶する。画像記憶部１３２は、画像記憶部１２２，１３２には、画像記憶部１１２と同様に、例えばフラッシュメモリなどの記憶素子またはハードディスクドライブなどの記憶装置が用いられる。
【００３１】
撮像データ取得部１４１は、画像記憶部１１２に対して所定のタイミングでアクセスして画像記憶部１１２が記憶する撮像データを取得する。動体識別部１５０は、撮像データ取得部１４１から出力される撮像データを受け取り、ＣＣＤカメラ１１１の撮像範囲内において移動する一または複数の対象を当該撮像データから識別する。
【００３２】
より具体的には、動体識別部１５０は、ある時点における撮像データが撮像データ取得部１４１から送られると、当該撮像データから画素毎の輝度の情報を抽出して記憶する。そして、動体識別部１５０は、次に撮像データ取得部１４１から送られる撮像データにおける対応する画素の輝度との差分を求める。動体識別部１５０は、時系列で送られる撮像データについてこの処理を繰り返すことにより、ＣＣＤカメラ１１１の撮像範囲内において移動する対象を識別する。
【００３３】
ここで、動体識別部１５０は、識別される対象の種類（歩行者、自動車など）まで識別できることが好ましいが、本例では、全体視撮像部１１０のＣＣＤカメラ１１１による撮像範囲内で移動する対象の位置および数を少なくとも検出できればよく、さらには検出した対象の移動速度および予想進路などを算出してもよい。
【００３４】
追跡対象特定部１６０は、動体識別部１５０により識別された対象から、特定対象撮像部１２０，１３０により追跡撮像させるべき対象（以下、「追跡対象」と称する）を、予め定められた条件に基づいて特定する。より具体的には、追跡対象特定部１６０は、動体識別部１５０により識別された対象それぞれの位置および移動速度に関する情報を動体識別部１５０から取得し、例えば交差点５００内を移動中に立ち止まったまま動かない歩行者のように、通常の横断歩行者と異なる動きをする歩行者を特定して追跡対象とする。
【００３５】
また、このような歩行者がいない場合は、追跡対象特定部１６０は、横断歩道上を横断中の複数の歩行者について、その移動方向に基づいてグループに分類し、当該グループの最後尾の歩行者を追跡対象とする。また、追跡対象特定部１６０は、複数の歩行者が追跡対象として特定される場合は、それぞれの歩行者について、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行ってもよい。
【００３６】
制御部１７０は、特定結果取得部１７１および撮像条件制御部１７２を有する。特定結果取得部１７１は、追跡対象特定部１６０による追跡対象の位置および移動速度などの情報を取得する。具体的には、特定結果取得部１７１は、例えば、追跡対象特定部１６０により特定された追跡対象の位置および移動速度などの情報を取得する。撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、特定対象撮像部１２０のＣＣＤカメラ１２１および特定対象撮像部１３０のＣＣＤカメラ１３１の撮像方向および焦点などの撮像条件を設定する。
【００３７】
より具体的には、撮像条件制御部１７２は、特定結果取得部１７１が取得した追跡対象に関する上記情報に基づいて、駆動部１２３に駆動制御信号を与える。そして、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の撮像範囲内に追跡対象が入るようにＣＣＤカメラ１２１の撮像方向を設定する。また、駆動部１２３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１２１の光学系を制御することにより焦点および露出などを追跡対象の撮像に適した条件に設定する。
【００３８】
また、これと同様に、撮像条件制御部１７２は、駆動部１３３にも駆動制御信号を与える。そして、駆動部１３３は、上記駆動制御信号に基づいて、ＣＣＤカメラ１３１の撮像方向、焦点、および露出などを追跡対象の撮像に適した条件に設定する。
【００３９】
そして、撮像条件制御部１７２は、ＣＣＤカメラ１２１，１３１による追跡対象の撮像データに基づいて、ＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を適宜変更する。これにより、ＣＣＤカメラ１２１，１３１の撮像範囲は、いずれも上記追跡対象の移動に追従する。また、これに替えて、撮像条件制御部１７２は、特定結果取得部１７１が上記追跡対象の位置、移動速度、予想進路などが変化したことを示す情報を取得した場合に、当該新たな情報に基づいてＣＣＤカメラ１２１，１３１による追跡対象の撮像条件を変更してもよい。
【００４０】
このように、２台の特定対象撮像部１２０，１３０（ＣＣＤカメラ１２１，１３１）で同一の追跡対象を追跡させながら撮像させることにより、特定対象撮像部１２０，１３０をステレオカメラとして機能させることができる。したがって、追跡対象までの距離を正確に測定することができる。
【００４１】
また、本例のＣＣＤカメラ１２１，１３１は、高倍率の光学ズーム機能を有するとともに、それぞれのＣＣＤカメラが備える撮像素子は、ＣＣＤカメラ１１１が備える撮像素子よりも高い画素密度を有する。したがって、追跡対象の大きさを正確に測定することができるので、例えば追跡対象として撮像している歩行者が横断歩道を横断中に倒れたり蹲って立往生するなど、当該歩行者が事故に遭う危険性が極めて高い状態に至ったことを正確に検出することができる。
【００４２】
また、本例において、追跡対象特定部１６０が複数の歩行者を追跡対象として特定し、危険度のレベルに応じて順位付けを行っている場合、制御部１７０は、それらの歩行者の当該順位に関する情報を追跡対象特定部１６０から取得し、最も順位の高い歩行者を特定対象撮像部１２０，１３０により追跡撮像させてもよい。
【００４３】
このように、複数の追跡対象が特定された場合でも、その中でより事故に至る危険性の高い（より危険度の高い）追跡対象を正確に選択して特定対象撮像部１２０，１３０により追跡撮像させることができる。また、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１をステレオカメラとすることにより、追跡対象が危険な状態となったことをより正確に検知することができる。
【００４４】
信号情報取得部１７５は、交差点５００に設置された歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。例えば、信号情報取得部１７５は、交差点５００に設置された歩行者用信号５５１〜５５４、および自動車用信号５４１〜５４４のうち、一方が通行または横断不可（例えば赤）を示すときに他方が青（通行または横断可能）を示す一対の信号（例えば自動車用信号５４１と歩行者用信号５５１）の各々の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する。
【００４５】
危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに基づいて、当該追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する。より具体的には、危険状態判定部１８０は、例えば、特定対象撮像部１２０，１３０で追跡撮像している歩行者（追跡対象）の撮像データから当該歩行者の姿勢の変化を検出する。そして、危険状態判定部１８０は、歩行者が交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する。
【００４６】
また、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データに加えて、信号情報取得部１７５からの信号情報を参照することにより追跡対象を危険対象として識別してもよい。より具体的には、危険状態判定部１８０は、信号情報取得部１７５からの信号情報が、歩行者が横断不可であることを歩行者用信号が示すか、又は、自動車が通行可能であることを自動車用信号が示しているにも関わらず交差点５００内（横断歩道上）に歩行者が残っている場合、当該歩行者が危険状態であると判定する。
【００４７】
そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力する。信号情報制御部１９０は、危険状態判定部１８０から上記情報を受け取ると、自動車用信号を赤に変更して交差点５００内に自動車を侵入させないようにする。このように、本実施形態に係る撮像システム１００によれば、歩行者用信号が赤になったときに交差点５００内に歩行者が残っている場合でも、当該歩行者を保護することができる。
【００４８】
また、本実施形態において、全体視撮像部１１０のＣＣＤカメラ１１１が有する撮像素子の画素密度は、特定対象撮像部１２０，１３０のＣＣＤカメラ１２１，１３１が有する撮像素子の画素密度よりも低い。したがって、ＣＣＤカメラ１１１は、ＣＣＤカメラ１２１，１３１よりも解像度は低くなるものの、より広範囲の対象を検出処理の負荷を抑えつつ特定することができる。そして、追跡対象のみをより高解像度のＣＣＤカメラ１２１，１３１で撮像することにより、注目すべき追跡対象までの距離、および当該追跡対象の大きさ、姿勢などをより正確に検出することができる。
【００４９】
以下において、撮像システム１００の動作フローをより具体的に説明する。
【００５０】
図３は、撮像システム１００による歩行者の追跡撮像の動作フローである。本フローにおいては、まず、全体視撮像部１１０によって、横断歩道５３１および横断歩道５３３を撮像する（ステップ：Ｓ３００）。次に、動体識別部１５０は、全体視撮像部１１０による撮像データから、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅおよび横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、移動する対象として識別する（ステップ：Ｓ３０５）。
【００５１】
追跡対象特定部１６０は、歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅから、特定対象撮像部１２０，１３０により追跡撮像させるべき追跡対象を特定する（ステップ：Ｓ３１０）。
【００５２】
例えば、追跡対象特定部１６０は、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅと、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅを、横断方向によってそれぞれ２つのグループ（計４グループ）に分類する。本例では、横断歩道５３１を横断中の歩行者６１１Ａ〜６１１Ｅは、歩行者６１１Ａ，６１１Ｂ，６１１Ｃのグループと歩行者６１１Ｄ，６１１Ｅのグループに分類される。また、同様に、横断歩道５３３を横断中の歩行者６１３Ａ〜６１３Ｅは、歩行者６１３Ａ，６１３Ｂ，６１３Ｃのグループと歩行者６１３Ｄ，６１３Ｅのグループに分類される。
【００５３】
そして、追跡対象特定部１６０は、各グループの最後尾の歩行者を追跡対象とする。したがって、本例では、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが追跡対象となる。なお、追跡対象特定部１６０は、横断歩道上で動かない歩行者がいる場合、その歩行者を上記歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄに替えて追跡対象とする。
【００５４】
そして、本例のように追跡対象が複数特定される場合（ステップ：Ｓ３１５ ＹＥＳ）、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのそれぞれについて、その位置および移動速度、あるいは車道を走行中の自動車との位置関係などから事故に遭う危険性を示す危険度を算出して当該危険度のレベルに応じて順位付けを行う。例えば、追跡対象特定部１６０は、歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄのうち、例えば横断歩道を渡り切るまでの距離が最も遠い歩行者６１１Ｄの危険度が最も高い歩行者として順位付けする。
【００５５】
そして、制御部１７０は、最も上記順位の高い追跡対象である歩行者６１１Ｄを特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３２０）。なお、追跡対象特定部１６０により追跡対象として特定される歩行者が一人の場合（ステップ：Ｓ３１５ ＮＯ）、制御部１７０は、当該歩行者を特定対象撮像部１２０，１３０により撮像させる（ステップ：Ｓ３３０）。
【００５６】
次に、信号情報取得部１７５は、歩行者用信号５５１，５５３および自動車用信号５４１，５４３の点灯状態を示す信号情報を取得して危険状態判定部１８０へと出力する（ステップ：Ｓ３３５）。そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０による追跡対象の撮像データおよび信号情報に基づいて、追跡対象である歩行者が危険な状態となっていないかを判定する（ステップ：Ｓ３４０）。
【００５７】
そして、危険状態判定部１８０は、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄが交差点内で倒れたり、または蹲っていることを検出した場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ ＮＯ）。また、危険状態判定部１８０は、歩行者用信号５５１，５５３が赤であることを信号情報が示しているときに歩行者６１１Ａ〜６１１Ｅおよび歩行者６１３Ａ〜６１３Ｅのいずれかが横断歩道５３１，５５３上に残っている場合、その歩行者が危険状態であると判定する（ステップ：Ｓ３４０ ＮＯ）。
【００５８】
そして、危険状態判定部１８０は、交差点５００内の歩行者を危険状態であると判定した場合、交差点５００内を自動車が通行不可とすべき旨の情報を信号情報制御部１９０へと出力し、信号情報制御部１９０は、自動車用信号を赤にして自動車（例えば自動車６２１Ａ，６２１Ｂ）を停止させる（ステップ：Ｓ３４５）。
【００５９】
一方、危険状態判定部１８０によって、特定対象撮像部１２０，１３０により追跡撮像していた歩行者６１１Ａ，６１１Ｄ，６１３Ａ，６１３Ｄを含むいずれの歩行者も危険状態とならず（ステップ：Ｓ３４０ ＹＥＳ）に、そのまま交差点５００外に出た場合（ステップ：Ｓ３５０ ＹＥＳ）、すなわち、全ての歩行者が横断歩道５３１，５５３を渡り切った場合、本フローは終了する。
【００６０】
なお、全体視撮像部１１０により撮像される全ての歩行者が横断歩道５３１，５５３を渡り切るまでは、再び上記ステップＳ３３５以降を繰り返す（ステップ：Ｓ３５０ ＮＯ）。
【００６１】
図４は、コンピュータ１０００のハードウェア構成の一例を示す。コンピュータ１０００は、与えられるプログラムに基づいて、図１から図３において説明した撮像システム１００の全体視撮像部１１０および特定対象撮像部１２０，１３０を制御するホストコンピュータとして機能する。例えば、コンピュータ１０００がホストコンピュータとして機能する場合、プログラムは、コンピュータ１０００を、図１から図３に関連して説明した撮像システム１００の撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させてよい。
【００６２】
コンピュータ１０００は、ＣＰＵ周辺部、入出力部、及びレガシー入出力部を備える。ＣＰＵ周辺部は、ホスト・コントローラ１０８２により相互に接続されるＣＰＵ１００５、ＲＡＭ１０２０、グラフィック・コントローラ１０７５、及び表示装置１０８０を有する。入出力部は、入出力コントローラ１０８４によりホスト・コントローラ１０８２に接続される通信インターフェース１０３０、ハードディスクドライブ１０４０、及びＣＤ−ＲＯＭドライブ１０６０を有する。レガシー入出力部は、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０を有する。
【００６３】
ホスト・コントローラ１０８２は、ＲＡＭ１０２０と、高い転送レートでＲＡＭ１０２０をアクセスするＣＰＵ１００５及びグラフィック・コントローラ１０７５とを接続する。ＣＰＵ１００５は、ＲＯＭ１０１０及びＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１０７５は、ＣＰＵ１００５等がＲＡＭ１０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１０８０上に表示させる。これに代えて、グラフィック・コントローラ１０７５は、ＣＰＵ１００５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６４】
入出力コントローラ１０８４は、ホスト・コントローラ１０８２と、比較的高速な入出力装置である通信インターフェース１０３０、ハードディスクドライブ１０４０、ＣＤ−ＲＯＭドライブ１０６０を接続する。通信インターフェース１０３０は、ネットワークを介して全体視撮像部１１０および特定対象撮像部１２０，１３０などと通信する。ハードディスクドライブ１０４０は、コンピュータ１０００内のＣＰＵ１００５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１０６０は、ＣＤ−ＲＯＭ１０９５からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。
【００６５】
また、入出力コントローラ１０８４には、ＲＯＭ１０１０と、フレキシブルディスク・ドライブ１０５０、及び入出力チップ１０７０の比較的低速な入出力装置とが接続される。ＲＯＭ１０１０は、コンピュータ１０００が起動時に実行するブート・プログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１０５０は、フレキシブルディスク１０９０からプログラム又はデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、フレキシブルディスク・ドライブ１０５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６６】
ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供されるプログラムは、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０２０を介してコンピュータ１０００内のハードディスクドライブ１０４０にインストールされ、ＣＰＵ１００５において実行される。
【００６７】
当該プログラムは、コンピュータ１０００にインストールされる。当該プログラムは、ＣＰＵ１００５等に働きかけて、コンピュータ１０００を、前述した撮像データ取得部１４１，１４２、動体識別部１５０、追跡対象特定部１６０、制御部１７０、信号情報取得部１７５、危険状態判定部１８０、および信号情報制御部１９０として機能させる。
【００６８】
以上に示したプログラムは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク１０９０、ＣＤ−ＲＯＭ１０９５の他に、ＤＶＤやＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１０００に提供してもよい。
【００６９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることは当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００７０】
１００…撮像システム
１０５…固定部
１１０…全体視撮像部
１２０，１３０…特定対象撮像部
１１１，１２１，１３１…ＣＣＤカメラ
１１２，１２２，１３２…画像記憶部
１２３，１３３…駆動部
１４１，１４２…撮像データ取得部
１５０…動体識別部
１６０…追跡対象特定部
１７０…制御部
１７１…特定結果取得部
１７２…撮像条件制御部
１７５…信号情報取得部
１８０…危険状態判定部
１９０…信号情報制御部
５００…交差点
５１１，５１２…車道
５２１，５２２，５２３，５２４…歩道
５３１，５３２，５３３，５３４…横断歩道
５４１，５４２，５４３，５４４…自動車用信号
５５１，５５２，５５３，５５４…歩行者用信号
６１１Ａ〜６１１Ｅ，６１２，６１３Ａ〜６１３Ｅ，６１４…歩行者
６２１Ａ，６２１Ｂ…自動車
１０００…コンピュータ
１００５…ＣＰＵ
１０１０…ＲＯＭ
１０２０…ＲＡＭ
１０３０…通信インターフェース
１０４０…ハードディスクドライブ
１０５０…フレキシブルディスク・ドライブ
１０６０…ＣＤ−ＲＯＭドライブ
１０７０…入出力チップ
１０７５…グラフィック・コントローラ
１０８０…表示装置
１０８２…ホスト・コントローラ
１０８４…入出力コントローラ
１０９０…フレキシブルディスク
１０９５…ＣＤ−ＲＯＭ
【特許請求の範囲】
【請求項１】
交差点に設けられる撮像システムであって、
前記交差点内を移動する歩行者を撮像する全体視撮像部と、
予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、
前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
を備えることを特徴とする撮像システム。
【請求項２】
前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象とすることを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、
前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
【請求項６】
前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることを特徴とする請求項５に記載の撮像システム。
【請求項１】
交差点に設けられる撮像システムであって、
前記交差点内を移動する歩行者を撮像する全体視撮像部と、
予め定められた条件に基づいて、前記全体視撮像部の撮像データから追跡対象とすべき前記歩行者を特定する追跡対象特定部と、
前記全体視撮像部の撮像素子における画素密度よりも高い画素密度の撮像素子を有し、前記追跡対象を追跡しながら撮像する複数の特定対象撮像部と、
前記特定対象撮像部の撮像データに基づいて、前記追跡対象が事故に遭う危険性の高い危険状態であるか否かを判定する危険状態判定部と、
を備えることを特徴とする撮像システム。
【請求項２】
前記追跡対象特定部は、複数の前記歩行者を移動方向に基づいてグループに分類し、前記グループの最後尾の前記歩行者を前記追跡対象とすることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記追跡対象特定部は、前記交差点内で立ち止まった前記歩行者を前記追跡対象とすることを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記危険状態判定部は、前記特定対象撮像部の撮像データから前記追跡対象の姿勢の変化を検出し、交差点内で倒れているか、または蹲っている前記追跡対象を前記危険状態であると判定することを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記交差点に設置された一対の歩行者用信号および自動車用信号の少なくとも一方の点灯状態を示す信号情報を取得して前記危険状態判定部へと出力する信号情報取得部をさらに備え、
前記危険状態判定部は、前記信号情報取得部からの前記信号情報が、歩行者が横断不可であることを前記歩行者用信号が示す場合、又は、自動車が通行可能であることを前記自動車用信号が示す場合に、前記交差点内の前記歩行者を前記危険状態であると判定することを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
【請求項６】
前記危険状態判定部が前記交差点内の前記歩行者を前記危険状態であると判定したことに応じて、前記自動車用信号を、自動車が通行不可であることを示す点灯状態とする信号情報制御部をさらに備えることを特徴とする請求項５に記載の撮像システム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−８１５６７（Ｐ２０１１−８１５６７Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３２７８６（Ｐ２００９−２３２７８６）
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]