全周警戒システム
【課題】高解像度カメラの台数に関係なく全ての対象を追尾可能な全周警戒システムを提供するにある。
【解決手段】走行車１００に搭載された全周囲センサ５０により全周囲を走査して全周囲センサ画像を取得し、全周囲センサ画像中の全ての対象を追尾し、全周囲センサ画像中の対象から操作者が高解像度カメラにより撮影を意図する１又は２以上の撮影対象ａ，ｂ，…を選択すると、選択された撮影対象ａ，ｂ，…の三次元位置に基づいて、走行車１００に搭載された複数台の高解像度カメラ１１，１２，１３，…のうち撮影対象ａ，ｂ，…に対して最も近い距離にあるものを当該撮影対象ａ，ｂ，…にカメラ割当器３０にて割り当てるので、走行車１００と撮影対象ａ，ｂ，…との相対的位置の変化に対応して、高解像度カメラ１１，１２，１３，…を切り替えながら撮影対象ａ，ｂ，…を高解像度カメラにより撮影し続けることができる。
【解決手段】走行車１００に搭載された全周囲センサ５０により全周囲を走査して全周囲センサ画像を取得し、全周囲センサ画像中の全ての対象を追尾し、全周囲センサ画像中の対象から操作者が高解像度カメラにより撮影を意図する１又は２以上の撮影対象ａ，ｂ，…を選択すると、選択された撮影対象ａ，ｂ，…の三次元位置に基づいて、走行車１００に搭載された複数台の高解像度カメラ１１，１２，１３，…のうち撮影対象ａ，ｂ，…に対して最も近い距離にあるものを当該撮影対象ａ，ｂ，…にカメラ割当器３０にて割り当てるので、走行車１００と撮影対象ａ，ｂ，…との相対的位置の変化に対応して、高解像度カメラ１１，１２，１３，…を切り替えながら撮影対象ａ，ｂ，…を高解像度カメラにより撮影し続けることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全周警戒システムに関する。詳しくは、全周囲センサを併用することによって、高解像度カメラの台数以上の対象を追尾可能とするものである。
【背景技術】
【０００２】
この種の技術としては、特許文献１，２に開示されるように、自律走行車にｎ台のカメラを取り付け、対象（移動体）を検知・追尾するシステムが知られている。これらのシステムは、最大ｎ台の候補を追尾できるものである。ここで、「検知」とは、「検出」と同義であり、周囲に対象がいることを発見し、対象座標を算出することを言う。また、「追尾」とは、時系列的に同一対象に対して同一の識別情報（identification data:以下、ＩＤという）をつける、又はつけ続けることを言う。
例えば、図１０に示すように、自律走行車７に複数台の高解像度カメラ１，１，１，…をパン及びチルト機構２を介して搭載する。
【０００３】
高解像度カメラ１，１，１，…の視野内（図中破線で示す）に対象ａが検出されると、追尾装置６から検出された対象ａの三次元位置情報がカメラ割当器３に送られると共に対象に対してＩＤが振り分けられる。
カメラ割当器３は、各パン及びチルト機構２にパンチルト制御角情報を送ることにより、高解像度カメラ１，１，１，…の視野内で対象ａを捕捉できるように、パン及びチルト機構２を制御する。
【０００４】
対象ａを検出・追尾する高解像度カメラ１，１，１，…のカメラ番号は、カメラ割当器３から表示分配器４に送られる一方、高解像度カメラ１，１，１，…の映像は追尾装置６を経由して表示分配器４に送られる。
表示分配器４は、対象ａを検出・追尾する高解像度カメラ１，１，１，…のカメラ番号に対応した高解像度カメラ１，１，１，…の画像を表示器５に送り表示させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３３１５２０
【特許文献２】特許第３６５６８２３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した背景技術では、固定された複数のパンチルトカメラのみで移動体検知および追尾を行い、あるカメラの視野から対象が消えたとき他のカメラに対象情報を引き渡し、引き続き追尾を続けるが、カメラ台数以上のものを追尾することができないという問題があった。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の請求項１に係る全周警戒システムは、走行車に搭載された全周囲センサにより全周囲を走査して前記全周囲センサの視野内の画像である全周囲センサ画像を取得し、取得された前記全周囲センサ画像内の全ての対象の三次元位置を算出すると共に前記全ての対象に対して同一対象であれば同一の識別情報をそれぞれつけることによって前記全ての対象を追尾し、追尾される前記全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を前記全周囲センサ画像中から選択すると、選択された前記撮影対象の三次元位置に基づいて、前記走行車に搭載された複数台の高解像度カメラのうち前記撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、前記走行車と前記撮影対象との相対的位置の変化に対応して、前記高解像度カメラを切り替えながら前記撮影対象を前記高解像度カメラにより撮影し続ける一方、前記高解像度カメラにより撮影された同一の前記撮影対象を、前記高解像度カメラを切り替えた場合でも表示分配器により、前記高解像度カメラにより撮影された前記撮像対象を表示する複数の表示器の中から同一の表示器に表示させることを特徴とする。
【０００８】
上記課題を解決する本発明の請求項２に係る全周警戒システムは、請求項１において、前記カメラ割当器は、前記撮影対象に選択される際に設定される優先度に基づき、前記優先度の高い前記撮影対象を他に優先して割り当てることを特徴とする。
【０００９】
上記課題を解決する本発明の請求項３に係る全周警戒システムは、請求項１又は２において、前記カメラ割当器は、前記高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、前記高解像度カメラの割当を変更しないことを特徴とする。
【００１０】
上記課題を解決する本発明の請求項４に係る全周警戒システムは、請求項１，２又は３において、前記カメラ割当器は、前記走行車の予定経路、前記撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く前記撮影対象を撮影可能な前記高解像度カメラを割り当てることを特徴とする。
【発明の効果】
【００１１】
本発明の請求項１に係る全周警戒システムは、走行車に搭載された全周囲センサにより全周囲を走査して全周囲センサの視野内の画像である全周囲センサ画像を取得し、取得された全周囲センサ画像内の全ての対象の三次元位置を算出すると共に全ての対象に対して同一対象であれば同一の識別情報をそれぞれ振りつづけることによって前記全ての対象を追尾し、追尾される全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を全周囲センサ画像中から選択すると、選択された撮影対象の三次元位置に基づいて、走行車に搭載された複数台の高解像度カメラのうち撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、走行車と撮影対象との相対的位置の変化に対応して、高解像度カメラを切り替えながら前記撮影対象を高解像度カメラにより撮影し続けることが可能となり、高解像度カメラの台数に関係なく、従って、高解像度カメラの台数以上の対象を追尾することができる。なお、高解像度カメラを切り替えた場合でも、高解像度カメラにより撮影された同一の撮影対象は、表示分配器により同一の表示器に表示させることができる。また、全周囲センサ画像から、任意の時刻に対象を選択することで、高解像度カメラによる追尾をスタートさせ、表示器に表示できる。
【００１２】
本発明の請求項２に係る全周警戒システムは、カメラ割当器が撮影対象に選択される際に設定される優先度に基づき優先度の高い撮影対象を他に優先して割り当てるので、優先度の高い撮影対象を確実に高解像度カメラにより撮影し続けることが可能となる。
【００１３】
本発明の請求項３に係る全周警戒システムは、カメラ割当器が高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、高解像度カメラの割当を変更しないので、高解像度カメラの切り替えが減り、見易さが向上する。
【００１４】
本発明の請求項４に係る全周警戒システムは、カメラ割当器が走行車の予定経路、撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く撮影対象を撮影可能な高解像度カメラを割り当てるので、高解像度カメラの切り替えが一層減り、見易さが向上する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施例に係る全周警戒システムのブロック図である。
【図２】本発明の第１の実施例におけるカメラ割当器についてのフローチャートである。
【図３】本発明の第１の実施例に係る全周警戒システムのフローチャートである。
【図４】走行車と撮影対象との相対的な位置関係を示す斜視図である。
【図５】全周囲センサ画像を示す説明図である。
【図６】表示器を示す説明図である。
【図７】本発明の第２の実施例におけるカメラ割当器についてのフローチャートである。
【図８】本発明の第の実施例におけるカメラ割当器についてのフローチャートである。
【図９】走行車の走行軌跡を示す斜視図である。
【図１０】従来技術の説明図である。
【発明を実施するための形態】
【００１６】
本発明は、全周囲センサの視野内の全ての対象を追尾するものであり、操作者により高解像度カメラにより撮影を意図する対象が全周囲センサ画像から選択されると（このように選択された対象が撮影対象である）、撮影対象の３次元座標に基づいて、撮影対象に最も近い高解像度カメラより撮影対象を撮影する。
つまり、本発明では、全周囲センサの視野内の全ての対象を追尾するため、高解像度カメラの台数に関係なく追尾可能となる利点がある。
ここで、「追尾」とは、画面内にいる全ての対象の座標を算出し、時系列的に同一対象に対して同一の識別情報（identification data:以下、ＩＤという）をつける、又はつけ続けることを言う。
また、算出された座標により、高解像度カメラを向けることが可能となるのである。
以下に、本発明を実施するための形態について、図面に示す実施例と共に説明する。
【実施例１】
【００１７】
本発明の第１の実施例に係る全周警戒システムを図１から図６を参照して説明する。本実施例は、全周囲センサの視野内の全ての対象を追尾するものである。
即ち、走行車１００には、図４（ａ）（ｂ）（ｃ）に示す通り、ｎ個（ｎは２以上の自然数）の高解像度カメラ１１，１２，１３，…が搭載されている。
【００１８】
走行車１００としては、予め設定された予定軌道に沿って自律走行するタイプもあるが、ドライバの運転により走行するタイプ、遠隔操作により走行するタイプもある。
高解像度カメラ１１，１２，１３，…は、図１に示すように、パン及びチルト機構２１，２２，２３，…を介して支持されており、カメラ割当器３０からのパンチルト制御角情報に基づいて、水平方向に旋回し、上下方向に傾動することが可能である。
【００１９】
高解像度カメラ１１，１２，１３，…により撮影された高解像度映像は、表示分配器４０を経て、図６（ａ）（ｂ）（ｃ）に示される通り、表示器Ａ，Ｂ，Ｃ，…のいずれかに表示される。表示分配器４０にて、表示器Ａ，Ｂ，Ｃ，…のいずれかに表示されるかは後述する。
高解像度カメラ１１，１２，１３，…は、一定時間ごとに静止画（フレーム）を撮影するものであり、表示器Ａ，Ｂ，Ｃ，…は、撮影された静止画を連続的に動画として表示するものである。表示器Ａ，Ｂ，Ｃ，…の台数は、高解像度カメラ１１，１２，１３，…の台数と同じとする。表示器Ａ，Ｂ，Ｃ，…は、走行車１００に搭載しても良いが、地上のコントロールセンター内に配置しても良い。
【００２０】
一方、走行車１００には、図４（ａ）（ｂ）（ｃ）に示す通り、１台の全周囲センサ５０が搭載されている。
全周囲センサ５０は、図中矢印で示すように、斜め下向きで全周囲を周期的に走査して全周囲センサ映像を取得する。本実施例では、全周囲センサ５０として、対象までの距離と方向を検出するスキャン式レーザレーダを使用する。全周囲センサ５０は、見渡せる範囲を広くするためできるだけ高い位置に設置することが望ましいが、全周囲センサ５０を複数台搭載して、一方で前方側を走査し、他方で後方側を走査するようにしても良い。全周囲センサ５０の解像度よりも、高解像度カメラ１１，１２，１３，…の解像度は高い。
【００２１】
全周囲センサ５０により取得された対象までの距離と方向の情報は、図１に示すように、対象候補検知・追尾器６０を経て、全周囲センサ映像として全周囲画像表示器９０へ送信される。全周囲画像表示器９０は、走行車１００に搭載しても良いが、地上のコントロールセンター内に配置しても良い。
【００２２】
対象候補検知・追尾器６０は、特開２００３−３０２４７０号（「歩行者検出装置および歩行者検出方法」）などの手法により、レーザレーダの位置・姿勢情報および対象までの距離から、対象候補の相対極座標（r,φ,θ）を算出する。さらに各対象候補に対象ＩＤを振り分け、また、各フレームにおける相対座標を算出する。更に、対象候補検知・追尾器６０は、過去に追尾した対象であるならば同じＩＤを振り続ける。
【００２３】
全周囲画像表示器９０で表示される全周囲センサ映像は、図５（ａ）（ｂ）（ｃ）に示す通り、全周囲センサ５０を中心として同心円状に映し出される画像である。
全周囲画像表示器９０は、操作者が対象を選択するインターフェースとなる。従って、全周囲センサ映像中においては、指差して示すように、走行車１００の周囲に位置する１又は２以上の対象候補から、操作者が高解像度カメラにより撮影することを意図する撮影対象ａ，ｂ，…を任意に選択する。
撮影対象には選択される際に優先度も設定することが可能である。優先度としては、例えば、操作者が追尾することが重要であると考えるほど高く設定することができる。
【００２４】
操作者は、ドライバと共に走行車１００に搭乗しても良いが、地上のコントロールセンターにおいて全周囲画像表示器９０を見ながら選択することもできる。
全周囲画像表示器９０において、選択された撮影対象ａ，ｂ，…に関する３次元座標と対象ＩＤとが関連付けられ、選択された撮影対象ａ，ｂ，…の位置情報として三次元位置検出器７０へ送信される。３次元座標とは、撮影対象までの相対距離ｒ及び対象を検知したレーザレーダの角度（φ,θ）とからなる相対座標である。
【００２５】
三次元位置算出器７０は、ＧＰＳ８０からの自己位置データと、選択された撮影対象ａ，ｂ，…の相対座標から撮影対象ａ，ｂ，…の三次元絶対座標を算出し、カメラ割当器３０へ出力する。ＧＰＳ８０に代えて、ジャイロ等から自己位置データを求めても良い。
カメラ割当器３０は、撮影対象ａ，ｂ，…の３次元絶対座標から撮影対象ａ，ｂ，…に一番近い高解像度カメラ１１，１２，１３，…に割り当てる。この点に関して、図２に示すフローチャートを参照して具体的に説明する。
【００２６】
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＳ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＳ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＳ３）。
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＳ４）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＳ３において選択された候補カメラを割り当てる（ステップＳ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、ステップＳ２にリターンする。
【００２７】
また、ステップＳ４で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＳ５）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＳ６）、ステップＳ３において選択された候補カメラを割り当てる（ステップＳ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、ステップＳ２にリターンする。
【００２８】
このように、撮影対象に最も近い高解像度カメラを候補カメラとして選択することを繰り返すことにより、撮影対象と走行車との相対距離の変化に応じて、高解像度カメラを切り替えて、いうなれば、リレーしながら、撮影対象の撮影を続けることができる。
一方、ステップＳ５にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＳ７）。
【００２９】
なお、本実施例では、カメラ割当器３０は、周囲の地理的条件などに基づかないで候補カメラを割り当てるため、３次元絶対座標に代えて相対座標を使用することも可能である。
また、カメラ割当器３０は、割り当てられた高解像度カメラ１１，１２，１３，…のパンチルト機構２１，２２，２３，…にパンチルト制御角情報を送ることにより、図４（ａ）（ｂ）（ｃ）に示すように、割り当てられた高解像度カメラ１１，１２，１３，…の視野（図中破線で示す、以下同じ）内で撮影対象ａ，ｂ，…を捕捉できるように、パン及びチルト機構２１，２２，２３，…を制御する。
【００３０】
更に、カメラ割当器３０は、選択された撮影対象ａ，ｂ，…の対象ＩＤと共に、割り当てられた高解像度カメラ１１，１２，１３，…のカメラ番号を表示分配器４０へ出力する。
表示分配器４０は、空いている表示機Ａ，Ｂ，Ｃ，…のうち最も番号が若い番号のものと、選択された撮影対象ａ，ｂ，…の対象ＩＤと紐付ける。つまり、表示分配器４０は、ＩＤ毎に表示器Ａ，Ｂ，Ｃ，…を割り当てる機能を持つ。なお、表示器Ａ，Ｂ，Ｃ，…が空いていない場合、優先度の低い対象のＩＤが紐付いている表示器を使用することもできる。
【００３１】
従って、表示分配器４０は、カメラ割当器３０からカメラ番号と対象ＩＤの紐付け情報を受け取り、対象ＩＤを表示している表示機に、該当対象追尾動画を正しく表示させることができる。なお、高解像度カメラが切り替わっても、同一対象は同じ表示器に表示させる機能を持つ。
上述した本実施例に係る全周警戒システムによれば、全周囲センサ５０で全対象を追尾するものであり、その手順について、図３に示すフローチャートを参照して説明する。
【００３２】
先ず、スタートして（ステップＴ１）、全周囲センサ画像を全周囲画像表示器９０に表示する（ステップＴ２）。
次いで、全周囲画像表示器９０から撮影対象を操作者が選択（撮影対象のＩＤが決定）すると共に優先度を設定し（ステップＴ３）、ＩＤ情報からどの表示器Ａ，Ｂ，Ｃ，…に表示するかを決定する（ステップＴ４）。選択された撮影対象に関する３次元座標と対象ＩＤとが関連付けられ、選択された撮影対象の位置情報として三次元位置検出器７０へ送信される。
【００３３】
引き続き、自車（走行車）の絶対３次元座標を取得し（ステップＴ５）、全周囲画像から撮影対象を追尾し、相対３次元座標を算出する（ステップＴ６）。自車の絶対３次元座標および姿勢は、ＧＰＳ、ジャイロセンサなどから取得する。また、レーザレーダのデータから対象の追尾を行い、相対３次元座標を算出する。
更に、撮影対象の相対３次元座標を算出し（ステップＴ７）、撮影対象の絶対３次元座標および自車姿勢・位置から使用カメラを選択する（ステップＴ８）。自車の絶対座標および対象の相対座標から対象の絶対座標を算出する。
【００３４】
その後、絶対位置情報からパンチルトを制御して指定カメラにより撮影する一方（ステップＴ９）、決定した表示器に表示する（ステップＴ１０）。撮影対象の３次元座標を対象に最も近い高解像度カメラに送り、撮影する。
本実施例の全周警戒システムにおいて、一例として、２個の撮影対象を撮影する様子を図４−図６を参照して説明する。
【００３５】
図４（ａ）に示すように、矢印方向に向かって進む走行車１００の右方前方に撮影対象ａが全周囲センサ５０により検知されると、図５（ａ）に示すように、全周囲画像中に撮影対象ａが出現するので、操作者が撮影対象ａを選択すると、図４（ａ）に示すように、撮影対象ａに最も近い右前部の高解像度カメラ１３が割り当てられ、撮影対象ａの三次元座標が高解像度カメラ１３に送られ、高解像度カメラ１３の視野内に捕捉できるようパンチルト制御される一方、図６（ａ）に示すように、高解像度カメラ１３で撮影された撮影対象ａが表示器Ａに表示される。
【００３６】
そして、図４（ｂ）に示すように、走行車１００の進行により、撮影対象ａが走行車１００の右前側に位置が変化すると、図５（ｂ）に示すように、全周囲画像中における撮影対象ａの表示位置も変化するが、図４（ｂ）に示すように、撮影対象ａに最も近い高解像度カメラ１３の視野内に捕捉できるように引き続きパンチルト制御される一方、図６（ｂ）に示すように、高解像度カメラ１３で撮影された撮影対象ａが表示器Ａに引き続き表示される。
【００３７】
更に、図４（ｃ）に示すように、走行車１００の進行により、撮影対象ａが走行車１００の右方中央に位置が変化すると、撮影対象ａに最も近い右中央部の高解像度カメラ１５が割り当てられ（つまり、高解像度カメラ１３から高解像度カメラ１５へと切り替えられ）、撮影対象ａの三次元座標が高解像度カメラ１５に送られ、高解像度カメラ１５の視野内に捕捉できるようパンチルト制御される一方、図６（ｃ）に示すように、高解像度カメラ１５で撮影された撮影対象ａが引き続き表示器Ａに表示される。
【００３８】
同時に、図４（ｃ）に示すように、走行車１００の右方前側に新たな撮影対象ｂが全周囲センサ５０により検知されると、図５（ｃ）に示すように、全周囲画像中において新たな撮影対象ｂが出現するので、操作者が撮影対象ｂも選択すると、図４（ｃ）に示すように、撮影対象ｂに最も近い右前部の高解像度カメラ１３が割り当てられ、撮影対象ｂの三次元座標が高解像度カメラ１３に送られ、高解像度カメラ１３の視野内に捕捉できるようパンチルト制御される一方、図６（ｃ）に示すように、高解像度カメラ１３で撮影された撮影対象ｂが表示器Ｂに表示される。
【００３９】
このように説明したように、本実施例に係る全周警戒システムは、全周囲センサで全対象を追尾するため、高解像度カメラの台数に関係なく追尾可能である。また、全周囲センサ画像から、任意の時刻に対象を選択することで、高解像度カメラによる追尾をスタートさせ、表示器に表示することもできる。
【実施例２】
【００４０】
本発明の第２の実施例に係る全周警戒システムについて、図７を参照して説明する。図７は、本実施例に係るカメラ割当器についてのフローチャートであり、本実施例において、カメラ割当器以外については、前述した実施例１と同様なものである。
即ち、本実施例は、図７に示すようにカメラ割当の際、撮影を開始したら、物理的に撮影可能な限り、同じ高解像度カメラで撮影するようにしたものである。
【００４１】
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＵ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＵ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、次フレームの候補カメラとして既に設定されているか否かを判定し（ステップＵ３）、次フレームの候補カメラとして設定されていなければ、撮影対象に最も近い高解像度カメラを候補カメラとして設定する（ステップＵ４）。
【００４２】
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＵ５）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＵ４において選択された候補カメラを割り当てる（ステップＵ１０）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＵ１１）、ステップＵ２にリターンする。
【００４３】
また、ステップＵ５で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＵ６）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＵ７）、ステップＵ４において設定された候補カメラを割り当てる（ステップＵ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＵ１１）、ステップＵ２にリターンする。
【００４４】
なお、ステップＵ６にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＵ８）。
【００４５】
一方、ステップＵ３において、次フレームの候補カメラとして既に設定されていると判断されれば、候補カメラで対象を物理的に撮影可能か判断し（ステップＵ９）、候補カメラで対象を物理的に撮影可能でないと判断されれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＵ４）。つまり、高解像度カメラを切り替える。
【００４６】
他方、ステップＵ９で、候補カメラで対象を物理的に撮影可能であると判断されれば、ステップＵ１１において次フレームの候補カメラとして既に設定された候補カメラをそのまま割り当てる（ステップＵ１０）。つまり、高解像度カメラの切り替えは行わない。
ステップＵ９において、物理的に撮影可能か否かの判断としては、具体的には、パンチルト移動が稼動範囲内か、自車のミラー等の装備品に隠れないかなどに基づく。パンチルト移動に関する情報、ミラー等の装備品に関する情報は予めカメラ割当器に与えられるものとする。
【００４７】
上述した通り、本実施例の全周警戒システムによれば、カメラ割当の際、撮影開始したら、物理的に可能な限り同じ高解像度カメラで撮影するため、実施例１よりも、高解像度カメラの切り替わり回数を軽減させ、視認性が向上する利点がある。
【実施例３】
【００４８】
本発明の第３の実施例に係る全周警戒システムについて、図８を参照して説明する。図８は、本実施例に係るカメラ割当器についてのフローチャートであり、本実施例において、カメラ割当器以外については、前述した実施例２と同様なものである。
【００４９】
即ち、本実施例は、図８に示すようにカメラ割当の際、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するようにしたものである。
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＶ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＶ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、次フレームの候補カメラとして既に設定されているか否かを判定し（ステップＶ３）、次フレームの候補カメラとして設定されていなければ、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定する（ステップＶ４）。
【００５０】
ここで、「走行車の今後の予定経路」としては、自律型の走行車を想定したものである。即ち、自律型の走行車において、予め走行経路が設定されているもの、走行時に取得したデータにより判断して進路を決めるものがある。また、「対象の移動軌跡」としては、撮影対象により異なる。例えば、撮影対象として、人を想定した場合には、人は横断歩道、歩道等に沿って移動することを前提として予想できる。また、統計的なデータを利用することも可能である。また、撮影対象として、車両を想定した場合には、道路交通法等の法規に従うこと、また、車両は道路形状に沿って移動することから、道路形状の地理的情報に基づいて予想できる。「加味して」とは、より長く対象を撮影できる高解像度カメラを選択するということである。
【００５１】
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＶ５）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＶ４において選択された候補カメラを割り当てる（ステップＶ１０）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＶ１１）、ステップＶ２にリターンする。
【００５２】
また、ステップＶ５で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＶ６）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＶ７）、ステップＶ４において設定された候補カメラを割り当てる（ステップＶ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＶ１１）、ステップＶ２にリターンする。
【００５３】
なお、ステップＶ６にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＶ８）。
一方、ステップＶ３において、次フレームの候補カメラとして既に設定されていると判断されれば、候補カメラで対象を物理的に撮影可能か判断し（ステップＶ９）、候補カメラで対象を物理的に撮影可能でないと判断されれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＶ４）。つまり、高解像度カメラを切り替える。
他方、ステップＶ９で、候補カメラで対象を物理的に撮影可能であると判断されれば、ステップＶ１１において次フレームの候補カメラとして既に設定された候補カメラをそのまま割り当てる（ステップＶ１０）。つまり、高解像度カメラの切り替えは行わない。
【００５４】
上述した通り、本実施例の全周警戒システムによれば、実施例２の効果に加え、ステップＶ４において、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するので、実施例２よりもさらに、高解像度カメラの切替が一層減少する利点がある。
例えば、図９に示すように、走行車１００に矢印で示す方向に左折する予定経路が設定されている場合、走行車１００の左前方に撮影対象ａが存在すると、走行車１００の左前部の高解像度カメラ１４がその撮影対象ａに最も近い。
【００５５】
しかし、走行車１００が左折すると、左前部の高解像度カメラ１４は撮影対象ａからすぐに距離が離れ、走行車１００の右前部の高解像度カメラ１３がその撮影対象ａに最も近くなることになる。
そうすると、左前部の高解像度カメラ１４で撮影対象ａを撮影で撮影を開始した直後に、右前部の高解像度カメラ１３に切り替えて撮影対象ａを撮影することになるが、カメラの切り替えにより、見易さが損なわれる。
【００５６】
そこで、図９に矢印で示すような走行車１００の予定経路を考慮すると、左前部の高解像度カメラ１４よりも右前部の高解像度カメラ１３の方がより長く撮影対象ａを撮影できることから、左前部の高解像度カメラ１４ではなく、右前部の高解像度カメラ１３を撮影対象ａに割り当てるのである。
更に、撮影対象ａには、図９に矢印で示すように、左折した走行車１００と行き違い（並行方向逆向き）となる移動軌跡があるとすると、右前部の高解像度カメラ１３を撮影対象ａに割り当てても、右前部の高解像度カメラ１３は撮影対象ａからすぐに距離が離れることになる。
【００５７】
そこで、図９に矢印で示すような撮影対象ａの移動軌跡を考慮すると、右前部の高解像度カメラ１３よりも右中央部の高解像度カメラ１２の方がより長く撮影対象ａを撮影できることから、右前部の高解像度カメラ１３ではなく、右中央部の高解像度カメラ１２を撮影対象ａに割り当てるのである。
上述した通り、本実施例の全周警戒システムによれば、カメラ割当の際、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するようにしたため、実施例２よりも、高解像度カメラの切り替わり回数を軽減させ、視認性が向上する利点がある。
【産業上の利用可能性】
【００５８】
本発明は、全周囲センサで全対象を追尾する全周警戒システムとして広く産業上利用可能なものである。
【符号の説明】
【００５９】
１１，１２，１３，… 高解像度カメラ
２１，２２，２３，… パン及びチルト機構
３０ カメラ割当器
４０ 表示分配器
５０ 全周囲センサ
６０ 対象候補検知・追尾器
７０ 三次元位置算出器
８０ ＧＰＳ
９０ 全周囲画像表示器
Ａ，Ｂ，Ｃ，… 表示器
【技術分野】
【０００１】
本発明は、全周警戒システムに関する。詳しくは、全周囲センサを併用することによって、高解像度カメラの台数以上の対象を追尾可能とするものである。
【背景技術】
【０００２】
この種の技術としては、特許文献１，２に開示されるように、自律走行車にｎ台のカメラを取り付け、対象（移動体）を検知・追尾するシステムが知られている。これらのシステムは、最大ｎ台の候補を追尾できるものである。ここで、「検知」とは、「検出」と同義であり、周囲に対象がいることを発見し、対象座標を算出することを言う。また、「追尾」とは、時系列的に同一対象に対して同一の識別情報（identification data:以下、ＩＤという）をつける、又はつけ続けることを言う。
例えば、図１０に示すように、自律走行車７に複数台の高解像度カメラ１，１，１，…をパン及びチルト機構２を介して搭載する。
【０００３】
高解像度カメラ１，１，１，…の視野内（図中破線で示す）に対象ａが検出されると、追尾装置６から検出された対象ａの三次元位置情報がカメラ割当器３に送られると共に対象に対してＩＤが振り分けられる。
カメラ割当器３は、各パン及びチルト機構２にパンチルト制御角情報を送ることにより、高解像度カメラ１，１，１，…の視野内で対象ａを捕捉できるように、パン及びチルト機構２を制御する。
【０００４】
対象ａを検出・追尾する高解像度カメラ１，１，１，…のカメラ番号は、カメラ割当器３から表示分配器４に送られる一方、高解像度カメラ１，１，１，…の映像は追尾装置６を経由して表示分配器４に送られる。
表示分配器４は、対象ａを検出・追尾する高解像度カメラ１，１，１，…のカメラ番号に対応した高解像度カメラ１，１，１，…の画像を表示器５に送り表示させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−３３１５２０
【特許文献２】特許第３６５６８２３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した背景技術では、固定された複数のパンチルトカメラのみで移動体検知および追尾を行い、あるカメラの視野から対象が消えたとき他のカメラに対象情報を引き渡し、引き続き追尾を続けるが、カメラ台数以上のものを追尾することができないという問題があった。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の請求項１に係る全周警戒システムは、走行車に搭載された全周囲センサにより全周囲を走査して前記全周囲センサの視野内の画像である全周囲センサ画像を取得し、取得された前記全周囲センサ画像内の全ての対象の三次元位置を算出すると共に前記全ての対象に対して同一対象であれば同一の識別情報をそれぞれつけることによって前記全ての対象を追尾し、追尾される前記全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を前記全周囲センサ画像中から選択すると、選択された前記撮影対象の三次元位置に基づいて、前記走行車に搭載された複数台の高解像度カメラのうち前記撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、前記走行車と前記撮影対象との相対的位置の変化に対応して、前記高解像度カメラを切り替えながら前記撮影対象を前記高解像度カメラにより撮影し続ける一方、前記高解像度カメラにより撮影された同一の前記撮影対象を、前記高解像度カメラを切り替えた場合でも表示分配器により、前記高解像度カメラにより撮影された前記撮像対象を表示する複数の表示器の中から同一の表示器に表示させることを特徴とする。
【０００８】
上記課題を解決する本発明の請求項２に係る全周警戒システムは、請求項１において、前記カメラ割当器は、前記撮影対象に選択される際に設定される優先度に基づき、前記優先度の高い前記撮影対象を他に優先して割り当てることを特徴とする。
【０００９】
上記課題を解決する本発明の請求項３に係る全周警戒システムは、請求項１又は２において、前記カメラ割当器は、前記高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、前記高解像度カメラの割当を変更しないことを特徴とする。
【００１０】
上記課題を解決する本発明の請求項４に係る全周警戒システムは、請求項１，２又は３において、前記カメラ割当器は、前記走行車の予定経路、前記撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く前記撮影対象を撮影可能な前記高解像度カメラを割り当てることを特徴とする。
【発明の効果】
【００１１】
本発明の請求項１に係る全周警戒システムは、走行車に搭載された全周囲センサにより全周囲を走査して全周囲センサの視野内の画像である全周囲センサ画像を取得し、取得された全周囲センサ画像内の全ての対象の三次元位置を算出すると共に全ての対象に対して同一対象であれば同一の識別情報をそれぞれ振りつづけることによって前記全ての対象を追尾し、追尾される全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を全周囲センサ画像中から選択すると、選択された撮影対象の三次元位置に基づいて、走行車に搭載された複数台の高解像度カメラのうち撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、走行車と撮影対象との相対的位置の変化に対応して、高解像度カメラを切り替えながら前記撮影対象を高解像度カメラにより撮影し続けることが可能となり、高解像度カメラの台数に関係なく、従って、高解像度カメラの台数以上の対象を追尾することができる。なお、高解像度カメラを切り替えた場合でも、高解像度カメラにより撮影された同一の撮影対象は、表示分配器により同一の表示器に表示させることができる。また、全周囲センサ画像から、任意の時刻に対象を選択することで、高解像度カメラによる追尾をスタートさせ、表示器に表示できる。
【００１２】
本発明の請求項２に係る全周警戒システムは、カメラ割当器が撮影対象に選択される際に設定される優先度に基づき優先度の高い撮影対象を他に優先して割り当てるので、優先度の高い撮影対象を確実に高解像度カメラにより撮影し続けることが可能となる。
【００１３】
本発明の請求項３に係る全周警戒システムは、カメラ割当器が高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、高解像度カメラの割当を変更しないので、高解像度カメラの切り替えが減り、見易さが向上する。
【００１４】
本発明の請求項４に係る全周警戒システムは、カメラ割当器が走行車の予定経路、撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く撮影対象を撮影可能な高解像度カメラを割り当てるので、高解像度カメラの切り替えが一層減り、見易さが向上する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施例に係る全周警戒システムのブロック図である。
【図２】本発明の第１の実施例におけるカメラ割当器についてのフローチャートである。
【図３】本発明の第１の実施例に係る全周警戒システムのフローチャートである。
【図４】走行車と撮影対象との相対的な位置関係を示す斜視図である。
【図５】全周囲センサ画像を示す説明図である。
【図６】表示器を示す説明図である。
【図７】本発明の第２の実施例におけるカメラ割当器についてのフローチャートである。
【図８】本発明の第の実施例におけるカメラ割当器についてのフローチャートである。
【図９】走行車の走行軌跡を示す斜視図である。
【図１０】従来技術の説明図である。
【発明を実施するための形態】
【００１６】
本発明は、全周囲センサの視野内の全ての対象を追尾するものであり、操作者により高解像度カメラにより撮影を意図する対象が全周囲センサ画像から選択されると（このように選択された対象が撮影対象である）、撮影対象の３次元座標に基づいて、撮影対象に最も近い高解像度カメラより撮影対象を撮影する。
つまり、本発明では、全周囲センサの視野内の全ての対象を追尾するため、高解像度カメラの台数に関係なく追尾可能となる利点がある。
ここで、「追尾」とは、画面内にいる全ての対象の座標を算出し、時系列的に同一対象に対して同一の識別情報（identification data:以下、ＩＤという）をつける、又はつけ続けることを言う。
また、算出された座標により、高解像度カメラを向けることが可能となるのである。
以下に、本発明を実施するための形態について、図面に示す実施例と共に説明する。
【実施例１】
【００１７】
本発明の第１の実施例に係る全周警戒システムを図１から図６を参照して説明する。本実施例は、全周囲センサの視野内の全ての対象を追尾するものである。
即ち、走行車１００には、図４（ａ）（ｂ）（ｃ）に示す通り、ｎ個（ｎは２以上の自然数）の高解像度カメラ１１，１２，１３，…が搭載されている。
【００１８】
走行車１００としては、予め設定された予定軌道に沿って自律走行するタイプもあるが、ドライバの運転により走行するタイプ、遠隔操作により走行するタイプもある。
高解像度カメラ１１，１２，１３，…は、図１に示すように、パン及びチルト機構２１，２２，２３，…を介して支持されており、カメラ割当器３０からのパンチルト制御角情報に基づいて、水平方向に旋回し、上下方向に傾動することが可能である。
【００１９】
高解像度カメラ１１，１２，１３，…により撮影された高解像度映像は、表示分配器４０を経て、図６（ａ）（ｂ）（ｃ）に示される通り、表示器Ａ，Ｂ，Ｃ，…のいずれかに表示される。表示分配器４０にて、表示器Ａ，Ｂ，Ｃ，…のいずれかに表示されるかは後述する。
高解像度カメラ１１，１２，１３，…は、一定時間ごとに静止画（フレーム）を撮影するものであり、表示器Ａ，Ｂ，Ｃ，…は、撮影された静止画を連続的に動画として表示するものである。表示器Ａ，Ｂ，Ｃ，…の台数は、高解像度カメラ１１，１２，１３，…の台数と同じとする。表示器Ａ，Ｂ，Ｃ，…は、走行車１００に搭載しても良いが、地上のコントロールセンター内に配置しても良い。
【００２０】
一方、走行車１００には、図４（ａ）（ｂ）（ｃ）に示す通り、１台の全周囲センサ５０が搭載されている。
全周囲センサ５０は、図中矢印で示すように、斜め下向きで全周囲を周期的に走査して全周囲センサ映像を取得する。本実施例では、全周囲センサ５０として、対象までの距離と方向を検出するスキャン式レーザレーダを使用する。全周囲センサ５０は、見渡せる範囲を広くするためできるだけ高い位置に設置することが望ましいが、全周囲センサ５０を複数台搭載して、一方で前方側を走査し、他方で後方側を走査するようにしても良い。全周囲センサ５０の解像度よりも、高解像度カメラ１１，１２，１３，…の解像度は高い。
【００２１】
全周囲センサ５０により取得された対象までの距離と方向の情報は、図１に示すように、対象候補検知・追尾器６０を経て、全周囲センサ映像として全周囲画像表示器９０へ送信される。全周囲画像表示器９０は、走行車１００に搭載しても良いが、地上のコントロールセンター内に配置しても良い。
【００２２】
対象候補検知・追尾器６０は、特開２００３−３０２４７０号（「歩行者検出装置および歩行者検出方法」）などの手法により、レーザレーダの位置・姿勢情報および対象までの距離から、対象候補の相対極座標（r,φ,θ）を算出する。さらに各対象候補に対象ＩＤを振り分け、また、各フレームにおける相対座標を算出する。更に、対象候補検知・追尾器６０は、過去に追尾した対象であるならば同じＩＤを振り続ける。
【００２３】
全周囲画像表示器９０で表示される全周囲センサ映像は、図５（ａ）（ｂ）（ｃ）に示す通り、全周囲センサ５０を中心として同心円状に映し出される画像である。
全周囲画像表示器９０は、操作者が対象を選択するインターフェースとなる。従って、全周囲センサ映像中においては、指差して示すように、走行車１００の周囲に位置する１又は２以上の対象候補から、操作者が高解像度カメラにより撮影することを意図する撮影対象ａ，ｂ，…を任意に選択する。
撮影対象には選択される際に優先度も設定することが可能である。優先度としては、例えば、操作者が追尾することが重要であると考えるほど高く設定することができる。
【００２４】
操作者は、ドライバと共に走行車１００に搭乗しても良いが、地上のコントロールセンターにおいて全周囲画像表示器９０を見ながら選択することもできる。
全周囲画像表示器９０において、選択された撮影対象ａ，ｂ，…に関する３次元座標と対象ＩＤとが関連付けられ、選択された撮影対象ａ，ｂ，…の位置情報として三次元位置検出器７０へ送信される。３次元座標とは、撮影対象までの相対距離ｒ及び対象を検知したレーザレーダの角度（φ,θ）とからなる相対座標である。
【００２５】
三次元位置算出器７０は、ＧＰＳ８０からの自己位置データと、選択された撮影対象ａ，ｂ，…の相対座標から撮影対象ａ，ｂ，…の三次元絶対座標を算出し、カメラ割当器３０へ出力する。ＧＰＳ８０に代えて、ジャイロ等から自己位置データを求めても良い。
カメラ割当器３０は、撮影対象ａ，ｂ，…の３次元絶対座標から撮影対象ａ，ｂ，…に一番近い高解像度カメラ１１，１２，１３，…に割り当てる。この点に関して、図２に示すフローチャートを参照して具体的に説明する。
【００２６】
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＳ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＳ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＳ３）。
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＳ４）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＳ３において選択された候補カメラを割り当てる（ステップＳ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、ステップＳ２にリターンする。
【００２７】
また、ステップＳ４で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＳ５）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＳ６）、ステップＳ３において選択された候補カメラを割り当てる（ステップＳ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、ステップＳ２にリターンする。
【００２８】
このように、撮影対象に最も近い高解像度カメラを候補カメラとして選択することを繰り返すことにより、撮影対象と走行車との相対距離の変化に応じて、高解像度カメラを切り替えて、いうなれば、リレーしながら、撮影対象の撮影を続けることができる。
一方、ステップＳ５にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＳ７）。
【００２９】
なお、本実施例では、カメラ割当器３０は、周囲の地理的条件などに基づかないで候補カメラを割り当てるため、３次元絶対座標に代えて相対座標を使用することも可能である。
また、カメラ割当器３０は、割り当てられた高解像度カメラ１１，１２，１３，…のパンチルト機構２１，２２，２３，…にパンチルト制御角情報を送ることにより、図４（ａ）（ｂ）（ｃ）に示すように、割り当てられた高解像度カメラ１１，１２，１３，…の視野（図中破線で示す、以下同じ）内で撮影対象ａ，ｂ，…を捕捉できるように、パン及びチルト機構２１，２２，２３，…を制御する。
【００３０】
更に、カメラ割当器３０は、選択された撮影対象ａ，ｂ，…の対象ＩＤと共に、割り当てられた高解像度カメラ１１，１２，１３，…のカメラ番号を表示分配器４０へ出力する。
表示分配器４０は、空いている表示機Ａ，Ｂ，Ｃ，…のうち最も番号が若い番号のものと、選択された撮影対象ａ，ｂ，…の対象ＩＤと紐付ける。つまり、表示分配器４０は、ＩＤ毎に表示器Ａ，Ｂ，Ｃ，…を割り当てる機能を持つ。なお、表示器Ａ，Ｂ，Ｃ，…が空いていない場合、優先度の低い対象のＩＤが紐付いている表示器を使用することもできる。
【００３１】
従って、表示分配器４０は、カメラ割当器３０からカメラ番号と対象ＩＤの紐付け情報を受け取り、対象ＩＤを表示している表示機に、該当対象追尾動画を正しく表示させることができる。なお、高解像度カメラが切り替わっても、同一対象は同じ表示器に表示させる機能を持つ。
上述した本実施例に係る全周警戒システムによれば、全周囲センサ５０で全対象を追尾するものであり、その手順について、図３に示すフローチャートを参照して説明する。
【００３２】
先ず、スタートして（ステップＴ１）、全周囲センサ画像を全周囲画像表示器９０に表示する（ステップＴ２）。
次いで、全周囲画像表示器９０から撮影対象を操作者が選択（撮影対象のＩＤが決定）すると共に優先度を設定し（ステップＴ３）、ＩＤ情報からどの表示器Ａ，Ｂ，Ｃ，…に表示するかを決定する（ステップＴ４）。選択された撮影対象に関する３次元座標と対象ＩＤとが関連付けられ、選択された撮影対象の位置情報として三次元位置検出器７０へ送信される。
【００３３】
引き続き、自車（走行車）の絶対３次元座標を取得し（ステップＴ５）、全周囲画像から撮影対象を追尾し、相対３次元座標を算出する（ステップＴ６）。自車の絶対３次元座標および姿勢は、ＧＰＳ、ジャイロセンサなどから取得する。また、レーザレーダのデータから対象の追尾を行い、相対３次元座標を算出する。
更に、撮影対象の相対３次元座標を算出し（ステップＴ７）、撮影対象の絶対３次元座標および自車姿勢・位置から使用カメラを選択する（ステップＴ８）。自車の絶対座標および対象の相対座標から対象の絶対座標を算出する。
【００３４】
その後、絶対位置情報からパンチルトを制御して指定カメラにより撮影する一方（ステップＴ９）、決定した表示器に表示する（ステップＴ１０）。撮影対象の３次元座標を対象に最も近い高解像度カメラに送り、撮影する。
本実施例の全周警戒システムにおいて、一例として、２個の撮影対象を撮影する様子を図４−図６を参照して説明する。
【００３５】
図４（ａ）に示すように、矢印方向に向かって進む走行車１００の右方前方に撮影対象ａが全周囲センサ５０により検知されると、図５（ａ）に示すように、全周囲画像中に撮影対象ａが出現するので、操作者が撮影対象ａを選択すると、図４（ａ）に示すように、撮影対象ａに最も近い右前部の高解像度カメラ１３が割り当てられ、撮影対象ａの三次元座標が高解像度カメラ１３に送られ、高解像度カメラ１３の視野内に捕捉できるようパンチルト制御される一方、図６（ａ）に示すように、高解像度カメラ１３で撮影された撮影対象ａが表示器Ａに表示される。
【００３６】
そして、図４（ｂ）に示すように、走行車１００の進行により、撮影対象ａが走行車１００の右前側に位置が変化すると、図５（ｂ）に示すように、全周囲画像中における撮影対象ａの表示位置も変化するが、図４（ｂ）に示すように、撮影対象ａに最も近い高解像度カメラ１３の視野内に捕捉できるように引き続きパンチルト制御される一方、図６（ｂ）に示すように、高解像度カメラ１３で撮影された撮影対象ａが表示器Ａに引き続き表示される。
【００３７】
更に、図４（ｃ）に示すように、走行車１００の進行により、撮影対象ａが走行車１００の右方中央に位置が変化すると、撮影対象ａに最も近い右中央部の高解像度カメラ１５が割り当てられ（つまり、高解像度カメラ１３から高解像度カメラ１５へと切り替えられ）、撮影対象ａの三次元座標が高解像度カメラ１５に送られ、高解像度カメラ１５の視野内に捕捉できるようパンチルト制御される一方、図６（ｃ）に示すように、高解像度カメラ１５で撮影された撮影対象ａが引き続き表示器Ａに表示される。
【００３８】
同時に、図４（ｃ）に示すように、走行車１００の右方前側に新たな撮影対象ｂが全周囲センサ５０により検知されると、図５（ｃ）に示すように、全周囲画像中において新たな撮影対象ｂが出現するので、操作者が撮影対象ｂも選択すると、図４（ｃ）に示すように、撮影対象ｂに最も近い右前部の高解像度カメラ１３が割り当てられ、撮影対象ｂの三次元座標が高解像度カメラ１３に送られ、高解像度カメラ１３の視野内に捕捉できるようパンチルト制御される一方、図６（ｃ）に示すように、高解像度カメラ１３で撮影された撮影対象ｂが表示器Ｂに表示される。
【００３９】
このように説明したように、本実施例に係る全周警戒システムは、全周囲センサで全対象を追尾するため、高解像度カメラの台数に関係なく追尾可能である。また、全周囲センサ画像から、任意の時刻に対象を選択することで、高解像度カメラによる追尾をスタートさせ、表示器に表示することもできる。
【実施例２】
【００４０】
本発明の第２の実施例に係る全周警戒システムについて、図７を参照して説明する。図７は、本実施例に係るカメラ割当器についてのフローチャートであり、本実施例において、カメラ割当器以外については、前述した実施例１と同様なものである。
即ち、本実施例は、図７に示すようにカメラ割当の際、撮影を開始したら、物理的に撮影可能な限り、同じ高解像度カメラで撮影するようにしたものである。
【００４１】
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＵ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＵ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、次フレームの候補カメラとして既に設定されているか否かを判定し（ステップＵ３）、次フレームの候補カメラとして設定されていなければ、撮影対象に最も近い高解像度カメラを候補カメラとして設定する（ステップＵ４）。
【００４２】
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＵ５）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＵ４において選択された候補カメラを割り当てる（ステップＵ１０）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＵ１１）、ステップＵ２にリターンする。
【００４３】
また、ステップＵ５で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＵ６）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＵ７）、ステップＵ４において設定された候補カメラを割り当てる（ステップＵ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＵ１１）、ステップＵ２にリターンする。
【００４４】
なお、ステップＵ６にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＵ８）。
【００４５】
一方、ステップＵ３において、次フレームの候補カメラとして既に設定されていると判断されれば、候補カメラで対象を物理的に撮影可能か判断し（ステップＵ９）、候補カメラで対象を物理的に撮影可能でないと判断されれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＵ４）。つまり、高解像度カメラを切り替える。
【００４６】
他方、ステップＵ９で、候補カメラで対象を物理的に撮影可能であると判断されれば、ステップＵ１１において次フレームの候補カメラとして既に設定された候補カメラをそのまま割り当てる（ステップＵ１０）。つまり、高解像度カメラの切り替えは行わない。
ステップＵ９において、物理的に撮影可能か否かの判断としては、具体的には、パンチルト移動が稼動範囲内か、自車のミラー等の装備品に隠れないかなどに基づく。パンチルト移動に関する情報、ミラー等の装備品に関する情報は予めカメラ割当器に与えられるものとする。
【００４７】
上述した通り、本実施例の全周警戒システムによれば、カメラ割当の際、撮影開始したら、物理的に可能な限り同じ高解像度カメラで撮影するため、実施例１よりも、高解像度カメラの切り替わり回数を軽減させ、視認性が向上する利点がある。
【実施例３】
【００４８】
本発明の第３の実施例に係る全周警戒システムについて、図８を参照して説明する。図８は、本実施例に係るカメラ割当器についてのフローチャートであり、本実施例において、カメラ割当器以外については、前述した実施例２と同様なものである。
【００４９】
即ち、本実施例は、図８に示すようにカメラ割当の際、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するようにしたものである。
先ず、全周囲センサ画像中から操作者が撮影対象を選択する（ステップＶ１）。
次いで、撮影対象の最新座標が全周囲センサ５０から入力されているか否か判定し（ステップＶ２）、撮影対象の最新座標が全周囲センサ５０から入力されていれば、次フレームの候補カメラとして既に設定されているか否かを判定し（ステップＶ３）、次フレームの候補カメラとして設定されていなければ、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定する（ステップＶ４）。
【００５０】
ここで、「走行車の今後の予定経路」としては、自律型の走行車を想定したものである。即ち、自律型の走行車において、予め走行経路が設定されているもの、走行時に取得したデータにより判断して進路を決めるものがある。また、「対象の移動軌跡」としては、撮影対象により異なる。例えば、撮影対象として、人を想定した場合には、人は横断歩道、歩道等に沿って移動することを前提として予想できる。また、統計的なデータを利用することも可能である。また、撮影対象として、車両を想定した場合には、道路交通法等の法規に従うこと、また、車両は道路形状に沿って移動することから、道路形状の地理的情報に基づいて予想できる。「加味して」とは、より長く対象を撮影できる高解像度カメラを選択するということである。
【００５１】
引き続き、候補カメラが他の撮影対象Ｘを追尾中か否か判定し（ステップＶ５）、候補カメラが他の撮影対象Ｘを追尾していないと判断されると、ステップＶ４において選択された候補カメラを割り当てる（ステップＶ１０）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＶ１１）、ステップＶ２にリターンする。
【００５２】
また、ステップＶ５で候補カメラが他の撮影対象を追尾していると判断されると、他の撮影対象Ｘよりも優先度は上か否か判定し（ステップＶ６）、他の撮影対象Ｘよりも優先度が上であると判断されると、撮影対象Ｘの追尾を終了し、追尾終了の警告を行い（ステップＶ７）、ステップＶ４において設定された候補カメラを割り当てる（ステップＶ８）。即ち、割り当てた候補カメラにて、選択された撮影対象の撮影を開始し、割り当てられたカメラを次フレームの候補カメラとして設定し（ステップＶ１１）、ステップＶ２にリターンする。
【００５３】
なお、ステップＶ６にて、選択された撮影対象の優先度が他の撮影対象Ｘの優先度よりも上ではないときは、選択された撮影対象の優先度が低いため、追尾できないことを警告する（ステップＶ８）。
一方、ステップＶ３において、次フレームの候補カメラとして既に設定されていると判断されれば、候補カメラで対象を物理的に撮影可能か判断し（ステップＶ９）、候補カメラで対象を物理的に撮影可能でないと判断されれば、撮影対象に最も近い高解像度カメラを候補カメラとして選択する（ステップＶ４）。つまり、高解像度カメラを切り替える。
他方、ステップＶ９で、候補カメラで対象を物理的に撮影可能であると判断されれば、ステップＶ１１において次フレームの候補カメラとして既に設定された候補カメラをそのまま割り当てる（ステップＶ１０）。つまり、高解像度カメラの切り替えは行わない。
【００５４】
上述した通り、本実施例の全周警戒システムによれば、実施例２の効果に加え、ステップＶ４において、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するので、実施例２よりもさらに、高解像度カメラの切替が一層減少する利点がある。
例えば、図９に示すように、走行車１００に矢印で示す方向に左折する予定経路が設定されている場合、走行車１００の左前方に撮影対象ａが存在すると、走行車１００の左前部の高解像度カメラ１４がその撮影対象ａに最も近い。
【００５５】
しかし、走行車１００が左折すると、左前部の高解像度カメラ１４は撮影対象ａからすぐに距離が離れ、走行車１００の右前部の高解像度カメラ１３がその撮影対象ａに最も近くなることになる。
そうすると、左前部の高解像度カメラ１４で撮影対象ａを撮影で撮影を開始した直後に、右前部の高解像度カメラ１３に切り替えて撮影対象ａを撮影することになるが、カメラの切り替えにより、見易さが損なわれる。
【００５６】
そこで、図９に矢印で示すような走行車１００の予定経路を考慮すると、左前部の高解像度カメラ１４よりも右前部の高解像度カメラ１３の方がより長く撮影対象ａを撮影できることから、左前部の高解像度カメラ１４ではなく、右前部の高解像度カメラ１３を撮影対象ａに割り当てるのである。
更に、撮影対象ａには、図９に矢印で示すように、左折した走行車１００と行き違い（並行方向逆向き）となる移動軌跡があるとすると、右前部の高解像度カメラ１３を撮影対象ａに割り当てても、右前部の高解像度カメラ１３は撮影対象ａからすぐに距離が離れることになる。
【００５７】
そこで、図９に矢印で示すような撮影対象ａの移動軌跡を考慮すると、右前部の高解像度カメラ１３よりも右中央部の高解像度カメラ１２の方がより長く撮影対象ａを撮影できることから、右前部の高解像度カメラ１３ではなく、右中央部の高解像度カメラ１２を撮影対象ａに割り当てるのである。
上述した通り、本実施例の全周警戒システムによれば、カメラ割当の際、走行車の今後の予定経路及び対象の移動軌跡を加味して、候補カメラを設定するようにしたため、実施例２よりも、高解像度カメラの切り替わり回数を軽減させ、視認性が向上する利点がある。
【産業上の利用可能性】
【００５８】
本発明は、全周囲センサで全対象を追尾する全周警戒システムとして広く産業上利用可能なものである。
【符号の説明】
【００５９】
１１，１２，１３，… 高解像度カメラ
２１，２２，２３，… パン及びチルト機構
３０ カメラ割当器
４０ 表示分配器
５０ 全周囲センサ
６０ 対象候補検知・追尾器
７０ 三次元位置算出器
８０ ＧＰＳ
９０ 全周囲画像表示器
Ａ，Ｂ，Ｃ，… 表示器
【特許請求の範囲】
【請求項１】
走行車に搭載された全周囲センサにより全周囲を走査して前記全周囲センサの視野内の画像である全周囲センサ画像を取得し、
取得された前記全周囲センサ画像内の全ての対象の三次元位置を算出すると共に前記全ての対象に対して同一対象であれば同一の識別情報をそれぞれつけることによって前記全ての対象を追尾し、
追尾される前記全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を前記全周囲センサ画像中から選択すると、
選択された前記撮影対象の三次元位置に基づいて、前記走行車に搭載された複数台の高解像度カメラのうち前記撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、
前記走行車と前記撮影対象との相対的位置の変化に対応して、前記高解像度カメラを切り替えながら前記撮影対象を前記高解像度カメラにより撮影し続ける一方、
前記高解像度カメラにより撮影された同一の前記撮影対象を、前記高解像度カメラを切り替えた場合でも表示分配器により、前記高解像度カメラにより撮影された前記撮像対象を表示する複数の表示器の中から同一の表示器に表示させる
ことを特徴とする全周警戒システム。
【請求項２】
前記カメラ割当器は、前記撮影対象に選択される際に設定される優先度に基づき、前記優先度の高い前記撮影対象を他に優先して割り当てることを特徴とする請求項１記載の全周警戒システム。
【請求項３】
前記カメラ割当器は、前記高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、前記高解像度カメラの割当を変更しないことを特徴とする請求項１又は２記載の全周警戒システム。
【請求項４】
前記カメラ割当器は、前記走行車の予定経路、前記撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く前記撮影対象を撮影可能な前記高解像度カメラを割り当てることを特徴とする請求項１，２又は３記載の全周警戒システム。
【請求項１】
走行車に搭載された全周囲センサにより全周囲を走査して前記全周囲センサの視野内の画像である全周囲センサ画像を取得し、
取得された前記全周囲センサ画像内の全ての対象の三次元位置を算出すると共に前記全ての対象に対して同一対象であれば同一の識別情報をそれぞれつけることによって前記全ての対象を追尾し、
追尾される前記全ての対象の中から操作者が高解像度カメラにより撮影したいと意図する１又は２以上の撮影対象を前記全周囲センサ画像中から選択すると、
選択された前記撮影対象の三次元位置に基づいて、前記走行車に搭載された複数台の高解像度カメラのうち前記撮影対象に対して最も近い距離にあるものを当該撮影対象にカメラ割当器にて割り当てることにより、
前記走行車と前記撮影対象との相対的位置の変化に対応して、前記高解像度カメラを切り替えながら前記撮影対象を前記高解像度カメラにより撮影し続ける一方、
前記高解像度カメラにより撮影された同一の前記撮影対象を、前記高解像度カメラを切り替えた場合でも表示分配器により、前記高解像度カメラにより撮影された前記撮像対象を表示する複数の表示器の中から同一の表示器に表示させる
ことを特徴とする全周警戒システム。
【請求項２】
前記カメラ割当器は、前記撮影対象に選択される際に設定される優先度に基づき、前記優先度の高い前記撮影対象を他に優先して割り当てることを特徴とする請求項１記載の全周警戒システム。
【請求項３】
前記カメラ割当器は、前記高解像度カメラによる撮影が開始した後は、物理的に撮影が可能な限り、前記高解像度カメラの割当を変更しないことを特徴とする請求項１又は２記載の全周警戒システム。
【請求項４】
前記カメラ割当器は、前記走行車の予定経路、前記撮影対象の予想移動軌跡及び地理的条件等に基づいて、より長く前記撮影対象を撮影可能な前記高解像度カメラを割り当てることを特徴とする請求項１，２又は３記載の全周警戒システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１２９６７３（Ｐ２０１２−１２９６７３Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７６７９（Ｐ２０１０−２７７６７９）
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００６２０８）三菱重工業株式会社 (10,378)
【Ｆターム（参考）】
[ Back to top ]