説明

撮像システム

【課題】撮影光学系を有する1台のカメラを用いて移動体の移動を記録しながら、移動体の詳細な画像を撮像することが可能な撮像システムを得る。
【解決手段】第1のCCD212は、1メガピクセルクラスの画素数を有するとともに、撮像レンズ211からの被写体像が結像する長方形の第1の撮像面217を有する。第1の端末装置200の重力方向が第1の撮像面217の長手方向と一致するように、第1の端末装置200の内部に第1のCCD212が設けられる。第1の撮像面217は、重力上方と下方に二等分される。重力上方に設けられる部位が近赤外線撮像領域を成し、重力下方に設けられる部位が可視光線撮像領域を成す。第1のCCD212は、近赤外線撮像領域及び可視光線撮像領域に結像した被写体像を一度に撮像する。重力方向上方の被写体は、撮像レンズ211に入射し可視光線撮像領域に結像し、重力方向下方の被写体は、近赤外線撮像領域に結像する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の条件に合致する移動体を撮像して記録する撮像システムに関する。
【背景技術】
【0002】
従来、移動体すなわち車両のナンバープレートを読み取る車両ナンバー読み取りシステムが知られている。車両ナンバー読み取りシステムは、走行車線毎に取り付けられた1台のカメラ及び位置センサを備える。位置センサが車両を検出すると、位置センサに対応する走行車線上に設けられたカメラに撮像指令が出され、撮像指令を受信したカメラが車両の詳細な画像を撮像する(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特公平2−38997号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来の構成では、各走行車線にカメラを設ける必要があり、多数の走行車線を監視しなければならない場合に、カメラの設置コストが多大なものとなる。また、車両の移動を記録する必要があるとき、カメラが1走行車線に1つではカメラの画角の制限により、車両の移動を的確に撮像することができない。一方、カメラを1走行車線に複数設ける構成では、各カメラ間の画角調整や連動を調節しながらカメラを設置しなければならないため、設置コストがさらに増大する。
【0005】
本発明は、これらの問題を鑑みてなされたものであり、1台のカメラを用いて移動体の移動を記録しながら、移動体の詳細な画像を撮像することが可能な撮像システムを得ることを目的とする。
【課題を解決するための手段】
【0006】
本願発明による撮像システムは、第1の撮像領域と第1の撮像領域と異なる第2の撮像領域とを有し、第1の撮像領域と第2の撮像領域とに跨って一方向に移動する被写体像を撮像する撮像手段と、第1の撮像領域に配置されるカラー画像撮像用フィルタと、第2の撮像領域に配置される不可視光画像撮像用フィルタと、撮像手段が撮像した画像を記憶する記憶手段と、記憶手段の記憶した画像を記録媒体に記録する記録手段と、第1の撮像領域又は第2の撮像領域のいずれか一方の画像に基づいて被写体像が所定の条件に合致するか否かを判断する判断手段とを備え、撮像手段は、カラー画像用フィルタを透過した被写体像を撮像してカラー画像を出力し、不可視光画像撮像用フィルタを透過した被写体像を撮像して不可視光画像を出力し、判断手段は、被写体像が所定の条件に合致したと判断した場合は、所定の条件に合致したときから所定の期間だけ前に撮像されて記憶手段に記憶されている画像を記録手段に記録させることを特徴とする。
【0007】
被写体が第1の撮像領域又は第2の撮像領域のいずれか一方の領域から他方の領域に移動したか否かを検知する検知手段をさらに備え、判断手段は、被写体像が所定の条件に合致したとき、かつ被写体が他方の領域に移動したと検知手段が検知したときに、そのときから所定の期間だけ前に撮像されて記憶手段に記憶されている画像を記録手段に記録させることが好ましい。
【0008】
撮像手段は、第1の撮像領域から第2の撮像領域へ移動する被写体像を撮像し、判断手段は、カラー画像に基づいて被写体像が所定の条件に合致したか否かを判別し、所定条件に合致した場合は、被写体像の不可視光画像を記録手段に記録させてもよい。
【0009】
判断手段は、所定条件に合致した場合は、被写体像の不可視光画像およびカラー画像を記録手段に記録させることが好ましい。
【0010】
判断手段は、撮像手段の画角を複数の領域に仮想的に分割し、被写体像が領域を複数回移動したときに所定の条件に合致したと判断することが好ましい。
【0011】
判断手段は、撮像手段の画角において所定の位置を被写体像が通過するときに所定の条件に合致したと判断することが好ましい。
【0012】
判断手段は、被写体像が所定の色を有するときに所定の条件に合致したと判断してもよい。
【0013】
あるいは、判断手段は、被写体像が所定の形状を有するときに所定の条件に合致したと判断してもよい。
【0014】
撮像手段は、1つの撮像素子上に設けられる第1の撮像領域及び第2の撮像領域とを有することが好ましい。
【0015】
撮像手段は、第1の撮像素子と第2の撮像素子とを有し、第1の撮像領域は第1の撮像素子上に設けられ、第2の撮像領域は第2の撮像素子上に設けられてもよい。
【0016】
撮像システムは車両監視システムであって、撮像手段は、道路の近辺に固定されて画角が固定され、判断手段は、画角における所定の範囲を車両が通過するときに所定の条件に合致したと判断してもよい。
【0017】
撮像システムは車両監視システムであって、撮像手段は、道路の近辺に固定されて画角が固定され、判断手段は、画角を複数の領域に仮想的に分割し、車両が領域を複数回移動したときに所定の条件に合致したと判断してもよい。
【発明の効果】
【0018】
以上のように本発明によれば、1台のカメラを用いて移動体の移動を記録しながら、移動体の詳細な画像を撮像することが可能な撮像システムを得る。
【図面の簡単な説明】
【0019】
【図1】第1の実施形態による第1の撮像システムのブロック図である。
【図2】第1の撮像ユニットの一部断面図である。
【図3】第1の撮像ユニットが撮像した画像を示した図である。
【図4】蛇行記録処理を示すフローチャートである。
【図5】蛇行イニシャルセット処理を示すフローチャートである。
【図6】路側帯通行記録処理を示すフローチャートである。
【図7】通行イニシャルセット処理を示すフローチャートである。
【図8】車色記録処理を示すフローチャートである。
【図9】車色イニシャルセット処理を示すフローチャートである。
【図10】車種記録処理を示すフローチャートである。
【図11】車種イニシャルセット処理を示すフローチャートである。
【図12】第2の実施形態による第2の撮像システムのブロック図である。
【図13】第2の撮像ユニットの一部断面図である。
【発明を実施するための形態】
【0020】
以下、本発明による第1の実施形態について、図1から3を用いて説明する。
【0021】
第1の撮像システム100は、被写体像を撮像可能な位置に設けられる第1の端末装置200と、第1の端末装置200と離れた位置に設けられる中央制御機300を備える。
【0022】
第1の端末装置200は、第1の撮像装置210と、端末演算部220と、車両検出部230と、近赤外照明部240と、端末記録部250と、端末通信制御部260とを備える。
【0023】
中央制御機300は、中央通信制御部310と、アラーム320と、中央記録部330と、中央演算部340とを備える。
【0024】
第1の撮像装置210は、撮像光学系を構成する撮像レンズ211と、撮像素子である第1のCCD212と、赤外画像撮像用フィルタである第1の可視光カットフィルタ213と、第1の偏光フィルタ214と、カラー画像撮像用フィルタである第1の赤外カットフィルタ215と、光路長調整フィルタ216とを備える。
【0025】
撮像レンズ211は、深い被写界深度を実現するための焦点距離と絞りを有し、パンフォーカス撮影が可能である。これにより、撮像レンズ211は、第1の撮像装置210からの距離が10mから100mまでの間に存在する被写体に同時に合焦することが可能である。
【0026】
第1のCCD212は、1メガピクセルクラス以上の画素数を有するとともに、撮像レンズ211からの被写体像が結像する長方形の第1の撮像面217を有する。第1の端末装置200の重力方向が第1の撮像面217の長手方向と一致するように、第1の端末装置200の内部に第1のCCD212が設けられる。第1の撮像面217は、重力上方と下方に二等分される。重力上方に設けられる部位が近赤外線撮像領域218を成し、重力下方に設けられる部位が可視光線撮像領域219を成す。第1のCCD212は、第1の撮像面217、すなわち近赤外線撮像領域218及び可視光線撮像領域219に結像した被写体像を一度に撮像する。撮像は例えば1秒間に10回行われ、CCD212は1秒間に10フレームから成る動画を端末演算部及び端末記録部250に出力する。撮像のフレームレートは、必要に応じて適宜設定される。
【0027】
第1の偏光フィルタ214は、特定の偏光状態を有する光のみを透過する光学フィルタである。第1の可視光カットフィルタ(近赤外線透過フィルタ)213は、可視光を透過せず、赤外線に含まれる近赤外線のみを透過する光学フィルタであって、不可視光画像撮像用フィルタを成す。第1の偏光フィルタ214は、近赤外線撮像領域218の全面を覆うように第1のCCD212に取り付けられる。そして、第1の偏光フィルタ214及び近赤外線撮像領域218の全面を覆うように、かつ第1の偏光フィルタ214の撮像レンズ211側に、第1の可視光カットフィルタ213が第1のCCD212に取り付けられる。
【0028】
第1の赤外カットフィルタ215は、赤外線を透過せず、その他の周波数を有する光を透過するフィルタであって、カラー画像撮像用フィルタを成す。光路長調整フィルタ216は、透過する光の光路長を調整するために設けられるフィルタであり、全ての波長の光を透過する。光路長調整フィルタ216は、可視光線撮像領域219の全面を覆うように第1のCCD212に取り付けられる。そして、光路長調整フィルタ216の撮像レンズ211側に、第1の赤外カットフィルタ215が光路長調整フィルタ及び可視光線撮像領域219の全面を覆うように第1のCCD212に取り付けられる。光路長調整フィルタ216の屈折率や厚さは、第1の赤外カットフィルタ215及び光路長調整フィルタ216による光路長が、第1の可視光カットフィルタ213及び第1の偏光フィルタ214による光路長と等しくなるように、各フィルタの屈折率や厚さを加味して調整される。
【0029】
第1の撮像装置210は、例えば、高速道路の走行車線監視のために走行車線上方に設置され、遠方から接近する車を撮影する。第1の撮像面217上に結像する被写体像の天地は、撮像レンズ211の機能により被写体の天地と反転する。そのため、被写体、例えば走行して接近してくる車が、第1の撮像装置210に対して比較的遠方に位置しているときは、車の被写体像は下方の可視光線撮像領域219に位置する。そして、車が接近してきて、第1の撮像装置210に対して比較的近距離に位置すると、車の被写体像は上方の近赤外線撮像領域218に位置する。これにより、比較的遠方に位置する被写体に関してはカラー画像が得られ、比較的近距離に位置する被写体に関しては赤外線撮影画像が得られる(図3参照)。
【0030】
車両検出部230は、第1の撮像装置210の撮像可能範囲内であって、近赤外線撮像領域218に結像する被写体像の位置を検出可能な場所に取り付けられるループコイルであり、車両の通過を検知する。端末演算部220及び近赤外照明部240と電気的に接続され、車両を検出したとき端末演算部220及び近赤外照明部240に車両検出信号を送信する。
【0031】
近赤外照明部240は、道路を走行する車両を照明可能な場所、かつ近赤外線撮像領域218に結像する被写体像を照明可能な位置、例えば路側帯や道路上のフリーフロー型ゲートに設けられる。車両検出部230から車両検出信号を受信したとき、近赤外光を車両に向けて照射する。
【0032】
端末演算部220は、車両検出部230から車両検出信号を、また第1のCCD212から動画を受信して、画像処理を行う。画像処理では、後述する蛇行記録処理、路側帯通行記録処理、車色記録処理、車種記録処理を実行する。これらの記録処理において、端末演算部220は、近赤外線撮像領域218に結像した自動車登録番号標又は車両番号標(いわゆるナンバープレート)及び運転者を撮像して静止画を作成し、端末記録部250に送信する。
【0033】
端末記録部250は、ハードディスク、あるいはDRAMなどの半導体記憶装置からなる記憶手段であって、第1の撮像装置210から受信した動画や端末演算部220から受信した静止画を一時的に記憶する。
【0034】
端末通信制御部260は、有線あるいは無線通信により、中央制御機300と電気的に接続される。そして、端末記録部250が記録している静止画及び動画のうち、各記録処理において後述する条件に合致するものを中央制御機300に送信する。
【0035】
中央制御機300が備える中央通信制御部310は、静止画及び動画を受信し、中央記録部330に送信する。また、端末通信制御部260から静止画あるいは動画を受信したときに、アラーム320に警報信号を送信する。
【0036】
中央記録部330は、ハードディスク等の記録手段であって、中央通信制御部310から受信した静止画及び動画を記録する。
【0037】
アラーム320は、スピーカ、ディスプレイ、あるいは警告灯であって、中央通信制御部310から警報信号を受信したとき、警告音を発したり、警告画像を表示したり、警告光を明滅したりする。
【0038】
中央演算部340は、静止画に含まれるナンバープレートから車両の自動車登録番号等を読み出して、監視対象登録番号と一致するか否かを判断する。
【0039】
次に、図4及び5を用いて蛇行記録処理について説明する。蛇行記録処理は、第1の端末装置200が撮影を開始可能となったときに、端末演算部220が実行を開始する。
【0040】
ステップS401において、蛇行イニシャルセット処理が実行される。蛇行イニシャルセット処理は、第1の撮像装置210が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出し、抽出した走行車線エリアに車線番号を割り当て、動画から1つのフレームを抽出する処理であり、詳細に関しては後述される。なお、走行車線は、道路上において白線や黄線などにより所定の幅で区切られた、車両が通行する領域をいう。また、動画から1つのフレームを抽出する作業をキャプチャと呼び、蛇行イニシャルセット処理においてキャプチャしたフレームを0番目のフレームと呼ぶ。
【0041】
ステップS402では、車線変更回数パラメータmに0を代入して初期化する。車線変更回数パラメータmは、観察対象となった車両が行った車線変更の数を示すパラメータである。
【0042】
ステップS403では、フレーム番号パラメータnに1を代入して初期化する。フレーム番号パラメータnは、第1の撮像装置210が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。
【0043】
ステップS404では、n+1番目及びn+2番目のフレームを動画からキャプチャする。n+2番目のフレームは、n+1番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば0.1秒である。
【0044】
ステップS405では、0番目のフレームまたはn番目のフレームとn+1番目のフレームとの差分P、及びn+2番目のフレームとn+1番目のフレームとの差分Qを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。
【0045】
ステップS406では、差分P及び差分Qを所定の閾値を用いて二値化する。そして、二値化された差分Pと二値化された差分Qとの論理積Rをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Pと差分Qとの論理積Rをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。この特定作業をマーキングと呼ぶ。
【0046】
ステップS407では、ステップS406においてマーキングした移動体が位置する走行車線エリアとその走行車線エリアの車線番号を算出する。これにより、移動体が現在位置する走行車線を特定する。
【0047】
ステップS408では、第1の撮像装置210が出力した動画からフレームを1つキャプチャする。そして、フレームをキャプチャするたびに、フレーム番号パラメータnを1つ増やす。これにより、ステップS404においてキャプチャした2つのフレームと合わせて、3つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをn+2番目のフレーム、次の直近にキャプチャされたフレームをn+1番目のフレーム、さらに次の直近にキャプチャされたフレームをn番目のフレームとして説明する。
【0048】
ステップS409では、n番目のフレームとn+1番目のフレームとの差分S、及びn+2番目のフレームとn+1番目のフレームとの差分Tを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。
【0049】
ステップS410では、差分S及び差分Tを所定の閾値を用いて二値化する。そして、二値化された差分Sと二値化された差分Tとの論理積Uをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Sと差分Tとの論理積Uをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。
【0050】
ステップS411では、ステップS410においてマーキングした移動体が位置する走行車線エリアとその走行車線エリアの車線番号を算出する。これにより、移動体が現在位置する走行車線を特定する。
【0051】
ステップS412では、ステップS407において算出した車線番号と、ステップS411において算出した車線番号とが異なるかを判断する。異なる場合、処理はステップS413に進む。同じ場合、処理はステップS414に進む。
【0052】
ステップS413では、車線変更回数パラメータmを1だけ増やす。ステップS412において、車線番号が異なる場合、移動体が走行車線を変更したと考えられるためである。
【0053】
ステップS414では、車線変更回数パラメータmが最大車線変更回数mMAX以上であるか否かを判断する。最大車線変更回数mMAXは、移動体に許される車線変更回数の最大値であり、蛇行記録処理を実行する前にユーザが決定する。車線変更回数パラメータmが最大車線変更回数mMAX以上である場合、処理はステップS415に進み、そうでない場合、処理はステップS408に進む。
【0054】
ステップS415では、第1の撮像装置210から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての走行車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、0.1秒ごとに10枚のフレームをキャプチャする。
【0055】
ステップS416では、ステップS415においてキャプチャした全てのフレームを、端末通信制御部260を介して中央制御機300へ送信させる。中央制御機300では、受信した全てのフレームが中央記録部330に記憶される。そして、処理が終了する。
【0056】
蛇行イニシャルセット処理について説明する。
【0057】
ステップS501では、第1の撮像装置210が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出する。走行車線エリアは、走行車線と走行車線とを区切る白線又は黄線を端末演算部220が画像処理を行うことにより認識される。また、路側帯を通行する車両を検知するため、路側帯も1つの走行車線エリアとして認識される。
【0058】
次のステップS502では、抽出した走行車線エリアに番号を割り当てる。図3に示される画像を得る場合、近赤外映像で撮像された車両が存在する走行車線の右側に位置する路側帯を車線番号L1、近赤外映像で撮像された車両が存在する最も右の走行車線を車線番号L2、その左の走行車線を車線番号L3、撮像された車両が存在しない最も左に位置する走行車線を車線番号L4とする。
【0059】
次のステップS503では、動画から1つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。そして、処理が終了する。
【0060】
蛇行記録処理によれば、車線変更を最大車線変更回数mMAX以上繰り返す車両を自動的に撮像及び記録することができる。
【0061】
次に、図6及び7を用いて路側帯通行記録処理について説明する。路側帯通行記録処理は、第1の端末装置200が撮影を開始可能となったときに、端末演算部220が実行を開始する。
【0062】
ステップS601において、通行イニシャルセット処理が実行される。通行イニシャルセット処理は、走行車線エリアに車線番号を割り当て、最大路側帯通行回数mMAXを設定し、動画から1つのフレームを抽出し、そして路側帯を認識する処理であり、詳細に関しては後述される。最大路側帯通行回数mMAXは、移動体が路側帯を通行した回数、より詳しくは期間の最大値であり、ユーザが決定する。なお、通行イニシャルセット処理においてキャプチャしたフレームを0番目のフレームと呼ぶ。
【0063】
ステップS602では、確認回数パラメータmに0を代入して初期化する。確認回数パラメータmは、観察対象となった車両が路側帯を通行した回数、より詳しくは期間を示すパラメータである。
【0064】
ステップS603では、フレーム番号パラメータnに1を代入して初期化する。フレーム番号パラメータnは、第1の撮像装置210が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。
【0065】
ステップS604では、n+1番目及びn+2番目のフレームを動画からキャプチャする。n+2番目のフレームは、n+1番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば0.1秒である。
【0066】
ステップS605では、0番目のフレームまたはn番目のフレームとn+1番目のフレームとの差分P、及びn+2番目のフレームとn+1番目のフレームとの差分Qを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。
【0067】
ステップS606では、差分P及び差分Qを所定の閾値を用いて二値化する。そして、二値化された差分Pと二値化された差分Qとの論理積Rをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Pと差分Qとの論理積Rをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。
【0068】
ステップS607では、フレーム番号パラメータnを1増やす。
【0069】
ステップS608では、第1の撮像装置210が出力した動画からフレームを1つキャプチャする。これにより、ステップS604においてキャプチャした2つのフレームと合わせて、3つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをn+2番目のフレーム、次の直近にキャプチャされたフレームをn+1番目のフレーム、さらに次の直近にキャプチャされたフレームをn番目のフレームとして説明する。
【0070】
ステップS609では、n番目のフレームとn+1番目のフレームとの差分S、及びn+2番目のフレームとn+1番目のフレームとの差分Tを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。
【0071】
ステップS610では、差分S及び差分Tを所定の閾値を用いて二値化する。そして、二値化された差分Sと二値化された差分Tとの論理積Uをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Sと差分Tとの論理積Uをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。
【0072】
ステップS611では、フレーム番号パラメータnを1増やす。
【0073】
ステップS612では、移動体が路側帯に位置するか否かを判断する。判断は、ステップS610においてマーキングされた移動体が路側帯に相当する走行車線エリア内に存在するか否かを画像処理することにより決定する。移動体が路側帯に位置する場合、処理はステップS613に進み、そうでない場合、処理はステップS608に戻る。
【0074】
ステップS613では、確認回数パラメータmを1増やす。ステップS612において、移動体が路側帯に位置するためである。
【0075】
ステップS614では、確認回数パラメータmが最大路側帯通行確認回数mMAX以上であるか否かを判断する。フレームは所定の周期で取得されるため、路側帯に位置する移動体を撮像したフレームの数を数えることにより、移動体が路側帯に存在する時間を測定することができる。確認回数パラメータmが最大路側帯通行確認回数mMAX以上である場合、処理はステップS615に進み、そうでない場合、処理はステップS608に戻る。
【0076】
ステップS615では、車両検出部230からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部230を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップS616に進み、そうでない場合、処理はステップS608に戻る。
【0077】
ステップS616では、第1の撮像装置210から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、0.1秒ごとに10枚のフレームをキャプチャする。
【0078】
ステップS617では、ステップS616においてキャプチャした全てのフレームを端末通信制御部260に中央制御機300へ送信させる。そして、処理が終了する。
【0079】
通行イニシャルセット処理について説明する。
【0080】
ステップS701では、第1の撮像装置210が撮像した画像において、走行車線が占める領域、すなわち走行車線エリアを抽出する。走行車線エリアは、走行車線と走行車線とを区切る白線又は黄線を端末演算部220が画像処理を行うことにより認識される。また、路側帯を通行する車両を検知するため、路側帯も1つの走行車線エリアとして認識される。そして、抽出した走行車線エリアに番号を割り当てる。図3に示される画像を得る場合、近赤外映像で撮像された車両が存在する走行車線の右側に位置する路側帯を車線番号L1、近赤外映像で撮像された車両が存在する最も右の走行車線を車線番号L2、その左の走行車線を車線番号L3、撮像された車両が存在しない最も左に位置する走行車線を車線番号L4とする。
【0081】
ステップS702では、最大路側帯通行確認回数mMAXを取得する。
【0082】
次のステップS703では、動画から1つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。
【0083】
ステップS704では、路側帯を構成するエリアを路側帯エリアとして認識する。そして、処理が終了する。
【0084】
路側帯通行記録処理によれば、最大路側帯通行確認回数mMAX以上路側帯に存在する車両を自動的に撮像及び記録することができる。
【0085】
次に、図8及び9を用いて車色記録処理について説明する。車色記録処理は、第1の端末装置200が撮影を開始可能となったときに、端末演算部220が実行を開始する。
【0086】
ステップS801において、車色イニシャルセット処理が実行される。車色イニシャルセット処理は、検出対称となる車色を設定する処理であり、詳細に関しては後述される。検出対称となる車色は、ユーザにより決定される。
【0087】
ステップS802では、フレーム番号パラメータnに0を代入して初期化する。フレーム番号パラメータnは、第1の撮像装置210が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。
【0088】
ステップS803では、n+1番目及びn+2番目のフレームを動画からキャプチャする。n+2番目のフレームは、n+1番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば0.1秒である。
【0089】
ステップS804では、n番目のフレームとn+1番目のフレームとの差分P、及びn+2番目のフレームとn+1番目のフレームとの差分Qを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。
【0090】
ステップS805では、差分P及び差分Qを所定の閾値を用いて二値化する。そして、二値化された差分Pと二値化された差分Qとの論理積Rをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Pと差分Qとの論理積Rをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。
【0091】
ステップS806では、マーキングした移動体に関して算出した論理積Rに対しn+1番目のフレームを加算して、色情報を有する色認識画像Cを算出する。
【0092】
ステップS807では、移動体の車色が検索対象の車色(目的色)と一致するか否かを判断する。移動体の車色が検索対象の色と合致する場合、処理がステップS808に進み、そうでない場合、処理はステップS802に戻る。
【0093】
ステップS808では、第1の撮像装置210が出力した動画からフレームを1つキャプチャする。ここでキャプチャされるフレームはカラー画像である。これにより、カラー画像を端末記録部250に記録し、移動体の車体の色を認識することができる。
【0094】
ステップS809では、フレーム番号パラメータnを1増やす。
【0095】
ステップS810では、第1の撮像装置210が出力した動画からフレームを1つキャプチャする。これにより、ステップS803及びS808においてキャプチャした3つのフレームと合わせて、4つのフレームがキャプチャされていることになる。このうち、直近にキャプチャされた3つのフレームを用いて、以下の処理を行う。以下、直近にキャプチャされたフレームをn+2番目のフレーム、次の直近にキャプチャされたフレームをn+1番目のフレーム、さらに次の直近にキャプチャされたフレームをn番目のフレームとして説明する。
【0096】
ステップS811では、n番目のフレームとn+1番目のフレームとの差分S、及びn+2番目のフレームとn+1番目のフレームとの差分Tを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。
【0097】
ステップS812では、差分S及び差分Tを所定の閾値を用いて二値化する。そして、二値化された差分Sと二値化された差分Tとの論理積Uをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Sと差分Tとの論理積Uをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。
【0098】
ステップS813では、車両検出部230からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部230を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップS814に進み、そうでない場合、処理はステップS809に戻る。
【0099】
ステップS814では、第1の撮像装置210から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、0.1秒ごとに10枚のフレームをキャプチャする。
【0100】
ステップS815では、ステップS814においてキャプチャした全てのフレームを端末通信制御部260に中央制御機300へ送信させる。そして、処理が終了する。
【0101】
車色イニシャルセット処理について説明する。
【0102】
ステップS901では、検出対称となる車色をユーザが設定する。車色は、HSV(色相、彩度、明度)、RGB(赤、緑、青)色空間などを用いて設定される。ユーザが設定した後に、処理が終了する。
【0103】
車色記録処理によれば、所望の車色を有する車両を自動的に撮像及び記録することができる。
【0104】
次に、図10及び11を用いて車種記録処理について説明する。車種記録処理は、第1の端末装置200が撮影を開始可能となったときに、端末演算部220が実行を開始する。
【0105】
ステップS1001において、車種イニシャルセット処理が実行される。車種イニシャルセット処理は、車種情報を設定し、最大車種検出回数mMAXを設定し、動画から1つのフレームを抽出する処理であり、詳細に関しては後述される。最大車種検出回数mMAXは、所望の車種(目的車種)に該当する移動体を撮像したフレームの数であり、ユーザが決定する。なお、通行イニシャルセット処理においてキャプチャしたフレームを0番目のフレームと呼ぶ。
【0106】
ステップS1002では、確認回数パラメータmに0を代入して初期化する。確認回数パラメータmは、所望の車種に該当する移動体を撮像した回数を示すパラメータである。
【0107】
ステップS1003では、フレーム番号パラメータnに1を代入して初期化する。フレーム番号パラメータnは、第1の撮像装置210が出力した動画に含まれるフレームに対し、連続的に割り振られる番号である。
【0108】
ステップS1004では、n+1番目及びn+2番目のフレームを動画からキャプチャする。n+2番目のフレームは、n+1番目のフレームから所定時間後に取得したフレームである。所定時間は、例えば0.1秒である。
【0109】
ステップS1005では、n番目のフレームとn+1番目のフレームとの差分P、及びn+2番目のフレームとn+1番目のフレームとの差分Qを算出する。これにより、特定のフレームとそのフレームから所定時間後のフレームとの間で異なる値を持つ画素が抽出される。フレーム間で異なる画素は、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体を表現する。
【0110】
ステップS1006では、差分P及び差分Qを所定の閾値を用いて二値化する。そして、二値化された差分Pと二値化された差分Qとの論理積Rをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Pと差分Qとの論理積Rをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体を特定することができる。
【0111】
ステップS1007では、フレーム番号パラメータnを1増やす。
【0112】
ステップS1008では、第1の撮像装置210が出力した動画からフレームを1つキャプチャする。これにより、ステップS1004においてキャプチャした2つのフレームと合わせて、3つのフレームがキャプチャされていることになる。以下、直近にキャプチャされたフレームをn+2番目のフレーム、次の直近にキャプチャされたフレームをn+1番目のフレーム、さらに次の直近にキャプチャされたフレームをn番目のフレームとして説明する。
【0113】
ステップS1009では、フレーム番号パラメータnを1増やす。
【0114】
ステップS1010では、n番目のフレームとn+1番目のフレームとの差分S、及びn+2番目のフレームとn+1番目のフレームとの差分Tを算出する。これにより、特定のフレームを撮像した瞬間から所定時間後のフレームを撮像した瞬間までの間に移動した被写体像、すなわち移動体が抽出される。
【0115】
ステップS1011では、差分S及び差分Tを所定の閾値を用いて二値化する。そして、二値化された差分Sと二値化された差分Tとの論理積Uをとる。所定の閾値を用いて二値化することにより、移動体を表現しない画素、すなわちノイズを除去することができる。二値化された差分Sと差分Tとの論理積Uをとることにより、特定のフレームと所定時間後のフレームとに含まれる移動体をマーキングすることができる。
【0116】
ステップS1012では、移動体が所望の車種に該当するか否かを判断する。判断は、ステップS1010においてマーキングされた移動体が目的車種に該当するか否かを画像処理することにより決定する。移動体が目的車種に該当する場合、処理はステップS1013に進み、そうでない場合、処理はステップS1014に進む。
【0117】
ステップS1013では、確認回数パラメータmを1増やす。ステップS1012において、移動体が目的車種に該当するためである。
【0118】
ステップS1014では、確認回数パラメータmが最大車種検出回数mMAX以上であるか否かを判断する。目的車種に該当する移動体を撮像したフレームの数を数え、その数が最大車種検出回数mMAX以上であるときに、移動体が目的車種に該当すると判断する。これにより、目的車種検出の確度を上げることができる。確認回数パラメータmが最大車種検出回数mMAX以上である場合、処理はステップS1015に進み、そうでない場合、処理はステップS1008に戻る。
【0119】
ステップS1015では、車両検出部230からの信号を用いて、移動体が撮影ポイントに位置するか否かを判断する。車両検出部230を成すループコイルを撮影ポイントに設置し、ループコイルが送信した車両検出信号を受信したときに、移動体が撮影ポイントに位置すると判断する。移動体が撮影ポイントに位置する場合、処理がステップS1016に進み、そうでない場合、処理はステップS1008に戻る。
【0120】
ステップS1016では、第1の撮像装置210から受信した動画から複数のフレームをキャプチャする。移動体が行った全ての車線変更を記録するように、複数のフレームの撮像間隔及び枚数が決定される。本実施形態においては、0.1秒ごとに10枚のフレームをキャプチャする。
【0121】
ステップS1017では、ステップS1016においてキャプチャした全てのフレームを端末通信制御部260に中央制御機300へ送信させる。そして、処理が終了する。
【0122】
車種イニシャルセット処理について説明する。
【0123】
ステップS1101では、検出対称となる車種をユーザが入力する。
【0124】
ステップS1102では、最大車種検出回数mMAXを取得する。
【0125】
次のステップS1103では、動画から1つのフレームを抽出する。あらかじめ観察対象が存在しない走行車線を撮像しておくことにより、移動体の検出を容易にする。そして処理が終了する。
【0126】
車種記録処理によれば、所望の車種に該当する車両を自動的に撮像及び記録することができる。
【0127】
本実施形態によれば、移動体の移動を監視しながら、移動体の詳細な画像を撮像することが可能となる。
【0128】
なお、本実施形態では、図2に示すように、撮像レンズ211の光軸が通る位置を境に近赤外線撮像領域218と可視光線撮像領域219とを2等分割したが、目的や撮影状況に応じて、一方の撮像領域の割合を大きくしてもよい。
【0129】
また、移動体が撮影ポイントに位置するか否かの判別処理としてループコイルの受信信号を用いたが、これに代わって、抽出した移動体の像の撮像素子面上での移動速度及び移動方向を算出し、この移動速度および移動方向に基づいて、近赤外線撮像領域218内の撮影ポイントに対応する領域に達するタイミングを予測して、近赤外線撮影を行うようにしても良い。
【0130】
次に、本発明による第2の実施形態について、図12及び13を用いて説明する。第1の実施形態と同様の構成については同じ符号を付して説明を省略する。
【0131】
第2の撮像システム400は、被写体像を撮像可能な位置に設けられる第2の端末装置500と、第2の端末装置500と離れた位置に設けられる中央制御機300を備える。
【0132】
第2の端末装置500は、第2の撮像装置510と、端末演算部220と、車両検出部230と、近赤外照明部240と、端末記録部250と、端末通信制御部260とを備える。
【0133】
第2の撮像装置510は、撮像レンズ211と、撮像素子である第2のCCD512及び第3のCCD515と、赤外画像撮像用フィルタである第2の可視光カットフィルタ516と、第2の偏光フィルタ517と、カラー画像撮像用フィルタである第2の赤外カットフィルタ514と、ハーフミラー513とを備える。
【0134】
第2及び第3のCCD512、515は、1メガピクセルクラス以上の画素数を有するとともに、撮像レンズ211からの被写体像が結像する長方形の第2及び第3の撮像面519、520を各々有する。
【0135】
撮像レンズ211の光軸方向が第2の撮像面519の短辺方向と平行となるように、かつ第2の端末装置500の重力方向が第2の撮像面519と直角となるように、第2の端末装置500の内部に第2のCCD512が設けられる。また、撮像レンズ211の光軸方向が第3の撮像面520と直角となるように、かつ第2の端末装置500の重力方向が第3の撮像面520の短辺方向と一致するように、第2の端末装置500の内部に第3のCCD515が設けられる。第2の撮像面519が可視光線撮像領域を成し、第3の撮像面520が近赤外線撮像領域を成す。第2及び第3のCCD512、515は、第2及び第3の撮像面519、520、すなわち可視光線撮像領域519及び近赤外線撮像領域520に結像した被写体像を同時に撮像する。第2及び第3のCCD512、515は1秒間に10フレームから成る動画を端末演算部220及び端末記録部250に出力する。
【0136】
第2の偏光フィルタ517は、特定の偏光状態を有する光のみを透過する光学フィルタであり、近赤外線撮像領域520の全面を覆うように第3のCCD515に取り付けられる。
【0137】
第2の可視光カットフィルタ516は、赤外線に含まれる近赤外線のみを透過する光学フィルタである。第2の偏光フィルタ517の撮像レンズ211側に、第2の可視光カットフィルタ516が第2の偏光フィルタ517の全面を覆うように取り付けられる。
【0138】
第2の赤外カットフィルタ514は、赤外線を透過せず、その他の周波数を有する光を透過するフィルタであり、可視光線撮像領域519の全面を覆うように第2のCCD512に取り付けられる。第2の赤外カットフィルタ514の屈折率あるいは厚さは、第2の赤外カットフィルタ514による光路長が、第2の可視光カットフィルタ516及び第2の偏光フィルタ517による光路長と等しくなるように調整される。
【0139】
ハーフミラー513は、光路上であって、撮像レンズ211と第2のCCD512及び第3のCCD515との間に、撮像レンズ211の光軸に対して45度となるように設けられる。ハーフミラー513は、入射した光の半分を反射し、残りの半分を透過する。遠景からの光は、撮像レンズ211に入射した後、ハーフミラー513により反射されて可視光線撮像領域519に結像し、近景からの光はハーフミラー513を透過して近赤外線撮像領域520に結像する。可視光線撮像領域519及び近赤外線撮像領域520は、光路に対して直角を成す。
【0140】
これらの構成により、第2のCCD512は遠方の被写体をカラー画像で撮像し、第3のCCD515は近方の被写体を近赤外線画像で撮像する(図3参照)。
【0141】
本実施形態によれば、安価な小型の撮像素子を用いることが可能となる。また、第1の実施形態のように1つの撮像素子の撮像面を複数に分けて各々別個のフィルタを設ける手間を省くことができる。
【0142】
なお、いずれの実施形態においても、撮像素子はCCDに限定されず、CMOS等であっても良い。また、CCDの画素数は、1メガピクセルクラス以上に限定されない。さらに、撮像は1秒間に10回に限定されない。
【0143】
光路長調整フィルタ216を用いずに、赤外カットフィルタの屈折率あるいは厚さを調整することにより、可視光カットフィルタ及び偏光フィルタによる光路長と、赤外カットフィルタの光路長とを等しくしても良い。
【0144】
また、車両検出部230はループコイルでなくても良く、赤外線センサ、音波センサ等の車両の位置を検出可能なものであればよい。
【0145】
なお、車両の代わりに果物を監視対象物とすることもできる。判別条件として色の代わりに果物の糖度を用いることにより、果物を選果することが可能である。また、車種の代わりに果物の種類や大きさを用いることにより、他品種の果物を選り分けることが可能である。
【0146】
さらに、車両の代わりに小包を監視しても良い。目的地、大きさ、形状に応じて小包を選別することができる。
【符号の説明】
【0147】
100 第1の撮像システム
200 端末装置
210 第1の撮像装置
211 撮像レンズ(撮像光学系)
212 第1のCCD
213 第1の可視光カットフィルタ
214 第1の偏光フィルタ
215 第1の赤外カットフィルタ
216 光路長調整フィルタ
217 第1の撮像面
218 近赤外線撮像領域
219 可視光線撮像領域
220 端末演算部
230 車両検出部
240 近赤外照明部
250 端末記録部
260 端末通信制御部
300 中央制御機
310 中央通信制御部
320 アラーム
330 中央記録部
340 中央演算部

【特許請求の範囲】
【請求項1】
第1の撮像領域と前記第1の撮像領域と異なる第2の撮像領域とを有し、前記第1の撮像領域と前記第2の撮像領域とに跨って一方向に移動する被写体像を撮像する撮像手段と、
前記第1の撮像領域に配置されるカラー画像撮像用フィルタと、前記第2の撮像領域に配置される不可視光画像撮像用フィルタと、
前記撮像手段が撮像した画像を記憶する記憶手段と、
前記記憶手段の記憶した画像を記録媒体に記録する記録手段と、
前記第1の撮像領域又は前記第2の撮像領域のいずれか一方の画像に基づいて被写体像が所定の条件に合致するか否かを判断する判断手段とを備え、
前記撮像手段は、前記カラー画像用フィルタを透過した被写体像を撮像してカラー画像を出力し、前記不可視光画像撮像用フィルタを透過した被写体像を撮像して不可視光画像を出力し、
前記判断手段は、被写体像が所定の条件に合致したと判断した場合は、前記所定の条件に合致したときから所定の期間だけ前に撮像されて前記記憶手段に記憶されている画像を前記記録手段に記録させる
ことを特徴とする撮像システム。
【請求項2】
被写体が前記第1の撮像領域又は前記第2の撮像領域のいずれか一方の領域から他方の領域に移動したか否かを検知する検知手段をさらに備え、
前記判断手段は、被写体像が所定の条件に合致したとき、かつ被写体が他方の領域に移動したと前記検知手段が検知したときに、そのときから所定の期間だけ前に撮像されて前記記憶手段に記憶されている画像を前記記録手段に記録させる請求項1に記載の撮像システム。
【請求項3】
前記撮像手段は、前記第1の撮像領域から第2の撮像領域へ移動する被写体像を撮像し、
前記判断手段は、前記カラー画像に基づいて被写体像が所定の条件に合致したか否かを判別し、前記所定条件に合致した場合は、前記被写体像の不可視光画像を前記記録手段に記録させることを特徴とする請求項1又は2に記載の撮像システム。
【請求項4】
前記判断手段は、前記所定条件に合致した場合は、前記被写体像の不可視光画像およびカラー画像を前記記録手段に記録させることを特徴とする請求項3に記載の撮像システム。
【請求項5】
前記判断手段は、前記撮像手段の画角を複数の領域に仮想的に分割し、被写体像が前記領域を複数回移動したときに所定の条件に合致したと判断する請求項1、3、又は4に記載の撮像システム。
【請求項6】
前記判断手段は、前記撮像手段の画角において所定の位置を被写体像が通過するときに所定の条件に合致したと判断する請求項1から4に記載の撮像システム。
【請求項7】
前記判断手段は、被写体像が所定の色を有するときに所定の条件に合致したと判断する請求項1から4に記載の撮像システム。
【請求項8】
前記判断手段は、被写体像が所定の形状を有するときに所定の条件に合致したと判断する請求項1から4に記載の撮像システム。
【請求項9】
前記撮像手段は、1つの撮像素子上に設けられる前記第1の撮像領域及び前記第2の撮像領域とを有する請求項1から8に記載の撮像システム。
【請求項10】
前記撮像手段は、第1の撮像素子と第2の撮像素子とを有し、前記第1の撮像領域は前記第1の撮像素子上に設けられ、前記第2の撮像領域は前記第2の撮像素子上に設けられる請求項1から8に記載の撮像システム。
【請求項11】
前記撮像システムは車両監視システムであって、
前記撮像手段は、道路の近辺に固定されて画角が固定され、
前記判断手段は、前記画角における所定の範囲を車両が通過するときに所定の条件に合致したと判断する請求項1に記載の撮像システム。
【請求項12】
前記撮像システムは車両監視システムであって、
前記撮像手段は、道路の近辺に固定されて画角が固定され、
前記判断手段は、前記画角を複数の領域に仮想的に分割し、車両が前記領域を複数回移動したときに所定の条件に合致したと判断する請求項1に記載の撮像システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2011−81657(P2011−81657A)
【公開日】平成23年4月21日(2011.4.21)
【国際特許分類】
【出願番号】特願2009−234303(P2009−234303)
【出願日】平成21年10月8日(2009.10.8)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】