移動体軌跡図作成装置及びコンピュータプログラム
【課題】 移動体の撮影画像の処理に対してＰＴＶ法を用いなくても、移動体の軌跡画像の三次元表示を可能とする技術を提供する。
【解決手段】 複数のカメラにより撮影された時系列の画像データから、カメラ毎に、移動体の二次元軌跡画像を作成する手段１１を有している。これにより、鳥等の移動体の二次元軌跡画像がカメラ毎に複数枚得られることになる。この二次元軌跡画像は線状の静止画像であるため、バイプレーン法等の三次元軌跡画像再構成手段を適用することで、容易に移動体の三次元の軌跡図を作成することができる。ステレオＰＴＶ法を用いる必要がなくなるため、屋外フィールドの鳥などの移動体の軌跡図作成用として適している。
【解決手段】 複数のカメラにより撮影された時系列の画像データから、カメラ毎に、移動体の二次元軌跡画像を作成する手段１１を有している。これにより、鳥等の移動体の二次元軌跡画像がカメラ毎に複数枚得られることになる。この二次元軌跡画像は線状の静止画像であるため、バイプレーン法等の三次元軌跡画像再構成手段を適用することで、容易に移動体の三次元の軌跡図を作成することができる。ステレオＰＴＶ法を用いる必要がなくなるため、屋外フィールドの鳥などの移動体の軌跡図作成用として適している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間領域における移動体を撮影し、移動体の三次元の軌跡画像を得る移動体軌跡図作成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
例えば、環境アセスメントの一環として、所定の空間領域（例えば建造物を建造する予定地）に対する鳥などの移動体を検知し、その検知した情報を分析するといったことが行われている。また、風力発電装置に鳥などの移動体が近づいているか否かを判断して、風力発電装置の減速又は停止等の制御をすることも行われている。
【０００３】
例えば、特許文献１では、複数（通常２台）のカメラで風力発電装置の周囲を撮影し、鳥等の飛来物（移動体）を含む時系列の連続画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出するステレオＰＴＶ法を応用して移動体の位置を求めている。すなわち、一致した粒子や画素について、ステレオＰＴＶ法により、三次元における速度や位置の情報に変換し、移動体の軌跡を三次元データとして求めるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５７３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオＰＴＶ法は、本来研究用途で一般的である。従って、これを鳥などの検知用として、大規模な屋外フィールドに適用する場合には、天候による日照条件の変化、鳥の羽ばたきや向きによる投影面積の変化がＰＴＶ処理における雑音となることがあり、屋外フィールドにおける移動体の軌跡検出にはさらに改良の余地があった。
【０００６】
本発明は上記に鑑みなされたものであり、ステレオＰＴＶ法を用いることなく移動体の三次元の軌跡図を作成することができ、屋外フィールドにおける鳥などの移動体用として適する移動体軌跡図作成装置及びコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するため、本発明者は、主に医療分野において用いられ、血管などの二次元画像から三次元画像を再構成するバイプレーン法、ＭＡＰ−ＥＭ法、ＭＬ−ＥＭ法などの三次元画像の再構成法を用いることに着目し、本発明を完成するに至った。
【０００８】
すなわち、本発明の移動体軌跡図作成装置は、複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置であって、前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成手段と、前記二次元軌跡画像作成手段によって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成手段とを具備することを特徴とする。
【０００９】
前記二次元軌跡画像作成手段は、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段であり、前記三次元軌跡画像再構成手段は、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成する手段であることが好ましい。前記三次元軌跡画像再構成手段により所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工手段を有することが好ましい。
【００１０】
前記二次元軌跡画像作成手段は、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成する手段であることが好ましい。前記三次元軌跡画像再構成手段により得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成手段をさらに備えることが好ましい。
【００１１】
また、本発明のコンピュータプログラムは、複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置に導入されるコンピュータプログラムであって、前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成ステップと、前記二次元軌跡画像作成ステップによって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成ステップとを具備することを特徴とする。
【００１２】
前記二次元軌跡画像作成ステップは、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成するステップであり、前記三次元軌跡画像再構成ステップは、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成するステップであることが好ましい。前記三次元軌跡画像再構成ステップにより所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工ステップを有することが好ましい。
【００１３】
前記二次元軌跡画像作成ステップは、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成するステップであることが好ましい。前記三次元軌跡画像再構成ステップにより得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成ステップをさらに備えることが好ましい。
【発明の効果】
【００１４】
本発明は、複数のカメラにより撮影された時系列の画像データから、カメラ毎に、移動体の二次元軌跡画像を作成する手段を有している。これにより、鳥等の移動体の二次元軌跡画像がカメラ毎に複数枚得られることになる。この二次元軌跡画像は線状の静止画像であるため、バイプレーン法等の二次元軌跡画像を三次元軌跡画像に再構成する手法を適用することができ、それにより、容易に移動体の三次元の軌跡図を作成することができる。ステレオＰＴＶ法を用いる必要がなくなるため、屋外フィールドの鳥などの移動体の軌跡図作成用として適している。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一の実施形態に係る移動体軌跡図作成装置により移動体の軌跡を作成するための撮影用カメラの配置例を示した図である。
【図２】図２は、上記実施形態に係る移動体軌跡図作成装置の構成を示した図である。
【図３】図３（ａ）〜（ｉ）は、上記実施形態に係る移動体軌跡図作成装置によって、移動体の三次元軌跡画像を作成する工程を示した図である。
【図４】図４は、図３で得られた移動体の三次元軌跡画像を地図データと合成した例を示した図である。
【図５】図５は、本発明の他の実施形態に係る移動体軌跡図作成装置の構成を示した図である。
【図６】図６（ａ）〜（ｇ）は、上記他の実施形態に係る移動体軌跡図作成装置によって、移動体の三次元軌跡画像を作成する工程を示した図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。図１に示したように、鳥等の移動体の三次元軌跡図を作成する場合、まず、鳥等の移動体が移動する所定空間（撮影対象空間）を撮影可能に、複数台のカメラ（カメラ１，２，３・・・ｎ）を設置する。通常、２台のカメラで撮影することが多いが、各カメラ間は、５０ｍ以上、場合によっては数ｋｍ離間させて配置する。カメラは、例えば、ＣＣＤ撮像素子を備えたカメラやＣ−ＭＯＳ撮像素子を備えたカメラからなり、微小時間間隔（例えば、１／３０秒）をおいて連続撮影できるカメラ（ビデオカメラ）から構成される。
【００１７】
移動体軌跡図作成装置１０はコンピュータから構成され、図２に示したように、コンピュータプログラムである二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）１１、三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）１２、地図データ合成手段（地図データ合成ステップ）１３等が設定されている。なお、コンピュータプログラムは、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体へ記憶させて提供することもできるし、通信回線を通じて伝送することも可能である。
【００１８】
二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）１１は、各カメラで連続撮影された複数の時系列の画像データから、鳥等の移動体の二次元軌跡画像を時間差分法を利用してカメラ毎に作成する。例えば、図３（ａ）に示したように、カメラ１より時系列の画像データ１ａ，１ｂ，１ｃ・・・が得られるとする。この画像データの中から時間的に連続する２枚の画像データ同士（例えば、１ａと１ｂ）間の輝度の差分を求める。２枚の画像データの中に捉えられている移動体は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、２枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができる。この結果、移動体の時系列位置が、画像データ間の撮影間隔ごとに１枚の画像中にプロットされる（図３（ｂ））。２枚の画像データ間の差分をとって得られた複数枚の画像を１枚の画像にすると、図３（ｃ）に示したように、二次元の軌跡が点で示され、さらに、隣接するプロット点同士をつなげると、カメラ１により撮影された移動体の移動軌跡が、図３（ｄ）に示したように、線状の静止画像（二次元軌跡画像）として作成される。カメラ２においても、同様に、移動体の移動軌跡が線状の静止画像（二次元軌跡画像）として作成される（図３（ｅ）〜（ｈ）参照）。カメラ３・・・カメラｎにおいても同様の処理を行うことで、カメラ３・・・カメラｎにより撮影された線状の二次元軌跡画像が作成される。
【００１９】
三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）１２は、二次元軌跡画像作成手段１１により作成されたカメラ毎に対応した各二次元軌跡画像（図３（ｄ），（ｈ）の画像）を、図３（ｉ）に示したように三次元軌跡画像に再構成する。二次元軌跡画像作成手段１１により作成された、カメラ毎に対応した移動体の各二次元軌跡画像は、上記のように線状の静止画像として作成される。その結果、この二次元軌跡画像は、人の血管を二次元で撮影した画像データと同様に扱えることになる。そこで、医療現場等において異なる角度で撮影した人の血管の二次元の静止画像を複数枚合成して三次元画像を再構成する手法を適用すれば、移動体の軌跡が連続した三次元の軌跡画像として作成されることになる。この三次元軌跡画像再構成手段１２としては、バイプレーン法、ＭＡＰ−ＥＭ法、ＭＬ−ＥＭ法等のアルゴリズムを用いることができる。
【００２０】
三次元軌跡画像再構成手段１２により得られる移動体の三次元軌跡画像は、その三次元座標値を求め、移動体の撮影対象空間の位置を含む地図データと合成してディスプレイに出力する構成とすることが好ましい。そこで、移動体軌跡図作成装置１０には、コンピュータプログラムとして、地図データ合成手段（地図データ合成ステップ）１３が設定されていることが好ましい。
【００２１】
具体的には、地図データ合成手段（地図データ合成ステップ）１３は、予め求めておいた、各カメラ１，２，３・・・ｎの設置場所の三次元座標値（緯度、経度、標高）を利用して、各カメラとの相対的位置関係から、三次元軌跡画像再構成手段１２により作成された移動体の三次元軌跡画像の三次元座標値を求める。そして、この三次元座標値を用いて、図４に示したように、二次元又は三次元の地図データ上に、三次元軌跡画像を表示させる。なお、二次元又は三次元の地図データは、移動体軌跡図作成装置１０自身の記憶部にデータベース（図２の「地図データＤＢ」）として記憶しておいてもよいし、通信手段を介して任意のデータベースから入手したものであってもよい。また、各カメラの設置場所の三次元座標値は、例えばカメラにＧＰＳレシーバを取り付けておくことで求めることができる。
【００２２】
本実施形態によれば、各カメラ１，２，３・・・ｎから得られる時系列の各画像データを取得すると、二次元軌跡画像作成手段１１が起動して、時間差分法により、それぞれのカメラで撮影された鳥等の移動体の二次元軌跡画像が線状の静止画像として作成される（図３（ａ）〜（ｄ），（ｅ）〜（ｈ）参照）。三次元軌跡画像再構成手段１２は、各カメラ１，２，３・・・ｎに対応した複数の二次元軌跡画像を用いて、それらを１つの三次元軌跡画像データとして再構成する（図３（ｉ）参照）。これにより、容易に移動体の三次元軌跡画像を作成することができる。また、地図データ合成手段１３により既知の二次元又は三次元の地図データと合成すれば、移動体の移動軌跡が地図上に表示されることになり（図４参照）、その位置を容易に把握できるようになる。
【００２３】
上記実施形態においては、二次元軌跡画像作成手段１１により作成される画像が静止画像であるため、三次元軌跡画像再構成手段１２により作成される三次元軌跡画像には時間情報が含まれていない。バイプレーン法等の手法は、時間情報がそれほど重視されない血管画像を三次元表示する場合等に適用されているが、鳥等の移動体の移動軌跡を表示する場合には時間情報が含まれていることが望ましい。例えば、時間情報があれば鳥が近づいてくるタイミングに合わせて、風力発電装置の減速や停止等の制御が行える。
【００２４】
そこで、二次元軌跡画像作成手段１１としては、カメラ毎に取得した複数の画像データを、所定の撮影時間範囲毎に区切って用い、移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段とすることが好ましい。また、三次元軌跡画像再構成手段１２には、図５に示したように、撮影時間範囲毎に再構成される三次元軌跡画像同士をつなげ、さらに、撮影時間情報を判別可能な画像情報として出力する画像加工手段（画像加工ステップ）１２ａを設けることが好ましい。
【００２５】
二次元軌跡画像作成手段１１が、図６（ａ），（ｄ）に示したように、カメラ毎に、例えば撮影開始時間から画像データ１００枚毎に区切って静止画像（二次元軌跡画像）を作成するようにする。これにより、図６（ｂ），（ｅ）に示したように、二次元軌跡画像がそれぞれのカメラに対応して時系列に複数枚作成されることになる（カメラ１に対応して二次元軌跡画像１Ｐ，１Ｑ・・・が作成され、カメラ２に対応して二次元軌跡画像２Ｐ，２Ｑが作成される）。次に、三次元軌跡画像再構成手段１２は、図６（ｂ），（ｃ）に示したように、カメラ１の最初の二次元軌跡画像１Ｐとカメラ２の最初の二次元軌跡画像２Ｐを用いて、最初の三次元軌跡画像Ｐを作成する。次に、図６（ｅ），（ｆ）に示したように、カメラ１の２番目の二次元軌跡画像１Ｑとカメラ２の２番目の二次元軌跡画像２Ｑを用いて、２番目の三次元軌跡画像Ｑを作成する。この処理を繰り返し、３番目の三次元軌跡画像Ｒ、４番目の三次元軌跡画像Ｓというように、撮影時間範囲毎に三次元軌跡画像を作成し、図６（ｇ）に示したように、画像加工手段１２ａがそれらを連続的につなげて表示させる。この際、画像加工手段１２ａは、ディスプレイ等に、最初の三次元軌跡画像Ｐを赤、２番目の三次元軌跡画像Ｑを青、３番目の三次元軌跡画像Ｒを黄、４番目の三次元軌跡画像Ｓを黒等の異なる色、あるいは異なる線種等で表示する。これにより、例えば、赤は、撮影開始直後数秒間の時間帯における移動体の三次元位置、青が次の数秒間の撮影時間帯における移動体の三次元位置というように、撮影時間情報が明確化され、鳥等の移動体の移動位置と時間との関係を容易に把握できるようになる。
【産業上の利用可能性】
【００２６】
本発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。また、移動軌跡図を作成する撮影対象の移動体としては、鳥に限られるものではなく、その他の飛翔体であってもよいし、さらには、煙の動きなどの移動軌跡を求めることにも応用可能である。
【符号の説明】
【００２７】
１０ 移動体軌跡図作成装置
１１ 二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）
１２ 三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）
１２ａ 画像加工手段（画像加工ステップ）
１３ 地図データ合成手段（地図データ合成ステップ）
【技術分野】
【０００１】
本発明は、所定の空間領域における移動体を撮影し、移動体の三次元の軌跡画像を得る移動体軌跡図作成装置及びコンピュータプログラムに関する。
【背景技術】
【０００２】
例えば、環境アセスメントの一環として、所定の空間領域（例えば建造物を建造する予定地）に対する鳥などの移動体を検知し、その検知した情報を分析するといったことが行われている。また、風力発電装置に鳥などの移動体が近づいているか否かを判断して、風力発電装置の減速又は停止等の制御をすることも行われている。
【０００３】
例えば、特許文献１では、複数（通常２台）のカメラで風力発電装置の周囲を撮影し、鳥等の飛来物（移動体）を含む時系列の連続画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出するステレオＰＴＶ法を応用して移動体の位置を求めている。すなわち、一致した粒子や画素について、ステレオＰＴＶ法により、三次元における速度や位置の情報に変換し、移動体の軌跡を三次元データとして求めるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５７３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ステレオＰＴＶ法は、本来研究用途で一般的である。従って、これを鳥などの検知用として、大規模な屋外フィールドに適用する場合には、天候による日照条件の変化、鳥の羽ばたきや向きによる投影面積の変化がＰＴＶ処理における雑音となることがあり、屋外フィールドにおける移動体の軌跡検出にはさらに改良の余地があった。
【０００６】
本発明は上記に鑑みなされたものであり、ステレオＰＴＶ法を用いることなく移動体の三次元の軌跡図を作成することができ、屋外フィールドにおける鳥などの移動体用として適する移動体軌跡図作成装置及びコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
上記した課題を解決するため、本発明者は、主に医療分野において用いられ、血管などの二次元画像から三次元画像を再構成するバイプレーン法、ＭＡＰ−ＥＭ法、ＭＬ−ＥＭ法などの三次元画像の再構成法を用いることに着目し、本発明を完成するに至った。
【０００８】
すなわち、本発明の移動体軌跡図作成装置は、複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置であって、前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成手段と、前記二次元軌跡画像作成手段によって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成手段とを具備することを特徴とする。
【０００９】
前記二次元軌跡画像作成手段は、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段であり、前記三次元軌跡画像再構成手段は、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成する手段であることが好ましい。前記三次元軌跡画像再構成手段により所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工手段を有することが好ましい。
【００１０】
前記二次元軌跡画像作成手段は、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成する手段であることが好ましい。前記三次元軌跡画像再構成手段により得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成手段をさらに備えることが好ましい。
【００１１】
また、本発明のコンピュータプログラムは、複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置に導入されるコンピュータプログラムであって、前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成ステップと、前記二次元軌跡画像作成ステップによって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成ステップとを具備することを特徴とする。
【００１２】
前記二次元軌跡画像作成ステップは、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成するステップであり、前記三次元軌跡画像再構成ステップは、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成するステップであることが好ましい。前記三次元軌跡画像再構成ステップにより所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工ステップを有することが好ましい。
【００１３】
前記二次元軌跡画像作成ステップは、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成するステップであることが好ましい。前記三次元軌跡画像再構成ステップにより得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成ステップをさらに備えることが好ましい。
【発明の効果】
【００１４】
本発明は、複数のカメラにより撮影された時系列の画像データから、カメラ毎に、移動体の二次元軌跡画像を作成する手段を有している。これにより、鳥等の移動体の二次元軌跡画像がカメラ毎に複数枚得られることになる。この二次元軌跡画像は線状の静止画像であるため、バイプレーン法等の二次元軌跡画像を三次元軌跡画像に再構成する手法を適用することができ、それにより、容易に移動体の三次元の軌跡図を作成することができる。ステレオＰＴＶ法を用いる必要がなくなるため、屋外フィールドの鳥などの移動体の軌跡図作成用として適している。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一の実施形態に係る移動体軌跡図作成装置により移動体の軌跡を作成するための撮影用カメラの配置例を示した図である。
【図２】図２は、上記実施形態に係る移動体軌跡図作成装置の構成を示した図である。
【図３】図３（ａ）〜（ｉ）は、上記実施形態に係る移動体軌跡図作成装置によって、移動体の三次元軌跡画像を作成する工程を示した図である。
【図４】図４は、図３で得られた移動体の三次元軌跡画像を地図データと合成した例を示した図である。
【図５】図５は、本発明の他の実施形態に係る移動体軌跡図作成装置の構成を示した図である。
【図６】図６（ａ）〜（ｇ）は、上記他の実施形態に係る移動体軌跡図作成装置によって、移動体の三次元軌跡画像を作成する工程を示した図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。図１に示したように、鳥等の移動体の三次元軌跡図を作成する場合、まず、鳥等の移動体が移動する所定空間（撮影対象空間）を撮影可能に、複数台のカメラ（カメラ１，２，３・・・ｎ）を設置する。通常、２台のカメラで撮影することが多いが、各カメラ間は、５０ｍ以上、場合によっては数ｋｍ離間させて配置する。カメラは、例えば、ＣＣＤ撮像素子を備えたカメラやＣ−ＭＯＳ撮像素子を備えたカメラからなり、微小時間間隔（例えば、１／３０秒）をおいて連続撮影できるカメラ（ビデオカメラ）から構成される。
【００１７】
移動体軌跡図作成装置１０はコンピュータから構成され、図２に示したように、コンピュータプログラムである二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）１１、三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）１２、地図データ合成手段（地図データ合成ステップ）１３等が設定されている。なお、コンピュータプログラムは、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体へ記憶させて提供することもできるし、通信回線を通じて伝送することも可能である。
【００１８】
二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）１１は、各カメラで連続撮影された複数の時系列の画像データから、鳥等の移動体の二次元軌跡画像を時間差分法を利用してカメラ毎に作成する。例えば、図３（ａ）に示したように、カメラ１より時系列の画像データ１ａ，１ｂ，１ｃ・・・が得られるとする。この画像データの中から時間的に連続する２枚の画像データ同士（例えば、１ａと１ｂ）間の輝度の差分を求める。２枚の画像データの中に捉えられている移動体は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、２枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができる。この結果、移動体の時系列位置が、画像データ間の撮影間隔ごとに１枚の画像中にプロットされる（図３（ｂ））。２枚の画像データ間の差分をとって得られた複数枚の画像を１枚の画像にすると、図３（ｃ）に示したように、二次元の軌跡が点で示され、さらに、隣接するプロット点同士をつなげると、カメラ１により撮影された移動体の移動軌跡が、図３（ｄ）に示したように、線状の静止画像（二次元軌跡画像）として作成される。カメラ２においても、同様に、移動体の移動軌跡が線状の静止画像（二次元軌跡画像）として作成される（図３（ｅ）〜（ｈ）参照）。カメラ３・・・カメラｎにおいても同様の処理を行うことで、カメラ３・・・カメラｎにより撮影された線状の二次元軌跡画像が作成される。
【００１９】
三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）１２は、二次元軌跡画像作成手段１１により作成されたカメラ毎に対応した各二次元軌跡画像（図３（ｄ），（ｈ）の画像）を、図３（ｉ）に示したように三次元軌跡画像に再構成する。二次元軌跡画像作成手段１１により作成された、カメラ毎に対応した移動体の各二次元軌跡画像は、上記のように線状の静止画像として作成される。その結果、この二次元軌跡画像は、人の血管を二次元で撮影した画像データと同様に扱えることになる。そこで、医療現場等において異なる角度で撮影した人の血管の二次元の静止画像を複数枚合成して三次元画像を再構成する手法を適用すれば、移動体の軌跡が連続した三次元の軌跡画像として作成されることになる。この三次元軌跡画像再構成手段１２としては、バイプレーン法、ＭＡＰ−ＥＭ法、ＭＬ−ＥＭ法等のアルゴリズムを用いることができる。
【００２０】
三次元軌跡画像再構成手段１２により得られる移動体の三次元軌跡画像は、その三次元座標値を求め、移動体の撮影対象空間の位置を含む地図データと合成してディスプレイに出力する構成とすることが好ましい。そこで、移動体軌跡図作成装置１０には、コンピュータプログラムとして、地図データ合成手段（地図データ合成ステップ）１３が設定されていることが好ましい。
【００２１】
具体的には、地図データ合成手段（地図データ合成ステップ）１３は、予め求めておいた、各カメラ１，２，３・・・ｎの設置場所の三次元座標値（緯度、経度、標高）を利用して、各カメラとの相対的位置関係から、三次元軌跡画像再構成手段１２により作成された移動体の三次元軌跡画像の三次元座標値を求める。そして、この三次元座標値を用いて、図４に示したように、二次元又は三次元の地図データ上に、三次元軌跡画像を表示させる。なお、二次元又は三次元の地図データは、移動体軌跡図作成装置１０自身の記憶部にデータベース（図２の「地図データＤＢ」）として記憶しておいてもよいし、通信手段を介して任意のデータベースから入手したものであってもよい。また、各カメラの設置場所の三次元座標値は、例えばカメラにＧＰＳレシーバを取り付けておくことで求めることができる。
【００２２】
本実施形態によれば、各カメラ１，２，３・・・ｎから得られる時系列の各画像データを取得すると、二次元軌跡画像作成手段１１が起動して、時間差分法により、それぞれのカメラで撮影された鳥等の移動体の二次元軌跡画像が線状の静止画像として作成される（図３（ａ）〜（ｄ），（ｅ）〜（ｈ）参照）。三次元軌跡画像再構成手段１２は、各カメラ１，２，３・・・ｎに対応した複数の二次元軌跡画像を用いて、それらを１つの三次元軌跡画像データとして再構成する（図３（ｉ）参照）。これにより、容易に移動体の三次元軌跡画像を作成することができる。また、地図データ合成手段１３により既知の二次元又は三次元の地図データと合成すれば、移動体の移動軌跡が地図上に表示されることになり（図４参照）、その位置を容易に把握できるようになる。
【００２３】
上記実施形態においては、二次元軌跡画像作成手段１１により作成される画像が静止画像であるため、三次元軌跡画像再構成手段１２により作成される三次元軌跡画像には時間情報が含まれていない。バイプレーン法等の手法は、時間情報がそれほど重視されない血管画像を三次元表示する場合等に適用されているが、鳥等の移動体の移動軌跡を表示する場合には時間情報が含まれていることが望ましい。例えば、時間情報があれば鳥が近づいてくるタイミングに合わせて、風力発電装置の減速や停止等の制御が行える。
【００２４】
そこで、二次元軌跡画像作成手段１１としては、カメラ毎に取得した複数の画像データを、所定の撮影時間範囲毎に区切って用い、移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段とすることが好ましい。また、三次元軌跡画像再構成手段１２には、図５に示したように、撮影時間範囲毎に再構成される三次元軌跡画像同士をつなげ、さらに、撮影時間情報を判別可能な画像情報として出力する画像加工手段（画像加工ステップ）１２ａを設けることが好ましい。
【００２５】
二次元軌跡画像作成手段１１が、図６（ａ），（ｄ）に示したように、カメラ毎に、例えば撮影開始時間から画像データ１００枚毎に区切って静止画像（二次元軌跡画像）を作成するようにする。これにより、図６（ｂ），（ｅ）に示したように、二次元軌跡画像がそれぞれのカメラに対応して時系列に複数枚作成されることになる（カメラ１に対応して二次元軌跡画像１Ｐ，１Ｑ・・・が作成され、カメラ２に対応して二次元軌跡画像２Ｐ，２Ｑが作成される）。次に、三次元軌跡画像再構成手段１２は、図６（ｂ），（ｃ）に示したように、カメラ１の最初の二次元軌跡画像１Ｐとカメラ２の最初の二次元軌跡画像２Ｐを用いて、最初の三次元軌跡画像Ｐを作成する。次に、図６（ｅ），（ｆ）に示したように、カメラ１の２番目の二次元軌跡画像１Ｑとカメラ２の２番目の二次元軌跡画像２Ｑを用いて、２番目の三次元軌跡画像Ｑを作成する。この処理を繰り返し、３番目の三次元軌跡画像Ｒ、４番目の三次元軌跡画像Ｓというように、撮影時間範囲毎に三次元軌跡画像を作成し、図６（ｇ）に示したように、画像加工手段１２ａがそれらを連続的につなげて表示させる。この際、画像加工手段１２ａは、ディスプレイ等に、最初の三次元軌跡画像Ｐを赤、２番目の三次元軌跡画像Ｑを青、３番目の三次元軌跡画像Ｒを黄、４番目の三次元軌跡画像Ｓを黒等の異なる色、あるいは異なる線種等で表示する。これにより、例えば、赤は、撮影開始直後数秒間の時間帯における移動体の三次元位置、青が次の数秒間の撮影時間帯における移動体の三次元位置というように、撮影時間情報が明確化され、鳥等の移動体の移動位置と時間との関係を容易に把握できるようになる。
【産業上の利用可能性】
【００２６】
本発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。また、移動軌跡図を作成する撮影対象の移動体としては、鳥に限られるものではなく、その他の飛翔体であってもよいし、さらには、煙の動きなどの移動軌跡を求めることにも応用可能である。
【符号の説明】
【００２７】
１０ 移動体軌跡図作成装置
１１ 二次元軌跡画像作成手段（二次元軌跡画像作成ステップ）
１２ 三次元軌跡画像再構成手段（三次元軌跡画像再構成ステップ）
１２ａ 画像加工手段（画像加工ステップ）
１３ 地図データ合成手段（地図データ合成ステップ）
【特許請求の範囲】
【請求項１】
複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置であって、
前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成手段と、
前記二次元軌跡画像作成手段によって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成手段と
を具備することを特徴とする移動体軌跡図作成装置。
【請求項２】
前記二次元軌跡画像作成手段は、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段であり、
前記三次元軌跡画像再構成手段は、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成する手段である請求項１記載の移動体軌跡図作成装置。
【請求項３】
前記三次元軌跡画像再構成手段により所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工手段を有する請求項２記載の移動体軌跡図作成装置。
【請求項４】
前記二次元軌跡画像作成手段は、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成する手段である請求項１〜３のいずれか１に記載の移動体軌跡図作成装置。
【請求項５】
前記三次元軌跡画像再構成手段により得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成手段をさらに備える請求項１〜４のいずれか１に記載の移動体軌跡図作成装置。
【請求項６】
複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置に導入されるコンピュータプログラムであって、
前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成ステップと、
前記二次元軌跡画像作成ステップによって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成ステップと
を具備することを特徴とするコンピュータプログラム。
【請求項７】
前記二次元軌跡画像作成ステップは、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成するステップであり、
前記三次元軌跡画像再構成ステップは、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成するステップである請求項６記載のコンピュータプログラム。
【請求項８】
前記三次元軌跡画像再構成ステップにより所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工ステップを有する請求項７記載のコンピュータプログラム。
【請求項９】
前記二次元軌跡画像作成ステップは、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成するステップである請求項６〜８のいずれか１に記載のコンピュータプログラム。
【請求項１０】
前記三次元軌跡画像再構成ステップにより得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成ステップをさらに備える請求項６〜９のいずれか１に記載のコンピュータプログラム。
【請求項１】
複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置であって、
前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成手段と、
前記二次元軌跡画像作成手段によって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成手段と
を具備することを特徴とする移動体軌跡図作成装置。
【請求項２】
前記二次元軌跡画像作成手段は、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成する手段であり、
前記三次元軌跡画像再構成手段は、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成する手段である請求項１記載の移動体軌跡図作成装置。
【請求項３】
前記三次元軌跡画像再構成手段により所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工手段を有する請求項２記載の移動体軌跡図作成装置。
【請求項４】
前記二次元軌跡画像作成手段は、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成する手段である請求項１〜３のいずれか１に記載の移動体軌跡図作成装置。
【請求項５】
前記三次元軌跡画像再構成手段により得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成手段をさらに備える請求項１〜４のいずれか１に記載の移動体軌跡図作成装置。
【請求項６】
複数のカメラにて所定空間を撮影し、時系列に連続する画像データに写った移動体を検出して該移動体の三次元軌跡画像を作成する移動体軌跡図作成装置に導入されるコンピュータプログラムであって、
前記複数のカメラから取得した、時系列に連続撮影された複数の画像データを用いて、前記移動体の二次元軌跡画像を前記カメラ毎に作成する二次元軌跡画像作成ステップと、
前記二次元軌跡画像作成ステップによって作成された複数の前記二次元軌跡画像を用いて、三次元軌跡画像に再構成する三次元軌跡画像再構成ステップと
を具備することを特徴とするコンピュータプログラム。
【請求項７】
前記二次元軌跡画像作成ステップは、前記カメラ毎に取得した前記複数の画像データを、所定の撮影時間範囲毎に区切って用い、前記移動体の二次元軌跡画像を所定の撮影時間範囲毎に作成するステップであり、
前記三次元軌跡画像再構成ステップは、前記二次元軌跡画像作成手段により作成された所定の撮影時間範囲毎の二次元軌跡画像を用いて、所定の撮影時間範囲毎に三次元軌跡画像に再構成するステップである請求項６記載のコンピュータプログラム。
【請求項８】
前記三次元軌跡画像再構成ステップにより所定の撮影時間範囲毎に再構成される三次元軌跡画像を、撮影時間情報を判別可能な画像情報とする画像加工ステップを有する請求項７記載のコンピュータプログラム。
【請求項９】
前記二次元軌跡画像作成ステップは、時系列に撮影された複数の画像データ間で、輝度の差分にて動きのある画素を合成して前記移動体の二次元軌跡画像を作成するステップである請求項６〜８のいずれか１に記載のコンピュータプログラム。
【請求項１０】
前記三次元軌跡画像再構成ステップにより得られる前記移動体の三次元軌跡画像を、撮影対象である前記所定空間の位置を含む地図データと合成する地図データ合成ステップをさらに備える請求項６〜９のいずれか１に記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２０４２００（Ｐ２０１１−２０４２００Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−７３６１６（Ｐ２０１０−７３６１６）
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２６日（２０１０．３．２６）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
[ Back to top ]