画像データ処理装置およびコンピュータプログラム
【課題】 移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする移動体画像データ処理を可能とする技術を提供する。
【解決手段】 複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置である。 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段とを備えた移動体画像データ処理装置とする。
【解決手段】 複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置である。 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段とを備えた移動体画像データ処理装置とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の空間領域における移動体を撮影する際の画像データ処理装置および画像データを処理するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、所定の空間領域における移動体を撮影し、その移動体の動きを解析するためには、ＰＴＶ処理を実行するのが一般的であった。
また、そのＰＴＶ処理をするためには、画像データにおける移動体の背景が障害となるので、その障害となる背景を消すために、時間差分法という処理を実行するのが一般的であった。
【０００３】
時間差分法とは、時間的に連続する二枚の画像データから、輝度に差分が存在する画素を抽出するのである。移動体を捉えた画素は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、二枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができるのである。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献１に開示されている。
【０００４】
ところで、環境アセスメントの一環として、所定の空間領域（たとえば建造物を建造する予定地）に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。 その飛来物の検知には、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。
【０００５】
所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される２台のカメラの距離は、５０メートル以上である場合が多い。風力発電装置が複数設置することを予定されているウィンドファームなどの場合には、数キロメートルに達する場合もある。
【０００６】
特許文献２は、移動物体の三次元軌跡を計測する技術であり、球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を解析するための技術である。 これは、複数（たいてい２台）のカメラによって飛翔体を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（ＰＴＶステレオペアマッチング法）。一致した粒子や画素について、三次元における速度の情報に変換し、三次元の軌跡を求めるものである。
ＰＴＶステレオペアマッチング法の技術は、鳥などの飛翔体の軌跡を解析するために利用することができる。
【０００７】
さて、ＰＴＶステレオペアマッチング法を鳥などの飛翔体の軌跡を解析するために用いる場合、計測領域を大きくせざるを得ない傾向にある。できる限り広い範囲を撮影したいという要望があるからである。 たとえば、３キロメートルの範囲で撮影する場合に、1メートルの鳥が２ピクセルを確保するには、水平画素数が６０００ピクセルの撮像カメラが必要となってしまう。そのような撮像カメラは非常に高価である。 また、そのような撮像カメラにて撮影ができても、画像データを記録し、転送したり、画像処理をしたりするためには、ハードウェアの負担が大きかった。
【０００８】
そこで、鳥の大きさが１ピクセル以下となっても画像処理が可能であるようにするためには、サブピクセル解析という手段を用いる。これを採用する場合、1メートルの鳥が０．７ピクセルを確保するには、水平画素数が２１００ピクセルの撮像カメラにて済む。 ただし、１ピクセルの大きさの画素についての輝度変化を取り扱う場合、画像中のノイズとの判別が困難になる、という欠点がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１５７４９２号公報
【特許文献２】特開２００７−１１５２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
さて、撮影したい移動体および所定空間が撮影場所から遠い場合には、撮影データにおける移動体および所定空間が占める画素の面積は近い場合に比べて小さくなる。 すると、移動体の全体でも一画素に収まってしまう場合も出てくる。 更に、その場合、次の時刻の撮影データにおいても、移動体が移動しているにもかかわらず、同じ画素内でしか移動していない、という事態も出てくる。
より具体的には、図８に図示する。すなわち、移動体を鳥などの飛翔体とした場合、撮影場所から遠い場所でホバリングをしていると、数秒間にわたって一画素に収まってしまうことがある。
このような事態にあっては、前述した時間差分法を用いると、移動体を捉えた画素であっても、輝度ゼロとして処理されてしまうこととなる。
【００１１】
上記のような事態を回避するため、移動体が撮影データ内に入っていない状態の撮影データを基準背景画像とし、その基準画像と移動体を捉えた画像データとを時間差分法にて処理する、という手段を用いる。
ところが、基準背景画像を用いる手段は、屋外での撮影においては短時間しか使うことができない。 日照や天候などの条件が時々刻々と変化するためである。 基準背景画像を無理に使おうとすると、時間差分法処理を施した処理後のデータに多くの雑音が残ってしまうこととなる。
【００１２】
特許文献１に開示された技術は、画像処理の対象となる移動体が自動車であり、前述した鳥のホバリングなどに該当するような動きはそもそもあり得ない。そのため、こうした課題を解決する手段は開示されていない。
特許文献２に開示された技術は、高速で移動する物体の移動軌跡を解析するための技術であり、低速での移動体に向いた技術ではない。
【００１３】
本発明が解決しようとする課題は、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
（第一の発明）
本願における第一の発明は、複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置に係る。
すなわち、 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、を備えた移動体画像データ処理装置である。
【００１５】
（用語説明）
「ボクセル」とは、例えば撮影する空間が３キロメートルの立方体である場合において撮影用のカメラの画素数を３０００×３０００ピクセルであるとすると、一辺が１メートルの仮想立方体が１ボクセルとなる。
「二次元軌跡画像出力手段および三次元ボクセルデータ演算手段」は、たとえば、以下のようなループ演算を実行する演算手段とすることができる。 すなわち、撮影する空間のボクセル位置（Ｘ，Ｙ，Ｚ）が左右の画像データ（（Ｘｌ，Ｙｌ）、（Ｘｒ，Ｙｒ））における位置座標のいずれに写像されるかを逆演算する。
【００１６】
右側のカメラにて取得された画像データにおける時刻ｔの画像Ｒｔの輝度値Ｒｔ（Ｘｒ，Ｙｒ）と、左側のカメラにて取得された画像データにおける時刻ｔの画像Ｌｔの輝度値Ｌｔ（Ｘｌ，Ｙｌ）とが、いずれも軌跡の一部分である場合には、ボクセル位置（Ｘ，Ｙ，Ｚ）において、
ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）＝（Ｒｔ＋Ｌｔ）／２
とする。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Ｖは、ゼロとしてもよい。 また、Ｒｔ（Ｘｒ，Ｙｒ）およびＬｔ（Ｘｌ，Ｙｌ）のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
【００１７】
（作用）
複数台のカメラにて、所定空間をステレオ撮影する。
時系列に連続撮影された画像データを前記複数台のカメラから画像入力手段に入力する。 その画像入力手段に入力された画像データを用いて二次元軌跡画像出力手段が画素を合成し、カメラ毎に二次元軌跡画像を作成する。 二次元軌跡画像によってカメラ毎に作成された二次元軌跡画像から、三次元ボクセルデータ演算手段が三次元のボクセルデータを作成する。
ここにおいて、ステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析することができるため、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
【００１８】
（第一の発明のバリエーション１）
第一の発明は、以下のように形成することができる。
すなわち、 前記画像データにおける時系列順のデータを複数用いることによって輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、 その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元軌跡データである三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、を備えた移動体画像データ処理装置としてもよい。
【００１９】
（第一の発明のバリエーション２）
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた移動体画像データ処理装置としてもよい。
【００２０】
（作用）
前記の「軌跡フィルタ手段」とは、たとえば、鳥ではあり得ない速度で移動する軌跡データを削除するフィルタである。
その軌跡フィルタ手段を用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
【００２１】
（第一の発明のバリエーション３）
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、 その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えることとしてもよい。
【００２２】
（作用）
前記の「軌跡データベース」とは、たとえば、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積している。
その軌跡データベースを用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
【００２３】
（第一の発明のバリエーション４）
第一の発明は、以下のように形成することができる。
すなわち、前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた鳥軌跡抽出手段を備えることとしてもよい。
【００２４】
（第一の発明のバリエーション５）
第一の発明は、以下のように形成することができる。
すなわち、 前記の画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手段と、 そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には所定の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手段と、を備え、 前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成する。
【００２５】
「ＰＴＶ演算・仮実行手段」がＰＴＶ演算を仮に実行する「画像データの一部」とは、たとえば、鳥などの飛翔体が明らかに撮影できている時間帯の画像データとする。それをサンプルとして実行させ、ＰＴＶ演算が実行可能か否かを判断する。
鳥などの飛翔体が明らかに撮影できている時間帯の画像データであるにも関わらずＰＴＶ演算によって、飛翔体が抽出できない場合とは、たとえば、鳥がホバリングや低速飛行をしていてあまり動かない場合、非常に遠方に写っているために鳥が動いているとして処理できない場合などがある。
【００２６】
（作用）
画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算・仮実行手段がＰＴＶ演算を仮に実行する。 そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には、ＰＴＶ処理・本実行手段が所定の画像データに対してＰＴＶ処理を実行する。
一方、前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて、三次元のボクセルデータを作成する。 したがって、ＰＴＶ演算がうまくいかない場合には、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
【００２７】
（第一の発明のバリエーション６）
第一の発明は更に、 前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のＰＴＶ処理・本実行手段によって所定の画像データに対してＰＴＶ処理を実行することとすることもできる。
【００２８】
（第二の発明）
本願の第二の発明は、時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムに係る。
そのプログラムは、 時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、 その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、 左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、 をコンピュータに実行させることとしたコンピュータプログラムである。
【００２９】
（第二の発明のバリエーション）
本願の第二の発明は、 前記の画像入力手順にて入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手順と、 そのＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいった場合には前記の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手順と、 前記のＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成をコンピュータに、更に実行させるプログラムとすることもできる。
【００３０】
第二の発明は、記録媒体（たとえば、ハードディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒなど）に格納して提供することもできる。また、通信回線を介して送信することもできる。
【発明の効果】
【００３１】
請求項１から請求項７に記載の発明によれば、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする移動体画像データ処理装置を提供することができた。
また、請求項８および請求項９に記載の発明によれば、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示が可能なコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係るメインの処理手順を示すフローチャートである。
【図２】所定空間を撮影するカメラを複数台設置した場合の概念図である。
【図３】二次元の軌跡画像および時系列の二次元軌跡画像を作成する手順を示す概念図である。
【図４】本発明の実施形態に係るメインの処理手順を示す概念図である。
【図５】図４に示した処理手順を示すフローチャートである。
【図６】第二の実施形態における処理手順を示すフローチャートである。
【図７】第三の実施形態における処理手順を示すフローチャートである。
【図８】従来技術における画像処理において時間差分法を採用した場合の問題点を示す概念図である。
【発明を実施するための形態】
【００３３】
以下、本願発明を実施形態に基づいて更に詳しく説明する。
図８は、従来技術における画像処理において時間差分法を採用した場合の問題点を図示している。 図８（Ａ）に示すような画像が最初に取得できたとする。その画像には、飛行機と鳥が写っている。
さて、Δｔ時間後にも連続して画像を撮影したとする。その画像が図８（Ｂ）とする。図８（Ａ）および（Ｂ）という連続画像を用いて時間差分法を適用したとする場合、Δｔ時間後には飛行機は大きく移動したものの、鳥はホバリングをしていたために移動していなかった（同じ画素に写っていた）とする。
すると、時間差分法では、鳥の姿が写っていた画素はゼロとして扱われてしまう。すなわち、移動体を検出できないということとなる。 遙か遠くを飛んでいたために、鳥がホバリングをしていたのではなくても、Δｔ時間後でも同じ画素に写ってしまい、鳥の姿が写っていた画素はゼロとして扱われてしまう。 一方、飛行機は検出される。
【００３４】
そこで、本実施形態では、左右のカメラにてステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置を用いて、図1に示すような処理手順にて画像を処理する。
まず、左カメラが撮影する所定空間に対して二次元軌跡画像をＬｔ、右カメラが撮影する所定空間に対して二次元軌跡画像をＲｔとする。二次元軌跡画像Ｌｔは二次元軌跡画像Ｌｔ出力手段にて、二次元軌跡画像Ｒｔは、二次元軌跡画像Ｒｔ出力手段にて出力させる。 一方、撮影される空間をボクセルに分割する。 「ボクセルに分割」とは、例えば撮影する空間が３キロメートルの立方体である場合において撮影用のカメラの画素数を３０００×３０００ピクセルであるとすると、一辺が１メートルの仮想立方体が１ボクセルとなる。
【００３５】
撮影される空間を分割して得られた各ボクセルに対して、ボクセル位置（Ｘ，Ｙ，Ｚ）が二次元軌跡画像ＬｔおよびＲｔにおける位置座標（（Ｘｌ，Ｙｌ）および（Ｘｒ，Ｙｒ））のいずれに対応するかを逆演算する。
このとき、三次元の撮影空間を分割して得られる各ボクセルの位置（Ｘ，Ｙ，Ｚ）が、二次元軌跡画像のいずれの位置座標へ対応するかの逆演算は、座標毎に予め作成していた逆演算変換テーブルを用いるか、行列演算にて行う。
【００３６】
右側のカメラにて取得された画像データにおける時刻ｔの画像Ｒｔの輝度値Ｒｔ（Ｘｒ，Ｙｒ）と、左側のカメラにて取得された画像データにおける時刻ｔの画像Ｌｔの輝度値Ｌｔ（Ｘｌ，Ｙｌ）とが、いずれも軌跡の一部分である場合には、
ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）＝（Ｒｔ＋Ｌｔ）／２
とする。
この処理を、撮影される空間をＮｘ×Ｎｙ×Ｎｚ（Ｎｘ、Ｎｙ、Ｎｚは１以上の自然数）に分割した場合には、Ｘを１からＮｘまで、Ｙを１からＮｙまで、Ｚを１からＮｚまでそれぞれ変化させて行い、各ボクセル位置（Ｘ、Ｙ、Ｚ）における輝度値Ｖを求める。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Ｖは、ゼロとしてもよい。 また、Ｒｔ（Ｘｒ，Ｙｒ）およびＬｔ（Ｘｌ，Ｙｌ）のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
【００３７】
図２から図５を用いて、更に詳しく説明する。
本願発明は、最低２台のカメラにて所定空間を撮影することで機能する。図２は、所定空間を３台以上のカメラにて撮影するバリエーションを概念的に示している。
画像Ｐ１の輝度値Ｐ１（Ｘｎ、Ｙｎ）が２つ以上の軌跡における一部分である場合には、ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）を有値（たとえば、Ｐ２＋Ｐ３／２）であるとし、それ以外はＶ（Ｘ，Ｙ，Ｚ）＝０とする。
このような算出結果を使うことによって、２台のカメラにて撮影するよりも正確な軌跡データを作成できる。たとえば、２台のカメラではいずれも輝度が足りないため、演算途中で削除されてしまう軌跡の一部が残されるからである。
なお、図２以外は、二台のカメラで実施したとして説明する。
【００３８】
図３は、各カメラにて取得した時系列の画像データ群を用いて、二次元軌跡画像と複数の時系列二次元画像とを作成する場合に、どのように元の画像データ群を用いるのかを示している。
まず、二次元軌跡画像は、画像データ群から最大輝度値を用いて作成する。
また、時系列二次元画像は、複数の連続する画像データから差分を求め、方向成分を備えるベクトルとして時系列二次元軌跡データを求めていく。これをいくつも作成し、単なる軌跡に時系列の情報（時間成分）を加えた時系列二次元軌跡データとするのである。
【００３９】
図４に示すのは、図３にて示した二次元軌跡画像および時系列二次元軌跡画像群を用いて、時系列ボクセル表示を行うまでのデータ作成手順を示したものである。
左右のカメラにて取得した時系列の画像データ群から作成した二次元軌跡画像における各位置座標の輝度を、撮影される空間を分割して得られた各ボクセルの位置（Ｘ、Ｙ、Ｚ）へ反映させて三次元の静的なボクセル表示を行う。
静的なボクセル表示を行った後、続いて、動的な画像データである時系列二次元軌跡画像群を静的なボクセル表示に加える。そのことによって、時系列ボクセル表示、すなわち動的なボクセル表示が可能となる。
図中のボクセル表示において、直線にて示されているのは、航空機の軌跡やベクトルであろうと推測でき、非直線的で不規則な動きは鳥であろうと推測できる。
【００４０】
図５に示した図は、図４にて概念的に示した演算手順を、構成要件および機能毎にブロック図として示したものである。
なお、時系列ボクセルデータが作成された後、軌跡フィルタ手段あるいは軌跡データベースを用いて、鳥以外の軌跡データを削除したり、鳥の種類を推測したりして、鳥軌跡三次元データを出力することとしている。
ここで、「軌跡フィルタ手段」とは、たとえば、鳥では想定できない速度で移動する軌跡データを削除するフィルタリングを実行する手段である。図４に示した航空機らしき直線的な軌跡は、この軌跡フィルタ手段によって削除されるであろう。
また、軌跡データベース（軌跡ＤＢ）とは、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積したデータベースである。 鳥では想定できない速度の軌跡を削除したり、鳥の種類を推測したりすることが可能となる。
【００４１】
上記のように演算した加工画像データを用いて、時系列ボクセルデータ演算手段が三次元動画データを出力し、時系列ボクセル表示を行う。ここにおいて、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
たとえば、低速飛行のため一ピクセルに収まってしまうような鳥、ホバリングして動かない鳥などをＰＴＶ処理では苦手としており、ＰＴＶ演算の結果、背景画像として処理されてしまって鳥が存在しなくなってしまったり、ノイズまでをも鳥として判断してしまって処理してしまうことがある。 このような場合にも、上記の実施形態の手順で処理すれば、画像処理が可能である。
なお、画像中のラインが長くなった場合や、飛翔体としての鳥が群れで写っており、多くのラインが交差したような場合にも対応できる。
【００４２】
図６では、ＰＴＶ処理を仮に実行し、ＰＴＶ処理が上手くいかない場合に前述の手順を用いるが、ＰＴＶ処理で上手くいく場合（図中では二点破線にて示す）にはＰＴＶ処理を実行して鳥の軌跡を出力させる、という手順を示す。いわば、ハイブリッド方式である。
【００４３】
図７は、図６のバリエーションである。すなわち、ＰＴＶ処理が上手くいかない場合に鳥に関するデータにフラグを決定し、その加工後の静止画データを用いてＰＴＶ処理を実行させる手順である。
【００４４】
前述の実施形態では、移動体を鳥として説明したが、移動体は鳥に限られない。 川の流れ、煙の動きなどが被写体である場合、流れが停滞している箇所の解析、無風状態が継続した場合の煙などを解析することも可能である。
【産業上の利用可能性】
【００４５】
本願発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。
【技術分野】
【０００１】
本発明は、所定の空間領域における移動体を撮影する際の画像データ処理装置および画像データを処理するためのコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、所定の空間領域における移動体を撮影し、その移動体の動きを解析するためには、ＰＴＶ処理を実行するのが一般的であった。
また、そのＰＴＶ処理をするためには、画像データにおける移動体の背景が障害となるので、その障害となる背景を消すために、時間差分法という処理を実行するのが一般的であった。
【０００３】
時間差分法とは、時間的に連続する二枚の画像データから、輝度に差分が存在する画素を抽出するのである。移動体を捉えた画素は、時間的に次の画像データにおいては異なる画素に移動しているため、差分がゼロとはならない。しかし、二枚の画像データにおいて輝度が同じ画素については、差分の結果、輝度がゼロになる。これによって、移動体とは無関係な背景の画像データを消すことができるのである。
なお、時間差分法を用いた画像処理技術については、たとえば特許文献１に開示されている。
【０００４】
ところで、環境アセスメントの一環として、所定の空間領域（たとえば建造物を建造する予定地）に対する鳥などの飛来物を検知し、その検知した情報を分析するといったことが行われている。 その飛来物の検知には、複数（たいてい２台）のカメラで飛来物を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（たとえば、ＰＴＶのステレオペアマッチング）、という手法が採用されている。すなわち、一致した粒子や画素について、三次元における速度や位置の情報に変換し、飛来物の軌跡を三次元データとして求める。
このような飛来物の検知方法を応用することによって、たとえば風力発電装置に飛来物が近づいているか否かを判断して、風力発電装置の減速または停止の制御に用いることができる。また、野鳥の飛行観察や行動調査にも、同様に三次元の飛行軌跡を求める手段が用いられている。
【０００５】
所定の空間領域に対する飛来物調査においては、対象となる空間を撮影するためのステレオ撮影実行のために設置される２台のカメラの距離は、５０メートル以上である場合が多い。風力発電装置が複数設置することを予定されているウィンドファームなどの場合には、数キロメートルに達する場合もある。
【０００６】
特許文献２は、移動物体の三次元軌跡を計測する技術であり、球技スポーツにおけるボールのように高速で移動する物体の移動軌跡を解析するための技術である。 これは、複数（たいてい２台）のカメラによって飛翔体を含む画像データを取得し、同期させた複数の画像データ中において一致する粒子や画素を抽出する（ＰＴＶステレオペアマッチング法）。一致した粒子や画素について、三次元における速度の情報に変換し、三次元の軌跡を求めるものである。
ＰＴＶステレオペアマッチング法の技術は、鳥などの飛翔体の軌跡を解析するために利用することができる。
【０００７】
さて、ＰＴＶステレオペアマッチング法を鳥などの飛翔体の軌跡を解析するために用いる場合、計測領域を大きくせざるを得ない傾向にある。できる限り広い範囲を撮影したいという要望があるからである。 たとえば、３キロメートルの範囲で撮影する場合に、1メートルの鳥が２ピクセルを確保するには、水平画素数が６０００ピクセルの撮像カメラが必要となってしまう。そのような撮像カメラは非常に高価である。 また、そのような撮像カメラにて撮影ができても、画像データを記録し、転送したり、画像処理をしたりするためには、ハードウェアの負担が大きかった。
【０００８】
そこで、鳥の大きさが１ピクセル以下となっても画像処理が可能であるようにするためには、サブピクセル解析という手段を用いる。これを採用する場合、1メートルの鳥が０．７ピクセルを確保するには、水平画素数が２１００ピクセルの撮像カメラにて済む。 ただし、１ピクセルの大きさの画素についての輝度変化を取り扱う場合、画像中のノイズとの判別が困難になる、という欠点がある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１５７４９２号公報
【特許文献２】特開２００７−１１５２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
さて、撮影したい移動体および所定空間が撮影場所から遠い場合には、撮影データにおける移動体および所定空間が占める画素の面積は近い場合に比べて小さくなる。 すると、移動体の全体でも一画素に収まってしまう場合も出てくる。 更に、その場合、次の時刻の撮影データにおいても、移動体が移動しているにもかかわらず、同じ画素内でしか移動していない、という事態も出てくる。
より具体的には、図８に図示する。すなわち、移動体を鳥などの飛翔体とした場合、撮影場所から遠い場所でホバリングをしていると、数秒間にわたって一画素に収まってしまうことがある。
このような事態にあっては、前述した時間差分法を用いると、移動体を捉えた画素であっても、輝度ゼロとして処理されてしまうこととなる。
【００１１】
上記のような事態を回避するため、移動体が撮影データ内に入っていない状態の撮影データを基準背景画像とし、その基準画像と移動体を捉えた画像データとを時間差分法にて処理する、という手段を用いる。
ところが、基準背景画像を用いる手段は、屋外での撮影においては短時間しか使うことができない。 日照や天候などの条件が時々刻々と変化するためである。 基準背景画像を無理に使おうとすると、時間差分法処理を施した処理後のデータに多くの雑音が残ってしまうこととなる。
【００１２】
特許文献１に開示された技術は、画像処理の対象となる移動体が自動車であり、前述した鳥のホバリングなどに該当するような動きはそもそもあり得ない。そのため、こうした課題を解決する手段は開示されていない。
特許文献２に開示された技術は、高速で移動する物体の移動軌跡を解析するための技術であり、低速での移動体に向いた技術ではない。
【００１３】
本発明が解決しようとする課題は、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【００１４】
（第一の発明）
本願における第一の発明は、複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置に係る。
すなわち、 時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、 その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、 カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、を備えた移動体画像データ処理装置である。
【００１５】
（用語説明）
「ボクセル」とは、例えば撮影する空間が３キロメートルの立方体である場合において撮影用のカメラの画素数を３０００×３０００ピクセルであるとすると、一辺が１メートルの仮想立方体が１ボクセルとなる。
「二次元軌跡画像出力手段および三次元ボクセルデータ演算手段」は、たとえば、以下のようなループ演算を実行する演算手段とすることができる。 すなわち、撮影する空間のボクセル位置（Ｘ，Ｙ，Ｚ）が左右の画像データ（（Ｘｌ，Ｙｌ）、（Ｘｒ，Ｙｒ））における位置座標のいずれに写像されるかを逆演算する。
【００１６】
右側のカメラにて取得された画像データにおける時刻ｔの画像Ｒｔの輝度値Ｒｔ（Ｘｒ，Ｙｒ）と、左側のカメラにて取得された画像データにおける時刻ｔの画像Ｌｔの輝度値Ｌｔ（Ｘｌ，Ｙｌ）とが、いずれも軌跡の一部分である場合には、ボクセル位置（Ｘ，Ｙ，Ｚ）において、
ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）＝（Ｒｔ＋Ｌｔ）／２
とする。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Ｖは、ゼロとしてもよい。 また、Ｒｔ（Ｘｒ，Ｙｒ）およびＬｔ（Ｘｌ，Ｙｌ）のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
【００１７】
（作用）
複数台のカメラにて、所定空間をステレオ撮影する。
時系列に連続撮影された画像データを前記複数台のカメラから画像入力手段に入力する。 その画像入力手段に入力された画像データを用いて二次元軌跡画像出力手段が画素を合成し、カメラ毎に二次元軌跡画像を作成する。 二次元軌跡画像によってカメラ毎に作成された二次元軌跡画像から、三次元ボクセルデータ演算手段が三次元のボクセルデータを作成する。
ここにおいて、ステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析することができるため、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
【００１８】
（第一の発明のバリエーション１）
第一の発明は、以下のように形成することができる。
すなわち、 前記画像データにおける時系列順のデータを複数用いることによって輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、 その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元軌跡データである三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、を備えた移動体画像データ処理装置としてもよい。
【００１９】
（第一の発明のバリエーション２）
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた移動体画像データ処理装置としてもよい。
【００２０】
（作用）
前記の「軌跡フィルタ手段」とは、たとえば、鳥ではあり得ない速度で移動する軌跡データを削除するフィルタである。
その軌跡フィルタ手段を用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
【００２１】
（第一の発明のバリエーション３）
第一の発明は、以下のように形成することができる。
すなわち、 前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、 その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えることとしてもよい。
【００２２】
（作用）
前記の「軌跡データベース」とは、たとえば、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積している。
その軌跡データベースを用いることで、解析したい対象である鳥以外の、例えば航空機の軌跡を予め削除することができ、後の解析演算の負担を軽減し、解析画像を見やすくする。
【００２３】
（第一の発明のバリエーション４）
第一の発明は、以下のように形成することができる。
すなわち、前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた鳥軌跡抽出手段を備えることとしてもよい。
【００２４】
（第一の発明のバリエーション５）
第一の発明は、以下のように形成することができる。
すなわち、 前記の画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手段と、 そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には所定の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手段と、を備え、 前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成する。
【００２５】
「ＰＴＶ演算・仮実行手段」がＰＴＶ演算を仮に実行する「画像データの一部」とは、たとえば、鳥などの飛翔体が明らかに撮影できている時間帯の画像データとする。それをサンプルとして実行させ、ＰＴＶ演算が実行可能か否かを判断する。
鳥などの飛翔体が明らかに撮影できている時間帯の画像データであるにも関わらずＰＴＶ演算によって、飛翔体が抽出できない場合とは、たとえば、鳥がホバリングや低速飛行をしていてあまり動かない場合、非常に遠方に写っているために鳥が動いているとして処理できない場合などがある。
【００２６】
（作用）
画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算・仮実行手段がＰＴＶ演算を仮に実行する。 そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には、ＰＴＶ処理・本実行手段が所定の画像データに対してＰＴＶ処理を実行する。
一方、前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて、三次元のボクセルデータを作成する。 したがって、ＰＴＶ演算がうまくいかない場合には、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
【００２７】
（第一の発明のバリエーション６）
第一の発明は更に、 前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のＰＴＶ処理・本実行手段によって所定の画像データに対してＰＴＶ処理を実行することとすることもできる。
【００２８】
（第二の発明）
本願の第二の発明は、時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムに係る。
そのプログラムは、 時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、 その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、 左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、 をコンピュータに実行させることとしたコンピュータプログラムである。
【００２９】
（第二の発明のバリエーション）
本願の第二の発明は、 前記の画像入力手順にて入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手順と、 そのＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいった場合には前記の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手順と、 前記のＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成をコンピュータに、更に実行させるプログラムとすることもできる。
【００３０】
第二の発明は、記録媒体（たとえば、ハードディスク、ＣＤ−Ｒ、ＤＶＤ−Ｒなど）に格納して提供することもできる。また、通信回線を介して送信することもできる。
【発明の効果】
【００３１】
請求項１から請求項７に記載の発明によれば、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示を可能とする移動体画像データ処理装置を提供することができた。
また、請求項８および請求項９に記載の発明によれば、移動体の撮影画像の処理に対してＰＴＶ法を用いなくても合理的な画像処理をすることによって、的確な三次元表示が可能なコンピュータプログラムを提供することができた。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係るメインの処理手順を示すフローチャートである。
【図２】所定空間を撮影するカメラを複数台設置した場合の概念図である。
【図３】二次元の軌跡画像および時系列の二次元軌跡画像を作成する手順を示す概念図である。
【図４】本発明の実施形態に係るメインの処理手順を示す概念図である。
【図５】図４に示した処理手順を示すフローチャートである。
【図６】第二の実施形態における処理手順を示すフローチャートである。
【図７】第三の実施形態における処理手順を示すフローチャートである。
【図８】従来技術における画像処理において時間差分法を採用した場合の問題点を示す概念図である。
【発明を実施するための形態】
【００３３】
以下、本願発明を実施形態に基づいて更に詳しく説明する。
図８は、従来技術における画像処理において時間差分法を採用した場合の問題点を図示している。 図８（Ａ）に示すような画像が最初に取得できたとする。その画像には、飛行機と鳥が写っている。
さて、Δｔ時間後にも連続して画像を撮影したとする。その画像が図８（Ｂ）とする。図８（Ａ）および（Ｂ）という連続画像を用いて時間差分法を適用したとする場合、Δｔ時間後には飛行機は大きく移動したものの、鳥はホバリングをしていたために移動していなかった（同じ画素に写っていた）とする。
すると、時間差分法では、鳥の姿が写っていた画素はゼロとして扱われてしまう。すなわち、移動体を検出できないということとなる。 遙か遠くを飛んでいたために、鳥がホバリングをしていたのではなくても、Δｔ時間後でも同じ画素に写ってしまい、鳥の姿が写っていた画素はゼロとして扱われてしまう。 一方、飛行機は検出される。
【００３４】
そこで、本実施形態では、左右のカメラにてステレオ撮影して時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置を用いて、図1に示すような処理手順にて画像を処理する。
まず、左カメラが撮影する所定空間に対して二次元軌跡画像をＬｔ、右カメラが撮影する所定空間に対して二次元軌跡画像をＲｔとする。二次元軌跡画像Ｌｔは二次元軌跡画像Ｌｔ出力手段にて、二次元軌跡画像Ｒｔは、二次元軌跡画像Ｒｔ出力手段にて出力させる。 一方、撮影される空間をボクセルに分割する。 「ボクセルに分割」とは、例えば撮影する空間が３キロメートルの立方体である場合において撮影用のカメラの画素数を３０００×３０００ピクセルであるとすると、一辺が１メートルの仮想立方体が１ボクセルとなる。
【００３５】
撮影される空間を分割して得られた各ボクセルに対して、ボクセル位置（Ｘ，Ｙ，Ｚ）が二次元軌跡画像ＬｔおよびＲｔにおける位置座標（（Ｘｌ，Ｙｌ）および（Ｘｒ，Ｙｒ））のいずれに対応するかを逆演算する。
このとき、三次元の撮影空間を分割して得られる各ボクセルの位置（Ｘ，Ｙ，Ｚ）が、二次元軌跡画像のいずれの位置座標へ対応するかの逆演算は、座標毎に予め作成していた逆演算変換テーブルを用いるか、行列演算にて行う。
【００３６】
右側のカメラにて取得された画像データにおける時刻ｔの画像Ｒｔの輝度値Ｒｔ（Ｘｒ，Ｙｒ）と、左側のカメラにて取得された画像データにおける時刻ｔの画像Ｌｔの輝度値Ｌｔ（Ｘｌ，Ｙｌ）とが、いずれも軌跡の一部分である場合には、
ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）＝（Ｒｔ＋Ｌｔ）／２
とする。
この処理を、撮影される空間をＮｘ×Ｎｙ×Ｎｚ（Ｎｘ、Ｎｙ、Ｎｚは１以上の自然数）に分割した場合には、Ｘを１からＮｘまで、Ｙを１からＮｙまで、Ｚを１からＮｚまでそれぞれ変化させて行い、各ボクセル位置（Ｘ、Ｙ、Ｚ）における輝度値Ｖを求める。
なお、画像処理を単純化するため、軌跡以外の画素の輝度値Ｖは、ゼロとしてもよい。 また、Ｒｔ（Ｘｒ，Ｙｒ）およびＬｔ（Ｘｌ，Ｙｌ）のいずれか一方のみが軌跡の一部である場合には、ノイズであると判断してよい。
【００３７】
図２から図５を用いて、更に詳しく説明する。
本願発明は、最低２台のカメラにて所定空間を撮影することで機能する。図２は、所定空間を３台以上のカメラにて撮影するバリエーションを概念的に示している。
画像Ｐ１の輝度値Ｐ１（Ｘｎ、Ｙｎ）が２つ以上の軌跡における一部分である場合には、ボクセル輝度値Ｖ（Ｘ，Ｙ，Ｚ）を有値（たとえば、Ｐ２＋Ｐ３／２）であるとし、それ以外はＶ（Ｘ，Ｙ，Ｚ）＝０とする。
このような算出結果を使うことによって、２台のカメラにて撮影するよりも正確な軌跡データを作成できる。たとえば、２台のカメラではいずれも輝度が足りないため、演算途中で削除されてしまう軌跡の一部が残されるからである。
なお、図２以外は、二台のカメラで実施したとして説明する。
【００３８】
図３は、各カメラにて取得した時系列の画像データ群を用いて、二次元軌跡画像と複数の時系列二次元画像とを作成する場合に、どのように元の画像データ群を用いるのかを示している。
まず、二次元軌跡画像は、画像データ群から最大輝度値を用いて作成する。
また、時系列二次元画像は、複数の連続する画像データから差分を求め、方向成分を備えるベクトルとして時系列二次元軌跡データを求めていく。これをいくつも作成し、単なる軌跡に時系列の情報（時間成分）を加えた時系列二次元軌跡データとするのである。
【００３９】
図４に示すのは、図３にて示した二次元軌跡画像および時系列二次元軌跡画像群を用いて、時系列ボクセル表示を行うまでのデータ作成手順を示したものである。
左右のカメラにて取得した時系列の画像データ群から作成した二次元軌跡画像における各位置座標の輝度を、撮影される空間を分割して得られた各ボクセルの位置（Ｘ、Ｙ、Ｚ）へ反映させて三次元の静的なボクセル表示を行う。
静的なボクセル表示を行った後、続いて、動的な画像データである時系列二次元軌跡画像群を静的なボクセル表示に加える。そのことによって、時系列ボクセル表示、すなわち動的なボクセル表示が可能となる。
図中のボクセル表示において、直線にて示されているのは、航空機の軌跡やベクトルであろうと推測でき、非直線的で不規則な動きは鳥であろうと推測できる。
【００４０】
図５に示した図は、図４にて概念的に示した演算手順を、構成要件および機能毎にブロック図として示したものである。
なお、時系列ボクセルデータが作成された後、軌跡フィルタ手段あるいは軌跡データベースを用いて、鳥以外の軌跡データを削除したり、鳥の種類を推測したりして、鳥軌跡三次元データを出力することとしている。
ここで、「軌跡フィルタ手段」とは、たとえば、鳥では想定できない速度で移動する軌跡データを削除するフィルタリングを実行する手段である。図４に示した航空機らしき直線的な軌跡は、この軌跡フィルタ手段によって削除されるであろう。
また、軌跡データベース（軌跡ＤＢ）とは、過去の軌跡データを解析し、鳥の種類や飛行速度などを蓄積したデータベースである。 鳥では想定できない速度の軌跡を削除したり、鳥の種類を推測したりすることが可能となる。
【００４１】
上記のように演算した加工画像データを用いて、時系列ボクセルデータ演算手段が三次元動画データを出力し、時系列ボクセル表示を行う。ここにおいて、ＰＴＶ処理を実行しなくても三次元動画データを出力させることができる。
たとえば、低速飛行のため一ピクセルに収まってしまうような鳥、ホバリングして動かない鳥などをＰＴＶ処理では苦手としており、ＰＴＶ演算の結果、背景画像として処理されてしまって鳥が存在しなくなってしまったり、ノイズまでをも鳥として判断してしまって処理してしまうことがある。 このような場合にも、上記の実施形態の手順で処理すれば、画像処理が可能である。
なお、画像中のラインが長くなった場合や、飛翔体としての鳥が群れで写っており、多くのラインが交差したような場合にも対応できる。
【００４２】
図６では、ＰＴＶ処理を仮に実行し、ＰＴＶ処理が上手くいかない場合に前述の手順を用いるが、ＰＴＶ処理で上手くいく場合（図中では二点破線にて示す）にはＰＴＶ処理を実行して鳥の軌跡を出力させる、という手順を示す。いわば、ハイブリッド方式である。
【００４３】
図７は、図６のバリエーションである。すなわち、ＰＴＶ処理が上手くいかない場合に鳥に関するデータにフラグを決定し、その加工後の静止画データを用いてＰＴＶ処理を実行させる手順である。
【００４４】
前述の実施形態では、移動体を鳥として説明したが、移動体は鳥に限られない。 川の流れ、煙の動きなどが被写体である場合、流れが停滞している箇所の解析、無風状態が継続した場合の煙などを解析することも可能である。
【産業上の利用可能性】
【００４５】
本願発明は、広域を撮影する必要がある環境アセスメント調査業、風力発電装置の製造業、航空関係の整備事業、環境影響評価における鳥類調査事業などにおいて、利用可能性を有する。
【特許請求の範囲】
【請求項１】
複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置であって、
時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、
その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、
カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、
を備えた移動体画像データ処理装置。
【請求項２】
前記画像データにおける時系列順のデータを複数用いることによって、輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、
その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、
を備えた請求項１に記載の移動体画像データ処理装置。
【請求項３】
前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた請求項１または請求項２のいずれかに記載の移動体画像データ処理装置。
【請求項４】
前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、
その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えた請求項１から請求項３のいずれかに記載の移動体画像データ処理装置。
【請求項５】
前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた請求項１から請求項４のいずれかに記載の移動体画像データ処理装置。
【請求項６】
前記の画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手段と、
そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には前期の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手段と、を備え、
前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成することとした請求項１から請求項５のいずれかに記載の移動体画像データ処理装置。
【請求項７】
前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のＰＴＶ処理・本実行手段によって所定の画像データに対してＰＴＶ処理を実行することとした請求項６に記載の移動体画像データ処理装置。
【請求項８】
時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムであって、
時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、
その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、
左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、
をコンピュータに実行させることとしたコンピュータプログラム。
【請求項９】
前記の画像入力手順にて入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手順と、
そのＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいった場合には前記の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手順と、
前記のＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成と、
をコンピュータに実行させることとした請求項８に記載のコンピュータプログラム。
【請求項１】
複数台のカメラにて所定空間をステレオ撮影し、時系列に連続する左右の画像データに写った移動体を検出して三次元移動軌跡を解析するための装置であって、
時系列に連続撮影された画像データを前記複数台のカメラから入力する画像入力手段と、
その画像入力手段に入力された画像データから画素を合成してカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手段と、
カメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手段と、
を備えた移動体画像データ処理装置。
【請求項２】
前記画像データにおける時系列順のデータを複数用いることによって、輝度の差分にて動きのある画素を合成して二次元軌跡データを作成する時系列二次元軌跡作成手段と、
その時系列二次元軌跡作成手段が作成した時系列二次元軌跡画像データを用いて三次元のボクセルデータを作成する時系列ボクセルデータ演算手段と、
を備えた請求項１に記載の移動体画像データ処理装置。
【請求項３】
前記の三次元軌跡データに対して、鳥以外の軌跡を削除する軌跡フィルタ手段を備えた請求項１または請求項２のいずれかに記載の移動体画像データ処理装置。
【請求項４】
前記の三次元軌跡データを用いて予め鳥の軌跡データをデータベース化した軌跡データベースを備えるとともに、
その軌跡データベースに蓄積されたデータを用いて、前記の三次元軌跡データから鳥の軌跡を抽出する鳥軌跡抽出手段を備えた請求項１から請求項３のいずれかに記載の移動体画像データ処理装置。
【請求項５】
前記の三次元軌跡データを二次元の画面出力にて表示する三次元軌跡データ出力手段を備えた請求項１から請求項４のいずれかに記載の移動体画像データ処理装置。
【請求項６】
前記の画像入力手段に入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手段と、
そのＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいった場合には前期の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手段と、を備え、
前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手段および前記の三次元ボクセルデータ演算手段を用いて三次元のボクセルデータを作成することとした請求項１から請求項５のいずれかに記載の移動体画像データ処理装置。
【請求項７】
前記のＰＴＶ演算・仮実行手段においてＰＴＶ演算がうまくいかなかった場合に作成した前記の三次元のボクセルデータに対して、前記のＰＴＶ処理・本実行手段によって所定の画像データに対してＰＴＶ処理を実行することとした請求項６に記載の移動体画像データ処理装置。
【請求項８】
時系列に連続する画像データを左右のカメラにて撮影してその画像データに写った移動体を検出して移動軌跡を解析するコンピュータプログラムであって、
時系列に連続撮影された画像データを前記左右のカメラから入力する画像入力手順と、
その画像入力手順によって入力された画像データから画素を合成して、左右のカメラ毎に二次元軌跡画像を作成する二次元軌跡画像出力手順と、
左右のカメラ毎に作成された二次元軌跡画像から三次元のボクセルデータを作成する三次元ボクセルデータ演算手順と、
をコンピュータに実行させることとしたコンピュータプログラム。
【請求項９】
前記の画像入力手順にて入力された画像データの一部に対して、ＰＴＶ演算を仮に実行するＰＴＶ演算・仮実行手順と、
そのＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいった場合には前記の画像データに対してＰＴＶ処理を実行するＰＴＶ処理・本実行手順と、
前記のＰＴＶ演算・仮実行手順においてＰＴＶ演算がうまくいかなかった場合には所定の画像データに対して、前記の二次元軌跡画像出力手順および前記の三次元ボクセルデータ演算手順を介しての三次元のボクセルデータ作成と、
をコンピュータに実行させることとした請求項８に記載のコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１８６６７７（Ｐ２０１１−１８６６７７Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９９００（Ｐ２０１０−４９９００）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００３６８７）東京電力株式会社 (2,580)
【Ｆターム（参考）】
[ Back to top ]