画像識別装置および検出装置
【課題】
目標の両端部分の一部が欠落している時系列画像であっても、目標の識別及び検出を自動で行う装置を提供する。
【解決手段】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、前記識別部の結果を出力する出力部とを具備する。
目標の両端部分の一部が欠落している時系列画像であっても、目標の識別及び検出を自動で行う装置を提供する。
【解決手段】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、前記識別部の結果を出力する出力部とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像識別装置および検出装置に関する。
【背景技術】
【０００２】
一般に、レーダシステムにおいて目標からのレーダエコーより生成される時系列画像、例えばＩＳＡＲ（逆合成開口レーダ）画像を用いて船舶のような目標の類識別を行う。この場合、レーダと目標の位置関係から、目標の一部が目標の他の部分を隠してしまう場合がある。生成されたＩＳＡＲ画像上で目標の一部、特に目標の端の部分が欠損してしまい、目標の画像中の正確な位置や範囲が必ずしも得られない。類識別を行う際には、目標の一部が欠損することを考慮する必要がある。
【０００３】
特許文献１はＩＳＡＲ画像から目標の両端を検出する手法を開示している。この手法では、レーダエコーより生成される時系列画像の輝度に注目し、輝度が大きく変化する点を目標の両端とする。特許文献２は予め検出した目標の主軸上で、輝度が大きく変化する点を目標の両端としている。しかし、ＩＳＡＲ画像上の目標の両端部分が欠損している場合、本来の両端位置の輝度は変化せず低いままのため、この方法では検出することができない。そのため、画像中の目標の両端を手作業で指定することが一般的であった。
【０００４】
しかしながら、この処理ではオペレータへの負担が大きい。また目標の識別を高速に実現することは困難であった。さらに、欠損して見えない部分を指定するため、オペレータ毎に指定する目標の両端位置が異なるため、認識性能の低下する問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３８７１３号公報
【特許文献２】特開２００５−１０６５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、目標の両端部分の一部が欠落している時系列画像であっても、目標の識別及び検出を自動で行う装置である。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の実施形態に係る画像識別装置は、目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、レーダエコーを処理して生成される画像を取得する取得部と、前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、前記識別部の結果を出力する出力部とを具備することを特徴とする。
【０００８】
また、本実施形態に係る検出装置は、目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の両端を検出する画像検出装置であって、レーダエコーを処理して生成される画像を取得する取得部と、前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から前記目標の両端の検出を行う検出部と、前記検出部の検出結果を出力する出力部とを具備することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像識別装置に係る構成図。
【図２】第１の実施形態に係る画像識別処理を表すフロー図。
【図３】第１の実施形態に係る抽出部の処理を表すフロー図。
【図４】本実施形態における目標の両端候補の例を示す図。
【図５】第１の実施形態に係る算出部の処理を表すフロー図。
【図６】第１の実施形態に係る算出部の特徴ベクトル抽出処理を表すフロー図。
【図７】本実施形態の検出装置に係る構成図。
【図８】第２の実施形態に係る検出処理を表すフロー図。
【発明を実施するための形態】
【００１０】
以下発明を実施するための実施形態について説明する。
【００１１】
（第１の実施形態）
本実施形態では目標を船舶とし、ＩＳＡＲ画像を用いて船舶を識別する場合を例にとって説明する。ここで、船舶の識別は船舶の種類毎の識別である類別を含む。図1は本実施形態における画像識別装置１０の構成図、図2は画像識別装置１０で実現される画像識別処理２０のフローチャートである。
【００１２】
図１に示されるように、本発明の一実施形態にかかわる画像識別装置１０は、レーダエコーの入力やＩＳＡＲ画像を取得する取得部１０１と、目標である船舶の両端を抽出する抽出部１０２と、類似度を算出する算出部１０３と、目標の識別を行う識別部１０４と、取得データや処理演算の中間結果及び結果を記憶する記憶部１０５と、処理結果を出力する出力部１０６とで構成される。
【００１３】
図２に従って、画像識別装置の処理について説明する。画像識別処理２０は、ＩＳＡＲ画像生成処理２００、両端候補抽出処理２０１、類似度算出処理２０２、辞書データベース２０３、識別処理２０４によって構成される。
【００１４】
ＩＳＡＲ画像生成処理２００では、未知の目標である船舶からのレーダエコーを処理してフレーム単位の時系列画像であるＩＳＡＲ画像を生成する。生成したＩＳＡＲ画像は取得部１０１によって抽出部１０２に送られる。
【００１５】
両端候補抽出処理２０１では、抽出部１０２が取得したＩＳＡＲ画像から、目標の両端位置の候補を複数組抽出する。抽出された両端位置の候補を算出部１０３へ送る。
【００１６】
類似度算出処理２０２では、算出部が取得したＩＳＡＲ画像と両端位置を用いて、辞書データベース２０３に予め登録された船舶の辞書との類似度を計算する。ここで類似度は、データベースに格納された船舶の情報と目標との類似性を示す値で、値が高いほど目標が類似度算出の対象としている船舶である可能性が高いとする。両端位置は複数組入力され、両端位置毎に類似度を計算する。算出された類似度は識別部１０４へ送られる。
【００１７】
辞書データベース２０３は、船舶のＩＳＡＲ時系列画像から抽出された辞書を保持する。辞書は、船舶の特徴を数値化したもので、類識別に使用する情報である。例えば、後述する特徴ベクトルなどがある。
【００１８】
識別処理２０４では、識別部１０４が取得した類似度を用いて両端候補から目標の両端を識別する。識別結果は計算された複数の類似度に対して、予め定められた所定の閾値以上の類似度を選ぶ。最も高い類似度だけを選択すれば、処理にかかるコストや時間を短縮できるので好ましい。両端位置を出力する場合は、最も高い類似度を得た両端位置候補を目標の両端位置として選択する。また、閾値以上の類似度と対応する両端位置候補に対して、平均または、類似度に応じた重み付け平均を両端位置としても良い。
【００１９】
以下、各処理の詳細について順に説明する。図３に、両端候補抽出処理２０１で行う処理のフローチャートを示す。両端候補抽出処理２０１は、主軸抽出処理３０、輝度境界抽出処理３１、両端候補生成処理３２によって構成され、ＩＳＡＲ画像を入力とし、複数の両端位置候補を出力する。
【００２０】
主軸抽出処理３０は、ＩＳＡＲ画像上の船舶の主軸を抽出する処理である。例えば、特許文献２で示された方法で抽出する。このとき、主軸抽出処理３０は、主軸構成要素抽出処理３００、主軸パラメータ投票処理３０１、主軸パラメータ推定処理３０２、主軸推定処理３０３からなる。
【００２１】
主軸構成要素抽出処理３００は、通常、ＩＳＡＲ画像が目標のレンジ方向（距離方向）の広がりに対応し、ＩＳＡＲ画像の垂直軸が目標からのレーダエコーのドップラ周波数に対応していることを前提とする。まずレンジ方向の各座標 ｘ においてドップラ周波数を表す垂直方向の輝度値の変化率Ｄ(x, y)を計算する。垂直方向の輝度値は目標領域の上限と下限付近で大きな変化を示すため、輝度値変化率Ｄ(x, y)はこれらの付近で最小値や最大値をとりやすい。輝度値変化率Ｄ(x, y)の最小値、最大値をそれぞれ与える垂直座標をｙ＝ｕ(x), ｙ＝ｌ(x)とおき、水平方向の各ｘに対しｙ＝ｕ(x), ｙ＝ｌ(x)、及び輝度値変化率の絶対値｜Ｄ(x, u(x))｜, ｜Ｄ(x, l(x))｜を記録する。
【００２２】
ＩＳＡＲ画像中で目標領域が水平方向に細長いことを考慮すると、ｙ＝ｕ(x), ｙ＝ｌ(x)は目標領域の上部輪郭及び下部輪郭にそれぞれ対応する。ここでＩＳＡＲ画像中での目標の上下の向きが順方向の場合、上部輪郭は目標である船舶の甲板上部の構造に応じて凹凸を伴ったものとなるが、下部輪郭は海面に沿った方向の直線状となる。上下が反転している場合は、逆に上部輪郭が直線状となる。上部輪郭と下部輪郭のうち、直線状であるものを船軸として用いることができるが、この段階で船舶の上下の向きは判定されていないので、上記の通りのｙ＝ｕ(x)及びｙ＝ｌ(x)の両方の情報を保持しておく。
【００２３】
軸パラメータ投票処理３０１では、船軸構成要素抽出処理３００で抽出された目標領域の上部輪郭及び下部輪郭の各々に沿った直線当てはめを行う。より具体的には、上部輪郭及び下部輪郭にあたるｙ＝ｕ(x)及びｙ＝ｌ(x)を構成する２ 組の点群のそれぞれに対し、ハフ変換の考え方による直線当てはめを行う。この際、好ましくは目標領域の輪郭位置の揺らぎに対応する一定の幅を持った領域及び輪郭位置における輝度変化の強さに従った重み付けを伴って、ハフ変換における投票を行う。
【００２４】
直線当てはめに関わる直線を極座標系のパラメータで表すことも可能であるが、ここでは直線を以下の式（１）のようにパラメータａ ,ｂ で表現し、これらの推定を行う。
【数１】
【００２５】
式(１)は、下部輪郭にあたるｙ＝ ｌ( x )に関しては、式（２）のように解釈される。
【数２】
【００２６】
このため、ａ−ｂ座標系において船軸構成要素抽出処理３００で抽出された(ｘ ,ｕ(x))の組毎に、１本の直線を描くことができる。レンジ方向の画素数がＰxであれば、Ｐx本の直線が描けることになる。ハフ変換の基本的な考え方により、ａ−ｂ平面上に格子状のグリッドを設定し、各グリッドにおいて直線が１本通過する毎に１ 票の投票を行う。基本的には、この投票に基づきＰx本の直線すベてについての投票を合計し、投票数の最も多いグリッドに対応するａとｂを推定パラメータとする。
【００２７】
上述した下部輪郭にあたるｙ＝ｌ(x)に関して行った手続きを、上部輪郭にあたるｙ＝ｕ(x)についても独立して同様に行う。
【００２８】
主軸パラメータ推定処理３０２では，主軸パラメータ投票処理３０１における投票結果により下部輪郭にあたるｙ＝ｌ(x)と上部輪郭にあたるｙ＝ｕ(x)を比較し、上部輪郭で投票数の最も多いグリッドに対応するパラメータをａu, ｂu、下部輪郭で投票数の最も多いグリッドに対応するパラメータａl, ｂlとする。
【００２９】
主軸推定処理３０３では，主軸パラメータ推定処理３０２における、上部輪郭、下部輪郭各々から抽出した主軸から適当な一つを選択する。この結果から、同時に船舶の上下向きについての推定結果も得られる。例えば、特許文献２では、輝度分布比較をして主軸を決定している。
【００３０】
主軸候補の中で主軸として適当なものとは、目標船舶の上下の向きが順方向の場合、海面に沿った直線状の下部輪郭に対応する船軸候補であり、上下の向きが逆方向の場合は上部輪郭に対応する船軸候補である。これら上下の向きは、未知である。いずれの主軸候補が主軸として適当であるかの判断基準の一つとして、主軸の上下の領域における輝度の分布の違いを利用することができる。目標船舶の上下の向きによらず、正しい主軸は海面に沿っているため、例えば主軸の片側（ 船舶の像のない側） では輝度値が低くなると考えられるからである。
【００３１】
下部輪郭に対応するパラメータａl, ｂlによる船軸候補ｙ＝ｃl(x)について、一例として軸の上下の領域における輝度の分布の平均値を用いるなら、軸の上側の（ｙ＞ｌ(x)）となる領域ωtと、下側の（ｙ＜ｃｌ(x)）となる領域ωbに含まれる画素数がそれぞれｎt, ｎbであるとき、各領域ωt，ωbにおける輝度Ｉ(x, y)の平均値Ｉt, Ｉbは次式に従う。
【数３】
【数４】
【００３２】
さらに、軸の両側（上下）における相対的な輝度分布の偏りを調ベる上では、艦橋のような、船舶の甲板上の上部構造に起因する輝度が重要であるため、船軸からの距離ｄ＝｜ｙ−ｃｌ(x)｜に比例して各輝度値に重み付けを与えることが効果的である。この場合、輝度Ｉ(x, y)の重み付け平均値Ｉt, Ｉbは次式に従う。
【数５】
【数６】
【００３３】
一方、軸からの距離ｄが小さい領域では、軸の両側（上下）の輝度は一様であることが多いため、このような領域では重み付けを零（ｄ＝０）とおくことで、軸の上下の領域における輝度分布の違いを強調することができる。これらの平均値Ｉt, Ｉbを比較し、
【数７】
【００３４】
を計算すれば、ｃｌ(x)が船軸であるときは、そうでないときよりもＲの値が大きくなることが期待できる。
【００３５】
上部輪郭に対応するパラメータａu, ｂuによる船軸候補ｙ＝ｃｕ(x)に対しても、全く同様に
【数８】
【数９】
【００３６】
を計算し、軸の上下の領域における輝度分布の違いを式（１０）によって数値化することができる。
【数１０】
【００３７】
ただし、Ｒｕの定義でＲｌの場合と分母及び分子が入れ替わっているのは、ｙ＝ｃｕ(x)が船軸であるときが、上下の位相が反転しているときに他ならないためである。
【００３８】
上記計算で求められた軸の上下の領域における輝度分布の違いに基づき、Ｒｌ及びＲｕのうち値が大きい方に対応してｙ＝ｃｌ(x)あるいはｙ＝ｃｕ(x )から船軸として適当なものを決定する。
【００３９】
図３における主軸パラメータ推定処理３０２において保持している、ｙ＝ｃｌ(x)及びｙ＝ｃｕ(x)の推定パラメータをもたらしたグリッドにおける最多得票数ｖｌ及びｖｕも主軸の選択に利用することができる。すなわち、主軸である方に投票が集中する結果、得票数が多くなっている傾向が強くなる。従って、主軸決定処理３０３ではＲｌ及びＲｕと併せ、Ｒｌｖｌ＞Ｒｕｖｕであればｙ＝ｃｌ(x)が主軸であり、Ｒｌｖｌ＜Ｒｕｖｕであればｙ＝ｃｕ(x)が主軸であると決定する。
【００４０】
ここで、ちょうどＲｌｖｌ＝Ｒｕｖｕ となった場合には、これは軸の上下の領域での輝度分布がほぼ等しい場合に対応する。Ｒｌｖｌ＞ＲｕｖｕまたはＲｌｖｌ＜Ｒｕｖｕのいずれかに含めて差し支えない。または、ある微小値δ に対して（１−δ＜Ｒｌｖｌ〜Ｒｕｖｕ＜１＋δ） であるときは位相の判定が困難である場合があり、この場合は単純に位相判定不可としてもよい。
【００４１】
輝度境界抽出処理３１は、ＩＳＡＲ画像から輝度上の船舶の境界を抽出する処理である。船舶の一部が欠損しているＩＳＡＲ画像では、輝度上の境界が船舶領域の中間に位置し、船舶の端点ではない可能性があるが、この場合、船舶の端点は輝度上の境界の内側ではなく、外側あることから端点の候補絞る際に重要となる。
【００４２】
例えば、輝度境界抽出処理３１は、主軸抽出処理３０で得られた主軸上で、輝度の変化の微分を取り、微分係数の最大点と最小点を輝度境界とする。また、主軸上で閾値以上の輝度を持つ点の集合を船舶領域とみなし、船舶領域と背景の境界部分を輝度境界としてもよい。
【００４３】
両端候補生成処理３２は、ＩＳＡＲ画像上の船舶の両端位置の候補となる点の組を複数生成する処理である。
【００４４】
例えば、前記主軸上または主軸付近の点で、かつ、輝度境界抽出処理３１で得られた前記輝度境界を基準に船舶領域の外側の点に対して、船舶領域をはさむ点の組すべてを両端位置の候補として出力する。候補点を主軸付近かつ輝度境界の外側に絞ることで、平面上の全ての点の組を考える場合と比べ、大幅に候補数を絞ることができる。この様子を図４に示す。
【００４５】
他にも、船舶の一部で隠れるのは船舶の両端の片方のみでもう一方の端は見えているため、上記の両端候補の中から、片方の点は輝度境界を含む領域内に含まれる組のみを両端候補としてもよい。または片方の点は輝度境界と一致する組のみを両端位置候補としても良い。
【００４６】
図５に、類似度計算処理２０２で行う処理を示す。類似度計算処理２０２は、正規化処理５１、特徴ベクトル抽出処理５２、類似度計算処理５３、辞書データベース２０３で構成される。
【００４７】
正規化処理５１は、ＩＳＡＲ画像と主軸を入力とし、ＩＳＡＲ画像に対する次のような処理を行う。主軸抽出処理３０で選択された目標の主軸が水平方向となるような変換によって、ＩＳＡＲ画像全体を正規化する。これにより得られる画像を正規化ＩＳＡＲ画像と呼ぶ。このような正規化により、ＩＳＡＲ画像の各フレーム中でピッチ、ロール及びヨウの変化により様々に異なった方向に歪んで現われる目標の画像形状が水平面に沿い且つ船軸に直交する方向から見た場合の形状に揃えられる。
【００４８】
ＩＳＡＲ画像の正規化に際して、図３ 中の主軸決定処理３０３ により上部輪郭から抽出したものを主軸と判定した場合には、目標の像の上下が逆位相になっていることを意味するため、船軸の上下の画素をレンジ方向の各座標において軸対称に反転させて出力する。
【００４９】
特徴ベクトル抽出処理５２は、正規化処理５１で得られた正規化ＩＳＡＲ画像、すなわち各フレームにおける目標を同じ方向から見た状況に揃えた画像から、両端候補抽出処理２０１で得られた両端位置の候補の１つを用い、目標の類識別に有用な情報を特徴ベクトルとして抽出する。特徴ベクトル抽出処理５２は、例えば、図６に示されるように閾値設定処理６０ 、２値化処理６１及び輪郭ベクトル抽出処理６２から構成される。以下、特徴ベクトル抽出処理５２の各構成要素について説明する。
【００５０】
閾値設定処理６０では、正規化処理５１からの正規化ＩＳＡＲ画像を２値化するための適当な閾値をフレーム毎に正規化ＩＳＡＲ画像内の輝度分布ヒストグラムに従って設定する。ここで、輝度分布ヒストグラムは輝度毎の画素の数によって定義される。
【００５１】
具体的には、閾値設定処理６０は閾値をθとして輝度がＩ＜θとなる画素のクラスと、Ｉ≧θとなる画素のクラスを考え、クラス間分散と全分散の比で定義されるクラス間分離度が最大になるθを選択する。選択された閾値θをそのまま用いることもできるが、θが小さすぎる場合には、例えば改めて適当な係数ｃを伴ってθ＋ｃ（Ｉmax−θ）のようにしてもよい。ただし、Ｉmaxは輝度値のとり得る最大値とする。
【００５２】
２ 値化処理６１は、閾値設定処理６０により設定された閾値θを用いて、正規化処理４１からの正規化ＩＳＡＲ画像のうち輝度値Ｉ(x, y)がθ より小さい画素に“ ０” 、輝度値Ｉ(x, y)がθ 以上の画素に“１”をそれぞれ割り当てることにより正規化ＩＳＡＲ画像を２ 値化して２ 値画像を生成する。
【００５３】
輪郭ベクトル抽出処理６２は、２ 値化処理６１からの２値画像と両端候補抽出処理２０１で得られた両端位置の候補の１つを用いて、目標形状のシルエットを目標の類識別に利用しやすいベクトルとして出力する。ここでは、艦船において船軸の上側に位置する艦橋や砲台などの形状が目標を特徴付けていることを利用する。すなわち、２値化画像中のシルエット画像上で主軸上の各水平座標に対して垂直方向に主軸上部を探索し、シルエットの輪郭位置で画素が“ １ ” から“ ０ ” に反転する垂直座標値を順に並べていくことで、艦船の輪郭をベクトル表現することができる。このとき、ベクトル表現を行う範囲は、入力された両端位置の候補によって目標のレンジ方向について決定された境界に含まれる領域とする。こうして出力される輪郭のベクトルは、目標である船舶（ ここでは艦船） の特徴を表しており、特徴ベクトル抽出処理５２からの特徴ベクトルとして出力される。
【００５４】
船舶の向きに右向きと左向きの２種類があり、それに対応するため、抽出した前記特徴ベクトルの逆にしたものも特徴ベクトルとして出力する。これら２本の特徴ベクトルを出力することで、船舶の向きを検出することなく、両方の向きに対応した識別が可能となる。
【００５５】
類似度計算処理５３は、予めデータベース２０４に収納された船舶の特徴ベクトルと前記特徴ベクトル抽出処理５２で得られた特徴ベクトルの角度Θを計算し、角度Θの余弦の２乗を類似度として出力する。
【００５６】
また、特徴ベクトルの角度以外に、特徴ベクトル間の距離を用いて、類似度を計算してもよい。その際、距離は小さいほど目標が前記船舶である可能性が高いとため、大小関係を変換する処理を行う必要がある。例えば、距離のマイナスを用いる。
【００５７】
本実施形態によれば、目標の一部が他の部分を隠してしまい、目標の両端部分の一部が常に欠落しているＩＳＡＲ時系列画像であっても、目標の類識別を行うことができる。
【００５８】
（第２の実施形態）
本発明の第２の実施形態について、図を参照して説明する。第２の実施形態は、検出部７０４が異なる。第１の実施形態と同等の構成については、同一の符号又は名称を付与し、その説明を省略する。
【００５９】
図７に示されるように、本発明の一実施形態にかかわる画像識別装置７０は、レーダエコーの入力やＩＳＡＲ画像を取得する取得部１０１と、目標である船舶の両端を抽出する抽出部１０２と、類似度を算出する算出部１０３と、目標の両端の検出を行う検出部７０４と、取得データや処理演算の中間結果及び結果を記憶する記憶部１０５と、処理結果を出力する出力部１０６とで構成される。
【００６０】
図８に従って、画像識別装置の処理について説明する。画像識別処理２０は、ＩＳＡＲ画像生成処理２００、両端候補抽出処理２０１、類似度算出処理２０２、辞書データベース２０３、検出処理８０４によって構成される。
【００６１】
ＩＳＡＲ画像生成処理２００では、未知の目標である船舶からのレーダエコーを処理してフレーム単位の時系列画像であるＩＳＡＲ画像を生成する。生成したＩＳＡＲ画像は取得部１０１によって抽出部１０２に送られる。
【００６２】
両端候補抽出処理２０１では、抽出部１０２が取得したＩＳＡＲ画像から、目標の両端位置の候補を複数組抽出する。抽出された両端位置の候補を算出部１０３へ送る。
【００６３】
類似度算出処理２０２では、算出部が取得したＩＳＡＲ画像と両端位置を用いて、辞書データベース２０３に予め登録された船舶の辞書との類似度を計算する。ここで類似度は、データベースに格納された船舶の情報と目標との類似性を示す値で、値が高いほど目標が類似度算出の対象としている船舶である可能性が高いとする。両端位置は複数組入力され、両端位置毎に類似度を計算する。算出された類似度は検出部７０４へ送られる。
【００６４】
辞書データベース２０３は、船舶のＩＳＡＲ時系列画像から抽出された辞書を保持する。辞書は、船舶の特徴を数値化したもので、類識別に使用する情報である。例えば、後述する特徴ベクトルなどがある。
【００６５】
検出処理８０４では、検出部７０４が取得した類似度を用いて両端候補から目標の両端を識別する。識別結果は計算された複数の類似度に対して、最も高い類似度を選ぶ。両端位置を出力する場合は、最も高い類似度を得た両端位置候補を目標の両端位置として選択する。また、閾値以上の類似度と対応する両端位置候補に対して、平均または、類似度に応じた重み付け平均を両端位置としても良い。
【００６６】
本実施形態によれば、目標の一部が他の部分を隠してしまい、目標の両端部分の一部が常に欠落しているＩＳＡＲ時系列画像であっても、目標の両端位置を得ることが可能になる。
【００６７】
本実施の形態にかかる画像識別装置及び検出装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ネットワークなどに接続して通信を行う通信Ｉ／Ｆと、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などのコンテンツ推薦のために提示を行う表示装置と、オペレータが識別処理や結果取得などを行うためのキーボードやマウスなどの入力装置と、各部を接続するバスを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００６８】
本実施の形態にかかる画像識別装置及び検出装置で実行され識別及び検出処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供することが可能である。
【００６９】
また、本実施の形態にかかる画像識別装置及び検出装置で実行される識別及び検出処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる画像識別処理装置及び検出処理装置で実行される処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７０】
また、本実施の形態の処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７１】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００７２】
101・・・取得部、102 ・・・抽出部、103・・・算出部、104・・・識別部、 105・・・記憶部、106・・・出力部、704・・・検出部
【技術分野】
【０００１】
本発明の実施形態は、画像識別装置および検出装置に関する。
【背景技術】
【０００２】
一般に、レーダシステムにおいて目標からのレーダエコーより生成される時系列画像、例えばＩＳＡＲ（逆合成開口レーダ）画像を用いて船舶のような目標の類識別を行う。この場合、レーダと目標の位置関係から、目標の一部が目標の他の部分を隠してしまう場合がある。生成されたＩＳＡＲ画像上で目標の一部、特に目標の端の部分が欠損してしまい、目標の画像中の正確な位置や範囲が必ずしも得られない。類識別を行う際には、目標の一部が欠損することを考慮する必要がある。
【０００３】
特許文献１はＩＳＡＲ画像から目標の両端を検出する手法を開示している。この手法では、レーダエコーより生成される時系列画像の輝度に注目し、輝度が大きく変化する点を目標の両端とする。特許文献２は予め検出した目標の主軸上で、輝度が大きく変化する点を目標の両端としている。しかし、ＩＳＡＲ画像上の目標の両端部分が欠損している場合、本来の両端位置の輝度は変化せず低いままのため、この方法では検出することができない。そのため、画像中の目標の両端を手作業で指定することが一般的であった。
【０００４】
しかしながら、この処理ではオペレータへの負担が大きい。また目標の識別を高速に実現することは困難であった。さらに、欠損して見えない部分を指定するため、オペレータ毎に指定する目標の両端位置が異なるため、認識性能の低下する問題があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３８７１３号公報
【特許文献２】特開２００５−１０６５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、目標の両端部分の一部が欠落している時系列画像であっても、目標の識別及び検出を自動で行う装置である。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の実施形態に係る画像識別装置は、目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、レーダエコーを処理して生成される画像を取得する取得部と、前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、前記識別部の結果を出力する出力部とを具備することを特徴とする。
【０００８】
また、本実施形態に係る検出装置は、目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の両端を検出する画像検出装置であって、レーダエコーを処理して生成される画像を取得する取得部と、前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、前記両端候補毎に得られる前記類似度から前記目標の両端の検出を行う検出部と、前記検出部の検出結果を出力する出力部とを具備することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の画像識別装置に係る構成図。
【図２】第１の実施形態に係る画像識別処理を表すフロー図。
【図３】第１の実施形態に係る抽出部の処理を表すフロー図。
【図４】本実施形態における目標の両端候補の例を示す図。
【図５】第１の実施形態に係る算出部の処理を表すフロー図。
【図６】第１の実施形態に係る算出部の特徴ベクトル抽出処理を表すフロー図。
【図７】本実施形態の検出装置に係る構成図。
【図８】第２の実施形態に係る検出処理を表すフロー図。
【発明を実施するための形態】
【００１０】
以下発明を実施するための実施形態について説明する。
【００１１】
（第１の実施形態）
本実施形態では目標を船舶とし、ＩＳＡＲ画像を用いて船舶を識別する場合を例にとって説明する。ここで、船舶の識別は船舶の種類毎の識別である類別を含む。図1は本実施形態における画像識別装置１０の構成図、図2は画像識別装置１０で実現される画像識別処理２０のフローチャートである。
【００１２】
図１に示されるように、本発明の一実施形態にかかわる画像識別装置１０は、レーダエコーの入力やＩＳＡＲ画像を取得する取得部１０１と、目標である船舶の両端を抽出する抽出部１０２と、類似度を算出する算出部１０３と、目標の識別を行う識別部１０４と、取得データや処理演算の中間結果及び結果を記憶する記憶部１０５と、処理結果を出力する出力部１０６とで構成される。
【００１３】
図２に従って、画像識別装置の処理について説明する。画像識別処理２０は、ＩＳＡＲ画像生成処理２００、両端候補抽出処理２０１、類似度算出処理２０２、辞書データベース２０３、識別処理２０４によって構成される。
【００１４】
ＩＳＡＲ画像生成処理２００では、未知の目標である船舶からのレーダエコーを処理してフレーム単位の時系列画像であるＩＳＡＲ画像を生成する。生成したＩＳＡＲ画像は取得部１０１によって抽出部１０２に送られる。
【００１５】
両端候補抽出処理２０１では、抽出部１０２が取得したＩＳＡＲ画像から、目標の両端位置の候補を複数組抽出する。抽出された両端位置の候補を算出部１０３へ送る。
【００１６】
類似度算出処理２０２では、算出部が取得したＩＳＡＲ画像と両端位置を用いて、辞書データベース２０３に予め登録された船舶の辞書との類似度を計算する。ここで類似度は、データベースに格納された船舶の情報と目標との類似性を示す値で、値が高いほど目標が類似度算出の対象としている船舶である可能性が高いとする。両端位置は複数組入力され、両端位置毎に類似度を計算する。算出された類似度は識別部１０４へ送られる。
【００１７】
辞書データベース２０３は、船舶のＩＳＡＲ時系列画像から抽出された辞書を保持する。辞書は、船舶の特徴を数値化したもので、類識別に使用する情報である。例えば、後述する特徴ベクトルなどがある。
【００１８】
識別処理２０４では、識別部１０４が取得した類似度を用いて両端候補から目標の両端を識別する。識別結果は計算された複数の類似度に対して、予め定められた所定の閾値以上の類似度を選ぶ。最も高い類似度だけを選択すれば、処理にかかるコストや時間を短縮できるので好ましい。両端位置を出力する場合は、最も高い類似度を得た両端位置候補を目標の両端位置として選択する。また、閾値以上の類似度と対応する両端位置候補に対して、平均または、類似度に応じた重み付け平均を両端位置としても良い。
【００１９】
以下、各処理の詳細について順に説明する。図３に、両端候補抽出処理２０１で行う処理のフローチャートを示す。両端候補抽出処理２０１は、主軸抽出処理３０、輝度境界抽出処理３１、両端候補生成処理３２によって構成され、ＩＳＡＲ画像を入力とし、複数の両端位置候補を出力する。
【００２０】
主軸抽出処理３０は、ＩＳＡＲ画像上の船舶の主軸を抽出する処理である。例えば、特許文献２で示された方法で抽出する。このとき、主軸抽出処理３０は、主軸構成要素抽出処理３００、主軸パラメータ投票処理３０１、主軸パラメータ推定処理３０２、主軸推定処理３０３からなる。
【００２１】
主軸構成要素抽出処理３００は、通常、ＩＳＡＲ画像が目標のレンジ方向（距離方向）の広がりに対応し、ＩＳＡＲ画像の垂直軸が目標からのレーダエコーのドップラ周波数に対応していることを前提とする。まずレンジ方向の各座標 ｘ においてドップラ周波数を表す垂直方向の輝度値の変化率Ｄ(x, y)を計算する。垂直方向の輝度値は目標領域の上限と下限付近で大きな変化を示すため、輝度値変化率Ｄ(x, y)はこれらの付近で最小値や最大値をとりやすい。輝度値変化率Ｄ(x, y)の最小値、最大値をそれぞれ与える垂直座標をｙ＝ｕ(x), ｙ＝ｌ(x)とおき、水平方向の各ｘに対しｙ＝ｕ(x), ｙ＝ｌ(x)、及び輝度値変化率の絶対値｜Ｄ(x, u(x))｜, ｜Ｄ(x, l(x))｜を記録する。
【００２２】
ＩＳＡＲ画像中で目標領域が水平方向に細長いことを考慮すると、ｙ＝ｕ(x), ｙ＝ｌ(x)は目標領域の上部輪郭及び下部輪郭にそれぞれ対応する。ここでＩＳＡＲ画像中での目標の上下の向きが順方向の場合、上部輪郭は目標である船舶の甲板上部の構造に応じて凹凸を伴ったものとなるが、下部輪郭は海面に沿った方向の直線状となる。上下が反転している場合は、逆に上部輪郭が直線状となる。上部輪郭と下部輪郭のうち、直線状であるものを船軸として用いることができるが、この段階で船舶の上下の向きは判定されていないので、上記の通りのｙ＝ｕ(x)及びｙ＝ｌ(x)の両方の情報を保持しておく。
【００２３】
軸パラメータ投票処理３０１では、船軸構成要素抽出処理３００で抽出された目標領域の上部輪郭及び下部輪郭の各々に沿った直線当てはめを行う。より具体的には、上部輪郭及び下部輪郭にあたるｙ＝ｕ(x)及びｙ＝ｌ(x)を構成する２ 組の点群のそれぞれに対し、ハフ変換の考え方による直線当てはめを行う。この際、好ましくは目標領域の輪郭位置の揺らぎに対応する一定の幅を持った領域及び輪郭位置における輝度変化の強さに従った重み付けを伴って、ハフ変換における投票を行う。
【００２４】
直線当てはめに関わる直線を極座標系のパラメータで表すことも可能であるが、ここでは直線を以下の式（１）のようにパラメータａ ,ｂ で表現し、これらの推定を行う。
【数１】
【００２５】
式(１)は、下部輪郭にあたるｙ＝ ｌ( x )に関しては、式（２）のように解釈される。
【数２】
【００２６】
このため、ａ−ｂ座標系において船軸構成要素抽出処理３００で抽出された(ｘ ,ｕ(x))の組毎に、１本の直線を描くことができる。レンジ方向の画素数がＰxであれば、Ｐx本の直線が描けることになる。ハフ変換の基本的な考え方により、ａ−ｂ平面上に格子状のグリッドを設定し、各グリッドにおいて直線が１本通過する毎に１ 票の投票を行う。基本的には、この投票に基づきＰx本の直線すベてについての投票を合計し、投票数の最も多いグリッドに対応するａとｂを推定パラメータとする。
【００２７】
上述した下部輪郭にあたるｙ＝ｌ(x)に関して行った手続きを、上部輪郭にあたるｙ＝ｕ(x)についても独立して同様に行う。
【００２８】
主軸パラメータ推定処理３０２では，主軸パラメータ投票処理３０１における投票結果により下部輪郭にあたるｙ＝ｌ(x)と上部輪郭にあたるｙ＝ｕ(x)を比較し、上部輪郭で投票数の最も多いグリッドに対応するパラメータをａu, ｂu、下部輪郭で投票数の最も多いグリッドに対応するパラメータａl, ｂlとする。
【００２９】
主軸推定処理３０３では，主軸パラメータ推定処理３０２における、上部輪郭、下部輪郭各々から抽出した主軸から適当な一つを選択する。この結果から、同時に船舶の上下向きについての推定結果も得られる。例えば、特許文献２では、輝度分布比較をして主軸を決定している。
【００３０】
主軸候補の中で主軸として適当なものとは、目標船舶の上下の向きが順方向の場合、海面に沿った直線状の下部輪郭に対応する船軸候補であり、上下の向きが逆方向の場合は上部輪郭に対応する船軸候補である。これら上下の向きは、未知である。いずれの主軸候補が主軸として適当であるかの判断基準の一つとして、主軸の上下の領域における輝度の分布の違いを利用することができる。目標船舶の上下の向きによらず、正しい主軸は海面に沿っているため、例えば主軸の片側（ 船舶の像のない側） では輝度値が低くなると考えられるからである。
【００３１】
下部輪郭に対応するパラメータａl, ｂlによる船軸候補ｙ＝ｃl(x)について、一例として軸の上下の領域における輝度の分布の平均値を用いるなら、軸の上側の（ｙ＞ｌ(x)）となる領域ωtと、下側の（ｙ＜ｃｌ(x)）となる領域ωbに含まれる画素数がそれぞれｎt, ｎbであるとき、各領域ωt，ωbにおける輝度Ｉ(x, y)の平均値Ｉt, Ｉbは次式に従う。
【数３】
【数４】
【００３２】
さらに、軸の両側（上下）における相対的な輝度分布の偏りを調ベる上では、艦橋のような、船舶の甲板上の上部構造に起因する輝度が重要であるため、船軸からの距離ｄ＝｜ｙ−ｃｌ(x)｜に比例して各輝度値に重み付けを与えることが効果的である。この場合、輝度Ｉ(x, y)の重み付け平均値Ｉt, Ｉbは次式に従う。
【数５】
【数６】
【００３３】
一方、軸からの距離ｄが小さい領域では、軸の両側（上下）の輝度は一様であることが多いため、このような領域では重み付けを零（ｄ＝０）とおくことで、軸の上下の領域における輝度分布の違いを強調することができる。これらの平均値Ｉt, Ｉbを比較し、
【数７】
【００３４】
を計算すれば、ｃｌ(x)が船軸であるときは、そうでないときよりもＲの値が大きくなることが期待できる。
【００３５】
上部輪郭に対応するパラメータａu, ｂuによる船軸候補ｙ＝ｃｕ(x)に対しても、全く同様に
【数８】
【数９】
【００３６】
を計算し、軸の上下の領域における輝度分布の違いを式（１０）によって数値化することができる。
【数１０】
【００３７】
ただし、Ｒｕの定義でＲｌの場合と分母及び分子が入れ替わっているのは、ｙ＝ｃｕ(x)が船軸であるときが、上下の位相が反転しているときに他ならないためである。
【００３８】
上記計算で求められた軸の上下の領域における輝度分布の違いに基づき、Ｒｌ及びＲｕのうち値が大きい方に対応してｙ＝ｃｌ(x)あるいはｙ＝ｃｕ(x )から船軸として適当なものを決定する。
【００３９】
図３における主軸パラメータ推定処理３０２において保持している、ｙ＝ｃｌ(x)及びｙ＝ｃｕ(x)の推定パラメータをもたらしたグリッドにおける最多得票数ｖｌ及びｖｕも主軸の選択に利用することができる。すなわち、主軸である方に投票が集中する結果、得票数が多くなっている傾向が強くなる。従って、主軸決定処理３０３ではＲｌ及びＲｕと併せ、Ｒｌｖｌ＞Ｒｕｖｕであればｙ＝ｃｌ(x)が主軸であり、Ｒｌｖｌ＜Ｒｕｖｕであればｙ＝ｃｕ(x)が主軸であると決定する。
【００４０】
ここで、ちょうどＲｌｖｌ＝Ｒｕｖｕ となった場合には、これは軸の上下の領域での輝度分布がほぼ等しい場合に対応する。Ｒｌｖｌ＞ＲｕｖｕまたはＲｌｖｌ＜Ｒｕｖｕのいずれかに含めて差し支えない。または、ある微小値δ に対して（１−δ＜Ｒｌｖｌ〜Ｒｕｖｕ＜１＋δ） であるときは位相の判定が困難である場合があり、この場合は単純に位相判定不可としてもよい。
【００４１】
輝度境界抽出処理３１は、ＩＳＡＲ画像から輝度上の船舶の境界を抽出する処理である。船舶の一部が欠損しているＩＳＡＲ画像では、輝度上の境界が船舶領域の中間に位置し、船舶の端点ではない可能性があるが、この場合、船舶の端点は輝度上の境界の内側ではなく、外側あることから端点の候補絞る際に重要となる。
【００４２】
例えば、輝度境界抽出処理３１は、主軸抽出処理３０で得られた主軸上で、輝度の変化の微分を取り、微分係数の最大点と最小点を輝度境界とする。また、主軸上で閾値以上の輝度を持つ点の集合を船舶領域とみなし、船舶領域と背景の境界部分を輝度境界としてもよい。
【００４３】
両端候補生成処理３２は、ＩＳＡＲ画像上の船舶の両端位置の候補となる点の組を複数生成する処理である。
【００４４】
例えば、前記主軸上または主軸付近の点で、かつ、輝度境界抽出処理３１で得られた前記輝度境界を基準に船舶領域の外側の点に対して、船舶領域をはさむ点の組すべてを両端位置の候補として出力する。候補点を主軸付近かつ輝度境界の外側に絞ることで、平面上の全ての点の組を考える場合と比べ、大幅に候補数を絞ることができる。この様子を図４に示す。
【００４５】
他にも、船舶の一部で隠れるのは船舶の両端の片方のみでもう一方の端は見えているため、上記の両端候補の中から、片方の点は輝度境界を含む領域内に含まれる組のみを両端候補としてもよい。または片方の点は輝度境界と一致する組のみを両端位置候補としても良い。
【００４６】
図５に、類似度計算処理２０２で行う処理を示す。類似度計算処理２０２は、正規化処理５１、特徴ベクトル抽出処理５２、類似度計算処理５３、辞書データベース２０３で構成される。
【００４７】
正規化処理５１は、ＩＳＡＲ画像と主軸を入力とし、ＩＳＡＲ画像に対する次のような処理を行う。主軸抽出処理３０で選択された目標の主軸が水平方向となるような変換によって、ＩＳＡＲ画像全体を正規化する。これにより得られる画像を正規化ＩＳＡＲ画像と呼ぶ。このような正規化により、ＩＳＡＲ画像の各フレーム中でピッチ、ロール及びヨウの変化により様々に異なった方向に歪んで現われる目標の画像形状が水平面に沿い且つ船軸に直交する方向から見た場合の形状に揃えられる。
【００４８】
ＩＳＡＲ画像の正規化に際して、図３ 中の主軸決定処理３０３ により上部輪郭から抽出したものを主軸と判定した場合には、目標の像の上下が逆位相になっていることを意味するため、船軸の上下の画素をレンジ方向の各座標において軸対称に反転させて出力する。
【００４９】
特徴ベクトル抽出処理５２は、正規化処理５１で得られた正規化ＩＳＡＲ画像、すなわち各フレームにおける目標を同じ方向から見た状況に揃えた画像から、両端候補抽出処理２０１で得られた両端位置の候補の１つを用い、目標の類識別に有用な情報を特徴ベクトルとして抽出する。特徴ベクトル抽出処理５２は、例えば、図６に示されるように閾値設定処理６０ 、２値化処理６１及び輪郭ベクトル抽出処理６２から構成される。以下、特徴ベクトル抽出処理５２の各構成要素について説明する。
【００５０】
閾値設定処理６０では、正規化処理５１からの正規化ＩＳＡＲ画像を２値化するための適当な閾値をフレーム毎に正規化ＩＳＡＲ画像内の輝度分布ヒストグラムに従って設定する。ここで、輝度分布ヒストグラムは輝度毎の画素の数によって定義される。
【００５１】
具体的には、閾値設定処理６０は閾値をθとして輝度がＩ＜θとなる画素のクラスと、Ｉ≧θとなる画素のクラスを考え、クラス間分散と全分散の比で定義されるクラス間分離度が最大になるθを選択する。選択された閾値θをそのまま用いることもできるが、θが小さすぎる場合には、例えば改めて適当な係数ｃを伴ってθ＋ｃ（Ｉmax−θ）のようにしてもよい。ただし、Ｉmaxは輝度値のとり得る最大値とする。
【００５２】
２ 値化処理６１は、閾値設定処理６０により設定された閾値θを用いて、正規化処理４１からの正規化ＩＳＡＲ画像のうち輝度値Ｉ(x, y)がθ より小さい画素に“ ０” 、輝度値Ｉ(x, y)がθ 以上の画素に“１”をそれぞれ割り当てることにより正規化ＩＳＡＲ画像を２ 値化して２ 値画像を生成する。
【００５３】
輪郭ベクトル抽出処理６２は、２ 値化処理６１からの２値画像と両端候補抽出処理２０１で得られた両端位置の候補の１つを用いて、目標形状のシルエットを目標の類識別に利用しやすいベクトルとして出力する。ここでは、艦船において船軸の上側に位置する艦橋や砲台などの形状が目標を特徴付けていることを利用する。すなわち、２値化画像中のシルエット画像上で主軸上の各水平座標に対して垂直方向に主軸上部を探索し、シルエットの輪郭位置で画素が“ １ ” から“ ０ ” に反転する垂直座標値を順に並べていくことで、艦船の輪郭をベクトル表現することができる。このとき、ベクトル表現を行う範囲は、入力された両端位置の候補によって目標のレンジ方向について決定された境界に含まれる領域とする。こうして出力される輪郭のベクトルは、目標である船舶（ ここでは艦船） の特徴を表しており、特徴ベクトル抽出処理５２からの特徴ベクトルとして出力される。
【００５４】
船舶の向きに右向きと左向きの２種類があり、それに対応するため、抽出した前記特徴ベクトルの逆にしたものも特徴ベクトルとして出力する。これら２本の特徴ベクトルを出力することで、船舶の向きを検出することなく、両方の向きに対応した識別が可能となる。
【００５５】
類似度計算処理５３は、予めデータベース２０４に収納された船舶の特徴ベクトルと前記特徴ベクトル抽出処理５２で得られた特徴ベクトルの角度Θを計算し、角度Θの余弦の２乗を類似度として出力する。
【００５６】
また、特徴ベクトルの角度以外に、特徴ベクトル間の距離を用いて、類似度を計算してもよい。その際、距離は小さいほど目標が前記船舶である可能性が高いとため、大小関係を変換する処理を行う必要がある。例えば、距離のマイナスを用いる。
【００５７】
本実施形態によれば、目標の一部が他の部分を隠してしまい、目標の両端部分の一部が常に欠落しているＩＳＡＲ時系列画像であっても、目標の類識別を行うことができる。
【００５８】
（第２の実施形態）
本発明の第２の実施形態について、図を参照して説明する。第２の実施形態は、検出部７０４が異なる。第１の実施形態と同等の構成については、同一の符号又は名称を付与し、その説明を省略する。
【００５９】
図７に示されるように、本発明の一実施形態にかかわる画像識別装置７０は、レーダエコーの入力やＩＳＡＲ画像を取得する取得部１０１と、目標である船舶の両端を抽出する抽出部１０２と、類似度を算出する算出部１０３と、目標の両端の検出を行う検出部７０４と、取得データや処理演算の中間結果及び結果を記憶する記憶部１０５と、処理結果を出力する出力部１０６とで構成される。
【００６０】
図８に従って、画像識別装置の処理について説明する。画像識別処理２０は、ＩＳＡＲ画像生成処理２００、両端候補抽出処理２０１、類似度算出処理２０２、辞書データベース２０３、検出処理８０４によって構成される。
【００６１】
ＩＳＡＲ画像生成処理２００では、未知の目標である船舶からのレーダエコーを処理してフレーム単位の時系列画像であるＩＳＡＲ画像を生成する。生成したＩＳＡＲ画像は取得部１０１によって抽出部１０２に送られる。
【００６２】
両端候補抽出処理２０１では、抽出部１０２が取得したＩＳＡＲ画像から、目標の両端位置の候補を複数組抽出する。抽出された両端位置の候補を算出部１０３へ送る。
【００６３】
類似度算出処理２０２では、算出部が取得したＩＳＡＲ画像と両端位置を用いて、辞書データベース２０３に予め登録された船舶の辞書との類似度を計算する。ここで類似度は、データベースに格納された船舶の情報と目標との類似性を示す値で、値が高いほど目標が類似度算出の対象としている船舶である可能性が高いとする。両端位置は複数組入力され、両端位置毎に類似度を計算する。算出された類似度は検出部７０４へ送られる。
【００６４】
辞書データベース２０３は、船舶のＩＳＡＲ時系列画像から抽出された辞書を保持する。辞書は、船舶の特徴を数値化したもので、類識別に使用する情報である。例えば、後述する特徴ベクトルなどがある。
【００６５】
検出処理８０４では、検出部７０４が取得した類似度を用いて両端候補から目標の両端を識別する。識別結果は計算された複数の類似度に対して、最も高い類似度を選ぶ。両端位置を出力する場合は、最も高い類似度を得た両端位置候補を目標の両端位置として選択する。また、閾値以上の類似度と対応する両端位置候補に対して、平均または、類似度に応じた重み付け平均を両端位置としても良い。
【００６６】
本実施形態によれば、目標の一部が他の部分を隠してしまい、目標の両端部分の一部が常に欠落しているＩＳＡＲ時系列画像であっても、目標の両端位置を得ることが可能になる。
【００６７】
本実施の形態にかかる画像識別装置及び検出装置は、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ネットワークなどに接続して通信を行う通信Ｉ／Ｆと、ＨＤＤ（Hard Disk Drive）、ＣＤ（Compact Disc）ドライブ装置などの外部記憶装置と、ディスプレイ装置などのコンテンツ推薦のために提示を行う表示装置と、オペレータが識別処理や結果取得などを行うためのキーボードやマウスなどの入力装置と、各部を接続するバスを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００６８】
本実施の形態にかかる画像識別装置及び検出装置で実行され識別及び検出処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供することが可能である。
【００６９】
また、本実施の形態にかかる画像識別装置及び検出装置で実行される識別及び検出処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかる画像識別処理装置及び検出処理装置で実行される処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００７０】
また、本実施の形態の処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７１】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００７２】
101・・・取得部、102 ・・・抽出部、103・・・算出部、104・・・識別部、 105・・・記憶部、106・・・出力部、704・・・検出部
【特許請求の範囲】
【請求項１】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、
レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、
前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、
前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、
前記識別部の結果を出力する出力部とを具備することを特徴とする画像識別装置。
【請求項２】
前記抽出部は、前記画像に含まれる前記主軸を抽出する第２の抽出部を備え、
前記抽出する両端候補は前記主軸を含む領域から抽出することを特徴とする請求項１記載の画像識別装置。
【請求項３】
前記抽出部は前記主軸を表す画素から前記両端候補を抽出することを特徴とする請求項２記載の画像識別装置。
【請求項４】
前記抽出部は前記主軸を含む領域で前記領域の輝度に基づいた前記目標の端を輝度端として抽出する第３の抽出部を備え、
前記両端候補の一方が前記輝度端を含む領域であることを特徴とする請求項２または３記載の画像識別装置。
【請求項５】
前記抽出部は前記両端候補の一方が前記輝度端と一致することを特徴とする請求項４記載の画像識別装置。
【請求項６】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の両端を検出する画像検出装置であって、
レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、
前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、
前記両端候補毎に得られる前記類似度から前記目標の両端の検出を行う検出部と、
前記検出部の検出結果を出力する出力部とを具備することを特徴とする画像検出装置。
【請求項７】
前記抽出部は、前記画像に含まれる前記主軸を抽出する第２の抽出部を備え、
前記抽出する両端候補は前記主軸を含む領域から抽出することを特徴とする請求項6記載の検出装置。
【請求項８】
前記抽出部は前記主軸を表す画素から前記両端候補を抽出することを特徴とする請求項７記載の検出装置。
【請求項９】
前記抽出部は前記主軸を含む領域で前記領域の輝度に基づいた前記目標の端を輝度端として抽出する第３の抽出部を備え、
前記両端候補の一方が前記輝度端を含む領域であることを特徴とする請求項７または８記載の検出装置。
【請求項１０】
前記抽出部は前記両端候補の一方が前記輝度端と一致することを特徴とする請求項９記載の検出装置。
【請求項１】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別を行う画像識別装置であって、
レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、
前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、
前記両端候補毎に得られる前記類似度から目標の識別を行う識別部と、
前記識別部の結果を出力する出力部とを具備することを特徴とする画像識別装置。
【請求項２】
前記抽出部は、前記画像に含まれる前記主軸を抽出する第２の抽出部を備え、
前記抽出する両端候補は前記主軸を含む領域から抽出することを特徴とする請求項１記載の画像識別装置。
【請求項３】
前記抽出部は前記主軸を表す画素から前記両端候補を抽出することを特徴とする請求項２記載の画像識別装置。
【請求項４】
前記抽出部は前記主軸を含む領域で前記領域の輝度に基づいた前記目標の端を輝度端として抽出する第３の抽出部を備え、
前記両端候補の一方が前記輝度端を含む領域であることを特徴とする請求項２または３記載の画像識別装置。
【請求項５】
前記抽出部は前記両端候補の一方が前記輝度端と一致することを特徴とする請求項４記載の画像識別装置。
【請求項６】
目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の両端を検出する画像検出装置であって、
レーダエコーを処理して生成される画像を取得する取得部と、
前記画像に含まれる輝度値の変化率から算出される主軸を用いて前記目標の両端候補を抽出する抽出部と、
前記画像と前記両端候補を用いて、予め保持している辞書との類似度を算出する算出部と、
前記両端候補毎に得られる前記類似度から前記目標の両端の検出を行う検出部と、
前記検出部の検出結果を出力する出力部とを具備することを特徴とする画像検出装置。
【請求項７】
前記抽出部は、前記画像に含まれる前記主軸を抽出する第２の抽出部を備え、
前記抽出する両端候補は前記主軸を含む領域から抽出することを特徴とする請求項6記載の検出装置。
【請求項８】
前記抽出部は前記主軸を表す画素から前記両端候補を抽出することを特徴とする請求項７記載の検出装置。
【請求項９】
前記抽出部は前記主軸を含む領域で前記領域の輝度に基づいた前記目標の端を輝度端として抽出する第３の抽出部を備え、
前記両端候補の一方が前記輝度端を含む領域であることを特徴とする請求項７または８記載の検出装置。
【請求項１０】
前記抽出部は前記両端候補の一方が前記輝度端と一致することを特徴とする請求項９記載の検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−６３２８０（Ｐ２０１２−６３２８０Ａ）
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願番号】特願２０１０−２０８５５４（Ｐ２０１０−２０８５５４）
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年３月２９日（２０１２．３．２９）
【国際特許分類】
【出願日】平成２２年９月１６日（２０１０．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]