物体形状推定装置
【課題】多様な形状をとり得る物体の輪郭形状を少ない処理負荷で推定でき、背景や対象物細部の影響による輪郭形状の誤推定が減じられた物体形状推定装置を実現する。
【解決手段】画像中の所定物体の形状を推定する物体形状推定装置３であって、推定用記憶部３０は、様々な形状の所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における形状画像それぞれの座標値とを格納した形状画像データベース３０１と、所定物体が撮像された物体画像を形状特徴空間に写像する回帰モデル３００とを予め記憶し、入力画像写像部３２１は入力画像を回帰モデル３００により写像して写像値を算出し、形状推定部３２２は形状画像の中から座標値が写像値と類似する形状画像を検出し、検出した形状画像の物体領域から推定対象の形状を求める。
【解決手段】画像中の所定物体の形状を推定する物体形状推定装置３であって、推定用記憶部３０は、様々な形状の所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における形状画像それぞれの座標値とを格納した形状画像データベース３０１と、所定物体が撮像された物体画像を形状特徴空間に写像する回帰モデル３００とを予め記憶し、入力画像写像部３２１は入力画像を回帰モデル３００により写像して写像値を算出し、形状推定部３２２は形状画像の中から座標値が写像値と類似する形状画像を検出し、検出した形状画像の物体領域から推定対象の形状を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の対象物の形状を推定する物体形状推定装置に関する。
【背景技術】
【０００２】
監視カメラを用いて車両等の対象物を監視するために画像中の対象物の追跡、姿勢判定、検索などが盛んに研究されている。これらを高精度に行うためには対象物の形状のとおりの領域を背景から正確に分離する必要がある。
【０００３】
対象物の形状を判定するためにその輪郭形状を表した形状パターンを用いる方法があり、典型的には形状パターンで画像中を探索するパターンマッチングが行なわれる。形状パターンを用いる方法は、見た目そのままの輪郭を連続的になぞるだけで正確な参照データを作成でき、マッチしたときに得られる領域が正確である、といった利点を有する。
【０００４】
しかし、対象物の見かけ上の形状は、その姿勢の変化、カメラアングルの違い、車種の違いなどにより多様である。そのため、従来、これらの変化や違いを考慮した多数の形状パターンを用意してパターンマッチングを行なっていた。
【０００５】
特許文献１には、車両の輪郭線を表す車両形状パターンを十分な車種数だけ用意しておき、走行車両が撮像された画像から輪郭線の特徴量を抽出して各車両形状パターンとのパターンマッチングを行なうことが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２４２５９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では形状パターンの数だけパターンマッチングを繰り返すため処理負荷が大きく、リアルタイム処理できる装置を実現するには計算コストが掛かりすぎていた。
【０００８】
また、従来技術では背景や対象物細部（車両の窓枠やライトなど）を対象物の輪郭形状と誤ってマッチングしてしまうことが多かった。
【０００９】
本発明は、上記問題を鑑みてなされたものであり、形状パターンを用いる利点を活かしつつ、多様な形状をとり得る対象物の輪郭形状を少ない処理負荷で推定できる物体形状推定装置を実現することを目的とする。また本発明は、背景や対象物細部の影響による誤推定を減じた物体形状推定装置を実現することをもうひとつの目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体形状推定装置は、画像中に撮像された所定物体の形状を推定する物体形状推定装置であって、予め、様々な形状の所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における形状画像それぞれの座標値と、所定物体が撮像された物体画像を形状特徴空間に写像する写像関数と、を記憶した記憶部と、推定対象の所定物体が撮像された入力画像を取得する画像取得部と、入力画像を写像関数により写像して写像値を算出する入力画像写像部と、形状画像の中から座標値が写像値と類似する形状画像を検出し、検出した形状画像の物体領域から推定対象の形状を求める形状推定部と、を備えたことを特徴とする。
【００１１】
上記本発明に係る物体形状推定装置において、形状特徴空間は、形状画像のうち互いの物体領域同士の非重複度が所定基準より小さな類似形状画像の間で座標値の近接関係を維持して非線形次元圧縮処理された特徴空間であることを特徴とする。
【００１２】
また、上記本発明に係る物体形状推定装置において、複数の形状画像にローカリー・リニア・エンベッディング法を適用して得られた特徴空間であることを特徴とする。
【００１３】
また、上記本発明に係る物体形状推定装置において、形状推定部は、座標値と写像値との距離が近い順に所定数の形状画像を検出し、所定数の形状画像における物体領域を合成して推定対象の形状を求めることを特徴とする。
【００１４】
また、上記本発明に係る物体形状推定装置において、形状画像は、物体領域と背景領域との境界付近における画素値が平滑化処理された画像であることを特徴とする。
【００１５】
また、上記本発明に係る物体形状推定装置において、写像関数は、物体画像と形状特徴空間とを回帰分析することにより得られた回帰モデルであることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、物体領域を画素単位で表した形状画像を用いることで多様で非線形に変化する物体形状を高精度に推定でき、入力画像を写像することで推定を行なうため少ない処理負荷で推定が可能となる。
【００１７】
また、本発明によれば、形状画像を非線形次元圧縮した形状特徴空間を用いて推定することで形状変化に本質的に寄与する成分に基づいた推定ができるため、背景の影響による誤推定や、物体の内部形状による誤推定を減じることができる。
【図面の簡単な説明】
【００１８】
【図１】形状推定装置が行う処理の概要を説明する図である。
【図２】形状推定システム１の構成を表すブロック図である。
【図３】車両形状画像を例示した図である。
【図４】標本車両画像及び車両形状画像を例示した図である。
【図５】形状特徴空間を例示した図である。
【図６】回帰モデルを例示した図である。
【図７】学習装置２による学習処理のフローチャートである。
【図８】形状推定装置３による形状推定処理のフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の好適な実施形態の一例として、車両を対象物とし、画像中の車両の形状を推定する形状推定装置について説明する。
【００２０】
まず図１を参照して本発明に係る形状推定装置が行う処理の概要を説明する。
【００２１】
形状推定装置は、車両が背景とともに撮像された車両画像（入力画像１００）が入力されると、当該車両の形状を推定する形状推定処理を行い、入力画像１００において当該車両が撮像されていると推定される車両領域１１３と当該車両が撮像されていないと推定される背景領域１１４とで異なる画素値を設定した推定形状画像１１２を出力する。
【００２２】
形状推定装置は、複数の車両形状画像１０７が格納された形状画像データベース１１０を備えており、予めの学習により生成された写像関数に従って、入力画像１００を車両形状画像１０７に写像することにより形状を推定する。この写像は、車両画像の輝度特徴量が張る輝度特徴空間１０１から車両形状画像が張る形状特徴空間１０４への写像１０２、及び、形状特徴空間１０４から車両形状画像１０７への写像１０６、の２段階の写像により実現される。
【００２３】
写像１０２は事前の回帰分析により生成された回帰モデル１０３（写像関数）により実現できる。すなわち入力画像１００は回帰モデル１０３に従って形状特徴空間１０４中の１点に写像される。形状特徴空間１０４は事前の非線形次元圧縮処理１１５により形状推定に有効な少数の成分のみからなる低次元の特徴空間に次元圧縮されている。
【００２４】
形状画像データベース１１０には、複数の車両形状画像１０７と、形状特徴空間１０４における当該車両形状画像１０７それぞれの座標との対応関係１０５が記憶されている。
【００２５】
例えば、各車両形状画像１０７が１２８×１２８画素であれば元の形状特徴空間は１２８×１２８次元の特徴空間であるが、これが５次元の特徴空間に次元圧縮されている。１２８×１２８次元ベクトルデータである車両形状画像１０７−１，１０７−２，１０７−３，…はそれぞれに対応する５次元ベクトルデータの座標値１０８−１，１０８−２，１０８−３，…と同一の識別番号が付与されて形状画像データベース１１０に格納されている。
【００２６】
これらの座標値は形状推定に有効な車両形状画像１０７それぞれの形状特徴量であると言うこともできる。
【００２７】
写像１０６は、対応関係１０５に基づき入力画像１００の写像値に対応する車両形状画像を検出することにより実現される。すなわち形状画像データベース１１０の中から入力画像１００の写像値と類似する（近接する）座標値）を検出し、検出された座標値に対応する車両形状画像を求めることで写像１０６が行われる。このとき、車両形状画像１０７の個数は有限であり、一般的には写像値がいずれかの座標値と完全一致することは殆どないため、写像１０６では、写像値と類似する複数の座標値を検出してこれらと対応する車両形状画像を類似度に応じて重み付け平均（合成１１１）することで推定形状画像１１２を求める。
【００２８】
〔形状推定システム１の構成〕
次に図２を参照して形状推定装置を含む形状推定システム１の構成について説明する。形状推定システム１は学習装置２、形状推定装置３及び不審車両監視装置４から構成される。
【００２９】
学習装置２は学習処理により車両形状画像の次元圧縮、回帰モデルの生成等を行う。学習後、学習装置２と形状推定装置３とが一時的に接続され、学習装置２は学習の結果として生成された情報を形状推定装置３に出力し、形状推定装置３はこれらの情報を格納する。
【００３０】
形状推定装置３には不審車両監視装置４が接続され、形状推定装置３は不審車両監視装置４が実行する不審車両の監視処理の一部を担う。
【００３１】
不審車両監視装置４は移動式の監視カメラ４０、車両識別器４１および不審車両判定部４２を含んで構成される。監視カメラ４０は駐車場を移動しながら順次撮像を行って駐車場画像を車両識別器４１に出力する。車両識別器４１には予め車両画像を用いて学習された車両有無の識別基準が設定されている。車両識別器４１は駐車場画像中の各所に順次矩形窓を設定して矩形窓内の画像が車両画像であるか否かを識別し、車両画像であると識別した矩形窓内の画像を切り出して形状推定装置３に入力する。
【００３２】
形状推定装置３は、入力画像に撮像されている車両の形状を推定し、推定形状画像を不審車両判定部４２に出力する。不審車両判定部４２は、車両画像に推定形状画像を重ね合わせて、車両領域における色など特徴量を分析し、予め登録された不審車両の特徴量と照合して不審車両か否かを判定する。推定形状画像と重ね合わせて得られる車両領域には背景が殆ど含まれないので、高精度な照合が可能となる。
【００３３】
［学習装置２の構成］
学習装置２は学習用記憶部２０、学習処理部２１および学習出力部２２を含んで構成され、パーソナルコンピューター等で実現される。学習用記憶部２０と学習出力部２２は学習処理部２１に接続されており、学習出力部２２はさらに形状推定装置３とも接続される。
【００３４】
学習用記憶部２０はハードディスクドライブ、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶して学習処理部２１との間でこれらの情報を入出力する。各種データには標本車両画像２００及び車両形状画像２０１が含まれる。
【００３５】
標本車両画像２００は、背景とともに様々な形状の車両がそれぞれに撮像された複数の車両画像であり、予め作成されて学習用記憶部２０に記憶されている。標本車両画像２００は様々な場所、アングルで、車両の様々な姿勢、様々な車種、車色の車両を撮影した画像から車両をほぼ中央に含む矩形を手作業等により切り出し、大きさを規格化（例えば１２８×１２８画素）して作成する。標本車両画像２００における車両の形状は様々でありその背景も様々である。標本車両画像２００は学習に十分な数だけ用意され、例えば２０００枚の標本車両画像２００が用意される。
【００３６】
車両形状画像２０１は、標本車両画像２００のそれぞれおける車両の輪郭形状をかたどった車両領域と車両領域以外である背景領域とに異なる画素値を設定した画像であり、予め作成されて学習用記憶部２０に記憶されている。学習用記憶部２０には、１枚の標本車両画像２００とそれに対応する車両形状画像２０１とで１ペアを為して同一の識別番号が付与され、複数ペアが記憶される。
【００３７】
車両形状画像２０１は、各標本車両画像２００における車両の輪郭画素を目視確認により特定することで作成される。例えば、特定された輪郭画素及び輪郭画素に囲まれる領域を車両領域として車両領域内の画素の画素値を２５５、車両領域以外の画素の画素値を０に設定する。標本形状画像２０１の大きさは規格化されており、本実施形態では標本車両画像２００と同じく１２８×１２８画素とする。但し、車両形状画像２０１の大きさは標本車両画像２００の大きさと同一でなくてもよい。
【００３８】
車両形状画像２０１はその画素値（輝度値）が座標順に画素数だけ並んだベクトル形式で車両の形状を表すデータである。
【００３９】
車両形状画像２０１は、標本車両画像２００から得られる輪郭形状の情報として過不足がなく正確であるため、学習における正解データとして精度が高く、推定の出力形式としても高精度で利用価値が高い。その上、車両形状画像２０１は標本車両画像２００に撮像された車両の輪郭形状を見た目そのままになぞるだけで正確に作成できる。これらの特性は見た目の形状が非線形に変化する対象物の画像に対しても失われない。
【００４０】
車両形状画像２０１を形状推定に用いる利点について、形状を規定数の特徴点、規定数の制御点或いは等間隔のサンプル点などの離散点で表現する場合との比較で説明する。
【００４１】
車両の見た目の形状は、そのアングル等によって非線形に変化するため、離散点で表現した形状データでは一貫した始点が定まらない。例えば前面バンパーの角による輪郭形状は、斜め前方からのアングルでは画像上に現れるが、他のアングルでは消失する。そのため、あるアングルでは前面バンパーの角の特徴点を形状データの始点に設定できても、他のアングルでは設定できず代替の始点を設定せざるを得なくなる。このように始点が一貫しない形状データ同士を比較すると始点のずれが誤差に含まれ、本来類似した形状同士が相違した形状として学習され、形状推定精度の低下を招く。一方、車両形状画像２０１であれば形状データの始点は常に画像の原点となるため、始点ずれの問題が生じない。
【００４２】
また車両の形状はルーフのように単純な部分とタイヤ付近のようにやや複雑な部分が混在して形成されるため、形状データを離散点で表現すると、複雑さに対する点の疎密が生じる。点が過疎な部分では形状情報の局所的な欠落により、点が過密な部分では形状情報の冗長性により本来類似した形状同士が相違した形状として学習され、形状推定精度の低下を招く。一方、車両形状画像２０１であれば後述するように車両領域間の重複度で形状の類似性を評価できるため、複雑さに対する疎密の問題が生じない。
【００４３】
ここで、車両形状画像２０１は、車両領域の画素値を２５５とし背景領域の画素値を０とした２値画像とすることもできるが、さらに車両領域と背景領域の境界付近近傍を平滑化処理した濃淡画像（多値画像）とすることで形状画像間の変化が滑らかとなり次元圧縮効率を高めることができる。
【００４４】
図３に濃淡画像で表した車両形状画像５００を例示する。同図において線５０１は車両領域の輪郭線であり輪郭線５０１上の画素が輪郭画素である。線５０２は輪郭線５０１から車両領域外側に一定距離だけ離れた外郭線、線５０３は輪郭画素から車両領域内側に一定距離だけ離れた内郭線である。グラフ５０４は車両形状画像５００における線分ａ−ｂ上の輝度値（画素値）を表している。
【００４５】
図３に例示した車両形状画像５００は、輪郭画素に中央輝度値である１２７を設定し、車両領域には各画素から最も近い輪郭画素までの距離を中央輝度値に加算して２５５でクリッピングさせた輝度値を設定し、背景領域には各画素から最も近い輪郭画素までの距離を中央輝度値から減算して０でクリッピングさせた画素値を設定することで平滑化処理される。このようにして車両形状画像には、車両領域（図３の横線領域と白抜き領域）において１２７以上２５５以下の画素値が輪郭からの距離に応じて連続的に設定され、背景領域（図３の縦線領域と斜め線領域）において０以上１２７未満の画素値が輪郭からの距離に応じて連続的に設定される。
【００４６】
以上のように作成された標本車両画像２００と車両形状画像２０１を図４に例示する。
【００４７】
学習処理部２１は、ＣＰＵ（Central Processing Unit）等の演算装置を用いて構成され、学習用記憶部２０からプログラムを読み出して実行することで非線形次元圧縮部２１０、輝度特徴抽出部２１１、回帰分析部２１２として機能する。
【００４８】
非線形次元圧縮部２１０は、車両形状画像の分布を表す形状特徴空間を所定の非線形次元圧縮処理により次元圧縮し、次元圧縮された形状特徴空間における各車両形状画像２０１の座標値（形状特徴量）を算出する。各車両形状画像２０１の座標値は、回帰分析部２１２に参照されるとともに、算出元の車両形状画像２０１と対応付けられて形状推定装置３に出力される。圧縮後の次元数Ｄは、元の形状画像の次元数よりも十分に小さく、対象物の形状変化に本質的に寄与する次元数として十分に大きな数が、実験等を通じて決定され、予め設定される（例えばＤ＝５）。
【００４９】
非線形次元圧縮処理は、ＬＬＥ（Locally Linear Embedding；ローカリー・リニア・エンベッディング）法により行なうことができる。ＬＬＥ法では、車両形状画像２０１のうち互いに類似する類似形状画像を選出しておき、類似形状画像間の近接関係を維持して次元圧縮が行なわれる。本発明では、車両形状画像間の類似性を判定する尺度にその車両領域同士の非重複度を用い、非重複度が基準を超えて小さい車両形状画像同士を類似形状画像と判定する。
【００５０】
非重複度は、形状画像間で対応する画素同士の画素値の差の二乗和の平方根とすることができる。また、別の実施形態では形状画像間で対応する画素同士の差の絶対値の和とすることができる。
【００５１】
非重複度に基づき選出される類似形状画像同士は現に車両領域の見た目の形状が類似するため、次元圧縮後の形状特徴空間における座標値が互いに近接関係にある車両形状画像２０１は現にその車両領域の形状が類似関係にあるものとすることができる。
【００５２】
以下、ＬＬＥ法を用いた非線形次元圧縮部２１０により行なわれる非線形次元圧縮処理の概要を説明する。圧縮後の次元数Ｄは例えば５に予め設定しておく。
【００５３】
まず非線形次元圧縮部２１０は、車両形状画像２０１のそれぞれについて他の車両形状画像との間で非重複度を算出して非重複度の昇順に上位ｎ個（ｎ＞１）を類似形状画像として選出する。
【００５４】
続いて非線形次元圧縮部２１０は、車両形状画像２０１のそれぞれをその類似形状画像の重み付け線形和で近似する各重みを導出する。すなわち非線形次元圧縮部２１０は次式１で表されるコスト関数ε（Ｗ）を最小化するＮ×Ｎ次元の重み行列Ｗを最小二乗法により導出する。
【数１】
ただし、Ｓｉ，Ｓｊは車両形状画像（１≦ｉ≦Ｎ，１≦ｊ≦Ｎ）、ＷｉｊはＳｉを近似する各Ｓｊの重みをi行j列の要素の値とした行列である。ただし、ＷｉｊにおいてＳｊがＳｉの類似形状画像として選出された（ｉ，ｊ）要素以外の値は０とする。
【００５５】
続いて非線形次元圧縮部２１０は、上記局所的な線形和を維持したまま車両形状画像２０１をＤ次元に次元圧縮する。すなわち非線形次元圧縮部２１０は次式２で表されるコスト関数Φ（Ｙ）を最小化するＤ×Ｎ次元の行列Ｙを導出する。
【数２】
ただし、Ｙｉ，ＹｊはＤ次元に次元圧縮された形状特徴空間における上記車両形状画像Ｓｉ，Ｓｊの座標値、Ｙは各Ｙｉをｉ列目のベクトルとするＤ×Ｎ次元の行列である。Ｗｉｊは式１に基づき求めた重みであり固定値として扱われる。このことが上述した類似形状画像間の近接関係維持を意味する。
【００５６】
非線形次元圧縮部２１０は、式２のコスト関数をそのまま用いるのではなく、式２を変形した次式３のコスト関数を最小化するＹを、Ｎ×Ｎ次元の行列Ｍを固有値分析することにより導出する。
【数３】
【数４】
ただし変形にあたりΣＹｉ＝０を仮定している。形状特徴空間は平行移動に不変であるためこのようにしても式３の一般性は失われない。なお、Ｙｉの集合の共分散行列が単位行列となるよう制限する。
【００５７】
非線形次元圧縮部２１０は、固有値分析された行列Ｍの各行を構成する固有ベクトルのうち固有値が２番目に小さな固有ベクトルから固有値が（Ｄ＋１）番目に小さな固有ベクトルまでを抜き出して並べたＤ×Ｎ次元の行列を生成し、当該行列の各列をＹｉとして抜き出す。こうして算出されたＮ個のＹｉがＤ次元形状特徴空間における車両形状画像２０１それぞれの座標値である。
【００５８】
本出願人は実験を重ねた結果、ＬＬＥ法を用いて車両形状画像を非線形次元圧縮処理し、その際に車両領域間の非重複度に基づき類似形状画像を選出することにより、１２８×１２８次元の形状特徴空間を５次元に次元圧縮したときに低次元且つ高い形状推定精度が得られるとの知見を得た。
【００５９】
図５は２次元に次元圧縮した形状特徴空間６００における車両形状画像の座標値の分布を例示したものである。また同図においては車両形状画像６０１〜６０７に対応する座標値を引き出し線で示している。この図から車両領域の形状が類似した（非重複度が小さな）車両形状画像６０２，６０３の座標値が近接関係にあり、これら以外の座標値は離れた関係にあることが分かる。
【００６０】
なお、ＬＬＥ法に代えてＩＳＯＭＡＰ（アイソマップ）法、ラプラシアン・アイゲンマップ（Laplacian Eigenmap）法を用いて非線形次元圧縮処理を行うこともできる。これらの方法を適用したときも類似形状画像を選出して類似形状画像間の近接関係を維持する次元圧縮が行なわれる。このとき非重複度に基づいて類似形状画像を行うことにより高精度な形状推定を実現可能な次元圧縮が可能となる。
【００６１】
輝度特徴抽出部２１１は、標本車両画像２００それぞれから各画素における輝度特徴量を抽出し、回帰分析部２１２に出力する。具体的には輝度特徴抽出部２１１は輝度特徴量としてＨＯＧ（Histogram Of Gradient）を抽出する。ＨＯＧは画像平面上の輝度勾配を勾配方向別にヒストグラム分析して得られる特徴量であり、照明変動の影響を受けにくい点で形状推定に適している。本実施形態において輝度特徴抽出部２１１は、標本車両画像２００中に４９個の小領域を設定し、各小領域において輝度勾配を９方向に量子化して各方向のヒストグラムを分析し、全小領域の分析結果を並べて輝度特徴量とする。このようにして得られる輝度特徴量は４９×９次元ベクトルのデータとなる。
【００６２】
なお、輝度特徴量はＨＯＧに限らず種々の特徴量を用いることができる。別の実施形態において輝度特徴抽出部２１１は、ＨＯＧに代えてＳＩＦＴ（Scale-Invariant Feature Transform）、ハール・ライク（Haar-like）特徴、ＳＵＲＦ（Speeded Up Robust Features）、又はシェイプ・コンテキスト（Shape Context）を輝度特徴量として抽出する。また、輝度特徴量として各画素の輝度値をそのまま利用することもでき、この場合は輝度特徴抽出部２１１を省略した構成とすることも可能である。
【００６３】
回帰分析部２１２は、各標本車両画像２００の輝度特徴量と当該標本車両画像２００に対応する車両形状画像２０１の形状特徴量（形状特徴空間における座標）との関係を回帰分析して、車両画像の輝度特徴空間から車両形状画像の形状特徴空間への写像関数を生成し、生成した写像関数を形状推定装置３に出力する。このような写像関数の生成が可能となったのは形状特徴空間を低次元化できたことによる。
【００６４】
具体的には回帰分析部２１２は、ブースティング回帰木（Boosted Regression Tree）法を用いて回帰分析を行う。
【００６５】
ブースティング回帰木法において、写像関数は複数段の回帰木（Regression Tree）の出力の重み付け和でモデル化され（回帰モデル）、学習はブースティング法により順次段数を増加させることにより行なわれる。次式５はブースティング回帰木法における回帰モデルを定式化したものである。
【数５】
但し、Ｆは回帰モデル、Ｘは入力画像の輝度特徴量、Ｍは回帰木の段数、νは予め設定される定数（０＜ν＜１）、ｈ（Ｘ；Ａｍ，Ｒｍ）はｍ段目の回帰木、Ｒｍはｍ種類目の分割パターンで所定の分割数に分割された輝度特徴空間７２０、Ａｍは分割されたＲｍそれぞれに属する標本車両画像２００と対応する車両形状画像２０１の座標値の平均値を表す。νは例えば０．１、Ｍは例えば１０００、分割数は例えば４に設定することができ、これらの値は予め設定しておく。分割パターンは各段の学習の都度、目標値と推定値の差を最小化するように決定される。
【００６６】
図５は回帰モデルを例示したものである。回帰木７００は式５における１段目の回帰木、回帰木７１０は同２段目の回帰木を表している。この例では分割数は４であり、各回帰木の根ノード７０１，７１１は車両画像の輝度特徴空間７２０の全体に対応し、各回帰木の葉ノード７０４〜７０７，７１４〜７１７は輝度特徴空間７２０が４分割された各空間Ｒ１，１〜Ｒ１，４，Ｒ２，１〜Ｒ２，４に対応する。根ノードと葉ノードは中間ノード７０２，７０３，７１２，７１３を介して接続され、根ノード及び各中間ノードには標本車両画像２００の輝度特徴量の一部に注目して輝度特徴空間７２０を尤もらしく分割する分割ルールが学習される。例えば、回帰木７００の根ノード７０１には車両画像の輝度特徴量の第４次成分値が閾値θ０より大きいか否かにより輝度特徴空間７２０をＲ１，１，Ｒ１，２の和空間とＲ１，３，Ｒ１，４の和空間とに最も近く分割するルール「ｘ５＞θ０？」が設定され、同回帰木７００の中間ノード７０２には車両画像の輝度特徴量の第５次成分値が閾値θ１より大きいか否かによりＲ１，１，Ｒ１，２の和空間をＲ１，１とＲ１，２とに最も近く分割するルール「ｘ５＞θ１？」が設定される。また、各葉ノードにはこの分割ルールにより分割された各空間に属する標本車両画像２００と対応する車両形状画像２０１の座標値の平均値が回帰木の出力値として設定される。
【００６７】
回帰分析部２１２は、これらＭ段の回帰木の根ノード及び各中間ノードにおける分割ルールと各葉ノードにおける出力値からなる回帰モデルを生成する。形状特徴空間は上述したように物体の輪郭形状変化に寄与する成分に次元圧縮され、回帰モデルは輝度特徴空間と上記形状特徴空間との関係を回帰分析して生成される。そのため回帰モデルを構成する分割ルールには、輝度特徴量の成分のうち、物体の輪郭形状変化に関係する成分が選択的に設定され、背景の形状や物体細部の形状に関係する成分は設定されにくい。このことによって背景の形状や物体細部の形状の影響を受けにくく高精度な形状推定が可能となる。
【００６８】
なお、ブースティング回帰木法に代えてＳＶＲ（サポート・ベクター・リグレッション）法を用いることもできる。
【００６９】
学習出力部２２は、学習処理部２１からの情報を形状推定装置３に出力する通信回路である。
【００７０】
［形状推定装置３の構成］
形状推定装置３は、推定用記憶部３０、入力画像取得部３１、推定処理部３２および形状出力部３３を含んで構成される。推定用記憶部３０、入力画像取得部３１および形状出力部３３は推定処理部３２に接続され、入力画像取得部３１および形状出力部３３はさらに不審車両監視装置４とも接続される。
【００７１】
推定用記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ等の記憶装置である。推定用記憶部３０は、各種プログラムや各種データを記憶し、推定処理部３２との間でこれらの情報を入出力する。各種データには、回帰モデル３００、形状画像データベース３０１が含まれる。
【００７２】
回帰モデル３００は、学習装置２の回帰分析部２１２により予め生成されたものであり、学習出力部２２を介して入力され、推定用記憶部３０に記憶される。
【００７３】
形状画像データベース３０１は、学習用記憶部２０に記憶されていた車両形状画像２０１と学習装置２の非線形次元圧縮部２１０により予め生成された車両形状画像２０１それぞれの形状特徴空間における座標値とを対応付けたデータ群である。これらは学習出力部２２を介して入力され、推定用記憶部３０に記憶される。
【００７４】
入力画像取得部３１は、形状推定処理の対象となる車両画像を不審車両監視装置４から入力する通信回路である。入力画像取得部３１は入力された車両画像（以下、入力画像と称する）を推定処理部３２に出力する。
【００７５】
推定処理部３２は、入力画像取得部３１からの入力画像を処理して入力画像中の車両形状に適合する車両形状画像を推定して推定結果を形状出力部３３に出力する。推定処理部３２は、ＣＰＵ、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、推定用記憶部３０からプログラムを読み出して実行することで輝度特徴抽出部３２０、入力画像写像部３２１、形状推定部３２２として機能する。
【００７６】
輝度特徴抽出部３２０は、入力画像から輝度特徴量を抽出し、抽出した輝度特徴量を入力画像写像部３２１に出力する。輝度特徴抽出部３２０が抽出する輝度特徴量は回帰モデル３００の学習に用いられた輝度特徴量と同種であり、輝度特徴抽出部３２０は輝度特徴抽出部２１１と同じ方法で輝度特徴量を抽出する。すなわち本実施形態においては輝度特徴抽出部３２０は４９個の小領域を設定し、各小領域において輝度勾配を９方向に量子化したＨＯＧを抽出する。上述したようにＨＯＧは画像平面上の輝度勾配であり、照明変動の影響を受けにくい点で形状推定に適している。なお、輝度特徴量として各画素の輝度値をそのまま利用する場合、輝度特徴抽出部３２０を省略した構成とすることも可能である。
【００７７】
入力画像写像部３２１は、回帰モデル３００に従って入力画像の輝度特徴量を形状特徴空間に写像することで、入力画像の写像値を算出する。この処理により入力画像は５次元の形状特徴空間の１点、すなわち入力画像中の車両の形状特徴を表す５次元ベクトルに写像される。
【００７８】
形状推定部３２２は、形状画像データベース３０１に記憶している車両形状画像の中からその座標値が入力画像の写像値と類似する車両形状画像を検出し、検出した車両形状画像の車両領域から入力画像に撮像されている車両の形状を求める。形状推定部３２２は求めた形状を形状画像と同様の画像形式（推定形状画像）で形状出力部３３に出力する。
【００７９】
具体的には形状推定部３２２は、形状画像データベース３０１に格納されている複数の車両形状画像の座標値と入力画像の写像値との距離を算出して、距離の昇順に予め設定された個数（ｋ＞０）の車両形状画像を検出し、検出した車両形状画像の平均画像を推定形状画像として出力する。このように写像値と類似した座標値を有する複数の車両形状画像を合成することで有限個数の車両形状画像からその中間形状を推定できるので、推定精度が向上する。
【００８０】
ｋ個の車両形状画像を検出する処理は、ｋ最近傍（ｋ−ＮＮ；k-nearest neighbour）法を用いて行うことができる。すなわち形状推定部３２２は、ｋ最近傍法を用いてｋ個の車両形状画像を検出し、検出したｋ個の車両形状画像を当該各画像の座標値と入力画像の写像値との距離に基づく類似度にて重み付けて平均化することで推定形状画像を生成する。重みｗすなわち類似度は距離ｄが小さいほど大きく、距離ｄが大きいほど小さく算出し、例えばｗ＝ｅｘｐ（−ｄ２）なる関数で算出する。
【００８１】
こうして出力される推定形状画像の各画素値は対応する入力画像の画素が車両領域であるか否かを表している。具体的には出力される推定形状画像において画素値が１２７以下の画素は背景領域、画素値が１２８以上の画素は車両領域であることを表す。
【００８２】
別の実施形態では形状推定部３２２は上記平均画像を車両領域と背景領域で２値化して推定形状画像を生成し出力する。
【００８３】
形状出力部３３は、推定処理部３２からの推定形状画像を不審車両監視装置４に出力する通信回路である。
【００８４】
〔形状推定システム１の動作〕
形状推定システム１の動作を、形状推定処理の事前に学習装置２が行なう動作と、形状推定装置３が行う形状推定処理の動作とに分けて説明する。
【００８５】
［学習装置２の動作］
図７のフローチャートを参照して、学習装置２の動作を説明する。
【００８６】
まず非線形次元圧縮部２１０は、学習記憶部２０から車両形状画像２０１を読み出し（Ｓ１０）、読み出した車両形状画像２０１に非線形次元圧縮処理を施してＤ次元の形状特徴空間における車両形状画像２０１それぞれの座標値を算出し（Ｓ１１）、算出した座標値を回帰分析部２１２に出力する。
【００８７】
次に輝度特徴抽出部２１１は、学習記憶部２０から標本車両画像２００を読み出し（Ｓ１２）、読み出した標本車両画像２００のそれぞれから輝度特徴量を抽出し（Ｓ１３）、抽出した各輝度特徴量を回帰分析部２１２に出力する。
【００８８】
続いて回帰分析部２１２は、車両画像の輝度特徴空間から車両形状画像の形状特徴空間への写像関数である回帰モデルを、ステップＳ１３にて算出された標本車両画像２００の輝度特徴量およびステップＳ１１にて算出された車両形状画像２０１の座標値を回帰分析することにより生成する（Ｓ１４）。
【００８９】
以上の処理が終わると、学習装置２は上記処理により生成・算出した情報を学習出力部２２経由で形状推定装置３に出力し（Ｓ１５）、形状推定装置３はこれらを推定用記憶部３０に格納する。すなわち、ステップＳ１４にて生成された回帰モデルは回帰モデル３００として格納され、車両形状画像２０１とその識別番号およびステップＳ１１にて算出した各車両形状画像２０１の座標値とその識別番号は形状画像データベース３０１として格納される。
【００９０】
［形状推定装置３の動作］
図８のフローチャートを参照して、形状推定装置３の動作を説明する。
【００９１】
形状推定装置３は、起動すると、まず不審車両検知装置４からの入力を待機する待機状態となる。待機状態では、車両画像入力部３１が定期的に入力画像の有無を確認する（Ｓ２０にてＮＯ→Ｓ２０）。不審車両検知装置４から画像が入力されると車両画像入力部３１が入力画像を推定処理部３２に入力して推定処理が始まる（Ｓ２０にてＹＥＳ→Ｓ２１）。
【００９２】
形状推定処理においては、まず推定処理部３２の輝度特徴抽出部３２０が入力画像から輝度特徴量、すなわちＨＯＧを抽出し、抽出した輝度特徴量を推定処理部３２の入力画像写像部３２１に出力する（Ｓ２１）。
【００９３】
続いて入力画像写像部３２１は、入力画像写像部３２１からの輝度特徴量を回帰モデル３００に入力してその出力を算出することにより、入力画像を形状特徴空間に写像し、算出された写像値を推定処理部３２の形状推定部３２２に出力する（Ｓ２２）。すなわち入力画像写像部３２１は、輝度特徴量の成分のうち各回帰木の根ノード及び中間ノードの分割ルールに設定されている成分を当該ノード設定されている閾値と比較して次のノードを決定する処理をいずれかの葉ノードに達するまで繰り返し、到達した葉ノードに設定されている出力値を取得する処理を全ての回帰木について行い、取得した全ての出力値の重み付き和を写像値として求める。
【００９４】
次に形状推定部３２２はｋ最近傍法により形状画像データベース３０１の中から入力画像の写像値の近傍に分布するｋ個の車両形状画像を選出し（Ｓ２３）、選出したｋ個の車両形状画像を平均処理して推定形状画像を生成する（Ｓ２４）。
【００９５】
続いて形状推定部３２２は、生成した推定形状画像を形状画像出力部３３経由で不審車両検知装置４に出力し（Ｓ２５）、再びステップＳ２０の待機状態に戻る。
【００９６】
上記実施形態においては、車両を対象物として形状推定を行う例を示したが、人または人の頭部などを対象物として形状推定を行う場合にも本発明を適用することができる。
【００９７】
また上記実施形態においては、不審車両検知処理のために形状推定を行う例を示したが、検索、姿勢推定、追跡など画像内の対象物を検出して処理する他の用途に用いることも可能である。
【符号の説明】
【００９８】
１・・・形状推定システム
２・・・学習装置
３・・・形状推定装置
４・・・不審車両監視装置
２０・・・学習用記憶部
２１・・・学習処理部
２２・・・学習出力部
３０・・・推定用記憶部
３１・・・入力画像取得部
３２・・・推定処理部
３３・・・形状出力部
４０・・・監視カメラ
４１・・・車両識別器
４２・・・不審車両判定部
１００・・・入力画像
１１２・・・推定形状画像
２００・・・標本車両画像
２０１、５００・・・車両形状画像
２１０・・・非線形次元圧縮部
２１１・・・輝度特徴量抽出部
２１２・・・回帰分析部
３００・・・回帰モデル
３０１・・・形状画像データベース
３２０・・・輝度特徴量抽出部
３２１・・・入力画像写像部
３２２・・・形状推定部
６００・・・形状特徴空間
７００、７１０・・・回帰木
【技術分野】
【０００１】
本発明は、画像中の対象物の形状を推定する物体形状推定装置に関する。
【背景技術】
【０００２】
監視カメラを用いて車両等の対象物を監視するために画像中の対象物の追跡、姿勢判定、検索などが盛んに研究されている。これらを高精度に行うためには対象物の形状のとおりの領域を背景から正確に分離する必要がある。
【０００３】
対象物の形状を判定するためにその輪郭形状を表した形状パターンを用いる方法があり、典型的には形状パターンで画像中を探索するパターンマッチングが行なわれる。形状パターンを用いる方法は、見た目そのままの輪郭を連続的になぞるだけで正確な参照データを作成でき、マッチしたときに得られる領域が正確である、といった利点を有する。
【０００４】
しかし、対象物の見かけ上の形状は、その姿勢の変化、カメラアングルの違い、車種の違いなどにより多様である。そのため、従来、これらの変化や違いを考慮した多数の形状パターンを用意してパターンマッチングを行なっていた。
【０００５】
特許文献１には、車両の輪郭線を表す車両形状パターンを十分な車種数だけ用意しておき、走行車両が撮像された画像から輪郭線の特徴量を抽出して各車両形状パターンとのパターンマッチングを行なうことが記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−２４２５９５
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術では形状パターンの数だけパターンマッチングを繰り返すため処理負荷が大きく、リアルタイム処理できる装置を実現するには計算コストが掛かりすぎていた。
【０００８】
また、従来技術では背景や対象物細部（車両の窓枠やライトなど）を対象物の輪郭形状と誤ってマッチングしてしまうことが多かった。
【０００９】
本発明は、上記問題を鑑みてなされたものであり、形状パターンを用いる利点を活かしつつ、多様な形状をとり得る対象物の輪郭形状を少ない処理負荷で推定できる物体形状推定装置を実現することを目的とする。また本発明は、背景や対象物細部の影響による誤推定を減じた物体形状推定装置を実現することをもうひとつの目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体形状推定装置は、画像中に撮像された所定物体の形状を推定する物体形状推定装置であって、予め、様々な形状の所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における形状画像それぞれの座標値と、所定物体が撮像された物体画像を形状特徴空間に写像する写像関数と、を記憶した記憶部と、推定対象の所定物体が撮像された入力画像を取得する画像取得部と、入力画像を写像関数により写像して写像値を算出する入力画像写像部と、形状画像の中から座標値が写像値と類似する形状画像を検出し、検出した形状画像の物体領域から推定対象の形状を求める形状推定部と、を備えたことを特徴とする。
【００１１】
上記本発明に係る物体形状推定装置において、形状特徴空間は、形状画像のうち互いの物体領域同士の非重複度が所定基準より小さな類似形状画像の間で座標値の近接関係を維持して非線形次元圧縮処理された特徴空間であることを特徴とする。
【００１２】
また、上記本発明に係る物体形状推定装置において、複数の形状画像にローカリー・リニア・エンベッディング法を適用して得られた特徴空間であることを特徴とする。
【００１３】
また、上記本発明に係る物体形状推定装置において、形状推定部は、座標値と写像値との距離が近い順に所定数の形状画像を検出し、所定数の形状画像における物体領域を合成して推定対象の形状を求めることを特徴とする。
【００１４】
また、上記本発明に係る物体形状推定装置において、形状画像は、物体領域と背景領域との境界付近における画素値が平滑化処理された画像であることを特徴とする。
【００１５】
また、上記本発明に係る物体形状推定装置において、写像関数は、物体画像と形状特徴空間とを回帰分析することにより得られた回帰モデルであることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、物体領域を画素単位で表した形状画像を用いることで多様で非線形に変化する物体形状を高精度に推定でき、入力画像を写像することで推定を行なうため少ない処理負荷で推定が可能となる。
【００１７】
また、本発明によれば、形状画像を非線形次元圧縮した形状特徴空間を用いて推定することで形状変化に本質的に寄与する成分に基づいた推定ができるため、背景の影響による誤推定や、物体の内部形状による誤推定を減じることができる。
【図面の簡単な説明】
【００１８】
【図１】形状推定装置が行う処理の概要を説明する図である。
【図２】形状推定システム１の構成を表すブロック図である。
【図３】車両形状画像を例示した図である。
【図４】標本車両画像及び車両形状画像を例示した図である。
【図５】形状特徴空間を例示した図である。
【図６】回帰モデルを例示した図である。
【図７】学習装置２による学習処理のフローチャートである。
【図８】形状推定装置３による形状推定処理のフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の好適な実施形態の一例として、車両を対象物とし、画像中の車両の形状を推定する形状推定装置について説明する。
【００２０】
まず図１を参照して本発明に係る形状推定装置が行う処理の概要を説明する。
【００２１】
形状推定装置は、車両が背景とともに撮像された車両画像（入力画像１００）が入力されると、当該車両の形状を推定する形状推定処理を行い、入力画像１００において当該車両が撮像されていると推定される車両領域１１３と当該車両が撮像されていないと推定される背景領域１１４とで異なる画素値を設定した推定形状画像１１２を出力する。
【００２２】
形状推定装置は、複数の車両形状画像１０７が格納された形状画像データベース１１０を備えており、予めの学習により生成された写像関数に従って、入力画像１００を車両形状画像１０７に写像することにより形状を推定する。この写像は、車両画像の輝度特徴量が張る輝度特徴空間１０１から車両形状画像が張る形状特徴空間１０４への写像１０２、及び、形状特徴空間１０４から車両形状画像１０７への写像１０６、の２段階の写像により実現される。
【００２３】
写像１０２は事前の回帰分析により生成された回帰モデル１０３（写像関数）により実現できる。すなわち入力画像１００は回帰モデル１０３に従って形状特徴空間１０４中の１点に写像される。形状特徴空間１０４は事前の非線形次元圧縮処理１１５により形状推定に有効な少数の成分のみからなる低次元の特徴空間に次元圧縮されている。
【００２４】
形状画像データベース１１０には、複数の車両形状画像１０７と、形状特徴空間１０４における当該車両形状画像１０７それぞれの座標との対応関係１０５が記憶されている。
【００２５】
例えば、各車両形状画像１０７が１２８×１２８画素であれば元の形状特徴空間は１２８×１２８次元の特徴空間であるが、これが５次元の特徴空間に次元圧縮されている。１２８×１２８次元ベクトルデータである車両形状画像１０７−１，１０７−２，１０７−３，…はそれぞれに対応する５次元ベクトルデータの座標値１０８−１，１０８−２，１０８−３，…と同一の識別番号が付与されて形状画像データベース１１０に格納されている。
【００２６】
これらの座標値は形状推定に有効な車両形状画像１０７それぞれの形状特徴量であると言うこともできる。
【００２７】
写像１０６は、対応関係１０５に基づき入力画像１００の写像値に対応する車両形状画像を検出することにより実現される。すなわち形状画像データベース１１０の中から入力画像１００の写像値と類似する（近接する）座標値）を検出し、検出された座標値に対応する車両形状画像を求めることで写像１０６が行われる。このとき、車両形状画像１０７の個数は有限であり、一般的には写像値がいずれかの座標値と完全一致することは殆どないため、写像１０６では、写像値と類似する複数の座標値を検出してこれらと対応する車両形状画像を類似度に応じて重み付け平均（合成１１１）することで推定形状画像１１２を求める。
【００２８】
〔形状推定システム１の構成〕
次に図２を参照して形状推定装置を含む形状推定システム１の構成について説明する。形状推定システム１は学習装置２、形状推定装置３及び不審車両監視装置４から構成される。
【００２９】
学習装置２は学習処理により車両形状画像の次元圧縮、回帰モデルの生成等を行う。学習後、学習装置２と形状推定装置３とが一時的に接続され、学習装置２は学習の結果として生成された情報を形状推定装置３に出力し、形状推定装置３はこれらの情報を格納する。
【００３０】
形状推定装置３には不審車両監視装置４が接続され、形状推定装置３は不審車両監視装置４が実行する不審車両の監視処理の一部を担う。
【００３１】
不審車両監視装置４は移動式の監視カメラ４０、車両識別器４１および不審車両判定部４２を含んで構成される。監視カメラ４０は駐車場を移動しながら順次撮像を行って駐車場画像を車両識別器４１に出力する。車両識別器４１には予め車両画像を用いて学習された車両有無の識別基準が設定されている。車両識別器４１は駐車場画像中の各所に順次矩形窓を設定して矩形窓内の画像が車両画像であるか否かを識別し、車両画像であると識別した矩形窓内の画像を切り出して形状推定装置３に入力する。
【００３２】
形状推定装置３は、入力画像に撮像されている車両の形状を推定し、推定形状画像を不審車両判定部４２に出力する。不審車両判定部４２は、車両画像に推定形状画像を重ね合わせて、車両領域における色など特徴量を分析し、予め登録された不審車両の特徴量と照合して不審車両か否かを判定する。推定形状画像と重ね合わせて得られる車両領域には背景が殆ど含まれないので、高精度な照合が可能となる。
【００３３】
［学習装置２の構成］
学習装置２は学習用記憶部２０、学習処理部２１および学習出力部２２を含んで構成され、パーソナルコンピューター等で実現される。学習用記憶部２０と学習出力部２２は学習処理部２１に接続されており、学習出力部２２はさらに形状推定装置３とも接続される。
【００３４】
学習用記憶部２０はハードディスクドライブ、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶して学習処理部２１との間でこれらの情報を入出力する。各種データには標本車両画像２００及び車両形状画像２０１が含まれる。
【００３５】
標本車両画像２００は、背景とともに様々な形状の車両がそれぞれに撮像された複数の車両画像であり、予め作成されて学習用記憶部２０に記憶されている。標本車両画像２００は様々な場所、アングルで、車両の様々な姿勢、様々な車種、車色の車両を撮影した画像から車両をほぼ中央に含む矩形を手作業等により切り出し、大きさを規格化（例えば１２８×１２８画素）して作成する。標本車両画像２００における車両の形状は様々でありその背景も様々である。標本車両画像２００は学習に十分な数だけ用意され、例えば２０００枚の標本車両画像２００が用意される。
【００３６】
車両形状画像２０１は、標本車両画像２００のそれぞれおける車両の輪郭形状をかたどった車両領域と車両領域以外である背景領域とに異なる画素値を設定した画像であり、予め作成されて学習用記憶部２０に記憶されている。学習用記憶部２０には、１枚の標本車両画像２００とそれに対応する車両形状画像２０１とで１ペアを為して同一の識別番号が付与され、複数ペアが記憶される。
【００３７】
車両形状画像２０１は、各標本車両画像２００における車両の輪郭画素を目視確認により特定することで作成される。例えば、特定された輪郭画素及び輪郭画素に囲まれる領域を車両領域として車両領域内の画素の画素値を２５５、車両領域以外の画素の画素値を０に設定する。標本形状画像２０１の大きさは規格化されており、本実施形態では標本車両画像２００と同じく１２８×１２８画素とする。但し、車両形状画像２０１の大きさは標本車両画像２００の大きさと同一でなくてもよい。
【００３８】
車両形状画像２０１はその画素値（輝度値）が座標順に画素数だけ並んだベクトル形式で車両の形状を表すデータである。
【００３９】
車両形状画像２０１は、標本車両画像２００から得られる輪郭形状の情報として過不足がなく正確であるため、学習における正解データとして精度が高く、推定の出力形式としても高精度で利用価値が高い。その上、車両形状画像２０１は標本車両画像２００に撮像された車両の輪郭形状を見た目そのままになぞるだけで正確に作成できる。これらの特性は見た目の形状が非線形に変化する対象物の画像に対しても失われない。
【００４０】
車両形状画像２０１を形状推定に用いる利点について、形状を規定数の特徴点、規定数の制御点或いは等間隔のサンプル点などの離散点で表現する場合との比較で説明する。
【００４１】
車両の見た目の形状は、そのアングル等によって非線形に変化するため、離散点で表現した形状データでは一貫した始点が定まらない。例えば前面バンパーの角による輪郭形状は、斜め前方からのアングルでは画像上に現れるが、他のアングルでは消失する。そのため、あるアングルでは前面バンパーの角の特徴点を形状データの始点に設定できても、他のアングルでは設定できず代替の始点を設定せざるを得なくなる。このように始点が一貫しない形状データ同士を比較すると始点のずれが誤差に含まれ、本来類似した形状同士が相違した形状として学習され、形状推定精度の低下を招く。一方、車両形状画像２０１であれば形状データの始点は常に画像の原点となるため、始点ずれの問題が生じない。
【００４２】
また車両の形状はルーフのように単純な部分とタイヤ付近のようにやや複雑な部分が混在して形成されるため、形状データを離散点で表現すると、複雑さに対する点の疎密が生じる。点が過疎な部分では形状情報の局所的な欠落により、点が過密な部分では形状情報の冗長性により本来類似した形状同士が相違した形状として学習され、形状推定精度の低下を招く。一方、車両形状画像２０１であれば後述するように車両領域間の重複度で形状の類似性を評価できるため、複雑さに対する疎密の問題が生じない。
【００４３】
ここで、車両形状画像２０１は、車両領域の画素値を２５５とし背景領域の画素値を０とした２値画像とすることもできるが、さらに車両領域と背景領域の境界付近近傍を平滑化処理した濃淡画像（多値画像）とすることで形状画像間の変化が滑らかとなり次元圧縮効率を高めることができる。
【００４４】
図３に濃淡画像で表した車両形状画像５００を例示する。同図において線５０１は車両領域の輪郭線であり輪郭線５０１上の画素が輪郭画素である。線５０２は輪郭線５０１から車両領域外側に一定距離だけ離れた外郭線、線５０３は輪郭画素から車両領域内側に一定距離だけ離れた内郭線である。グラフ５０４は車両形状画像５００における線分ａ−ｂ上の輝度値（画素値）を表している。
【００４５】
図３に例示した車両形状画像５００は、輪郭画素に中央輝度値である１２７を設定し、車両領域には各画素から最も近い輪郭画素までの距離を中央輝度値に加算して２５５でクリッピングさせた輝度値を設定し、背景領域には各画素から最も近い輪郭画素までの距離を中央輝度値から減算して０でクリッピングさせた画素値を設定することで平滑化処理される。このようにして車両形状画像には、車両領域（図３の横線領域と白抜き領域）において１２７以上２５５以下の画素値が輪郭からの距離に応じて連続的に設定され、背景領域（図３の縦線領域と斜め線領域）において０以上１２７未満の画素値が輪郭からの距離に応じて連続的に設定される。
【００４６】
以上のように作成された標本車両画像２００と車両形状画像２０１を図４に例示する。
【００４７】
学習処理部２１は、ＣＰＵ（Central Processing Unit）等の演算装置を用いて構成され、学習用記憶部２０からプログラムを読み出して実行することで非線形次元圧縮部２１０、輝度特徴抽出部２１１、回帰分析部２１２として機能する。
【００４８】
非線形次元圧縮部２１０は、車両形状画像の分布を表す形状特徴空間を所定の非線形次元圧縮処理により次元圧縮し、次元圧縮された形状特徴空間における各車両形状画像２０１の座標値（形状特徴量）を算出する。各車両形状画像２０１の座標値は、回帰分析部２１２に参照されるとともに、算出元の車両形状画像２０１と対応付けられて形状推定装置３に出力される。圧縮後の次元数Ｄは、元の形状画像の次元数よりも十分に小さく、対象物の形状変化に本質的に寄与する次元数として十分に大きな数が、実験等を通じて決定され、予め設定される（例えばＤ＝５）。
【００４９】
非線形次元圧縮処理は、ＬＬＥ（Locally Linear Embedding；ローカリー・リニア・エンベッディング）法により行なうことができる。ＬＬＥ法では、車両形状画像２０１のうち互いに類似する類似形状画像を選出しておき、類似形状画像間の近接関係を維持して次元圧縮が行なわれる。本発明では、車両形状画像間の類似性を判定する尺度にその車両領域同士の非重複度を用い、非重複度が基準を超えて小さい車両形状画像同士を類似形状画像と判定する。
【００５０】
非重複度は、形状画像間で対応する画素同士の画素値の差の二乗和の平方根とすることができる。また、別の実施形態では形状画像間で対応する画素同士の差の絶対値の和とすることができる。
【００５１】
非重複度に基づき選出される類似形状画像同士は現に車両領域の見た目の形状が類似するため、次元圧縮後の形状特徴空間における座標値が互いに近接関係にある車両形状画像２０１は現にその車両領域の形状が類似関係にあるものとすることができる。
【００５２】
以下、ＬＬＥ法を用いた非線形次元圧縮部２１０により行なわれる非線形次元圧縮処理の概要を説明する。圧縮後の次元数Ｄは例えば５に予め設定しておく。
【００５３】
まず非線形次元圧縮部２１０は、車両形状画像２０１のそれぞれについて他の車両形状画像との間で非重複度を算出して非重複度の昇順に上位ｎ個（ｎ＞１）を類似形状画像として選出する。
【００５４】
続いて非線形次元圧縮部２１０は、車両形状画像２０１のそれぞれをその類似形状画像の重み付け線形和で近似する各重みを導出する。すなわち非線形次元圧縮部２１０は次式１で表されるコスト関数ε（Ｗ）を最小化するＮ×Ｎ次元の重み行列Ｗを最小二乗法により導出する。
【数１】
ただし、Ｓｉ，Ｓｊは車両形状画像（１≦ｉ≦Ｎ，１≦ｊ≦Ｎ）、ＷｉｊはＳｉを近似する各Ｓｊの重みをi行j列の要素の値とした行列である。ただし、ＷｉｊにおいてＳｊがＳｉの類似形状画像として選出された（ｉ，ｊ）要素以外の値は０とする。
【００５５】
続いて非線形次元圧縮部２１０は、上記局所的な線形和を維持したまま車両形状画像２０１をＤ次元に次元圧縮する。すなわち非線形次元圧縮部２１０は次式２で表されるコスト関数Φ（Ｙ）を最小化するＤ×Ｎ次元の行列Ｙを導出する。
【数２】
ただし、Ｙｉ，ＹｊはＤ次元に次元圧縮された形状特徴空間における上記車両形状画像Ｓｉ，Ｓｊの座標値、Ｙは各Ｙｉをｉ列目のベクトルとするＤ×Ｎ次元の行列である。Ｗｉｊは式１に基づき求めた重みであり固定値として扱われる。このことが上述した類似形状画像間の近接関係維持を意味する。
【００５６】
非線形次元圧縮部２１０は、式２のコスト関数をそのまま用いるのではなく、式２を変形した次式３のコスト関数を最小化するＹを、Ｎ×Ｎ次元の行列Ｍを固有値分析することにより導出する。
【数３】
【数４】
ただし変形にあたりΣＹｉ＝０を仮定している。形状特徴空間は平行移動に不変であるためこのようにしても式３の一般性は失われない。なお、Ｙｉの集合の共分散行列が単位行列となるよう制限する。
【００５７】
非線形次元圧縮部２１０は、固有値分析された行列Ｍの各行を構成する固有ベクトルのうち固有値が２番目に小さな固有ベクトルから固有値が（Ｄ＋１）番目に小さな固有ベクトルまでを抜き出して並べたＤ×Ｎ次元の行列を生成し、当該行列の各列をＹｉとして抜き出す。こうして算出されたＮ個のＹｉがＤ次元形状特徴空間における車両形状画像２０１それぞれの座標値である。
【００５８】
本出願人は実験を重ねた結果、ＬＬＥ法を用いて車両形状画像を非線形次元圧縮処理し、その際に車両領域間の非重複度に基づき類似形状画像を選出することにより、１２８×１２８次元の形状特徴空間を５次元に次元圧縮したときに低次元且つ高い形状推定精度が得られるとの知見を得た。
【００５９】
図５は２次元に次元圧縮した形状特徴空間６００における車両形状画像の座標値の分布を例示したものである。また同図においては車両形状画像６０１〜６０７に対応する座標値を引き出し線で示している。この図から車両領域の形状が類似した（非重複度が小さな）車両形状画像６０２，６０３の座標値が近接関係にあり、これら以外の座標値は離れた関係にあることが分かる。
【００６０】
なお、ＬＬＥ法に代えてＩＳＯＭＡＰ（アイソマップ）法、ラプラシアン・アイゲンマップ（Laplacian Eigenmap）法を用いて非線形次元圧縮処理を行うこともできる。これらの方法を適用したときも類似形状画像を選出して類似形状画像間の近接関係を維持する次元圧縮が行なわれる。このとき非重複度に基づいて類似形状画像を行うことにより高精度な形状推定を実現可能な次元圧縮が可能となる。
【００６１】
輝度特徴抽出部２１１は、標本車両画像２００それぞれから各画素における輝度特徴量を抽出し、回帰分析部２１２に出力する。具体的には輝度特徴抽出部２１１は輝度特徴量としてＨＯＧ（Histogram Of Gradient）を抽出する。ＨＯＧは画像平面上の輝度勾配を勾配方向別にヒストグラム分析して得られる特徴量であり、照明変動の影響を受けにくい点で形状推定に適している。本実施形態において輝度特徴抽出部２１１は、標本車両画像２００中に４９個の小領域を設定し、各小領域において輝度勾配を９方向に量子化して各方向のヒストグラムを分析し、全小領域の分析結果を並べて輝度特徴量とする。このようにして得られる輝度特徴量は４９×９次元ベクトルのデータとなる。
【００６２】
なお、輝度特徴量はＨＯＧに限らず種々の特徴量を用いることができる。別の実施形態において輝度特徴抽出部２１１は、ＨＯＧに代えてＳＩＦＴ（Scale-Invariant Feature Transform）、ハール・ライク（Haar-like）特徴、ＳＵＲＦ（Speeded Up Robust Features）、又はシェイプ・コンテキスト（Shape Context）を輝度特徴量として抽出する。また、輝度特徴量として各画素の輝度値をそのまま利用することもでき、この場合は輝度特徴抽出部２１１を省略した構成とすることも可能である。
【００６３】
回帰分析部２１２は、各標本車両画像２００の輝度特徴量と当該標本車両画像２００に対応する車両形状画像２０１の形状特徴量（形状特徴空間における座標）との関係を回帰分析して、車両画像の輝度特徴空間から車両形状画像の形状特徴空間への写像関数を生成し、生成した写像関数を形状推定装置３に出力する。このような写像関数の生成が可能となったのは形状特徴空間を低次元化できたことによる。
【００６４】
具体的には回帰分析部２１２は、ブースティング回帰木（Boosted Regression Tree）法を用いて回帰分析を行う。
【００６５】
ブースティング回帰木法において、写像関数は複数段の回帰木（Regression Tree）の出力の重み付け和でモデル化され（回帰モデル）、学習はブースティング法により順次段数を増加させることにより行なわれる。次式５はブースティング回帰木法における回帰モデルを定式化したものである。
【数５】
但し、Ｆは回帰モデル、Ｘは入力画像の輝度特徴量、Ｍは回帰木の段数、νは予め設定される定数（０＜ν＜１）、ｈ（Ｘ；Ａｍ，Ｒｍ）はｍ段目の回帰木、Ｒｍはｍ種類目の分割パターンで所定の分割数に分割された輝度特徴空間７２０、Ａｍは分割されたＲｍそれぞれに属する標本車両画像２００と対応する車両形状画像２０１の座標値の平均値を表す。νは例えば０．１、Ｍは例えば１０００、分割数は例えば４に設定することができ、これらの値は予め設定しておく。分割パターンは各段の学習の都度、目標値と推定値の差を最小化するように決定される。
【００６６】
図５は回帰モデルを例示したものである。回帰木７００は式５における１段目の回帰木、回帰木７１０は同２段目の回帰木を表している。この例では分割数は４であり、各回帰木の根ノード７０１，７１１は車両画像の輝度特徴空間７２０の全体に対応し、各回帰木の葉ノード７０４〜７０７，７１４〜７１７は輝度特徴空間７２０が４分割された各空間Ｒ１，１〜Ｒ１，４，Ｒ２，１〜Ｒ２，４に対応する。根ノードと葉ノードは中間ノード７０２，７０３，７１２，７１３を介して接続され、根ノード及び各中間ノードには標本車両画像２００の輝度特徴量の一部に注目して輝度特徴空間７２０を尤もらしく分割する分割ルールが学習される。例えば、回帰木７００の根ノード７０１には車両画像の輝度特徴量の第４次成分値が閾値θ０より大きいか否かにより輝度特徴空間７２０をＲ１，１，Ｒ１，２の和空間とＲ１，３，Ｒ１，４の和空間とに最も近く分割するルール「ｘ５＞θ０？」が設定され、同回帰木７００の中間ノード７０２には車両画像の輝度特徴量の第５次成分値が閾値θ１より大きいか否かによりＲ１，１，Ｒ１，２の和空間をＲ１，１とＲ１，２とに最も近く分割するルール「ｘ５＞θ１？」が設定される。また、各葉ノードにはこの分割ルールにより分割された各空間に属する標本車両画像２００と対応する車両形状画像２０１の座標値の平均値が回帰木の出力値として設定される。
【００６７】
回帰分析部２１２は、これらＭ段の回帰木の根ノード及び各中間ノードにおける分割ルールと各葉ノードにおける出力値からなる回帰モデルを生成する。形状特徴空間は上述したように物体の輪郭形状変化に寄与する成分に次元圧縮され、回帰モデルは輝度特徴空間と上記形状特徴空間との関係を回帰分析して生成される。そのため回帰モデルを構成する分割ルールには、輝度特徴量の成分のうち、物体の輪郭形状変化に関係する成分が選択的に設定され、背景の形状や物体細部の形状に関係する成分は設定されにくい。このことによって背景の形状や物体細部の形状の影響を受けにくく高精度な形状推定が可能となる。
【００６８】
なお、ブースティング回帰木法に代えてＳＶＲ（サポート・ベクター・リグレッション）法を用いることもできる。
【００６９】
学習出力部２２は、学習処理部２１からの情報を形状推定装置３に出力する通信回路である。
【００７０】
［形状推定装置３の構成］
形状推定装置３は、推定用記憶部３０、入力画像取得部３１、推定処理部３２および形状出力部３３を含んで構成される。推定用記憶部３０、入力画像取得部３１および形状出力部３３は推定処理部３２に接続され、入力画像取得部３１および形状出力部３３はさらに不審車両監視装置４とも接続される。
【００７１】
推定用記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ等の記憶装置である。推定用記憶部３０は、各種プログラムや各種データを記憶し、推定処理部３２との間でこれらの情報を入出力する。各種データには、回帰モデル３００、形状画像データベース３０１が含まれる。
【００７２】
回帰モデル３００は、学習装置２の回帰分析部２１２により予め生成されたものであり、学習出力部２２を介して入力され、推定用記憶部３０に記憶される。
【００７３】
形状画像データベース３０１は、学習用記憶部２０に記憶されていた車両形状画像２０１と学習装置２の非線形次元圧縮部２１０により予め生成された車両形状画像２０１それぞれの形状特徴空間における座標値とを対応付けたデータ群である。これらは学習出力部２２を介して入力され、推定用記憶部３０に記憶される。
【００７４】
入力画像取得部３１は、形状推定処理の対象となる車両画像を不審車両監視装置４から入力する通信回路である。入力画像取得部３１は入力された車両画像（以下、入力画像と称する）を推定処理部３２に出力する。
【００７５】
推定処理部３２は、入力画像取得部３１からの入力画像を処理して入力画像中の車両形状に適合する車両形状画像を推定して推定結果を形状出力部３３に出力する。推定処理部３２は、ＣＰＵ、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、推定用記憶部３０からプログラムを読み出して実行することで輝度特徴抽出部３２０、入力画像写像部３２１、形状推定部３２２として機能する。
【００７６】
輝度特徴抽出部３２０は、入力画像から輝度特徴量を抽出し、抽出した輝度特徴量を入力画像写像部３２１に出力する。輝度特徴抽出部３２０が抽出する輝度特徴量は回帰モデル３００の学習に用いられた輝度特徴量と同種であり、輝度特徴抽出部３２０は輝度特徴抽出部２１１と同じ方法で輝度特徴量を抽出する。すなわち本実施形態においては輝度特徴抽出部３２０は４９個の小領域を設定し、各小領域において輝度勾配を９方向に量子化したＨＯＧを抽出する。上述したようにＨＯＧは画像平面上の輝度勾配であり、照明変動の影響を受けにくい点で形状推定に適している。なお、輝度特徴量として各画素の輝度値をそのまま利用する場合、輝度特徴抽出部３２０を省略した構成とすることも可能である。
【００７７】
入力画像写像部３２１は、回帰モデル３００に従って入力画像の輝度特徴量を形状特徴空間に写像することで、入力画像の写像値を算出する。この処理により入力画像は５次元の形状特徴空間の１点、すなわち入力画像中の車両の形状特徴を表す５次元ベクトルに写像される。
【００７８】
形状推定部３２２は、形状画像データベース３０１に記憶している車両形状画像の中からその座標値が入力画像の写像値と類似する車両形状画像を検出し、検出した車両形状画像の車両領域から入力画像に撮像されている車両の形状を求める。形状推定部３２２は求めた形状を形状画像と同様の画像形式（推定形状画像）で形状出力部３３に出力する。
【００７９】
具体的には形状推定部３２２は、形状画像データベース３０１に格納されている複数の車両形状画像の座標値と入力画像の写像値との距離を算出して、距離の昇順に予め設定された個数（ｋ＞０）の車両形状画像を検出し、検出した車両形状画像の平均画像を推定形状画像として出力する。このように写像値と類似した座標値を有する複数の車両形状画像を合成することで有限個数の車両形状画像からその中間形状を推定できるので、推定精度が向上する。
【００８０】
ｋ個の車両形状画像を検出する処理は、ｋ最近傍（ｋ−ＮＮ；k-nearest neighbour）法を用いて行うことができる。すなわち形状推定部３２２は、ｋ最近傍法を用いてｋ個の車両形状画像を検出し、検出したｋ個の車両形状画像を当該各画像の座標値と入力画像の写像値との距離に基づく類似度にて重み付けて平均化することで推定形状画像を生成する。重みｗすなわち類似度は距離ｄが小さいほど大きく、距離ｄが大きいほど小さく算出し、例えばｗ＝ｅｘｐ（−ｄ２）なる関数で算出する。
【００８１】
こうして出力される推定形状画像の各画素値は対応する入力画像の画素が車両領域であるか否かを表している。具体的には出力される推定形状画像において画素値が１２７以下の画素は背景領域、画素値が１２８以上の画素は車両領域であることを表す。
【００８２】
別の実施形態では形状推定部３２２は上記平均画像を車両領域と背景領域で２値化して推定形状画像を生成し出力する。
【００８３】
形状出力部３３は、推定処理部３２からの推定形状画像を不審車両監視装置４に出力する通信回路である。
【００８４】
〔形状推定システム１の動作〕
形状推定システム１の動作を、形状推定処理の事前に学習装置２が行なう動作と、形状推定装置３が行う形状推定処理の動作とに分けて説明する。
【００８５】
［学習装置２の動作］
図７のフローチャートを参照して、学習装置２の動作を説明する。
【００８６】
まず非線形次元圧縮部２１０は、学習記憶部２０から車両形状画像２０１を読み出し（Ｓ１０）、読み出した車両形状画像２０１に非線形次元圧縮処理を施してＤ次元の形状特徴空間における車両形状画像２０１それぞれの座標値を算出し（Ｓ１１）、算出した座標値を回帰分析部２１２に出力する。
【００８７】
次に輝度特徴抽出部２１１は、学習記憶部２０から標本車両画像２００を読み出し（Ｓ１２）、読み出した標本車両画像２００のそれぞれから輝度特徴量を抽出し（Ｓ１３）、抽出した各輝度特徴量を回帰分析部２１２に出力する。
【００８８】
続いて回帰分析部２１２は、車両画像の輝度特徴空間から車両形状画像の形状特徴空間への写像関数である回帰モデルを、ステップＳ１３にて算出された標本車両画像２００の輝度特徴量およびステップＳ１１にて算出された車両形状画像２０１の座標値を回帰分析することにより生成する（Ｓ１４）。
【００８９】
以上の処理が終わると、学習装置２は上記処理により生成・算出した情報を学習出力部２２経由で形状推定装置３に出力し（Ｓ１５）、形状推定装置３はこれらを推定用記憶部３０に格納する。すなわち、ステップＳ１４にて生成された回帰モデルは回帰モデル３００として格納され、車両形状画像２０１とその識別番号およびステップＳ１１にて算出した各車両形状画像２０１の座標値とその識別番号は形状画像データベース３０１として格納される。
【００９０】
［形状推定装置３の動作］
図８のフローチャートを参照して、形状推定装置３の動作を説明する。
【００９１】
形状推定装置３は、起動すると、まず不審車両検知装置４からの入力を待機する待機状態となる。待機状態では、車両画像入力部３１が定期的に入力画像の有無を確認する（Ｓ２０にてＮＯ→Ｓ２０）。不審車両検知装置４から画像が入力されると車両画像入力部３１が入力画像を推定処理部３２に入力して推定処理が始まる（Ｓ２０にてＹＥＳ→Ｓ２１）。
【００９２】
形状推定処理においては、まず推定処理部３２の輝度特徴抽出部３２０が入力画像から輝度特徴量、すなわちＨＯＧを抽出し、抽出した輝度特徴量を推定処理部３２の入力画像写像部３２１に出力する（Ｓ２１）。
【００９３】
続いて入力画像写像部３２１は、入力画像写像部３２１からの輝度特徴量を回帰モデル３００に入力してその出力を算出することにより、入力画像を形状特徴空間に写像し、算出された写像値を推定処理部３２の形状推定部３２２に出力する（Ｓ２２）。すなわち入力画像写像部３２１は、輝度特徴量の成分のうち各回帰木の根ノード及び中間ノードの分割ルールに設定されている成分を当該ノード設定されている閾値と比較して次のノードを決定する処理をいずれかの葉ノードに達するまで繰り返し、到達した葉ノードに設定されている出力値を取得する処理を全ての回帰木について行い、取得した全ての出力値の重み付き和を写像値として求める。
【００９４】
次に形状推定部３２２はｋ最近傍法により形状画像データベース３０１の中から入力画像の写像値の近傍に分布するｋ個の車両形状画像を選出し（Ｓ２３）、選出したｋ個の車両形状画像を平均処理して推定形状画像を生成する（Ｓ２４）。
【００９５】
続いて形状推定部３２２は、生成した推定形状画像を形状画像出力部３３経由で不審車両検知装置４に出力し（Ｓ２５）、再びステップＳ２０の待機状態に戻る。
【００９６】
上記実施形態においては、車両を対象物として形状推定を行う例を示したが、人または人の頭部などを対象物として形状推定を行う場合にも本発明を適用することができる。
【００９７】
また上記実施形態においては、不審車両検知処理のために形状推定を行う例を示したが、検索、姿勢推定、追跡など画像内の対象物を検出して処理する他の用途に用いることも可能である。
【符号の説明】
【００９８】
１・・・形状推定システム
２・・・学習装置
３・・・形状推定装置
４・・・不審車両監視装置
２０・・・学習用記憶部
２１・・・学習処理部
２２・・・学習出力部
３０・・・推定用記憶部
３１・・・入力画像取得部
３２・・・推定処理部
３３・・・形状出力部
４０・・・監視カメラ
４１・・・車両識別器
４２・・・不審車両判定部
１００・・・入力画像
１１２・・・推定形状画像
２００・・・標本車両画像
２０１、５００・・・車両形状画像
２１０・・・非線形次元圧縮部
２１１・・・輝度特徴量抽出部
２１２・・・回帰分析部
３００・・・回帰モデル
３０１・・・形状画像データベース
３２０・・・輝度特徴量抽出部
３２１・・・入力画像写像部
３２２・・・形状推定部
６００・・・形状特徴空間
７００、７１０・・・回帰木
【特許請求の範囲】
【請求項１】
画像中に撮像された所定物体の形状を推定する物体形状推定装置であって、
予め、様々な形状の前記所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、前記複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における前記形状画像それぞれの座標値と、前記所定物体が撮像された物体画像を前記形状特徴空間に写像する写像関数と、を記憶した記憶部と、
推定対象の前記所定物体が撮像された入力画像を取得する画像取得部と、
前記入力画像を前記写像関数により写像して写像値を算出する入力画像写像部と、
前記形状画像の中から前記座標値が前記写像値と類似する形状画像を検出し、前記検出した形状画像の前記物体領域から前記推定対象の形状を求める形状推定部と、
を備えたことを特徴とする物体形状推定装置。
【請求項２】
請求項１に記載の物体形状推定装置において、
前記特徴空間は、前記複数の形状画像のうち互いの前記物体領域同士の非重複度が所定基準より小さな類似形状画像の間で前記座標値の近接関係を維持して前記非線形次元圧縮処理された特徴空間であることを特徴とする物体形状推定装置。
【請求項３】
請求項２に記載の物体形状推定装置において、
前記形状特徴空間は、前記複数の形状画像にローカリー・リニア・エンベッディング法を適用して得られた特徴空間であることを特徴とする物体形状推定装置。
【請求項４】
請求項１〜３のいずれかひとつに記載の物体形状推定装置において、
前記形状推定部は、前記座標値と前記写像値との距離が近い順に所定数の形状画像を検出し、前記所定数の形状画像における前記物体領域を合成して前記推定対象の形状を求めることを特徴とする物体形状推定装置。
【請求項５】
請求項１〜４のいずれかひとつに記載の物体形状推定装置において、
前記形状画像は、前記物体領域と前記背景領域との境界付近における画素値が平滑化処理された画像であることを特徴とする物体形状推定装置。
【請求項６】
請求項１〜５のいずれかひとつに記載の物体形状推定装置において、
前記写像関数は、前記物体画像と前記形状特徴空間とを回帰分析することにより得られた回帰モデルであることを特徴とする物体形状推定装置。
【請求項１】
画像中に撮像された所定物体の形状を推定する物体形状推定装置であって、
予め、様々な形状の前記所定物体をかたどった物体領域と背景領域とに異なる画素値が設定された複数の形状画像と、前記複数の形状画像を非線形次元圧縮処理して得られた低次元の形状特徴空間における前記形状画像それぞれの座標値と、前記所定物体が撮像された物体画像を前記形状特徴空間に写像する写像関数と、を記憶した記憶部と、
推定対象の前記所定物体が撮像された入力画像を取得する画像取得部と、
前記入力画像を前記写像関数により写像して写像値を算出する入力画像写像部と、
前記形状画像の中から前記座標値が前記写像値と類似する形状画像を検出し、前記検出した形状画像の前記物体領域から前記推定対象の形状を求める形状推定部と、
を備えたことを特徴とする物体形状推定装置。
【請求項２】
請求項１に記載の物体形状推定装置において、
前記特徴空間は、前記複数の形状画像のうち互いの前記物体領域同士の非重複度が所定基準より小さな類似形状画像の間で前記座標値の近接関係を維持して前記非線形次元圧縮処理された特徴空間であることを特徴とする物体形状推定装置。
【請求項３】
請求項２に記載の物体形状推定装置において、
前記形状特徴空間は、前記複数の形状画像にローカリー・リニア・エンベッディング法を適用して得られた特徴空間であることを特徴とする物体形状推定装置。
【請求項４】
請求項１〜３のいずれかひとつに記載の物体形状推定装置において、
前記形状推定部は、前記座標値と前記写像値との距離が近い順に所定数の形状画像を検出し、前記所定数の形状画像における前記物体領域を合成して前記推定対象の形状を求めることを特徴とする物体形状推定装置。
【請求項５】
請求項１〜４のいずれかひとつに記載の物体形状推定装置において、
前記形状画像は、前記物体領域と前記背景領域との境界付近における画素値が平滑化処理された画像であることを特徴とする物体形状推定装置。
【請求項６】
請求項１〜５のいずれかひとつに記載の物体形状推定装置において、
前記写像関数は、前記物体画像と前記形状特徴空間とを回帰分析することにより得られた回帰モデルであることを特徴とする物体形状推定装置。
【図１】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【図３】
【図４】
【図２】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−３８６１（Ｐ２０１３−３８６１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４６７４（Ｐ２０１１−１３４６７４）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]