特徴点検出装置、およびそれを搭載した動画像処理装置
【課題】画像内から特徴点を検出するために、多くの演算量が必要とされる。
【解決手段】読出部２０は、画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す。フィルタ３０ａ〜ｄは、読出部２０によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施す。判定部４０は、フィルタ３０ａ〜ｄによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、注目画素を特徴点候補と判定する。読出部２０は、注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出す。
【解決手段】読出部２０は、画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す。フィルタ３０ａ〜ｄは、読出部２０によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施す。判定部４０は、フィルタ３０ａ〜ｄによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、注目画素を特徴点候補と判定する。読出部２０は、注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像内から特徴点を検出する特徴点検出装置、およびそれを搭載した動画像処理装置に関する。
【背景技術】
【０００２】
撮像された動画像内から動体を自動的に検知する車載カメラや監視カメラが普及してきている。動画像内から動体を検知する手法の一つに、オプティカルフローを算出して、動体を検知する手法がある。オプティカルフローとは、画像内のある点や図形がつぎの瞬間にどのような方向へ、どの程度の距離、移動するかを示すベクトルである。画像内のすべての画素についてオプティカルフローを算出すると、演算量が非常に多くなってしまうため、画像内の特徴点についてのみ算出するのが一般的である。
【０００３】
画像内から特徴点を抽出するための手法には、MoravecオペレータやSUSANオペレータなどを用いる手法がある。Moravecオペレータは、注目画素の画素値と、その周辺８画素の画素値との分散を求めるものである。SUSANオペレータは、画像内に設定された円形状のマスク領域内で、注目画素の画素値と、その周辺画素の画素値との絶対値差が所定のしきい値を超えている画素を計数するものである。
【０００４】
特許文献１は、画像において、局所的な特徴が変化する特徴点を検出する特徴点検出装置を開示する。その特徴点検出装置は、ハイパスフィルタおよび検出手段を備え、ハイパスフィルタは、注目画素を含む所定の領域を構成する画素の画素値の統計をとり、その統計結果に対応する値を、注目画素の新たな画素値として出力する。検出手段は、ハイパスフィルタより出力される当該画素値で構成される新たな画像の特徴点を検出する。
【特許文献１】特開平９−１６１０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特徴点抽出手法は、いずれも統計的手法を利用しており多くの演算量を必要とする。とくに、ハイパスフィルタを使用する手法は、微分演算を必要とする。したがって、それらの手法は、回路規模や演算時間の増大を招く。上述したような車載カメラの用途では、演算時間の短縮が強く求められる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、簡素な構成で高速に特徴点を検出することができる特徴点検出装置、およびそれを搭載した動画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の特徴点検出装置は、画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、簡素な構成で高速に特徴点を検出することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施の形態１に係る特徴点検出装置１００の構成を示すブロック図である。特徴点検出装置１００は、フレームバッファ１０、読出部２０、フィルタ部３０、および判定部４０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１１】
フレームバッファ１０は、入力される画像をフレーム単位で保持する。
読出部２０は、フレームバッファ１０に保持されたフレーム画像内に部分領域を設定し、その部分領域内の画素を読出対象とする。以下、縦ｎ画素×横ｍ画素（ｎ，ｍは３以上の整数）の矩形の窓領域を設定する例を説明する。なお、必ずしも矩形に設定する必要はなく、SUSANオペレータで設定されるような円形状の領域であってもよい。
【００１２】
読出部２０は、当該部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す。注目画素は、上記部分領域の中心画素に設定されてもよい。周辺画素は、当該注目画素に接している画素でもよいし、当該注目画素との間にｐ画素（ｐは自然数）挟んだ位置に存在する画素でもよい。以下、注目画素は、上記部分領域の中心画素とし、周辺画素は、その中心画素の両側に等間隔に位置する二つの画素とする例を説明する。
【００１３】
読出部２０は、注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出す。以下、四つの方向に読み出す例を説明する。読出部２０は、複数の方向にそれぞれ一列に読み出した複数の画素値列をフィルタ部３０に出力する。
【００１４】
フィルタ部３０は、複数の一次元フィルタ３０ａ〜３０ｄを備える。一次元フィルタ３０ａ〜３０ｄの数は、読出部２０で読み出される方向の数に対応する。図１の例では、四つである。一次元フィルタ３０ａ〜３０ｄは、読出部２０によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施す。
【００１５】
具体的には、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α（αは自然数）倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との差を求める。その差を出力結果として判定部４０に出力する。
【００１６】
判定部４０は、一次元フィルタ３０ａ〜３０ｄによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、注目画素を特徴点候補と判定する。具体的には、一次元フィルタ３０ａ〜３０ｄの出力結果のすべての正負符号が等しく、かつすべての絶対値が所定のしきい値を超えたとき、対象とされた注目画素を特徴点候補と判定する。ここで、所定のしきい値は、設計者が実験やシミュレーションにより求めた値に設定されることができる。
【００１７】
以上の処理がフレーム内のすべての画素または一部の画素について実行され、各フレームの特徴点候補が抽出される。
【００１８】
図２は、窓領域の各画素値に掛けられる係数の一例を示す。この例の上述したパラメータは、ｎ＝５、ｍ＝５、ｐ＝１、α＝１である。読出部２０は、５×５の窓領域において、水平方向ａ、垂直方向ｂ、第１斜め方向ｃ、および第２斜め方向ｄに画素値を読み出す。係数が零の画素値は読み出さない。
【００１９】
具体的には、水平方向ａに、周辺画素の画素値Ｃ（i-2,j）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j）を読み出す。垂直方向ｂに、周辺画素の画素値Ｃ（i,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i,j+2）を読み出す。第１斜め方向ｃに、周辺画素の画素値Ｃ（i-2,j+2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j-2）を読み出す。第２斜め方向ｄに、周辺画素の画素値Ｃ（i-2,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j+2）を読み出す。
【００２０】
一次元フィルタ３０ａ〜３０ｄは、それぞれ注目画素の画素値Ｃ（i,j）を２倍にする。図２の例では、α＝１であるため、周辺画素の画素値には係数を掛ける必要はない。
【００２１】
図３は、フィルタ部３０の構成例を示す。一次元フィルタ３０ａは、水平方向ａに読み出された画素値列を処理する。一次元フィルタ３０ｂは、垂直方向ｂに読み出された画素値列を処理する。一次元フィルタ３０ｃは、第１斜め方向ｃに読み出された画素値列を処理する。一次元フィルタ３０ｄは、第２斜め方向ｄに読み出された画素値列を処理する。
【００２２】
一次元フィルタ３０ａは、第１乗算部３２ａ、第２乗算部３４ａ、第３乗算部３６ａ、加算部３８ａ、および減算部３９ａを備える。第１乗算部３２ａは、注目画素の画素値Ｃ（i,j）を２α倍する。第２乗算部３４ａは、周辺画素の画素値Ｃ（i-2,j）をα倍する。第３乗算部３６ａは、周辺画素の画素値Ｃ（i+2,j）をα倍する。加算部３８ａは、第２乗算部３４ａの出力値と、第３乗算部３６ａの出力値を加算する。減算部３９ａは、第１乗算部３２ａの出力値と、加算部３８ａの出力値との差を算出する。減算部３９ａは、その差を出力値Ｙａとして判定部４０に出力する。
【００２３】
一次元フィルタ３０ｂ〜ｄの構成は、一次元フィルタ３０ａの構成と同様のため説明を省略する。フィルタ部３０は、読み出された方向数に対応した四つの出力値Ｙａ〜Ｙｄを判定部４０に出力する。
【００２４】
図４は、判定部４０の構成例を示す。判定部４０は、複数の絶対値変換部４２ａ〜ｄ、複数の比較部４４ａ〜ｄ、正負符号比較部４５、ＡＮＤ回路４６、スイッチＳＷ１、および特徴点格納部４８を備える。図４では、図３に示したフィルタ部３０の四つの出力値Ｙａ〜Ｙｄを受けるため、絶対値変換部４２ａ〜ｄおよび比較部４４ａ〜ｄは、四つずつ設けられる。
【００２５】
絶対値変換部４２ａ〜ｄは、フィルタ部３０の四つの出力値Ｙａ〜Ｙｄの符号をとり、その出力値Ｙａ〜Ｙｄの絶対値を出力する。比較部４４ａ〜ｄは、絶対値変換部４２ａ〜ｄの出力値と、所定のしきい値とをそれぞれ比較する。たとえば、前者が後者を超えたとき、有意な信号を出力し、超えないとき、非有意な信号を出力する。正負符号比較部４５は、出力値Ｙａ〜Ｙｄの正負符号がすべて一致した場合、有意な信号を出力し、どれかひとつでも異なる符号の場合、非有意な信号を出力する。ＡＮＤ回路４６は、複数の比較部４４ａ〜ｄの出力信号および正負符号比較部４５の出力信号がすべて有意な信号である場合、有意な信号を出力する。ひとつでも非有意な信号が含まれる場合、非有意な信号を出力する。ここで、有意な信号はハイレベル信号、非有意な信号はローレベル信号であってもよい。
【００２６】
特徴点格納部４８は、ＡＮＤ回路４６の出力信号が有意なときの注目画素の位置情報（i,j）を特徴点候補として格納する。図４では、ＡＮＤ回路４６の出力信号でスイッチＳＷ１のオンオフを制御する例であり、ＡＮＤ回路４６の出力信号が有意なとき、スイッチＳＷ１がオンし、注目画素の位置情報（i,j）が特徴点格納部４８に格納される。特徴点格納部４８に格納された位置情報（i,j）で特定される画素は、そのまま特徴点に設定されてもよいし、別のフィルタでさらに絞り込まれてもよい。たとえば、複数の特徴点候補が近傍に位置する場合、出力値Ｙａ〜Ｙｄの合計が一番大きい画素を特徴点に採用してもよい。
【００２７】
以上説明したように本実施の形態によれば、統計的演算や微分演算、および平均化などの前処理が必要なく、簡単な演算処理および判定処理で特徴点または特徴点候補を検出することができる。簡単な演算処理および判定処理であるため、処理を高速化することができる。また、フィルタ部３０および判定部４０をハードウェアで構成した場合、回路規模を抑えつつ、ソフトウェア処理する場合より高速化することができる。とくに、α＝１に設定した場合、乗算器の数を少なくすることができ、回路規模をより小さくすることができる。
【００２８】
また、水平方向および垂直方向だけでなく、斜め方向にも一次元フィルタをかけるため、高精細な検出が可能である。また、複数の方向において画素値の変化割合が大きい画素、すなわち孤立度合いが高い画素を検出するため、孤立点やコーナーを効果的に検出することができる。この点、Moravecオペレータは、エッジを有効に検出することができるが、注目画素の画素値とその周辺８画素の画素値との偏差が平均化されるため、コーナーを効果的に検出することは難しい。
【００２９】
SUSANオペレータは、画素値が不連続に変化する凸領域の曲率の頂点を探索するアルゴリズムであり、コーナーの検出に有効であるが、参照画素が多く、演算量および回路規模が大きくなってしまう。この点、本実施の形態に係るアルゴリズムは、SUSANオペレータと比較し、演算量および回路規模を大幅に低減しつつ、SUSANオペレータと同等のコーナー検出精度を得ることができる。
【００３０】
つぎに、実施の形態１に係る特徴点検出装置１００を適用した動画像処理システムについて説明する。
図５は、実施の形態２に係る動画像処理システム２００の構成を示す。動画像処理システム２００は、撮像部２１０および動画像処理装置２２０を備える。撮像部２１０は、撮像素子６０および信号処理部６２を有する。動画像処理装置２２０は、フレームバッファ７０、対象フレーム選択部７２、参照フレーム選択部７４、オプティカルフロー検出部７６および後処理部８０を有する。オプティカルフロー検出部７６は、特徴点検出装置１００およびオプティカルフロー演算部７８を含む。
【００３１】
動画像処理装置２２０の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３２】
撮像部２１０は、車両などの移動体や、壁や柱などの建造物に搭載され、動画像を撮像して動画像処理装置２２０に出力する。以下、車両に搭載される例で説明する。撮像素子６０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられ、入射光を電気信号に変換し、信号処理部６２に出力する。
【００３３】
信号処理部６２は、撮像素子６０から入力されるアナログ信号をデジタル信号に変換する。また、平滑化フィルタを備え、動画像処理装置２２０に対して出力する画像データに対して平滑化処理を施してもよい。また、その他のノイズ除去処理を施してもよい。
【００３４】
動画像処理装置２２０は、撮像部２１０から入力される画像データからオプティカルフローを検出する。フレームバッファ７０は、ｑ（ｑは自然数）フレーム分、格納する領域を持ち、撮像部２１０から入力される画像データを一時格納する。領域が溢れた場合、先に入力された画像フレームから順番に破棄する。フレームバッファ７０に格納された画像フレームは、対象フレーム選択部７２および参照フレーム選択部７４に出力される。
【００３５】
対象フレーム選択部７２は、フレームバッファ７０内のフレームを順番にオプティカルフロー検出部７６に出力する。また、フレームバッファ７０内のフレームを適宜、間引いて、出力してもよい。参照フレーム選択部７４は、対象フレーム選択部７２で選択されたフレームの参照すべき参照フレームを選択し、フレームバッファ７０内から取得する。
【００３６】
参照フレーム選択部７４は、車両内の速度センサから速度情報を取得し、図示しないルックアップテーブルを参照して、取得した速度情報に関連付けられたフレーム間隔を特定してもよい。このルックアップテーブルは、速度情報とフレーム間隔を関連付けて管理する。速度情報とフレーム間隔との関係は、設計者による実験やシミュレーションにより決定された関係に設定される。
【００３７】
オプティカルフロー検出部７６は、対象フレームと参照フレームとを用いて、オプティカルフローを検出する。特徴点検出装置１００は、実施の形態１で説明した装置であり、対象フレーム選択部７２により選択された対象フレーム内から特徴点を抽出する。なお、解像度の異なる複数の階層で実行してもよい。
【００３８】
上述したｎ×ｍの部分領域の位置は、速度情報および操舵角情報の少なくとも一方に基づき、決定されてもよい。速度情報および操舵角情報の少なくとも一方から、部分領域の位置を決定する処理は、図示しないルックアップテーブルを参照して、実行されてもよい。
【００３９】
特徴点検出装置１００は、抽出した特徴点の座標と画素値をオプティカルフロー演算部７８に出力する。オプティカルフロー演算部７８は、対象フレーム選択部７２により選択された対象フレーム、特徴点検出装置１００から入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、オプティカルフローを算出する。より具体的には、対象フレームの特徴点に対応する点を、参照フレーム内で探索する。
【００４０】
後処理部８０は、オプティカルフロー検出部７６から出力されたオプティカルフローに対して所定の後処理を施す。たとえば、入力されるオプティカルフローから、撮像部２１０自体の移動による成分を差し引く処理を行ってもよい。また、ノイズを除去するため、入力されるオプティカルフローの長さを所定のしきい値と比較して、有効とすべきオプティカルフローの長さを制限する処理を行ってもよい。また、オプティカルフロー検出部７６から出力されたオプティカルフローの長さの平均値を算出してもよい。ノイズ除去用のしきい値は、あらかじめ設定された値でもよいし、当該平均値またはその平均値を調整した値であってもよい。
【００４１】
図示しない任意のユーザインタフェースは、後処理部８０から出力されたオプティカルフローをもとに危険な対象の出現をユーザに認識させる。たとえば、表示部にオプティカルフローを単純に表示してもよいし、車両との距離に応じて定められる、危険とされる長さのオプティカルフローのみを表示してもよい。また、その危険とされる長さのオプティカルフローが発生した場合、スピーカから警告音を発してもよい。さらに、車両の制動系に制御信号を出力してもよい。
【００４２】
以上説明したように実施の形態２によれば、オプティカルフロー算出の前処理として、実施の形態１に係る特徴点検出装置１００を利用して、算出対象とすべき特徴点を検出することにより、オプティカルフロー算出処理を高速化することが可能である。車載カメラなどの用途では、緊急性が高いため高速化の要請が強く、実施の形態１に係る特徴点検出装置１００を利用する効果が大きい。
【００４３】
つぎに、実施の形態３について説明する。実施の形態３は、オプティカルフローを検出する際、フレーム内の複数の領域ごとにそれぞれ設定された条件でオプティカルフローを算出する。たとえば、その条件は、車両の速度や操舵角を参照して決定される。
【００４４】
図６は、実施の形態３に係る動画像処理システム３００の構成を示す。実施の形態３に係る動画像処理システム３００の構成は、実施の形態２に係る動画像処理システム２００の構成を拡張したものである。以下、追加された構成を中心に説明する。
【００４５】
まず、撮像部２１０、フレームバッファ７０、および対象フレーム選択部７２の構成は、実施の形態２に係る動画像処理システム２００の構成と同様である。参照フレーム選択部７４は、車両内の車速センサから速度情報を取得し、ルックアップテーブル７５を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。その際、複数の領域ごとに異なるフレーム間隔を特定してもよい。なお、フレーム間隔は、固定でも、適応的に制御されてもよい。
【００４６】
ルックアップテーブル７５は、速度情報および操舵角情報の少なくとも一方の車両状態と、以下のパラメータを関連付けて管理する。当該パラメータには、少なくとも注目領域の位置が含まれる。たとえば、速度が速い場合、フレーム領域の上方に注目領域が設定され、遅い場合、下方に設定される。また、操舵角情報により車両が右に曲がっている場合、フレーム領域の右方に設定され、左に曲がっている場合、左方に設定される。
【００４７】
その他、当該パラメータには、対象フレームと参照フレームとのフレーム間隔、オプティカルフローを算出する際の画像の解像度、および無効にすべきオプティカルフローを判定するためのしきい値のうち、少なくとも一つが含まれてもよい。これらの関連付けは、設計者による実験やシミュレーションにより決定された関係に設定される。
【００４８】
オプティカルフロー検出部７６は、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、パラメータ決定部７７、第１オプティカルフロー演算部７８ａおよび第２オプティカルフロー演算部７８ｂを備える。特徴点検出装置１００およびオプティカルフロー演算部７８はそれぞれ二つ設けられているが、これは、フレーム領域に二つの注目領域が設定されることに対応する。三つ以上設定される場合、三つ以上の特徴点検出装置１００およびオプティカルフロー演算部７８がそれぞれ設けられる。
【００４９】
第１特徴点検出装置１００ａおよび第２特徴点検出装置１００ｂは、実施の形態１に係る特徴点検出装置１００を利用することができる。上述したｎ×ｍの部分領域は、パラメータ決定部７７から指定される注目領域の位置に基づき、設定される。なお、実施の形態１で説明したα、ｐの値は、それぞれ要求される仕様に応じて、異なってもよい。
【００５０】
パラメータ決定部７７は、車両内の速度センサおよび操舵角センサの少なくとも一方から、速度情報および操舵角情報の少なくとも一方を取得し、ルックアップテーブル７５を参照して、取得した情報に関連付けられた各種パラメータを取得する。
【００５１】
パラメータ決定部７７は、注目領域の位置をルックアップテーブル７５から取得し、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、第１オプティカルフロー演算部７８ａ、および第２オプティカルフロー演算部７８ｂに設定する。なお、ノイズ除去用のしきい値を取得した場合、第１閾値判定部８２ａおよび第２閾値判定部８２ｂに設定する。
【００５２】
第１オプティカルフロー演算部７８ａは、対象フレーム選択部７２により選択された対象フレーム、第１特徴点検出装置１００ａから入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、注目領域のオプティカルフローを算出する。第２オプティカルフロー演算部７８ｂも、別の注目領域について同様に処理する。
【００５３】
後処理部８０は、第１閾値判定部８２ａおよび第２閾値判定部８２ｂを含む。第１閾値判定部８２ａは、パラメータ決定部７７から設定されたしきい値と、第１オプティカルフロー演算部７８ａから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。第２閾値判定部８２ｂは、パラメータ決定部７７から設定された閾値と、第２オプティカルフロー演算部７８ｂから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。
【００５４】
以上説明したように実施の形態３によれば、実施の形態２と同様の効果を奏する。さらに、注目領域ごとに最適なパラメータを設定することにより、トレードオフ関係にある精度と速度をきめ細かく調整することができる。
【００５５】
以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
たとえば、上述した一次元フィルタ３０ａ〜３０ｄのそれぞれが、暗い特徴点を検出するフィルタ、および明るい特徴点を検出するフィルタの二つのフィルタを備えてもよい。
図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ａ）、（ｂ）は、図２の変形例である。
【００５７】
図７（ａ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を−２α倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、−２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ａ）に示す係数は、注目画素の画素値が低い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。
【００５８】
一方、図７（ｂ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α倍し、その二つの周辺画素の画素値をそれぞれ−α倍する。一次元フィルタ３０ａ〜３０ｄは、−α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ｂ）に示す係数は、注目画素の画素値が高い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。
【００５９】
図７（ａ）と図７（ｂ）を両方実装し、判定部４０が正の出力結果を採用することにより、判定部４０に絶対値変換部４２ａ〜ｄを設ける必要がなくなり、判定部４０の構成を簡素化することができる。また、図７（ａ）と図７（ｂ）を順番にソフトウェア処理で実現してもよい。この場合、実施の形態１と比較し、回路全体の構成を簡素化することができる。
【００６０】
実施の形態２では、パラメータ決定部７７から指定される注目領域の位置に基づき、上記部分領域の位置が設定される例を説明した。この点、特徴点検出装置１００が監視カメラなどの定点カメラに搭載される場合、あらかじめ上記部分領域の位置を設定してもよい。これよれば、すべての画素を特徴点の検出対象とする必要がなくなり、演算量を大幅に低減することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態１に係る特徴点検出装置の構成を示すブロック図である。
【図２】窓領域の各画素値に掛けられる係数の一例を示す図である。
【図３】フィルタ部の構成例を示す図である。
【図４】判定部の構成例を示す図である。
【図５】実施の形態２に係る動画像処理システムの構成を示す図である。
【図６】実施の形態３に係る動画像処理システムの構成を示す図である。
【図７】図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。
【符号の説明】
【００６２】
１０ フレームバッファ、 ２０ 読出部、 ３０ フィルタ部、 ３０ａ フィルタａ、 ３０ｂ フィルタｂ、 ３０ｃ フィルタｃ、 ３０ｄ フィルタｄ、 ３２ａ 第１乗算部、 ３４ａ 第２乗算部、 ３６ａ 第３乗算部、 ３８ 加算部、 ３９ 減算部、 ４０ 判定部、 ４２ａ 絶対値変換部ａ、 ４２ｂ 絶対値変換部ｂ、 ４２ｃ 絶対値変換部ｃ、 ４２ｄ 絶対値変換部ｄ、 ４４ａ 比較部ａ、 ４４ｂ 比較部ｂ、 ４４ｃ 比較部ｃ、 ４４ｄ 比較部ｄ、 ４５ 正負符号比較部、 ４６ ＡＮＤ回路、 ＳＷ１ スイッチ、 ４８ 特徴点格納部、 ６０ 撮像素子、 ６２ 信号処理部、 ７０ フレームバッファ、 ７２ 対象フレーム選択部、 ７４ 参照フレーム選択部、 ７５ ルックアップテーブル、 ７６ オプティカルフロー検出部、 ７７ パラメータ決定部、 ７８ オプティカルフロー演算部、 ７８ａ 第１オプティカルフロー演算部、 ７８ｂ 第２オプティカルフロー演算部、 ８０ 後処理部、 ８２ａ 第１閾値判定部、 ８２ｂ 第２閾値判定部、 １００ 特徴点検出装置、 ２００ 動画像処理システム、 ２１０ 撮像部、 ２２０ 動画像処理装置。
【技術分野】
【０００１】
本発明は、撮像された画像内から特徴点を検出する特徴点検出装置、およびそれを搭載した動画像処理装置に関する。
【背景技術】
【０００２】
撮像された動画像内から動体を自動的に検知する車載カメラや監視カメラが普及してきている。動画像内から動体を検知する手法の一つに、オプティカルフローを算出して、動体を検知する手法がある。オプティカルフローとは、画像内のある点や図形がつぎの瞬間にどのような方向へ、どの程度の距離、移動するかを示すベクトルである。画像内のすべての画素についてオプティカルフローを算出すると、演算量が非常に多くなってしまうため、画像内の特徴点についてのみ算出するのが一般的である。
【０００３】
画像内から特徴点を抽出するための手法には、MoravecオペレータやSUSANオペレータなどを用いる手法がある。Moravecオペレータは、注目画素の画素値と、その周辺８画素の画素値との分散を求めるものである。SUSANオペレータは、画像内に設定された円形状のマスク領域内で、注目画素の画素値と、その周辺画素の画素値との絶対値差が所定のしきい値を超えている画素を計数するものである。
【０００４】
特許文献１は、画像において、局所的な特徴が変化する特徴点を検出する特徴点検出装置を開示する。その特徴点検出装置は、ハイパスフィルタおよび検出手段を備え、ハイパスフィルタは、注目画素を含む所定の領域を構成する画素の画素値の統計をとり、その統計結果に対応する値を、注目画素の新たな画素値として出力する。検出手段は、ハイパスフィルタより出力される当該画素値で構成される新たな画像の特徴点を検出する。
【特許文献１】特開平９−１６１０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特徴点抽出手法は、いずれも統計的手法を利用しており多くの演算量を必要とする。とくに、ハイパスフィルタを使用する手法は、微分演算を必要とする。したがって、それらの手法は、回路規模や演算時間の増大を招く。上述したような車載カメラの用途では、演算時間の短縮が強く求められる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、簡素な構成で高速に特徴点を検出することができる特徴点検出装置、およびそれを搭載した動画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の特徴点検出装置は、画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、を備える。
【０００８】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、簡素な構成で高速に特徴点を検出することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施の形態１に係る特徴点検出装置１００の構成を示すブロック図である。特徴点検出装置１００は、フレームバッファ１０、読出部２０、フィルタ部３０、および判定部４０を備える。これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１１】
フレームバッファ１０は、入力される画像をフレーム単位で保持する。
読出部２０は、フレームバッファ１０に保持されたフレーム画像内に部分領域を設定し、その部分領域内の画素を読出対象とする。以下、縦ｎ画素×横ｍ画素（ｎ，ｍは３以上の整数）の矩形の窓領域を設定する例を説明する。なお、必ずしも矩形に設定する必要はなく、SUSANオペレータで設定されるような円形状の領域であってもよい。
【００１２】
読出部２０は、当該部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す。注目画素は、上記部分領域の中心画素に設定されてもよい。周辺画素は、当該注目画素に接している画素でもよいし、当該注目画素との間にｐ画素（ｐは自然数）挟んだ位置に存在する画素でもよい。以下、注目画素は、上記部分領域の中心画素とし、周辺画素は、その中心画素の両側に等間隔に位置する二つの画素とする例を説明する。
【００１３】
読出部２０は、注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出す。以下、四つの方向に読み出す例を説明する。読出部２０は、複数の方向にそれぞれ一列に読み出した複数の画素値列をフィルタ部３０に出力する。
【００１４】
フィルタ部３０は、複数の一次元フィルタ３０ａ〜３０ｄを備える。一次元フィルタ３０ａ〜３０ｄの数は、読出部２０で読み出される方向の数に対応する。図１の例では、四つである。一次元フィルタ３０ａ〜３０ｄは、読出部２０によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施す。
【００１５】
具体的には、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α（αは自然数）倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との差を求める。その差を出力結果として判定部４０に出力する。
【００１６】
判定部４０は、一次元フィルタ３０ａ〜３０ｄによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、注目画素を特徴点候補と判定する。具体的には、一次元フィルタ３０ａ〜３０ｄの出力結果のすべての正負符号が等しく、かつすべての絶対値が所定のしきい値を超えたとき、対象とされた注目画素を特徴点候補と判定する。ここで、所定のしきい値は、設計者が実験やシミュレーションにより求めた値に設定されることができる。
【００１７】
以上の処理がフレーム内のすべての画素または一部の画素について実行され、各フレームの特徴点候補が抽出される。
【００１８】
図２は、窓領域の各画素値に掛けられる係数の一例を示す。この例の上述したパラメータは、ｎ＝５、ｍ＝５、ｐ＝１、α＝１である。読出部２０は、５×５の窓領域において、水平方向ａ、垂直方向ｂ、第１斜め方向ｃ、および第２斜め方向ｄに画素値を読み出す。係数が零の画素値は読み出さない。
【００１９】
具体的には、水平方向ａに、周辺画素の画素値Ｃ（i-2,j）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j）を読み出す。垂直方向ｂに、周辺画素の画素値Ｃ（i,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i,j+2）を読み出す。第１斜め方向ｃに、周辺画素の画素値Ｃ（i-2,j+2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j-2）を読み出す。第２斜め方向ｄに、周辺画素の画素値Ｃ（i-2,j-2）、注目画素の画素値Ｃ（i,j）、および周辺画素の画素値Ｃ（i+2,j+2）を読み出す。
【００２０】
一次元フィルタ３０ａ〜３０ｄは、それぞれ注目画素の画素値Ｃ（i,j）を２倍にする。図２の例では、α＝１であるため、周辺画素の画素値には係数を掛ける必要はない。
【００２１】
図３は、フィルタ部３０の構成例を示す。一次元フィルタ３０ａは、水平方向ａに読み出された画素値列を処理する。一次元フィルタ３０ｂは、垂直方向ｂに読み出された画素値列を処理する。一次元フィルタ３０ｃは、第１斜め方向ｃに読み出された画素値列を処理する。一次元フィルタ３０ｄは、第２斜め方向ｄに読み出された画素値列を処理する。
【００２２】
一次元フィルタ３０ａは、第１乗算部３２ａ、第２乗算部３４ａ、第３乗算部３６ａ、加算部３８ａ、および減算部３９ａを備える。第１乗算部３２ａは、注目画素の画素値Ｃ（i,j）を２α倍する。第２乗算部３４ａは、周辺画素の画素値Ｃ（i-2,j）をα倍する。第３乗算部３６ａは、周辺画素の画素値Ｃ（i+2,j）をα倍する。加算部３８ａは、第２乗算部３４ａの出力値と、第３乗算部３６ａの出力値を加算する。減算部３９ａは、第１乗算部３２ａの出力値と、加算部３８ａの出力値との差を算出する。減算部３９ａは、その差を出力値Ｙａとして判定部４０に出力する。
【００２３】
一次元フィルタ３０ｂ〜ｄの構成は、一次元フィルタ３０ａの構成と同様のため説明を省略する。フィルタ部３０は、読み出された方向数に対応した四つの出力値Ｙａ〜Ｙｄを判定部４０に出力する。
【００２４】
図４は、判定部４０の構成例を示す。判定部４０は、複数の絶対値変換部４２ａ〜ｄ、複数の比較部４４ａ〜ｄ、正負符号比較部４５、ＡＮＤ回路４６、スイッチＳＷ１、および特徴点格納部４８を備える。図４では、図３に示したフィルタ部３０の四つの出力値Ｙａ〜Ｙｄを受けるため、絶対値変換部４２ａ〜ｄおよび比較部４４ａ〜ｄは、四つずつ設けられる。
【００２５】
絶対値変換部４２ａ〜ｄは、フィルタ部３０の四つの出力値Ｙａ〜Ｙｄの符号をとり、その出力値Ｙａ〜Ｙｄの絶対値を出力する。比較部４４ａ〜ｄは、絶対値変換部４２ａ〜ｄの出力値と、所定のしきい値とをそれぞれ比較する。たとえば、前者が後者を超えたとき、有意な信号を出力し、超えないとき、非有意な信号を出力する。正負符号比較部４５は、出力値Ｙａ〜Ｙｄの正負符号がすべて一致した場合、有意な信号を出力し、どれかひとつでも異なる符号の場合、非有意な信号を出力する。ＡＮＤ回路４６は、複数の比較部４４ａ〜ｄの出力信号および正負符号比較部４５の出力信号がすべて有意な信号である場合、有意な信号を出力する。ひとつでも非有意な信号が含まれる場合、非有意な信号を出力する。ここで、有意な信号はハイレベル信号、非有意な信号はローレベル信号であってもよい。
【００２６】
特徴点格納部４８は、ＡＮＤ回路４６の出力信号が有意なときの注目画素の位置情報（i,j）を特徴点候補として格納する。図４では、ＡＮＤ回路４６の出力信号でスイッチＳＷ１のオンオフを制御する例であり、ＡＮＤ回路４６の出力信号が有意なとき、スイッチＳＷ１がオンし、注目画素の位置情報（i,j）が特徴点格納部４８に格納される。特徴点格納部４８に格納された位置情報（i,j）で特定される画素は、そのまま特徴点に設定されてもよいし、別のフィルタでさらに絞り込まれてもよい。たとえば、複数の特徴点候補が近傍に位置する場合、出力値Ｙａ〜Ｙｄの合計が一番大きい画素を特徴点に採用してもよい。
【００２７】
以上説明したように本実施の形態によれば、統計的演算や微分演算、および平均化などの前処理が必要なく、簡単な演算処理および判定処理で特徴点または特徴点候補を検出することができる。簡単な演算処理および判定処理であるため、処理を高速化することができる。また、フィルタ部３０および判定部４０をハードウェアで構成した場合、回路規模を抑えつつ、ソフトウェア処理する場合より高速化することができる。とくに、α＝１に設定した場合、乗算器の数を少なくすることができ、回路規模をより小さくすることができる。
【００２８】
また、水平方向および垂直方向だけでなく、斜め方向にも一次元フィルタをかけるため、高精細な検出が可能である。また、複数の方向において画素値の変化割合が大きい画素、すなわち孤立度合いが高い画素を検出するため、孤立点やコーナーを効果的に検出することができる。この点、Moravecオペレータは、エッジを有効に検出することができるが、注目画素の画素値とその周辺８画素の画素値との偏差が平均化されるため、コーナーを効果的に検出することは難しい。
【００２９】
SUSANオペレータは、画素値が不連続に変化する凸領域の曲率の頂点を探索するアルゴリズムであり、コーナーの検出に有効であるが、参照画素が多く、演算量および回路規模が大きくなってしまう。この点、本実施の形態に係るアルゴリズムは、SUSANオペレータと比較し、演算量および回路規模を大幅に低減しつつ、SUSANオペレータと同等のコーナー検出精度を得ることができる。
【００３０】
つぎに、実施の形態１に係る特徴点検出装置１００を適用した動画像処理システムについて説明する。
図５は、実施の形態２に係る動画像処理システム２００の構成を示す。動画像処理システム２００は、撮像部２１０および動画像処理装置２２０を備える。撮像部２１０は、撮像素子６０および信号処理部６２を有する。動画像処理装置２２０は、フレームバッファ７０、対象フレーム選択部７２、参照フレーム選択部７４、オプティカルフロー検出部７６および後処理部８０を有する。オプティカルフロー検出部７６は、特徴点検出装置１００およびオプティカルフロー演算部７８を含む。
【００３１】
動画像処理装置２２０の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００３２】
撮像部２１０は、車両などの移動体や、壁や柱などの建造物に搭載され、動画像を撮像して動画像処理装置２２０に出力する。以下、車両に搭載される例で説明する。撮像素子６０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどが用いられ、入射光を電気信号に変換し、信号処理部６２に出力する。
【００３３】
信号処理部６２は、撮像素子６０から入力されるアナログ信号をデジタル信号に変換する。また、平滑化フィルタを備え、動画像処理装置２２０に対して出力する画像データに対して平滑化処理を施してもよい。また、その他のノイズ除去処理を施してもよい。
【００３４】
動画像処理装置２２０は、撮像部２１０から入力される画像データからオプティカルフローを検出する。フレームバッファ７０は、ｑ（ｑは自然数）フレーム分、格納する領域を持ち、撮像部２１０から入力される画像データを一時格納する。領域が溢れた場合、先に入力された画像フレームから順番に破棄する。フレームバッファ７０に格納された画像フレームは、対象フレーム選択部７２および参照フレーム選択部７４に出力される。
【００３５】
対象フレーム選択部７２は、フレームバッファ７０内のフレームを順番にオプティカルフロー検出部７６に出力する。また、フレームバッファ７０内のフレームを適宜、間引いて、出力してもよい。参照フレーム選択部７４は、対象フレーム選択部７２で選択されたフレームの参照すべき参照フレームを選択し、フレームバッファ７０内から取得する。
【００３６】
参照フレーム選択部７４は、車両内の速度センサから速度情報を取得し、図示しないルックアップテーブルを参照して、取得した速度情報に関連付けられたフレーム間隔を特定してもよい。このルックアップテーブルは、速度情報とフレーム間隔を関連付けて管理する。速度情報とフレーム間隔との関係は、設計者による実験やシミュレーションにより決定された関係に設定される。
【００３７】
オプティカルフロー検出部７６は、対象フレームと参照フレームとを用いて、オプティカルフローを検出する。特徴点検出装置１００は、実施の形態１で説明した装置であり、対象フレーム選択部７２により選択された対象フレーム内から特徴点を抽出する。なお、解像度の異なる複数の階層で実行してもよい。
【００３８】
上述したｎ×ｍの部分領域の位置は、速度情報および操舵角情報の少なくとも一方に基づき、決定されてもよい。速度情報および操舵角情報の少なくとも一方から、部分領域の位置を決定する処理は、図示しないルックアップテーブルを参照して、実行されてもよい。
【００３９】
特徴点検出装置１００は、抽出した特徴点の座標と画素値をオプティカルフロー演算部７８に出力する。オプティカルフロー演算部７８は、対象フレーム選択部７２により選択された対象フレーム、特徴点検出装置１００から入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、オプティカルフローを算出する。より具体的には、対象フレームの特徴点に対応する点を、参照フレーム内で探索する。
【００４０】
後処理部８０は、オプティカルフロー検出部７６から出力されたオプティカルフローに対して所定の後処理を施す。たとえば、入力されるオプティカルフローから、撮像部２１０自体の移動による成分を差し引く処理を行ってもよい。また、ノイズを除去するため、入力されるオプティカルフローの長さを所定のしきい値と比較して、有効とすべきオプティカルフローの長さを制限する処理を行ってもよい。また、オプティカルフロー検出部７６から出力されたオプティカルフローの長さの平均値を算出してもよい。ノイズ除去用のしきい値は、あらかじめ設定された値でもよいし、当該平均値またはその平均値を調整した値であってもよい。
【００４１】
図示しない任意のユーザインタフェースは、後処理部８０から出力されたオプティカルフローをもとに危険な対象の出現をユーザに認識させる。たとえば、表示部にオプティカルフローを単純に表示してもよいし、車両との距離に応じて定められる、危険とされる長さのオプティカルフローのみを表示してもよい。また、その危険とされる長さのオプティカルフローが発生した場合、スピーカから警告音を発してもよい。さらに、車両の制動系に制御信号を出力してもよい。
【００４２】
以上説明したように実施の形態２によれば、オプティカルフロー算出の前処理として、実施の形態１に係る特徴点検出装置１００を利用して、算出対象とすべき特徴点を検出することにより、オプティカルフロー算出処理を高速化することが可能である。車載カメラなどの用途では、緊急性が高いため高速化の要請が強く、実施の形態１に係る特徴点検出装置１００を利用する効果が大きい。
【００４３】
つぎに、実施の形態３について説明する。実施の形態３は、オプティカルフローを検出する際、フレーム内の複数の領域ごとにそれぞれ設定された条件でオプティカルフローを算出する。たとえば、その条件は、車両の速度や操舵角を参照して決定される。
【００４４】
図６は、実施の形態３に係る動画像処理システム３００の構成を示す。実施の形態３に係る動画像処理システム３００の構成は、実施の形態２に係る動画像処理システム２００の構成を拡張したものである。以下、追加された構成を中心に説明する。
【００４５】
まず、撮像部２１０、フレームバッファ７０、および対象フレーム選択部７２の構成は、実施の形態２に係る動画像処理システム２００の構成と同様である。参照フレーム選択部７４は、車両内の車速センサから速度情報を取得し、ルックアップテーブル７５を参照して、取得した速度情報に関連付けられたフレーム間隔を特定する。その際、複数の領域ごとに異なるフレーム間隔を特定してもよい。なお、フレーム間隔は、固定でも、適応的に制御されてもよい。
【００４６】
ルックアップテーブル７５は、速度情報および操舵角情報の少なくとも一方の車両状態と、以下のパラメータを関連付けて管理する。当該パラメータには、少なくとも注目領域の位置が含まれる。たとえば、速度が速い場合、フレーム領域の上方に注目領域が設定され、遅い場合、下方に設定される。また、操舵角情報により車両が右に曲がっている場合、フレーム領域の右方に設定され、左に曲がっている場合、左方に設定される。
【００４７】
その他、当該パラメータには、対象フレームと参照フレームとのフレーム間隔、オプティカルフローを算出する際の画像の解像度、および無効にすべきオプティカルフローを判定するためのしきい値のうち、少なくとも一つが含まれてもよい。これらの関連付けは、設計者による実験やシミュレーションにより決定された関係に設定される。
【００４８】
オプティカルフロー検出部７６は、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、パラメータ決定部７７、第１オプティカルフロー演算部７８ａおよび第２オプティカルフロー演算部７８ｂを備える。特徴点検出装置１００およびオプティカルフロー演算部７８はそれぞれ二つ設けられているが、これは、フレーム領域に二つの注目領域が設定されることに対応する。三つ以上設定される場合、三つ以上の特徴点検出装置１００およびオプティカルフロー演算部７８がそれぞれ設けられる。
【００４９】
第１特徴点検出装置１００ａおよび第２特徴点検出装置１００ｂは、実施の形態１に係る特徴点検出装置１００を利用することができる。上述したｎ×ｍの部分領域は、パラメータ決定部７７から指定される注目領域の位置に基づき、設定される。なお、実施の形態１で説明したα、ｐの値は、それぞれ要求される仕様に応じて、異なってもよい。
【００５０】
パラメータ決定部７７は、車両内の速度センサおよび操舵角センサの少なくとも一方から、速度情報および操舵角情報の少なくとも一方を取得し、ルックアップテーブル７５を参照して、取得した情報に関連付けられた各種パラメータを取得する。
【００５１】
パラメータ決定部７７は、注目領域の位置をルックアップテーブル７５から取得し、第１特徴点検出装置１００ａ、第２特徴点検出装置１００ｂ、第１オプティカルフロー演算部７８ａ、および第２オプティカルフロー演算部７８ｂに設定する。なお、ノイズ除去用のしきい値を取得した場合、第１閾値判定部８２ａおよび第２閾値判定部８２ｂに設定する。
【００５２】
第１オプティカルフロー演算部７８ａは、対象フレーム選択部７２により選択された対象フレーム、第１特徴点検出装置１００ａから入力された特徴点の座標と画素値、および参照フレーム選択部７４により選択された参照フレームに基づき、注目領域のオプティカルフローを算出する。第２オプティカルフロー演算部７８ｂも、別の注目領域について同様に処理する。
【００５３】
後処理部８０は、第１閾値判定部８２ａおよび第２閾値判定部８２ｂを含む。第１閾値判定部８２ａは、パラメータ決定部７７から設定されたしきい値と、第１オプティカルフロー演算部７８ａから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。第２閾値判定部８２ｂは、パラメータ決定部７７から設定された閾値と、第２オプティカルフロー演算部７８ｂから入力されたオプティカルフローの大きさを比較し、当該しきい値を超えるオプティカルフローを無効にする。
【００５４】
以上説明したように実施の形態３によれば、実施の形態２と同様の効果を奏する。さらに、注目領域ごとに最適なパラメータを設定することにより、トレードオフ関係にある精度と速度をきめ細かく調整することができる。
【００５５】
以上、本発明をいくつかの実施形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５６】
たとえば、上述した一次元フィルタ３０ａ〜３０ｄのそれぞれが、暗い特徴点を検出するフィルタ、および明るい特徴点を検出するフィルタの二つのフィルタを備えてもよい。
図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す。図７（ａ）、（ｂ）は、図２の変形例である。
【００５７】
図７（ａ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を−２α倍し、その二つの周辺画素の画素値をそれぞれα倍する。一次元フィルタ３０ａ〜３０ｄは、α倍された二つの周辺画素の画素値を加算し、その値と、−２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ａ）に示す係数は、注目画素の画素値が低い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。
【００５８】
一方、図７（ｂ）では、一次元フィルタ３０ａ〜３０ｄは、それぞれの画素値列に対して、注目画素の画素値を２α倍し、その二つの周辺画素の画素値をそれぞれ−α倍する。一次元フィルタ３０ａ〜３０ｄは、−α倍された二つの周辺画素の画素値を加算し、その値と、２α倍された注目画素の画素値との和を求める。その和を出力結果として判定部４０に出力する。図７（ｂ）に示す係数は、注目画素の画素値が高い場合に有効である。フィルタ部３０の出力結果が正になる確率が高いためである。
【００５９】
図７（ａ）と図７（ｂ）を両方実装し、判定部４０が正の出力結果を採用することにより、判定部４０に絶対値変換部４２ａ〜ｄを設ける必要がなくなり、判定部４０の構成を簡素化することができる。また、図７（ａ）と図７（ｂ）を順番にソフトウェア処理で実現してもよい。この場合、実施の形態１と比較し、回路全体の構成を簡素化することができる。
【００６０】
実施の形態２では、パラメータ決定部７７から指定される注目領域の位置に基づき、上記部分領域の位置が設定される例を説明した。この点、特徴点検出装置１００が監視カメラなどの定点カメラに搭載される場合、あらかじめ上記部分領域の位置を設定してもよい。これよれば、すべての画素を特徴点の検出対象とする必要がなくなり、演算量を大幅に低減することができる。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施の形態１に係る特徴点検出装置の構成を示すブロック図である。
【図２】窓領域の各画素値に掛けられる係数の一例を示す図である。
【図３】フィルタ部の構成例を示す図である。
【図４】判定部の構成例を示す図である。
【図５】実施の形態２に係る動画像処理システムの構成を示す図である。
【図６】実施の形態３に係る動画像処理システムの構成を示す図である。
【図７】図７（ａ）は、注目画素が暗い場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。図７（ｂ）は、注目画素が明るい場合において、窓領域の各画素値に掛けられる係数の一例を示す図である。
【符号の説明】
【００６２】
１０ フレームバッファ、 ２０ 読出部、 ３０ フィルタ部、 ３０ａ フィルタａ、 ３０ｂ フィルタｂ、 ３０ｃ フィルタｃ、 ３０ｄ フィルタｄ、 ３２ａ 第１乗算部、 ３４ａ 第２乗算部、 ３６ａ 第３乗算部、 ３８ 加算部、 ３９ 減算部、 ４０ 判定部、 ４２ａ 絶対値変換部ａ、 ４２ｂ 絶対値変換部ｂ、 ４２ｃ 絶対値変換部ｃ、 ４２ｄ 絶対値変換部ｄ、 ４４ａ 比較部ａ、 ４４ｂ 比較部ｂ、 ４４ｃ 比較部ｃ、 ４４ｄ 比較部ｄ、 ４５ 正負符号比較部、 ４６ ＡＮＤ回路、 ＳＷ１ スイッチ、 ４８ 特徴点格納部、 ６０ 撮像素子、 ６２ 信号処理部、 ７０ フレームバッファ、 ７２ 対象フレーム選択部、 ７４ 参照フレーム選択部、 ７５ ルックアップテーブル、 ７６ オプティカルフロー検出部、 ７７ パラメータ決定部、 ７８ オプティカルフロー演算部、 ７８ａ 第１オプティカルフロー演算部、 ７８ｂ 第２オプティカルフロー演算部、 ８０ 後処理部、 ８２ａ 第１閾値判定部、 ８２ｂ 第２閾値判定部、 １００ 特徴点検出装置、 ２００ 動画像処理システム、 ２１０ 撮像部、 ２２０ 動画像処理装置。
【特許請求の範囲】
【請求項１】
画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、
前記読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、
前記フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、
を備えることを特徴とする特徴点検出装置。
【請求項２】
前記読出部は、前記注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出すことを特徴とする請求項１に記載の特徴点検出装置。
【請求項３】
前記フィルタは、それぞれの画素値列に対して、前記注目画素の画素値を２α（αは自然数）倍し、その注目画素の両側に等間隔に位置する二つの周辺画素の画素値をそれぞれα倍し、２α倍された注目画素の画素値と、α倍された二つの周辺画素の画素値を加算した値との差を前記出力結果とし、
前記判定部は、前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定することを特徴とする請求項１または２に記載の特徴点検出装置。
【請求項４】
前記判定部は、前記出力結果の正負符号がすべて一致し、かつ前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定する請求項３に記載の特徴点検出装置。
【請求項５】
動画像に含まれるフレーム内から、特徴点を求める請求項１から４のいずれかに記載の特徴点検出装置と、
前記特徴点検出装置により検出された特徴点についてオプティカルフローを算出するオプティカルフロー演算部と、
を備えることを特徴とする動画像処理装置。
【請求項６】
前記動画像を撮像する撮像素子が搭載された車両の速度および操舵角の少なくとも一方を参照して、前記部分領域の位置を設定する設定部と、
をさらに備えることを特徴とする請求項５に記載の動画像処理装置。
【請求項１】
画像内に設定された部分領域から、注目画素の画素値およびその周辺画素の画素値を複数の方向にそれぞれ一列に読み出す読出部と、
前記読出部によりそれぞれ一列に読み出された複数の画素値列に対して、それぞれ所定の変換を施すフィルタと、
前記フィルタによるそれぞれの出力結果のすべてが、所定の条件を満たしたとき、前記注目画素を特徴点候補と判定する判定部と、
を備えることを特徴とする特徴点検出装置。
【請求項２】
前記読出部は、前記注目画素を中心に、水平方向、垂直方向、右上から左下への第１斜め方向、および左上から右下への第２斜め方向のうち、少なくとも三つの方向に、それぞれ一列に読み出すことを特徴とする請求項１に記載の特徴点検出装置。
【請求項３】
前記フィルタは、それぞれの画素値列に対して、前記注目画素の画素値を２α（αは自然数）倍し、その注目画素の両側に等間隔に位置する二つの周辺画素の画素値をそれぞれα倍し、２α倍された注目画素の画素値と、α倍された二つの周辺画素の画素値を加算した値との差を前記出力結果とし、
前記判定部は、前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定することを特徴とする請求項１または２に記載の特徴点検出装置。
【請求項４】
前記判定部は、前記出力結果の正負符号がすべて一致し、かつ前記出力結果の絶対値のすべてが所定のしきい値を超えたとき、前記注目画素を前記特徴点候補と判定する請求項３に記載の特徴点検出装置。
【請求項５】
動画像に含まれるフレーム内から、特徴点を求める請求項１から４のいずれかに記載の特徴点検出装置と、
前記特徴点検出装置により検出された特徴点についてオプティカルフローを算出するオプティカルフロー演算部と、
を備えることを特徴とする動画像処理装置。
【請求項６】
前記動画像を撮像する撮像素子が搭載された車両の速度および操舵角の少なくとも一方を参照して、前記部分領域の位置を設定する設定部と、
をさらに備えることを特徴とする請求項５に記載の動画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００９−４２９０９（Ｐ２００９−４２９０９Ａ）
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願番号】特願２００７−２０５６４２（Ｐ２００７−２０５６４２）
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２１年２月２６日（２００９．２．２６）
【国際特許分類】
【出願日】平成１９年８月７日（２００７．８．７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]