特徴点抽出装置、特徴点抽出方法、プログラム
【課題】コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる特徴点抽出装置等を提供する。
【解決手段】特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１）。次に、制御部１１は、色領域分割機能２２によって、撮影画像を色領域に分割する（Ｓ２）。次に、制御部１１は、代表領域抽出機能２３によって、色領域から代表領域を抽出する（Ｓ３）。次に、制御部１１は、重心抽出機能２４によって、代表領域の重心の座標を、特徴点として抽出する（Ｓ４）。
【解決手段】特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１）。次に、制御部１１は、色領域分割機能２２によって、撮影画像を色領域に分割する（Ｓ２）。次に、制御部１１は、代表領域抽出機能２３によって、色領域から代表領域を抽出する（Ｓ３）。次に、制御部１１は、重心抽出機能２４によって、代表領域の重心の座標を、特徴点として抽出する（Ｓ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特徴点を抽出する特徴点抽出装置等に関するものである。特に、本発明は、カメラの振動に由来するモーションブラーがある画像に対して好適な特徴点抽出装置等に関するものである。
【背景技術】
【０００２】
画像（静止画像及び動画像の１フレーム分の両方を含む。）から特徴点を抽出する技術（以下、「特徴点抽出技術」という。）は、従来から画像処理の分野において広く行われている。特徴点抽出技術は、パノラマ写真の合成、ステレオ写真からの距離測定、パターンマッチング、ＡＲ（Augmented Reality：拡張現実）などに広く応用されている。ここで、特徴点とは、画像から取り出される色彩、濃淡、輪郭等に基づいた画像の特徴を示す点のことである。
【０００３】
簡単に特徴点抽出技術の応用例を説明する。例えば、複数の画像ごとに、複数の特徴点を統計データとして事前にデータベース化しておく。そして、処理対象の画像から特定される複数の特徴点を検索キーとして、データベース化された統計データを検索することによって、処理対象の画像に対応する統計データの画像を特定する。これをＡＲに応用する場合、まず、マーカー（ＡＲにおいてアノテーションを表示する位置を決めるための目印となる物体）の特徴点を事前にデータベース化しておく。そして、現実の世界においてマーカーを撮影し、前述の処理によって撮影画像内におけるマーカーの位置を判定し、判定されたマーカーの位置にアノテーションを表示する。マーカーは複数でも良く、それぞれのマーカーの特徴点をデータベース化しておくことによって、複数のマーカーを識別して位置を判定することができる。
【０００４】
ところで、特徴点抽出技術の精度は、処理対象の画像の画質に左右される。画像の画質が劣化する原因の一つとして、カメラに伝わる振動に由来したモーションブラーが挙げられる。画像にモーションブラーが現れると、特徴点抽出技術における色彩、濃淡、輪郭等の認識精度が低下し、特徴点を取得出来ない場合があり、特徴点抽出技術の後に実行される所定の動作（ＡＲの応用例であれば、アノテーションの表示）の精度も低下する。
【０００５】
そこで、撮影される画像からモーションブラーを除去する手法について、物理的アプローチ及びソフトウェア的アプローチの両面から、様々な研究がなされている。
【０００６】
物理的アプローチでは、カメラの振動自体を低減又は遮断することを考える。例えば、カメラの取付具と支柱の間に防振ゴムやダンパーを挟むことによって、振動を低減することができる。また、振動センサを利用し、振動センサによって感知された振動方向に基づき、振動を打ち消す方向にカメラのレンズやイメージセンサを動かすことによって、モーションブラーを除去することができる。この方式は、いわゆる「手ぶれ補正機能付きカメラ」として実用化されている。また、ハイスピードカメラを用いることによって、モーションブラーを発生させない手法も考えられている。
【０００７】
ソフトウェア的アプローチとしては、画像処理的手法（例えば、特許文献１参照）やコンピュテーショナルフォトグラフィ的手法などが考えられている。特許文献１には、補正すべき画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから抽出される動き情報を用いることによって、デジタルのモーションブラーを除去するための方法が開示されている。特許文献１に記載の方法では、前の画像シーケンスの動き情報を推定するステップと、動き推定技法に基づいてそれらを分析するステップと、動き推定に基づいて補正すべき画像の動きを外挿するステップと、を含むことによって、所望のキャプチャ画像におけるモーションブラー効果を除去する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５０１４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前述の物理的アプローチでは、以下の通り問題がある。防振ゴムやダンパーでは振動を完全に打ち消すことが難しい上、設置にもコストがかかる。手振れ補正機能付きカメラは、その名の通り人間の手が原因で発生する低周波振動(ブレ)を補正することを目的としており，高周波振動で発生するモーションブラーを除去することが難しい。ハイスピードカメラは高価な上、情報量が増えてしまうため、リアルタイムで処理することができない。
【００１０】
また、前述のソフトウェア的アプローチも、以下の通り問題がある。特許文献１のように、動き推定技法を用いる画像処理的手法では、処理が非常に重く、リアルタイムで処理することができない。また、コンピュテーショナルフォトグラフィ的手法では、カメラ本体の特殊な改造も必要であるため、実用的ではない。
【００１１】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる特徴点抽出装置等を提供することである。
【課題を解決するための手段】
【００１２】
前述した目的を達成するために第１の発明は、画像から特徴点を抽出する特徴点抽出装置であって、画像を色領域に分割する色領域分割手段と、前記色領域分割手段によって分割された色領域から代表領域を抽出する代表領域抽出手段と、前記代表領域抽出手段によって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出手段と、を備えることを特徴とする特徴点抽出装置である。第１の発明によって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００１３】
第１の発明における前記色領域分割手段は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行うことが望ましい。ｋ−ｍｅａｎ法は処理量が少ない為、特徴点を高速に抽出することができる。
【００１４】
第１の発明における前記代表領域抽出手段は、面積が小さい色領域を抽出することが望ましい。面積が小さければ、その色領域に対応する物体が振動する幅も小さく、正確な特徴点を抽出し易い。
【００１５】
第１の発明における前記代表領域抽出手段は、輝度が明るい色領域を抽出することが望ましい。輝度が明るく、例えば「白飛び」の領域であれば、他の光源の影響が小さく、正確な特徴点を抽出し易い。
【００１６】
例えば、第１の発明における処理対象の画像は、モーションブラーがある画像である。また、第１の発明は、モーションブラーがある画像から抽出された特徴点と、モーションブラーがない画像から抽出された特徴点とを照合する照合手段、を更に備えることが望ましい。これによって、例えば、ＡＲ技術等に適用することができる。
【００１７】
第２の発明は、コンピュータが、画像から特徴点を抽出する特徴点抽出方法であって、画像を色領域に分割する色領域分割ステップと、前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、を含むことを特徴とする特徴点抽出方法である。第２の発明によって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００１８】
第３の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、画像を色領域に分割する色領域分割ステップと、前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、を含む処理をコンピュータに実行させるためのプログラムである。第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の特徴点抽出装置を得ることができ、第２の発明の特徴点抽出方法を実行することができる。
【発明の効果】
【００１９】
本発明により、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる特徴点抽出装置等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】特徴点抽出装置１のハードウェア構成を示す図
【図２】特徴点抽出装置１のソフトウェア構成を示す図
【図３】特徴点抽出装置１のＤＢ構築処理を示すフローチャート
【図４】モーションブラーがない画像の一例
【図５】モーションブラーがない画像に対する特徴点の一例
【図６】特徴量データベースに登録される特徴量テーブルの一例
【図７】特徴点抽出装置１の特徴点マッチング処理（特徴点照合処理）を示すフローチャート
【図８】モーションブラーがある画像の一例
【図９】モーションブラーがある画像に対する特徴点の一例
【図１０】特徴点マッチング処理の結果
【発明を実施するための形態】
【００２１】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態における特徴点抽出装置では、本発明の一実施態様として、以下のような処理を行うものとする。まず、モーションブラーが発生しない状況において、対象とする被写体を撮影しておき、事前に画像ごとの特徴量に関するデータベースを構築しておく。そして、モーションブラーが発生する状況において、対象とする被写体を撮影し、データベース化されたデータを検索することによって、モーションブラーがない画像から特定しておいた特徴点と、モーションブラーがある画像から特定される特徴点とをマッチングする（照合する）。ここで、モーションブラーが発生しない状況及び発生する状況の両方において、被写体又は撮影装置が同じように移動するものとし、フレームごとに異なる構図の画像が得られるものとする。データベース化された画像の特徴点とリアルタイムに撮影された画像の特徴点とをマッチングすることによって、例えば、各フレームに応じて異なる画像処理（例えば、ＡＲ技術によるアノテーションの表示など）を行うことができる。尚、当然ながら、データベース化されるデータは、モーションブラーがない画像から得た特徴量に限らず、モーションブラーがある画像から得た特徴量であっても良い。
【００２２】
図１は、特徴点抽出装置１のハードウェア構成を示す図である。図１に示すように、特徴点抽出装置１は、制御部１１、記憶部１２、入力部１３、表示部１４、メディア入出力部１５、通信Ｉ／Ｆ部１６、周辺機器Ｉ／Ｆ部１７等がバス１９を介して接続されて構成される。また、周辺機器Ｉ／Ｆ部１７には、撮影装置２が接続されている。
【００２３】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１９を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が後述する各種処理を行うために使用するワークエリアを備える。また、制御部１１は、記憶部１２に記憶されているプログラムに従って、後述するＤＢ構築処理（図３参照）、特徴点マッチング処理（図７参照）を実行する。各処理の詳細については後述する。
【００２４】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（オペレーティング・システム）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２５】
入力部１３は、例えば、キーボード、マウス、タッチパネル、タブレット等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。
【００２６】
表示部１４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
なお、入力部１３と表示部１４とが一体的に構成されたタッチパネル式の入出力部としてもよい。
【００２７】
メディア入出力部１５は、例えば、フロッピー（登録商標）ディスクドライブ、ＰＤドライブ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ等のメディア入出力装置であり、データの入出力を行う。
通信Ｉ／Ｆ（インタフェース）１６は、通信制御装置、通信ポート等を有し、ネットワークを介して所定の外部装置との通信を媒介する通信インタフェースであり、通信制御を行う。
【００２８】
周辺機器Ｉ／Ｆ１７は、コンピュータに周辺機器を接続させるためのポートであり、コンピュータは周辺機器Ｉ／Ｆ１７を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２９】
撮影装置２は、例えば、デジタルビデオカメラである。撮影装置２は、対象とする被写体を撮影し、特徴点抽出装置１に出力する。撮影装置２は、例えば、３０フレーム／秒のフレームレートによって、周辺機器Ｉ／Ｆ１７を介して、撮影したデータを特徴点抽出装置１に出力する。
【００３０】
図２は、特徴点抽出装置１のソフトウェア構成を示す図である。特徴点抽出装置１のソフトウェアは、画像処理部３、特徴量処理部４、特徴量記憶部５等から構成される。画像処理部３及び特徴量処理部４の機能を実現するプログラムは、特徴点抽出装置１の記憶部１２において、制御部１１が実行可能に記憶される。また、特徴量記憶部５の機能を実現する記憶領域は、特徴点抽出装置１の記憶部１２において、制御部１１がアクセス可能に構築される。記憶領域は、例えば、リレーショナルデータベースなどのデータベース管理システム、又は単なるファイル管理領域（Windows（登録商標）であればフォルダ）等として構築される。
【００３１】
画像処理部３は、撮影画像取得機能２１、色領域分割機能２２、代表領域抽出機能２３、重心抽出機能２４等のプログラムを含む。特徴量処理部４は、特徴量テーブル生成機能２５、ユニークＩＤ問い合わせ機能２６等のプログラムを含む。特徴量記憶部５は、特徴量データベース（以下、「ＤＢ」と省略する。）及びユニークＩＤデータベース（以下、「ＤＢ」と省略する。）を記憶する記憶領域２７を備える。特徴量データベースには、図６に例示する特徴量テーブル群が格納される。また、ユニークＩＤＤＢには、特徴量テーブルを一意に識別するためのユニークＩＤのリストが格納されている。
【００３２】
撮影画像取得機能２１は、撮影装置２から撮影画像を取得する機能である。また、撮影画像取得機能２１は、撮影装置２の撮影パラメータを事前に記憶部１２に記憶しておき、撮影装置２の撮影パラメータに応じて撮影画像に対して適切な前処理（例えば、明るさやコントラストの変換処理など）を実行する機能なども備える。
【００３３】
色領域分割機能２２は、撮影画像取得機能２１によって取得された撮影画像（或いは前処理が施された撮影画像）を、色ごとに区分された色領域に分割する機能である。本発明の実施の形態では、撮影画像としてカラー画像を想定しているが、当然ながら、グレースケール画像にも本発明を適用することができる。
【００３４】
代表領域抽出機能２３は、色領域分割機能２２によって分割された色領域の集合から、代表領域を抽出する機能である。代表領域を抽出するための抽出条件は、後述するように、例えば、色領域ごとの輝度情報や色領域ごとの面積情報などによって定義される。
【００３５】
重心抽出機能２４は、代表領域抽出機能２３によって抽出された代表領域の重心の座標を抽出する機能である。本発明の実施の形態では、代表領域の重心の座標が特徴点の座標である。
【００３６】
ここで、代表領域の重心を特徴点とする技術的意義について説明する。モーションブラーがある画像では、色彩、濃淡、輪郭等の認識精度が低下する。これは、撮影装置２に伝わる振動により、撮影装置２が被写体に対して前後左右上下のあらゆる方向に振動するためである。しかしながら、前後方向の振動が映像に与える影響は、被写体までの距離が遠くなるほど小さくなり、一般の撮影であれば、ほとんど無視することができる。このため、撮影装置２に伝わる振動を、撮影装置２の光学軸（撮影方向を示す軸）に垂直な平行移動として扱うことが可能となる。更に、この平行移動の方向と大きさは、撮影装置２の光学軸を中心として点対称である。つまり、モーションブラーは、被写体が撮影装置２の光学軸に垂直な方向に引き伸ばされて撮影装置２の撮像素子に結像する現象と言える。
【００３７】
そして、被写体が撮影装置２の光学軸を中心として点対称に引き伸ばされているため、引き伸ばされた領域の重心は、結局、引き伸ばされる前の領域の重心と一致する。モーションブラーがある画像から任意の領域（例えば、前述の色領域）を抽出した場合、その重心はモーションブラーがない画像の同じ領域の重心と一致するため、この重心を特徴点とすることによって、高周波振動によるモーションブラーに影響されず、特徴点を用いた画像処理を高精度に実行することができる。
【００３８】
特徴量テーブル生成機能２５は、図６に例示する特徴量テーブルを生成する機能である。特徴量テーブルには、重心抽出機能２４によって抽出された重心の座標情報や、色領域分割機能２２によって特定される色領域の色情報などが含まれる。
【００３９】
ユニークＩＤ問い合わせ機能２６は、特徴量テーブル生成機能２５によって生成された特徴量テーブルを問い合わせ条件として、ユニークＩＤの問い合わせを行う機能である。
【００４０】
記憶領域２７には、図６に例示する特徴量テーブル群が格納される特徴量データベース、ユニークＩＤのリストが格納されるユニークＩＤＤＢが構築される。
【００４１】
図３は、特徴点抽出装置１のＤＢ構築処理を示すフローチャートである。図３に示すように、特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１）。
【００４２】
図４は、モーションブラーがない画像の一例である。図４に示す画像は、特許図面の制約から、カラー画像をグレースケール画像に変換したものである。また、視認性を確保する為、図４に示す画像は、輝度を反転している。つまり、図４に示す画像は、四角形、三角形、円などの物体が明るく、背景が暗い画像の輝度を反転することによって、四角形、三角形、円などの物体が暗く、背景が明るい画像になっている。
【００４３】
図３の説明に戻る。次に、制御部１１は、色領域分割機能２２によって、撮影画像を色領域に分割する（Ｓ２）。色領域分割機能２２は、撮影画像の各画素の色情報に基づいて、撮影画像を色領域に分割する。撮影画像が通常のＲＧＢカラー画像データの場合、色情報は、ＲＧＢ各色に対する０〜２５５の８ビットデジタルデータ（以下、「ＲＧＢデータ」という。）である。ＲＧＢデータの一例としては、例えば、（２５５、０、０）が赤、（０、２５５、０）が緑、（０、０、２５５）が青である。
【００４４】
ここで、色領域分割機能２２の詳細について説明する。色領域分割機能２２は、撮影画像に対して、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う。ｋ−ｍｅａｎ法とは、入力データを分割するクラスの数を予めｋ個と設定して分割し、これを初期状態として分割を繰り返し修正することによって、より良い分割を探しだす方法である。ｋ−ｍｅａｎ法は、処理量が少ないという利点がある。本発明の実施の形態では、色領域分割機能２２は、色領域の数を予め決めておき、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを行う。尚、画素同士が連結していなければ別の領域と判定するので、単一の画像内に同じ色情報の領域が複数含まれることもある。
【００４５】
次に、制御部１１は、代表領域抽出機能２３によって、色領域から代表領域を抽出する（Ｓ３）。代表領域抽出機能２３では、代表領域を抽出するための所定の抽出条件に基づいて、色領域から代表領域を抽出する。
【００４６】
ここで、代表領域を抽出するための所定の抽出条件について説明する。抽出条件の１つは、例えば、色領域ごとの面積情報によって定義され、面積が小さい色領域を抽出することが望ましい。より詳細には、色領域内の画素数が閾値以下という抽出条件が望ましい。面積が小さければ、その色領域に対応する物体も小さく、更に、その物体が振動する幅も小さくなるので、正確な特徴点を抽出し易いからである。また、面積が小さければ、後述するＳ４の処理が速くなるという利点もある。
【００４７】
また、抽出条件の１つは、例えば、色領域ごとの輝度情報によって定義され、輝度が明るい色領域を抽出することが望ましい。より詳細には、色領域内の画素群の輝度の平均値、中央値、最大値などが閾値以上という抽出条件が望ましい。これは、撮影装置２のダイナミックレンジによって明るい物体が真っ白に映る「白飛び」などを上手く利用する為である。「白飛び」の領域であれば、他の光源の影響（他の光源の強さ、方向など）が小さく、正確な特徴点を抽出し易いからである。
【００４８】
尚、前述の２つの抽出条件は、相反する条件ではないことから、両方のＡＮＤ条件としても良い。つまり、抽出条件は、色領域ごとの面積情報及び色領域ごとの輝度情報によって定義され、面積が小さい色領域かつ輝度が明るい色領域を抽出するとしても良い。
【００４９】
次に、制御部１１は、重心抽出機能２４によって、代表領域の重心の座標を、特徴点として抽出する（Ｓ４）。重心抽出機能２４では、代表領域の画素の座標情報に基づいて、代表領域の重心の座標を、特徴点の座標として算出する。
【００５０】
図５は、モーションブラーがない画像に対する特徴点の一例である。図５の例では、四角形、三角形、円の３つの領域が、代表領域として抽出されている。図５では、３つの領域の各重心を、白丸によって図示している。
【００５１】
図３に戻る。制御部１１は、特徴量テーブル生成機能２５によって、特徴量テーブルを生成し、記憶領域２７の特徴量データベース及びユニークＩＤＤＢに登録する（Ｓ５）。
【００５２】
図６は、特徴量データベースに登録される特徴量テーブルの一例である。図６に示すように、特徴量テーブルは、重心のＸ座標、重心のＹ座標、色情報を含む。図５の四角形に対応するデータは、重心のＸ座標が「７３」、重心のＹ座標が「３７」、色情報が「赤」である。図５の三角形に対応するデータは、重心のＸ座標が「１６５」、重心のＹ座標が「１３４」、色情報が「緑」である。図５の円に対応するデータは、重心のＸ座標が「２５１」、重心のＹ座標が「１５６」、色情報が「青」である。また、図６には、ユニークＩＤＤＢに登録されるユニークＩＤ「０００」も図示されている。
【００５３】
図３に戻る。制御部１１は、撮影が終了したかどうかを確認する（Ｓ６）。撮影が終了している場合（Ｓ６のＹＥＳ）、処理を終了し、撮影が終了していない場合（Ｓ６のＮＯ）、Ｓ１から処理を繰り返す。図３に示す処理によって、一定時間の撮影画像群が取得され、撮影画像ごとに特徴量テーブルが生成されて記憶領域２７に記憶される。
【００５４】
図７は、特徴点抽出装置１の特徴点マッチング処理（特徴点照合処理）を示すフローチャートである。図７に示すように、特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１１）。
【００５５】
図８は、モーションブラーがある画像の一例である。図４と同様、図８に示す画像は、特許図面の制約から、カラー画像をグレースケール画像に変換したものである。また、視認性を確保する為、図８に示す画像は、輝度を反転している。図４と図８を比較すると、図８では、四角形、三角形、円の物体の輪郭がぼやけて、モーションブラーが発生していることが分かる。
【００５６】
図７の説明に戻る。図７のＳ１２〜Ｓ１５は、図３のＳ２〜Ｓ５と同様であるため、説明を省略する。
【００５７】
図９は、モーションブラーがある画像に対する特徴点の一例である。図９の例では、四角形、三角形、円の３つの領域が、代表領域として抽出されている。図９では、３つの領域の各重心を、白丸によって図示している。
【００５８】
図７の説明に戻る。次に、制御部１１は、ユニークＩＤ問い合わせ機能２６によって、Ｓ１５において生成された特徴量テーブルを問い合わせ条件として、ユニークＩＤの問い合わせを行う（Ｓ１６）。ユニークＩＤ問い合わせ機能２６は、例えば、各特徴量テーブルの各項目を要素とするベクトルを生成し、相関値（類似度）を求め、その大きさが所定の閾値を上回る場合に一致と判定し、一致と判定された特徴量テーブルに付与されているユニークＩＤを取得する。
【００５９】
次に、制御部１１は、モーションブラーがない画像から特定しておいた特徴点と、モーションブラーがある画像から特定される特徴点とをマッチングする（Ｓ１７）。これによって、制御部１１は、データベース化された画像の特徴点とリアルタイムに撮影された画像の特徴点とをマッチングすることができたことになる。そして、制御部１１は、例えば、データベース化された画像ごとに定義された画像処理を、リアルタイムに撮影された画像に対して実行する。
【００６０】
次に、制御部１１は、撮影が終了したかどうかを確認する（Ｓ１８）。撮影が終了している場合（Ｓ１８のＹＥＳ）、処理を終了し、撮影が終了していない場合（Ｓ１８のＮＯ）、Ｓ１１から処理を繰り返す。
【００６１】
図１０は、特徴点マッチング処理の結果である。記憶画像３１は、図３のＤＢ構築処理において、特徴量テーブルと対応付けられて記憶された画像である。記憶画像３１は、図４、図５に対応する。処理画像４１は、図７の特徴点マッチング処理において、リアルタイムに撮影された画像である。処理画像４１は、図８、図９に対応する。
【００６２】
図１０では、記憶画像３１の赤色領域３２の重心座標と、処理画像４１の赤色領域４２の重心座標とがマッチングされていることを示している。同様に、記憶画像３１の緑色領域３３の重心座標と、処理画像４１の緑色領域４３の重心座標とがマッチングされていることを示している。同様に、記憶画像３１の青色領域３４の重心座標と、処理画像４１の青色領域４４の重心座標とがマッチングされていることを示している。
【００６３】
以上、本発明の実施の形態では、特徴点抽出装置１が、画像を色領域に分割し、分割された色領域から代表領域を抽出し、抽出された代表領域の重心の座標を、特徴点として抽出する。これによって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００６４】
また、特徴点抽出装置１は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う。ｋ−ｍｅａｎ法は処理量が少ない為、特徴点を高速に抽出することができる。
【００６５】
また、特徴点抽出装置１は、面積が小さい色領域を代表領域として抽出する。面積が小さければ、その色領域に対応する物体が振動する幅も小さく、正確な特徴点を抽出し易い。
【００６６】
また、特徴点抽出装置１は、輝度が明るい色領域を抽出する。輝度が明るく、例えば「白飛び」の領域であれば、他の光源の影響が小さく、正確な特徴点を抽出し易い。
【００６７】
以上、添付図面を参照しながら、本発明に係る特徴点抽出装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１………特徴量抽出装置
２………撮影装置
１１………制御部
１２………記憶部
２１………撮影画像取得機能
２２………色領域分割機能
２３………代表領域抽出機能
２４………重心抽出機能
２５………特徴量テーブル生成機能
２６………ユニークＩＤ問い合わせ機能
２７………記憶領域
【技術分野】
【０００１】
本発明は、画像から特徴点を抽出する特徴点抽出装置等に関するものである。特に、本発明は、カメラの振動に由来するモーションブラーがある画像に対して好適な特徴点抽出装置等に関するものである。
【背景技術】
【０００２】
画像（静止画像及び動画像の１フレーム分の両方を含む。）から特徴点を抽出する技術（以下、「特徴点抽出技術」という。）は、従来から画像処理の分野において広く行われている。特徴点抽出技術は、パノラマ写真の合成、ステレオ写真からの距離測定、パターンマッチング、ＡＲ（Augmented Reality：拡張現実）などに広く応用されている。ここで、特徴点とは、画像から取り出される色彩、濃淡、輪郭等に基づいた画像の特徴を示す点のことである。
【０００３】
簡単に特徴点抽出技術の応用例を説明する。例えば、複数の画像ごとに、複数の特徴点を統計データとして事前にデータベース化しておく。そして、処理対象の画像から特定される複数の特徴点を検索キーとして、データベース化された統計データを検索することによって、処理対象の画像に対応する統計データの画像を特定する。これをＡＲに応用する場合、まず、マーカー（ＡＲにおいてアノテーションを表示する位置を決めるための目印となる物体）の特徴点を事前にデータベース化しておく。そして、現実の世界においてマーカーを撮影し、前述の処理によって撮影画像内におけるマーカーの位置を判定し、判定されたマーカーの位置にアノテーションを表示する。マーカーは複数でも良く、それぞれのマーカーの特徴点をデータベース化しておくことによって、複数のマーカーを識別して位置を判定することができる。
【０００４】
ところで、特徴点抽出技術の精度は、処理対象の画像の画質に左右される。画像の画質が劣化する原因の一つとして、カメラに伝わる振動に由来したモーションブラーが挙げられる。画像にモーションブラーが現れると、特徴点抽出技術における色彩、濃淡、輪郭等の認識精度が低下し、特徴点を取得出来ない場合があり、特徴点抽出技術の後に実行される所定の動作（ＡＲの応用例であれば、アノテーションの表示）の精度も低下する。
【０００５】
そこで、撮影される画像からモーションブラーを除去する手法について、物理的アプローチ及びソフトウェア的アプローチの両面から、様々な研究がなされている。
【０００６】
物理的アプローチでは、カメラの振動自体を低減又は遮断することを考える。例えば、カメラの取付具と支柱の間に防振ゴムやダンパーを挟むことによって、振動を低減することができる。また、振動センサを利用し、振動センサによって感知された振動方向に基づき、振動を打ち消す方向にカメラのレンズやイメージセンサを動かすことによって、モーションブラーを除去することができる。この方式は、いわゆる「手ぶれ補正機能付きカメラ」として実用化されている。また、ハイスピードカメラを用いることによって、モーションブラーを発生させない手法も考えられている。
【０００７】
ソフトウェア的アプローチとしては、画像処理的手法（例えば、特許文献１参照）やコンピュテーショナルフォトグラフィ的手法などが考えられている。特許文献１には、補正すべき画像をキャプチャする直前にキャプチャされる一連の画像シーケンスから抽出される動き情報を用いることによって、デジタルのモーションブラーを除去するための方法が開示されている。特許文献１に記載の方法では、前の画像シーケンスの動き情報を推定するステップと、動き推定技法に基づいてそれらを分析するステップと、動き推定に基づいて補正すべき画像の動きを外挿するステップと、を含むことによって、所望のキャプチャ画像におけるモーションブラー効果を除去する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５０１４７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前述の物理的アプローチでは、以下の通り問題がある。防振ゴムやダンパーでは振動を完全に打ち消すことが難しい上、設置にもコストがかかる。手振れ補正機能付きカメラは、その名の通り人間の手が原因で発生する低周波振動(ブレ)を補正することを目的としており，高周波振動で発生するモーションブラーを除去することが難しい。ハイスピードカメラは高価な上、情報量が増えてしまうため、リアルタイムで処理することができない。
【００１０】
また、前述のソフトウェア的アプローチも、以下の通り問題がある。特許文献１のように、動き推定技法を用いる画像処理的手法では、処理が非常に重く、リアルタイムで処理することができない。また、コンピュテーショナルフォトグラフィ的手法では、カメラ本体の特殊な改造も必要であるため、実用的ではない。
【００１１】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる特徴点抽出装置等を提供することである。
【課題を解決するための手段】
【００１２】
前述した目的を達成するために第１の発明は、画像から特徴点を抽出する特徴点抽出装置であって、画像を色領域に分割する色領域分割手段と、前記色領域分割手段によって分割された色領域から代表領域を抽出する代表領域抽出手段と、前記代表領域抽出手段によって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出手段と、を備えることを特徴とする特徴点抽出装置である。第１の発明によって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００１３】
第１の発明における前記色領域分割手段は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行うことが望ましい。ｋ−ｍｅａｎ法は処理量が少ない為、特徴点を高速に抽出することができる。
【００１４】
第１の発明における前記代表領域抽出手段は、面積が小さい色領域を抽出することが望ましい。面積が小さければ、その色領域に対応する物体が振動する幅も小さく、正確な特徴点を抽出し易い。
【００１５】
第１の発明における前記代表領域抽出手段は、輝度が明るい色領域を抽出することが望ましい。輝度が明るく、例えば「白飛び」の領域であれば、他の光源の影響が小さく、正確な特徴点を抽出し易い。
【００１６】
例えば、第１の発明における処理対象の画像は、モーションブラーがある画像である。また、第１の発明は、モーションブラーがある画像から抽出された特徴点と、モーションブラーがない画像から抽出された特徴点とを照合する照合手段、を更に備えることが望ましい。これによって、例えば、ＡＲ技術等に適用することができる。
【００１７】
第２の発明は、コンピュータが、画像から特徴点を抽出する特徴点抽出方法であって、画像を色領域に分割する色領域分割ステップと、前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、を含むことを特徴とする特徴点抽出方法である。第２の発明によって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００１８】
第３の発明は、コンピュータにより読み取り可能な形式で記述されたプログラムであって、画像を色領域に分割する色領域分割ステップと、前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、を含む処理をコンピュータに実行させるためのプログラムである。第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の特徴点抽出装置を得ることができ、第２の発明の特徴点抽出方法を実行することができる。
【発明の効果】
【００１９】
本発明により、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる特徴点抽出装置等を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】特徴点抽出装置１のハードウェア構成を示す図
【図２】特徴点抽出装置１のソフトウェア構成を示す図
【図３】特徴点抽出装置１のＤＢ構築処理を示すフローチャート
【図４】モーションブラーがない画像の一例
【図５】モーションブラーがない画像に対する特徴点の一例
【図６】特徴量データベースに登録される特徴量テーブルの一例
【図７】特徴点抽出装置１の特徴点マッチング処理（特徴点照合処理）を示すフローチャート
【図８】モーションブラーがある画像の一例
【図９】モーションブラーがある画像に対する特徴点の一例
【図１０】特徴点マッチング処理の結果
【発明を実施するための形態】
【００２１】
以下図面に基づいて、本発明の実施形態を詳細に説明する。本発明の実施形態における特徴点抽出装置では、本発明の一実施態様として、以下のような処理を行うものとする。まず、モーションブラーが発生しない状況において、対象とする被写体を撮影しておき、事前に画像ごとの特徴量に関するデータベースを構築しておく。そして、モーションブラーが発生する状況において、対象とする被写体を撮影し、データベース化されたデータを検索することによって、モーションブラーがない画像から特定しておいた特徴点と、モーションブラーがある画像から特定される特徴点とをマッチングする（照合する）。ここで、モーションブラーが発生しない状況及び発生する状況の両方において、被写体又は撮影装置が同じように移動するものとし、フレームごとに異なる構図の画像が得られるものとする。データベース化された画像の特徴点とリアルタイムに撮影された画像の特徴点とをマッチングすることによって、例えば、各フレームに応じて異なる画像処理（例えば、ＡＲ技術によるアノテーションの表示など）を行うことができる。尚、当然ながら、データベース化されるデータは、モーションブラーがない画像から得た特徴量に限らず、モーションブラーがある画像から得た特徴量であっても良い。
【００２２】
図１は、特徴点抽出装置１のハードウェア構成を示す図である。図１に示すように、特徴点抽出装置１は、制御部１１、記憶部１２、入力部１３、表示部１４、メディア入出力部１５、通信Ｉ／Ｆ部１６、周辺機器Ｉ／Ｆ部１７等がバス１９を介して接続されて構成される。また、周辺機器Ｉ／Ｆ部１７には、撮影装置２が接続されている。
【００２３】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１９を介して接続された各部を駆動制御する。ＲＯＭは、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部１１が後述する各種処理を行うために使用するワークエリアを備える。また、制御部１１は、記憶部１２に記憶されているプログラムに従って、後述するＤＢ構築処理（図３参照）、特徴点マッチング処理（図７参照）を実行する。各処理の詳細については後述する。
【００２４】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（オペレーティング・システム）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２５】
入力部１３は、例えば、キーボード、マウス、タッチパネル、タブレット等のポインティング・デバイス、テンキー等の入力装置であり、入力されたデータを制御部１１へ出力する。
【００２６】
表示部１４は、例えば液晶パネル、ＣＲＴモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
なお、入力部１３と表示部１４とが一体的に構成されたタッチパネル式の入出力部としてもよい。
【００２７】
メディア入出力部１５は、例えば、フロッピー（登録商標）ディスクドライブ、ＰＤドライブ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ等のメディア入出力装置であり、データの入出力を行う。
通信Ｉ／Ｆ（インタフェース）１６は、通信制御装置、通信ポート等を有し、ネットワークを介して所定の外部装置との通信を媒介する通信インタフェースであり、通信制御を行う。
【００２８】
周辺機器Ｉ／Ｆ１７は、コンピュータに周辺機器を接続させるためのポートであり、コンピュータは周辺機器Ｉ／Ｆ１７を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。バス１９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２９】
撮影装置２は、例えば、デジタルビデオカメラである。撮影装置２は、対象とする被写体を撮影し、特徴点抽出装置１に出力する。撮影装置２は、例えば、３０フレーム／秒のフレームレートによって、周辺機器Ｉ／Ｆ１７を介して、撮影したデータを特徴点抽出装置１に出力する。
【００３０】
図２は、特徴点抽出装置１のソフトウェア構成を示す図である。特徴点抽出装置１のソフトウェアは、画像処理部３、特徴量処理部４、特徴量記憶部５等から構成される。画像処理部３及び特徴量処理部４の機能を実現するプログラムは、特徴点抽出装置１の記憶部１２において、制御部１１が実行可能に記憶される。また、特徴量記憶部５の機能を実現する記憶領域は、特徴点抽出装置１の記憶部１２において、制御部１１がアクセス可能に構築される。記憶領域は、例えば、リレーショナルデータベースなどのデータベース管理システム、又は単なるファイル管理領域（Windows（登録商標）であればフォルダ）等として構築される。
【００３１】
画像処理部３は、撮影画像取得機能２１、色領域分割機能２２、代表領域抽出機能２３、重心抽出機能２４等のプログラムを含む。特徴量処理部４は、特徴量テーブル生成機能２５、ユニークＩＤ問い合わせ機能２６等のプログラムを含む。特徴量記憶部５は、特徴量データベース（以下、「ＤＢ」と省略する。）及びユニークＩＤデータベース（以下、「ＤＢ」と省略する。）を記憶する記憶領域２７を備える。特徴量データベースには、図６に例示する特徴量テーブル群が格納される。また、ユニークＩＤＤＢには、特徴量テーブルを一意に識別するためのユニークＩＤのリストが格納されている。
【００３２】
撮影画像取得機能２１は、撮影装置２から撮影画像を取得する機能である。また、撮影画像取得機能２１は、撮影装置２の撮影パラメータを事前に記憶部１２に記憶しておき、撮影装置２の撮影パラメータに応じて撮影画像に対して適切な前処理（例えば、明るさやコントラストの変換処理など）を実行する機能なども備える。
【００３３】
色領域分割機能２２は、撮影画像取得機能２１によって取得された撮影画像（或いは前処理が施された撮影画像）を、色ごとに区分された色領域に分割する機能である。本発明の実施の形態では、撮影画像としてカラー画像を想定しているが、当然ながら、グレースケール画像にも本発明を適用することができる。
【００３４】
代表領域抽出機能２３は、色領域分割機能２２によって分割された色領域の集合から、代表領域を抽出する機能である。代表領域を抽出するための抽出条件は、後述するように、例えば、色領域ごとの輝度情報や色領域ごとの面積情報などによって定義される。
【００３５】
重心抽出機能２４は、代表領域抽出機能２３によって抽出された代表領域の重心の座標を抽出する機能である。本発明の実施の形態では、代表領域の重心の座標が特徴点の座標である。
【００３６】
ここで、代表領域の重心を特徴点とする技術的意義について説明する。モーションブラーがある画像では、色彩、濃淡、輪郭等の認識精度が低下する。これは、撮影装置２に伝わる振動により、撮影装置２が被写体に対して前後左右上下のあらゆる方向に振動するためである。しかしながら、前後方向の振動が映像に与える影響は、被写体までの距離が遠くなるほど小さくなり、一般の撮影であれば、ほとんど無視することができる。このため、撮影装置２に伝わる振動を、撮影装置２の光学軸（撮影方向を示す軸）に垂直な平行移動として扱うことが可能となる。更に、この平行移動の方向と大きさは、撮影装置２の光学軸を中心として点対称である。つまり、モーションブラーは、被写体が撮影装置２の光学軸に垂直な方向に引き伸ばされて撮影装置２の撮像素子に結像する現象と言える。
【００３７】
そして、被写体が撮影装置２の光学軸を中心として点対称に引き伸ばされているため、引き伸ばされた領域の重心は、結局、引き伸ばされる前の領域の重心と一致する。モーションブラーがある画像から任意の領域（例えば、前述の色領域）を抽出した場合、その重心はモーションブラーがない画像の同じ領域の重心と一致するため、この重心を特徴点とすることによって、高周波振動によるモーションブラーに影響されず、特徴点を用いた画像処理を高精度に実行することができる。
【００３８】
特徴量テーブル生成機能２５は、図６に例示する特徴量テーブルを生成する機能である。特徴量テーブルには、重心抽出機能２４によって抽出された重心の座標情報や、色領域分割機能２２によって特定される色領域の色情報などが含まれる。
【００３９】
ユニークＩＤ問い合わせ機能２６は、特徴量テーブル生成機能２５によって生成された特徴量テーブルを問い合わせ条件として、ユニークＩＤの問い合わせを行う機能である。
【００４０】
記憶領域２７には、図６に例示する特徴量テーブル群が格納される特徴量データベース、ユニークＩＤのリストが格納されるユニークＩＤＤＢが構築される。
【００４１】
図３は、特徴点抽出装置１のＤＢ構築処理を示すフローチャートである。図３に示すように、特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１）。
【００４２】
図４は、モーションブラーがない画像の一例である。図４に示す画像は、特許図面の制約から、カラー画像をグレースケール画像に変換したものである。また、視認性を確保する為、図４に示す画像は、輝度を反転している。つまり、図４に示す画像は、四角形、三角形、円などの物体が明るく、背景が暗い画像の輝度を反転することによって、四角形、三角形、円などの物体が暗く、背景が明るい画像になっている。
【００４３】
図３の説明に戻る。次に、制御部１１は、色領域分割機能２２によって、撮影画像を色領域に分割する（Ｓ２）。色領域分割機能２２は、撮影画像の各画素の色情報に基づいて、撮影画像を色領域に分割する。撮影画像が通常のＲＧＢカラー画像データの場合、色情報は、ＲＧＢ各色に対する０〜２５５の８ビットデジタルデータ（以下、「ＲＧＢデータ」という。）である。ＲＧＢデータの一例としては、例えば、（２５５、０、０）が赤、（０、２５５、０）が緑、（０、０、２５５）が青である。
【００４４】
ここで、色領域分割機能２２の詳細について説明する。色領域分割機能２２は、撮影画像に対して、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う。ｋ−ｍｅａｎ法とは、入力データを分割するクラスの数を予めｋ個と設定して分割し、これを初期状態として分割を繰り返し修正することによって、より良い分割を探しだす方法である。ｋ−ｍｅａｎ法は、処理量が少ないという利点がある。本発明の実施の形態では、色領域分割機能２２は、色領域の数を予め決めておき、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを行う。尚、画素同士が連結していなければ別の領域と判定するので、単一の画像内に同じ色情報の領域が複数含まれることもある。
【００４５】
次に、制御部１１は、代表領域抽出機能２３によって、色領域から代表領域を抽出する（Ｓ３）。代表領域抽出機能２３では、代表領域を抽出するための所定の抽出条件に基づいて、色領域から代表領域を抽出する。
【００４６】
ここで、代表領域を抽出するための所定の抽出条件について説明する。抽出条件の１つは、例えば、色領域ごとの面積情報によって定義され、面積が小さい色領域を抽出することが望ましい。より詳細には、色領域内の画素数が閾値以下という抽出条件が望ましい。面積が小さければ、その色領域に対応する物体も小さく、更に、その物体が振動する幅も小さくなるので、正確な特徴点を抽出し易いからである。また、面積が小さければ、後述するＳ４の処理が速くなるという利点もある。
【００４７】
また、抽出条件の１つは、例えば、色領域ごとの輝度情報によって定義され、輝度が明るい色領域を抽出することが望ましい。より詳細には、色領域内の画素群の輝度の平均値、中央値、最大値などが閾値以上という抽出条件が望ましい。これは、撮影装置２のダイナミックレンジによって明るい物体が真っ白に映る「白飛び」などを上手く利用する為である。「白飛び」の領域であれば、他の光源の影響（他の光源の強さ、方向など）が小さく、正確な特徴点を抽出し易いからである。
【００４８】
尚、前述の２つの抽出条件は、相反する条件ではないことから、両方のＡＮＤ条件としても良い。つまり、抽出条件は、色領域ごとの面積情報及び色領域ごとの輝度情報によって定義され、面積が小さい色領域かつ輝度が明るい色領域を抽出するとしても良い。
【００４９】
次に、制御部１１は、重心抽出機能２４によって、代表領域の重心の座標を、特徴点として抽出する（Ｓ４）。重心抽出機能２４では、代表領域の画素の座標情報に基づいて、代表領域の重心の座標を、特徴点の座標として算出する。
【００５０】
図５は、モーションブラーがない画像に対する特徴点の一例である。図５の例では、四角形、三角形、円の３つの領域が、代表領域として抽出されている。図５では、３つの領域の各重心を、白丸によって図示している。
【００５１】
図３に戻る。制御部１１は、特徴量テーブル生成機能２５によって、特徴量テーブルを生成し、記憶領域２７の特徴量データベース及びユニークＩＤＤＢに登録する（Ｓ５）。
【００５２】
図６は、特徴量データベースに登録される特徴量テーブルの一例である。図６に示すように、特徴量テーブルは、重心のＸ座標、重心のＹ座標、色情報を含む。図５の四角形に対応するデータは、重心のＸ座標が「７３」、重心のＹ座標が「３７」、色情報が「赤」である。図５の三角形に対応するデータは、重心のＸ座標が「１６５」、重心のＹ座標が「１３４」、色情報が「緑」である。図５の円に対応するデータは、重心のＸ座標が「２５１」、重心のＹ座標が「１５６」、色情報が「青」である。また、図６には、ユニークＩＤＤＢに登録されるユニークＩＤ「０００」も図示されている。
【００５３】
図３に戻る。制御部１１は、撮影が終了したかどうかを確認する（Ｓ６）。撮影が終了している場合（Ｓ６のＹＥＳ）、処理を終了し、撮影が終了していない場合（Ｓ６のＮＯ）、Ｓ１から処理を繰り返す。図３に示す処理によって、一定時間の撮影画像群が取得され、撮影画像ごとに特徴量テーブルが生成されて記憶領域２７に記憶される。
【００５４】
図７は、特徴点抽出装置１の特徴点マッチング処理（特徴点照合処理）を示すフローチャートである。図７に示すように、特徴点抽出装置１の制御部１１は、撮影画像取得機能２１によって、撮影画像を取得する（Ｓ１１）。
【００５５】
図８は、モーションブラーがある画像の一例である。図４と同様、図８に示す画像は、特許図面の制約から、カラー画像をグレースケール画像に変換したものである。また、視認性を確保する為、図８に示す画像は、輝度を反転している。図４と図８を比較すると、図８では、四角形、三角形、円の物体の輪郭がぼやけて、モーションブラーが発生していることが分かる。
【００５６】
図７の説明に戻る。図７のＳ１２〜Ｓ１５は、図３のＳ２〜Ｓ５と同様であるため、説明を省略する。
【００５７】
図９は、モーションブラーがある画像に対する特徴点の一例である。図９の例では、四角形、三角形、円の３つの領域が、代表領域として抽出されている。図９では、３つの領域の各重心を、白丸によって図示している。
【００５８】
図７の説明に戻る。次に、制御部１１は、ユニークＩＤ問い合わせ機能２６によって、Ｓ１５において生成された特徴量テーブルを問い合わせ条件として、ユニークＩＤの問い合わせを行う（Ｓ１６）。ユニークＩＤ問い合わせ機能２６は、例えば、各特徴量テーブルの各項目を要素とするベクトルを生成し、相関値（類似度）を求め、その大きさが所定の閾値を上回る場合に一致と判定し、一致と判定された特徴量テーブルに付与されているユニークＩＤを取得する。
【００５９】
次に、制御部１１は、モーションブラーがない画像から特定しておいた特徴点と、モーションブラーがある画像から特定される特徴点とをマッチングする（Ｓ１７）。これによって、制御部１１は、データベース化された画像の特徴点とリアルタイムに撮影された画像の特徴点とをマッチングすることができたことになる。そして、制御部１１は、例えば、データベース化された画像ごとに定義された画像処理を、リアルタイムに撮影された画像に対して実行する。
【００６０】
次に、制御部１１は、撮影が終了したかどうかを確認する（Ｓ１８）。撮影が終了している場合（Ｓ１８のＹＥＳ）、処理を終了し、撮影が終了していない場合（Ｓ１８のＮＯ）、Ｓ１１から処理を繰り返す。
【００６１】
図１０は、特徴点マッチング処理の結果である。記憶画像３１は、図３のＤＢ構築処理において、特徴量テーブルと対応付けられて記憶された画像である。記憶画像３１は、図４、図５に対応する。処理画像４１は、図７の特徴点マッチング処理において、リアルタイムに撮影された画像である。処理画像４１は、図８、図９に対応する。
【００６２】
図１０では、記憶画像３１の赤色領域３２の重心座標と、処理画像４１の赤色領域４２の重心座標とがマッチングされていることを示している。同様に、記憶画像３１の緑色領域３３の重心座標と、処理画像４１の緑色領域４３の重心座標とがマッチングされていることを示している。同様に、記憶画像３１の青色領域３４の重心座標と、処理画像４１の青色領域４４の重心座標とがマッチングされていることを示している。
【００６３】
以上、本発明の実施の形態では、特徴点抽出装置１が、画像を色領域に分割し、分割された色領域から代表領域を抽出し、抽出された代表領域の重心の座標を、特徴点として抽出する。これによって、コストをかけることなく、モーションブラーのある画像から特徴点を安定して高速に抽出することができる。
【００６４】
また、特徴点抽出装置１は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う。ｋ−ｍｅａｎ法は処理量が少ない為、特徴点を高速に抽出することができる。
【００６５】
また、特徴点抽出装置１は、面積が小さい色領域を代表領域として抽出する。面積が小さければ、その色領域に対応する物体が振動する幅も小さく、正確な特徴点を抽出し易い。
【００６６】
また、特徴点抽出装置１は、輝度が明るい色領域を抽出する。輝度が明るく、例えば「白飛び」の領域であれば、他の光源の影響が小さく、正確な特徴点を抽出し易い。
【００６７】
以上、添付図面を参照しながら、本発明に係る特徴点抽出装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１………特徴量抽出装置
２………撮影装置
１１………制御部
１２………記憶部
２１………撮影画像取得機能
２２………色領域分割機能
２３………代表領域抽出機能
２４………重心抽出機能
２５………特徴量テーブル生成機能
２６………ユニークＩＤ問い合わせ機能
２７………記憶領域
【特許請求の範囲】
【請求項１】
画像から特徴点を抽出する特徴点抽出装置であって、
画像を色領域に分割する色領域分割手段と、
前記色領域分割手段によって分割された色領域から代表領域を抽出する代表領域抽出手段と、
前記代表領域抽出手段によって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出手段と、
を備えることを特徴とする特徴点抽出装置。
【請求項２】
前記色領域分割手段は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う
ことを特徴とする請求項１に記載の特徴点抽出装置。
【請求項３】
前記代表領域抽出手段は、面積が小さい色領域を抽出する
ことを特徴とする請求項１又は請求項２に記載の特徴点抽出装置。
【請求項４】
前記代表領域抽出手段は、輝度が明るい色領域を抽出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の特徴点抽出装置。
【請求項５】
処理対象の画像は、モーションブラーがある画像である
ことを特徴とする請求項１乃至請求項４のいずれかに記載の特徴点抽出装置。
【請求項６】
モーションブラーがある画像から抽出された特徴点と、モーションブラーがない画像から抽出された特徴点とを照合する照合手段、
を更に備えることを特徴とする請求項１乃至請求項４のいずれかに記載の特徴点抽出装置。
【請求項７】
コンピュータが、画像から特徴点を抽出する特徴点抽出方法であって、
画像を色領域に分割する色領域分割ステップと、
前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、
前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、
を含むことを特徴とする特徴点抽出方法。
【請求項８】
コンピュータにより読み取り可能な形式で記述されたプログラムであって、
画像を色領域に分割する色領域分割ステップと、
前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、
前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、
を含む処理をコンピュータに実行させるためのプログラム。
【請求項１】
画像から特徴点を抽出する特徴点抽出装置であって、
画像を色領域に分割する色領域分割手段と、
前記色領域分割手段によって分割された色領域から代表領域を抽出する代表領域抽出手段と、
前記代表領域抽出手段によって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出手段と、
を備えることを特徴とする特徴点抽出装置。
【請求項２】
前記色領域分割手段は、入力データをＲＧＢデータ、クラスを色領域とし、ｋ−ｍｅａｎ法によるクラスタリングを利用した減色処理を行う
ことを特徴とする請求項１に記載の特徴点抽出装置。
【請求項３】
前記代表領域抽出手段は、面積が小さい色領域を抽出する
ことを特徴とする請求項１又は請求項２に記載の特徴点抽出装置。
【請求項４】
前記代表領域抽出手段は、輝度が明るい色領域を抽出する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の特徴点抽出装置。
【請求項５】
処理対象の画像は、モーションブラーがある画像である
ことを特徴とする請求項１乃至請求項４のいずれかに記載の特徴点抽出装置。
【請求項６】
モーションブラーがある画像から抽出された特徴点と、モーションブラーがない画像から抽出された特徴点とを照合する照合手段、
を更に備えることを特徴とする請求項１乃至請求項４のいずれかに記載の特徴点抽出装置。
【請求項７】
コンピュータが、画像から特徴点を抽出する特徴点抽出方法であって、
画像を色領域に分割する色領域分割ステップと、
前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、
前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、
を含むことを特徴とする特徴点抽出方法。
【請求項８】
コンピュータにより読み取り可能な形式で記述されたプログラムであって、
画像を色領域に分割する色領域分割ステップと、
前記色領域分割ステップによって分割された色領域から代表領域を抽出する代表領域抽出ステップと、
前記代表領域抽出ステップによって抽出された代表領域の重心の座標を、特徴点として抽出する重心抽出ステップと、
を含む処理をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図４】
【図５】
【図８】
【図９】
【図２】
【図３】
【図６】
【図７】
【図１０】
【図４】
【図５】
【図８】
【図９】
【公開番号】特開２０１３−５８０５２（Ｐ２０１３−５８０５２Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５５３４（Ｐ２０１１−１９５５３４）
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月８日（２０１１．９．８）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]