特徴検出装置、特徴検出方法、およびそのプログラム
【課題】 複数のカメラそれぞれで過去のフレーム結果と比較することで精度よく過去のフレームの結果を引継ぎ、特徴検出処理の処理負荷を低減する。
【解決手段】 ステレオ撮像した第１の映像と第２の映像からマーカを検出する探索ラインを設定し、探索ラインに沿って、第１の映像と第２の映像の両方の現在のフレームからマーカを検出し、フレームから検出したマーカの位置をマーカ情報として記録し、検出中に、検出中のフレームから検出したマーカの位置と、マーカ情報に基づく過去のフレームから検出したマーカの位置とが、予め設定された閾値以内であるか否かを判定し、閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定し、個数以上であると判定された場合に、マーカの検出を中断し、過去のフレームのマーカ情報を現在のフレームのマーカ情報として記録する。
【解決手段】 ステレオ撮像した第１の映像と第２の映像からマーカを検出する探索ラインを設定し、探索ラインに沿って、第１の映像と第２の映像の両方の現在のフレームからマーカを検出し、フレームから検出したマーカの位置をマーカ情報として記録し、検出中に、検出中のフレームから検出したマーカの位置と、マーカ情報に基づく過去のフレームから検出したマーカの位置とが、予め設定された閾値以内であるか否かを判定し、閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定し、個数以上であると判定された場合に、マーカの検出を中断し、過去のフレームのマーカ情報を現在のフレームのマーカ情報として記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の連続する映像から特徴検出を行う映像処理装置に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実技術、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。このＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や、手持ち型映像表示装置（ＨＨＤ）を利用して、複合現実画像を使用者に提示する技術がある。
【０００３】
ＭＲ技術を具現化するために使用するビデオシースルーＨＭＤは、使用者の瞳位置から観測される被写体と略一致する被写体をビデオカメラなどで撮像する。その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した画像を使用者に表示することで複合現実空間を提供する。
【０００４】
ＣＧを重畳するために、撮像画像から特徴点を検出することでＨＭＤの位置・姿勢を計測し、仮想物体の位置合わせを行う技術が知られている。一般的に撮像画像から特徴点を検出する処理は処理負荷が大きいため、少しでも効率よく、処理負荷を低減する必要がある。処理負荷を低減することは消費電力を低減することにもなるため、ＨＭＤをバッテリで動作させる場合、より長時間使用することが可能となる。
【０００５】
処理負荷を低減するために、撮像画像から特徴点を検出する処理において、１フレーム前の特徴検出結果と比較する方法がある。特許文献１では、エピポーラ線上に配置された２つの撮像動画からステレオ計測を行う。２つのカメラで撮像した画像のうち片方の特徴点が１フレーム前の結果と基準値以内の時に１フレーム前の結果を引継ぎ現在のフレームの対象領域に制限をかけることが記述されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３３１１０８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では２つの撮像画像のうち、何れか一方の画像のみで１フレーム前の結果と比較を行っている。また、ステレオ計測を行うため左右両方の撮像画像から同一点を検出し、同一点か否かを突き合わせて確認する必要があるため左右独立に画像処理を行うことが困難であった。そのため、ＨＭＤが傾いた時の処理に精度が出なく、また効率化が困難なためＭＲシステムには不向きであった。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、複数の入力映像から独立に効率よく特徴点の検出を行い、それぞれで過去の結果と比較し、精度よく結果を引継ぐことで処理負荷を低減する特徴検出装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、以下の装置によって達成される。
【００１０】
即ち、ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定手段と、前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出手段と、前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録手段と、前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定手段と、前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定手段と、前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録手段とを有することを特徴とする特徴検出装置。
【発明の効果】
【００１１】
本発明によれば、同時に撮像された複数の入力映像から独立に画像処理を行い効率的に特徴点を検出し過去のフレーム結果と比較することで、マーカ検出位置の精度を保ちつつ処理負荷を低減することが出来る。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態に係るシステムのブロック図である。
【図２】第一実施形態の特徴検出部における詳細なブロック図である。
【図３】入力映像と１つめの個別マーカ情報を示した図である。
【図４】１フレーム前の入力映像と記録されているマーカ情報を示す図である。
【図５】特徴の履歴記録部に保存されるマーカ情報を示す図である。
【図６】現在のフレームの結果を過去のフレームと同様にする例を示す図である。
【図７】マーカの一部が隠れた時の例を示す図である。
【図８】１フレーム前の結果と現在のフレームの結果が閾値以内で一致しない例を示す図である。
【図９】特徴の履歴記録部に記録された複数の過去のマーカ情報を示す図である。
【図１０】複数の過去フレームと比較を示す図である。
【図１１】コントロール部にて複数の過去フレームの中から一致命令を出力する条件を示した図である。
【図１２】コントロール部にて複数の過去フレームの中から一致命令を出力する条件を示した図である。
【図１３】第一実施形態における特徴探索部のフローチャートである。
【図１４】第一実施形態における結果比較部のフローチャートである。
【図１５】第二実施形態におけるマーカ探索順序を示す図である。
【図１６】第二実施形態におけるマーカ探索終了の条件を示す図である。
【図１７】第二実施形態における特徴探索部のフローチャートである。
【図１８】第二実施形態における結果比較部のフローチャートである。
【図１９】第一実施形態に比べ第三実施形態において改善できる例を示した図である。
【図２０】第三実施形態における結果比較部のフローチャートである。
【図２１】第三実施形態における比較対象フレームの変化を示す図である。
【図２２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。また以下の実施形態では、特徴点の集合体であるマーカを検出する。
【００１４】
〔第１の実施形態〕
図１は、本実施形態に係るシステムのブロック図である。係るシステムはユーザに対して複合現実感を提供するシステムである。
【００１５】
ビデオシースルーＨＭＤ１は、左眼と右眼の各映像に対して個々に処理機能を有する。図１において、左右で同じ機能を有する各部に関しては、左眼用の符号にＬ、右眼用の符号にＲを付けている。以下では左眼での処理ついて記述を行うが特に断りがない限り右眼でも同様の処理を行う。
【００１６】
撮像部１０１Ｌ、１０１Ｒの各々は、映像（第１の映像、第２の映像）をステレオ撮像する。撮像部１０１Ｌで撮像された映像は、特徴検出部１０２で映像からマーカが抽出される。このマーカの情報はＩ／Ｆ（１０３および２０４）を通してＰＣ２の位置・姿勢計測部２０１に送信される。位置・姿勢計測部２０１では、マーカの情報を元にＨＭＤの位置・姿勢を計測する。ＣＧ描画２０３Ｌは、位置・姿勢計測部２０１で計測された位置・姿勢情報とＣＧデータ２０２を用いてＣＧを描画する。描画したＣＧはＩ／Ｆ（２０４および１０３）を通じて合成部１０４Ｌに送られる。合成部１０４Ｌは描画されたＣＧと撮像部１０１Ｌで撮像した映像を合成し、合成映像を表示部１０５Ｌに表示することで複合現実感をユーザに提供する。
【００１７】
以上の構成により、ビデオシースルーＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験できる。
【００１８】
図２は特徴検出部１０２の内部ブロック図である。
【００１９】
特徴探索部１５１Ｌは、入力映像信号からマーカ検出を行う。ＲＯＭ１５０Ｌには、マーカの大きさと閾値の対応が記録されている。特徴探索部１５１Ｌで検出された、マーカの大きさ・中心座標・ＩＤの情報とＲＯＭ１５０Ｌに記録された閾値情報から個別マーカ情報を生成し、結果比較部１５２Ｌに送信する。
【００２０】
履歴記録部１５３Ｌは、過去の１フレーム分の検出された個別マーカ情報ごとにまとめられたマーカ情報を記録する（第１の記録）。以降、この１フレーム分の個別マーカ情報の集合をマーカ情報と呼称する。特徴の履歴記録部１５３Ｌは、結果比較部１５２Ｌによって参照され、あるいは比較結果後にマーカ情報が保存される。
【００２１】
結果比較部１５２Ｌは、特徴探索部１５１Ｌから受信した個別マーカ情報と特徴の履歴記録部１５３Ｌに記録されている過去の個別マーカ情報を比較する。また、比較結果に応じた判定により、特徴の履歴記録部１５３Ｌの書き換えを行う（第２の記録）。また現在のフレームでのマーカ情報（特徴点情報）を確定し、送信部１５５Ｌにマーカ情報を送信する。
【００２２】
コントロール部１５４は、左右の処理を監視・制御する。
【００２３】
送信部１５５Ｌは、結果比較部１５２Ｌから受け取った現在のフレームのマーカ情報をＩ／Ｆ１０３に送信する。
【００２４】
以上のように、特徴検出部１０２の主な処理は、現在のフレームでのマーカ検出を実施し、この結果と過去の探索結果とを比較し現在のフレームのマーカ情報を確定することである。この２つの処理について詳細に説明する。
【００２５】
マーカ検出は特徴探索部１５１Ｌで行われる。この処理を示したものが図３である。
【００２６】
図３の（ａ）が撮像部１０１Ｌからの入力映像を示しており、１ラインごとにマーカ検出が行われる。図３の（ａ）の四角形ＡからＦすべてがマーカである。
【００２７】
図３の（ｂ）は図３（ａ）の入力映像に対してマーカ検出を行った結果、得られたマーカＡの個別マーカ情報を示している。なお、図３の（ｂ）の結果ではＩＤ、中心座標、大きさなどが記述されているが、個別マーカ情報は図３の（ｂ）に限ったものではなく、特徴的な点の座標が最低限あってもよい。大きさが定義可能な特徴点の場合、大きさも記録することが望ましいため本実施形態では大きさも記録する。図３の（ｂ）の閾値とは、マーカの大きさによって変化する値でありＲＯＭ１５０Ｌに記録されている。この閾値は過去のフレームのマーカ検出結果との比較時に一致と判定するための差の最大値である。
【００２８】
閾値の一例を図３の（ｃ）に示す。本実施形態では図３の（ｃ）のように、オブジェクトが大きいほど閾値が小さくなっているがこの限りではなく用途によって使い分ければよい。本実施形態では、マーカの近くでは精度を必要とした場合を想定しているため図３の（ｃ）のような閾値となっている。特徴探索部１５１Ｌで検出された個別マーカ情報は結果比較部１５２Ｌに順次送信される。
【００２９】
なお、特徴探索部１５１Ｌは後述する一致命令をコントロール部１５４から受信するか、もしくは１フレームの検出が終了すれば現在のフレームの検出処理を終了する。
【００３０】
次に、結果比較部１５２Ｌの比較処理について詳細に説明する。本実施形態では、左右両方で３つ以上の個別マーカ情報の中心座標が過去のマーカ情報と閾値以内で一致した時、検出中であるマーカの検出処理を中断し、過去のマーカ情報を現在のフレームのマーカ情報と同じであると確定する。
【００３１】
なお、この閾となる個数は３に限らない。予め設定された個数以上（Ｍ個：は正の整数）である。結果比較部１５２Ｌは特徴探索部１５１Ｌからのマーカ検出の結果と特徴の履歴記録部１５３Ｌの情報を比較する。特徴の履歴記録部１５３Ｌに保存する構成例を示したものが図５である。
【００３２】
図５は、図４の（ｂ）の情報をもった図４の（ａ）が入力映像の時に特徴探索部１５１Ｌによって検出されたマーカ情報を意味する。マーカ情報がアルファベット順でないのは、マーカが検出された順に並んでおり、マーカ検出が水平ラインごとに上部から行われたためである。図５では１フレーム分のマーカ情報であるが、特徴の履歴記録部１５３Ｌは複数のフレーム結果を保存できる。
【００３３】
図６を用いて現在のフレームの個別マーカ情報と１フレーム前のマーカ情報の比較処理について説明する。なお、図６は左眼入力映像に対する比較の例を示しており個別マーカ情報が３個以上一致した時の例である。
【００３４】
図６の（ａ）は、特徴の履歴記録部１５３Ｌにすでに登録されている１フレーム前のマーカ情報である。結果比較部１５２Ｌは、受信した個別マーカ情報の中心座標と、特徴の履歴記録部１５３Ｌに保存されたマーカ情報の個別マーカ情報の中心座標との差が閾値以内であるか判定する（第１の判定）。ただし、同一ＩＤ同士でのみ比較することとする。本実施形態での中心座標の差は距離を採用しているが、ベクトルを用いても構わない。また本実施形態での閾値は現在のフレームの個別マーカ情報の閾値を採用しているが、１フレーム前の個別マーカ情報にも閾値情報を記録しているため、どちらを採用しても構わない。
【００３５】
図６の（ｂ）は現在のフレームで３つ目の個別マーカ情報を検出した例と１フレーム前の個別マーカ情報との距離の差を示した例である。図６（ｂ）の差を見ると、マーカＩＤ Ｂ、Ａ、Ｃで１フレーム前の個別マーカ情報と閾値以内に収まっている。本実施形態では、左右両方で３つ以上の個別マーカ情報の中心座標が過去のマーカ情報と閾値以下の時、検出中であるマーカの検出処理を中断する。
【００３６】
結果比較部１５２Ｌは、図６の（ｂ）の段階で片側が上記条件を満たした事をコントロール部１５４に通知する。この通知を一定値以上通知と呼称する。コントロール部１５４は現在のフレームに対して左右の結果比較部１５２Ｌ、１５２Ｒから一定値以上通知を受けると左右の結果比較部１５２Ｌおよび１５２Ｒと特徴探索部１５１Ｌおよび１５１Ｒに一致命令で通知する。つまり一致命令は、左右共に閾値以内でＭ個以上の個数と一致したため、検出中であるマーカの検出処理を中断し、過去のマーカ情報を現在のフレームのマーカ情報と同じであると確定させる命令である。
【００３７】
結果比較部１５２Ｌはコントロール部１５４から一致命令を受信すると比較処理を終了し、現在のフレームのマーカ情報を１フレーム前のマーカ情報と同じであると確定する。結果比較部１５２Ｌは確定した現在のフレームのマーカ情報を送信部１５５Ｌに送信する。
【００３８】
図６の例の場合、図６の（ｂ）の個別マーカ情報が１フレーム前の図６の（ａ）と３つ以上閾値以内に収まっているため、現在のフレームのマーカ情報は図６（ａ）と同等の図６（ｃ）に確定され、図６（ｂ）の個別マーカ情報は破棄される。図６の（ｃ）のマーカ情報は送信部１５５Ｌに送信される。この時、特徴の履歴記録部１５３Ｌには図６の（ｃ）のマーカ情報は記録されず、この比較処理の前後において特徴の履歴記録部１５３Ｌの内容は変化しない。
【００３９】
図７の（ａ）はマーカＡが手や物などの現実物体によって隠れた例である。図７の（ｂ）は図７の（ａ）の入力映像信号から３つのマーカを検出した時の結果と、図６の（ａ）と比較した差である。この場合、図６の（ａ）と３つ以上閾値以内で一致するため、障害物がなかった時と同様の図６の（ｃ）が現在のフレームのマーカ情報として送信部１５５Ｌに送信される。
【００４０】
図８に閾値以内で一致したものが３つに満たなかった場合を示した例である。図８の（ａ）が１フレーム前のマーカ情報で、図８の（ｂ）が現在のフレームですべての個別マーカ情報を検出した例と１フレーム前の個別マーカ情報との距離の差を示した例である。図８（ｂ）の差を見ると、１フレーム前の個別マーカ情報と３つ以上閾値以内に収まっていない。そのため現在のフレームのマーカ情報は、図８の（ｃ）となる。この図８の（ｃ）が特徴の履歴記録部１５３Ｌに保存され、現在のフレームの結果として送信部１５５Ｌに送信される。
【００４１】
以上が、１フレーム前の結果と比較する方法である。
【００４２】
次に過去のＮフレーム分（Ｎは正の整数）と比較する例について記述する。
【００４３】
複数の過去のフレームと比較するため、特徴の履歴記録部１５３Ｌでは図９のように複数のマーカ情報を記録している。以下では、複数フレームを６フレームとして説明を行うが一般的には６フレームである必要はない。
【００４４】
結果比較部１５２Ｌでは特徴探索部１５１Ｌから個別マーカ情報を取得すると、特徴の履歴記録部１５３Ｌを参照しすべてのマーカ情報の個別マーカ情報と一致したか否かを判定する。この比較方法を図９と図１０を用いて説明する。
【００４５】
図９に示すように特徴の履歴記録部１５３Ｌには、過去のマーカ情報が６フレーム分記録されている。
【００４６】
この時、図１０の（ａ）に示す個別マーカ情報を用いて特徴の履歴記録部１５３Ｌに記録された図９のマーカ情報と比較した結果が図１０（ａ）の比較結果である。同様に結果比較部１５２Ｌは個別マーカ情報を特徴探索部１５１Ｌから受け取る度に図１０（ｂ）、図１０（ｃ）のように比較を行う。
【００４７】
図１０（ｃ）では比較した結果、２フレームが３つ以上閾値以内で一致する条件を満たした。結果比較部１５２Ｌは一定値以上通知と条件を満たした過去のフレーム番号をコントロール部１５４へ通知する。コントロール部１５４は、左右ともに同じフレーム番号を持つ一定値以上通知を受けたときに、一致したフレーム番号とともに一致命令を結果比較部１５２Ｌおよび１５２Ｒと特徴探索部１５１Ｌおよび１５１Ｒに出力する。
【００４８】
図１１は、結果比較部１５２Ｌからフレーム５、フレーム６の一定値以上通知を受け、結果比較部１５２Ｒからフレーム１、フレーム６の一定値以上通知をコントロール部１５４が受けたときの例である。図１１の場合、左右で一致した一定以上通知で受け取ったフレーム番号は５だったため、コントロール部１５４は一致命令とフレーム番号５を結果比較部１５２Ｌ、１５２Ｒと特徴探索部１５１Ｌ、１５１Ｒへ送信する。結果比較部１５２Ｌは左右それぞれフレーム５のマーカ情報を現在のフレームのマーカ情報として確定する。
【００４９】
図１２は複数のフレーム番号が左右で一致した時の例であり、この場合、フレーム番号と時間に相関があるように並べ最新のフレーム番号を使用する。数が大きいほど最新のデータとしておくことで、本実施形態ではフレーム６のデータを採用する。他にも一定値以上通知と共に、過去フレームとの差を通知することでコントロール部１５４において過去フレームに一番物理的ずれが小さいフレームを選ぶようにしてもよい。
【００５０】
結果比較部１５２Ｌにおいて、一致命令をコントロール部１５４から受信せずに、後述する探索終了信号を特徴探索部１５１Ｌから受け取った場合、１フレーム前との比較時と同様に現在のフレームのマーカ情報が確定される。確定された結果は送信部１５５Ｌに送信され、また特徴の履歴記録部１５３Ｌの一番古い情報に上書き保存する。一番古い情報でなくても過去フレームに使用頻度を重み付けし上書きするようにしてもよい。
【００５１】
以上が、複数の過去のフレーム結果と比較する方法である。
【００５２】
本実施形態における特徴探索部１５１Ｌの処理の流れについて図１３に示すフローチャートを用いて説明する。図１３のフローチャートによって示される処理は、撮像部１０１Ｌからの入力映像信号の１フレームを受信した時に開始される。
【００５３】
ステップＳ２０１において特徴探索部１５１Ｌは、マーカ探索を行う水平ラインの設定を行う。
【００５４】
ステップＳ２０２では、特徴探索部１５１Ｌはコントロール部１５４からの一致命令の有無を判定する。一致命令を受信した場合、特徴探索部１５１Ｌは探索処理を終了する。一致命令を受信していない場合、ステップＳ２０３でマーカ検出を行う。
【００５５】
ステップＳ２０３において特徴探索部１５１Ｌは、ステップＳ２０１で設定した水平ラインのマーカ検出を行う。設定したラインでマーカを検出した場合、ステップＳ２０４にて個別マーカ情報を結果比較部１５２Ｌに送信し、検出しなかった場合は、ステップＳ２０５の処理を行う。
【００５６】
ステップＳ２０４では、特徴探索部１５１ＬはステップＳ２０３で検出した個別マーカ情報を結果比較部１５２Ｌに送信し、ステップＳ２０２の処理へ移る。この時、探索ラインの設定を再度行わないため、１ラインに１個以上のマーカがあった時でもすべてのマーカを検出することが出来る。
【００５７】
ステップＳ２０５において特徴探索部１５１Ｌは、探索ラインが入力映像信号の最終ラインであったか否かの判定を行う。最終ラインでなかった場合、ステップＳ２０１にて次のラインを設定する。最終ラインであった場合、結果比較部１５２Ｌに最終ラインに到達した信号を送り探索処理を終了する。
【００５８】
次に本実施形態における結果比較部１５２Ｌの処理の流れについて図１４に示すフローチャートを用いて説明する。図１４のフローチャートによって示される処理も、入力映像信号の１フレームを特徴探索部１５１Ｌが受信した時に開始される。
【００５９】
ステップＳ２５１で結果比較部１５２Ｌは、コントロール部１５４からの一致命令の有無を確認する。一致命令を受信した場合、ステップＳ２６１へ進み、一致命令を受信していない場合、ステップ２５２へと進む。
【００６０】
ステップＳ２６１では、一致命令を受信した場合、結果比較部１５２Ｌは一致命令と共に受信する過去フレーム番号に対応するマーカ情報を現在のフレームの結果とし、ステップＳ２６３に進む。
【００６１】
ステップＳ２５２では、一致命令を受信していない場合、結果比較部１５２Ｌは特徴検出部１５１Ｌからマーカ検出が最終ラインに到達したか確認する。マーカ検出が終了した場合、ステップＳ２６２へ進む。
【００６２】
ステップＳ２６２では、ステップＳ２５２でマーカ検出が終了した場合に、ステップＳ２６０で一時的に保存した結果を現在のフレームのマーカ情報として採用する。採用したマーカ情報を特徴の履歴記録部１５３Ｌに保存し、ステップＳ２６３に進む。
【００６３】
ステップＳ２５３では、特徴探索部１５１Ｌから個別マーカ情報を受信したか否かの判定が行われる。個別マーカ情報を受信していなかった場合、待ち状態としてステップＳ２５１に戻り、受信した場合ステップＳ２５４に進み比較処理が行われる。
【００６４】
ステップＳ２５４からステップＳ２５９までは、特徴の履歴記録部１５３Ｌに記録されているすべての過去フレームに対して繰り返し行われる処理である。
【００６５】
ステップＳ２５５では、受信した個別マーカ情報の中心座標とマーカ情報の中心座標が閾値以内で一致したか否かの判定を行う（第１の判定）。一致した場合、ステップＳ２５６へ進む。
【００６６】
ステップＳ２５６では、一致した場合に一致したフレームの一致数を１増加しステップＳ２５７へ進む。
【００６７】
ステップＳ２５７では、３を超えたかの判定が行われ（第２の判定）、一致数が３以上である場合、ステップＳ２５８へ進む。
【００６８】
ステップＳ２５８では、コントロール部１５４に一定値以上通知とフレーム番号を送信する。
【００６９】
ステップＳ２６０では、すべての過去フレームで上記処理が行われた後、受信した個別マーカ情報を一時的に記録し、ステップＳ２５１の処理に戻る。
【００７０】
ステップＳ２６３では、確定した現在のフレームのマーカ情報を送信部１５５Ｌに送信する。
【００７１】
以上の処理により、複数の入力映像信号からそれぞれ独立に特徴検出を行い、それぞれが過去のフレーム結果と比較することで精度よく過去のフレームの結果を用いる。例えば、単眼カメラで撮像した映像を探索し、同じ位置に検出したマーカが一定数あったとしても、異なるマーカを検出する可能性が高く、実用には不十分である。本実施形態では、ステレオ映像という同じ場所を写しているが、視点位置が若干ずれているという点を利用し、ステレオ映像の左右（上下）両方の映像でマーカを探索する。これにより、同じ位置のマーカを一定数見つけ、マーカ検出を中断したとしても、同じ位置であると判定するに十分な信頼を置くことが出来、特徴検出の負荷を低減することが可能な装置を実現できる。
【００７２】
〔第２の実施形態〕
本実施形態では、複数の撮像映像から特徴を独立に検出することが出来ることを活かし、図１５のように左右の撮像映像で異なる走査順に特徴検出を行う。すなわち、左の映像で走査した方向（順方向）とは、逆の方向（逆方向）で右の映像を走査する。走査を開始した付近に変化がなく、走査の終着点に近い部分の変化している場合など、映像の一部に大きな変化が起きたことを検知しやすくなる。
【００７３】
ビデオシースルー型ＨＭＤを利用したＭＲ技術では、左右どちらか一方のマーカを検出すればＨＭＤの位置・姿勢が位置・姿勢計測部２０１で計測することが出来る。そのため、マーカ検出は左右合わせて画面全領域に相当する領域のみを行えばよい。よって、図１６のように終了条件を左右両方で画面全体の検出を終えたとき設定することで左右の処理負荷を均等にすることが出来る。
【００７４】
本実施形態では左右合わせて６個以上閾値以内で一致の時に中断する例で説明する。なお、この閾値数は６である必要はない。
【００７５】
本実施形態の処理について説明する。以下では特徴探索部および結果比較部の処理ついて、左眼の処理として記述されているが右眼でも同様である。
本実施形態の特徴探索部１５１Ｌのフローチャートを図１７に示す。
【００７６】
なお、ステップＳ３０１からＳ３０５の機能は、第１の実施形態で説明した図１３のステップＳ２０１からＳ２０５と同様である。
【００７７】
本実施形態では、左右の撮像映像で異なる走査順にマーカ検出を行い、最終ラインに到達しなくても左右両方で画面全体の検出を終えたときにマーカ検出を終了する。そのため、ステップＳ３０７では、特徴探索部１５１Ｌが１ラインのマーカ検出が終わる度にコントロール部１５４に検出を終えた領域を通知する。
【００７８】
コントロール部１５４は、特徴検出部１５１Ｌおよび１５１Ｒからマーカ検出を終えた領域を監視し、全領域を検出した時に、特徴探索部１５１Ｌ、１５１Ｒと結果比較部１５２Ｌ、１５２Ｒに停止命令を出力する。
【００７９】
ステップＳ３０６では、特徴探索部１５１Ｌが停止命令の有無を確認し、停止命令がある場合、検出処理を終了する。本実施形態では左右で検出ラインが重ならないように説明したが、検出ラインが重なっても良い。
【００８０】
本実施形態の結果比較部１５２Ｌのフローチャートを図１８に示す。
【００８１】
なお、Ｓ３５１からＳ３５６、Ｓ３５９からＳ３６３の機能は、第１の実施形態で説明した図１４のＳ２５１からＳ２５６、Ｓ２５９からＳ２６３と同様である。
【００８２】
ステップＳ３６４では、結果比較部１５２Ｌがコントロール部１５４からの停止命令を確認する。停止命令がある場合、ステップＳ３６２に進み現在のフレームの結果が確定する。
【００８３】
ステップＳ３６５では、各過去フレームと個別マーカ情報を比較し終えた時に、コントロール部１５４に各過去フレームとの一致数を送信する。
【００８４】
コントロール部１５４では、結果比較部１５２Ｌおよび１５２Ｒから送られてくる一致数を監視し、合わせて６以上の時、一致命令を結果比較部１５２Ｌ、１５２Ｒおよび特徴検出部１５１Ｌ、１５１Ｒに送信する。
【００８５】
以上の処理により、左右独立にマーカ検出を行うことで広領域の現実空間を用いた比較を行い、精度よく過去のフレームの結果を用いることが出来、特徴検出の負荷を低減することが可能な装置を実現できる。
【００８６】
〔第３の実施形態〕
本実施形態では、図１９に示すように過去のフレーム（ａ）と現在のフレーム（ｂ）が閾値より大きい場合、この過去フレームを比較の対象から外すことで処理の効率化が実現できる。この方法について説明する。
【００８７】
なお、本実施形態では第１の実施形態で記述した過去のマーカ情報と個別マーカ情報の中心座標の比較時に使用する閾値と、比較対象から外すための閾値は同じ値を用いる。しかし、この限りではなく比較対象から外すための閾値を新たに追加し比較を行っても良い。以下では左眼の処理について記述されているが特に断りがない限り右眼でも同様である。
【００８８】
図２０の（ａ）は、特徴の履歴記録部１５３Ｌに記録されている過去フレームのマーカ情報の例である。この時に、特徴探索部１５１Ｌから結果比較部１５２Ｌに図２０の（ｂ）の個別マーカ情報送られた時、第１の実施形態と同様に比較処理が行われる。
【００８９】
図２０の（ｂ）はＩＤを比べると図２０の（ａ）のフレーム１、フレーム２とは閾値より大きいフレームと判断することが出来る。閾値より大きいと判断されたフレーム１、フレーム２は現在のフレームの比較対象フレームから削除され、次に特徴探索部１５１Ｌから受ける個別マーカ情報は図２０の（ｃ）に示すフレーム３のみと比較される。
【００９０】
本実施形態の結果比較部１５２Ｌのフローチャートを図２１に示す。
【００９１】
図２１のＳ４５１からＳ４６３の機能は、第１の実施形態で説明した図１３のＳ２５１からＳ２６３と同様である。
【００９２】
ステップＳ４５５にて個別マーカ情報が過去フレームと比べて閾値より大きい場合、ステップＳ４６４の処理を行う。ステップＳ４６４では、Ｓ４５５にて閾値より大きいと判定された過去フレームを、現在のフレームとの比較の対象から外す。
【００９３】
以上の処理により、複数の入力映像信号からそれぞれ独立に特徴検出を行い、それぞれが効率よく過去のフレーム結果と比較することで、特徴検出の負荷を低減することが可能な装置を実現できる。
【００９４】
以上、実施形態を記述したが探索対象となる特徴は特徴点であればよく、実施形態のマーカ以外でも適応可能である。例えば、自然特徴でもよい。
【００９５】
〔その他の実施形態〕
図２２は、コンピュータの構成例である。
【００９６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク５０４、５０７又は各種記憶媒体５０２、５０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ５０１（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部５０５から処理を実行する指示を入力し、表示部５０６で指示した処理の結果を表示してもよい。
【技術分野】
【０００１】
本発明は、複数の連続する映像から特徴検出を行う映像処理装置に関する。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実技術、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。このＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や、手持ち型映像表示装置（ＨＨＤ）を利用して、複合現実画像を使用者に提示する技術がある。
【０００３】
ＭＲ技術を具現化するために使用するビデオシースルーＨＭＤは、使用者の瞳位置から観測される被写体と略一致する被写体をビデオカメラなどで撮像する。その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した画像を使用者に表示することで複合現実空間を提供する。
【０００４】
ＣＧを重畳するために、撮像画像から特徴点を検出することでＨＭＤの位置・姿勢を計測し、仮想物体の位置合わせを行う技術が知られている。一般的に撮像画像から特徴点を検出する処理は処理負荷が大きいため、少しでも効率よく、処理負荷を低減する必要がある。処理負荷を低減することは消費電力を低減することにもなるため、ＨＭＤをバッテリで動作させる場合、より長時間使用することが可能となる。
【０００５】
処理負荷を低減するために、撮像画像から特徴点を検出する処理において、１フレーム前の特徴検出結果と比較する方法がある。特許文献１では、エピポーラ線上に配置された２つの撮像動画からステレオ計測を行う。２つのカメラで撮像した画像のうち片方の特徴点が１フレーム前の結果と基準値以内の時に１フレーム前の結果を引継ぎ現在のフレームの対象領域に制限をかけることが記述されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３３１１０８
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では２つの撮像画像のうち、何れか一方の画像のみで１フレーム前の結果と比較を行っている。また、ステレオ計測を行うため左右両方の撮像画像から同一点を検出し、同一点か否かを突き合わせて確認する必要があるため左右独立に画像処理を行うことが困難であった。そのため、ＨＭＤが傾いた時の処理に精度が出なく、また効率化が困難なためＭＲシステムには不向きであった。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、複数の入力映像から独立に効率よく特徴点の検出を行い、それぞれで過去の結果と比較し、精度よく結果を引継ぐことで処理負荷を低減する特徴検出装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的は、以下の装置によって達成される。
【００１０】
即ち、ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定手段と、前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出手段と、前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録手段と、前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定手段と、前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定手段と、前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録手段とを有することを特徴とする特徴検出装置。
【発明の効果】
【００１１】
本発明によれば、同時に撮像された複数の入力映像から独立に画像処理を行い効率的に特徴点を検出し過去のフレーム結果と比較することで、マーカ検出位置の精度を保ちつつ処理負荷を低減することが出来る。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態に係るシステムのブロック図である。
【図２】第一実施形態の特徴検出部における詳細なブロック図である。
【図３】入力映像と１つめの個別マーカ情報を示した図である。
【図４】１フレーム前の入力映像と記録されているマーカ情報を示す図である。
【図５】特徴の履歴記録部に保存されるマーカ情報を示す図である。
【図６】現在のフレームの結果を過去のフレームと同様にする例を示す図である。
【図７】マーカの一部が隠れた時の例を示す図である。
【図８】１フレーム前の結果と現在のフレームの結果が閾値以内で一致しない例を示す図である。
【図９】特徴の履歴記録部に記録された複数の過去のマーカ情報を示す図である。
【図１０】複数の過去フレームと比較を示す図である。
【図１１】コントロール部にて複数の過去フレームの中から一致命令を出力する条件を示した図である。
【図１２】コントロール部にて複数の過去フレームの中から一致命令を出力する条件を示した図である。
【図１３】第一実施形態における特徴探索部のフローチャートである。
【図１４】第一実施形態における結果比較部のフローチャートである。
【図１５】第二実施形態におけるマーカ探索順序を示す図である。
【図１６】第二実施形態におけるマーカ探索終了の条件を示す図である。
【図１７】第二実施形態における特徴探索部のフローチャートである。
【図１８】第二実施形態における結果比較部のフローチャートである。
【図１９】第一実施形態に比べ第三実施形態において改善できる例を示した図である。
【図２０】第三実施形態における結果比較部のフローチャートである。
【図２１】第三実施形態における比較対象フレームの変化を示す図である。
【図２２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して、本発明の実施形態を説明する。また以下の実施形態では、特徴点の集合体であるマーカを検出する。
【００１４】
〔第１の実施形態〕
図１は、本実施形態に係るシステムのブロック図である。係るシステムはユーザに対して複合現実感を提供するシステムである。
【００１５】
ビデオシースルーＨＭＤ１は、左眼と右眼の各映像に対して個々に処理機能を有する。図１において、左右で同じ機能を有する各部に関しては、左眼用の符号にＬ、右眼用の符号にＲを付けている。以下では左眼での処理ついて記述を行うが特に断りがない限り右眼でも同様の処理を行う。
【００１６】
撮像部１０１Ｌ、１０１Ｒの各々は、映像（第１の映像、第２の映像）をステレオ撮像する。撮像部１０１Ｌで撮像された映像は、特徴検出部１０２で映像からマーカが抽出される。このマーカの情報はＩ／Ｆ（１０３および２０４）を通してＰＣ２の位置・姿勢計測部２０１に送信される。位置・姿勢計測部２０１では、マーカの情報を元にＨＭＤの位置・姿勢を計測する。ＣＧ描画２０３Ｌは、位置・姿勢計測部２０１で計測された位置・姿勢情報とＣＧデータ２０２を用いてＣＧを描画する。描画したＣＧはＩ／Ｆ（２０４および１０３）を通じて合成部１０４Ｌに送られる。合成部１０４Ｌは描画されたＣＧと撮像部１０１Ｌで撮像した映像を合成し、合成映像を表示部１０５Ｌに表示することで複合現実感をユーザに提供する。
【００１７】
以上の構成により、ビデオシースルーＨＭＤを装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験できる。
【００１８】
図２は特徴検出部１０２の内部ブロック図である。
【００１９】
特徴探索部１５１Ｌは、入力映像信号からマーカ検出を行う。ＲＯＭ１５０Ｌには、マーカの大きさと閾値の対応が記録されている。特徴探索部１５１Ｌで検出された、マーカの大きさ・中心座標・ＩＤの情報とＲＯＭ１５０Ｌに記録された閾値情報から個別マーカ情報を生成し、結果比較部１５２Ｌに送信する。
【００２０】
履歴記録部１５３Ｌは、過去の１フレーム分の検出された個別マーカ情報ごとにまとめられたマーカ情報を記録する（第１の記録）。以降、この１フレーム分の個別マーカ情報の集合をマーカ情報と呼称する。特徴の履歴記録部１５３Ｌは、結果比較部１５２Ｌによって参照され、あるいは比較結果後にマーカ情報が保存される。
【００２１】
結果比較部１５２Ｌは、特徴探索部１５１Ｌから受信した個別マーカ情報と特徴の履歴記録部１５３Ｌに記録されている過去の個別マーカ情報を比較する。また、比較結果に応じた判定により、特徴の履歴記録部１５３Ｌの書き換えを行う（第２の記録）。また現在のフレームでのマーカ情報（特徴点情報）を確定し、送信部１５５Ｌにマーカ情報を送信する。
【００２２】
コントロール部１５４は、左右の処理を監視・制御する。
【００２３】
送信部１５５Ｌは、結果比較部１５２Ｌから受け取った現在のフレームのマーカ情報をＩ／Ｆ１０３に送信する。
【００２４】
以上のように、特徴検出部１０２の主な処理は、現在のフレームでのマーカ検出を実施し、この結果と過去の探索結果とを比較し現在のフレームのマーカ情報を確定することである。この２つの処理について詳細に説明する。
【００２５】
マーカ検出は特徴探索部１５１Ｌで行われる。この処理を示したものが図３である。
【００２６】
図３の（ａ）が撮像部１０１Ｌからの入力映像を示しており、１ラインごとにマーカ検出が行われる。図３の（ａ）の四角形ＡからＦすべてがマーカである。
【００２７】
図３の（ｂ）は図３（ａ）の入力映像に対してマーカ検出を行った結果、得られたマーカＡの個別マーカ情報を示している。なお、図３の（ｂ）の結果ではＩＤ、中心座標、大きさなどが記述されているが、個別マーカ情報は図３の（ｂ）に限ったものではなく、特徴的な点の座標が最低限あってもよい。大きさが定義可能な特徴点の場合、大きさも記録することが望ましいため本実施形態では大きさも記録する。図３の（ｂ）の閾値とは、マーカの大きさによって変化する値でありＲＯＭ１５０Ｌに記録されている。この閾値は過去のフレームのマーカ検出結果との比較時に一致と判定するための差の最大値である。
【００２８】
閾値の一例を図３の（ｃ）に示す。本実施形態では図３の（ｃ）のように、オブジェクトが大きいほど閾値が小さくなっているがこの限りではなく用途によって使い分ければよい。本実施形態では、マーカの近くでは精度を必要とした場合を想定しているため図３の（ｃ）のような閾値となっている。特徴探索部１５１Ｌで検出された個別マーカ情報は結果比較部１５２Ｌに順次送信される。
【００２９】
なお、特徴探索部１５１Ｌは後述する一致命令をコントロール部１５４から受信するか、もしくは１フレームの検出が終了すれば現在のフレームの検出処理を終了する。
【００３０】
次に、結果比較部１５２Ｌの比較処理について詳細に説明する。本実施形態では、左右両方で３つ以上の個別マーカ情報の中心座標が過去のマーカ情報と閾値以内で一致した時、検出中であるマーカの検出処理を中断し、過去のマーカ情報を現在のフレームのマーカ情報と同じであると確定する。
【００３１】
なお、この閾となる個数は３に限らない。予め設定された個数以上（Ｍ個：は正の整数）である。結果比較部１５２Ｌは特徴探索部１５１Ｌからのマーカ検出の結果と特徴の履歴記録部１５３Ｌの情報を比較する。特徴の履歴記録部１５３Ｌに保存する構成例を示したものが図５である。
【００３２】
図５は、図４の（ｂ）の情報をもった図４の（ａ）が入力映像の時に特徴探索部１５１Ｌによって検出されたマーカ情報を意味する。マーカ情報がアルファベット順でないのは、マーカが検出された順に並んでおり、マーカ検出が水平ラインごとに上部から行われたためである。図５では１フレーム分のマーカ情報であるが、特徴の履歴記録部１５３Ｌは複数のフレーム結果を保存できる。
【００３３】
図６を用いて現在のフレームの個別マーカ情報と１フレーム前のマーカ情報の比較処理について説明する。なお、図６は左眼入力映像に対する比較の例を示しており個別マーカ情報が３個以上一致した時の例である。
【００３４】
図６の（ａ）は、特徴の履歴記録部１５３Ｌにすでに登録されている１フレーム前のマーカ情報である。結果比較部１５２Ｌは、受信した個別マーカ情報の中心座標と、特徴の履歴記録部１５３Ｌに保存されたマーカ情報の個別マーカ情報の中心座標との差が閾値以内であるか判定する（第１の判定）。ただし、同一ＩＤ同士でのみ比較することとする。本実施形態での中心座標の差は距離を採用しているが、ベクトルを用いても構わない。また本実施形態での閾値は現在のフレームの個別マーカ情報の閾値を採用しているが、１フレーム前の個別マーカ情報にも閾値情報を記録しているため、どちらを採用しても構わない。
【００３５】
図６の（ｂ）は現在のフレームで３つ目の個別マーカ情報を検出した例と１フレーム前の個別マーカ情報との距離の差を示した例である。図６（ｂ）の差を見ると、マーカＩＤ Ｂ、Ａ、Ｃで１フレーム前の個別マーカ情報と閾値以内に収まっている。本実施形態では、左右両方で３つ以上の個別マーカ情報の中心座標が過去のマーカ情報と閾値以下の時、検出中であるマーカの検出処理を中断する。
【００３６】
結果比較部１５２Ｌは、図６の（ｂ）の段階で片側が上記条件を満たした事をコントロール部１５４に通知する。この通知を一定値以上通知と呼称する。コントロール部１５４は現在のフレームに対して左右の結果比較部１５２Ｌ、１５２Ｒから一定値以上通知を受けると左右の結果比較部１５２Ｌおよび１５２Ｒと特徴探索部１５１Ｌおよび１５１Ｒに一致命令で通知する。つまり一致命令は、左右共に閾値以内でＭ個以上の個数と一致したため、検出中であるマーカの検出処理を中断し、過去のマーカ情報を現在のフレームのマーカ情報と同じであると確定させる命令である。
【００３７】
結果比較部１５２Ｌはコントロール部１５４から一致命令を受信すると比較処理を終了し、現在のフレームのマーカ情報を１フレーム前のマーカ情報と同じであると確定する。結果比較部１５２Ｌは確定した現在のフレームのマーカ情報を送信部１５５Ｌに送信する。
【００３８】
図６の例の場合、図６の（ｂ）の個別マーカ情報が１フレーム前の図６の（ａ）と３つ以上閾値以内に収まっているため、現在のフレームのマーカ情報は図６（ａ）と同等の図６（ｃ）に確定され、図６（ｂ）の個別マーカ情報は破棄される。図６の（ｃ）のマーカ情報は送信部１５５Ｌに送信される。この時、特徴の履歴記録部１５３Ｌには図６の（ｃ）のマーカ情報は記録されず、この比較処理の前後において特徴の履歴記録部１５３Ｌの内容は変化しない。
【００３９】
図７の（ａ）はマーカＡが手や物などの現実物体によって隠れた例である。図７の（ｂ）は図７の（ａ）の入力映像信号から３つのマーカを検出した時の結果と、図６の（ａ）と比較した差である。この場合、図６の（ａ）と３つ以上閾値以内で一致するため、障害物がなかった時と同様の図６の（ｃ）が現在のフレームのマーカ情報として送信部１５５Ｌに送信される。
【００４０】
図８に閾値以内で一致したものが３つに満たなかった場合を示した例である。図８の（ａ）が１フレーム前のマーカ情報で、図８の（ｂ）が現在のフレームですべての個別マーカ情報を検出した例と１フレーム前の個別マーカ情報との距離の差を示した例である。図８（ｂ）の差を見ると、１フレーム前の個別マーカ情報と３つ以上閾値以内に収まっていない。そのため現在のフレームのマーカ情報は、図８の（ｃ）となる。この図８の（ｃ）が特徴の履歴記録部１５３Ｌに保存され、現在のフレームの結果として送信部１５５Ｌに送信される。
【００４１】
以上が、１フレーム前の結果と比較する方法である。
【００４２】
次に過去のＮフレーム分（Ｎは正の整数）と比較する例について記述する。
【００４３】
複数の過去のフレームと比較するため、特徴の履歴記録部１５３Ｌでは図９のように複数のマーカ情報を記録している。以下では、複数フレームを６フレームとして説明を行うが一般的には６フレームである必要はない。
【００４４】
結果比較部１５２Ｌでは特徴探索部１５１Ｌから個別マーカ情報を取得すると、特徴の履歴記録部１５３Ｌを参照しすべてのマーカ情報の個別マーカ情報と一致したか否かを判定する。この比較方法を図９と図１０を用いて説明する。
【００４５】
図９に示すように特徴の履歴記録部１５３Ｌには、過去のマーカ情報が６フレーム分記録されている。
【００４６】
この時、図１０の（ａ）に示す個別マーカ情報を用いて特徴の履歴記録部１５３Ｌに記録された図９のマーカ情報と比較した結果が図１０（ａ）の比較結果である。同様に結果比較部１５２Ｌは個別マーカ情報を特徴探索部１５１Ｌから受け取る度に図１０（ｂ）、図１０（ｃ）のように比較を行う。
【００４７】
図１０（ｃ）では比較した結果、２フレームが３つ以上閾値以内で一致する条件を満たした。結果比較部１５２Ｌは一定値以上通知と条件を満たした過去のフレーム番号をコントロール部１５４へ通知する。コントロール部１５４は、左右ともに同じフレーム番号を持つ一定値以上通知を受けたときに、一致したフレーム番号とともに一致命令を結果比較部１５２Ｌおよび１５２Ｒと特徴探索部１５１Ｌおよび１５１Ｒに出力する。
【００４８】
図１１は、結果比較部１５２Ｌからフレーム５、フレーム６の一定値以上通知を受け、結果比較部１５２Ｒからフレーム１、フレーム６の一定値以上通知をコントロール部１５４が受けたときの例である。図１１の場合、左右で一致した一定以上通知で受け取ったフレーム番号は５だったため、コントロール部１５４は一致命令とフレーム番号５を結果比較部１５２Ｌ、１５２Ｒと特徴探索部１５１Ｌ、１５１Ｒへ送信する。結果比較部１５２Ｌは左右それぞれフレーム５のマーカ情報を現在のフレームのマーカ情報として確定する。
【００４９】
図１２は複数のフレーム番号が左右で一致した時の例であり、この場合、フレーム番号と時間に相関があるように並べ最新のフレーム番号を使用する。数が大きいほど最新のデータとしておくことで、本実施形態ではフレーム６のデータを採用する。他にも一定値以上通知と共に、過去フレームとの差を通知することでコントロール部１５４において過去フレームに一番物理的ずれが小さいフレームを選ぶようにしてもよい。
【００５０】
結果比較部１５２Ｌにおいて、一致命令をコントロール部１５４から受信せずに、後述する探索終了信号を特徴探索部１５１Ｌから受け取った場合、１フレーム前との比較時と同様に現在のフレームのマーカ情報が確定される。確定された結果は送信部１５５Ｌに送信され、また特徴の履歴記録部１５３Ｌの一番古い情報に上書き保存する。一番古い情報でなくても過去フレームに使用頻度を重み付けし上書きするようにしてもよい。
【００５１】
以上が、複数の過去のフレーム結果と比較する方法である。
【００５２】
本実施形態における特徴探索部１５１Ｌの処理の流れについて図１３に示すフローチャートを用いて説明する。図１３のフローチャートによって示される処理は、撮像部１０１Ｌからの入力映像信号の１フレームを受信した時に開始される。
【００５３】
ステップＳ２０１において特徴探索部１５１Ｌは、マーカ探索を行う水平ラインの設定を行う。
【００５４】
ステップＳ２０２では、特徴探索部１５１Ｌはコントロール部１５４からの一致命令の有無を判定する。一致命令を受信した場合、特徴探索部１５１Ｌは探索処理を終了する。一致命令を受信していない場合、ステップＳ２０３でマーカ検出を行う。
【００５５】
ステップＳ２０３において特徴探索部１５１Ｌは、ステップＳ２０１で設定した水平ラインのマーカ検出を行う。設定したラインでマーカを検出した場合、ステップＳ２０４にて個別マーカ情報を結果比較部１５２Ｌに送信し、検出しなかった場合は、ステップＳ２０５の処理を行う。
【００５６】
ステップＳ２０４では、特徴探索部１５１ＬはステップＳ２０３で検出した個別マーカ情報を結果比較部１５２Ｌに送信し、ステップＳ２０２の処理へ移る。この時、探索ラインの設定を再度行わないため、１ラインに１個以上のマーカがあった時でもすべてのマーカを検出することが出来る。
【００５７】
ステップＳ２０５において特徴探索部１５１Ｌは、探索ラインが入力映像信号の最終ラインであったか否かの判定を行う。最終ラインでなかった場合、ステップＳ２０１にて次のラインを設定する。最終ラインであった場合、結果比較部１５２Ｌに最終ラインに到達した信号を送り探索処理を終了する。
【００５８】
次に本実施形態における結果比較部１５２Ｌの処理の流れについて図１４に示すフローチャートを用いて説明する。図１４のフローチャートによって示される処理も、入力映像信号の１フレームを特徴探索部１５１Ｌが受信した時に開始される。
【００５９】
ステップＳ２５１で結果比較部１５２Ｌは、コントロール部１５４からの一致命令の有無を確認する。一致命令を受信した場合、ステップＳ２６１へ進み、一致命令を受信していない場合、ステップ２５２へと進む。
【００６０】
ステップＳ２６１では、一致命令を受信した場合、結果比較部１５２Ｌは一致命令と共に受信する過去フレーム番号に対応するマーカ情報を現在のフレームの結果とし、ステップＳ２６３に進む。
【００６１】
ステップＳ２５２では、一致命令を受信していない場合、結果比較部１５２Ｌは特徴検出部１５１Ｌからマーカ検出が最終ラインに到達したか確認する。マーカ検出が終了した場合、ステップＳ２６２へ進む。
【００６２】
ステップＳ２６２では、ステップＳ２５２でマーカ検出が終了した場合に、ステップＳ２６０で一時的に保存した結果を現在のフレームのマーカ情報として採用する。採用したマーカ情報を特徴の履歴記録部１５３Ｌに保存し、ステップＳ２６３に進む。
【００６３】
ステップＳ２５３では、特徴探索部１５１Ｌから個別マーカ情報を受信したか否かの判定が行われる。個別マーカ情報を受信していなかった場合、待ち状態としてステップＳ２５１に戻り、受信した場合ステップＳ２５４に進み比較処理が行われる。
【００６４】
ステップＳ２５４からステップＳ２５９までは、特徴の履歴記録部１５３Ｌに記録されているすべての過去フレームに対して繰り返し行われる処理である。
【００６５】
ステップＳ２５５では、受信した個別マーカ情報の中心座標とマーカ情報の中心座標が閾値以内で一致したか否かの判定を行う（第１の判定）。一致した場合、ステップＳ２５６へ進む。
【００６６】
ステップＳ２５６では、一致した場合に一致したフレームの一致数を１増加しステップＳ２５７へ進む。
【００６７】
ステップＳ２５７では、３を超えたかの判定が行われ（第２の判定）、一致数が３以上である場合、ステップＳ２５８へ進む。
【００６８】
ステップＳ２５８では、コントロール部１５４に一定値以上通知とフレーム番号を送信する。
【００６９】
ステップＳ２６０では、すべての過去フレームで上記処理が行われた後、受信した個別マーカ情報を一時的に記録し、ステップＳ２５１の処理に戻る。
【００７０】
ステップＳ２６３では、確定した現在のフレームのマーカ情報を送信部１５５Ｌに送信する。
【００７１】
以上の処理により、複数の入力映像信号からそれぞれ独立に特徴検出を行い、それぞれが過去のフレーム結果と比較することで精度よく過去のフレームの結果を用いる。例えば、単眼カメラで撮像した映像を探索し、同じ位置に検出したマーカが一定数あったとしても、異なるマーカを検出する可能性が高く、実用には不十分である。本実施形態では、ステレオ映像という同じ場所を写しているが、視点位置が若干ずれているという点を利用し、ステレオ映像の左右（上下）両方の映像でマーカを探索する。これにより、同じ位置のマーカを一定数見つけ、マーカ検出を中断したとしても、同じ位置であると判定するに十分な信頼を置くことが出来、特徴検出の負荷を低減することが可能な装置を実現できる。
【００７２】
〔第２の実施形態〕
本実施形態では、複数の撮像映像から特徴を独立に検出することが出来ることを活かし、図１５のように左右の撮像映像で異なる走査順に特徴検出を行う。すなわち、左の映像で走査した方向（順方向）とは、逆の方向（逆方向）で右の映像を走査する。走査を開始した付近に変化がなく、走査の終着点に近い部分の変化している場合など、映像の一部に大きな変化が起きたことを検知しやすくなる。
【００７３】
ビデオシースルー型ＨＭＤを利用したＭＲ技術では、左右どちらか一方のマーカを検出すればＨＭＤの位置・姿勢が位置・姿勢計測部２０１で計測することが出来る。そのため、マーカ検出は左右合わせて画面全領域に相当する領域のみを行えばよい。よって、図１６のように終了条件を左右両方で画面全体の検出を終えたとき設定することで左右の処理負荷を均等にすることが出来る。
【００７４】
本実施形態では左右合わせて６個以上閾値以内で一致の時に中断する例で説明する。なお、この閾値数は６である必要はない。
【００７５】
本実施形態の処理について説明する。以下では特徴探索部および結果比較部の処理ついて、左眼の処理として記述されているが右眼でも同様である。
本実施形態の特徴探索部１５１Ｌのフローチャートを図１７に示す。
【００７６】
なお、ステップＳ３０１からＳ３０５の機能は、第１の実施形態で説明した図１３のステップＳ２０１からＳ２０５と同様である。
【００７７】
本実施形態では、左右の撮像映像で異なる走査順にマーカ検出を行い、最終ラインに到達しなくても左右両方で画面全体の検出を終えたときにマーカ検出を終了する。そのため、ステップＳ３０７では、特徴探索部１５１Ｌが１ラインのマーカ検出が終わる度にコントロール部１５４に検出を終えた領域を通知する。
【００７８】
コントロール部１５４は、特徴検出部１５１Ｌおよび１５１Ｒからマーカ検出を終えた領域を監視し、全領域を検出した時に、特徴探索部１５１Ｌ、１５１Ｒと結果比較部１５２Ｌ、１５２Ｒに停止命令を出力する。
【００７９】
ステップＳ３０６では、特徴探索部１５１Ｌが停止命令の有無を確認し、停止命令がある場合、検出処理を終了する。本実施形態では左右で検出ラインが重ならないように説明したが、検出ラインが重なっても良い。
【００８０】
本実施形態の結果比較部１５２Ｌのフローチャートを図１８に示す。
【００８１】
なお、Ｓ３５１からＳ３５６、Ｓ３５９からＳ３６３の機能は、第１の実施形態で説明した図１４のＳ２５１からＳ２５６、Ｓ２５９からＳ２６３と同様である。
【００８２】
ステップＳ３６４では、結果比較部１５２Ｌがコントロール部１５４からの停止命令を確認する。停止命令がある場合、ステップＳ３６２に進み現在のフレームの結果が確定する。
【００８３】
ステップＳ３６５では、各過去フレームと個別マーカ情報を比較し終えた時に、コントロール部１５４に各過去フレームとの一致数を送信する。
【００８４】
コントロール部１５４では、結果比較部１５２Ｌおよび１５２Ｒから送られてくる一致数を監視し、合わせて６以上の時、一致命令を結果比較部１５２Ｌ、１５２Ｒおよび特徴検出部１５１Ｌ、１５１Ｒに送信する。
【００８５】
以上の処理により、左右独立にマーカ検出を行うことで広領域の現実空間を用いた比較を行い、精度よく過去のフレームの結果を用いることが出来、特徴検出の負荷を低減することが可能な装置を実現できる。
【００８６】
〔第３の実施形態〕
本実施形態では、図１９に示すように過去のフレーム（ａ）と現在のフレーム（ｂ）が閾値より大きい場合、この過去フレームを比較の対象から外すことで処理の効率化が実現できる。この方法について説明する。
【００８７】
なお、本実施形態では第１の実施形態で記述した過去のマーカ情報と個別マーカ情報の中心座標の比較時に使用する閾値と、比較対象から外すための閾値は同じ値を用いる。しかし、この限りではなく比較対象から外すための閾値を新たに追加し比較を行っても良い。以下では左眼の処理について記述されているが特に断りがない限り右眼でも同様である。
【００８８】
図２０の（ａ）は、特徴の履歴記録部１５３Ｌに記録されている過去フレームのマーカ情報の例である。この時に、特徴探索部１５１Ｌから結果比較部１５２Ｌに図２０の（ｂ）の個別マーカ情報送られた時、第１の実施形態と同様に比較処理が行われる。
【００８９】
図２０の（ｂ）はＩＤを比べると図２０の（ａ）のフレーム１、フレーム２とは閾値より大きいフレームと判断することが出来る。閾値より大きいと判断されたフレーム１、フレーム２は現在のフレームの比較対象フレームから削除され、次に特徴探索部１５１Ｌから受ける個別マーカ情報は図２０の（ｃ）に示すフレーム３のみと比較される。
【００９０】
本実施形態の結果比較部１５２Ｌのフローチャートを図２１に示す。
【００９１】
図２１のＳ４５１からＳ４６３の機能は、第１の実施形態で説明した図１３のＳ２５１からＳ２６３と同様である。
【００９２】
ステップＳ４５５にて個別マーカ情報が過去フレームと比べて閾値より大きい場合、ステップＳ４６４の処理を行う。ステップＳ４６４では、Ｓ４５５にて閾値より大きいと判定された過去フレームを、現在のフレームとの比較の対象から外す。
【００９３】
以上の処理により、複数の入力映像信号からそれぞれ独立に特徴検出を行い、それぞれが効率よく過去のフレーム結果と比較することで、特徴検出の負荷を低減することが可能な装置を実現できる。
【００９４】
以上、実施形態を記述したが探索対象となる特徴は特徴点であればよく、実施形態のマーカ以外でも適応可能である。例えば、自然特徴でもよい。
【００９５】
〔その他の実施形態〕
図２２は、コンピュータの構成例である。
【００９６】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク５０４、５０７又は各種記憶媒体５０２、５０３を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ５０１（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記憶媒体に記憶して提供してもよい。なお、本装置のコンピュータには、入力部５０５から処理を実行する指示を入力し、表示部５０６で指示した処理の結果を表示してもよい。
【特許請求の範囲】
【請求項１】
ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定手段と、
前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出手段と、
前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録手段と、
前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定手段と、
前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定手段と、
前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録手段と
を有することを特徴とする特徴検出装置。
【請求項２】
前記特徴点は、マーカであることを特徴とする請求項１に記載の特徴検出装置。
【請求項３】
前記第１の記録手段が、前記フレームから検出したマーカの位置および大きさを記録し、
前記閾値は、前記検出されたマーカの大きさに基づいて設定された閾値であることを特徴とする請求項２に記載の特徴検出装置。
【請求項４】
前記特徴点は、自然特徴であることを特徴とする請求項１に記載の特徴検出装置。
【請求項５】
前記検出手段が、前記設定した探索ラインの順方向に沿って前記第１の映像の現在のフレームから特徴点を検出し、当該探索ラインの逆方向に沿って前記第２の映像の現在のフレームから特徴点を検出することを特徴とする請求項１乃至４の何れか１項に記載の特徴検出装置。
【請求項６】
前記検出手段が、第１の映像から特徴点を検出した領域と第２の映像から特徴点を検出した領域を足し合わせて画面の全領域に相当する領域まで検出を行うことを特徴とする請求項３に記載の特徴検出装置。
【請求項７】
特徴検出装置が行う特徴検出方法であって、
前記特徴検出装置の設定手段が、ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定工程と、
前記特徴検出装置の検出手段が、前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出工程と、
前記特徴検出装置の第１の記録手段が、前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録工程と、
前記特徴検出装置の第１の判定手段が、前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定工程と、
前記特徴検出装置の第２の判定手段が、前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定工程と、
前記特徴検出装置の第２の記録手段が、前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録工程と
を有することを特徴とする特徴検出方法。
【請求項８】
請求項７に記載の特徴検出方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定手段と、
前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出手段と、
前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録手段と、
前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定手段と、
前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定手段と、
前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録手段と
を有することを特徴とする特徴検出装置。
【請求項２】
前記特徴点は、マーカであることを特徴とする請求項１に記載の特徴検出装置。
【請求項３】
前記第１の記録手段が、前記フレームから検出したマーカの位置および大きさを記録し、
前記閾値は、前記検出されたマーカの大きさに基づいて設定された閾値であることを特徴とする請求項２に記載の特徴検出装置。
【請求項４】
前記特徴点は、自然特徴であることを特徴とする請求項１に記載の特徴検出装置。
【請求項５】
前記検出手段が、前記設定した探索ラインの順方向に沿って前記第１の映像の現在のフレームから特徴点を検出し、当該探索ラインの逆方向に沿って前記第２の映像の現在のフレームから特徴点を検出することを特徴とする請求項１乃至４の何れか１項に記載の特徴検出装置。
【請求項６】
前記検出手段が、第１の映像から特徴点を検出した領域と第２の映像から特徴点を検出した領域を足し合わせて画面の全領域に相当する領域まで検出を行うことを特徴とする請求項３に記載の特徴検出装置。
【請求項７】
特徴検出装置が行う特徴検出方法であって、
前記特徴検出装置の設定手段が、ステレオ撮像した第１の映像と第２の映像から特徴点を検出する探索ラインを設定する設定工程と、
前記特徴検出装置の検出手段が、前記探索ラインに沿って、前記第１の映像と第２の映像の両方の現在のフレームから特徴点を検出する検出工程と、
前記特徴検出装置の第１の記録手段が、前記フレームから検出した特徴点の位置を特徴点情報として記録する第１の記録工程と、
前記特徴検出装置の第１の判定手段が、前記検出中に、現在のフレームから検出した特徴点の位置と、過去のフレームから検出した特徴点の位置とが、予め設定された閾値以内であるか否かを判定する第１の判定工程と、
前記特徴検出装置の第２の判定手段が、前記閾値以内であると判定された数が、予め設定された個数以上であるか否かを判定する第２の判定工程と、
前記特徴検出装置の第２の記録手段が、前記個数以上であると判定された場合に、特徴点の検出を中断し、前記過去のフレームの特徴点情報を現在のフレームの特徴点情報として記録する第２の記録工程と
を有することを特徴とする特徴検出方法。
【請求項８】
請求項７に記載の特徴検出方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１２−１２９８２４（Ｐ２０１２−１２９８２４Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９８９２（Ｐ２０１０−２７９８９２）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]