動画像処理プログラム、及び動画像処理装置
【課題】現フレームで特徴部を認識できなくても、その特徴部の領域（位置）を確定しやすくする。
【解決手段】映像信号を処理してフレーム画像の特徴部（二次元バーコード）の領域を認識する動画像処理装置であって、前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部（動き探索部１１）と、最も数が多い前記動きベクトルが略ゼロベクトルである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部１２とを備える。
【解決手段】映像信号を処理してフレーム画像の特徴部（二次元バーコード）の領域を認識する動画像処理装置であって、前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部（動き探索部１１）と、最も数が多い前記動きベクトルが略ゼロベクトルである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部１２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理プログラム、及び動画像処理装置に関する。
【背景技術】
【０００２】
動画中の移動物体に貼り付けられている二次元バーコードを認識し、その向きや角度から、カメラと二次元バーコードとの間の幾何学的位置関係を算出し、これらの情報を入力して、所定の動作を行う画像処理システムが知られている。
例えば、紙に印刷された二次元バーコードをカメラで読み取り、その上にＣＧ（Computer Graphics）を重ね合わせ、仮想世界と現実世界を融合する拡張現実感（Augmented Reality：AR）を実現する技術（非特許文献１参照）や２次元バーコードを付した人形等の立体物を撮像することにより、立体物の空間配置を認識し、フレーム画像にＣＧ画像を重ね合わせる技術（特許文献１参照）が知られている。
また、被写体に付されているマーク（例えば、２次元バーコード）をポインティングデバイスで指すだけでその被写体を自動追尾する技術が開示されている（特許文献２参照）。なお、車両のナンバープレートを認識し、その番号情報を撮影時刻と共に保存するシステムも知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４００４５号公報（図１）
【特許文献２】特開２００３−１５３２５０号公報（段落００２３，００６９）
【非特許文献】
【０００４】
【非特許文献１】“AR Tool Kitを使った拡張現実感プログラミング”［平成２２年２月２２日検索］、インターネット（URL:http://kougaku-navi.net/ARToolKit.html）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの技術でのマークや二次元バーコードなどの特徴部の認識は、フレーム毎に実行されるため、二次元バーコードの重要な部分が隠れてしまうと認識ができない問題点がある。
例えば、動画の現フレームの画像にＣＧ画像を重ね合わせるシステムでは、指で二次元バーコードの位置を所望の位置に移動させることが行われるが、二次元バーコードが停止している時、二次元バーコードの一部が指で隠されることがある。
また、車両のナンバープレートを認識する技術でも撮像タイミングによっては、ナンバープレートが電柱や木々に隠されてしまうことがある。
【０００６】
本発明は、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくすることができる動画像処理プログラム、及び動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明は、映像信号を処理してフレーム画像の特徴部（例えば、二次元バーコード）の領域認識を行う動画像処理装置であって、前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部（例えば、動き探索部（１１）や復号化部（１５））と、最も数が多い前記動きベクトルが略ゼロベクトルである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部（１２）とを備えることを特徴とする。なお、かっこ内の記号，符号は例示である。
【０００８】
最も数が多い動きベクトルが略ゼロベクトルである場合を前提にしているので、背景等が移動しておらず、過去のフレーム情報から特徴部の領域を把握できる。そして、特徴部の領域に対応する動きベクトルの所定数以上が略ゼロベクトルであるので、特徴部の領域の一部が隠されていても、特徴部の領域を認識した過去のフレームを用いて、現フレームにおける特徴部の領域（位置を含む）を認識することができる。そのため、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくすることができる。このとき、過去のフレームは、前記記憶部に格納されたフレーム画像を直近のフレームから順次過去にさかのぼって検索して得られた画像であることが好ましく、特徴部の領域は、検索により得られた画像の情報を用いて検出される。なお、特徴部の一部を隠す物体（例えば、指）の移動速度が遅くても、フレームレートが遅ければ、検索することなく、直近のフレーム画像のみを用いて、現フレームの特徴部の領域を認識することができる。
【発明の効果】
【０００９】
本発明によれば、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくなる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態である動画像処理装置を含む動画像処理システムの構成図である。
【図２】第一実施形態のアプリケーションプログラムのアルゴリズム構成図である。
【図３】二次元バーコード、及びその周辺画像の例を時間経過の変化がわかるように示した図である。
【図４】動きベクトルについて説明するための説明図である。
【図５】第一実施形態のアプリケーションプログラムのフローチャートである。
【図６】第一実施形態の認識処理のフローチャートである。
【図７】第二実施形態のアプリケーションプログラムのアルゴリズム構成図である。
【図８】第二実施形態のアプリケーションプログラムのフローチャートである。
【図９】第二実施形態の認識処理のフローチャートである。
【発明を実施するための形態】
【００１１】
（第一実施形態）
本発明の一実施形態である動画像処理装置を含む動画像処理システムについて図面を用いて説明する。
図１に示される動画像処理システム２００は、動画像処理装置１００（１００ａ）と、この動画像処理装置１００に接続される映像入力部８０と、表示部９０とを備えて構成され、映像入力部８０が撮影した動画像を表示部９０に表示させると共に、現フレーム画像の特徴部（例えば、二次元バーコード）の領域にＣＧ画像を重ね合わせる機能を有している。
【００１２】
映像入力部８０は、ビデオカメラ等であり、被写体の動画像をフレーム毎に取り込み、映像信号として出力する。このとき、フレームレートは１秒間に３０枚が基本であるが、これよりも遅い値、例えば１秒間に数枚ということもある。入力部８５は、ポインティングデバイスやキーボードから構成され、アプリケーションプログラムの起動や、情報を入力する。表示部９０は、ＬＣＤ（Liquid Crystal Display）等から構成され、動画像を表示する。
【００１３】
動画像処理装置１００（１００ａ）は、例えば、ＰＣ（Personal Computer）であり、制御部としてのＣＰＵ（Central Processing Unit）５０と、ＲＯＭ（Read Only Memory）４０と、記憶部としてのＲＡＭ（Random Access Memory）２０やＨＤＤ（Hard Disc Drive）３０と、Ｉ／Ｆ６０，７０とを備え、各部はバスラインで接続されている。Ｉ／Ｆ６０は、映像入力部８０や入力部８５がＵＳＢ（Universal Serial Bus）等で接続され、映像信号や入力情報が入力される。Ｉ／Ｆ７０は、表示部９０にビデオ信号を出力するインタフェースであり、ＶＲＡＭが内蔵されている。
【００１４】
ＲＡＭ２０は、ワーキングメモリとして使用され、フレーム画像を一時的に保存するフレーム保存部２１の領域が確保されている。ＨＤＤ３０は、ＯＳ（Operations System）やアプリケーションプログラムが格納されていると共に、後記する認識情報（領域情報）３１の領域や、過去のフレーム画像３３が格納されている。ＲＯＭ４０は、電源投入時やリセット時にＨＤＤ３０を起動させるイニシャルブートプログラムが格納されている。
【００１５】
ＣＰＵ５０は、ＨＤＤ３０に格納されているプログラムを実行することにより、複数の機能が実現される。具体的に、ＣＰＵ５０は、映像入力制御部５１と、映像出力制御部５２と、アプリケーションプログラム１０と、ＯＳ５５としての機能を実現する。なお、映像入力制御部５１と、映像出力制御部５２とは、ドライバプログラムがＣＰＵ５０によって実行されることにより実現される。
【００１６】
映像入力制御部５１は、Ｉ／Ｆ６０を初期設定するとともに、映像入力部８０から映像信号に含まれるフレーム画像を逐次取り込み、取り込んだフレーム画像をフレーム保存部２１に逐次格納するように機能する。映像出力制御部５２は、Ｉ／Ｆ７０を初期設定するとともに、フレーム保存部２１に格納されたフレーム画像、あるいは、ＣＰＵ５０により加工が施された画像を逐次表示部９０に表示するように機能する。なお、映像入力制御部５１や映像出力制御部５２は、アプリケーションプログラムがインストールされるときに組み込まれる常駐プログラムがＣＰＵ５０により実行されることにより実現される。
【００１７】
アプリケーションプログラム１０は、フレーム画像に含まれる二次元バーコードの領域にＣＧ画像を重ね合わせるプログラムと共に、二次元バーコードの一部が指で隠されていても、二次元バーコードの位置を認識しやすくするプログラムが含まれている。
ＯＳ５５は、ＰＣを駆動するための基本ソフトである。
【００１８】
図２は、アプリケーションプログラム１０（１０ａ）のアルゴリズム構成図である。アプリケーションプログラム１０ａは、ＣＰＵ５０が実行することにより、動き探索部１１と、認識部１２と、処理部１３としての機能を実現する。以下、これらの機能について図２，３を参照しつつ説明する。
【００１９】
動き探索部１１は、フレーム保存部２１に格納されている前フレーム画像と、映像入力部８０が入力した現フレーム画像を画素毎に比較して、動きベクトル情報Ｐ２を演算する。ここで、動きベクトル情報とは、映像の各１ピクセルに対して１つ決まる動きベクトルの映像全体分の集合を意味する。
【００２０】
認識部１２は、映像入力部８０が撮影した画像情報Ｐ１に対して、動きベクトル情報Ｐ２を用いて、二次元バーコードの位置を認識し、認識情報Ｐ３をＨＤＤ３０に格納する。
ここで、認識部１２は、誤差を許容しつつ最も多い数を持つ動きベクトルを演算し、現対象の映像全体の代表動きベクトルとして出力する。そして、映像全体の代表動きベクトルが略０ベクトルであった場合、ＨＤＤ３０から過去の二次元バーコードが認識された際の領域情報を取り出す。ここで、領域情報とは、フレーム内で二次元バーコードが存在すると判断された領域の位置情報のことである。そして、認識部１２は、領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合、過去に認識された二次元バーコードが過去の位置に存在するものとして認識結果を決定する。
【００２１】
ここで、紙媒体に印刷された二次元バーコードを映像入力部８０（カメラ）で読み取り、その上に３Ｄオブジェクトをオーバーレイ表示する技術を例にして、動作を説明する。ここでは、映像入力部８０のフレーム間隔は比較的長く、１秒間に数枚程度としている。
【００２２】
図３は、映像入力部８０で撮影した二次元バーコード、及びその周辺画像の例を時間経過と共に示した図である。２次元バーコード３１０は、３Ｄオブジェクトをオーバーレイ表示する位置を指示するものであり、外周部が黒色に着色され、その内側が白色になっている正方形状の紙媒体である。なお、２次元バーコード３１０は、その内側の白色部に「ヒロ」や「Hiro」と開発者の名が記載されている。
【００２３】
図３（ａ）は、二次元バーコード３１０が指３２０により隠されていない状態でのフレーム画像であり、図３（ｂ）は、二次元バーコード３１０の外周部の一部が指３２０により隠されている状態でのフレーム画像である。したがって、指３２０の部分のみが移動しており、他の部分（二次元バーコード３１０、月の形状物３３０、及び背景３４０）は移動していない。また、指３２０の面積の方が、前記他の部分の面積よりも狭い。したがって、代表動きベクトルは、誤差を許容しつつ最も多い数を持つ動きベクトルであるので、前記他の部分の動きベクトルである略「０」となる。
【００２４】
図４は、動きベクトルについて説明するための説明図である。
図４（ａ）（ｂ）は、図３（ａ）（ｂ）と同様の位置関係の画像を示し、指３２０が差し込まれ、時間経過と共に右方向に移動している様子を示している。図４（ｃ）は、図４（ｂ）よりもさらに右方向に指３２０が移動している。
現フレーム（図４（ｂ））を基準とすれば、対象フレーム（図４（ａ））の指３２０の動きベクトルは左方向を向いており、現フレームを図４（ｃ）とすると、対象フレーム（図４（ａ））の指３２０の動きベクトルの大きさは、より大きな値となっている。
【００２５】
また、領域情報は、二次元バーコード３１０のふち(最も外側)より内側を対象領域として、周辺部（黒色部）の角部４点の位置座標や、中心位置の座標及び回転角が演算され、演算結果が領域情報（Ａ）として認識情報Ｐ３に含まれてＨＤＤ３０に格納される。
ここで、図３（ｂ）のように、周辺部の黒色部の一部が指３２０で隠されている場合には、周辺部に対応する動きベクトルの半数以上が動いていないため、過去に認識された図３（ａ）の二次元バーコード３１０の位置を示す領域情報（Ａ）が新たな領域情報（Ｂ）とされる。
【００２６】
そして、認識部１２は、認識結果を処理部１３に出力するとともに、ＨＤＤ３０に格納する。そして、処理部１３は、認識情報Ｐ３を用いて、画像情報Ｐ１に対して加工処理（例えば、現フレームの画像にＣＧ画像を重ね合わせる処理）を行い、表示部９０に表示する処理を映像出力制御部５２（図２）に行わせる。
【００２７】
次に、図５，６のフローチャートを参照して、動画像処理装置１００ａの動作を説明する。アプリケーションプログラム１０ａの起動により、図５のフローが開始する。ＣＰＵ５０は、映像入力制御部５１（図１）により、Ｉ／Ｆ６０の設定を行い、映像入力部８０のフレーム画像を逐次取り込み、フレーム保存部２１に逐次記憶することができるようにする（Ｓ１０）。
ＣＰＵ５０は、映像出力制御部５２（図１）により、Ｉ／Ｆ７０の設定を行い、フレーム保存部２１に逐次記憶されたフレーム画像を表示部９０に表示させることができるようにする（Ｓ１２）。これらの処理により、映像入力部８０から取り込んだフレーム画像は、動画像として表示部９０に表示される。
【００２８】
ＣＰＵ５０は、動き探索部１１（図２）により、動き探索を実行し、動きベクトル情報を演算する（Ｓ１４）。すなわち、ＣＰＵ５０は、映像入力部８０から取り込んだ現フレームと、フレーム保存部２１に保存された前フレームとを比較して画素毎の動きベクトルを演算し、動きベクトル情報Ｐ２として、ＨＤＤ３０に格納する。ＣＰＵ５０は、認識部１２により、認識処理のルーチン（図６）を実行する（Ｓ１６）。
【００２９】
図６のルーチンが起動されると、ＣＰＵ５０は、認識部１２により、動きベクトル情報Ｐ２を取り込む（Ｓ５０）。そして、ＣＰＵ５０は、認識部１２により、最も数が多い動きベクトルを選択し、これを代表動きベクトルとする（Ｓ５２）。そして、ＣＰＵ５０は、認識部１２により、代表動きベクトル≒０か否かを判定する（Ｓ５４）。代表動きベクトル≒０であれば、処理はＳ５６に進み、過去のフレーム画像をフレーム毎に記憶部（ＨＤＤ３０）から読み出す（Ｓ５６）。
【００３０】
これにより、ＣＰＵ５０による、ＨＤＤ３０に格納された複数のフレーム画像から、二次元バーコード３１０の領域が一致するフレームの検索が開始する。このとき、二次元バーコード３１０が動いていないときは直近のフレーム画像（図４（ａ））と一致するので、ＣＰＵ５０は、現フレームに対して直近のフレームから過去のフレーム画像に遡って検索することが好ましい。そして、ＣＰＵ５０は、過去の認識情報Ｐ３を用いてフレーム画像から二次元バーコード３１０の領域を抽出する（Ｓ５８）。なお、抽出の対象は、二次元バーコード３１０の領域に限らず、二次元バーコード３１０が付された物体（人形や車両）の領域であってもよい。
【００３１】
そして、ＣＰＵ５０は、領域に対応する動きベクトルの半数以上が０ベクトル類似なものか否かを判定する（Ｓ６０）。これにより、二次元バーコード３１０の一部が指３２０（図２，３）に隠されていても、二次元バーコード３１０が動いているのか動いていないのかを判定することができる。動きベクトルの半数以上が０ベクトル類似なものであれば、二次元バーコード３１０が動いていないと推認され、Ｓ５６で読み出したフレーム画像の認識情報Ｐ３（検索結果）を現フレームの認識情報として格納し（Ｓ６２）、元のルーチンに戻る。
【００３２】
一方、Ｓ６０の判定で、０ベクトルに非類似であると判定されたら、処理はＳ６４に進み、ＨＤＤ３０に格納されているフレーム画像の全フレームを検索したか否かが判定される（Ｓ６４）。全フレームが検索されていなければ（Ｎｏ）、処理はＳ５６に戻り、ＣＰＵ５０は、他のフレーム画像をＨＤＤ３０（記憶部）から読み出して、検索が繰り返される。全フレームが検索されたら（Ｙｅｓ）、元のルーチンに戻り、図示しないエラー処理等が行われる。また、Ｓ５４の判定で、代表動きベクトルが０に近似していないと判定されたら（≠０）、処理はＳ６６に進む。そして、ＣＰＵ５０は、フレームに対する二次元バーコード３１０の認識判定を行い（Ｓ６６）、検索結果を記憶部に格納し（Ｓ６２）、元のルーチンに戻る。
【００３３】
以上説明したように本実施形態によれば、最も数が多い動きベクトルである代表動きベクトルが略ゼロベクトルである場合を前提にしているので（Ｓ５２，Ｓ５４）、背景等及び二次元バーコード３１０が移動しておらず、過去のフレーム情報から特徴部としての二次元バーコード３１０の領域を認識情報Ｐ３から把握することができる。そして、二次元バーコード３１０の領域に対応する動きベクトルの所定数以上が略ゼロベクトルであるので、二次元バーコード３１０の領域の一部が隠されていても、過去のフレーム画像３３を用いて二次元バーコード３１０の領域を把握して、二次元バーコード３１０の位置を認識することができる。
【００３４】
そのため、現フレームで二次元バーコード３１０を認識できなくても、二次元バーコード３１０の位置を確定しやすくすることができる。このとき、過去のフレームは、ＨＤＤ３０に格納されたフレーム画像３３を直近のフレームから順次過去に遡って検索することにより得られる。すなわち、動きベクトルによって、一度検知した二次元バーコードが動いていないことが認識できるため、部分的に隠れた二次元バーコード３１０の認識状態の維持が期待できる。
【００３５】
（第二実施形態）
第一実施形態では、現フレームと前フレームとの間の動きベクトル情報Ｐ２を動き探索部１１（図２）が演算したが、映像信号を符号化・復号化するときに自動的に生成される動きベクトル情報を用いることもできる。
図１の構成図は、動画像処理装置１００ａを動画像処理装置１００ｂにし、アプリケーションプログラム１０ａをアプリケーションプログラム１０ｂにした点のみ相違して、他の構成は同様であるので、以下、アプリケーションプログラム１０ｂについてのみ説明する。
【００３６】
図７のブロック図において、アプリケーションプログラム１０ｂは、ＣＰＵ５０（図１）を符号化部１４と、復号化部１５と、認識部１６と、処理部１７とに機能させるためのプログラムを備えている。
【００３７】
符号化部１４は、映像入力部８０が撮影した映像信号をＭＰＥＧ方式で符号化する。復号化部１５は、符号化された映像信号を画像情報Ｐ１に復号化する。なお、映像信号は、複数のフレーム画像の時系列信号であるので、画像情報Ｐ１は複数のフレーム画像の情報から構成されている。また、復号化部１５は、符号化された信号を画像情報Ｐ１に復号化する際に動きベクトル情報Ｐ２を得る。認識部１６は、第一実施形態と同様に、画像情報Ｐ１に対して、動きベクトル情報Ｐ２を用いて、映像全体の代表動きベクトルや、二次元バーコード３１０の領域情報を含む認識情報Ｐ３を得る。
【００３８】
認識部１６は、誤差を許容しつつ最も多い数を持つ動きベクトルを現対象の映像全体の代表動きベクトルとする。映像全体の代表動きベクトルが、略０ベクトルでない場合は、１フレームに対する二次元バーコード３１０の認識判定を行い、認識結果を決定する。一方、映像全体の代表動きベクトルが０ベクトルであった場合は、次のような判定を行う。
【００３９】
認識部１６は、ＨＤＤ３０から過去の認識情報Ｐ３を取り出し、過去に二次元バーコードが認識された際の領域情報を取り出す。認識部１６は、領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合、過去に認識された二次元バーコード３１０が現対象の映像においても過去に存在すると判定された位置に存在するものとして認識情報Ｐ３を決定する。ここで、認識情報Ｐ３とは、二次元バーコードが存在すると判定された領域の領域情報、及び二次元バーコード３１０に含まれる情報のことである。
【００４０】
認識部１６は、認識結果を処理部１７に出力するとともに、ＨＤＤ３０に格納する。そして、処理部１７は、認識結果を用いて、画像情報Ｐ１に対して加工処理を行い、表示部９０に表示する処理を映像出力制御部５２（図２）に行わせる。
【００４１】
次に、図８，９のフローチャートを参照して、動画像処理装置１００ｂの動作を説明する。
アプリケーションプログラム１０ｂの起動により、図８のフローが開始する。ＣＰＵ５０は、映像入力制御部５１（図１）により、Ｉ／Ｆ６０の設定を行い、映像入力部８０の動画像を取り込み、フレーム画像を取り込み、フレーム保存部２１に逐次記憶することができるようにする（Ｓ３０）。
ＣＰＵ５０は、映像出力制御部５２（図１）により、Ｉ／Ｆ７０の設定を行い、フレーム保存部２１に記憶されたフレーム画像を表示部９０に逐次表示させることができるようにする（Ｓ３２）。これらの処理により、映像入力部８０から取り込んだ動画像は、表示部９０に表示される。
【００４２】
ＣＰＵ５０は、符号化部１４により、映像信号の符号化を実行し（Ｓ３４）、復号化を実行する（Ｓ３６）。この復号化の時に、動きベクトル情報Ｐ２が得られる。そして、ＣＰＵ５０は、認識処理のルーチン（図９）を実行する（Ｓ３８）。
【００４３】
図９のルーチンと図６のルーチンとは、Ｓ７０のみがＳ５０と異なり、Ｓ７２乃至Ｓ８２は、Ｓ５２乃至Ｓ６２と同様であるので、異なる点を主として説明する。
図９のルーチンが起動すると、ＣＰＵ５０は、復号化信号から動きベクトル取り出す（Ｓ７０）。そして、ＣＰＵ５０は、動きベクトルから代表動きベクトルを決定し（Ｓ７２）、映像全体の代表動きベクトルが０に類似しているとき（Ｓ７４）、過去のフレーム画像から二次元バーコード３１０の領域の半数以上が０ベクトルに類似しているものを検索して（Ｓ８０）、検索結果をＨＤＤ３０（記憶部）に格納して（Ｓ８２）、元のルーチンに戻る。
【００４４】
そして、ＣＰＵ５０は、検索された認識情報をＨＤＤ３０（記憶部）から読み出して、フレーム画像にＣＧ画像を重ねる等の加工処理を行う（図８のＳ４０）。そして、ＣＰＵ５０は、画像処理が終了か否かの判定を行う（Ｓ４２）。終了でなければ（Ｎｏ）、処理はＳ３４に戻り、ＣＰＵ５０は、映像信号の符号化処理を繰り返す。一方、終了の判定がされれば（Ｙｅｓ）、処理は終了する。
【００４５】
以上説明したように、第二実施形態によれば、符号化された動画に含まれる動きベクトルを使用するため追加の動き探索を行わずに動きベクトル情報Ｐ２を取得できるため、大きな負荷を増やさずに部分的に隠れた二次元バーコード３１０の認識状態の維持が期待できる。
【００４６】
（変形例）
本発明は前記した実施形態に限定されるものではなく、例えば、以下のような種々の変形が可能である。
（１）第一実施形態では、判定において領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合としたが、予め設定者が決めた設定割合以上でも構わないし、二次元バーコードの面積に関わらず固定面積以上と判定しても構わない。
【００４７】
（２）前記各実施形態では、代表動きベクトルが０ベクトルに類似しているか否かで処理を分けたが（Ｓ５４，Ｓ７４）、次のように判定しても構わない。
代表動きベクトルに関わらず、過去に二次元バーコードが認識された際の領域を取得し、動きベクトルを求める。領域に対応する動きベクトルから代表動きベクトルを減算した後の動きベクトルに対して０ベクトルと類似しているかどうかを判定し類似していた場合は、過去に認識した位置から代表動きベクトル分だけ平行移動された場所に存在するものとして認識結果を決定する。０ベクトルと類似していないと判定された場合は１フレームとして二次元バーコード３１０の認識を行い認識結果を決定する。
【００４８】
（３）前記各実施形態は、認識対象として二次元バーコード３１０を用いて説明したが、フレーム画像から認識するもので物体の領域が認識されるものであれば二次元バーコード３１０でなくても構わない。具体的には、顔認識やナンバープレート認識にも適用可能である。このとき顔の特徴部の認識が行われ、ナンバープレートの外形や車両の外形が特徴部として認識される。このとき、前記各実施形態では、指３２０の移動を前提としていたため、フレーム間隔を１秒当り数枚に長くしていたが、車両の移動速度は速いため、フレーム間隔を短くして、１秒あたり３０枚にすることが好ましい。
【００４９】
（４）処理部１３，１７が行う映像（画像情報Ｐ１）への加工は、認識情報Ｐ３に含まれる二次元バーコード３１０が存在すると判断された位置への画像の重ね合わせでも構わない。その他の位置やその他の映像効果処理でも構わない。また、第一実施形態では、処理部１３で画像を加工し後段の表示部９０で表示を行ったが、画像を加工せず、表示も行わず、識別情報を別な記憶装置に保存し必要に応じて参照するシステムとして動作しても構わない。
【００５０】
（５）前記各実施形態では、二次元バーコード３１０の位置を認識したが、車両のナンバープレートの位置を認識することもできる。この場合には、Ｓ５８，Ｓ７８で、ナンバープレートの領域を抽出してもよく、車両の領域を抽出してもよい。
（６）前記各実施形態は、二次元バーコード３１０として、周辺部が黒色の正方形状の紙媒体を用いたが、人形等の物体にＱＲ（Quick Response）コードを付して、このＱＲコードを認識してもよい。これによれば、物体の認識情報や二次元バーコードの貼付位置をコード化して認識することができる。
（７）前記各実施形態は、ＰＣを前提として、動き探索部１１、符号化部１４、復号化部１５等をプログラムで実現するように構成したが、これらの全部又は一部をハードウェアで実現することもできる。
（８）前記各実施形態に係る二次元バーコード３１０は、例えば、遠隔地と対話可能なテレビ電話、テレビ会議等、多用途に活用することができる。より具体的には、例えば、テレビ会議の際に、レーザーポインタのポインタの形態を二次元バーコード３１０にして、映像入力部８０がポインタを自動追尾してもよい。
【符号の説明】
【００５１】
１０，１０ａ，１０ｂ アプリケーションプログラム
１１ 動き探索部
１２，１６ 認識部
１３，１７ 処理部
１４ 符号化部
１５ 復号化部
２０ ＲＡＭ（記憶部）
２１ フレーム保存部
３０ ＨＤＤ（記憶部）
３１ 認識情報（領域情報）
３２ フレーム画像
４０ ＲＯＭ
５０ ＣＰＵ（制御部）
５１ 映像入力制御部
５２ 映像出力制御部
５５ ＯＳ
６０，７０ Ｉ／Ｆ
８０ 映像入力部
９０ 表示部
１００，１００ａ，１００ｂ 動画像処理装置
２００ 動画像処理システム
【技術分野】
【０００１】
本発明は、動画像処理プログラム、及び動画像処理装置に関する。
【背景技術】
【０００２】
動画中の移動物体に貼り付けられている二次元バーコードを認識し、その向きや角度から、カメラと二次元バーコードとの間の幾何学的位置関係を算出し、これらの情報を入力して、所定の動作を行う画像処理システムが知られている。
例えば、紙に印刷された二次元バーコードをカメラで読み取り、その上にＣＧ（Computer Graphics）を重ね合わせ、仮想世界と現実世界を融合する拡張現実感（Augmented Reality：AR）を実現する技術（非特許文献１参照）や２次元バーコードを付した人形等の立体物を撮像することにより、立体物の空間配置を認識し、フレーム画像にＣＧ画像を重ね合わせる技術（特許文献１参照）が知られている。
また、被写体に付されているマーク（例えば、２次元バーコード）をポインティングデバイスで指すだけでその被写体を自動追尾する技術が開示されている（特許文献２参照）。なお、車両のナンバープレートを認識し、その番号情報を撮影時刻と共に保存するシステムも知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４００４５号公報（図１）
【特許文献２】特開２００３−１５３２５０号公報（段落００２３，００６９）
【非特許文献】
【０００４】
【非特許文献１】“AR Tool Kitを使った拡張現実感プログラミング”［平成２２年２月２２日検索］、インターネット（URL:http://kougaku-navi.net/ARToolKit.html）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、これらの技術でのマークや二次元バーコードなどの特徴部の認識は、フレーム毎に実行されるため、二次元バーコードの重要な部分が隠れてしまうと認識ができない問題点がある。
例えば、動画の現フレームの画像にＣＧ画像を重ね合わせるシステムでは、指で二次元バーコードの位置を所望の位置に移動させることが行われるが、二次元バーコードが停止している時、二次元バーコードの一部が指で隠されることがある。
また、車両のナンバープレートを認識する技術でも撮像タイミングによっては、ナンバープレートが電柱や木々に隠されてしまうことがある。
【０００６】
本発明は、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくすることができる動画像処理プログラム、及び動画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明は、映像信号を処理してフレーム画像の特徴部（例えば、二次元バーコード）の領域認識を行う動画像処理装置であって、前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部（例えば、動き探索部（１１）や復号化部（１５））と、最も数が多い前記動きベクトルが略ゼロベクトルである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部（１２）とを備えることを特徴とする。なお、かっこ内の記号，符号は例示である。
【０００８】
最も数が多い動きベクトルが略ゼロベクトルである場合を前提にしているので、背景等が移動しておらず、過去のフレーム情報から特徴部の領域を把握できる。そして、特徴部の領域に対応する動きベクトルの所定数以上が略ゼロベクトルであるので、特徴部の領域の一部が隠されていても、特徴部の領域を認識した過去のフレームを用いて、現フレームにおける特徴部の領域（位置を含む）を認識することができる。そのため、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくすることができる。このとき、過去のフレームは、前記記憶部に格納されたフレーム画像を直近のフレームから順次過去にさかのぼって検索して得られた画像であることが好ましく、特徴部の領域は、検索により得られた画像の情報を用いて検出される。なお、特徴部の一部を隠す物体（例えば、指）の移動速度が遅くても、フレームレートが遅ければ、検索することなく、直近のフレーム画像のみを用いて、現フレームの特徴部の領域を認識することができる。
【発明の効果】
【０００９】
本発明によれば、現フレームで特徴部を認識できなくても、その特徴部の領域を確定しやすくなる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態である動画像処理装置を含む動画像処理システムの構成図である。
【図２】第一実施形態のアプリケーションプログラムのアルゴリズム構成図である。
【図３】二次元バーコード、及びその周辺画像の例を時間経過の変化がわかるように示した図である。
【図４】動きベクトルについて説明するための説明図である。
【図５】第一実施形態のアプリケーションプログラムのフローチャートである。
【図６】第一実施形態の認識処理のフローチャートである。
【図７】第二実施形態のアプリケーションプログラムのアルゴリズム構成図である。
【図８】第二実施形態のアプリケーションプログラムのフローチャートである。
【図９】第二実施形態の認識処理のフローチャートである。
【発明を実施するための形態】
【００１１】
（第一実施形態）
本発明の一実施形態である動画像処理装置を含む動画像処理システムについて図面を用いて説明する。
図１に示される動画像処理システム２００は、動画像処理装置１００（１００ａ）と、この動画像処理装置１００に接続される映像入力部８０と、表示部９０とを備えて構成され、映像入力部８０が撮影した動画像を表示部９０に表示させると共に、現フレーム画像の特徴部（例えば、二次元バーコード）の領域にＣＧ画像を重ね合わせる機能を有している。
【００１２】
映像入力部８０は、ビデオカメラ等であり、被写体の動画像をフレーム毎に取り込み、映像信号として出力する。このとき、フレームレートは１秒間に３０枚が基本であるが、これよりも遅い値、例えば１秒間に数枚ということもある。入力部８５は、ポインティングデバイスやキーボードから構成され、アプリケーションプログラムの起動や、情報を入力する。表示部９０は、ＬＣＤ（Liquid Crystal Display）等から構成され、動画像を表示する。
【００１３】
動画像処理装置１００（１００ａ）は、例えば、ＰＣ（Personal Computer）であり、制御部としてのＣＰＵ（Central Processing Unit）５０と、ＲＯＭ（Read Only Memory）４０と、記憶部としてのＲＡＭ（Random Access Memory）２０やＨＤＤ（Hard Disc Drive）３０と、Ｉ／Ｆ６０，７０とを備え、各部はバスラインで接続されている。Ｉ／Ｆ６０は、映像入力部８０や入力部８５がＵＳＢ（Universal Serial Bus）等で接続され、映像信号や入力情報が入力される。Ｉ／Ｆ７０は、表示部９０にビデオ信号を出力するインタフェースであり、ＶＲＡＭが内蔵されている。
【００１４】
ＲＡＭ２０は、ワーキングメモリとして使用され、フレーム画像を一時的に保存するフレーム保存部２１の領域が確保されている。ＨＤＤ３０は、ＯＳ（Operations System）やアプリケーションプログラムが格納されていると共に、後記する認識情報（領域情報）３１の領域や、過去のフレーム画像３３が格納されている。ＲＯＭ４０は、電源投入時やリセット時にＨＤＤ３０を起動させるイニシャルブートプログラムが格納されている。
【００１５】
ＣＰＵ５０は、ＨＤＤ３０に格納されているプログラムを実行することにより、複数の機能が実現される。具体的に、ＣＰＵ５０は、映像入力制御部５１と、映像出力制御部５２と、アプリケーションプログラム１０と、ＯＳ５５としての機能を実現する。なお、映像入力制御部５１と、映像出力制御部５２とは、ドライバプログラムがＣＰＵ５０によって実行されることにより実現される。
【００１６】
映像入力制御部５１は、Ｉ／Ｆ６０を初期設定するとともに、映像入力部８０から映像信号に含まれるフレーム画像を逐次取り込み、取り込んだフレーム画像をフレーム保存部２１に逐次格納するように機能する。映像出力制御部５２は、Ｉ／Ｆ７０を初期設定するとともに、フレーム保存部２１に格納されたフレーム画像、あるいは、ＣＰＵ５０により加工が施された画像を逐次表示部９０に表示するように機能する。なお、映像入力制御部５１や映像出力制御部５２は、アプリケーションプログラムがインストールされるときに組み込まれる常駐プログラムがＣＰＵ５０により実行されることにより実現される。
【００１７】
アプリケーションプログラム１０は、フレーム画像に含まれる二次元バーコードの領域にＣＧ画像を重ね合わせるプログラムと共に、二次元バーコードの一部が指で隠されていても、二次元バーコードの位置を認識しやすくするプログラムが含まれている。
ＯＳ５５は、ＰＣを駆動するための基本ソフトである。
【００１８】
図２は、アプリケーションプログラム１０（１０ａ）のアルゴリズム構成図である。アプリケーションプログラム１０ａは、ＣＰＵ５０が実行することにより、動き探索部１１と、認識部１２と、処理部１３としての機能を実現する。以下、これらの機能について図２，３を参照しつつ説明する。
【００１９】
動き探索部１１は、フレーム保存部２１に格納されている前フレーム画像と、映像入力部８０が入力した現フレーム画像を画素毎に比較して、動きベクトル情報Ｐ２を演算する。ここで、動きベクトル情報とは、映像の各１ピクセルに対して１つ決まる動きベクトルの映像全体分の集合を意味する。
【００２０】
認識部１２は、映像入力部８０が撮影した画像情報Ｐ１に対して、動きベクトル情報Ｐ２を用いて、二次元バーコードの位置を認識し、認識情報Ｐ３をＨＤＤ３０に格納する。
ここで、認識部１２は、誤差を許容しつつ最も多い数を持つ動きベクトルを演算し、現対象の映像全体の代表動きベクトルとして出力する。そして、映像全体の代表動きベクトルが略０ベクトルであった場合、ＨＤＤ３０から過去の二次元バーコードが認識された際の領域情報を取り出す。ここで、領域情報とは、フレーム内で二次元バーコードが存在すると判断された領域の位置情報のことである。そして、認識部１２は、領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合、過去に認識された二次元バーコードが過去の位置に存在するものとして認識結果を決定する。
【００２１】
ここで、紙媒体に印刷された二次元バーコードを映像入力部８０（カメラ）で読み取り、その上に３Ｄオブジェクトをオーバーレイ表示する技術を例にして、動作を説明する。ここでは、映像入力部８０のフレーム間隔は比較的長く、１秒間に数枚程度としている。
【００２２】
図３は、映像入力部８０で撮影した二次元バーコード、及びその周辺画像の例を時間経過と共に示した図である。２次元バーコード３１０は、３Ｄオブジェクトをオーバーレイ表示する位置を指示するものであり、外周部が黒色に着色され、その内側が白色になっている正方形状の紙媒体である。なお、２次元バーコード３１０は、その内側の白色部に「ヒロ」や「Hiro」と開発者の名が記載されている。
【００２３】
図３（ａ）は、二次元バーコード３１０が指３２０により隠されていない状態でのフレーム画像であり、図３（ｂ）は、二次元バーコード３１０の外周部の一部が指３２０により隠されている状態でのフレーム画像である。したがって、指３２０の部分のみが移動しており、他の部分（二次元バーコード３１０、月の形状物３３０、及び背景３４０）は移動していない。また、指３２０の面積の方が、前記他の部分の面積よりも狭い。したがって、代表動きベクトルは、誤差を許容しつつ最も多い数を持つ動きベクトルであるので、前記他の部分の動きベクトルである略「０」となる。
【００２４】
図４は、動きベクトルについて説明するための説明図である。
図４（ａ）（ｂ）は、図３（ａ）（ｂ）と同様の位置関係の画像を示し、指３２０が差し込まれ、時間経過と共に右方向に移動している様子を示している。図４（ｃ）は、図４（ｂ）よりもさらに右方向に指３２０が移動している。
現フレーム（図４（ｂ））を基準とすれば、対象フレーム（図４（ａ））の指３２０の動きベクトルは左方向を向いており、現フレームを図４（ｃ）とすると、対象フレーム（図４（ａ））の指３２０の動きベクトルの大きさは、より大きな値となっている。
【００２５】
また、領域情報は、二次元バーコード３１０のふち(最も外側)より内側を対象領域として、周辺部（黒色部）の角部４点の位置座標や、中心位置の座標及び回転角が演算され、演算結果が領域情報（Ａ）として認識情報Ｐ３に含まれてＨＤＤ３０に格納される。
ここで、図３（ｂ）のように、周辺部の黒色部の一部が指３２０で隠されている場合には、周辺部に対応する動きベクトルの半数以上が動いていないため、過去に認識された図３（ａ）の二次元バーコード３１０の位置を示す領域情報（Ａ）が新たな領域情報（Ｂ）とされる。
【００２６】
そして、認識部１２は、認識結果を処理部１３に出力するとともに、ＨＤＤ３０に格納する。そして、処理部１３は、認識情報Ｐ３を用いて、画像情報Ｐ１に対して加工処理（例えば、現フレームの画像にＣＧ画像を重ね合わせる処理）を行い、表示部９０に表示する処理を映像出力制御部５２（図２）に行わせる。
【００２７】
次に、図５，６のフローチャートを参照して、動画像処理装置１００ａの動作を説明する。アプリケーションプログラム１０ａの起動により、図５のフローが開始する。ＣＰＵ５０は、映像入力制御部５１（図１）により、Ｉ／Ｆ６０の設定を行い、映像入力部８０のフレーム画像を逐次取り込み、フレーム保存部２１に逐次記憶することができるようにする（Ｓ１０）。
ＣＰＵ５０は、映像出力制御部５２（図１）により、Ｉ／Ｆ７０の設定を行い、フレーム保存部２１に逐次記憶されたフレーム画像を表示部９０に表示させることができるようにする（Ｓ１２）。これらの処理により、映像入力部８０から取り込んだフレーム画像は、動画像として表示部９０に表示される。
【００２８】
ＣＰＵ５０は、動き探索部１１（図２）により、動き探索を実行し、動きベクトル情報を演算する（Ｓ１４）。すなわち、ＣＰＵ５０は、映像入力部８０から取り込んだ現フレームと、フレーム保存部２１に保存された前フレームとを比較して画素毎の動きベクトルを演算し、動きベクトル情報Ｐ２として、ＨＤＤ３０に格納する。ＣＰＵ５０は、認識部１２により、認識処理のルーチン（図６）を実行する（Ｓ１６）。
【００２９】
図６のルーチンが起動されると、ＣＰＵ５０は、認識部１２により、動きベクトル情報Ｐ２を取り込む（Ｓ５０）。そして、ＣＰＵ５０は、認識部１２により、最も数が多い動きベクトルを選択し、これを代表動きベクトルとする（Ｓ５２）。そして、ＣＰＵ５０は、認識部１２により、代表動きベクトル≒０か否かを判定する（Ｓ５４）。代表動きベクトル≒０であれば、処理はＳ５６に進み、過去のフレーム画像をフレーム毎に記憶部（ＨＤＤ３０）から読み出す（Ｓ５６）。
【００３０】
これにより、ＣＰＵ５０による、ＨＤＤ３０に格納された複数のフレーム画像から、二次元バーコード３１０の領域が一致するフレームの検索が開始する。このとき、二次元バーコード３１０が動いていないときは直近のフレーム画像（図４（ａ））と一致するので、ＣＰＵ５０は、現フレームに対して直近のフレームから過去のフレーム画像に遡って検索することが好ましい。そして、ＣＰＵ５０は、過去の認識情報Ｐ３を用いてフレーム画像から二次元バーコード３１０の領域を抽出する（Ｓ５８）。なお、抽出の対象は、二次元バーコード３１０の領域に限らず、二次元バーコード３１０が付された物体（人形や車両）の領域であってもよい。
【００３１】
そして、ＣＰＵ５０は、領域に対応する動きベクトルの半数以上が０ベクトル類似なものか否かを判定する（Ｓ６０）。これにより、二次元バーコード３１０の一部が指３２０（図２，３）に隠されていても、二次元バーコード３１０が動いているのか動いていないのかを判定することができる。動きベクトルの半数以上が０ベクトル類似なものであれば、二次元バーコード３１０が動いていないと推認され、Ｓ５６で読み出したフレーム画像の認識情報Ｐ３（検索結果）を現フレームの認識情報として格納し（Ｓ６２）、元のルーチンに戻る。
【００３２】
一方、Ｓ６０の判定で、０ベクトルに非類似であると判定されたら、処理はＳ６４に進み、ＨＤＤ３０に格納されているフレーム画像の全フレームを検索したか否かが判定される（Ｓ６４）。全フレームが検索されていなければ（Ｎｏ）、処理はＳ５６に戻り、ＣＰＵ５０は、他のフレーム画像をＨＤＤ３０（記憶部）から読み出して、検索が繰り返される。全フレームが検索されたら（Ｙｅｓ）、元のルーチンに戻り、図示しないエラー処理等が行われる。また、Ｓ５４の判定で、代表動きベクトルが０に近似していないと判定されたら（≠０）、処理はＳ６６に進む。そして、ＣＰＵ５０は、フレームに対する二次元バーコード３１０の認識判定を行い（Ｓ６６）、検索結果を記憶部に格納し（Ｓ６２）、元のルーチンに戻る。
【００３３】
以上説明したように本実施形態によれば、最も数が多い動きベクトルである代表動きベクトルが略ゼロベクトルである場合を前提にしているので（Ｓ５２，Ｓ５４）、背景等及び二次元バーコード３１０が移動しておらず、過去のフレーム情報から特徴部としての二次元バーコード３１０の領域を認識情報Ｐ３から把握することができる。そして、二次元バーコード３１０の領域に対応する動きベクトルの所定数以上が略ゼロベクトルであるので、二次元バーコード３１０の領域の一部が隠されていても、過去のフレーム画像３３を用いて二次元バーコード３１０の領域を把握して、二次元バーコード３１０の位置を認識することができる。
【００３４】
そのため、現フレームで二次元バーコード３１０を認識できなくても、二次元バーコード３１０の位置を確定しやすくすることができる。このとき、過去のフレームは、ＨＤＤ３０に格納されたフレーム画像３３を直近のフレームから順次過去に遡って検索することにより得られる。すなわち、動きベクトルによって、一度検知した二次元バーコードが動いていないことが認識できるため、部分的に隠れた二次元バーコード３１０の認識状態の維持が期待できる。
【００３５】
（第二実施形態）
第一実施形態では、現フレームと前フレームとの間の動きベクトル情報Ｐ２を動き探索部１１（図２）が演算したが、映像信号を符号化・復号化するときに自動的に生成される動きベクトル情報を用いることもできる。
図１の構成図は、動画像処理装置１００ａを動画像処理装置１００ｂにし、アプリケーションプログラム１０ａをアプリケーションプログラム１０ｂにした点のみ相違して、他の構成は同様であるので、以下、アプリケーションプログラム１０ｂについてのみ説明する。
【００３６】
図７のブロック図において、アプリケーションプログラム１０ｂは、ＣＰＵ５０（図１）を符号化部１４と、復号化部１５と、認識部１６と、処理部１７とに機能させるためのプログラムを備えている。
【００３７】
符号化部１４は、映像入力部８０が撮影した映像信号をＭＰＥＧ方式で符号化する。復号化部１５は、符号化された映像信号を画像情報Ｐ１に復号化する。なお、映像信号は、複数のフレーム画像の時系列信号であるので、画像情報Ｐ１は複数のフレーム画像の情報から構成されている。また、復号化部１５は、符号化された信号を画像情報Ｐ１に復号化する際に動きベクトル情報Ｐ２を得る。認識部１６は、第一実施形態と同様に、画像情報Ｐ１に対して、動きベクトル情報Ｐ２を用いて、映像全体の代表動きベクトルや、二次元バーコード３１０の領域情報を含む認識情報Ｐ３を得る。
【００３８】
認識部１６は、誤差を許容しつつ最も多い数を持つ動きベクトルを現対象の映像全体の代表動きベクトルとする。映像全体の代表動きベクトルが、略０ベクトルでない場合は、１フレームに対する二次元バーコード３１０の認識判定を行い、認識結果を決定する。一方、映像全体の代表動きベクトルが０ベクトルであった場合は、次のような判定を行う。
【００３９】
認識部１６は、ＨＤＤ３０から過去の認識情報Ｐ３を取り出し、過去に二次元バーコードが認識された際の領域情報を取り出す。認識部１６は、領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合、過去に認識された二次元バーコード３１０が現対象の映像においても過去に存在すると判定された位置に存在するものとして認識情報Ｐ３を決定する。ここで、認識情報Ｐ３とは、二次元バーコードが存在すると判定された領域の領域情報、及び二次元バーコード３１０に含まれる情報のことである。
【００４０】
認識部１６は、認識結果を処理部１７に出力するとともに、ＨＤＤ３０に格納する。そして、処理部１７は、認識結果を用いて、画像情報Ｐ１に対して加工処理を行い、表示部９０に表示する処理を映像出力制御部５２（図２）に行わせる。
【００４１】
次に、図８，９のフローチャートを参照して、動画像処理装置１００ｂの動作を説明する。
アプリケーションプログラム１０ｂの起動により、図８のフローが開始する。ＣＰＵ５０は、映像入力制御部５１（図１）により、Ｉ／Ｆ６０の設定を行い、映像入力部８０の動画像を取り込み、フレーム画像を取り込み、フレーム保存部２１に逐次記憶することができるようにする（Ｓ３０）。
ＣＰＵ５０は、映像出力制御部５２（図１）により、Ｉ／Ｆ７０の設定を行い、フレーム保存部２１に記憶されたフレーム画像を表示部９０に逐次表示させることができるようにする（Ｓ３２）。これらの処理により、映像入力部８０から取り込んだ動画像は、表示部９０に表示される。
【００４２】
ＣＰＵ５０は、符号化部１４により、映像信号の符号化を実行し（Ｓ３４）、復号化を実行する（Ｓ３６）。この復号化の時に、動きベクトル情報Ｐ２が得られる。そして、ＣＰＵ５０は、認識処理のルーチン（図９）を実行する（Ｓ３８）。
【００４３】
図９のルーチンと図６のルーチンとは、Ｓ７０のみがＳ５０と異なり、Ｓ７２乃至Ｓ８２は、Ｓ５２乃至Ｓ６２と同様であるので、異なる点を主として説明する。
図９のルーチンが起動すると、ＣＰＵ５０は、復号化信号から動きベクトル取り出す（Ｓ７０）。そして、ＣＰＵ５０は、動きベクトルから代表動きベクトルを決定し（Ｓ７２）、映像全体の代表動きベクトルが０に類似しているとき（Ｓ７４）、過去のフレーム画像から二次元バーコード３１０の領域の半数以上が０ベクトルに類似しているものを検索して（Ｓ８０）、検索結果をＨＤＤ３０（記憶部）に格納して（Ｓ８２）、元のルーチンに戻る。
【００４４】
そして、ＣＰＵ５０は、検索された認識情報をＨＤＤ３０（記憶部）から読み出して、フレーム画像にＣＧ画像を重ねる等の加工処理を行う（図８のＳ４０）。そして、ＣＰＵ５０は、画像処理が終了か否かの判定を行う（Ｓ４２）。終了でなければ（Ｎｏ）、処理はＳ３４に戻り、ＣＰＵ５０は、映像信号の符号化処理を繰り返す。一方、終了の判定がされれば（Ｙｅｓ）、処理は終了する。
【００４５】
以上説明したように、第二実施形態によれば、符号化された動画に含まれる動きベクトルを使用するため追加の動き探索を行わずに動きベクトル情報Ｐ２を取得できるため、大きな負荷を増やさずに部分的に隠れた二次元バーコード３１０の認識状態の維持が期待できる。
【００４６】
（変形例）
本発明は前記した実施形態に限定されるものではなく、例えば、以下のような種々の変形が可能である。
（１）第一実施形態では、判定において領域に対応する動きベクトルの半数以上が０ベクトルに類似していた場合としたが、予め設定者が決めた設定割合以上でも構わないし、二次元バーコードの面積に関わらず固定面積以上と判定しても構わない。
【００４７】
（２）前記各実施形態では、代表動きベクトルが０ベクトルに類似しているか否かで処理を分けたが（Ｓ５４，Ｓ７４）、次のように判定しても構わない。
代表動きベクトルに関わらず、過去に二次元バーコードが認識された際の領域を取得し、動きベクトルを求める。領域に対応する動きベクトルから代表動きベクトルを減算した後の動きベクトルに対して０ベクトルと類似しているかどうかを判定し類似していた場合は、過去に認識した位置から代表動きベクトル分だけ平行移動された場所に存在するものとして認識結果を決定する。０ベクトルと類似していないと判定された場合は１フレームとして二次元バーコード３１０の認識を行い認識結果を決定する。
【００４８】
（３）前記各実施形態は、認識対象として二次元バーコード３１０を用いて説明したが、フレーム画像から認識するもので物体の領域が認識されるものであれば二次元バーコード３１０でなくても構わない。具体的には、顔認識やナンバープレート認識にも適用可能である。このとき顔の特徴部の認識が行われ、ナンバープレートの外形や車両の外形が特徴部として認識される。このとき、前記各実施形態では、指３２０の移動を前提としていたため、フレーム間隔を１秒当り数枚に長くしていたが、車両の移動速度は速いため、フレーム間隔を短くして、１秒あたり３０枚にすることが好ましい。
【００４９】
（４）処理部１３，１７が行う映像（画像情報Ｐ１）への加工は、認識情報Ｐ３に含まれる二次元バーコード３１０が存在すると判断された位置への画像の重ね合わせでも構わない。その他の位置やその他の映像効果処理でも構わない。また、第一実施形態では、処理部１３で画像を加工し後段の表示部９０で表示を行ったが、画像を加工せず、表示も行わず、識別情報を別な記憶装置に保存し必要に応じて参照するシステムとして動作しても構わない。
【００５０】
（５）前記各実施形態では、二次元バーコード３１０の位置を認識したが、車両のナンバープレートの位置を認識することもできる。この場合には、Ｓ５８，Ｓ７８で、ナンバープレートの領域を抽出してもよく、車両の領域を抽出してもよい。
（６）前記各実施形態は、二次元バーコード３１０として、周辺部が黒色の正方形状の紙媒体を用いたが、人形等の物体にＱＲ（Quick Response）コードを付して、このＱＲコードを認識してもよい。これによれば、物体の認識情報や二次元バーコードの貼付位置をコード化して認識することができる。
（７）前記各実施形態は、ＰＣを前提として、動き探索部１１、符号化部１４、復号化部１５等をプログラムで実現するように構成したが、これらの全部又は一部をハードウェアで実現することもできる。
（８）前記各実施形態に係る二次元バーコード３１０は、例えば、遠隔地と対話可能なテレビ電話、テレビ会議等、多用途に活用することができる。より具体的には、例えば、テレビ会議の際に、レーザーポインタのポインタの形態を二次元バーコード３１０にして、映像入力部８０がポインタを自動追尾してもよい。
【符号の説明】
【００５１】
１０，１０ａ，１０ｂ アプリケーションプログラム
１１ 動き探索部
１２，１６ 認識部
１３，１７ 処理部
１４ 符号化部
１５ 復号化部
２０ ＲＡＭ（記憶部）
２１ フレーム保存部
３０ ＨＤＤ（記憶部）
３１ 認識情報（領域情報）
３２ フレーム画像
４０ ＲＯＭ
５０ ＣＰＵ（制御部）
５１ 映像入力制御部
５２ 映像出力制御部
５５ ＯＳ
６０，７０ Ｉ／Ｆ
８０ 映像入力部
９０ 表示部
１００，１００ａ，１００ｂ 動画像処理装置
２００ 動画像処理システム
【特許請求の範囲】
【請求項１】
映像信号を処理してフレーム画像の特徴部の領域認識をコンピュータに実行させる動画像処理プログラムであって、
前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得機能と、
最も数が多い前記動きベクトルの大きさが略ゼロである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレーム画像を用いて、現フレームにおける前記特徴部の領域を認識する認識機能と
を前記コンピュータに実現させることを特徴とする動画像処理プログラム。
【請求項２】
前記映像信号は、フレーム画像が記憶部に逐次格納され、
前記過去のフレーム画像は、前記記憶部に格納されたフレーム画像を直近のフレームから順次過去にさかのぼって検索することにより得られた画像であることを特徴とする請求項１に記載の動画像処理プログラム。
【請求項３】
前記特徴部は、二次元バーコードであることを特徴とする請求項１又は請求項２に記載の動画像処理プログラム。
【請求項４】
前記動きベクトル取得機能は、現フレームの画素と前フレームの画素との間で演算する動き探索機能であることを特徴とする請求項１乃至請求項３の何れか一項に記載の動画像処理プログラム。
【請求項５】
前記動きベクトル取得機能は、符号化された前記映像信号を復号化する時に取得することを特徴とする請求項１乃至請求項３の何れか一項に記載の動画像処理プログラム。
【請求項６】
前記映像信号の現フレームに対して、前記認識された特徴部の位置を基準にして画像の加工を施す処理機能をさらに備えたことを特徴とする請求項１乃至請求項５の何れか一項に記載の動画像処理プログラム。
【請求項７】
映像信号を処理してフレーム画像の特徴部の領域を認識する動画像処理装置であって、
前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部と、
最も数が多い前記動きベクトルの大きさが略ゼロである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部と
を備えることを特徴とする動画像処理装置。
【請求項１】
映像信号を処理してフレーム画像の特徴部の領域認識をコンピュータに実行させる動画像処理プログラムであって、
前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得機能と、
最も数が多い前記動きベクトルの大きさが略ゼロである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレーム画像を用いて、現フレームにおける前記特徴部の領域を認識する認識機能と
を前記コンピュータに実現させることを特徴とする動画像処理プログラム。
【請求項２】
前記映像信号は、フレーム画像が記憶部に逐次格納され、
前記過去のフレーム画像は、前記記憶部に格納されたフレーム画像を直近のフレームから順次過去にさかのぼって検索することにより得られた画像であることを特徴とする請求項１に記載の動画像処理プログラム。
【請求項３】
前記特徴部は、二次元バーコードであることを特徴とする請求項１又は請求項２に記載の動画像処理プログラム。
【請求項４】
前記動きベクトル取得機能は、現フレームの画素と前フレームの画素との間で演算する動き探索機能であることを特徴とする請求項１乃至請求項３の何れか一項に記載の動画像処理プログラム。
【請求項５】
前記動きベクトル取得機能は、符号化された前記映像信号を復号化する時に取得することを特徴とする請求項１乃至請求項３の何れか一項に記載の動画像処理プログラム。
【請求項６】
前記映像信号の現フレームに対して、前記認識された特徴部の位置を基準にして画像の加工を施す処理機能をさらに備えたことを特徴とする請求項１乃至請求項５の何れか一項に記載の動画像処理プログラム。
【請求項７】
映像信号を処理してフレーム画像の特徴部の領域を認識する動画像処理装置であって、
前記映像信号のフレーム間の動きベクトルを画素毎に取得する動きベクトル取得部と、
最も数が多い前記動きベクトルの大きさが略ゼロである場合に、前記特徴部の領域に対応する前記動きベクトルの所定数以上が略ゼロベクトルである過去のフレームを用いて、現フレームにおける前記特徴部の領域を認識する認識部と
を備えることを特徴とする動画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８６８４６（Ｐ２０１１−１８６８４６Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５２１３２（Ｐ２０１０−５２１３２）
【出願日】平成２２年３月９日（２０１０．３．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月９日（２０１０．３．９）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]