映像属性自動付与装置、映像属性自動付与プログラム及び映像属性自動付与方法
【課題】マラソン競技の走者等の移動している物体の撮影画像からハイライトシーンなどの特定の画像の切り出し区間の選定と編集には人手と工数がかかる問題がある。
【解決手段】
移動物体の情報を記録したＲＦタグを移動物体に装着し、ＲＦタグから受信したＲＦタグデータから移動物体の属性情報を生成し、撮影画像に存在する移動物体の領域を追跡し、移動物体を個々の移動物体毎に分離識別して移動物体を特定し撮影画像に特定した移動物体の属性情報を自動的に付与する。
【解決手段】
移動物体の情報を記録したＲＦタグを移動物体に装着し、ＲＦタグから受信したＲＦタグデータから移動物体の属性情報を生成し、撮影画像に存在する移動物体の領域を追跡し、移動物体を個々の移動物体毎に分離識別して移動物体を特定し撮影画像に特定した移動物体の属性情報を自動的に付与する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツ映像などのライブ中継を行なうと同時に、ハイライト場面などを切出してリプレイ映像を生成するための映像編集装置に係る。特に撮影画像の各場面の属性を自動的に生成し、編集を行う装置に関する。
【背景技術】
【０００２】
近年、インターネット回線などを使用したディジタルコンテンツの配信・放送が容易になってきた。これに対応して大量の映像素材を短時間で加工・編集する装置が求められている。
【０００３】
映像編集の装置としてノンリニア編集装置が知られている。ノンリニア編集装置は、ビデオカメラで取得した映像やテープに録画されている映像をディジタルデータへ変換し、パソコンのハードディスクなどに取り込んで加工・編集する。例えば、マラソン競技のフィニッシュシーンを切り出すには、ハードディスクに格納されている映像を再生し切出し開始位置と終了位置を人手で設定し、設定した区間を別のデータファイルとして保存する、あるいは、ビデオテープへ記録したりすることでリプレイ映像を作成する。
しかしながらノンリニア編集装置では、切出し区間の指定、リプレイ映像の保存などの編集作業は人手で行なう必要があるため多大な手間とコストが掛かる問題がある。
【０００４】
ノンリニア編集装置の問題点への対策として映像の各場面に属性を与え、属性情報を検索することで自動的に切出し区間を特定する方法が提案されている。
【０００５】
例えば非特許文献１では撮影対象に装着した赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から発せられるＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報を認識し、蓄積されるビデオデータに実時間でインデックス付けする方法がある。しかしながら、ＬＥＤを信号源として用いているため、発光方向に受光器が存在しない、あるいはＬＥＤと受光器との間に遮る障害物がある場合などには、ＩＤ情報を受け取れないという問題がある。
特許文献１ではカメラ画像を記録する際、同時に被写体に装着されたＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）タグなどのＩＤ情報を読み取って画像データと共に保存することで、画像の改ざんを防止する方法がある。同発明は指向性アンテナによってカメラが向いているＲＦタグからのみ信号を受信するものである。即ち、指向性アンテナとカメラ視野とを関連付ける方法に関する具体的な手段は無く、該当する撮影対象が映っているかどうかが保証されないという問題がある。
特許文献２では指向性アンテナを用いて、ＲＦタグの方向を検出し、同方向へＬＥＤなどのビーム光を照射することで、所望の物品を見つけやすくする方法がある。しかし、指向性アンテナを用いているが、アンテナとカメラを関連付けたり、ＲＦタグのＩＤ情報と移動物体とを関連付けたりする手段は無い。
【０００６】
非特許文献２では移動物体が画像内のどの領域に存在しているかの追跡方法として局所相関法を用いた画像処理が開示されている。しかし検出した移動物体がどんな属性をもっているか検出しリアルタイムに撮影画像に自動的に属性を付与することはできない。
本願発明者は特許文献３において、撮影画像から移動物体を検出し、移動物体が存在する領域を所望の大きさに切り出し、検出した移動物体にＲＦタグ情報を対応付ける方法を示しているが、移動物体の特定については記載されていない。
【０００７】
【特許文献１】特開２０００−２６１７５１号公報
【特許文献２】特開２００２−２７１２２９号公報
【特許文献３】特願２００５−９６１５８号公報
【非特許文献１】角、伊藤、松口、Ｓｉｄｎｅｙ Ｆｅｌｓ、内海、鈴木、中原、岩澤、小暮、間瀬、荻田著、「複数センサ群による協調的なインタラクションの記録」、インタラクション２００３論文集、情報処理学会、ページ２５５−２６２。
【非特許文献２】森田、「局所相関演算による動きの検知と追跡」、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、ＮＯ２、ページ２９９−３０９、２００１． 以上のように、いずれの公知技術も指向性アンテナとカメラの関連付けを行い、移動している被写体に装着されたＲＦタグの情報を自動的に結び付けて撮影画像のハイライト場面などを切り出す機能は開示していない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
解決しようとする課題は移動している物体の撮影画像からハイライトシーンなどの特定の画像の切り出し区間の選定と編集には人手・工数と時間がかかる問題である。
【課題を解決するための手段】
【０００９】
第１の発明は、ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置である。
【００１０】
前記映像属性自動付与装置は前記撮影した画像を受信する手段と前記アンテナから前記ＲＦタグの情報を受信する手段と前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段とを備えている。
【００１１】
第２の発明は第１の発明の映像属性自動付与装置に前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えた映像属性自動付与装置である。
【００１２】
第３の発明は第２の発明の映像属性自動付与装置に前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えた映像属性自動付与装置である。
【００１３】
第４の発明は第３の発明の映像属性自動付与装置に前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えた映像属性自動付与装置である。
【００１４】
第５の発明はコンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムである。
【００１５】
前記プログラムは前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、動きが同一で隣接している前記区画を結合した領域を抽出させ、前記抽出した領域の中心位置を算出させ、前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与する。
【発明の効果】
【００１６】
本発明により、取得した画像から移動物体の属性情報を使用し目的のシーンを自動的に抽出することにより編集処理の自動化が可能となる。 また、無線アンテナの角度検出分解能が粗い場合であっても、撮影画像の編集処理結果を基に移動物体が精度良く検出でき、さらにアンテナの指向性ビーム境界を複数の移動物体の中間位置に回転することで複数の移動物体を分離検出できる。また、複数の指向性アンテナを用いて角度分解能を向上させ、かつ、その移動物体が占める画像領域に属性データを自動的に付与することができる。これにより、撮影画像の配信・放送を効率よく編集することができる。
【発明を実施するための最良の形態】
【００１７】
（実施例１）
図１は本発明の一実施形態の映像属性送信システムと映像属性自動付与装置ブロック構成を示す図である。ＲＦタグ２１を装着した移動物体である撮影対象２、ＲＦタグ２１を装着した撮影対象を撮影するカメラ３、撮影対象のＲＦタグ２１の情報を読みとり、メモリに書込み保持するＲＦタグリーダ・ライタ４、ＲＦタグ２１の情報、及びカメラから画像のから被写体の属性情報を識別処理する映像属性自動付与装置１、識別処理したＲＦタグ２１の情報を映像装置７の送信先に送信するためのネットワーク５あるいはＤＶＤ、ＣＤＲなどの記録媒体６で構成する。なお、図１の映像属性自動付与装置１にＲＦタグリーダ・ライタ４を併せて映像属性自動付与装置とすることも考えられる。
【００１８】
ＲＦタグ２１は無線ＩＣタグなどの呼称もある物体の識別に利用されるデバイスであり、無線ＩＣチップアンテナコイルで構成され、自身の識別コードなどの情報を記憶できる。ＲＦタグ２１はＲＦタグ情報を読みとり記憶保持などの機能を有する装置と無線交信ができる。ＲＦタグ２１はＲＦタグリーダ・ライタ４から供給される電磁波から駆動用の電力を得るタイプ、あるいは電池内臓タイプのいずれで構成しても良い。尚、本願のＲＦタグ２１を人に装着する場合、ＲＦタグ２１は動きが比較的安定している頭や胸に装着することが望ましい。
ＲＦタグ２１内のメモリには、ＲＦタグ２１が装着される撮影対象２に応じて、その対象の名称、特徴（色、形状、ＩＤ番号など）、仕様、あるいは、これらが記載されたネットワークアドレスなどを予め格納しておく。書き込み可能なＲＦタグの使用によりカメラ３で撮影している最中にメモリに記憶されたデータ内容を必要に応じて書き換えることも可能である。本願適用の一実施例におけるＲＦタグ２１のデータ例を図３に示す。説明は後述する。
【００１９】
ＲＦタグリーダ・ライタ４は指向性アンテナ４１、Ａ／Ｄ４２、映像属性自動付与装置１とのインタフェースであるＩ／Ｆ４３で構成する。指向性アンテナ４１としてアダプティブアレーアンテナを用い、アダプティブアレーアンテナの指向性を制御しＲＦタグ２１からの電波を受信する。
指向性アンテナ４１で受信した信号ｙ（ｎ）からＲＦタグ２１からの変調信号を復調し、Ａ／Ｄ４２によりアナログ信号をディジタル符号に変換しディジタル信号を得る。ディジタルデータを映像属性自動付与装置１にＩ／Ｆ４３のインタフェース部を介して送出する。また、データ書き込み時は映像属性自動付与装置１からの情報をＲＦタグ２１のメモリに書き込む。図１は簡単のため、ＲＦタグ２１から映像属性自動付与装置１への一方向の信号の流れを示し逆方向は省略している。
カメラ３はＣＣＤなどで検出した光強度から一定のサンプリング間隔 （例えば、３３ｍｓ）で画像を形成し更に、動画像を生成する。 画像の単位である画素はカラー画像の場合、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の階調値で与えられる。白黒画像の場合、輝度の階調値で与えられる。例えば、整数ｘ、ｙで示される座標（ｘ、ｙ）の画素の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、輝度（Ｉ）の階調値はそれぞれ、ディジタル値Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、I（ｘ、ｙ）で与えられる。以下の詳細説明は簡単のため映像処理の画素としては輝度（白黒濃淡値）について述べる。カラー画像の画素についても同様に画像処理できる。
カメラ３からの画像情報、ＲＦタグリーダ・ライタ４からのＲＦタグ２１の情報は映像属性自動付与装置１に信号入力Ｉ／Ｆ２０を介して入力する。映像属性自動付与装置１は信号入力Ｉ／Ｆ２０を介して入力したＲＦタグ２１の情報及びカメラからの画像データの処理を行い、処理データを信号出力Ｉ／Ｆ３０、ネットワーク５を介して映像装置７に送信する。あるいはＤＶＤ（Ｄｅｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、ＣＤＲ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｄａｂｌｅ）などの記録媒体に信号出力Ｉ／Ｆ３０を介して送出する。
【００２０】
映像属性自動付与装置１の構成、及び画像処理内容の説明の前に指向性アンテナの指向性制御、カメラと指向性アンテナとの位置関係について述べる。指向性アンテナの指向性制御について先ず述べる。ＲＦタグ２１からの電波の到来方向をθとする。アダプティブアレーアンテナの各アンテナエレメントが直線状に等間隔Dで並んでいる場合、基準となるアンテナエレメントと比較したときの第i番目のアンテナエレメントへの伝播遅延時間τi（θ）は、
【００２１】
【数１】
【００２２】
で表わされる。ｃは、伝播速度である。変調信号をｍ（ｎ）、搬送波の角周波数をω、第i番目のアンテナエレメント出力をｘｉ（ｎ）、ｎを時間とすると、
【００２３】
【数２】
【００２４】
となる。
【００２５】
所望の信号波形が既知で参照信号ｄ（ｎ）として利用できる場合、アンテナアレーの出力信号ｙ（ｎ）との平均２乗誤差ｕ（ｎ）を最小にすることにより重み係数を決定できる。ｕ（ｎ）は干渉、雑音などの誤差成分である。
【００２６】
【数３】
【００２７】
各アンテナエレメントの入力信号ｘｉ（ｎ）、重み係数ｗi（θ）をベクトルで表現し、各アンテナエレメントの合成出力をｙ（ｎ）として上式に代入する。
【００２８】
【数４】
【００２９】
尚、添え字Ｔは転置、Ｈは複素共役転置を表わす。このとき誤差成分の２乗の期待値Ｊは次式で表わされる。
【００３０】
【数５】
【００３１】
各アンテナエレメントの入力信号の自己相関行列をＲｘｘ＝Ｅ｛ｘ（ｎ）×ｄ（ｎ）Ｈ｝、参照信号と各アンテナエレメントの入力信号との相互相関行列をｒｘｄ＝Ｅ｛ｘ（ｎ）×ｄ（ｎ）｝と定義すると、最適な重みは期待値Jを重みベクトルｗi（θ）で偏微分することにより、
【００３２】
【数６】
【００３３】
で与えられる。
【００３４】
上述のように、電波の飛来方向θと、重み係数ｗｉ（θ）を対応付けることができる。そこで、指定した範囲θ１＜θ＜θ２でアンテナエレメントの指向性を変化させる時、対応する重み係数がｗ（θ１）からｗ（θ２）の範囲内で徐々に変化することにより、アンテナエレメントの方向を走査することができる。例えば、刻み幅Δθでアンテナエレメントの方向を振る場合、予め重み係数を、
【００３５】
【数７】
【００３６】
のように算出しておき、刻み値ｋ・Δθに応じて、重み係数ｗｉ（θ）を変化させることによりアンテナエレメントの指向性パターンを制御することができる。指向性アンテナを八木アンテナなどの指向性パターンが固定されているアンテナ及び、機械的にアンテナを回転させる機構で構成しても良い。本構成の場合、アンテナの回転角θを、指定範囲θ１＜θ＜θ２で変化することによって、上述のアダプティブアレーアンテナと等価の処理を実現できる。
【００３７】
次に 指向性アンテナ４１とカメラ３との位置関係について述べる。目的とするＲＦタグ２１を装着した撮影対象２を検出する際、上記の方法で得た撮影対象２からの電波の飛来方向θと、後述するカメラ画像内の注視領域とを対応付ける処理を行う。この時、撮影対象２、指向性アンテナ４１、カメラ３が同一直線状にある必要がある。撮影対象２の位置は不特定であるので同一直線状という条件を満たすためには、アンテナの中心位置とカメラレンズの焦点位置が鉛直軸上で一致していることが望ましい。
【００３８】
映像属性自動付与装置１の構成と画像処理について説明する。映像属性自動付与装置１は属性情報自動付与部１０、信号入力Ｉ／Ｆ２０、信号出力Ｉ／Ｆ３０で構成する。信号入力Ｉ／Ｆ２０を介して受信したＲＦタグ情報、画像情報は属性情報自動付与部１０に入力する。属性情報自動付与部１０は属性情報生成部１１、移動物体検出部１２、領域抽出部１３、移動物体特定部１４、属性情報付与部１５、受信画像、映像属性付与付画像、及び画像処理過程のデータを保持するメモリ１６で構成する。
属性情報自動付与装置１は後述する属性情報自動付与部１０の各機能を処理するプログラムにより動作するＣＰＵ内臓のパソコンなどの演算処理装置であってもよい。
【００３９】
具体的処理手順を説明する前に本発明で用いる画像から移動物体を分離検出する方法について述べる。撮影画像から移動物体を分離検出する方法として背景差分法、局所相関法が知られている。
【００４０】
背景差分法は一定周期（サンプリング時間毎）で取り込んだビデオカメラからの画像にローパスフィルタを通すことにより画像処理行う手法である。撮影画像から移動物体の分離検出は、予め移動物体が含まれない画像を背景画像として用意しておき、次に、移動物体が含まれる画像との差分を取る。この差分の大きい部分を移動物体とする方法である。
【００４１】
背景差分法による移動物体の分離検出は、低いカットオフ周波数を持つローパスフィルタを用いて動きのない物体の画像つまり、背景画像を得、カットオフ周波数を高くすることにより蛍光灯のちらつきを除いた動きのある物体含む画像を取得して両者の差分を取ることで行う。本方法はより短い処理時間で処理可能であるが明るさの変動などのノイズに弱い欠点がある。
一方、局所相関法による移動物体の分離検出は、画像の現フレームと前のフレームの画素の相関演算により画素の移動速度、移動距離により行う手法である。手順は、画像を格子状のブロック（例えば、８×８画素）に分割し、あるサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で、近傍にあるブロック同士の相関値を求め、その大小によりブロックが移動したか否かを判定する。局所相関法による撮影画像から移動物体の分離検出は、相関演算量が多いため画像サイズを大きくできないため相関演算を実施するブロック間の距離が制限され、動きの早い物体に追従できない問題がある。
【００４２】
図２は本発明の映像属性送信システムの処理手順を示す図である。移動している撮影対象の画像、ＲＦタグの情報を収集し、収集した画像から移動物体を検出特定し、特定した移動物体のＲＦタグデータと画像をリンクさせ、映像属性付き画像を配信する手順を示している。映像属性自動付与装置で行うＳ８、Ｓ９のステップの詳細処理内容は後述する。
Ｓ１：ＲＦタグ情報から属性情報を検出し、画像の編集処理の初期設定を行う。
ア．アダプティブアレーアンテナの制御ステップの刻み値を設定し、過去のデータなどから予め用意した参照表を用いて指向性アンテナ制御の重み係数とアンテナの角度の対応付けを行う。
イ.ＲＦタグデータをその属性値に変換するための変換規則を設定する。
ウ.ＲＦタグへデ−タを書き込む。
エ．移動物体の検出に用いる閾値を設定する。設定する閾値として、移動物体領域の候補抽出に用いる背景分離閾値Ｔｔｈ、移動物体領域決定に用いる移動比較閾値Ｑｔｈを設定する。
オ．画像処理ローパスフィルタのカットオフ周波数、フィルタのＲＦタグと移動物体の対応付けに用いる判定量Δｘ、移動物体を特定するためのフレーム連続条件などの画像処理に必要な条件を設定する。
Ｓ２：カメラはＲＦタグを装着した移動物体の撮影を開始し、撮影画像を映像属性自動付与装置に送信する。リアルタイム配信でない場合は記録媒体へ記憶保持する。
Ｓ３：Ｓ１で設定したアダプティブアンテナの刻み値を変化させ、アダプティブアンテナの重み係数を変化させてアンテナの方向を制御する。制御方法は前述した通りである。
Ｓ４：アンテナの方向のＲＦタグの有無を判定し、ＲＦタグが在る場合はＲＦタグリーダ・ライタにＲＦタグのデータを送る。ＲＦタグが無い場合はＳ３に戻りアダプティブアンテナの方向制御を続ける。
Ｓ５：ＲＦタグリーダ・ライタにＲＦタグデータを送る。
Ｓ６：ＲＦタグリーダ・ライタは受信したＲＦタグデータをディジタルデータへ変換し、映像属性自動付与装置の属性情報生成部に送信する。
Ｓ７：Ｓ４でＲＦタグを検出した時のアンテナ角度（以下ＲＦタグ検出角とする）がカメラ視野角内にあると確認した場合は検出したＲＦタグは有効であるとし、Ｓ８の映像属性自動付与装置での画像処理を行う。ＲＦタグが無効であると判断した場合はＳ３に戻りアダプティブアンテナの制御を行う。
Ｓ８：映像属性自動付与装置は映像属性自動付与部を中心に以下の処理を行う。
ア．ＲＦタグデータからＲＦタグ装着の移動物体の属性情報に変換する。
イ．各フレーム画像の中で移動している物体の存在有無を検出する。
ウ．移動物体の存在する領域を確定する。
エ．確定した領域内の移動物体を特定する。
オ．画像に特定した移動物体とＲＦ属性をリンクする。
Ｓ９：画像に移動物体の属性情報（移動物体識別番号、タグ番号、属性値）をリンクさせた映像属性付与画像を配信先の映像装置に送信する。あるいは記録媒体に記憶保持する。
Ｓ１０：映像属性付与付画像は映像属性付き画像をリアルタイム配信する。あるいはオフラインで得た記録媒体に記録された映像属性付与付画像を配信する。
図２で述べた処理手順の詳細内容、及び属性情報自動付与装置１の動作について装置の構成ブロックの機能内容と併せて説明する。
１）属性情報生成部
ＲＦタグリーダ・ライタ４から出力されたＲＦタグデータを予め決められた変換則を適用してディジタルデータを属性値へ変換し属性情報を生成する。図３は本発明におけるＲＦタグデータの属性値への変換例を示す図である。本方法をマラソン競技に適用したＲＦへの書き込みデータの例である。ＲＦタグデータの検出処理を迅速に行うためには、書き込みデータは適用システムにとり必要最小限のデータに限定することが望ましい。本例ではＲＦタグの中には以下のデータを設定する。
ア．ＲＦタグ番号
イ．ランナーのゼッケン番号
ウ．競技日
エ．スタート時刻
オ．ＲＦタグ検出角
これらのデータは数値、文字列データとしてＲＦタグに格納されている。これらの数値、文字列データをＲＦタグリーダ・ライタ４で読み取る。各データはその属性と値に変換する。例えば、ページ１の１はＲＦタグ番号１を示し、ページ２の２００５０１０１は属性が競技日で値が２００５年１月１日となり、ページ３のデータは属性がスタート時刻であり、値は１０時００分００秒となる。
図４は本発明におけるＲＦタグ検出角の検出を示す図である。図の杓子状の曲線は指向性アンテナ４１−１が角度分解野能３０度の指向性ビームを持つことを示している。角度分解能３０度の指向性アンテナを用いＲＦタグが領域Ｑにあることが検出されるとＲＦタグの検出角は−１５度〜１５度で与えられる。属性情報は有効なＲＦタグに対応するディジタルデータからのみ生成する。
ＲＦタグの有効、無効を以下の方法で判定する。図５は本発明におけるカメラ視野角とアンテナ方向との関係を示す図である。現在撮影中のカメラ３の視野角の上下限を各々、θｍａｘ、θｍｉｎ、ＲＦタグに対する読み込み操作を行なったときの指向性アンテナの角度θＲがθｍａｘ、θｍｉｎの間にあれば、即ち
【００４３】
【数８】
【００４４】
を満たす時、そのＲＦタグを有効と判定する。
２）移動物体検出部
移動物体の検出には前述した背景差分法と局所相関法がある。前述したように背景差分法はより短い処理時間で処理可能であるが明るさの変動などのノイズに弱い欠点がある。一方、局所相関法はブロック間同士の相関演算量が多いため、動きの早い物体に追従できない問題がある。本願ではデータ処理規模を大きくすることなく実現するために両方法を組み合わせて用いる。即ち、背景差分法で大まかな移動物体領域を求めた後局所相関法により細かく移動物体領域を決定する手順を用いる。
画像処理のためにサブ区画、サブ区画テンプレート、移動追跡ブロックを定義する。図６は本発明における画像のサブ区画、サブ区画テンプレート、追跡ブロックの関係を示す図である。サブ区画は縦ｎ画素、横ｎ画素の正方形から成る。サブ区画テンプレートはサブ区画の集まりであり物体の存在可能性のある領域であり、図６の斜線を施した部分である。追跡ブロックはサブ区画テンプレートを取り囲むように設定し、サブ区画テンプレートの外側に上下左右ｍ画素の間を設けた領域である。
【００４５】
背景差分法を用い移動物体が存在する可能性のある領域を求め、次に局所相関法を用い移動物体検出のための有効サブ区画を算出する。図７は本発明における移動物体検出手順を示す図である。撮影画像に移動物体が含まれているか確認の有効サブ区画検出の手順を示している。
【００４６】
Ｓ２１：カメラで得た画像を一定周期（サンプリング時間毎）で取り込む。リアルタイム配信の場合はカメラからのリアルタイム画像であるが、オフラインによる記憶媒体からの画像でも良い。取得した現タイミングの画像を２系列に分け、異なるカットオフ周波数のローパスフィルタに通す。
【００４７】
Ｓ２２：ローパスフィルタのカットオフ周波数を低く設定した動きの無い現フレームの背景画像を得る。ここで設定したこのカットオフ周波数は移動物体の移動速度に併せて求めることが可能であり、対象とする移動物体に併せて可変に設定できるようにする。背景画像をサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００４８】
Ｓ２３：ローパスフィルタのカットオフ周波数をＳ２２のローパスフィルタに対し高く設定し、動きのある物体を残したまま、蛍光灯のちらつきの影響を除いた画像を得る。このカットオフ周波数もＳ２２のカットオフ周波数と同様に対象の移動物体に併せて可変に設定できるようにする。この画像を現サンプリング時点での現画像とする。Ｓ２２と同様にサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００４９】
Ｓ２４：現画像（以下現フレーム画像と記載）と背景画像両者の同じ位置のサブ区画（ｎ×ｎ画素の正方形）の１つを取り出す。
【００５０】
Ｓ２５：両画像の同位置にあるサブ区画の画素間の差の総和Ｔを下記計算式で計算する。
【００５１】
【数９】
【００５２】
ここで、ＩＣ（ｘ、ｙ）は現画像における画素位置（ｘ、ｙ）の白黒濃淡値、ＩＢ（ｘ、ｙ）は背景画像における画素位置（ｘ、ｙ）の白黒濃淡値、ＲＳＵＢはサブ区画を表わす。算出値ＴがＴｔｈ以上の時は背景画像とは異なることを示しており、動きがある移動サブ区画と判定しＳ２６に進み、それ以外はＳ２４に戻り次のサブ区画を取り出す。
【００５３】
Ｓ２６：局所相関法を用い、Ｓ２５で動きがあると判定した移動サブ区画が前フレーム画像のどのサブ区画から移動してきたかを探し出す。移動サブ区画として注目している現フレーム画像のサブ区画Ｓｐ（ｘ、ｙ）が前フレーム画像のどのサブ区画Ｓｑ（ｘ’、ｙ’）から移動してきたのかを、相関演算を用いて探索する。サブ区画Ｓｐ（ｘ、ｙ）、Ｓｑ（ｘ’、ｙ’）との相関値Ｃを次式によって算出し、予め定めた閾値から移動したか否か判断を行う。
【００５４】
【数１０】
【００５５】
上式において、Ｉｐ（ｘ、ｙ）、Ｉｑ（x’、y’）は各サブ区画Ｓｐ（ｘ、ｙ）、Ｓｑ（ｘ’、ｙ’）内の画素の白黒濃淡値、Ｒｐ、Ｒｑはサブ区画領域内であることを示す。
【００５６】
前述した非特許文献１のゼロ比較法を用いて判定する。注目しているサブ区画と同位置にある前フレームのサブ区画との相関値Ｃ０と走査範囲内の全サブ区画との相関計算から求めた相関値の最小値Ｃ１との差Ｑを以下の式で算出し、移動判定の閾値Ｑｔｈと比較する。
【００５７】
【数１１】
【００５８】
【数１２】
【００５９】
Ｓ２７：Ｑが閾値Ｑｔｈより大きい場合、注目しているサブ区画Ｓｐ（ｘ、ｙ）はＳｑ（ｘ’、ｙ’）から移動したサブ区画と判定し、有効サブ区画とする。
Ｓ２８：有効サブ区画の前フレーム画像からの移動の速さ、移動方向を算出する。
【００６０】
前フレーム画像の移動元のサブ区画の左上端点を（ｘＬｅｆｔＴｏｐ１、ｙＬｅｆｔＴｏｐ１）、注目している現フレーム画像のサブ区画の左上端点を（ｘＬｅｆｔＴｏｐ２、ｙＬｅｆｔＴｏｐ２）、サブ区画の移動ベクトルを（ｘＬｅｆｔＴｏｐ２−ｘＬｅｆｔＴｏｐ１、ｙＬｅｆｔＴｏｐ２−ｙＬｅｆｔＴｏｐ１）とすると、移動の速さ、移動の方向は次式となる。
【００６１】
【数１３】
【００６２】
【数１４】
【００６３】
Ｓ２９：全てのサブ区画での確認を終えるまでＳ２４からのＳ２８の処理を戻り繰り返す。一連の処理により、全ての有効サブ区画と各有効サブ区画の前フレームからの移動速さ、移動ベクトルの方向を得る。
【００６４】
３）領域抽出部
図８は本発明における移動物体存在領域抽出手順を示す図である。図７の処理で得た得た有効サブ区画の集合より追跡して移動物体の確認を行うための有効サブ区画テンプレートを生成し、有効サブ区画テンプレートから移動追跡ブロック候補を設定する。
【００６５】
Ｓ３１：有効サブ区画の１つを取り出し、有効サブ区画テンプレートとする。
【００６６】
Ｓ３２、Ｓ３３：有効サブ区画の次の１つを取り出し両者の移動速さ、移動方向が一致するか比較する。一致する場合はＳ３４に進み、一致しない場合はＳ３５に進む。
【００６７】
Ｓ３４：両有効サブ区画を結合し併せてサブ区画テンプレートを生成する。このサブ区画テンプレートを有効サブ区画テンプレートとする。
【００６８】
Ｓ３５：有効サブ区画を別の有効サブ区画テンプレートとして設定する。
Ｓ３６：全ての有効サブ区画との確認を終えるまで、Ｓ３２からＳ３５を繰り返す。
【００６９】
Ｓ３７：Ｓ３４、Ｓ３５で定義した全ての有効サブ区画テンプレートのサブ区画テンプレートの上下左右端からｍ画素を加えた領域を併せて移動追跡ブロック候補として設定する。
【００７０】
移動追跡ブロック候補の領域を算出する。Ｓ３７の有効サブ区画テンプレートの上下左右端を（ｘｓｕｂ−ｍｉｎ）、（ｘｓｕｂ−ｍａｘ）、（ｙｓｕｂ−ｍｉｎ）、（ｙｓｕｂ−ｍａｘ）とする。この上下左右端で囲まれた領域の外側に予め決めた画素値ｍを与えた領域を（＞０）とすると、移動追跡ブロック候補の領域は以下となる。
【００７１】
【数１５】
【００７２】
また、移動追跡ブロック候補の中心位置（ｘｔｒｋ−ｃｅｎ、ｙｔｒｋ−ｃｅｎ）は以下となる。
【００７３】
【数１６】
【００７４】
４）移動物体特定部
図８の処理で得た移動追跡ブロック候補の領域から移動物体を特定するための移動物体追跡ブロックを抽出し、移動物体を特定する。移動物体の特定を移動物体の物体の移動ベクトル算出して行う。図９は本発明における移動物体特定手順（その１）を示す図である。
【００７５】
Ｓ４１：移動追跡ブロック候補に存在する移動物体の前フレーム画像からの移動ベクトルを算出する。前フレーム画像の移動追跡ブロック中心位置を（ｘｔｒｋ−ｃｅｎ１、ｙｔｒｋ−ｃｅｎ１）、現フレーム画像の移動追跡ブロック候補の中心位置を（ｘｔｒｋ−ｃｅｎ２、ｙｔｒｋ−ｃｅｎ２）とすると、現フレーム画像の移動物体の移動ベクトル（ｘｔｒｋ−ｃｅｎ２ − ｘｔｒｋ−ｃｅｎ１、ｙｔｒｋ−ｃｅｎ２ − ｙｔｒｋ−ｃｅｎ１）の移動の速さｖｔｒｋ（ｋ）と移動方向ベクトル（ｄｔｒｋ−ｘ、ｄｔｒｋ−ｙ）（ｋ）は以下となる。
【００７６】
【数１７】
【００７７】
【数１８】
【００７８】
なお、ここで現フレーム画像の移動追跡ブロック候補と前フレーム画像の移動追跡ブロックから現フレーム画像での移動ベクトルを算出したが、現フレーム画像の移動追跡ブロック候補は後述する図９の処理の結果、次フレーム画像の移動追跡ブロックとなるので領域の大きさは同じであり、移動ベクトルを算出できる。
【００７９】
Ｓ４２：現フレーム画像の移動追跡ブロック候補の１つを取り出す。
【００８０】
Ｓ４３：前フレーム画像の移動追跡ブロックの１つを取り出す。
【００８１】
Ｓ４４、Ｓ４５：現フレーム画像の移動ベクトルの算出を行い、前フレーム画像での移動ベクトルでの移動ベクトルから追跡条件を算出する。
【００８２】
追跡条件は以下となる。
【００８３】
【数１９】
【００８４】
ここでｖｔｒｋ（ｋ−１）、（ｄｔｒｋ−ｘ、ｄｔｒｋ−ｙ）（ｋ−１）は前フレーム画像の移動ベクトルの移動の速さと移動ベクトルの方向を示している。
【００８５】
移動追跡ブロック候補と移動追跡ブロックの移動ベクトルの速さの差が一定値以下、内積が一定値以上の場合は両移動追跡ブロックの移動物体が同一の追跡対象と見なす。追跡条件を満たす場合はＳ４６に進み、追跡条件を満たさない場合はＳ４７に進む。
Ｓ４６、Ｓ４７：追跡条件としてフレーム連続条件を設定した場合の連続数の設定と確認を行う。フレーム連続数をＦＲとし、ＦＲに１を加える。フレーム連続条件を満たす場合はＳ４８に進み、満たさない場合はＳ４９に進む。
Ｓ４８：移動追跡ブロック候補の領域に移動物体が存在すると認識し、移動追跡ブロック候補を現フレーム画像の移動追跡ブロックに置き換え保持する。Ｓ５０に進む。
Ｓ４９：追跡条件を満たさないことは、現フレーム画像で新規に現れた別の移動物体とみなし、移動追跡ブロック候補を新規の移動追跡ブロックとして保持する。追跡条件ＦＲ＝１を設定し、Ｓ５０に進む。
【００８６】
Ｓ５０：前フレームの全ての移動追跡ブロックの確認を終えるまで、Ｓ４３からＳ４９の処理を繰り返す。この一連の処理により取得した現フレーム画像で認識した移動物体が存在する全ての移動追跡ブロックを得る。各移動追跡ブロックの移動物体はそれぞれ異なる移動物体である。実施例２以下で説明する分離前の移動物体は同一の移動追跡ブロックとみなされる。
【００８７】
２）の移動物体検出部で抽出した移動追跡ブロックの移動物体と、ＲＦタグ情報との対応付けを行う。
【００８８】
図１０は本発明における移動物体特定手順（その２）を示す図である。移動物体が存在する領域から移動物体を特定する手順を示している。
【００８９】
Ｓ５１：移動追跡ブロックの１つを取り出す。
Ｓ５２：移動物体の中心位置を算出し、算出した中心位置から移動物体の方位角βを算出する。
【００９０】
図１１は本発明における被写体、カメラ、画像の俯瞰図である。移動物体とカメラの検出角度の関係を示している。移動物体である被写体は領域Ｑに位置し、ＲＦタグの検出角度は領域Ｐと領域Ｑの境界線を基準としてθＲであり、カメラの視野角は２αであること示している。
【００９１】
中心位置の算出は移動物体の画像から切り出して行う。図１２は本発明における移動物体画像の切り出し範囲を説明する図である。カメラの視野に入る画像及び移動追跡ブロックから移動物体の存在するサブ区画テンプレートに外接する矩形範囲とする。図１２の場合、移動物体の存在範囲する斜線部分に白抜き部分を追加した範囲である。
【００９２】
左上をＢｈｌｅｆｔＴｏｐ（ｘＬｅｆｔｔｏｐ、ｙＬｅｆｔＴｏｐ）、右下をＢｈｒＲｉｇｈｔＢｏｔｔｏｍ（ｘＲｉｇｈｔＢｏｔｔｏｍ、ｙＲｉｇｈｔＢｏｔｔｏｍ）とすると、下記式で囲まれた領域となる。
【００９３】
【数２０】
【００９４】
但し、ｍｉｎ（ＢｈＬｅｆｔＴｏｐ）、ｍａｘ（ＢｈＲｉｇｈｔＢｏｔｔｏｍ）はそれぞれ、最小値、最大値を取り出す関数である。中心位置を（ｘｔｒｋ−ｃｅｎ、ｙｔｒｋ−ｃｅｎ）とすると、中心位置はサブ区画の座標より矩形の中心として算出できる。算出方法は２）の移動ベクトルの移動追跡ブロックの方法と同一であるので省略する。
【００９５】
次ぎに移動物体の方位角の算出を行う。図１３は本発明における移動物体の方位角算出を示す図である。図１３において、カメラはｘ軸の正方向を向いているものとする。カメラの視野角は２αである。画面の画素値を左端が０、右端がＸｓｉｚｅとして中心位置（ｘｔｒｋ−ｃｅｎ）との関係から検出した移動物体の方位角βを以下の式で算出する。
【００９６】
【数２１】
【００９７】
【数２２】
【００９８】
ここでは水平方向においてＲＦタグと移動物体とを対応付けているが、垂直方向でも同様の方法で対応関係を求めることができる。説明は省略する。
Ｓ５３、Ｓ５４：ＲＦタグ検出角θＲを変化させた時、方位角βがθＲに一致するか確認する。一致する場合はＳ５５に進み、一致しない場合はＳ５７に進む。
Ｓ５５：移動物体のＲＦタグ情報から移動物体を特定する。
【００９９】
図１４は本発明における移動物体とＲＦタグの関連付けを示す図である。図１４は図１０を上方から見た図である。
【０１００】
移動物体の特定方法を述べる。カメラ視野の領域Ｐと領域Ｑとの境界を０度、カメラ視野角は２αとする。また、説明を簡単にするためアンテナの角度分解能もαとし、指向角の境界（図の領域Ｐと領域Ｑの境界）はカメラ視野の左端方向に一致しているものとする。移動物体が時刻tにおいて領域Ｐから領域Ｑへ進んだとき、指向性アンテナで検出したＲＦタグの検出角θＲは、θＲ＝−α〜０（領域Ｐ） からθＲ＝０〜α（領域Ｑ）へ切り換わる。同時に移動物体はカメラ視野に出現し、領域抽出及び移動物体特定部で求めた中心位置（ｘｔｒｋ−ｃｅｎ）を用いると、移動物体の方位角βが算出される。このように、時刻ｔにおいて、ＲＦタグの検出角θＲが領域Ｐの方向から領域Ｑの方向へ変化し、同時にカメラ視野に捉えられた移動物体の方位角βがほぼ０度であった場合にそのＲＦタグが検出した移動物体に装着されていると見做す。一旦、ＲＦタグが移動物体に装着されていると判定した後は、その移動物体を画像処理で追跡している間そのＲＦタグに対応付ける。
これにより現フレーム画像の移動物体が特定でき、特定した移動物体のＲＦタグ情報を属性情報付与部へ送る。
５）属性情報付与部
移動物体のＲＦタグ情報を画像に対応付ける。処理手順を先に述べ、関連付け方法は後述する。
Ｓ５６：抽出した移動物体のＲＦタグデータの属性値を画像に対応付け、Ｓ５７に進む。
Ｓ５７：全ての移動追跡ブロックで確認終えるまでＳ５１に戻り、次の移動追跡ブロック
を取り出し、Ｓ５２からＳ５６の処理を繰り返す。
【０１０１】
図７、８、９、１０で示す一連の処理により現フレーム画像に移動物体が存在する領域を検出し、移動物体を特定し、移動物体のＲＦタグ情報を抽出し、また継続して移動物体を追跡できる。
図１５は本発明における画像と属性情報の関連付けを示す図である。通常カメラからは、適当なサンプリング周期（例えば３３ｍｓ）で、１フレーム分の画像データが出力される。フレームの番号と領域抽出処理部１３から出力される移動物体の識別番号とを対応付ける。
フレーム番号、画像データ、移動追跡ブロック番号の項目がある。画像データにはフレーム番号での撮影画像、移動追跡ブロック番号には追跡する移動物体の番号と認識したタグ番号を記載する。
図１５のフレーム番号１、２では移動物体は何も検出できていない状況を示している。フレーム番号３に至り移動追跡ブロック番号１、３で移動物体が検出され、移動追跡ブロック番号１ではＲＦタグ１が認識できたことを示している。移動追跡ブロック番号１では領域抽出及び角度検出部１３から移動物体の移動物体番号１とタグ１を得る。移動追跡番号３では移動物体は検出できたが、タグ番号は認識できていない事を示している。フレーム番号５で移動追跡ブロック番号２ではタグ５が認識でき、フレーム番号８で移動追跡ブロック番号３においてもタグ８が認識できている。
属性情報付与部１５において、属性属性生成部１１からのＲＦタグの属性情報と画像の対応付けを行う。画像フレーム番号にＲＦタグの属性情報をリンクした映像属性付与付き画像を生成し、信号出力Ｉ／Ｆ３０を介して属性付き映像をネットワーク５を介して映像装置に送信する。尚、画像の出力先として、テレビモニタインターネットを利用したストリーミング中継、ＤＶＤ、ビデオ、ＣＤ−ＲＯＭのような記録媒体が考えられる。 これらの処理は図２のＳ９、Ｓ１０で述べた。
【０１０２】
なお、ここでは水平方向においてＲＦタグと移動物体とを対応付けているが、垂直方向でも同様の方法で対応関係を求めることができる。説明は省略する。
（実施例２）
複数の移動物体がカメラ視野に同時に出現した場合の識別方法について説明する。図１６は本発明における複数の移動物体が同時にカメラ視野に出現した場合の分離処理を示す図である。
【０１０３】
カメラ視野に移動物体Ａと移動物体Ｂの複数が同時に出現した場合における両者の分離処理を示している。指向性アンテナで検出したＲＦタグＡ、ＲＦタグＢの検出角の変化タイミングが一致するため、両者を識別することができない。ｔ１時間から経過した時刻ｔ２の時点で、一方の移動物体Ａが領域Ｑと領域Ｒの境界に達しもう一方の移動物体Ｂは領域Ｑにある場合を考える。このとき、移動物体ＡのＲＦタグＡを指向性アンテナで検出した検出角θＲＡは、
θＲＡ＝０〜α（領域Ｑ） からθＲＡ＝α〜２α（領域Ｒ）へ切り換わる。一方、移動物体ＢのＲＦタグＢの検出角θＲＢはθＲＢ＝０〜α（領域Ｑ）である。したがって、移動物体特定部１４で算出した移動物体Ａ、Ｂの方位角βＡ、βＢとの比較することで、移動物体領域とＲＦタグとを関連付けることができる。
【０１０４】
【数２３】
【０１０５】
これにより時刻ｔ１から時刻ｔ２までの間不明であった移動物体Ａと移動物体Ｂの属性情報を時間を遡って付与することができる。
図１７は本発明における移動物体と属性情報の対応付けの更新を示す図である。例えば図１７の１）の時刻ｔ１＜ｔ＜ｔ２ではフレーム番号３から６の間は移動追跡ブロック番号ｉで検出した移動物体は移動物体Ａと移動物体Ｂを合体した移動物体であり、両者の分離はできていない。フレーム番号３から６の間は移動追跡ブロック番号ｉに共通に移動物体ｉとして存在する。このため、時刻ｔ１＜ｔ＜ｔ２間ではＲＦタグ情報は付与できない。
時刻ｔ２になり移動物体Ａと移動物体Ｂの分離ができ、ＲＦタグの属性情報と対応付け付けが行うことができる。このため２）に示すようにフレーム番号３に遡り移動追跡ブロック番号ｉに検出した移動物体ＡのＲＦタグ番号のタグ３を付与し、移動物体Ｂは新規の移動追跡ブロック番号ｍを割り当て移動物体ＢのＲＦタグ番号のタグ１０を付与する。
上記の方法を用いることで、複数の移動物体が同時にカメラ視野に出現し両者を識別できない場合でも時間の経過に伴い移動物体を分離検出した時点で時間を遡り移動物体にＲＦタグをリンクさせ属性情報を自動的に付与することができる。
（実施例３）
撮影開始時点から同一の指向角の領域に複数の移動物体が存在する場合の識別方法について説明する。この場合、指向性アンテナで検出したＲＦタグ１、ＲＦタグ２の方位角は同じ値になるため両者を識別することができない。こうした場合の両者の識別方法について説明する。
図１８は本発明における指向性ビームの回転による移動物体の分離識別を示す図である。
指向性アンテナのビームを回転させ、指向角の境界を複数の移動物体の中間に配置することにより両者を分別することができる。アンテナビームの回転角Δθは、次のようにして求められる。
【０１０６】
【数２４】
【０１０７】
アンテナビームが回転し、図１８（２）の配置になると、指向性アンテナで検出する移動物体の方位角は、カメラ視野の左端を基準として
【０１０８】
【数２５】
【０１０９】
となる。このとき、角度検出部で算出した移動物体Ａ、移動物体Ｂの方位角βＡ、βＢは、
【０１１０】
【数２６】
【０１１１】
を満たすことから、移動物体とＲＦタグとを関連付けることができる。
【０１１２】
これにより角度分解能が低い指向性アンテナを用いた場合でも移動物体にＲＦタグを対応付けた属性情報を自動的に付与することができる。
（実施例４）
複数の指向性アンテナを用いて角度分解能を高くする方法について説明する。図１９は本発明における複数指向性アンテナによる角度分解能の向上を示す図である。模式的に表しており図１９（１）はビームのふくらみがＲＦタグを検出可能な角度の分解能に対応しており、本図では２αとする。図１９（２）は図１９（１）の指向性アンテナを２個用いて角度分解能を高めた場合を模式的に表している。指向性アンテナは指向性ビームが互いに他の指向性アンテナのビームの境界部に位置するように配置する。これにより、ＲＦタグが図の位置にあるとき、指向性アンテナ１ではＲＦタグを領域Ｐで検出し、指向性アンテナ２でＲＦタグを領域Ｐ’で検出する。これにより条件を同時に満足するＲＦタグの検出角は斜線部方向になることから角度分解能が１／２のαに向上する。
（付記１）
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置であって、
前記映像属性自動付与装置は
前記撮影した画像を受信する手段と、
前記アンテナから前記ＲＦタグの情報を受信する手段と、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と、
前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と
前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段と、
を備えたことを特徴とする映像属性自動付与装置。
【０１１３】
（付記２）
付記１記載の映像属性自動付与装置において、
前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えたことを特徴とする付記１記載の映像属性自動付与装置。
【０１１４】
（付記３）
付記２記載の映像属性自動付与装置において、
前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えたことを特徴とする付記２記載の映像属性自動付与装置。
【０１１５】
（付記４）
付記３記載の映像属性自動付与装置において、
前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えたことを特徴とする付記３記載の映像属性自動付与装置。
【０１１６】
（付記５）
コンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムであって、
前記プログラムは
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、
動きが同一で隣接している前記区画を結合した領域を抽出させ、
前記抽出した領域の中心位置を算出させ、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与することを特徴とする映像属性自動付与プログラム。
【０１１７】
（付記６）
付記２記載の映像属性付字自動与装置であって、
前記ＲＦタグ受信無線アンテナ手段の前記ＲＦタグ受信手段の無線アンテナを複数の無線アンテナで構成し、前記複数の無線アンテナの１つの指向性ビームが他の１つの無線アンテナの指向性ビームの境界に一致するよう制御して前記ＲＦタグの情報を受信する手段を備えたことを特徴とする付記２記載の映像属性自動付与装置。
（付記７）
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と前記ＲＦタグの情報を対応つけた映像属性を前記画像に付与する映像属性付与方法であって、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成し、
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成し、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出し、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、
動きが同一で隣接している前記区画を結合した領域を抽出し、
前記抽出した領域の中心位置を算出し、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定し、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与することを特徴とする映像属性自動付与方法。
【図面の簡単な説明】
【０１１８】
【図１】本発明の一実施形態の映像属性送信システムと映像属性自動付与装置ブロック構成を示す図である。
【図２】本発明の映像属性送信システムの処理手順を示す図である。
【図３】本発明におけるＲＦタグデータの属性値への変換例を示す図である。
【図４】本発明におけるＲＦタグ検出角の検出を示す図である。
【図５】本発明におけるカメラ視野角とアンテナ方向との関係を示す図である。
【図６】本発明における画像のサブ区画、サブ区画テンプレート、追跡ブロックの関係を示す図である。
【図７】本発明における移動物体検出手順を示す図である。
【図８】本発明における移動物体存在領域抽出手順を示す図である。
【図９】本発明における移動物体特定手順（その１）を示す図である。
【図１０】本発明における移動物体特定手順（その２）を示す図である。
【図１１】本発明における被写体、カメラ、画像の俯瞰図である。
【図１２】本発明における移動物体画像の切り出し範囲を説明する図である。
【図１３】本発明における移動物体の方位角算出方法を示す図である。
【図１４】本発明における移動物体とＲＦタグの関連付けを示す図である。
【図１５】本発明における画像と属性情報の関連付けを示す図である。
【図１６】本発明における複数の移動物体が同時にカメラ視野に出現した場合の分離処理を示す図である。
【図１７】本発明における画像と属性情報の対応付けの更新を示す図である。
【図１８】本発明における指向性ビームの回転による移動物体の分離識別を示す図である。
【図１９】本発明における複数指向性アンテナによる角度分解能の向上を示す図である。
【符号の説明】
【０１１９】
１ 映像属性自動付与装置
２ 撮影対象
３ カメラ
４ ＲＦタグリーダ・ライタ
５ ネットワーク
６ 記録媒体
７ 映像装置
１０ 属性情報自動付与部
１１ 属性情報生成部
１２ 移動物体検出部
１３ 領域抽出処理部
１４ 移動物体特定部
１５ 属性情報付与部
１６ メモリ
２０ 信号入力Ｉ／Ｆ部
２１ ＲＦタグ
３０ 信号出力Ｉ／Ｆ部
４１ アンテナ
４１−１ 指向性アンテナ
４２ Ａ／Ｄ
４３ Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、スポーツ映像などのライブ中継を行なうと同時に、ハイライト場面などを切出してリプレイ映像を生成するための映像編集装置に係る。特に撮影画像の各場面の属性を自動的に生成し、編集を行う装置に関する。
【背景技術】
【０００２】
近年、インターネット回線などを使用したディジタルコンテンツの配信・放送が容易になってきた。これに対応して大量の映像素材を短時間で加工・編集する装置が求められている。
【０００３】
映像編集の装置としてノンリニア編集装置が知られている。ノンリニア編集装置は、ビデオカメラで取得した映像やテープに録画されている映像をディジタルデータへ変換し、パソコンのハードディスクなどに取り込んで加工・編集する。例えば、マラソン競技のフィニッシュシーンを切り出すには、ハードディスクに格納されている映像を再生し切出し開始位置と終了位置を人手で設定し、設定した区間を別のデータファイルとして保存する、あるいは、ビデオテープへ記録したりすることでリプレイ映像を作成する。
しかしながらノンリニア編集装置では、切出し区間の指定、リプレイ映像の保存などの編集作業は人手で行なう必要があるため多大な手間とコストが掛かる問題がある。
【０００４】
ノンリニア編集装置の問題点への対策として映像の各場面に属性を与え、属性情報を検索することで自動的に切出し区間を特定する方法が提案されている。
【０００５】
例えば非特許文献１では撮影対象に装着した赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）から発せられるＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報を認識し、蓄積されるビデオデータに実時間でインデックス付けする方法がある。しかしながら、ＬＥＤを信号源として用いているため、発光方向に受光器が存在しない、あるいはＬＥＤと受光器との間に遮る障害物がある場合などには、ＩＤ情報を受け取れないという問題がある。
特許文献１ではカメラ画像を記録する際、同時に被写体に装着されたＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）タグなどのＩＤ情報を読み取って画像データと共に保存することで、画像の改ざんを防止する方法がある。同発明は指向性アンテナによってカメラが向いているＲＦタグからのみ信号を受信するものである。即ち、指向性アンテナとカメラ視野とを関連付ける方法に関する具体的な手段は無く、該当する撮影対象が映っているかどうかが保証されないという問題がある。
特許文献２では指向性アンテナを用いて、ＲＦタグの方向を検出し、同方向へＬＥＤなどのビーム光を照射することで、所望の物品を見つけやすくする方法がある。しかし、指向性アンテナを用いているが、アンテナとカメラを関連付けたり、ＲＦタグのＩＤ情報と移動物体とを関連付けたりする手段は無い。
【０００６】
非特許文献２では移動物体が画像内のどの領域に存在しているかの追跡方法として局所相関法を用いた画像処理が開示されている。しかし検出した移動物体がどんな属性をもっているか検出しリアルタイムに撮影画像に自動的に属性を付与することはできない。
本願発明者は特許文献３において、撮影画像から移動物体を検出し、移動物体が存在する領域を所望の大きさに切り出し、検出した移動物体にＲＦタグ情報を対応付ける方法を示しているが、移動物体の特定については記載されていない。
【０００７】
【特許文献１】特開２０００−２６１７５１号公報
【特許文献２】特開２００２−２７１２２９号公報
【特許文献３】特願２００５−９６１５８号公報
【非特許文献１】角、伊藤、松口、Ｓｉｄｎｅｙ Ｆｅｌｓ、内海、鈴木、中原、岩澤、小暮、間瀬、荻田著、「複数センサ群による協調的なインタラクションの記録」、インタラクション２００３論文集、情報処理学会、ページ２５５−２６２。
【非特許文献２】森田、「局所相関演算による動きの検知と追跡」、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、ＮＯ２、ページ２９９−３０９、２００１． 以上のように、いずれの公知技術も指向性アンテナとカメラの関連付けを行い、移動している被写体に装着されたＲＦタグの情報を自動的に結び付けて撮影画像のハイライト場面などを切り出す機能は開示していない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
解決しようとする課題は移動している物体の撮影画像からハイライトシーンなどの特定の画像の切り出し区間の選定と編集には人手・工数と時間がかかる問題である。
【課題を解決するための手段】
【０００９】
第１の発明は、ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置である。
【００１０】
前記映像属性自動付与装置は前記撮影した画像を受信する手段と前記アンテナから前記ＲＦタグの情報を受信する手段と前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段とを備えている。
【００１１】
第２の発明は第１の発明の映像属性自動付与装置に前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えた映像属性自動付与装置である。
【００１２】
第３の発明は第２の発明の映像属性自動付与装置に前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えた映像属性自動付与装置である。
【００１３】
第４の発明は第３の発明の映像属性自動付与装置に前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えた映像属性自動付与装置である。
【００１４】
第５の発明はコンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムである。
【００１５】
前記プログラムは前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、動きが同一で隣接している前記区画を結合した領域を抽出させ、前記抽出した領域の中心位置を算出させ、前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与する。
【発明の効果】
【００１６】
本発明により、取得した画像から移動物体の属性情報を使用し目的のシーンを自動的に抽出することにより編集処理の自動化が可能となる。 また、無線アンテナの角度検出分解能が粗い場合であっても、撮影画像の編集処理結果を基に移動物体が精度良く検出でき、さらにアンテナの指向性ビーム境界を複数の移動物体の中間位置に回転することで複数の移動物体を分離検出できる。また、複数の指向性アンテナを用いて角度分解能を向上させ、かつ、その移動物体が占める画像領域に属性データを自動的に付与することができる。これにより、撮影画像の配信・放送を効率よく編集することができる。
【発明を実施するための最良の形態】
【００１７】
（実施例１）
図１は本発明の一実施形態の映像属性送信システムと映像属性自動付与装置ブロック構成を示す図である。ＲＦタグ２１を装着した移動物体である撮影対象２、ＲＦタグ２１を装着した撮影対象を撮影するカメラ３、撮影対象のＲＦタグ２１の情報を読みとり、メモリに書込み保持するＲＦタグリーダ・ライタ４、ＲＦタグ２１の情報、及びカメラから画像のから被写体の属性情報を識別処理する映像属性自動付与装置１、識別処理したＲＦタグ２１の情報を映像装置７の送信先に送信するためのネットワーク５あるいはＤＶＤ、ＣＤＲなどの記録媒体６で構成する。なお、図１の映像属性自動付与装置１にＲＦタグリーダ・ライタ４を併せて映像属性自動付与装置とすることも考えられる。
【００１８】
ＲＦタグ２１は無線ＩＣタグなどの呼称もある物体の識別に利用されるデバイスであり、無線ＩＣチップアンテナコイルで構成され、自身の識別コードなどの情報を記憶できる。ＲＦタグ２１はＲＦタグ情報を読みとり記憶保持などの機能を有する装置と無線交信ができる。ＲＦタグ２１はＲＦタグリーダ・ライタ４から供給される電磁波から駆動用の電力を得るタイプ、あるいは電池内臓タイプのいずれで構成しても良い。尚、本願のＲＦタグ２１を人に装着する場合、ＲＦタグ２１は動きが比較的安定している頭や胸に装着することが望ましい。
ＲＦタグ２１内のメモリには、ＲＦタグ２１が装着される撮影対象２に応じて、その対象の名称、特徴（色、形状、ＩＤ番号など）、仕様、あるいは、これらが記載されたネットワークアドレスなどを予め格納しておく。書き込み可能なＲＦタグの使用によりカメラ３で撮影している最中にメモリに記憶されたデータ内容を必要に応じて書き換えることも可能である。本願適用の一実施例におけるＲＦタグ２１のデータ例を図３に示す。説明は後述する。
【００１９】
ＲＦタグリーダ・ライタ４は指向性アンテナ４１、Ａ／Ｄ４２、映像属性自動付与装置１とのインタフェースであるＩ／Ｆ４３で構成する。指向性アンテナ４１としてアダプティブアレーアンテナを用い、アダプティブアレーアンテナの指向性を制御しＲＦタグ２１からの電波を受信する。
指向性アンテナ４１で受信した信号ｙ（ｎ）からＲＦタグ２１からの変調信号を復調し、Ａ／Ｄ４２によりアナログ信号をディジタル符号に変換しディジタル信号を得る。ディジタルデータを映像属性自動付与装置１にＩ／Ｆ４３のインタフェース部を介して送出する。また、データ書き込み時は映像属性自動付与装置１からの情報をＲＦタグ２１のメモリに書き込む。図１は簡単のため、ＲＦタグ２１から映像属性自動付与装置１への一方向の信号の流れを示し逆方向は省略している。
カメラ３はＣＣＤなどで検出した光強度から一定のサンプリング間隔 （例えば、３３ｍｓ）で画像を形成し更に、動画像を生成する。 画像の単位である画素はカラー画像の場合、赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の階調値で与えられる。白黒画像の場合、輝度の階調値で与えられる。例えば、整数ｘ、ｙで示される座標（ｘ、ｙ）の画素の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）、輝度（Ｉ）の階調値はそれぞれ、ディジタル値Ｒ（ｘ、ｙ）、Ｇ（ｘ、ｙ）、Ｂ（ｘ、ｙ）、I（ｘ、ｙ）で与えられる。以下の詳細説明は簡単のため映像処理の画素としては輝度（白黒濃淡値）について述べる。カラー画像の画素についても同様に画像処理できる。
カメラ３からの画像情報、ＲＦタグリーダ・ライタ４からのＲＦタグ２１の情報は映像属性自動付与装置１に信号入力Ｉ／Ｆ２０を介して入力する。映像属性自動付与装置１は信号入力Ｉ／Ｆ２０を介して入力したＲＦタグ２１の情報及びカメラからの画像データの処理を行い、処理データを信号出力Ｉ／Ｆ３０、ネットワーク５を介して映像装置７に送信する。あるいはＤＶＤ（Ｄｅｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ）、ＣＤＲ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｄａｂｌｅ）などの記録媒体に信号出力Ｉ／Ｆ３０を介して送出する。
【００２０】
映像属性自動付与装置１の構成、及び画像処理内容の説明の前に指向性アンテナの指向性制御、カメラと指向性アンテナとの位置関係について述べる。指向性アンテナの指向性制御について先ず述べる。ＲＦタグ２１からの電波の到来方向をθとする。アダプティブアレーアンテナの各アンテナエレメントが直線状に等間隔Dで並んでいる場合、基準となるアンテナエレメントと比較したときの第i番目のアンテナエレメントへの伝播遅延時間τi（θ）は、
【００２１】
【数１】
【００２２】
で表わされる。ｃは、伝播速度である。変調信号をｍ（ｎ）、搬送波の角周波数をω、第i番目のアンテナエレメント出力をｘｉ（ｎ）、ｎを時間とすると、
【００２３】
【数２】
【００２４】
となる。
【００２５】
所望の信号波形が既知で参照信号ｄ（ｎ）として利用できる場合、アンテナアレーの出力信号ｙ（ｎ）との平均２乗誤差ｕ（ｎ）を最小にすることにより重み係数を決定できる。ｕ（ｎ）は干渉、雑音などの誤差成分である。
【００２６】
【数３】
【００２７】
各アンテナエレメントの入力信号ｘｉ（ｎ）、重み係数ｗi（θ）をベクトルで表現し、各アンテナエレメントの合成出力をｙ（ｎ）として上式に代入する。
【００２８】
【数４】
【００２９】
尚、添え字Ｔは転置、Ｈは複素共役転置を表わす。このとき誤差成分の２乗の期待値Ｊは次式で表わされる。
【００３０】
【数５】
【００３１】
各アンテナエレメントの入力信号の自己相関行列をＲｘｘ＝Ｅ｛ｘ（ｎ）×ｄ（ｎ）Ｈ｝、参照信号と各アンテナエレメントの入力信号との相互相関行列をｒｘｄ＝Ｅ｛ｘ（ｎ）×ｄ（ｎ）｝と定義すると、最適な重みは期待値Jを重みベクトルｗi（θ）で偏微分することにより、
【００３２】
【数６】
【００３３】
で与えられる。
【００３４】
上述のように、電波の飛来方向θと、重み係数ｗｉ（θ）を対応付けることができる。そこで、指定した範囲θ１＜θ＜θ２でアンテナエレメントの指向性を変化させる時、対応する重み係数がｗ（θ１）からｗ（θ２）の範囲内で徐々に変化することにより、アンテナエレメントの方向を走査することができる。例えば、刻み幅Δθでアンテナエレメントの方向を振る場合、予め重み係数を、
【００３５】
【数７】
【００３６】
のように算出しておき、刻み値ｋ・Δθに応じて、重み係数ｗｉ（θ）を変化させることによりアンテナエレメントの指向性パターンを制御することができる。指向性アンテナを八木アンテナなどの指向性パターンが固定されているアンテナ及び、機械的にアンテナを回転させる機構で構成しても良い。本構成の場合、アンテナの回転角θを、指定範囲θ１＜θ＜θ２で変化することによって、上述のアダプティブアレーアンテナと等価の処理を実現できる。
【００３７】
次に 指向性アンテナ４１とカメラ３との位置関係について述べる。目的とするＲＦタグ２１を装着した撮影対象２を検出する際、上記の方法で得た撮影対象２からの電波の飛来方向θと、後述するカメラ画像内の注視領域とを対応付ける処理を行う。この時、撮影対象２、指向性アンテナ４１、カメラ３が同一直線状にある必要がある。撮影対象２の位置は不特定であるので同一直線状という条件を満たすためには、アンテナの中心位置とカメラレンズの焦点位置が鉛直軸上で一致していることが望ましい。
【００３８】
映像属性自動付与装置１の構成と画像処理について説明する。映像属性自動付与装置１は属性情報自動付与部１０、信号入力Ｉ／Ｆ２０、信号出力Ｉ／Ｆ３０で構成する。信号入力Ｉ／Ｆ２０を介して受信したＲＦタグ情報、画像情報は属性情報自動付与部１０に入力する。属性情報自動付与部１０は属性情報生成部１１、移動物体検出部１２、領域抽出部１３、移動物体特定部１４、属性情報付与部１５、受信画像、映像属性付与付画像、及び画像処理過程のデータを保持するメモリ１６で構成する。
属性情報自動付与装置１は後述する属性情報自動付与部１０の各機能を処理するプログラムにより動作するＣＰＵ内臓のパソコンなどの演算処理装置であってもよい。
【００３９】
具体的処理手順を説明する前に本発明で用いる画像から移動物体を分離検出する方法について述べる。撮影画像から移動物体を分離検出する方法として背景差分法、局所相関法が知られている。
【００４０】
背景差分法は一定周期（サンプリング時間毎）で取り込んだビデオカメラからの画像にローパスフィルタを通すことにより画像処理行う手法である。撮影画像から移動物体の分離検出は、予め移動物体が含まれない画像を背景画像として用意しておき、次に、移動物体が含まれる画像との差分を取る。この差分の大きい部分を移動物体とする方法である。
【００４１】
背景差分法による移動物体の分離検出は、低いカットオフ周波数を持つローパスフィルタを用いて動きのない物体の画像つまり、背景画像を得、カットオフ周波数を高くすることにより蛍光灯のちらつきを除いた動きのある物体含む画像を取得して両者の差分を取ることで行う。本方法はより短い処理時間で処理可能であるが明るさの変動などのノイズに弱い欠点がある。
一方、局所相関法による移動物体の分離検出は、画像の現フレームと前のフレームの画素の相関演算により画素の移動速度、移動距離により行う手法である。手順は、画像を格子状のブロック（例えば、８×８画素）に分割し、あるサンプリング時刻のフレームと次のサンプリング時刻で取得したフレームとの間で、近傍にあるブロック同士の相関値を求め、その大小によりブロックが移動したか否かを判定する。局所相関法による撮影画像から移動物体の分離検出は、相関演算量が多いため画像サイズを大きくできないため相関演算を実施するブロック間の距離が制限され、動きの早い物体に追従できない問題がある。
【００４２】
図２は本発明の映像属性送信システムの処理手順を示す図である。移動している撮影対象の画像、ＲＦタグの情報を収集し、収集した画像から移動物体を検出特定し、特定した移動物体のＲＦタグデータと画像をリンクさせ、映像属性付き画像を配信する手順を示している。映像属性自動付与装置で行うＳ８、Ｓ９のステップの詳細処理内容は後述する。
Ｓ１：ＲＦタグ情報から属性情報を検出し、画像の編集処理の初期設定を行う。
ア．アダプティブアレーアンテナの制御ステップの刻み値を設定し、過去のデータなどから予め用意した参照表を用いて指向性アンテナ制御の重み係数とアンテナの角度の対応付けを行う。
イ.ＲＦタグデータをその属性値に変換するための変換規則を設定する。
ウ.ＲＦタグへデ−タを書き込む。
エ．移動物体の検出に用いる閾値を設定する。設定する閾値として、移動物体領域の候補抽出に用いる背景分離閾値Ｔｔｈ、移動物体領域決定に用いる移動比較閾値Ｑｔｈを設定する。
オ．画像処理ローパスフィルタのカットオフ周波数、フィルタのＲＦタグと移動物体の対応付けに用いる判定量Δｘ、移動物体を特定するためのフレーム連続条件などの画像処理に必要な条件を設定する。
Ｓ２：カメラはＲＦタグを装着した移動物体の撮影を開始し、撮影画像を映像属性自動付与装置に送信する。リアルタイム配信でない場合は記録媒体へ記憶保持する。
Ｓ３：Ｓ１で設定したアダプティブアンテナの刻み値を変化させ、アダプティブアンテナの重み係数を変化させてアンテナの方向を制御する。制御方法は前述した通りである。
Ｓ４：アンテナの方向のＲＦタグの有無を判定し、ＲＦタグが在る場合はＲＦタグリーダ・ライタにＲＦタグのデータを送る。ＲＦタグが無い場合はＳ３に戻りアダプティブアンテナの方向制御を続ける。
Ｓ５：ＲＦタグリーダ・ライタにＲＦタグデータを送る。
Ｓ６：ＲＦタグリーダ・ライタは受信したＲＦタグデータをディジタルデータへ変換し、映像属性自動付与装置の属性情報生成部に送信する。
Ｓ７：Ｓ４でＲＦタグを検出した時のアンテナ角度（以下ＲＦタグ検出角とする）がカメラ視野角内にあると確認した場合は検出したＲＦタグは有効であるとし、Ｓ８の映像属性自動付与装置での画像処理を行う。ＲＦタグが無効であると判断した場合はＳ３に戻りアダプティブアンテナの制御を行う。
Ｓ８：映像属性自動付与装置は映像属性自動付与部を中心に以下の処理を行う。
ア．ＲＦタグデータからＲＦタグ装着の移動物体の属性情報に変換する。
イ．各フレーム画像の中で移動している物体の存在有無を検出する。
ウ．移動物体の存在する領域を確定する。
エ．確定した領域内の移動物体を特定する。
オ．画像に特定した移動物体とＲＦ属性をリンクする。
Ｓ９：画像に移動物体の属性情報（移動物体識別番号、タグ番号、属性値）をリンクさせた映像属性付与画像を配信先の映像装置に送信する。あるいは記録媒体に記憶保持する。
Ｓ１０：映像属性付与付画像は映像属性付き画像をリアルタイム配信する。あるいはオフラインで得た記録媒体に記録された映像属性付与付画像を配信する。
図２で述べた処理手順の詳細内容、及び属性情報自動付与装置１の動作について装置の構成ブロックの機能内容と併せて説明する。
１）属性情報生成部
ＲＦタグリーダ・ライタ４から出力されたＲＦタグデータを予め決められた変換則を適用してディジタルデータを属性値へ変換し属性情報を生成する。図３は本発明におけるＲＦタグデータの属性値への変換例を示す図である。本方法をマラソン競技に適用したＲＦへの書き込みデータの例である。ＲＦタグデータの検出処理を迅速に行うためには、書き込みデータは適用システムにとり必要最小限のデータに限定することが望ましい。本例ではＲＦタグの中には以下のデータを設定する。
ア．ＲＦタグ番号
イ．ランナーのゼッケン番号
ウ．競技日
エ．スタート時刻
オ．ＲＦタグ検出角
これらのデータは数値、文字列データとしてＲＦタグに格納されている。これらの数値、文字列データをＲＦタグリーダ・ライタ４で読み取る。各データはその属性と値に変換する。例えば、ページ１の１はＲＦタグ番号１を示し、ページ２の２００５０１０１は属性が競技日で値が２００５年１月１日となり、ページ３のデータは属性がスタート時刻であり、値は１０時００分００秒となる。
図４は本発明におけるＲＦタグ検出角の検出を示す図である。図の杓子状の曲線は指向性アンテナ４１−１が角度分解野能３０度の指向性ビームを持つことを示している。角度分解能３０度の指向性アンテナを用いＲＦタグが領域Ｑにあることが検出されるとＲＦタグの検出角は−１５度〜１５度で与えられる。属性情報は有効なＲＦタグに対応するディジタルデータからのみ生成する。
ＲＦタグの有効、無効を以下の方法で判定する。図５は本発明におけるカメラ視野角とアンテナ方向との関係を示す図である。現在撮影中のカメラ３の視野角の上下限を各々、θｍａｘ、θｍｉｎ、ＲＦタグに対する読み込み操作を行なったときの指向性アンテナの角度θＲがθｍａｘ、θｍｉｎの間にあれば、即ち
【００４３】
【数８】
【００４４】
を満たす時、そのＲＦタグを有効と判定する。
２）移動物体検出部
移動物体の検出には前述した背景差分法と局所相関法がある。前述したように背景差分法はより短い処理時間で処理可能であるが明るさの変動などのノイズに弱い欠点がある。一方、局所相関法はブロック間同士の相関演算量が多いため、動きの早い物体に追従できない問題がある。本願ではデータ処理規模を大きくすることなく実現するために両方法を組み合わせて用いる。即ち、背景差分法で大まかな移動物体領域を求めた後局所相関法により細かく移動物体領域を決定する手順を用いる。
画像処理のためにサブ区画、サブ区画テンプレート、移動追跡ブロックを定義する。図６は本発明における画像のサブ区画、サブ区画テンプレート、追跡ブロックの関係を示す図である。サブ区画は縦ｎ画素、横ｎ画素の正方形から成る。サブ区画テンプレートはサブ区画の集まりであり物体の存在可能性のある領域であり、図６の斜線を施した部分である。追跡ブロックはサブ区画テンプレートを取り囲むように設定し、サブ区画テンプレートの外側に上下左右ｍ画素の間を設けた領域である。
【００４５】
背景差分法を用い移動物体が存在する可能性のある領域を求め、次に局所相関法を用い移動物体検出のための有効サブ区画を算出する。図７は本発明における移動物体検出手順を示す図である。撮影画像に移動物体が含まれているか確認の有効サブ区画検出の手順を示している。
【００４６】
Ｓ２１：カメラで得た画像を一定周期（サンプリング時間毎）で取り込む。リアルタイム配信の場合はカメラからのリアルタイム画像であるが、オフラインによる記憶媒体からの画像でも良い。取得した現タイミングの画像を２系列に分け、異なるカットオフ周波数のローパスフィルタに通す。
【００４７】
Ｓ２２：ローパスフィルタのカットオフ周波数を低く設定した動きの無い現フレームの背景画像を得る。ここで設定したこのカットオフ周波数は移動物体の移動速度に併せて求めることが可能であり、対象とする移動物体に併せて可変に設定できるようにする。背景画像をサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００４８】
Ｓ２３：ローパスフィルタのカットオフ周波数をＳ２２のローパスフィルタに対し高く設定し、動きのある物体を残したまま、蛍光灯のちらつきの影響を除いた画像を得る。このカットオフ周波数もＳ２２のカットオフ周波数と同様に対象の移動物体に併せて可変に設定できるようにする。この画像を現サンプリング時点での現画像とする。Ｓ２２と同様にサブ区画（ｎ×ｎ画素の正方形）に分割する。
【００４９】
Ｓ２４：現画像（以下現フレーム画像と記載）と背景画像両者の同じ位置のサブ区画（ｎ×ｎ画素の正方形）の１つを取り出す。
【００５０】
Ｓ２５：両画像の同位置にあるサブ区画の画素間の差の総和Ｔを下記計算式で計算する。
【００５１】
【数９】
【００５２】
ここで、ＩＣ（ｘ、ｙ）は現画像における画素位置（ｘ、ｙ）の白黒濃淡値、ＩＢ（ｘ、ｙ）は背景画像における画素位置（ｘ、ｙ）の白黒濃淡値、ＲＳＵＢはサブ区画を表わす。算出値ＴがＴｔｈ以上の時は背景画像とは異なることを示しており、動きがある移動サブ区画と判定しＳ２６に進み、それ以外はＳ２４に戻り次のサブ区画を取り出す。
【００５３】
Ｓ２６：局所相関法を用い、Ｓ２５で動きがあると判定した移動サブ区画が前フレーム画像のどのサブ区画から移動してきたかを探し出す。移動サブ区画として注目している現フレーム画像のサブ区画Ｓｐ（ｘ、ｙ）が前フレーム画像のどのサブ区画Ｓｑ（ｘ’、ｙ’）から移動してきたのかを、相関演算を用いて探索する。サブ区画Ｓｐ（ｘ、ｙ）、Ｓｑ（ｘ’、ｙ’）との相関値Ｃを次式によって算出し、予め定めた閾値から移動したか否か判断を行う。
【００５４】
【数１０】
【００５５】
上式において、Ｉｐ（ｘ、ｙ）、Ｉｑ（x’、y’）は各サブ区画Ｓｐ（ｘ、ｙ）、Ｓｑ（ｘ’、ｙ’）内の画素の白黒濃淡値、Ｒｐ、Ｒｑはサブ区画領域内であることを示す。
【００５６】
前述した非特許文献１のゼロ比較法を用いて判定する。注目しているサブ区画と同位置にある前フレームのサブ区画との相関値Ｃ０と走査範囲内の全サブ区画との相関計算から求めた相関値の最小値Ｃ１との差Ｑを以下の式で算出し、移動判定の閾値Ｑｔｈと比較する。
【００５７】
【数１１】
【００５８】
【数１２】
【００５９】
Ｓ２７：Ｑが閾値Ｑｔｈより大きい場合、注目しているサブ区画Ｓｐ（ｘ、ｙ）はＳｑ（ｘ’、ｙ’）から移動したサブ区画と判定し、有効サブ区画とする。
Ｓ２８：有効サブ区画の前フレーム画像からの移動の速さ、移動方向を算出する。
【００６０】
前フレーム画像の移動元のサブ区画の左上端点を（ｘＬｅｆｔＴｏｐ１、ｙＬｅｆｔＴｏｐ１）、注目している現フレーム画像のサブ区画の左上端点を（ｘＬｅｆｔＴｏｐ２、ｙＬｅｆｔＴｏｐ２）、サブ区画の移動ベクトルを（ｘＬｅｆｔＴｏｐ２−ｘＬｅｆｔＴｏｐ１、ｙＬｅｆｔＴｏｐ２−ｙＬｅｆｔＴｏｐ１）とすると、移動の速さ、移動の方向は次式となる。
【００６１】
【数１３】
【００６２】
【数１４】
【００６３】
Ｓ２９：全てのサブ区画での確認を終えるまでＳ２４からのＳ２８の処理を戻り繰り返す。一連の処理により、全ての有効サブ区画と各有効サブ区画の前フレームからの移動速さ、移動ベクトルの方向を得る。
【００６４】
３）領域抽出部
図８は本発明における移動物体存在領域抽出手順を示す図である。図７の処理で得た得た有効サブ区画の集合より追跡して移動物体の確認を行うための有効サブ区画テンプレートを生成し、有効サブ区画テンプレートから移動追跡ブロック候補を設定する。
【００６５】
Ｓ３１：有効サブ区画の１つを取り出し、有効サブ区画テンプレートとする。
【００６６】
Ｓ３２、Ｓ３３：有効サブ区画の次の１つを取り出し両者の移動速さ、移動方向が一致するか比較する。一致する場合はＳ３４に進み、一致しない場合はＳ３５に進む。
【００６７】
Ｓ３４：両有効サブ区画を結合し併せてサブ区画テンプレートを生成する。このサブ区画テンプレートを有効サブ区画テンプレートとする。
【００６８】
Ｓ３５：有効サブ区画を別の有効サブ区画テンプレートとして設定する。
Ｓ３６：全ての有効サブ区画との確認を終えるまで、Ｓ３２からＳ３５を繰り返す。
【００６９】
Ｓ３７：Ｓ３４、Ｓ３５で定義した全ての有効サブ区画テンプレートのサブ区画テンプレートの上下左右端からｍ画素を加えた領域を併せて移動追跡ブロック候補として設定する。
【００７０】
移動追跡ブロック候補の領域を算出する。Ｓ３７の有効サブ区画テンプレートの上下左右端を（ｘｓｕｂ−ｍｉｎ）、（ｘｓｕｂ−ｍａｘ）、（ｙｓｕｂ−ｍｉｎ）、（ｙｓｕｂ−ｍａｘ）とする。この上下左右端で囲まれた領域の外側に予め決めた画素値ｍを与えた領域を（＞０）とすると、移動追跡ブロック候補の領域は以下となる。
【００７１】
【数１５】
【００７２】
また、移動追跡ブロック候補の中心位置（ｘｔｒｋ−ｃｅｎ、ｙｔｒｋ−ｃｅｎ）は以下となる。
【００７３】
【数１６】
【００７４】
４）移動物体特定部
図８の処理で得た移動追跡ブロック候補の領域から移動物体を特定するための移動物体追跡ブロックを抽出し、移動物体を特定する。移動物体の特定を移動物体の物体の移動ベクトル算出して行う。図９は本発明における移動物体特定手順（その１）を示す図である。
【００７５】
Ｓ４１：移動追跡ブロック候補に存在する移動物体の前フレーム画像からの移動ベクトルを算出する。前フレーム画像の移動追跡ブロック中心位置を（ｘｔｒｋ−ｃｅｎ１、ｙｔｒｋ−ｃｅｎ１）、現フレーム画像の移動追跡ブロック候補の中心位置を（ｘｔｒｋ−ｃｅｎ２、ｙｔｒｋ−ｃｅｎ２）とすると、現フレーム画像の移動物体の移動ベクトル（ｘｔｒｋ−ｃｅｎ２ − ｘｔｒｋ−ｃｅｎ１、ｙｔｒｋ−ｃｅｎ２ − ｙｔｒｋ−ｃｅｎ１）の移動の速さｖｔｒｋ（ｋ）と移動方向ベクトル（ｄｔｒｋ−ｘ、ｄｔｒｋ−ｙ）（ｋ）は以下となる。
【００７６】
【数１７】
【００７７】
【数１８】
【００７８】
なお、ここで現フレーム画像の移動追跡ブロック候補と前フレーム画像の移動追跡ブロックから現フレーム画像での移動ベクトルを算出したが、現フレーム画像の移動追跡ブロック候補は後述する図９の処理の結果、次フレーム画像の移動追跡ブロックとなるので領域の大きさは同じであり、移動ベクトルを算出できる。
【００７９】
Ｓ４２：現フレーム画像の移動追跡ブロック候補の１つを取り出す。
【００８０】
Ｓ４３：前フレーム画像の移動追跡ブロックの１つを取り出す。
【００８１】
Ｓ４４、Ｓ４５：現フレーム画像の移動ベクトルの算出を行い、前フレーム画像での移動ベクトルでの移動ベクトルから追跡条件を算出する。
【００８２】
追跡条件は以下となる。
【００８３】
【数１９】
【００８４】
ここでｖｔｒｋ（ｋ−１）、（ｄｔｒｋ−ｘ、ｄｔｒｋ−ｙ）（ｋ−１）は前フレーム画像の移動ベクトルの移動の速さと移動ベクトルの方向を示している。
【００８５】
移動追跡ブロック候補と移動追跡ブロックの移動ベクトルの速さの差が一定値以下、内積が一定値以上の場合は両移動追跡ブロックの移動物体が同一の追跡対象と見なす。追跡条件を満たす場合はＳ４６に進み、追跡条件を満たさない場合はＳ４７に進む。
Ｓ４６、Ｓ４７：追跡条件としてフレーム連続条件を設定した場合の連続数の設定と確認を行う。フレーム連続数をＦＲとし、ＦＲに１を加える。フレーム連続条件を満たす場合はＳ４８に進み、満たさない場合はＳ４９に進む。
Ｓ４８：移動追跡ブロック候補の領域に移動物体が存在すると認識し、移動追跡ブロック候補を現フレーム画像の移動追跡ブロックに置き換え保持する。Ｓ５０に進む。
Ｓ４９：追跡条件を満たさないことは、現フレーム画像で新規に現れた別の移動物体とみなし、移動追跡ブロック候補を新規の移動追跡ブロックとして保持する。追跡条件ＦＲ＝１を設定し、Ｓ５０に進む。
【００８６】
Ｓ５０：前フレームの全ての移動追跡ブロックの確認を終えるまで、Ｓ４３からＳ４９の処理を繰り返す。この一連の処理により取得した現フレーム画像で認識した移動物体が存在する全ての移動追跡ブロックを得る。各移動追跡ブロックの移動物体はそれぞれ異なる移動物体である。実施例２以下で説明する分離前の移動物体は同一の移動追跡ブロックとみなされる。
【００８７】
２）の移動物体検出部で抽出した移動追跡ブロックの移動物体と、ＲＦタグ情報との対応付けを行う。
【００８８】
図１０は本発明における移動物体特定手順（その２）を示す図である。移動物体が存在する領域から移動物体を特定する手順を示している。
【００８９】
Ｓ５１：移動追跡ブロックの１つを取り出す。
Ｓ５２：移動物体の中心位置を算出し、算出した中心位置から移動物体の方位角βを算出する。
【００９０】
図１１は本発明における被写体、カメラ、画像の俯瞰図である。移動物体とカメラの検出角度の関係を示している。移動物体である被写体は領域Ｑに位置し、ＲＦタグの検出角度は領域Ｐと領域Ｑの境界線を基準としてθＲであり、カメラの視野角は２αであること示している。
【００９１】
中心位置の算出は移動物体の画像から切り出して行う。図１２は本発明における移動物体画像の切り出し範囲を説明する図である。カメラの視野に入る画像及び移動追跡ブロックから移動物体の存在するサブ区画テンプレートに外接する矩形範囲とする。図１２の場合、移動物体の存在範囲する斜線部分に白抜き部分を追加した範囲である。
【００９２】
左上をＢｈｌｅｆｔＴｏｐ（ｘＬｅｆｔｔｏｐ、ｙＬｅｆｔＴｏｐ）、右下をＢｈｒＲｉｇｈｔＢｏｔｔｏｍ（ｘＲｉｇｈｔＢｏｔｔｏｍ、ｙＲｉｇｈｔＢｏｔｔｏｍ）とすると、下記式で囲まれた領域となる。
【００９３】
【数２０】
【００９４】
但し、ｍｉｎ（ＢｈＬｅｆｔＴｏｐ）、ｍａｘ（ＢｈＲｉｇｈｔＢｏｔｔｏｍ）はそれぞれ、最小値、最大値を取り出す関数である。中心位置を（ｘｔｒｋ−ｃｅｎ、ｙｔｒｋ−ｃｅｎ）とすると、中心位置はサブ区画の座標より矩形の中心として算出できる。算出方法は２）の移動ベクトルの移動追跡ブロックの方法と同一であるので省略する。
【００９５】
次ぎに移動物体の方位角の算出を行う。図１３は本発明における移動物体の方位角算出を示す図である。図１３において、カメラはｘ軸の正方向を向いているものとする。カメラの視野角は２αである。画面の画素値を左端が０、右端がＸｓｉｚｅとして中心位置（ｘｔｒｋ−ｃｅｎ）との関係から検出した移動物体の方位角βを以下の式で算出する。
【００９６】
【数２１】
【００９７】
【数２２】
【００９８】
ここでは水平方向においてＲＦタグと移動物体とを対応付けているが、垂直方向でも同様の方法で対応関係を求めることができる。説明は省略する。
Ｓ５３、Ｓ５４：ＲＦタグ検出角θＲを変化させた時、方位角βがθＲに一致するか確認する。一致する場合はＳ５５に進み、一致しない場合はＳ５７に進む。
Ｓ５５：移動物体のＲＦタグ情報から移動物体を特定する。
【００９９】
図１４は本発明における移動物体とＲＦタグの関連付けを示す図である。図１４は図１０を上方から見た図である。
【０１００】
移動物体の特定方法を述べる。カメラ視野の領域Ｐと領域Ｑとの境界を０度、カメラ視野角は２αとする。また、説明を簡単にするためアンテナの角度分解能もαとし、指向角の境界（図の領域Ｐと領域Ｑの境界）はカメラ視野の左端方向に一致しているものとする。移動物体が時刻tにおいて領域Ｐから領域Ｑへ進んだとき、指向性アンテナで検出したＲＦタグの検出角θＲは、θＲ＝−α〜０（領域Ｐ） からθＲ＝０〜α（領域Ｑ）へ切り換わる。同時に移動物体はカメラ視野に出現し、領域抽出及び移動物体特定部で求めた中心位置（ｘｔｒｋ−ｃｅｎ）を用いると、移動物体の方位角βが算出される。このように、時刻ｔにおいて、ＲＦタグの検出角θＲが領域Ｐの方向から領域Ｑの方向へ変化し、同時にカメラ視野に捉えられた移動物体の方位角βがほぼ０度であった場合にそのＲＦタグが検出した移動物体に装着されていると見做す。一旦、ＲＦタグが移動物体に装着されていると判定した後は、その移動物体を画像処理で追跡している間そのＲＦタグに対応付ける。
これにより現フレーム画像の移動物体が特定でき、特定した移動物体のＲＦタグ情報を属性情報付与部へ送る。
５）属性情報付与部
移動物体のＲＦタグ情報を画像に対応付ける。処理手順を先に述べ、関連付け方法は後述する。
Ｓ５６：抽出した移動物体のＲＦタグデータの属性値を画像に対応付け、Ｓ５７に進む。
Ｓ５７：全ての移動追跡ブロックで確認終えるまでＳ５１に戻り、次の移動追跡ブロック
を取り出し、Ｓ５２からＳ５６の処理を繰り返す。
【０１０１】
図７、８、９、１０で示す一連の処理により現フレーム画像に移動物体が存在する領域を検出し、移動物体を特定し、移動物体のＲＦタグ情報を抽出し、また継続して移動物体を追跡できる。
図１５は本発明における画像と属性情報の関連付けを示す図である。通常カメラからは、適当なサンプリング周期（例えば３３ｍｓ）で、１フレーム分の画像データが出力される。フレームの番号と領域抽出処理部１３から出力される移動物体の識別番号とを対応付ける。
フレーム番号、画像データ、移動追跡ブロック番号の項目がある。画像データにはフレーム番号での撮影画像、移動追跡ブロック番号には追跡する移動物体の番号と認識したタグ番号を記載する。
図１５のフレーム番号１、２では移動物体は何も検出できていない状況を示している。フレーム番号３に至り移動追跡ブロック番号１、３で移動物体が検出され、移動追跡ブロック番号１ではＲＦタグ１が認識できたことを示している。移動追跡ブロック番号１では領域抽出及び角度検出部１３から移動物体の移動物体番号１とタグ１を得る。移動追跡番号３では移動物体は検出できたが、タグ番号は認識できていない事を示している。フレーム番号５で移動追跡ブロック番号２ではタグ５が認識でき、フレーム番号８で移動追跡ブロック番号３においてもタグ８が認識できている。
属性情報付与部１５において、属性属性生成部１１からのＲＦタグの属性情報と画像の対応付けを行う。画像フレーム番号にＲＦタグの属性情報をリンクした映像属性付与付き画像を生成し、信号出力Ｉ／Ｆ３０を介して属性付き映像をネットワーク５を介して映像装置に送信する。尚、画像の出力先として、テレビモニタインターネットを利用したストリーミング中継、ＤＶＤ、ビデオ、ＣＤ−ＲＯＭのような記録媒体が考えられる。 これらの処理は図２のＳ９、Ｓ１０で述べた。
【０１０２】
なお、ここでは水平方向においてＲＦタグと移動物体とを対応付けているが、垂直方向でも同様の方法で対応関係を求めることができる。説明は省略する。
（実施例２）
複数の移動物体がカメラ視野に同時に出現した場合の識別方法について説明する。図１６は本発明における複数の移動物体が同時にカメラ視野に出現した場合の分離処理を示す図である。
【０１０３】
カメラ視野に移動物体Ａと移動物体Ｂの複数が同時に出現した場合における両者の分離処理を示している。指向性アンテナで検出したＲＦタグＡ、ＲＦタグＢの検出角の変化タイミングが一致するため、両者を識別することができない。ｔ１時間から経過した時刻ｔ２の時点で、一方の移動物体Ａが領域Ｑと領域Ｒの境界に達しもう一方の移動物体Ｂは領域Ｑにある場合を考える。このとき、移動物体ＡのＲＦタグＡを指向性アンテナで検出した検出角θＲＡは、
θＲＡ＝０〜α（領域Ｑ） からθＲＡ＝α〜２α（領域Ｒ）へ切り換わる。一方、移動物体ＢのＲＦタグＢの検出角θＲＢはθＲＢ＝０〜α（領域Ｑ）である。したがって、移動物体特定部１４で算出した移動物体Ａ、Ｂの方位角βＡ、βＢとの比較することで、移動物体領域とＲＦタグとを関連付けることができる。
【０１０４】
【数２３】
【０１０５】
これにより時刻ｔ１から時刻ｔ２までの間不明であった移動物体Ａと移動物体Ｂの属性情報を時間を遡って付与することができる。
図１７は本発明における移動物体と属性情報の対応付けの更新を示す図である。例えば図１７の１）の時刻ｔ１＜ｔ＜ｔ２ではフレーム番号３から６の間は移動追跡ブロック番号ｉで検出した移動物体は移動物体Ａと移動物体Ｂを合体した移動物体であり、両者の分離はできていない。フレーム番号３から６の間は移動追跡ブロック番号ｉに共通に移動物体ｉとして存在する。このため、時刻ｔ１＜ｔ＜ｔ２間ではＲＦタグ情報は付与できない。
時刻ｔ２になり移動物体Ａと移動物体Ｂの分離ができ、ＲＦタグの属性情報と対応付け付けが行うことができる。このため２）に示すようにフレーム番号３に遡り移動追跡ブロック番号ｉに検出した移動物体ＡのＲＦタグ番号のタグ３を付与し、移動物体Ｂは新規の移動追跡ブロック番号ｍを割り当て移動物体ＢのＲＦタグ番号のタグ１０を付与する。
上記の方法を用いることで、複数の移動物体が同時にカメラ視野に出現し両者を識別できない場合でも時間の経過に伴い移動物体を分離検出した時点で時間を遡り移動物体にＲＦタグをリンクさせ属性情報を自動的に付与することができる。
（実施例３）
撮影開始時点から同一の指向角の領域に複数の移動物体が存在する場合の識別方法について説明する。この場合、指向性アンテナで検出したＲＦタグ１、ＲＦタグ２の方位角は同じ値になるため両者を識別することができない。こうした場合の両者の識別方法について説明する。
図１８は本発明における指向性ビームの回転による移動物体の分離識別を示す図である。
指向性アンテナのビームを回転させ、指向角の境界を複数の移動物体の中間に配置することにより両者を分別することができる。アンテナビームの回転角Δθは、次のようにして求められる。
【０１０６】
【数２４】
【０１０７】
アンテナビームが回転し、図１８（２）の配置になると、指向性アンテナで検出する移動物体の方位角は、カメラ視野の左端を基準として
【０１０８】
【数２５】
【０１０９】
となる。このとき、角度検出部で算出した移動物体Ａ、移動物体Ｂの方位角βＡ、βＢは、
【０１１０】
【数２６】
【０１１１】
を満たすことから、移動物体とＲＦタグとを関連付けることができる。
【０１１２】
これにより角度分解能が低い指向性アンテナを用いた場合でも移動物体にＲＦタグを対応付けた属性情報を自動的に付与することができる。
（実施例４）
複数の指向性アンテナを用いて角度分解能を高くする方法について説明する。図１９は本発明における複数指向性アンテナによる角度分解能の向上を示す図である。模式的に表しており図１９（１）はビームのふくらみがＲＦタグを検出可能な角度の分解能に対応しており、本図では２αとする。図１９（２）は図１９（１）の指向性アンテナを２個用いて角度分解能を高めた場合を模式的に表している。指向性アンテナは指向性ビームが互いに他の指向性アンテナのビームの境界部に位置するように配置する。これにより、ＲＦタグが図の位置にあるとき、指向性アンテナ１ではＲＦタグを領域Ｐで検出し、指向性アンテナ２でＲＦタグを領域Ｐ’で検出する。これにより条件を同時に満足するＲＦタグの検出角は斜線部方向になることから角度分解能が１／２のαに向上する。
（付記１）
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置であって、
前記映像属性自動付与装置は
前記撮影した画像を受信する手段と、
前記アンテナから前記ＲＦタグの情報を受信する手段と、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と、
前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と
前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段と、
を備えたことを特徴とする映像属性自動付与装置。
【０１１３】
（付記２）
付記１記載の映像属性自動付与装置において、
前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えたことを特徴とする付記１記載の映像属性自動付与装置。
【０１１４】
（付記３）
付記２記載の映像属性自動付与装置において、
前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えたことを特徴とする付記２記載の映像属性自動付与装置。
【０１１５】
（付記４）
付記３記載の映像属性自動付与装置において、
前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えたことを特徴とする付記３記載の映像属性自動付与装置。
【０１１６】
（付記５）
コンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムであって、
前記プログラムは
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、
動きが同一で隣接している前記区画を結合した領域を抽出させ、
前記抽出した領域の中心位置を算出させ、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与することを特徴とする映像属性自動付与プログラム。
【０１１７】
（付記６）
付記２記載の映像属性付字自動与装置であって、
前記ＲＦタグ受信無線アンテナ手段の前記ＲＦタグ受信手段の無線アンテナを複数の無線アンテナで構成し、前記複数の無線アンテナの１つの指向性ビームが他の１つの無線アンテナの指向性ビームの境界に一致するよう制御して前記ＲＦタグの情報を受信する手段を備えたことを特徴とする付記２記載の映像属性自動付与装置。
（付記７）
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と前記ＲＦタグの情報を対応つけた映像属性を前記画像に付与する映像属性付与方法であって、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成し、
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成し、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出し、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、
動きが同一で隣接している前記区画を結合した領域を抽出し、
前記抽出した領域の中心位置を算出し、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定し、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与することを特徴とする映像属性自動付与方法。
【図面の簡単な説明】
【０１１８】
【図１】本発明の一実施形態の映像属性送信システムと映像属性自動付与装置ブロック構成を示す図である。
【図２】本発明の映像属性送信システムの処理手順を示す図である。
【図３】本発明におけるＲＦタグデータの属性値への変換例を示す図である。
【図４】本発明におけるＲＦタグ検出角の検出を示す図である。
【図５】本発明におけるカメラ視野角とアンテナ方向との関係を示す図である。
【図６】本発明における画像のサブ区画、サブ区画テンプレート、追跡ブロックの関係を示す図である。
【図７】本発明における移動物体検出手順を示す図である。
【図８】本発明における移動物体存在領域抽出手順を示す図である。
【図９】本発明における移動物体特定手順（その１）を示す図である。
【図１０】本発明における移動物体特定手順（その２）を示す図である。
【図１１】本発明における被写体、カメラ、画像の俯瞰図である。
【図１２】本発明における移動物体画像の切り出し範囲を説明する図である。
【図１３】本発明における移動物体の方位角算出方法を示す図である。
【図１４】本発明における移動物体とＲＦタグの関連付けを示す図である。
【図１５】本発明における画像と属性情報の関連付けを示す図である。
【図１６】本発明における複数の移動物体が同時にカメラ視野に出現した場合の分離処理を示す図である。
【図１７】本発明における画像と属性情報の対応付けの更新を示す図である。
【図１８】本発明における指向性ビームの回転による移動物体の分離識別を示す図である。
【図１９】本発明における複数指向性アンテナによる角度分解能の向上を示す図である。
【符号の説明】
【０１１９】
１ 映像属性自動付与装置
２ 撮影対象
３ カメラ
４ ＲＦタグリーダ・ライタ
５ ネットワーク
６ 記録媒体
７ 映像装置
１０ 属性情報自動付与部
１１ 属性情報生成部
１２ 移動物体検出部
１３ 領域抽出処理部
１４ 移動物体特定部
１５ 属性情報付与部
１６ メモリ
２０ 信号入力Ｉ／Ｆ部
２１ ＲＦタグ
３０ 信号出力Ｉ／Ｆ部
４１ アンテナ
４１−１ 指向性アンテナ
４２ Ａ／Ｄ
４３ Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置であって、
前記映像属性自動付与装置は
前記撮影した画像を受信する手段と、
前記アンテナから前記ＲＦタグの情報を受信する手段と、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と、
前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と
前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段と、
を備えたことを特徴とする映像属性自動付与装置。
【請求項２】
請求項１記載の映像属性自動付与装置において、
前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えたことを特徴とする請求項１記載の映像属性自動付与装置。
【請求項３】
請求項２記載の映像属性自動付与装置において、
前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えたことを特徴とする請求項２記載の映像属性自動付与装置。
【請求項４】
請求項３記載の映像属性自動付与装置において、
前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えたことを特徴とする請求項３記載の映像属性自動付与装置。
【請求項５】
コンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムであって、
前記プログラムは
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、
動きが同一で隣接している前記区画を結合した領域を抽出させ、
前記抽出した領域の中心位置を算出させ、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与することを特徴とする映像属性自動付与プログラム。
【請求項１】
ＲＦタグを装着し移動している物体を連続して撮影した画像から検出した移動物体と無線アンテナで受信した前記ＲＦタグの情報を対応つけた属性を前記画像に自動付与する映像属性自動付与装置であって、
前記映像属性自動付与装置は
前記撮影した画像を受信する手段と、
前記アンテナから前記ＲＦタグの情報を受信する手段と、
前記受信したＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成する属性情報生成手段と、
前記受信した画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出する移動物体検出手段と、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出し、動きが同一で隣接している前記区画を結合した領域を抽出する領域抽出手段と
前記抽出した領域の中心位置を算出し、前記中心位置の前フレーム画像からの移動ベクトルを算出して移動物体を認識し前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定する移動物体特定手段と、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与手段と、
を備えたことを特徴とする映像属性自動付与装置。
【請求項２】
請求項１記載の映像属性自動付与装置において、
前記ＲＦタグの情報を前記属性情報生成手段からの情報に基づき指向性アンテナの指向性ビームを制御して前記ＲＦタグからの情報を受信するＲＦタグ受信無線アンテナを備えたＲＦタグリーダ・ライタをさらに備えたことを特徴とする請求項１記載の映像属性自動付与装置。
【請求項３】
請求項２記載の映像属性自動付与装置において、
前記移動物体特定手段で抽出した移動物体が複数で前記ＲＦタグを確認できない場合、前記領域抽出手段で抽出した領域の中心付近に位置するよう前記指向性ビームを制御して前記ＲＦタグからの情報を受信して前記複数の移動物体を分離して前記移動物体を確認し特定する手段をさらに備えたことを特徴とする請求項２記載の映像属性自動付与装置。
【請求項４】
請求項３記載の映像属性自動付与装置において、
前記複数の移動物体を分離して特定した移動物体を分離する前の時点に遡り前記画像に前記分離して特定した移動物体と前記ＲＦタグの属性を自動付与する手段をさらに備えたことを特徴とする請求項３記載の映像属性自動付与装置。
【請求項５】
コンピュータによってＲＦタグを装着し移動している物体を連続して撮影した画像に存在する移動物体と前記ＲＦタグの情報を対応つけた属性を前記画像に付与するためのプログラムであって、
前記プログラムは
前記ＲＦタグ情報から前記ＲＦタグ装着の移動物体の属性を生成させ、
前記画像を構成する画素を所定数集めた格子状の区画の動きのある区画を検出させ、、
前記動きを検出した現フレーム画像の区画の前フレーム画像の区画からの動きの速さと動きの方向から移動物体が存在する可能性がある区画を抽出させ、
動きが同一で隣接している前記区画を結合した領域を抽出させ、
前記抽出した領域の中心位置を算出させ、
前記中心位置の前フレーム画像からの移動ベクトルを算出させて移動物体を認識させ、前記抽出した領域の移動物体に装着されている前記ＲＦタグを抽出確認し移動物体を特定させ、
前記画像に前記特定した移動物体の前記ＲＦタグの属性を自動付与する属性情報付与することを特徴とする映像属性自動付与プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−２２８１９５（Ｐ２００７−２２８１９５Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４６０２６（Ｐ２００６−４６０２６）
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]