画像追跡装置及び画像追跡方法
【課題】ライブ映像中の特定の物体を画像特徴により追跡する際に、似た特徴を持った別の物体等の誤検出を防止する。
【解決手段】画像追跡装置１２は、第１映像通信端末１１から配信された映像を受信し、該映像を第２映像通信端末１３に送信する映像送信部１２３と、前記第２映像通信端末１３から追跡画像の情報を取得し、該追跡画像の類似画像を前記映像中から探索する類似画像探索部１２４と、類似画像が存在する場合にはマーカー設置領域を決定するマーカー設置領域決定部１２５と、前記映像から追跡画像を探索するとともに、類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を第１映像通信端末１１及び第２映像通信端末１３に送信し、類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を第１映像通信端末１１に送信する追跡・合成処理部１２１と、を備える。
【解決手段】画像追跡装置１２は、第１映像通信端末１１から配信された映像を受信し、該映像を第２映像通信端末１３に送信する映像送信部１２３と、前記第２映像通信端末１３から追跡画像の情報を取得し、該追跡画像の類似画像を前記映像中から探索する類似画像探索部１２４と、類似画像が存在する場合にはマーカー設置領域を決定するマーカー設置領域決定部１２５と、前記映像から追跡画像を探索するとともに、類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を第１映像通信端末１１及び第２映像通信端末１３に送信し、類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を第１映像通信端末１１に送信する追跡・合成処理部１２１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中で特定の追跡画像を自動的に追跡する画像追跡装置及び画像追跡方法に関するものである。
【背景技術】
【０００２】
映像通信システムは、既に一般に普及しており、高価なビジネス向けテレビ会議システムだけでなく、一般向けの携帯電話を映像通信端末としたテレビ会議システムにも実装されるに至っている。
【０００３】
映像通信システムの一般的な課題として、映像に映っている物体に対して、通常の対面での会話のように「あれ」「それ」といった指示語やジェスチャで指し示して話をすることが困難であることが挙げられる。この問題を解決するために、映像通信端末間で同一の映像を共有し、その共有された映像の中に映像通信端末のユーザーが通信する映像中に図形を書き込み、映像と図形を重畳して表示可能なシステムも実用化されている（例えば、非特許文献１参照）。これらのシステムの多くはテレビ会議映像とは別に、ホワイトボードや電子ファイル、Ｗｅｂページ等の画面を各映像通信端末間で共有して書きこむものであるが、テレビ会議映像への図形の重畳が可能な画像追跡システムも知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“リアルコラボ”、［online］、ＮＴＴソフトウェア株式会社、［２０１１年５月２６日検索］、インターネット〈URL:http://www.ntts.co.jp/products/realcollabo／index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図７は、従来の画像追跡システムにおける映像通信端末のユーザーインターフェースを示す図である。図７を参照して、従来技術の課題を述べる。図７に示すユーザーインターフェース３の映像表示部３１には、映像コミュニケーションを行っている相手が撮影したライブ映像が表示されている。ユーザーインターフェース３を使用しているユーザーは、ライブ映像の中で追跡したい画像（以下、追跡画像という）Ａを特定する。例えばマウスのドラッグ操作により、追跡画像Ａの領域（以下、追跡領域という）を指定する。併せて、ユーザーは追跡領域であることを示すための目印画像を目印画像一覧３２から選択し、映像表示部３１は、追跡画像Ａに目印画像を重畳して表示させる。画像追跡装置側では、ユーザーが指定した追跡画像Ａの特徴を計算し、その画像特徴によく一致する画像をライブ映像中から探索するという処理を、ユーザーが追跡領域を指定した後に継続して行う。そして、映像表示部３１は、探索された追跡画像Ａに、指定された目印画像を重畳して表示する。
【０００６】
このとき、図７に示す通り、同一フレーム内に、ユーザーが指定した追跡画像Ａと類似する類似画像Ｂ及びＣが存在する場合、上記の探索処理に問題が生じる。具体的には、ユーザーが指定した追跡画像Ａ、類似画像Ｂ及びＣのいずれが追跡画像Ａであるか、判断が付かなくなるおそれがある。
【０００７】
そこで、本発明は、上述の問題を鑑みて為されたものであり、ライブ映像中の特定の物体を画像特徴により追跡する際に、似た特徴をもった別の物体等の誤検出を防止する画像追跡装置及び画像追跡方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明では、追跡領域と類似領域との混同を防止するための物理的なマーカーを設置する。具体的には、マーカーを設置すべき領域を映像中に重畳表示することで、ユーザーにマーカーの設置を促す。
【０００９】
また、本発明では、設置されたマーカーが含まれるように、追跡領域を修正して拡大する。追跡領域を指定するユーザーが手動で追跡領域の拡大を行うことも可能であるが、マーカーが設置されたマーカー領域を探索し、ユーザーインターフェースにより指定された元々の追跡領域に、マーカー領域を自動的に含めるようにすることで操作の利便性を向上させる。
【００１０】
すなわち、本発明による画像追跡装置は、映像中で特定の追跡画像を自動的に追跡する画像追跡装置であって、第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信する映像送信部と、前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索する類似画像探索部と、前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定するマーカー設置領域決定部と、前記映像から前記追跡画像を探索するとともに、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信し、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信する追跡・合成処理部と、を備えることを特徴とする。
【００１１】
また、本発明による画像追跡方法は、映像中で特定の追跡画像を自動的に追跡する画像追跡方法であって、第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信するステップと、前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索するステップと、前記映像から前記追跡画像を探索するステップと、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信するステップと、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信するステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、映像中の特定の物体を画像特徴により追跡する際に、自動的に誤検出を防ぐのではなく、ユーザーによる誤検出防止用の物理的なマーカーの設置を効率的に支援することで、簡易な仕組みで誤検出を防ぐことができるようになる。
【図面の簡単な説明】
【００１３】
【図１】本発明による第１の実施形態の画像追跡システムの構成を示すブロック図である。
【図２】本発明による第１の実施形態の画像追跡システムにおけるマーカー設置領域の一例を示す図である。
【図３】本発明による第１の実施形態の画像追跡システムの動作を示すフローチャートである。
【図４】本発明による第２の実施形態の画像追跡システムの構成を示すブロック図である。
【図５】本発明による第２の実施形態の画像追跡システムにおける拡大追跡領域の一例を示す図である。
【図６】本発明による第２の実施形態の画像追跡システムの動作を示すフローチャートである。
【図７】映像通信端末のユーザーインターフェースを示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明による画像追跡装置及び画像追跡方法の実施の形態について、図面を参照して詳細に説明する。
【００１５】
［第１の実施形態］
図１は、第１の実施形態の画像追跡システムの構成を示すブロック図である。図１に示すように、画像追跡システム１は、第１映像通信端末１１と、画像追跡装置１２と、第２映像通信端末１３とを備える。第１映像通信端末１１と、画像追跡装置１２と、第２映像通信端末１３とは、それぞれネットワークを介して接続される。
【００１６】
第１映像通信端末１１は、映像通信端末間で共有する映像を配信する通信端末である。第１映像通信端末１１は、映像配信部１１１と、映像表示部１１２とを備える。映像配信部１１１は、撮影装置１０で撮影されたライブ映像を取得し、取得したライブ映像を画像追跡装置１２に送信する。映像表示部１１２は、画像追跡装置１２から送信されるライブ映像をディスプレイに表示し、第１映像通信端末１１のユーザー（以下、ユーザーＵ１と称する）に提示する。
【００１７】
画像追跡装置１２は、撮影装置１０で撮影された映像中の特定の物体が、映像中でどこに映っているかを画像処理により自動的に追跡する装置である。画像追跡装置１２は、追跡・合成処理部１２１と、追跡画像記憶部１２２と、映像送信部１２３と、類似画像探索部１２４と、マーカー設置領域決定部１２５とを備える。
【００１８】
追跡画像記憶部１２２は、第２映像通信端末１３のユーザー（以下、ユーザーＵ２と称する）によって指定された追跡画像を、追跡・合成処理部１２１が追跡処理の際に使用するテンプレート画像として記憶する。追跡画像記憶部１２２は、テンプレート画像に加えて、追跡画像に重畳して表示させる目印画像の識別子ｉを組にして記憶する。なお、第２映像通信端末１３と画像追跡装置１２との間で、目印画像の識別子ｉと目印画像のデータの組は事前に共有されているものとする。
【００１９】
追跡・合成処理部１２１は、ユーザーＵ２による追跡領域の指定がなされていない初期状態においては、映像配信部１１１から受信したライブ映像をそのまま映像送信部１２３に出力する。また、追跡・合成処理部１２１は、ユーザーＵ２による追跡領域Ｔの指定がなされた場合には、追跡画像記憶部１２２から追跡画像を取得し、映像配信部１１１から受信したライブ映像中から、追跡画像を画像処理により探索する。例えば、追跡画像記憶部１２２から取得した追跡画像と、各フレーム内における追跡領域と同じサイズの画像とのマッチング処理を施し、追跡画像との類似度が所定の閾値を超える画像を探索する。そして、追跡・合成処理部１２１は、探索した追跡画像に事前に登録された目印画像を合成した合成映像を生成し、生成した合成映像を映像送信部１２３に出力する。
【００２０】
映像送信部１２３は、追跡・合成処理部１２１から入力されるライブ映像（合成映像を含む）を第１映像通信端末１１及び第２映像通信端末１３に送信する。
【００２１】
類似画像探索部１２４は、追跡領域指定部１３１から追跡領域情報を取得し、追跡・合成処理部１２１と同様の処理により、フレーム内で、追跡画像と類似する類似画像を探索する。具体的には、フレーム内で、追跡領域Ｔと同じサイズの矩形領域Ｓｊ（ｊ＝１，２，３，・・・）について相関係数ｒｅｌ（Ｔ，Ｓｊ）を求め、所定の閾値ｔに対してＳｊの集合Ｓｓ＝｛Ｓｊ｜ｒｅｌ（Ｔ，Ｓｊ）＞ｔ｝を類似領域として抽出する。
【００２２】
マーカー設置領域決定部１２５は、追跡領域Ｔと集合Ｓｓ、及び識別子ｉを類似画像探索部１２４から取得し、集合Ｓｓが空集合の場合、すなわち類似領域が存在しない場合には、マーカー設置領域を設定することなく、追跡画像Ａを追跡画像記憶部１２２に登録する。一方、集合Ｓｓが空集合でない場合、すなわち類似領域が存在する場合には、マーカー設置領域決定部１２５はテンプレート画像の登録を行わず、ユーザーＵ１に対してマーカーの設置を促すため、マーカーを設置する領域を示すマーカー設置領域を決定する。
【００２３】
なお、マーカー設置領域決定部１２５は、集合Ｓｓの元の個数（類似画像の個数）が所定の閾値以下の場合に追跡画像を追跡画像記憶部１２２に登録し、集合Ｓｓの元の個数が所定の閾値を超える場合にマーカー設置領域を決定するようにしてもよい。あるいは、マーカー設置領域決定部１２５は、追跡画像と類似画像との距離が所定の閾値を超える場合に、追跡画像を追跡画像記憶部１２２に登録し、追跡画像と類似画像との距離が所定の閾値以下の場合にマーカー設置領域を決定するようにしてもよい。
【００２４】
マーカー設置領域決定部１２５は、追跡画像を含み、追跡画像から所定の距離内の画像領域をマーカー設置領域をとして決定する。図２は、マーカー設置領域の一例を示す図である。追跡領域Ｔの左上の座標を（ｘ１，ｙ１）、追跡領域Ｔの右下の座標を（ｘ２，ｙ２）とし、追跡領域Ｔの中心の座標Ｏを（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）とすると、図２に示す例では、点Ｏを中心とする半径Ｒの円をマーカー設置領域Ｋとする。
【００２５】
そして、マーカー設置領域決定部１２５は、マーカー設置領域がユーザーに対して提示されるよう、追跡・合成処理部１２１に対して、一定期間追跡画像にマーカー設置領域を重畳して表示するように指示する。マーカー設置領域を表示することで、ユーザーＵ１及びユーザーＵ２はそれを視認できるようになる。これにより、ユーザーＵ１が、撮影装置１０で撮影している実空間中の、マーカー設置領域に対応する部分に、物理的なマーカーを設置することが可能となる。物理的なマーカーは、追跡領域の画像を類似領域の画像と区別できるものであればよく、例えば、特定の色のシールなどをマーカーとすることができる。
【００２６】
第２映像通信端末１３は、第１映像通信端末１１から配信されるライブ映像を共有する端末のうち、追跡領域を指定する通信端末である。第２映像通信端末１３は、追跡領域指定部１３１と、追跡領域送信部１３２と、映像表示部１３３とを備える。
【００２７】
追跡領域指定部１３１は、ユーザーＵ２からユーザーインターフェース３を介して追跡領域情報が入力されると、追跡領域情報を追跡領域送信部１３２に出力する。ユーザーＵ２は、例えば図７に示したユーザーインターフェース３を用いて、マウスのドラッグ操作により映像中の追跡画像を矩形領域で指定し、目印画像をクリック操作により選択することにより、追跡領域情報を入力する。追跡領域情報は、追跡領域Ｔ｛（ｘ１，ｙ１），（ｘ２，ｙ２）｝、及び識別子ｉを含む。
【００２８】
追跡領域送信部１３２は、追跡領域指定部１３１から入力される追跡領域情報を類似画像探索部１２４に送信する。
【００２９】
映像表示部１３３は、映像送信部１２３から配信される映像（合成映像を含む）をディスプレイに表示し、第２映像通信端末１３のユーザーＵ２に提示する。
【００３０】
マーカーが設置された場合には、ユーザーＵ２は、追跡領域がマーカーを含むように、追跡領域を修正する。追跡領域指定部１３１は、ユーザーＵ２からユーザーインターフェース３を介して修正後の追跡領域情報が入力されると、修正後の追跡領域情報を追跡領域送信部１３２に出力し、類似画像探索部１２４は、追跡領域送信部１３２から修正後の追跡領域情報を取得する。類似画像探索部１２４は、修正後の追跡領域内の画像（以下、拡大追跡画像と称する）と類似する画像が同一フレーム内に存在しないことを確認し、拡大追跡画像を追跡画像記憶部１２２に記憶する。拡大追跡画像と類似する画像が同一フレーム内に存在する場合には、第１映像通信端末１１に対して、マーカーを設定し直す旨の通知を行う。
【００３１】
次に、このように構成される画像追跡システムの動作について説明する。図３は、画像追跡システム１の動作を示すフローチャートである。まず、画像追跡装置１２は、映像送信部１２３により、第１映像通信端末１１及び第２映像通信端末１３に対して映像を送信し、第１映像通信端末１１及び第２映像通信端末１３に映像を表示させる（ステップＳ１０１）。
【００３２】
第２映像通信端末１３は、ユーザーＵ２の指示に基づいて、追跡領域指定部１３１により追跡領域を指定する（ステップＳ１０２）。
【００３３】
画像追跡装置１２は、第２映像通信端末１３から追跡領域情報を受信すると、類似画像探索部１２４により類似領域を探索し（ステップＳ１０３）、類似領域が存在するか否かを判定する（ステップＳ１０４）。ステップＳ１０４にて類似領域が存在すると判定した場合には、画像追跡装置１２は、マーカー設置領域決定部１２５により、マーカー設置領域を決定する（ステップＳ１０５）。
【００３４】
映像表示部１１２にマーカー設置領域が重畳された映像が表示されると、第１映像通信端末１１のユーザーＵ１は、マーカー設置領域内に物理的なマーカーを設置する（ステップＳ１０６）。
【００３５】
第２映像通信端末１３のユーザーＵ２は、ユーザーインターフェース３により、拡大追跡領域Ｔｅを指定する（ステップＳ１０７）。
【００３６】
画像追跡装置１２は、追跡・合成処理部１２１により、拡大追跡領域Ｔｅ内の画像を追跡画像として追跡する（ステップＳ１０８）。また、ステップＳ１０４にて類似領域が存在しないと判定した場合には、マーカーの設置は不要であるため、画像追跡装置１２は、追跡・合成処理部１２１により、追跡画像を追跡する（ステップＳ１０８）。
【００３７】
このように、第１の実施形態の画像追跡装置１２によれば、追跡画像を追跡する際に、自動的に誤検出を防ぐのではなく、ユーザーＵ１による誤検出防止用の物理的なマーカーの設置を効率的に支援することで、簡易な仕組みで誤検出を防ぐことができるようになる。
【００３８】
（第２の実施形態）
次に、本発明による第２の実施形態の画像追跡装置について説明する。図４は、第２の実施形態の画像追跡システムの構成を示すブロック図である。図４に示すように、第２の実施形態の画像追跡システム２は、第１の実施形態の画像追跡システム１（図１参照）と比較して、画像追跡装置１２がさらにマーカー検出部１２６及び追跡領域修正部１２７を備える点で相違する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００３９】
マーカー検出部１２６は、マーカーの情報（例えば、マーカーの色及び／又は形状に関する情報）に基づき、マーカー画像を含むマーカー領域を検出し、検出したマーカー領域を示すマーカー領域情報を追跡領域修正部１２７に出力する。マーカーの情報はマーカーを設置したユーザーＵ１が画像追跡装置１２対して通知してもよいし、予め定めておいてもよい。例えば、映像の画素値ベクトルをＩｃａｍ（ｘ，ｙ）とすると、マーカー領域Ｍを、Ｍ＝｛（ｘ，ｙ）｜Ｉｃａｍ（ｘ，ｙ）⊂Ｒ｝と定めておく。ここで、Ｒは、画素値ベクトル空間内の特定の領域を表す。
【００４０】
照明条件の変動によりマーカーを正しく検出できないことも想定されるが、Ｉｃａｍ（ｘ，ｙ）をＨＳＶ表色系で表現し、明るさ以外のパラメータを用いてＲを定義するなどの方法により検出率を高めることができる。また、マーカー領域がモスキートノイズ状の細かい大量の部分領域を含んでいる場合には、映像を低解像度化した（ｘ’，ｙ’）上で上記の抽出処理を行い、その後、（ｘ，ｙ）に変換し直してマーカー領域を定義することで、ある程度まとまった領域を抽出することができる。これらの処理により、マーカー検出部１２６はマーカーの検出率を向上させることができる。
【００４１】
追跡領域修正部１２７は、追跡領域送信部１３２から追跡領域情報を取得した後、マーカー検出部１２６から最近に取得した映像中でのマーカー領域を取得し、マーカー領域に基づいて追跡領域を修正する。図５は、追跡領域の修正例を示す図である。図５に示すように、追跡領域Ｔ及びマーカー領域Ｍを含む矩形領域を修正後の追跡領域Ｔｅとする。なお、修正後の追跡領域Ｔｅは、マーカー領域Ｍの一部のみを包含するようにしてもよい。例えば、所定の閾値Ｄに対して、Ｍｐ＝｛（ｘ，ｙ）｜（ｘ，ｙ）⊂Ｍ，｜（ｘ，ｙ）−（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）｜＜Ｄ｝である部分集合Ｍｐを求め、部分集合Ｍｐ及び（ｘ１，ｙ１），（ｘ２，ｙ２）を全て包含する最小の矩形領域を、修正後の追跡領域Ｔｅとしてもよい。マーカーが設置された後、マーカーを含んだ画像が追跡対象画像となり、類似画像との混同が避けられ、ユーザーＵ２が意図した追跡画像に意図した目印画像が表示されることとなる。
【００４２】
次に、このように構成される画像追跡システム２の動作について説明する。図６は、画像追跡システム２の動作を示すフローチャートである。ステップＳ２０１からステップＳ２０６の動作は、図３に示した画像追跡システム１のステップＳ１０１からステップＳ１０６の動作と同様であるため、説明を省略する。
【００４３】
ステップＳ２０６にてユーザーＵ１により物理的なマーカーが設置されると、画像追跡装置１２は、マーカー検出部１２６により、映像からマーカーの画像を検出する（ステップＳ２０７）。続いて、画像追跡装置１２は、追跡領域修正部１２７により、追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正する（ステップＳ２０８）。つまり、第１の実施形態では、ユーザーＵ２が手動で追跡画像を修正したが、第２の実施形態では、画像追跡装置１２が自動で追跡画像を修正する。
【００４４】
このように、第２の実施形態の画像追跡装置１２によれば、マーカー検出部１２６及び追跡領域修正部１２７を更に備えることにより、追跡領域を自動で修正することができ、より操作が簡単となる。
【００４５】
上述の各実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【００４６】
１，２ 画像追跡システム
１０ 撮影装置
１１ 第１映像通信端末
１２ 画像追跡装置
１３ 第２映像通信端末
１１１ 映像配信部
１１２，１３３ 映像表示部
１２１ 追跡・合成処理部
１２２ 追跡画像記憶部
１２３ 映像送信部
１２４ 類似画像探索部
１２５ マーカー設置領域決定部
１２６ マーカー検出部
１２７ 追跡領域修正部
１３１ 追跡領域指定部
１３２ 追跡領域送信部
【技術分野】
【０００１】
本発明は、映像中で特定の追跡画像を自動的に追跡する画像追跡装置及び画像追跡方法に関するものである。
【背景技術】
【０００２】
映像通信システムは、既に一般に普及しており、高価なビジネス向けテレビ会議システムだけでなく、一般向けの携帯電話を映像通信端末としたテレビ会議システムにも実装されるに至っている。
【０００３】
映像通信システムの一般的な課題として、映像に映っている物体に対して、通常の対面での会話のように「あれ」「それ」といった指示語やジェスチャで指し示して話をすることが困難であることが挙げられる。この問題を解決するために、映像通信端末間で同一の映像を共有し、その共有された映像の中に映像通信端末のユーザーが通信する映像中に図形を書き込み、映像と図形を重畳して表示可能なシステムも実用化されている（例えば、非特許文献１参照）。これらのシステムの多くはテレビ会議映像とは別に、ホワイトボードや電子ファイル、Ｗｅｂページ等の画面を各映像通信端末間で共有して書きこむものであるが、テレビ会議映像への図形の重畳が可能な画像追跡システムも知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“リアルコラボ”、［online］、ＮＴＴソフトウェア株式会社、［２０１１年５月２６日検索］、インターネット〈URL:http://www.ntts.co.jp/products/realcollabo／index.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図７は、従来の画像追跡システムにおける映像通信端末のユーザーインターフェースを示す図である。図７を参照して、従来技術の課題を述べる。図７に示すユーザーインターフェース３の映像表示部３１には、映像コミュニケーションを行っている相手が撮影したライブ映像が表示されている。ユーザーインターフェース３を使用しているユーザーは、ライブ映像の中で追跡したい画像（以下、追跡画像という）Ａを特定する。例えばマウスのドラッグ操作により、追跡画像Ａの領域（以下、追跡領域という）を指定する。併せて、ユーザーは追跡領域であることを示すための目印画像を目印画像一覧３２から選択し、映像表示部３１は、追跡画像Ａに目印画像を重畳して表示させる。画像追跡装置側では、ユーザーが指定した追跡画像Ａの特徴を計算し、その画像特徴によく一致する画像をライブ映像中から探索するという処理を、ユーザーが追跡領域を指定した後に継続して行う。そして、映像表示部３１は、探索された追跡画像Ａに、指定された目印画像を重畳して表示する。
【０００６】
このとき、図７に示す通り、同一フレーム内に、ユーザーが指定した追跡画像Ａと類似する類似画像Ｂ及びＣが存在する場合、上記の探索処理に問題が生じる。具体的には、ユーザーが指定した追跡画像Ａ、類似画像Ｂ及びＣのいずれが追跡画像Ａであるか、判断が付かなくなるおそれがある。
【０００７】
そこで、本発明は、上述の問題を鑑みて為されたものであり、ライブ映像中の特定の物体を画像特徴により追跡する際に、似た特徴をもった別の物体等の誤検出を防止する画像追跡装置及び画像追跡方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明では、追跡領域と類似領域との混同を防止するための物理的なマーカーを設置する。具体的には、マーカーを設置すべき領域を映像中に重畳表示することで、ユーザーにマーカーの設置を促す。
【０００９】
また、本発明では、設置されたマーカーが含まれるように、追跡領域を修正して拡大する。追跡領域を指定するユーザーが手動で追跡領域の拡大を行うことも可能であるが、マーカーが設置されたマーカー領域を探索し、ユーザーインターフェースにより指定された元々の追跡領域に、マーカー領域を自動的に含めるようにすることで操作の利便性を向上させる。
【００１０】
すなわち、本発明による画像追跡装置は、映像中で特定の追跡画像を自動的に追跡する画像追跡装置であって、第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信する映像送信部と、前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索する類似画像探索部と、前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定するマーカー設置領域決定部と、前記映像から前記追跡画像を探索するとともに、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信し、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信する追跡・合成処理部と、を備えることを特徴とする。
【００１１】
また、本発明による画像追跡方法は、映像中で特定の追跡画像を自動的に追跡する画像追跡方法であって、第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信するステップと、前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索するステップと、前記映像から前記追跡画像を探索するステップと、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信するステップと、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信するステップと、を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、映像中の特定の物体を画像特徴により追跡する際に、自動的に誤検出を防ぐのではなく、ユーザーによる誤検出防止用の物理的なマーカーの設置を効率的に支援することで、簡易な仕組みで誤検出を防ぐことができるようになる。
【図面の簡単な説明】
【００１３】
【図１】本発明による第１の実施形態の画像追跡システムの構成を示すブロック図である。
【図２】本発明による第１の実施形態の画像追跡システムにおけるマーカー設置領域の一例を示す図である。
【図３】本発明による第１の実施形態の画像追跡システムの動作を示すフローチャートである。
【図４】本発明による第２の実施形態の画像追跡システムの構成を示すブロック図である。
【図５】本発明による第２の実施形態の画像追跡システムにおける拡大追跡領域の一例を示す図である。
【図６】本発明による第２の実施形態の画像追跡システムの動作を示すフローチャートである。
【図７】映像通信端末のユーザーインターフェースを示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明による画像追跡装置及び画像追跡方法の実施の形態について、図面を参照して詳細に説明する。
【００１５】
［第１の実施形態］
図１は、第１の実施形態の画像追跡システムの構成を示すブロック図である。図１に示すように、画像追跡システム１は、第１映像通信端末１１と、画像追跡装置１２と、第２映像通信端末１３とを備える。第１映像通信端末１１と、画像追跡装置１２と、第２映像通信端末１３とは、それぞれネットワークを介して接続される。
【００１６】
第１映像通信端末１１は、映像通信端末間で共有する映像を配信する通信端末である。第１映像通信端末１１は、映像配信部１１１と、映像表示部１１２とを備える。映像配信部１１１は、撮影装置１０で撮影されたライブ映像を取得し、取得したライブ映像を画像追跡装置１２に送信する。映像表示部１１２は、画像追跡装置１２から送信されるライブ映像をディスプレイに表示し、第１映像通信端末１１のユーザー（以下、ユーザーＵ１と称する）に提示する。
【００１７】
画像追跡装置１２は、撮影装置１０で撮影された映像中の特定の物体が、映像中でどこに映っているかを画像処理により自動的に追跡する装置である。画像追跡装置１２は、追跡・合成処理部１２１と、追跡画像記憶部１２２と、映像送信部１２３と、類似画像探索部１２４と、マーカー設置領域決定部１２５とを備える。
【００１８】
追跡画像記憶部１２２は、第２映像通信端末１３のユーザー（以下、ユーザーＵ２と称する）によって指定された追跡画像を、追跡・合成処理部１２１が追跡処理の際に使用するテンプレート画像として記憶する。追跡画像記憶部１２２は、テンプレート画像に加えて、追跡画像に重畳して表示させる目印画像の識別子ｉを組にして記憶する。なお、第２映像通信端末１３と画像追跡装置１２との間で、目印画像の識別子ｉと目印画像のデータの組は事前に共有されているものとする。
【００１９】
追跡・合成処理部１２１は、ユーザーＵ２による追跡領域の指定がなされていない初期状態においては、映像配信部１１１から受信したライブ映像をそのまま映像送信部１２３に出力する。また、追跡・合成処理部１２１は、ユーザーＵ２による追跡領域Ｔの指定がなされた場合には、追跡画像記憶部１２２から追跡画像を取得し、映像配信部１１１から受信したライブ映像中から、追跡画像を画像処理により探索する。例えば、追跡画像記憶部１２２から取得した追跡画像と、各フレーム内における追跡領域と同じサイズの画像とのマッチング処理を施し、追跡画像との類似度が所定の閾値を超える画像を探索する。そして、追跡・合成処理部１２１は、探索した追跡画像に事前に登録された目印画像を合成した合成映像を生成し、生成した合成映像を映像送信部１２３に出力する。
【００２０】
映像送信部１２３は、追跡・合成処理部１２１から入力されるライブ映像（合成映像を含む）を第１映像通信端末１１及び第２映像通信端末１３に送信する。
【００２１】
類似画像探索部１２４は、追跡領域指定部１３１から追跡領域情報を取得し、追跡・合成処理部１２１と同様の処理により、フレーム内で、追跡画像と類似する類似画像を探索する。具体的には、フレーム内で、追跡領域Ｔと同じサイズの矩形領域Ｓｊ（ｊ＝１，２，３，・・・）について相関係数ｒｅｌ（Ｔ，Ｓｊ）を求め、所定の閾値ｔに対してＳｊの集合Ｓｓ＝｛Ｓｊ｜ｒｅｌ（Ｔ，Ｓｊ）＞ｔ｝を類似領域として抽出する。
【００２２】
マーカー設置領域決定部１２５は、追跡領域Ｔと集合Ｓｓ、及び識別子ｉを類似画像探索部１２４から取得し、集合Ｓｓが空集合の場合、すなわち類似領域が存在しない場合には、マーカー設置領域を設定することなく、追跡画像Ａを追跡画像記憶部１２２に登録する。一方、集合Ｓｓが空集合でない場合、すなわち類似領域が存在する場合には、マーカー設置領域決定部１２５はテンプレート画像の登録を行わず、ユーザーＵ１に対してマーカーの設置を促すため、マーカーを設置する領域を示すマーカー設置領域を決定する。
【００２３】
なお、マーカー設置領域決定部１２５は、集合Ｓｓの元の個数（類似画像の個数）が所定の閾値以下の場合に追跡画像を追跡画像記憶部１２２に登録し、集合Ｓｓの元の個数が所定の閾値を超える場合にマーカー設置領域を決定するようにしてもよい。あるいは、マーカー設置領域決定部１２５は、追跡画像と類似画像との距離が所定の閾値を超える場合に、追跡画像を追跡画像記憶部１２２に登録し、追跡画像と類似画像との距離が所定の閾値以下の場合にマーカー設置領域を決定するようにしてもよい。
【００２４】
マーカー設置領域決定部１２５は、追跡画像を含み、追跡画像から所定の距離内の画像領域をマーカー設置領域をとして決定する。図２は、マーカー設置領域の一例を示す図である。追跡領域Ｔの左上の座標を（ｘ１，ｙ１）、追跡領域Ｔの右下の座標を（ｘ２，ｙ２）とし、追跡領域Ｔの中心の座標Ｏを（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）とすると、図２に示す例では、点Ｏを中心とする半径Ｒの円をマーカー設置領域Ｋとする。
【００２５】
そして、マーカー設置領域決定部１２５は、マーカー設置領域がユーザーに対して提示されるよう、追跡・合成処理部１２１に対して、一定期間追跡画像にマーカー設置領域を重畳して表示するように指示する。マーカー設置領域を表示することで、ユーザーＵ１及びユーザーＵ２はそれを視認できるようになる。これにより、ユーザーＵ１が、撮影装置１０で撮影している実空間中の、マーカー設置領域に対応する部分に、物理的なマーカーを設置することが可能となる。物理的なマーカーは、追跡領域の画像を類似領域の画像と区別できるものであればよく、例えば、特定の色のシールなどをマーカーとすることができる。
【００２６】
第２映像通信端末１３は、第１映像通信端末１１から配信されるライブ映像を共有する端末のうち、追跡領域を指定する通信端末である。第２映像通信端末１３は、追跡領域指定部１３１と、追跡領域送信部１３２と、映像表示部１３３とを備える。
【００２７】
追跡領域指定部１３１は、ユーザーＵ２からユーザーインターフェース３を介して追跡領域情報が入力されると、追跡領域情報を追跡領域送信部１３２に出力する。ユーザーＵ２は、例えば図７に示したユーザーインターフェース３を用いて、マウスのドラッグ操作により映像中の追跡画像を矩形領域で指定し、目印画像をクリック操作により選択することにより、追跡領域情報を入力する。追跡領域情報は、追跡領域Ｔ｛（ｘ１，ｙ１），（ｘ２，ｙ２）｝、及び識別子ｉを含む。
【００２８】
追跡領域送信部１３２は、追跡領域指定部１３１から入力される追跡領域情報を類似画像探索部１２４に送信する。
【００２９】
映像表示部１３３は、映像送信部１２３から配信される映像（合成映像を含む）をディスプレイに表示し、第２映像通信端末１３のユーザーＵ２に提示する。
【００３０】
マーカーが設置された場合には、ユーザーＵ２は、追跡領域がマーカーを含むように、追跡領域を修正する。追跡領域指定部１３１は、ユーザーＵ２からユーザーインターフェース３を介して修正後の追跡領域情報が入力されると、修正後の追跡領域情報を追跡領域送信部１３２に出力し、類似画像探索部１２４は、追跡領域送信部１３２から修正後の追跡領域情報を取得する。類似画像探索部１２４は、修正後の追跡領域内の画像（以下、拡大追跡画像と称する）と類似する画像が同一フレーム内に存在しないことを確認し、拡大追跡画像を追跡画像記憶部１２２に記憶する。拡大追跡画像と類似する画像が同一フレーム内に存在する場合には、第１映像通信端末１１に対して、マーカーを設定し直す旨の通知を行う。
【００３１】
次に、このように構成される画像追跡システムの動作について説明する。図３は、画像追跡システム１の動作を示すフローチャートである。まず、画像追跡装置１２は、映像送信部１２３により、第１映像通信端末１１及び第２映像通信端末１３に対して映像を送信し、第１映像通信端末１１及び第２映像通信端末１３に映像を表示させる（ステップＳ１０１）。
【００３２】
第２映像通信端末１３は、ユーザーＵ２の指示に基づいて、追跡領域指定部１３１により追跡領域を指定する（ステップＳ１０２）。
【００３３】
画像追跡装置１２は、第２映像通信端末１３から追跡領域情報を受信すると、類似画像探索部１２４により類似領域を探索し（ステップＳ１０３）、類似領域が存在するか否かを判定する（ステップＳ１０４）。ステップＳ１０４にて類似領域が存在すると判定した場合には、画像追跡装置１２は、マーカー設置領域決定部１２５により、マーカー設置領域を決定する（ステップＳ１０５）。
【００３４】
映像表示部１１２にマーカー設置領域が重畳された映像が表示されると、第１映像通信端末１１のユーザーＵ１は、マーカー設置領域内に物理的なマーカーを設置する（ステップＳ１０６）。
【００３５】
第２映像通信端末１３のユーザーＵ２は、ユーザーインターフェース３により、拡大追跡領域Ｔｅを指定する（ステップＳ１０７）。
【００３６】
画像追跡装置１２は、追跡・合成処理部１２１により、拡大追跡領域Ｔｅ内の画像を追跡画像として追跡する（ステップＳ１０８）。また、ステップＳ１０４にて類似領域が存在しないと判定した場合には、マーカーの設置は不要であるため、画像追跡装置１２は、追跡・合成処理部１２１により、追跡画像を追跡する（ステップＳ１０８）。
【００３７】
このように、第１の実施形態の画像追跡装置１２によれば、追跡画像を追跡する際に、自動的に誤検出を防ぐのではなく、ユーザーＵ１による誤検出防止用の物理的なマーカーの設置を効率的に支援することで、簡易な仕組みで誤検出を防ぐことができるようになる。
【００３８】
（第２の実施形態）
次に、本発明による第２の実施形態の画像追跡装置について説明する。図４は、第２の実施形態の画像追跡システムの構成を示すブロック図である。図４に示すように、第２の実施形態の画像追跡システム２は、第１の実施形態の画像追跡システム１（図１参照）と比較して、画像追跡装置１２がさらにマーカー検出部１２６及び追跡領域修正部１２７を備える点で相違する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００３９】
マーカー検出部１２６は、マーカーの情報（例えば、マーカーの色及び／又は形状に関する情報）に基づき、マーカー画像を含むマーカー領域を検出し、検出したマーカー領域を示すマーカー領域情報を追跡領域修正部１２７に出力する。マーカーの情報はマーカーを設置したユーザーＵ１が画像追跡装置１２対して通知してもよいし、予め定めておいてもよい。例えば、映像の画素値ベクトルをＩｃａｍ（ｘ，ｙ）とすると、マーカー領域Ｍを、Ｍ＝｛（ｘ，ｙ）｜Ｉｃａｍ（ｘ，ｙ）⊂Ｒ｝と定めておく。ここで、Ｒは、画素値ベクトル空間内の特定の領域を表す。
【００４０】
照明条件の変動によりマーカーを正しく検出できないことも想定されるが、Ｉｃａｍ（ｘ，ｙ）をＨＳＶ表色系で表現し、明るさ以外のパラメータを用いてＲを定義するなどの方法により検出率を高めることができる。また、マーカー領域がモスキートノイズ状の細かい大量の部分領域を含んでいる場合には、映像を低解像度化した（ｘ’，ｙ’）上で上記の抽出処理を行い、その後、（ｘ，ｙ）に変換し直してマーカー領域を定義することで、ある程度まとまった領域を抽出することができる。これらの処理により、マーカー検出部１２６はマーカーの検出率を向上させることができる。
【００４１】
追跡領域修正部１２７は、追跡領域送信部１３２から追跡領域情報を取得した後、マーカー検出部１２６から最近に取得した映像中でのマーカー領域を取得し、マーカー領域に基づいて追跡領域を修正する。図５は、追跡領域の修正例を示す図である。図５に示すように、追跡領域Ｔ及びマーカー領域Ｍを含む矩形領域を修正後の追跡領域Ｔｅとする。なお、修正後の追跡領域Ｔｅは、マーカー領域Ｍの一部のみを包含するようにしてもよい。例えば、所定の閾値Ｄに対して、Ｍｐ＝｛（ｘ，ｙ）｜（ｘ，ｙ）⊂Ｍ，｜（ｘ，ｙ）−（（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２）｜＜Ｄ｝である部分集合Ｍｐを求め、部分集合Ｍｐ及び（ｘ１，ｙ１），（ｘ２，ｙ２）を全て包含する最小の矩形領域を、修正後の追跡領域Ｔｅとしてもよい。マーカーが設置された後、マーカーを含んだ画像が追跡対象画像となり、類似画像との混同が避けられ、ユーザーＵ２が意図した追跡画像に意図した目印画像が表示されることとなる。
【００４２】
次に、このように構成される画像追跡システム２の動作について説明する。図６は、画像追跡システム２の動作を示すフローチャートである。ステップＳ２０１からステップＳ２０６の動作は、図３に示した画像追跡システム１のステップＳ１０１からステップＳ１０６の動作と同様であるため、説明を省略する。
【００４３】
ステップＳ２０６にてユーザーＵ１により物理的なマーカーが設置されると、画像追跡装置１２は、マーカー検出部１２６により、映像からマーカーの画像を検出する（ステップＳ２０７）。続いて、画像追跡装置１２は、追跡領域修正部１２７により、追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正する（ステップＳ２０８）。つまり、第１の実施形態では、ユーザーＵ２が手動で追跡画像を修正したが、第２の実施形態では、画像追跡装置１２が自動で追跡画像を修正する。
【００４４】
このように、第２の実施形態の画像追跡装置１２によれば、マーカー検出部１２６及び追跡領域修正部１２７を更に備えることにより、追跡領域を自動で修正することができ、より操作が簡単となる。
【００４５】
上述の各実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【００４６】
１，２ 画像追跡システム
１０ 撮影装置
１１ 第１映像通信端末
１２ 画像追跡装置
１３ 第２映像通信端末
１１１ 映像配信部
１１２，１３３ 映像表示部
１２１ 追跡・合成処理部
１２２ 追跡画像記憶部
１２３ 映像送信部
１２４ 類似画像探索部
１２５ マーカー設置領域決定部
１２６ マーカー検出部
１２７ 追跡領域修正部
１３１ 追跡領域指定部
１３２ 追跡領域送信部
【特許請求の範囲】
【請求項１】
映像中で特定の追跡画像を自動的に追跡する画像追跡装置であって、
第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信する映像送信部と、
前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索する類似画像探索部と、
前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定するマーカー設置領域決定部と、
前記映像から前記追跡画像を探索するとともに、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信し、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信する追跡・合成処理部と、
を備えることを特徴とする画像追跡装置。
【請求項２】
前記映像から設置された前記マーカーの画像を検出するマーカー検出部と、
前記追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正する追跡領域修正部と、を更に備え、
前記追跡・合成処理部は、前記類似画像が存在する場合には、前記追跡領域修正部により修正された追跡画像を前記映像中から探索することを特徴とする、請求項１に記載の画像追跡装置。
【請求項３】
前記類似画像探索部は、前記追跡画像との類似度が所定の閾値を超える画像を前記類似画像とすることを特徴とする、請求項１又は２に記載の画像追跡装置。
【請求項４】
前記マーカー設置領域決定部は、前記類似画像の個数が所定の閾値を超えた場合、又は、前記追跡画像と前記類似画像との距離が所定の閾値以下の場合に、前記マーカー設置領域を決定することを特徴とする、請求項１〜３のいずれか一項に記載の画像追跡装置。
【請求項５】
映像中で特定の追跡画像を自動的に追跡する画像追跡方法であって、
（ａ）第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信するステップと、
（ｂ）前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索するステップと、
（ｃ）前記映像から前記追跡画像を探索するステップと、
（ｄ）前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信するステップと、
（ｅ）前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定し、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信するステップと、
を含むことを特徴とする画像追跡方法。
【請求項６】
（ｆ）前記映像から設置された前記マーカーの画像を検出するステップと、
（ｇ）前記追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正するステップと、
（ｈ）前記ステップ（ｇ）により修正された追跡画像を前記映像中から探索するステップと、
を更に含むことを特徴とする、請求項５に記載の画像追跡方法。
【請求項７】
前記ステップ（ｂ）は、前記追跡画像との類似度が所定の閾値を超える画像を、前記類似画像とすることを特徴とする、請求項５又は６に記載の画像追跡方法。
【請求項８】
前記ステップ（ｅ）は、前記類似画像の個数が所定の閾値を超えた場合、又は、前記追跡画像と前記類似画像との距離が所定の閾値以下の場合に、前記マーカー設置領域を決定することを特徴とする、請求項５〜７のいずれか一項に記載の画像追跡方法。
【請求項１】
映像中で特定の追跡画像を自動的に追跡する画像追跡装置であって、
第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信する映像送信部と、
前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索する類似画像探索部と、
前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定するマーカー設置領域決定部と、
前記映像から前記追跡画像を探索するとともに、前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信し、前記類似画像が存在する場合には、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信する追跡・合成処理部と、
を備えることを特徴とする画像追跡装置。
【請求項２】
前記映像から設置された前記マーカーの画像を検出するマーカー検出部と、
前記追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正する追跡領域修正部と、を更に備え、
前記追跡・合成処理部は、前記類似画像が存在する場合には、前記追跡領域修正部により修正された追跡画像を前記映像中から探索することを特徴とする、請求項１に記載の画像追跡装置。
【請求項３】
前記類似画像探索部は、前記追跡画像との類似度が所定の閾値を超える画像を前記類似画像とすることを特徴とする、請求項１又は２に記載の画像追跡装置。
【請求項４】
前記マーカー設置領域決定部は、前記類似画像の個数が所定の閾値を超えた場合、又は、前記追跡画像と前記類似画像との距離が所定の閾値以下の場合に、前記マーカー設置領域を決定することを特徴とする、請求項１〜３のいずれか一項に記載の画像追跡装置。
【請求項５】
映像中で特定の追跡画像を自動的に追跡する画像追跡方法であって、
（ａ）第１の映像通信端末から配信された映像を受信し、該映像を第２の映像通信端末に送信するステップと、
（ｂ）前記第２の映像通信端末から追跡画像の情報を取得し、該追跡画像に類似する類似画像を前記映像中から探索するステップと、
（ｃ）前記映像から前記追跡画像を探索するステップと、
（ｄ）前記類似画像が存在しない場合には、前記探索した追跡画像に目印画像を合成した第１の合成映像を前記第１の映像通信端末及び前記第２の映像通信端末に送信するステップと、
（ｅ）前記類似画像が存在する場合には、前記追跡画像から所定の範囲内に、物理的なマーカーを設置する領域を示すマーカー設置領域を決定し、前記探索した追跡画像に前記マーカー設置領域を重畳した第２の合成画像を前記第１の映像通信端末に送信するステップと、
を含むことを特徴とする画像追跡方法。
【請求項６】
（ｆ）前記映像から設置された前記マーカーの画像を検出するステップと、
（ｇ）前記追跡画像を前記マーカーの画像の一部又は全部を含む画像に修正するステップと、
（ｈ）前記ステップ（ｇ）により修正された追跡画像を前記映像中から探索するステップと、
を更に含むことを特徴とする、請求項５に記載の画像追跡方法。
【請求項７】
前記ステップ（ｂ）は、前記追跡画像との類似度が所定の閾値を超える画像を、前記類似画像とすることを特徴とする、請求項５又は６に記載の画像追跡方法。
【請求項８】
前記ステップ（ｅ）は、前記類似画像の個数が所定の閾値を超えた場合、又は、前記追跡画像と前記類似画像との距離が所定の閾値以下の場合に、前記マーカー設置領域を決定することを特徴とする、請求項５〜７のいずれか一項に記載の画像追跡方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２５２６０１（Ｐ２０１２−２５２６０１Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５７２０（Ｐ２０１１−１２５７２０）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]