画像処理装置、画像処理方法及びプログラム
【課題】対象物体の追尾を適切に打ち切る。
【解決手段】消失領域設定部６０２は、撮像部６０１により撮像された画像データに対して領域を設定する。物体追尾部６０３は、画像データ内における対象物体を追尾し、対象物体が前記領域内に入った場合、対象物体の追尾を停止する。
【解決手段】消失領域設定部６０２は、撮像部６０１により撮像された画像データに対して領域を設定する。物体追尾部６０３は、画像データ内における対象物体を追尾し、対象物体が前記領域内に入った場合、対象物体の追尾を停止する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮像された画像データ内の対象物体を追尾する技術に関するものである。
【背景技術】
【０００２】
従来の映像処理装置においては、物体の追尾を画面内で行っているときに、画面内で追尾対象物体が消滅する場合又は他の物体によって隠蔽される場合の何れの場合も、物体の追尾を継続しようとする。
【０００３】
特許文献１には、前時点まで追尾目標としていた被写体が画面中から消失した場合、前時点において追尾目標が存在していた場所、又は、初期位置（例えば、画面中央）に被写体が復帰するのを待つ技術が開示されている。特許文献２には、撮像領域内に存在する壁や衝立等の障害物の輪郭を隠蔽領域の境界として設定しておき、追尾対象物体の画像領域が隠蔽領域の境界に接しながら消失した場合に追尾対象物体が隠蔽領域に隠蔽されたと判定する技術が開示されている。これにより、特許文献２に開示される技術は、追尾対象物体が静止しているのか、他の物体によって隠蔽されているのかを識別している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−９２２７号公報
【特許文献２】特開２００４−２５８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体が消滅したのか、他の物体によって一時的に隠蔽されていて再度出現する可能性があるのか分からない。従って、追尾対象物体の追尾を打ち切るか否かを判定することができない。さらに、本来追尾対象ではないノイズに対して追尾が継続されることにより追尾の軌跡が乱れるという問題もある。
【０００６】
そこで、本発明の目的は、対象物体の追尾を適切に打ち切ることにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮像手段により撮像された画像データに対して領域を設定する領域設定手段と、前記画像データ内における対象物体を追尾する追尾手段とを有し、前記追尾手段は、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、対象物体の追尾を適切に打ち切ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る映像処理装置を含むシステム構成例を示す図である。
【図２】端末装置における画面表示例を示す図である。
【図３】映像処理装置に記録される、追尾対象物体に対応する追尾情報の例を示す図である。
【図４】映像処理装置が追尾を数回行った後の端末装置における画面表示例を示す図である。
【図５】映像処理装置に記録される、追尾対象物体に対応する追尾情報の他の例を示す図である。
【図６】本発明の実施形態に係る映像処理装置の構成を示す図である。
【図７】端末装置のユーザインタフェースを示す図である。
【図８】端末装置のユーザインタフェースに遮蔽物体が映っている場合の表示例を示す図である。
【図９】端末装置のユーザインタフェースで消失領域を指定する場合の表示例を示す図である。
【図１０】消失領域設定部における消失領域の設定処理を示すフローチャートである。
【図１１】物体追尾部における追尾処理の動作を示すフローチャートである。
【図１２】図１１のステップＳ１１０９の詳細を示すフローチャートである。
【図１３】消失領域を設定するための情報を示す図である。
【図１４】端末装置のユーザインタフェースにおいて消失領域の属性を指定する場合の表示例を示す図である。
【図１５】映像処理装置に記録される追尾情報の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態において示す構成は、飽くまでも本発明の適応例に過ぎず、本発明を限定するものではない。
【００１１】
図１は、本発明の実施形態に係る映像処理装置を含むシステム構成例を示す図である。図１に示すシステム構成は、映像処理装置１０１と端末装置１０３とが通信ネットワーク１０２を介して接続されている。映像処理装置１０１は、撮影した画像データを端末装置１０３に対して送信する。端末装置１０３は、映像処理装置１０１から受信した画像データをユーザインタフェースで表示するとともに、ユーザインタフェースに対する操作に関する情報を映像処理装置１０１に対して送信する。なお、映像処理装置１０１は、画像処理装置の適用例となる構成であり、端末装置１０３は、外部装置の適用例となる構成である。
【００１２】
映像処理装置１０１は追尾対象物体の追尾を行う。ここで行われる追尾対象物体の追尾は、画面内における追尾である。画面内における追尾では、映像処理装置１０１は、画面内における追尾対象物体の移動によって生じる軌跡を追尾情報として記録するとともに、追尾情報を端末装置１０３に対して送信する。端末装置１０３は、映像処理装置１０１から受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ねて表示する。
【００１３】
図２は、端末装置１０３における画面表示例を示す図である。図２に示すように、端末装置１０３は、画面上の画像表示領域２０１において、映像処理装置１０１から受信した画像データを表示する。画像データの左下には追尾対象物体（被写体）２０２が写っている。図３は、図２の例における追尾対象物体２０２に対応する追尾情報を示す図である。図３に示すように、追尾情報は、追尾対象物体２０２に対して付与された識別子である追尾ＩＤと軌跡座標とを含む。映像処理装置１０１は、このような追尾情報を記録するとともに、追尾情報を端末装置１０３に対して送信する。なお、軌跡座標は、画像表示領域２０１において表示される画像データ内の追尾対象物体２０２の位置を示している。例えば、画像データの左上頂点を原点とし、右方向をｘ軸、下方向をｙ軸として追尾対象物体の位置が表される。
【００１４】
図４は、映像処理装置１０１が追尾を数回行った後の端末装置１０３における画面表示例を示す図である。図４の例では、端末装置１０３の画面上の画像表示領域２０１のほぼ中央に追尾対象物体２０２が写っている。図５は、図４の例における追尾対象物体２０２に対応する追尾情報を示す図である。追尾の回数をｎとすると、図５に示すようにｎ個の軌跡座標を含む追尾情報となる。端末装置１０３は、追尾情報に含まれる各軌跡座標を線で結び、それを追尾対象物体の軌跡２０３として画像表示領域２０１に表示する。ここでは、映像処理装置１０１は、追尾対象物体２０２を検出することによって生成した全軌跡座標を端末装置１０３に対して送信する。他の実施形態として、映像処理装置１０１は、最新の軌跡座標のみを端末装置１０３に対して送信してもよい。即ち、図５の例では最新の軌跡座標（ｘn+1，ｙn+1）のみが映像処理装置１０１から端末装置１０３に対して送信される。そして端末装置１０３は、映像処理装置１０１から追尾情報を受信する度、軌跡座標を追尾ＩＤに対応付けて記憶し、全軌跡座標を保持するようにすればよい。
【００１５】
上述した追尾の例では、追尾対象物体が一つである場合について示したが、追尾対象物体は複数あってもよい。追尾対象物体が複数である場合、各追尾対象物体に対応して複数の追尾ＩＤが生成され、各追尾ＩＤに対応付けて軌跡座標が記録される。
【００１６】
図６は、本発明の実施形態に係る映像処理装置１０１の構成を示す図である。図６に示すように、本実施形態に係る映像処理装置１０１は、画像データを撮像する撮像部６０１、追尾対象物体が消失する領域を画面に対して設定する消失領域設定部６０２、追尾対象物体の追尾を行う物体追尾部６０３及び通信部６０４を備える。
【００１７】
画面上で追尾対象物体がドア等の遮蔽物体の陰になることにより、追尾対象物体が画面上から消失する場合がある。本実施形態では、遮蔽物体を囲むように消失領域を設定することにより、追尾対象物体がその領域で画面上から消失する可能性があることを示す。また、消失領域の属性には「消滅」と「隠蔽」との２つがある。遮蔽物体の陰に追尾対象物体が隠れて再度出現する可能性が低い場合、属性を「消滅」とする。一方、遮蔽物体の陰に追尾対象物体が隠れて再度出現する可能性が高い場合、属性を「隠蔽」とする。例えば遮蔽物体がドアである場合、属性は「消滅」として設定される。一方、遮蔽物体が衝立である場合、属性は「隠蔽」として設定される。
【００１８】
図７は、端末装置１０３のユーザインタフェースを示す図である。図７に示すように、端末装置１０３のユーザインタフェースには、画像表示領域７０１、領域指定ボタン７０２、領域属性ボタン７０３及び領域設定終了ボタン７０４が表示されている。画像表示領域７０１には、映像処理装置１０１から送信された画像データが表示される。領域指定ボタン７０２、領域属性ボタン７０３及び領域設定終了ボタン７０４の操作については、端末装置１０３のユーザがポインティングデバイスによってボタンを押す形で行う。
【００１９】
図８は、端末装置１０３のユーザインタフェースに遮蔽物体が映っている場合の表示例を示す図である。画像表示領域７０１に表示されている画像データには遮蔽物体としてのドア８０１が映っている。このような場合、ドア８０１によって追尾対象物体が遮蔽されて画面上から消失する可能性がある。
【００２０】
図９は、端末装置１０３のユーザインタフェースで消失領域を指定する場合の表示例を示す図である。図９に示すように、ドア８０１を囲むように消失領域９０１が矩形で指定されている。なお、消失領域９０１の設定方法の詳細については後述する。
【００２１】
以下、図１０〜図１２のフローチャートを参照しながら、本実施形態に係る映像処理装置１０１の処理について説明する。
【００２２】
図１０は、消失領域設定部６０２における消失領域の設定処理を示すフローチャートである。ユーザは、端末装置１０３のユーザインタフェースを使用して消失領域を指定する。図９の例では、ユーザは領域指定ボタン７０２をポインティングデバイスで押して消失領域を指定可能な状態にする。次にユーザは、ポインティングデバイスを操作して画像表示領域７０１で消失領域９０１を指定する。ステップＳ１００１において、消失領域設定部６０２は、ユーザによって指定された消失領域９０１を設定する。即ち、図１３に示すように、消失領域設定部６０２は、矩形で指定された消失領域９０１の位置情報として左上座標と右下座標とを端末装置１０３から受信し、記録することにより消失領域９０１を設定する。
【００２３】
図１４は、端末装置１０３のユーザインタフェースにおいて消失領域９０１の属性を指定する場合の表示例を示す図である。ユーザがポインティングデバイスによって領域属性ボタン７０３を押すと、「消滅」及び「隠蔽」の選択肢１４０１が表示される。ユーザがポインティングデバイスによって選択肢１４０１の何れかを選択することにより、消失領域９０１の属性が指定される。なお、「消滅」は第１の属性の例であり、「隠蔽」は第２の属性の例である。
【００２４】
ステップＳ１００２において、消失領域設定部６０２は、端末装置１０３から受信した消失領域９０１の属性の指定情報に基づいて、端末装置１０３のユーザインタフェースを使用して指定された消失領域９０１の属性が「消滅」であるか否かを判定する。消失領域９０１の属性が「消滅」である場合、処理はステップＳ１００３に移行する。一方、消失領域９０１の属性が「消滅」でない場合、処理はステップＳ１００４に移行する。
【００２５】
ステップＳ１００３において、消失領域設定部６０２は、消失領域９０１の属性に「消滅」を付与する。ステップＳ３０４において、消失領域設定部６０２は、端末装置１０３のユーザインタフェースを使用して指定された消失領域９０１の属性が「隠蔽」であるか否かを判定する。消失領域９０１の属性が「隠蔽」である場合、処理はステップＳ１００５に移行する。一方、消失領域９０１の属性が「隠蔽」でない場合、処理はステップＳ１００１に戻る。ステップＳ１００５において、消失領域設定部６０２は、消失領域９０１の属性に「隠蔽」を付与する。図１３の例では、消失領域９０１の属性として「消滅」が付与されている。
【００２６】
ステップＳ１００６において、消失領域設定部６０２は、消失領域の設定処理を終了するか否かを判定する。ここでは、消失領域設定部６０２は、ユーザによる端末装置１０３のユーザインタフェースに対する操作に基づいて、消失領域の設定処理を終了するか否かを判定する。領域設定終了ボタン７０４が押された場合、消失領域設定部６０２は、消失領域の設定処理を終了すると判定し、消失領域の設定処理を終了する。一方、領域設定終了ボタン７０４が押されていない場合、消失領域設定部６０２は、消失領域の設定処理を終了しないと判定し、処理はステップＳ１００１に戻る。以上では、消失領域を一つ設定する場合について示したが、消失領域は一つに限定するものではなく、複数設定できるようにしてもよい。
【００２７】
図１１は、物体追尾部６０３における追尾処理を示すフローチャートである。ステップＳ１１０１において、物体追尾部６０３は、撮像部６０１から１フレームの画像データを取得する。ステップＳ１１０２において、物体追尾部６０３は、取得した画像データから追尾対象物体を検出したか否かを判定する。追尾対象物体が検出された場合、処理はステップＳ１１０３に移行する。一方、追尾対象物体が検出されていない場合、処理はステップＳ１１０７に移行する。
【００２８】
ステップＳ１１０３において、物体追尾部６０３は、検出した追尾対象物体が生成済み追尾ＩＤによって追尾中であるか否かを判定する。即ち、物体追尾部６０３は、追尾対象物体の画像データの特徴量が、生成済み追尾ＩＤの追尾対象物体の画像データの特徴量と類似しているか否かを判定する。追尾対象物体の画像データの特徴量が生成済み追尾ＩＤの追尾対象物体の画像データの特徴量と類似している場合、物体追尾部６０３は、生成済み追尾ＩＤによって追尾対象物体を追尾中であると判定し、処理はステップＳ１１０４に移行する。一方、生成済み追尾ＩＤによって追尾対象物体を追尾していない場合、処理はステップＳ１１０５に移行する。
【００２９】
ステップＳ１１０４において、物体追尾部６０３は、追尾の軌跡座標を追尾情報として記録する。例えば図５に示すように、追尾情報として、追尾ＩＤに対応付けて軌跡座標が順次記録される。そして物体追尾部６０３は、通信部６０４を介して追尾情報及び画像データを端末装置１０３に対して送信する。端末装置１０３は、受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ね合わせて順次表示する。
【００３０】
ステップＳ１１０５において、物体追尾部６０３は追尾ＩＤを生成する。ステップＳ１１０６において、物体追尾部６０３は、ステップＳ１１０５で生成した追尾ＩＤに対応付けて追尾対象物体の軌跡座標を追尾情報として記録する。即ち、図３に示すように、追尾情報として、生成された追尾ＩＤに対応付けて軌跡座標が記録される。そして物体追尾部６０３は、通信部６０４を介して追尾情報及び画像データを端末装置１０３に対して送信する。端末装置１０３は、受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ね合わせて順次表示する。図３の例では、軌跡座標は１つであるため、軌跡は１点となる。
【００３１】
ステップＳ１１０７において、物体追尾部６０３は、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標を取得する。図１５は、映像処理装置１０１に記録される追尾情報の一例を示す図である。現時点がｎ＋１である場合、直前フレームでの位置座標は（ｘn，ｙn）となる。
【００３２】
ステップＳ１１０８において、物体追尾部６０３は、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っているか否かを判定する。図１４に示すように消失領域が設定されている場合、ａ1≦ｘn≦ａ2且つｂ1≦ｙn≦ｂ2が満たされる場合、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っていると判定される。ここで消失領域の設定について述べる。図９の例では、ドア８０１の周りにマージンをとって消失領域９０１が指定されている。追尾対象物体がドア８０１に隠れるフレームの直前フレームにおいて、追尾対象物体の位置座標が消失領域９０１内に入る可能性が高くなるようにマージンがとられている。消失領域の指定で遮蔽物体を囲む場合、上述したように遮蔽物体の周りにマージンをとって消失領域が指定される。生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っている場合、処理はステップＳ１１０９に移行する。一方、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っていない場合、処理はステップＳ１１１０に移行する。
【００３３】
ステップＳ１１０９において、物体追尾部６０３は、消失領域内における生成済み追尾ＩＤの処理を行う。消失領域内における生成済み追尾ＩＤの処理については、図１２を参照して説明する。ステップＳ１１１０において、物体追尾部６０３は、全追尾ＩＤについて処理を完了したか否かを判定する。全追尾ＩＤについて処理を完了した場合、処理はステップＳ１１１１に移行する。一方、全追尾ＩＤについて処理を完了していない場合、処理はステップＳ１１０７に戻る。
【００３４】
ステップＳ１１１１において、物体追尾部６０３は、処理を終了するか否かを判定する。処理を終了しない場合、処理はステップＳ１１０１に戻る。一方、処理を終了する場合、物体追尾部６０３は処理を終了する。
【００３５】
図１２は、図１１のステップＳ１１０９の詳細を示すフローチャートである。ステップＳ１２０１において、物体追尾部６０３は、消失領域の属性が「消滅」であるか否かを判定する。消失領域の属性が「消滅」である場合、処理はステップＳ１２０２に移行する。一方、消失領域の属性が「消滅」ではない場合、処理はステップＳ１２０３に移行する。ステップＳ１２０２において、物体追尾部６０３は、当該追尾ＩＤに対して追尾を停止する。ステップＳ１２０３において、物体追尾部６０３は、当該追尾ＩＤに対して行っている追尾の時間間隔を長くして追尾対象物体の追尾を行う。ここでは、撮像部６０１で撮影される画像データについて毎フレーム追尾を実行するのではなく、例えば１秒に１回のように時間間隔を変更（例えば長く）する。
【００３６】
本実施形態によれば、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体の追尾を打ち切ることにより、本来追尾対象ではないノイズの影響を除くことができる。
【００３７】
以上、本発明の実施形態について詳述したが、本発明は、例えばシステム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００３８】
上述した実施形態によれば、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体の追尾を適切に打ち切ることができる。従って、本来追尾対象ではないノイズの影響を除くことができる。
【００３９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
１０１：映像処理装置、１０２：通信ネットワーク、１０３：端末装置、６０１：撮像部、６０２：消失領域設定部、６０３：物体追尾部、６０４：通信部
【技術分野】
【０００１】
本発明は、撮像手段により撮像された画像データ内の対象物体を追尾する技術に関するものである。
【背景技術】
【０００２】
従来の映像処理装置においては、物体の追尾を画面内で行っているときに、画面内で追尾対象物体が消滅する場合又は他の物体によって隠蔽される場合の何れの場合も、物体の追尾を継続しようとする。
【０００３】
特許文献１には、前時点まで追尾目標としていた被写体が画面中から消失した場合、前時点において追尾目標が存在していた場所、又は、初期位置（例えば、画面中央）に被写体が復帰するのを待つ技術が開示されている。特許文献２には、撮像領域内に存在する壁や衝立等の障害物の輪郭を隠蔽領域の境界として設定しておき、追尾対象物体の画像領域が隠蔽領域の境界に接しながら消失した場合に追尾対象物体が隠蔽領域に隠蔽されたと判定する技術が開示されている。これにより、特許文献２に開示される技術は、追尾対象物体が静止しているのか、他の物体によって隠蔽されているのかを識別している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−９２２７号公報
【特許文献２】特開２００４−２５８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体が消滅したのか、他の物体によって一時的に隠蔽されていて再度出現する可能性があるのか分からない。従って、追尾対象物体の追尾を打ち切るか否かを判定することができない。さらに、本来追尾対象ではないノイズに対して追尾が継続されることにより追尾の軌跡が乱れるという問題もある。
【０００６】
そこで、本発明の目的は、対象物体の追尾を適切に打ち切ることにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮像手段により撮像された画像データに対して領域を設定する領域設定手段と、前記画像データ内における対象物体を追尾する追尾手段とを有し、前記追尾手段は、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、対象物体の追尾を適切に打ち切ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る映像処理装置を含むシステム構成例を示す図である。
【図２】端末装置における画面表示例を示す図である。
【図３】映像処理装置に記録される、追尾対象物体に対応する追尾情報の例を示す図である。
【図４】映像処理装置が追尾を数回行った後の端末装置における画面表示例を示す図である。
【図５】映像処理装置に記録される、追尾対象物体に対応する追尾情報の他の例を示す図である。
【図６】本発明の実施形態に係る映像処理装置の構成を示す図である。
【図７】端末装置のユーザインタフェースを示す図である。
【図８】端末装置のユーザインタフェースに遮蔽物体が映っている場合の表示例を示す図である。
【図９】端末装置のユーザインタフェースで消失領域を指定する場合の表示例を示す図である。
【図１０】消失領域設定部における消失領域の設定処理を示すフローチャートである。
【図１１】物体追尾部における追尾処理の動作を示すフローチャートである。
【図１２】図１１のステップＳ１１０９の詳細を示すフローチャートである。
【図１３】消失領域を設定するための情報を示す図である。
【図１４】端末装置のユーザインタフェースにおいて消失領域の属性を指定する場合の表示例を示す図である。
【図１５】映像処理装置に記録される追尾情報の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下に説明する実施形態において示す構成は、飽くまでも本発明の適応例に過ぎず、本発明を限定するものではない。
【００１１】
図１は、本発明の実施形態に係る映像処理装置を含むシステム構成例を示す図である。図１に示すシステム構成は、映像処理装置１０１と端末装置１０３とが通信ネットワーク１０２を介して接続されている。映像処理装置１０１は、撮影した画像データを端末装置１０３に対して送信する。端末装置１０３は、映像処理装置１０１から受信した画像データをユーザインタフェースで表示するとともに、ユーザインタフェースに対する操作に関する情報を映像処理装置１０１に対して送信する。なお、映像処理装置１０１は、画像処理装置の適用例となる構成であり、端末装置１０３は、外部装置の適用例となる構成である。
【００１２】
映像処理装置１０１は追尾対象物体の追尾を行う。ここで行われる追尾対象物体の追尾は、画面内における追尾である。画面内における追尾では、映像処理装置１０１は、画面内における追尾対象物体の移動によって生じる軌跡を追尾情報として記録するとともに、追尾情報を端末装置１０３に対して送信する。端末装置１０３は、映像処理装置１０１から受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ねて表示する。
【００１３】
図２は、端末装置１０３における画面表示例を示す図である。図２に示すように、端末装置１０３は、画面上の画像表示領域２０１において、映像処理装置１０１から受信した画像データを表示する。画像データの左下には追尾対象物体（被写体）２０２が写っている。図３は、図２の例における追尾対象物体２０２に対応する追尾情報を示す図である。図３に示すように、追尾情報は、追尾対象物体２０２に対して付与された識別子である追尾ＩＤと軌跡座標とを含む。映像処理装置１０１は、このような追尾情報を記録するとともに、追尾情報を端末装置１０３に対して送信する。なお、軌跡座標は、画像表示領域２０１において表示される画像データ内の追尾対象物体２０２の位置を示している。例えば、画像データの左上頂点を原点とし、右方向をｘ軸、下方向をｙ軸として追尾対象物体の位置が表される。
【００１４】
図４は、映像処理装置１０１が追尾を数回行った後の端末装置１０３における画面表示例を示す図である。図４の例では、端末装置１０３の画面上の画像表示領域２０１のほぼ中央に追尾対象物体２０２が写っている。図５は、図４の例における追尾対象物体２０２に対応する追尾情報を示す図である。追尾の回数をｎとすると、図５に示すようにｎ個の軌跡座標を含む追尾情報となる。端末装置１０３は、追尾情報に含まれる各軌跡座標を線で結び、それを追尾対象物体の軌跡２０３として画像表示領域２０１に表示する。ここでは、映像処理装置１０１は、追尾対象物体２０２を検出することによって生成した全軌跡座標を端末装置１０３に対して送信する。他の実施形態として、映像処理装置１０１は、最新の軌跡座標のみを端末装置１０３に対して送信してもよい。即ち、図５の例では最新の軌跡座標（ｘn+1，ｙn+1）のみが映像処理装置１０１から端末装置１０３に対して送信される。そして端末装置１０３は、映像処理装置１０１から追尾情報を受信する度、軌跡座標を追尾ＩＤに対応付けて記憶し、全軌跡座標を保持するようにすればよい。
【００１５】
上述した追尾の例では、追尾対象物体が一つである場合について示したが、追尾対象物体は複数あってもよい。追尾対象物体が複数である場合、各追尾対象物体に対応して複数の追尾ＩＤが生成され、各追尾ＩＤに対応付けて軌跡座標が記録される。
【００１６】
図６は、本発明の実施形態に係る映像処理装置１０１の構成を示す図である。図６に示すように、本実施形態に係る映像処理装置１０１は、画像データを撮像する撮像部６０１、追尾対象物体が消失する領域を画面に対して設定する消失領域設定部６０２、追尾対象物体の追尾を行う物体追尾部６０３及び通信部６０４を備える。
【００１７】
画面上で追尾対象物体がドア等の遮蔽物体の陰になることにより、追尾対象物体が画面上から消失する場合がある。本実施形態では、遮蔽物体を囲むように消失領域を設定することにより、追尾対象物体がその領域で画面上から消失する可能性があることを示す。また、消失領域の属性には「消滅」と「隠蔽」との２つがある。遮蔽物体の陰に追尾対象物体が隠れて再度出現する可能性が低い場合、属性を「消滅」とする。一方、遮蔽物体の陰に追尾対象物体が隠れて再度出現する可能性が高い場合、属性を「隠蔽」とする。例えば遮蔽物体がドアである場合、属性は「消滅」として設定される。一方、遮蔽物体が衝立である場合、属性は「隠蔽」として設定される。
【００１８】
図７は、端末装置１０３のユーザインタフェースを示す図である。図７に示すように、端末装置１０３のユーザインタフェースには、画像表示領域７０１、領域指定ボタン７０２、領域属性ボタン７０３及び領域設定終了ボタン７０４が表示されている。画像表示領域７０１には、映像処理装置１０１から送信された画像データが表示される。領域指定ボタン７０２、領域属性ボタン７０３及び領域設定終了ボタン７０４の操作については、端末装置１０３のユーザがポインティングデバイスによってボタンを押す形で行う。
【００１９】
図８は、端末装置１０３のユーザインタフェースに遮蔽物体が映っている場合の表示例を示す図である。画像表示領域７０１に表示されている画像データには遮蔽物体としてのドア８０１が映っている。このような場合、ドア８０１によって追尾対象物体が遮蔽されて画面上から消失する可能性がある。
【００２０】
図９は、端末装置１０３のユーザインタフェースで消失領域を指定する場合の表示例を示す図である。図９に示すように、ドア８０１を囲むように消失領域９０１が矩形で指定されている。なお、消失領域９０１の設定方法の詳細については後述する。
【００２１】
以下、図１０〜図１２のフローチャートを参照しながら、本実施形態に係る映像処理装置１０１の処理について説明する。
【００２２】
図１０は、消失領域設定部６０２における消失領域の設定処理を示すフローチャートである。ユーザは、端末装置１０３のユーザインタフェースを使用して消失領域を指定する。図９の例では、ユーザは領域指定ボタン７０２をポインティングデバイスで押して消失領域を指定可能な状態にする。次にユーザは、ポインティングデバイスを操作して画像表示領域７０１で消失領域９０１を指定する。ステップＳ１００１において、消失領域設定部６０２は、ユーザによって指定された消失領域９０１を設定する。即ち、図１３に示すように、消失領域設定部６０２は、矩形で指定された消失領域９０１の位置情報として左上座標と右下座標とを端末装置１０３から受信し、記録することにより消失領域９０１を設定する。
【００２３】
図１４は、端末装置１０３のユーザインタフェースにおいて消失領域９０１の属性を指定する場合の表示例を示す図である。ユーザがポインティングデバイスによって領域属性ボタン７０３を押すと、「消滅」及び「隠蔽」の選択肢１４０１が表示される。ユーザがポインティングデバイスによって選択肢１４０１の何れかを選択することにより、消失領域９０１の属性が指定される。なお、「消滅」は第１の属性の例であり、「隠蔽」は第２の属性の例である。
【００２４】
ステップＳ１００２において、消失領域設定部６０２は、端末装置１０３から受信した消失領域９０１の属性の指定情報に基づいて、端末装置１０３のユーザインタフェースを使用して指定された消失領域９０１の属性が「消滅」であるか否かを判定する。消失領域９０１の属性が「消滅」である場合、処理はステップＳ１００３に移行する。一方、消失領域９０１の属性が「消滅」でない場合、処理はステップＳ１００４に移行する。
【００２５】
ステップＳ１００３において、消失領域設定部６０２は、消失領域９０１の属性に「消滅」を付与する。ステップＳ３０４において、消失領域設定部６０２は、端末装置１０３のユーザインタフェースを使用して指定された消失領域９０１の属性が「隠蔽」であるか否かを判定する。消失領域９０１の属性が「隠蔽」である場合、処理はステップＳ１００５に移行する。一方、消失領域９０１の属性が「隠蔽」でない場合、処理はステップＳ１００１に戻る。ステップＳ１００５において、消失領域設定部６０２は、消失領域９０１の属性に「隠蔽」を付与する。図１３の例では、消失領域９０１の属性として「消滅」が付与されている。
【００２６】
ステップＳ１００６において、消失領域設定部６０２は、消失領域の設定処理を終了するか否かを判定する。ここでは、消失領域設定部６０２は、ユーザによる端末装置１０３のユーザインタフェースに対する操作に基づいて、消失領域の設定処理を終了するか否かを判定する。領域設定終了ボタン７０４が押された場合、消失領域設定部６０２は、消失領域の設定処理を終了すると判定し、消失領域の設定処理を終了する。一方、領域設定終了ボタン７０４が押されていない場合、消失領域設定部６０２は、消失領域の設定処理を終了しないと判定し、処理はステップＳ１００１に戻る。以上では、消失領域を一つ設定する場合について示したが、消失領域は一つに限定するものではなく、複数設定できるようにしてもよい。
【００２７】
図１１は、物体追尾部６０３における追尾処理を示すフローチャートである。ステップＳ１１０１において、物体追尾部６０３は、撮像部６０１から１フレームの画像データを取得する。ステップＳ１１０２において、物体追尾部６０３は、取得した画像データから追尾対象物体を検出したか否かを判定する。追尾対象物体が検出された場合、処理はステップＳ１１０３に移行する。一方、追尾対象物体が検出されていない場合、処理はステップＳ１１０７に移行する。
【００２８】
ステップＳ１１０３において、物体追尾部６０３は、検出した追尾対象物体が生成済み追尾ＩＤによって追尾中であるか否かを判定する。即ち、物体追尾部６０３は、追尾対象物体の画像データの特徴量が、生成済み追尾ＩＤの追尾対象物体の画像データの特徴量と類似しているか否かを判定する。追尾対象物体の画像データの特徴量が生成済み追尾ＩＤの追尾対象物体の画像データの特徴量と類似している場合、物体追尾部６０３は、生成済み追尾ＩＤによって追尾対象物体を追尾中であると判定し、処理はステップＳ１１０４に移行する。一方、生成済み追尾ＩＤによって追尾対象物体を追尾していない場合、処理はステップＳ１１０５に移行する。
【００２９】
ステップＳ１１０４において、物体追尾部６０３は、追尾の軌跡座標を追尾情報として記録する。例えば図５に示すように、追尾情報として、追尾ＩＤに対応付けて軌跡座標が順次記録される。そして物体追尾部６０３は、通信部６０４を介して追尾情報及び画像データを端末装置１０３に対して送信する。端末装置１０３は、受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ね合わせて順次表示する。
【００３０】
ステップＳ１１０５において、物体追尾部６０３は追尾ＩＤを生成する。ステップＳ１１０６において、物体追尾部６０３は、ステップＳ１１０５で生成した追尾ＩＤに対応付けて追尾対象物体の軌跡座標を追尾情報として記録する。即ち、図３に示すように、追尾情報として、生成された追尾ＩＤに対応付けて軌跡座標が記録される。そして物体追尾部６０３は、通信部６０４を介して追尾情報及び画像データを端末装置１０３に対して送信する。端末装置１０３は、受信した追尾情報に基づいて追尾対象物体の軌跡を画像データに重ね合わせて順次表示する。図３の例では、軌跡座標は１つであるため、軌跡は１点となる。
【００３１】
ステップＳ１１０７において、物体追尾部６０３は、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標を取得する。図１５は、映像処理装置１０１に記録される追尾情報の一例を示す図である。現時点がｎ＋１である場合、直前フレームでの位置座標は（ｘn，ｙn）となる。
【００３２】
ステップＳ１１０８において、物体追尾部６０３は、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っているか否かを判定する。図１４に示すように消失領域が設定されている場合、ａ1≦ｘn≦ａ2且つｂ1≦ｙn≦ｂ2が満たされる場合、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っていると判定される。ここで消失領域の設定について述べる。図９の例では、ドア８０１の周りにマージンをとって消失領域９０１が指定されている。追尾対象物体がドア８０１に隠れるフレームの直前フレームにおいて、追尾対象物体の位置座標が消失領域９０１内に入る可能性が高くなるようにマージンがとられている。消失領域の指定で遮蔽物体を囲む場合、上述したように遮蔽物体の周りにマージンをとって消失領域が指定される。生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っている場合、処理はステップＳ１１０９に移行する。一方、生成済み追尾ＩＤの追尾対象物体の直前フレームでの位置座標が消失領域内に入っていない場合、処理はステップＳ１１１０に移行する。
【００３３】
ステップＳ１１０９において、物体追尾部６０３は、消失領域内における生成済み追尾ＩＤの処理を行う。消失領域内における生成済み追尾ＩＤの処理については、図１２を参照して説明する。ステップＳ１１１０において、物体追尾部６０３は、全追尾ＩＤについて処理を完了したか否かを判定する。全追尾ＩＤについて処理を完了した場合、処理はステップＳ１１１１に移行する。一方、全追尾ＩＤについて処理を完了していない場合、処理はステップＳ１１０７に戻る。
【００３４】
ステップＳ１１１１において、物体追尾部６０３は、処理を終了するか否かを判定する。処理を終了しない場合、処理はステップＳ１１０１に戻る。一方、処理を終了する場合、物体追尾部６０３は処理を終了する。
【００３５】
図１２は、図１１のステップＳ１１０９の詳細を示すフローチャートである。ステップＳ１２０１において、物体追尾部６０３は、消失領域の属性が「消滅」であるか否かを判定する。消失領域の属性が「消滅」である場合、処理はステップＳ１２０２に移行する。一方、消失領域の属性が「消滅」ではない場合、処理はステップＳ１２０３に移行する。ステップＳ１２０２において、物体追尾部６０３は、当該追尾ＩＤに対して追尾を停止する。ステップＳ１２０３において、物体追尾部６０３は、当該追尾ＩＤに対して行っている追尾の時間間隔を長くして追尾対象物体の追尾を行う。ここでは、撮像部６０１で撮影される画像データについて毎フレーム追尾を実行するのではなく、例えば１秒に１回のように時間間隔を変更（例えば長く）する。
【００３６】
本実施形態によれば、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体の追尾を打ち切ることにより、本来追尾対象ではないノイズの影響を除くことができる。
【００３７】
以上、本発明の実施形態について詳述したが、本発明は、例えばシステム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００３８】
上述した実施形態によれば、追尾対象物体の追尾を行っているときに画面内で追尾対象物体が消える場合、追尾対象物体の追尾を適切に打ち切ることができる。従って、本来追尾対象ではないノイズの影響を除くことができる。
【００３９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４０】
１０１：映像処理装置、１０２：通信ネットワーク、１０３：端末装置、６０１：撮像部、６０２：消失領域設定部、６０３：物体追尾部、６０４：通信部
【特許請求の範囲】
【請求項１】
撮像手段により撮像された画像データに対して領域を設定する領域設定手段と、
前記画像データ内における対象物体を追尾する追尾手段とを有し、
前記追尾手段は、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする画像処理装置。
【請求項２】
前記追尾手段は、前記対象物体の追尾を停止する場合、前記画像データにおける前記対象物体の位置情報を保持することを停止することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域に対して属性を設定する属性設定手段を更に有し、
前記追尾手段は、前記対象物体が前記領域内に入り、且つ、前記領域に対して第１の属性が設定されている場合、前記対象物体の追尾を停止することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記追尾手段は、前記対象物体が前記領域内に入り、且つ、前記第１の属性とは異なる第２の属性が前記領域に対して設定されている場合、前記対象物体を追尾する時間間隔を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データを外部装置に対して送信する送信手段と、
前記外部装置において前記画像データから指定された前記領域を示す情報を受信する受信手段とを更に有し、
前記領域設定手段は、前記領域を示す情報に基づいて、前記画像データに対して前記領域を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
撮像手段により撮像された画像データに対して領域を設定する領域設定ステップと、
前記画像データ内における対象物体を追尾する追尾ステップとを有し、
前記追尾ステップは、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする画像処理方法。
【請求項７】
撮像手段により撮像された画像データに対して領域を設定する領域設定ステップと、
前記画像データ内における対象物体を追尾する追尾ステップとをコンピュータに実行させ、
前記追尾ステップは、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とするプログラム。
【請求項１】
撮像手段により撮像された画像データに対して領域を設定する領域設定手段と、
前記画像データ内における対象物体を追尾する追尾手段とを有し、
前記追尾手段は、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする画像処理装置。
【請求項２】
前記追尾手段は、前記対象物体の追尾を停止する場合、前記画像データにおける前記対象物体の位置情報を保持することを停止することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域に対して属性を設定する属性設定手段を更に有し、
前記追尾手段は、前記対象物体が前記領域内に入り、且つ、前記領域に対して第１の属性が設定されている場合、前記対象物体の追尾を停止することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記追尾手段は、前記対象物体が前記領域内に入り、且つ、前記第１の属性とは異なる第２の属性が前記領域に対して設定されている場合、前記対象物体を追尾する時間間隔を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像データを外部装置に対して送信する送信手段と、
前記外部装置において前記画像データから指定された前記領域を示す情報を受信する受信手段とを更に有し、
前記領域設定手段は、前記領域を示す情報に基づいて、前記画像データに対して前記領域を設定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置によって実行される画像処理方法であって、
撮像手段により撮像された画像データに対して領域を設定する領域設定ステップと、
前記画像データ内における対象物体を追尾する追尾ステップとを有し、
前記追尾ステップは、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とする画像処理方法。
【請求項７】
撮像手段により撮像された画像データに対して領域を設定する領域設定ステップと、
前記画像データ内における対象物体を追尾する追尾ステップとをコンピュータに実行させ、
前記追尾ステップは、前記対象物体が前記領域内に入った場合、前記対象物体の追尾を停止することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−７４６１２（Ｐ２０１３−７４６１２Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１４６５２（Ｐ２０１１−２１４６５２）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]