画像表示装置、撮像装置、画像表示システム、画像表示方法および画像合成装置
【課題】目標色を用いた自動追尾処理において、撮像装置側で設定されている目標色の確認を監視者が容易に行えるようにする。
【解決手段】撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と目標色を示す色情報とを入力し、映像信号に基づく画像と色情報に基づく画像とを合成する表示制御手段と、表示制御手段により合成された合成画像を表示する表示手段と、追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えた画像表示装置。
【解決手段】撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と目標色を示す色情報とを入力し、映像信号に基づく画像と色情報に基づく画像とを合成する表示制御手段と、表示制御手段により合成された合成画像を表示する表示手段と、追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えた画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標色を用いて自動追尾処理を行なう撮像装置、この撮像装置から受信した画像を出力する画像表示装置およびこれらを備えた画像表示システムに関する。
【背景技術】
【０００２】
監視カメラやビデオカメラ等の撮像装置において、特定の被写体を追尾対象物として自動的に追尾する技術が知られている。例えば、特許文献１には、追尾対象物が有している特定の色を目標色として記憶し、その目標色を基準に追尾対象物の位置を検出することで自動追尾を行なう撮像装置が記載されている。
【０００３】
このような撮像装置は目標色を基準として追尾対象物の自動追尾を行なうが、追尾対象物の色は、光の当たり具合や、ビデオカメラによるホワイトバランス調整、露出調整等により見かけ上変化する。追尾対象物の色の見かけ上の変化に対応して自動追尾を継続するため、特許文献２には、追尾対象物の位置を検出した際に、目標色を再設定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−２８４４１１号公報
【特許文献２】特開平７−１５４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の技術等により、近年、目標色を用いた自動追尾の精度は向上しているが、追尾対象物の見かけ上の色の急激な変化や、近似色の他物体の存在等により、目標色と追尾対象物の色とが乖離して自動追尾が失敗することも起こり得る。このため、実際の監視現場においては、撮像装置からの映像を監視し、必要に応じて追尾対象物を再設定する監視者の判断が重要となる。
【０００６】
しかしながら、従来の自動追尾処理においては、監視者は追尾対象物を指定するだけであり、どのような色が目標色として設定されたかを知ることができなかった。また、撮像装置によって目標色が更新された場合も、どのような色に更新されたかを知ることができなかった。このため、撮像装置で設定されている目標色と追尾対象物の色とがどの程度乖離したかを判断することができず、追尾対象物の再設定を適切に行なうことが難しかった。
【０００７】
そこで、本発明は、目標色を用いた自動追尾処理において、撮像装置側で設定されている目標色の確認を監視者が容易に行える技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の態様である画像表示装置は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、前記表示制御手段により合成された合成画像を表示する表示手段と、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備える。
【０００９】
ここで、前記表示制御手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１０】
また、前記表示制御手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１１】
上記課題を解決するため、本発明の第２の態様である撮像装置は、撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、所定の条件を満たした場合に、前記目標色を更新し、更新した設定された前記目標色を示す色情報を出力する追尾処理手段とを備える。
【００１２】
上記課題を解決するため、本発明の第３の態様である画像表示システムは、撮像装置と画像表示装置とを備えた画像表示システムであって、前記撮像装置は、撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、前記画像表示装置から追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、設定された前記目標色を示す色情報を出力する追尾処理手段とを備え、前記画像表示装置は、前記撮像装置から出力された前記映像信号と前記色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、前記表示制御手段により合成された合成画像を表示する表示手段と、前記追尾処理における追尾対象物の指示を外部から受け付け、受け付けた前記追尾対象物に基づいて目標色を取得し、受け付けた前記追尾対象物および取得した前記目標色を前記撮像装置に通知する追尾対象指示処理手段と、を備える。
【００１３】
ここで、前記画像表示装置の表示制御手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１４】
また、前記画像表示装置の表示制御手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１５】
上記課題を解決するため、本発明の第４の態様である画像表示方法は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御ステップと、前記表示制御手段により合成された合成画像を表示する表示ステップと、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示受付ステップとを有する。
【００１６】
ここで、前記表示制御ステップは、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１７】
また、前記表示制御ステップは、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１８】
上記課題を解決するため、本発明の第５の態様である画像合成装置は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する画像合成手段と、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備える。
【００１９】
ここで、前記画像合成手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００２０】
また、前記画像合成手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【発明の効果】
【００２１】
本発明によれば、目標色を用いた自動追尾処理において、撮像装置側で設定されている目標色の確認を監視者が容易に行える技術が提供される。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る監視システムのハードウェア構成を示すブロック図である。
【図２】第１実施例における監視カメラの機能構成を示すブロック図である。
【図３】ＰＣの機能構成を示すブロック図である。
【図４】第１実施例におけるＰＣの動作を説明するフローチャートである。
【図５】第１実施例において表示装置に表示される画面例を示す図である。
【図６】第１実施例における監視カメラの動作を説明するフローチャートである。
【図７】第２実施例における監視カメラの機能構成を示すブロック図である。
【図８】実施例２における監視カメラの特徴的な動作を説明するフローチャートである。
【図９】実施例２におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１０】第２実施例において表示装置に表示される画面例を示す図である。
【図１１】実施例３におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１２】変形例におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１３】変形例において表示装置に表示される画面例を示す図である。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る監視システムのハードウェア構成を示すブロック図である。本図に示すように監視システムは、撮像装置として機能する監視カメラ１０と画像表示装置として機能するＰＣ２０とがネットワーク７０を介して接続される構成である。監視カメラ１０は、目標色を基準とした自動追尾機能を備えており、ＰＣ２０は、監視カメラ１０が撮像した映像に基づく画像を表示するために用いられる。ＰＣ２０には、マウス、キーボード等の入力デバイス３０と、監視カメラ１０が撮像した映像を表示する表示装置４０とが接続されている。なお、表示装置４０にタッチパネル機能を備えさせ、入力デバイス３０と表示装置４０とを一体化するようにしてもよい。
【００２４】
本図示すように監視カメラ１０は、光学レンズと絞り機構とを含む撮像光学系１１、撮像素子（ＣＣＤ）１２、信号処理回路（ＤＳＰ）１３、画像圧縮回路（ＥＮＣ）１４、ＮｅｔｗｏｒｋＩ／Ｆ１５、駆動機構１６、ＣＰＵ１７、メモリ（ＭＥＭ）１８を備えている。
【００２５】
撮像光学系１１を通過した光は撮像素子（ＣＣＤ）１２により電気信号に変換され、信号処理回路（ＤＳＰ）１３において所定の信号処理を施され、デジタル映像信号が生成される。デジタル映像信号は、画像圧縮回路（ＥＮＣ）１４により所定の映像ストリームフォーマットで圧縮され、ＮｅｔｗｏｒｋＩ／Ｆ１５からネットワーク７０を介してＰＣ２０に出力される。
【００２６】
ＣＰＵ１７は、メモリ（ＭＥＭ）１８に格納されたプログラムにしたがって目標色を基準とした目標追尾処理を行ない、追尾対象物が監視カメラ１０の画角に収まるように駆動機構１６を制御する。駆動機構１６は、駆動モータ、可動機構等を備えて構成され、パン、チルト、ズーム動作を行なう。
【００２７】
ＰＣ２０は、ＣＰＵ２１、メモリ（ＭＥＭ）２２、ＶｉｄｅｏＣａｒｄ２３、インタフェース（Ｉ／Ｆ）２４、ハードディスクドライブ（ＨＤＤ）２５、ネットワークインタフェースカード（ＮＩＣ）２６を備えており、汎用的な情報処理装置を用いて構成することができる。
【００２８】
次に、上記ハードウェアで構成される監視システムにおける動作の第１実施例について説明する。図２は、第１実施例における監視カメラ１０の機能構成を示すブロック図である。本図に示すように監視カメラ１０は、撮像部１１０、追尾処理部１２０、カメラ制御部１３０、駆動部１４０を備えて構成される。
【００２９】
撮像部１１０は、撮像光学系１１、撮像素子（ＣＣＤ）１２、信号処理回路（ＤＳＰ）１３、画像圧縮回路（ＥＮＣ）１４等を備えて構成され、撮像処理およびデジタル映像信号の生成を行なう。ただし、生成する映像信号はアナログであってもよい。
【００３０】
追尾処理部１２０は、ＣＰＵ１７がメモリ（ＭＥＭ）１８に格納されたプログラムにしたがって動作することにより構成され、目標色を用いた目標追尾処理を行なう。追尾処理部１２０が行なう目標追尾処理のアルゴリズムは限定されず、公知の技術を用いることができる。追尾処理部１２０は、記憶領域として画像格納部１２１、目標色格納部１２２を備えている。
【００３１】
カメラ制御部１３０は、ＣＰＵ１７がメモリ（ＭＥＭ）１８に格納されたプログラムにしたがって動作することにより構成され、目標追尾処理によって得られた追尾対象物の領域に基づいて駆動部１４０を制御する。駆動部１４０は、駆動機構１６を備えて構成され、カメラ制御部１３０の制御にしたがってパン、チルト、ズーム動作を行なう。
【００３２】
図３は、ＰＣ２０の機能構成を示すブロック図である。本図に示すように、ＰＣ２０には、ビューワ処理部２１０が構成される。ビューワ処理部２１０は、ＣＰＵ２１がメモリ（ＭＥＭ）２２に格納されたビューワ用プログラムにしたがって動作することにより構成され、表示制御部２１１と、追尾対象指示処理部２１２とを備えている。
【００３３】
表示制御部２１１は、監視カメラ１０から出力されたデジタル映像信号に基づいて表示装置４０に表示する画像を制御する。表示制御部２１１が表示装置４０に表示する画像は、監視カメラ１０が撮像した映像信号に基づく画像と、目標追尾処理において基準となっている目標色を示す情報とを合成した画像である。
【００３４】
すなわち、本実施形態では、目標追尾処理において基準となっている目標色を示す情報が、監視側の表示装置４０に表示される。これにより、監視者は、目標色と追尾対象物の色とがどの程度乖離したかを判断することができるため、追尾対象物の再設定を適切に行なうことができるようになる。
【００３５】
追尾対象指示処理部２１２は、表示装置４０に表示された画像から追尾対象物に対応する領域の指示を受け付け、その領域に基づいて目標色を取得する。そして、受け付けた領域の情報と取得した目標色の情報とを監視カメラ１０に通知する。
【００３６】
図４は、第１実施例におけるＰＣ２０の動作を説明するフローチャートである。本処理は、監視者によりビューワ用プログラムが起動され、自動追尾開始指示を受け付けることで開始する（Ｓ１０１）。ビューワ用プログラムが実行されることにより構成されるビューワ処理部２１０は、監視カメラ１０に対して追尾対象物指定待ちの状態に移行させる。
【００３７】
ビューワ処理部２１０の表示制御部２１１は、監視カメラ１０から入力される映像信号に基づく画像を表示装置４０に表示する（Ｓ１０２）。入力される映像信号に基づく画像の表示は、目標追尾処理を終了する指示を受け付けるまで連続的に繰り返す（Ｓ１０８）。
【００３８】
監視者は、表示される画面上において、追尾対象物の指定を行なうことができる。追尾対象物の指定は、例えば、画面上の追尾対象物にカーソルを合わせてクリックすることで行なうことができる。あるいは、追尾対象物に対応する領域をドラッグすることで行なうようにしてもよい。さらには、タッチパネル式の表示装置４０を用いている場合には,画面上の追尾対象物をタッチすることで行なうようにしてもよい。
【００３９】
ＰＣ２０の追尾対象指示処理部２１２は、監視者から追尾対象物の指定を受け付けると（Ｓ１０３：Ｙｅｓ）、受け付けた追尾対象物の領域情報を取得する（Ｓ１０４）。領域情報は、例えば、指定された位置の画面内における座標とすることができる。あるいは、指定された領域の左上座標および右下座標とすることができる。
【００４０】
次いで、取得した領域情報に基づいて、目標色を取得する（Ｓ１０５）。目標色の取得は、例えば、指定された位置に対応する画素のＲＧＢ値を読み出して目標色とすることができる。あるいは、指定された位置の周辺画素のＲＧＢ平均値を目標色としたり、指定された領域に含まれる画素のＲＧＢ平均値等を目標色としてもよい。
【００４１】
そして、取得した領域情報と、取得した目標色を監視カメラ１０に通知する（Ｓ１０６）。後述するように、監視カメラ１０は、通知された領域情報と目標色とに基づいて目標追尾処理を行ない、目標追尾処理の結果として得られた映像信号をＰＣ２０に送信する。
【００４２】
追尾対象物の指定を受け付けた以降は、表示制御部２１１は、監視カメラ１０から入力される映像信号に基づく画像に、処理（Ｓ１０５）で取得した目標色を示す情報を合成して表示装置４０に表示する（Ｓ１０７）。
【００４３】
図５は、表示装置４０に表示される画像の例を示す図である。本図の例では、人物が追尾対象物として指定されており、人物の服４００の色が目標色として設定されているものとする。本図に示すように、目標色を示す情報４０１が、監視カメラ１０から入力される映像信号に基づく画像の右上に合成されて表示されている。目標色を示す情報４０１の表示は、オン／オフ切り替え可能なようにしてもよい。
【００４４】
このように目標色を示す情報が画面上で示されるため、監視者は、目標追尾処理の基準となっている目標色を把握することができる。このため、例えば、照明の影響等で追尾対象物の見かけ上の色が変化した場合に、追尾対象物を指定した際の目標色からどの程度変化したかを認識することができるので、処理（Ｓ１０３）による追尾対象物の再指定を適切に行なうことができる。なお、追尾対象物の再設定を受け付けると（Ｓ１０３：Ｙｅｓ）、その後は、再設定の際に取得された目標色が表示されることになる（Ｓ１０７）。
【００４５】
図６は、第１実施例における監視カメラ１０の動作を説明するフローチャートである。監視カメラ１０の追尾処理部１２０は、ＰＣ２０から送られた領域情報と、目標色とを受信すると（Ｓ２０１：Ｙｅｓ）、受信した目標色を目標色格納部１２２に格納する（Ｓ２０２）。そして、格納した目標色を基準色として目標追尾処理（Ｓ２０３）を繰り返し行なう。また、監視カメラ１０は、撮像した映像信号を画像圧縮回路（ＥＮＣ）１４で圧縮して、ＮｅｔｗｏｒｋＩ／Ｆ１５からＰＣ２０に出力する処理を目標追尾処理とは独立して繰り返す。
【００４６】
上述のように、監視カメラ１０の追尾処理部１２０が行なう目標色を用いた目標追尾処理は、アルゴリズムは限定されず、公知の技術を用いることができる。一例として、概略以下に示すような手順で行なうことができる。
【００４７】
まず、画像フレームを画像格納部１２１に格納する。そして格納した画像フレームを複数のブロックに分割し、ブロックごとに目標色格納部１２２に格納された目標色との比較を行なう。この比較において、ブロック内に含まれる画素のうち目標色と同一あるいは近似する色の画素数をカウントする。この結果、最もカウント数の多いブロックに追尾対象物が存在しているものと判断することで目標追尾処理を行なう。その後、目標追尾処理によって得られた追尾対象物の領域が画角に収まるように、パン、チルト、ズーム動作を行なうようにする。
【００４８】
次に、上記構成による監視システムにおける動作の第２実施例について説明する。第２実施例では第１実施例との相違点を中心に説明する。第２実施例では、追尾対象物の見かけ上の色が変化したときに、監視カメラ１０が目標色を更新する場合について説明する。
【００４９】
図７は、第２実施例における監視カメラの機能構成を示すブロック図である。第１実施例と同じブロックについて同じ符号を付し、説明は省略する。なお、ＰＣ２０は第１実施例と同様の機能構成とすることができる。
【００５０】
本図に示すように監視カメラ１０ａは、撮像部１１０、追尾処理部１２０ａ、カメラ制御部１３０、駆動部１４０から構成される。追尾処理部１２０ａは、画像格納部１２１、目標色格納部１２２に加え、目標色を更新する処理を行なう目標色更新部１２３を備えている。
【００５１】
ここで、第２実施例における目標追尾処理と、目標色更新部１２３が行なう目標色更新処理について説明する。第２実施例における目標追尾処理と目標色更新部１２３が行なう目標色更新処理とは、アルゴリズムは限定されず、公知の技術を用いることができる。
【００５２】
本実施例では、パーティクルフィルタによる目標追尾処理を行なうものとする。パーティクルフィルタは、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付き平均を次状態として予測しながら目標追尾を行っていくアルゴリズムである。
【００５３】
目標色更新部１２３は、目標色格納部１２２に格納されている目標色を対象として各パーティクルの尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に目標色更新処理を行なうようにする。
【００５４】
目標色更新処理では、各パーティクルの尤度の測定対象を目標色から、前後のフレーム間の輝度差に切り替えることで動きのあった領域を検出する。そして、動きが検出された領域が追尾対象物の位置と推定し、その領域から取得した色を新たな目標色として設定し、目標色格納部１２２に格納する。その後、更新された目標色を用いて目標追尾処理を再開するものとする。
【００５５】
もちろん、本実施例における目標追尾処理、目標色更新処理は他の公知技術を用いるようにしてもよい。例えば、単純に、目標追尾処理毎に追尾対象物の色を再取得することで目標色を更新するようにしてもよい。
【００５６】
図８は、第２実施例における監視カメラ１０ａの特徴的な動作を説明するフローチャートである。本動作は、図６に示した第１実施例における監視カメラ１０の動作である目標追尾処理（Ｓ２０３）のサブルーチンとして行なわれる。
【００５７】
すなわち、目標追尾処理（Ｓ２０３）において、目標色更新部１２３が、目標更新処理が必要であるかどうかを判断し（Ｓ３０１）、必要と判断した場合に目標色を更新する（Ｓ３０２）。目標更新処理が必要であるかどうかの判断基準および目標色を更新する処理は上記の通りである。
【００５８】
そして、第２実施例では、監視カメラ１０ａによる目標追尾処理の結果推定された追尾対象物の領域情報と、最新の目標色とをＰＣ２０に通知する（Ｓ３０３）。追尾対象物の領域情報は、目標色更新の有無にかかわらず、目標追尾処理毎にＰＣ２０に通知するものとする。最新の目標色については、目標追尾処理毎に通知するようにしてもよいし、更新があった場合のみの通知するようにしてもよい。
【００５９】
追尾対象物の領域情報は、例えば、追尾対象物に対応した矩形領域の対角の座標で表わすことができる。また、最新の目標色は、目標色格納部１２２に格納されている目標色のＲＧＢ値とすることができる。一般に、デジタル映像信号として広く用いられているＪＰＥＧストリーム、ＭＰＥＧ４ストリーム等では、コメントセグメント、ユーザデータに独自のデータを追加することが可能である。追尾対象物の領域情報、最新の目標色は、例えば、監視カメラ１０が出力する映像データのコメントセグメントに記録することで、リアルタイムでＰＣ２０に通知することができる。
【００６０】
図９は、第２実施例におけるＰＣ２０の特徴的な動作を説明するフローチャートである。本動作は、図４に示した第１実施例におけるＰＣ２０の動作である入力画像表示処理（Ｓ１０２）のサブルーチンとして行なわれる。
【００６１】
すなわち、入力画像表示処理（Ｓ１０２）において、表示制御部２１１は、監視カメラ１０ａから通知された追尾対象物の領域情報と最新の目標色とを受信する（Ｓ４０１）。そして、受信した追尾対象物の領域情報および最新の目標色を、監視カメラ１０ａから入力される映像信号に基づく画像に合成して表示装置４０に表示する（Ｓ４０２）。
【００６２】
図１０は、表示装置４０に表示される画像の例を示す図である。本図の例では、人物が追尾対象物として指定されており、人物の服の色が目標色として設定されているものとする。ここでは、目標色を示す情報４０２が、監視カメラ１０ａから入力される映像信号に基づく画像の右上に合成されて表示されている。また、追尾対象物の領域情報が枠４０３として表示されている。これにより、監視者は追尾対象物の位置を認識しやすくなる。
【００６３】
追尾対象物の領域情報は、目標追尾処理毎に更新され、ＰＣ２０に通知されるため、追尾対象物の移動に合わせて枠４０３が移動することになる。また、目標色を示す情報４０２は目標追尾処理で用いられる最新の目標色が表示されるため、監視カメラ１０ａで目標色が更新されると即座に表示装置４０の画面上に反映されることになる。なお、目標色を示す情報４０２の表示および枠４０３の表示は、オン／オフ切り替え可能なようにしてもよい。
【００６４】
このように第２実施例では最新の目標色を示す情報が画面上で示されるため、監視者は、目標追尾処理の基準となっている目標色をリアルタイムに把握することができる。このため、監視カメラ１０ａで目標色が更新された場合に、監視者は、更新された目標色を認識することができ、目標色更新の検証を行なうことができる。また、照明の影響等で追尾対象物の見かけ上の色が変化した場合に、最新の目標色と、追尾対象物の見かけ上の色とを比較することができるので、処理（Ｓ１０３）による追尾対象物の再指定を適切に行なうことができる。
【００６５】
次に、上記構成による監視システムにおける動作の第３実施例について説明する。第３実施例では第２実施例との相違点を中心に説明する。第３実施例では、監視カメラ１０が目標色を更新した際に、更新前の目標色との差が大きいときに限り、ＰＣ２０で目標色の更新表示を行なう場合について説明する。
【００６６】
第３実施例における監視カメラおよびＰＣは第２実施例と同様の機能構成とすることができる。また、第３実施例における監視カメラの動作は第２実施例と同様とすることができる。すなわち、目標追尾処理において、必要に応じて目標色の更新処理を行ない、ＰＣ２０に対して更新した目標色を通知する。
【００６７】
図１１は、第３実施例におけるＰＣ２０の特徴的な動作を説明するフローチャートである。本動作は、図４に示した第１実施例におけるＰＣ２０の動作である入力画像表示処理（Ｓ１０２）のサブルーチンとして行なわれる。
【００６８】
すなわち、入力画像表示処理（Ｓ１０２）において、表示制御部２１１は、監視カメラ１０ａから通知された追尾対象物の領域情報と最新の目標色とを受信する（Ｓ５０１）。そして、現在の目標色と、受信した最新の目標色との差を評価する（Ｓ５０２）。現在の目標色と、受信した最新の目標色との差の評価は、例えば、以下の手順によって行なうことができる。
【００６９】
まず、ＲＧＢ形式で表わされた現在の目標色および受信した最新の目標色を、以下の式にしたがってＹＵＶ形式に変換する。ここで、Ｙは輝度信号であり、Ｕは輝度信号と青色成分の差分信号であり、Ｖは輝度信号と赤色成分の差分信号である。
【００７０】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｖ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
そして、現在の目標色を（Ｙ１、Ｕ１、Ｖ１）とし、受信した最新の目標色を（Ｙ２、Ｕ２、Ｖ２）として、以下の式にしたがって評価値Ｙ３、Ｕ３、Ｖ１を算出する。
【００７１】
Ｙ３＝Ｙ２−Ｙ１
Ｕ３＝Ｕ２−Ｕ１
Ｖ３＝Ｖ２−Ｖ１
次いで、算出された評価値が所定の基準よりも大きいかどうかを判断する（Ｓ５０３）。ここで、評価値が所定の基準よりも大きい場合には、現在の目標色と受信した最新の目標色との差が大きいことを示すことになる。
【００７２】
例えば、閾値をＴとしたとき、Ｔ＜Ｙ３、Ｔ＜Ｕ３、Ｔ＜Ｖ３のいずれかを満たす場合に、評価値が基準よりも大きいと判断することができる。閾値Ｔは、例えば、Ｙ、Ｕ、Ｖの範囲を０〜２５５とした場合、Ｔ＝２０程度とすることができる。
【００７３】
あるいは、閾値をＹ、Ｕ、Ｖ毎に異なる閾値Ｔｙ、Ｔｕ、Ｔｖを用いて、Ｔｙ＜Ｙ３、Ｔｕ＜Ｕ３、Ｔｖ＜Ｖ３のいずれかを満たす場合に、評価値が基準よりも大きいと判断することができる。この場合、例えば、Ｔｙ＝４０、Ｔｕ＝２０、Ｔｖ２０程度とすることができる。これらの閾値を、監視カメラ１０の追尾処理部１２０の追尾処理において、目標色と同一の色と見なせる基準の閾値、あるいは、目標色が変化したと判断する基準の閾値等と合わせることによって、内部処理の整合性を取ることができる。
【００７４】
また、評価値として、Ｙ３、Ｕ３、Ｖ３の２乗和の平方根で求められる色差を用いるようにしてもよい。この場合、例えば、閾値をＴとしたとき、Ｔ2＜（Ｙ３2＋Ｕ３2＋Ｖ３2）を満たす場合に、評価値が基準よりも大きく、現在の目標色と受信した最新の目標色との差が大きいと判断することができる。ただし、現在の目標色と受信した最新の目標色との差の評価方法はこれらに限られない。
【００７５】
現在の目標色と、受信した最新の目標色との差を評価した結果、所定の基準より大きく、両者の差が大きいと判断した場合（Ｓ５０３：Ｙｅｓ）は、目標色の表示を行ない（Ｓ５０４）、差が大きくないと判断した場合（Ｓ５０３：Ｎｏ）は、目標色の表示は行なわない。これにより、監視カメラ１０ａが目標色の更新を行なった際に、更新された目標色が現在の目標色と大きく変化した場合に、図１０に示したように表示装置４０に目標色を示す情報が表示されることになる。
【００７６】
なお、目標色が大きく変化したことを強調するために、目標色を示す情報４０２を表示後、所定期間が経過したら目標色を示す情報４０２を消去することが好ましい。これにより、監視者は、目標色を示す情報４０２が新たに表示されたことで目標色が大きく変化したことを容易に認識することができるようになる。また、目標色が変化しない場合には目標色を示す情報４０２が表示されないため、監視カメラ１０ａから入力される映像信号に基づく画像が見やすくなる。もちろん、監視者からの指示に基づいて目標色を示す情報４０２を消去するようにしてもよい。
【００７７】
あるいは、目標色を示す情報４０２の表示を行なう際に、目立つ枠を付したり、点滅させたり、サイズを大きくする等の強調表示を行なうようにしてもよい。このようにすることで、監視者は目標色が大きく変化したことをさらに容易に認識することができるようになる。
【００７８】
最後に、上記第２実施例、第３実施例の変形例について説明する。変形例では、目標色を示す情報の表示位置の調整について説明する。図１２は、変形例におけるＰＣ２０の特徴的な動作について説明するフローチャートである。本動作は、図９に示した第２実施例の目標色表示処理（Ｓ４０２）、図１１に示した第３実施例の目標色表示処理（Ｓ５０４）のサブルーチンとして行なわれる。
【００７９】
変形例では、目標色を示す情報を表示する際に、監視カメラ１０から取得した追尾対象領域、あるは、監視者から指定された追尾対象領域を参照する（Ｓ６０１）。そして、目標色を示す情報の初回の表示の際（Ｓ６０２：Ｙｅｓ）には、画面における追尾対象領域の反対側に目標色を示す情報を表示する。例えば、目標色を示す情報の初回の表示の際に、図１３（ａ）に示すように追尾対象領域４０４が画面の右側に存在している場合には、画面の左側に目標色を示す情報４０５を表示する。これにより、目標色を示す情報４０５が追尾対象物の監視の邪魔になることを防ぐことができる。
【００８０】
目標色の２回目以降の表示であれば（６０２：Ｎｏ）、表示している目標色を示す情報と追尾対象領域とが重複するかどうかを判断する（Ｓ６０４）。その結果、重複しない場合には（Ｓ６０４：Ｎｏ）、表示位置は変更せずに目標色を示す情報を表示する（Ｓ６０６）。
【００８１】
一方、表示している目標色を示す情報と追尾対象領域とが重複する場合には（Ｓ６０４：Ｙｅｓ）、表示位置を移動して目標色を示す情報を表示する（Ｓ６０５）。例えば、図１３（ｂ）に示すように、追尾対象領域４０６が左側に移動してきた場合には、目標色を示す情報４０７は反対側の右側に表示されることになる。これにより、目標色４０７が追尾対象物の監視の邪魔になることを防ぐことができる。ここでは、目標色を示す情報の表示位置として画面の左上と右上とのいずれかとしたが、表示位置はこれらに限られない。
【００８２】
なお、目標色の表示位置は、監視者からの指示に基づいて変更するようにしてもよい。また、目標色の表示サイズについても監視者からの指示に基づいて変更できるようにしてもよい。
【符号の説明】
【００８３】
１０…監視カメラ
１１…撮像光学系
１２…撮像素子（ＣＣＤ）
１３…信号処理回路（ＤＳＰ）
１４…画像圧縮回路（ＥＮＣ）
１５…ＮｅｔｗｏｒｋＩ／Ｆ
１６…駆動機構
２０…ＰＣ
２１…ＣＰＵ
２２…メモリ（ＭＥＭ）
２３…ＶｉｄｅｏＣａｒｄ
２４…インタフェース（Ｉ／Ｆ）
２５…ハードディスクドライブ（ＨＤＤ）
２６…ネットワークインタフェースカード（ＮＩＣ）
３０…入力デバイス
４０…表示装置
７０…ネットワーク
１１０…撮像部
１２０…追尾処理部
１２１…画像格納部
１２２…目標色格納部
１２３…目標色更新部
１３０…カメラ制御部
１４０…駆動部
２１０…ビューワ処理部
２１１…表示制御部
２１２…追尾対象指示処理部
【技術分野】
【０００１】
本発明は、目標色を用いて自動追尾処理を行なう撮像装置、この撮像装置から受信した画像を出力する画像表示装置およびこれらを備えた画像表示システムに関する。
【背景技術】
【０００２】
監視カメラやビデオカメラ等の撮像装置において、特定の被写体を追尾対象物として自動的に追尾する技術が知られている。例えば、特許文献１には、追尾対象物が有している特定の色を目標色として記憶し、その目標色を基準に追尾対象物の位置を検出することで自動追尾を行なう撮像装置が記載されている。
【０００３】
このような撮像装置は目標色を基準として追尾対象物の自動追尾を行なうが、追尾対象物の色は、光の当たり具合や、ビデオカメラによるホワイトバランス調整、露出調整等により見かけ上変化する。追尾対象物の色の見かけ上の変化に対応して自動追尾を継続するため、特許文献２には、追尾対象物の位置を検出した際に、目標色を再設定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−２８４４１１号公報
【特許文献２】特開平７−１５４６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の技術等により、近年、目標色を用いた自動追尾の精度は向上しているが、追尾対象物の見かけ上の色の急激な変化や、近似色の他物体の存在等により、目標色と追尾対象物の色とが乖離して自動追尾が失敗することも起こり得る。このため、実際の監視現場においては、撮像装置からの映像を監視し、必要に応じて追尾対象物を再設定する監視者の判断が重要となる。
【０００６】
しかしながら、従来の自動追尾処理においては、監視者は追尾対象物を指定するだけであり、どのような色が目標色として設定されたかを知ることができなかった。また、撮像装置によって目標色が更新された場合も、どのような色に更新されたかを知ることができなかった。このため、撮像装置で設定されている目標色と追尾対象物の色とがどの程度乖離したかを判断することができず、追尾対象物の再設定を適切に行なうことが難しかった。
【０００７】
そこで、本発明は、目標色を用いた自動追尾処理において、撮像装置側で設定されている目標色の確認を監視者が容易に行える技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の第１の態様である画像表示装置は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、前記表示制御手段により合成された合成画像を表示する表示手段と、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備える。
【０００９】
ここで、前記表示制御手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１０】
また、前記表示制御手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１１】
上記課題を解決するため、本発明の第２の態様である撮像装置は、撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、所定の条件を満たした場合に、前記目標色を更新し、更新した設定された前記目標色を示す色情報を出力する追尾処理手段とを備える。
【００１２】
上記課題を解決するため、本発明の第３の態様である画像表示システムは、撮像装置と画像表示装置とを備えた画像表示システムであって、前記撮像装置は、撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、前記画像表示装置から追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、設定された前記目標色を示す色情報を出力する追尾処理手段とを備え、前記画像表示装置は、前記撮像装置から出力された前記映像信号と前記色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、前記表示制御手段により合成された合成画像を表示する表示手段と、前記追尾処理における追尾対象物の指示を外部から受け付け、受け付けた前記追尾対象物に基づいて目標色を取得し、受け付けた前記追尾対象物および取得した前記目標色を前記撮像装置に通知する追尾対象指示処理手段と、を備える。
【００１３】
ここで、前記画像表示装置の表示制御手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１４】
また、前記画像表示装置の表示制御手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１５】
上記課題を解決するため、本発明の第４の態様である画像表示方法は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御ステップと、前記表示制御手段により合成された合成画像を表示する表示ステップと、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示受付ステップとを有する。
【００１６】
ここで、前記表示制御ステップは、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００１７】
また、前記表示制御ステップは、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【００１８】
上記課題を解決するため、本発明の第５の態様である画像合成装置は、撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する画像合成手段と、前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備える。
【００１９】
ここで、前記画像合成手段は、直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することができる。
【００２０】
また、前記画像合成手段は、前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することができる。
【発明の効果】
【００２１】
本発明によれば、目標色を用いた自動追尾処理において、撮像装置側で設定されている目標色の確認を監視者が容易に行える技術が提供される。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る監視システムのハードウェア構成を示すブロック図である。
【図２】第１実施例における監視カメラの機能構成を示すブロック図である。
【図３】ＰＣの機能構成を示すブロック図である。
【図４】第１実施例におけるＰＣの動作を説明するフローチャートである。
【図５】第１実施例において表示装置に表示される画面例を示す図である。
【図６】第１実施例における監視カメラの動作を説明するフローチャートである。
【図７】第２実施例における監視カメラの機能構成を示すブロック図である。
【図８】実施例２における監視カメラの特徴的な動作を説明するフローチャートである。
【図９】実施例２におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１０】第２実施例において表示装置に表示される画面例を示す図である。
【図１１】実施例３におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１２】変形例におけるＰＣの特徴的な動作を説明するフローチャートである。
【図１３】変形例において表示装置に表示される画面例を示す図である。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本実施形態に係る監視システムのハードウェア構成を示すブロック図である。本図に示すように監視システムは、撮像装置として機能する監視カメラ１０と画像表示装置として機能するＰＣ２０とがネットワーク７０を介して接続される構成である。監視カメラ１０は、目標色を基準とした自動追尾機能を備えており、ＰＣ２０は、監視カメラ１０が撮像した映像に基づく画像を表示するために用いられる。ＰＣ２０には、マウス、キーボード等の入力デバイス３０と、監視カメラ１０が撮像した映像を表示する表示装置４０とが接続されている。なお、表示装置４０にタッチパネル機能を備えさせ、入力デバイス３０と表示装置４０とを一体化するようにしてもよい。
【００２４】
本図示すように監視カメラ１０は、光学レンズと絞り機構とを含む撮像光学系１１、撮像素子（ＣＣＤ）１２、信号処理回路（ＤＳＰ）１３、画像圧縮回路（ＥＮＣ）１４、ＮｅｔｗｏｒｋＩ／Ｆ１５、駆動機構１６、ＣＰＵ１７、メモリ（ＭＥＭ）１８を備えている。
【００２５】
撮像光学系１１を通過した光は撮像素子（ＣＣＤ）１２により電気信号に変換され、信号処理回路（ＤＳＰ）１３において所定の信号処理を施され、デジタル映像信号が生成される。デジタル映像信号は、画像圧縮回路（ＥＮＣ）１４により所定の映像ストリームフォーマットで圧縮され、ＮｅｔｗｏｒｋＩ／Ｆ１５からネットワーク７０を介してＰＣ２０に出力される。
【００２６】
ＣＰＵ１７は、メモリ（ＭＥＭ）１８に格納されたプログラムにしたがって目標色を基準とした目標追尾処理を行ない、追尾対象物が監視カメラ１０の画角に収まるように駆動機構１６を制御する。駆動機構１６は、駆動モータ、可動機構等を備えて構成され、パン、チルト、ズーム動作を行なう。
【００２７】
ＰＣ２０は、ＣＰＵ２１、メモリ（ＭＥＭ）２２、ＶｉｄｅｏＣａｒｄ２３、インタフェース（Ｉ／Ｆ）２４、ハードディスクドライブ（ＨＤＤ）２５、ネットワークインタフェースカード（ＮＩＣ）２６を備えており、汎用的な情報処理装置を用いて構成することができる。
【００２８】
次に、上記ハードウェアで構成される監視システムにおける動作の第１実施例について説明する。図２は、第１実施例における監視カメラ１０の機能構成を示すブロック図である。本図に示すように監視カメラ１０は、撮像部１１０、追尾処理部１２０、カメラ制御部１３０、駆動部１４０を備えて構成される。
【００２９】
撮像部１１０は、撮像光学系１１、撮像素子（ＣＣＤ）１２、信号処理回路（ＤＳＰ）１３、画像圧縮回路（ＥＮＣ）１４等を備えて構成され、撮像処理およびデジタル映像信号の生成を行なう。ただし、生成する映像信号はアナログであってもよい。
【００３０】
追尾処理部１２０は、ＣＰＵ１７がメモリ（ＭＥＭ）１８に格納されたプログラムにしたがって動作することにより構成され、目標色を用いた目標追尾処理を行なう。追尾処理部１２０が行なう目標追尾処理のアルゴリズムは限定されず、公知の技術を用いることができる。追尾処理部１２０は、記憶領域として画像格納部１２１、目標色格納部１２２を備えている。
【００３１】
カメラ制御部１３０は、ＣＰＵ１７がメモリ（ＭＥＭ）１８に格納されたプログラムにしたがって動作することにより構成され、目標追尾処理によって得られた追尾対象物の領域に基づいて駆動部１４０を制御する。駆動部１４０は、駆動機構１６を備えて構成され、カメラ制御部１３０の制御にしたがってパン、チルト、ズーム動作を行なう。
【００３２】
図３は、ＰＣ２０の機能構成を示すブロック図である。本図に示すように、ＰＣ２０には、ビューワ処理部２１０が構成される。ビューワ処理部２１０は、ＣＰＵ２１がメモリ（ＭＥＭ）２２に格納されたビューワ用プログラムにしたがって動作することにより構成され、表示制御部２１１と、追尾対象指示処理部２１２とを備えている。
【００３３】
表示制御部２１１は、監視カメラ１０から出力されたデジタル映像信号に基づいて表示装置４０に表示する画像を制御する。表示制御部２１１が表示装置４０に表示する画像は、監視カメラ１０が撮像した映像信号に基づく画像と、目標追尾処理において基準となっている目標色を示す情報とを合成した画像である。
【００３４】
すなわち、本実施形態では、目標追尾処理において基準となっている目標色を示す情報が、監視側の表示装置４０に表示される。これにより、監視者は、目標色と追尾対象物の色とがどの程度乖離したかを判断することができるため、追尾対象物の再設定を適切に行なうことができるようになる。
【００３５】
追尾対象指示処理部２１２は、表示装置４０に表示された画像から追尾対象物に対応する領域の指示を受け付け、その領域に基づいて目標色を取得する。そして、受け付けた領域の情報と取得した目標色の情報とを監視カメラ１０に通知する。
【００３６】
図４は、第１実施例におけるＰＣ２０の動作を説明するフローチャートである。本処理は、監視者によりビューワ用プログラムが起動され、自動追尾開始指示を受け付けることで開始する（Ｓ１０１）。ビューワ用プログラムが実行されることにより構成されるビューワ処理部２１０は、監視カメラ１０に対して追尾対象物指定待ちの状態に移行させる。
【００３７】
ビューワ処理部２１０の表示制御部２１１は、監視カメラ１０から入力される映像信号に基づく画像を表示装置４０に表示する（Ｓ１０２）。入力される映像信号に基づく画像の表示は、目標追尾処理を終了する指示を受け付けるまで連続的に繰り返す（Ｓ１０８）。
【００３８】
監視者は、表示される画面上において、追尾対象物の指定を行なうことができる。追尾対象物の指定は、例えば、画面上の追尾対象物にカーソルを合わせてクリックすることで行なうことができる。あるいは、追尾対象物に対応する領域をドラッグすることで行なうようにしてもよい。さらには、タッチパネル式の表示装置４０を用いている場合には,画面上の追尾対象物をタッチすることで行なうようにしてもよい。
【００３９】
ＰＣ２０の追尾対象指示処理部２１２は、監視者から追尾対象物の指定を受け付けると（Ｓ１０３：Ｙｅｓ）、受け付けた追尾対象物の領域情報を取得する（Ｓ１０４）。領域情報は、例えば、指定された位置の画面内における座標とすることができる。あるいは、指定された領域の左上座標および右下座標とすることができる。
【００４０】
次いで、取得した領域情報に基づいて、目標色を取得する（Ｓ１０５）。目標色の取得は、例えば、指定された位置に対応する画素のＲＧＢ値を読み出して目標色とすることができる。あるいは、指定された位置の周辺画素のＲＧＢ平均値を目標色としたり、指定された領域に含まれる画素のＲＧＢ平均値等を目標色としてもよい。
【００４１】
そして、取得した領域情報と、取得した目標色を監視カメラ１０に通知する（Ｓ１０６）。後述するように、監視カメラ１０は、通知された領域情報と目標色とに基づいて目標追尾処理を行ない、目標追尾処理の結果として得られた映像信号をＰＣ２０に送信する。
【００４２】
追尾対象物の指定を受け付けた以降は、表示制御部２１１は、監視カメラ１０から入力される映像信号に基づく画像に、処理（Ｓ１０５）で取得した目標色を示す情報を合成して表示装置４０に表示する（Ｓ１０７）。
【００４３】
図５は、表示装置４０に表示される画像の例を示す図である。本図の例では、人物が追尾対象物として指定されており、人物の服４００の色が目標色として設定されているものとする。本図に示すように、目標色を示す情報４０１が、監視カメラ１０から入力される映像信号に基づく画像の右上に合成されて表示されている。目標色を示す情報４０１の表示は、オン／オフ切り替え可能なようにしてもよい。
【００４４】
このように目標色を示す情報が画面上で示されるため、監視者は、目標追尾処理の基準となっている目標色を把握することができる。このため、例えば、照明の影響等で追尾対象物の見かけ上の色が変化した場合に、追尾対象物を指定した際の目標色からどの程度変化したかを認識することができるので、処理（Ｓ１０３）による追尾対象物の再指定を適切に行なうことができる。なお、追尾対象物の再設定を受け付けると（Ｓ１０３：Ｙｅｓ）、その後は、再設定の際に取得された目標色が表示されることになる（Ｓ１０７）。
【００４５】
図６は、第１実施例における監視カメラ１０の動作を説明するフローチャートである。監視カメラ１０の追尾処理部１２０は、ＰＣ２０から送られた領域情報と、目標色とを受信すると（Ｓ２０１：Ｙｅｓ）、受信した目標色を目標色格納部１２２に格納する（Ｓ２０２）。そして、格納した目標色を基準色として目標追尾処理（Ｓ２０３）を繰り返し行なう。また、監視カメラ１０は、撮像した映像信号を画像圧縮回路（ＥＮＣ）１４で圧縮して、ＮｅｔｗｏｒｋＩ／Ｆ１５からＰＣ２０に出力する処理を目標追尾処理とは独立して繰り返す。
【００４６】
上述のように、監視カメラ１０の追尾処理部１２０が行なう目標色を用いた目標追尾処理は、アルゴリズムは限定されず、公知の技術を用いることができる。一例として、概略以下に示すような手順で行なうことができる。
【００４７】
まず、画像フレームを画像格納部１２１に格納する。そして格納した画像フレームを複数のブロックに分割し、ブロックごとに目標色格納部１２２に格納された目標色との比較を行なう。この比較において、ブロック内に含まれる画素のうち目標色と同一あるいは近似する色の画素数をカウントする。この結果、最もカウント数の多いブロックに追尾対象物が存在しているものと判断することで目標追尾処理を行なう。その後、目標追尾処理によって得られた追尾対象物の領域が画角に収まるように、パン、チルト、ズーム動作を行なうようにする。
【００４８】
次に、上記構成による監視システムにおける動作の第２実施例について説明する。第２実施例では第１実施例との相違点を中心に説明する。第２実施例では、追尾対象物の見かけ上の色が変化したときに、監視カメラ１０が目標色を更新する場合について説明する。
【００４９】
図７は、第２実施例における監視カメラの機能構成を示すブロック図である。第１実施例と同じブロックについて同じ符号を付し、説明は省略する。なお、ＰＣ２０は第１実施例と同様の機能構成とすることができる。
【００５０】
本図に示すように監視カメラ１０ａは、撮像部１１０、追尾処理部１２０ａ、カメラ制御部１３０、駆動部１４０から構成される。追尾処理部１２０ａは、画像格納部１２１、目標色格納部１２２に加え、目標色を更新する処理を行なう目標色更新部１２３を備えている。
【００５１】
ここで、第２実施例における目標追尾処理と、目標色更新部１２３が行なう目標色更新処理について説明する。第２実施例における目標追尾処理と目標色更新部１２３が行なう目標色更新処理とは、アルゴリズムは限定されず、公知の技術を用いることができる。
【００５２】
本実施例では、パーティクルフィルタによる目標追尾処理を行なうものとする。パーティクルフィルタは、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付き平均を次状態として予測しながら目標追尾を行っていくアルゴリズムである。
【００５３】
目標色更新部１２３は、目標色格納部１２２に格納されている目標色を対象として各パーティクルの尤度を測定した結果、尤度の高いパーティクルが十分存在しなくなった場合に目標色更新処理を行なうようにする。
【００５４】
目標色更新処理では、各パーティクルの尤度の測定対象を目標色から、前後のフレーム間の輝度差に切り替えることで動きのあった領域を検出する。そして、動きが検出された領域が追尾対象物の位置と推定し、その領域から取得した色を新たな目標色として設定し、目標色格納部１２２に格納する。その後、更新された目標色を用いて目標追尾処理を再開するものとする。
【００５５】
もちろん、本実施例における目標追尾処理、目標色更新処理は他の公知技術を用いるようにしてもよい。例えば、単純に、目標追尾処理毎に追尾対象物の色を再取得することで目標色を更新するようにしてもよい。
【００５６】
図８は、第２実施例における監視カメラ１０ａの特徴的な動作を説明するフローチャートである。本動作は、図６に示した第１実施例における監視カメラ１０の動作である目標追尾処理（Ｓ２０３）のサブルーチンとして行なわれる。
【００５７】
すなわち、目標追尾処理（Ｓ２０３）において、目標色更新部１２３が、目標更新処理が必要であるかどうかを判断し（Ｓ３０１）、必要と判断した場合に目標色を更新する（Ｓ３０２）。目標更新処理が必要であるかどうかの判断基準および目標色を更新する処理は上記の通りである。
【００５８】
そして、第２実施例では、監視カメラ１０ａによる目標追尾処理の結果推定された追尾対象物の領域情報と、最新の目標色とをＰＣ２０に通知する（Ｓ３０３）。追尾対象物の領域情報は、目標色更新の有無にかかわらず、目標追尾処理毎にＰＣ２０に通知するものとする。最新の目標色については、目標追尾処理毎に通知するようにしてもよいし、更新があった場合のみの通知するようにしてもよい。
【００５９】
追尾対象物の領域情報は、例えば、追尾対象物に対応した矩形領域の対角の座標で表わすことができる。また、最新の目標色は、目標色格納部１２２に格納されている目標色のＲＧＢ値とすることができる。一般に、デジタル映像信号として広く用いられているＪＰＥＧストリーム、ＭＰＥＧ４ストリーム等では、コメントセグメント、ユーザデータに独自のデータを追加することが可能である。追尾対象物の領域情報、最新の目標色は、例えば、監視カメラ１０が出力する映像データのコメントセグメントに記録することで、リアルタイムでＰＣ２０に通知することができる。
【００６０】
図９は、第２実施例におけるＰＣ２０の特徴的な動作を説明するフローチャートである。本動作は、図４に示した第１実施例におけるＰＣ２０の動作である入力画像表示処理（Ｓ１０２）のサブルーチンとして行なわれる。
【００６１】
すなわち、入力画像表示処理（Ｓ１０２）において、表示制御部２１１は、監視カメラ１０ａから通知された追尾対象物の領域情報と最新の目標色とを受信する（Ｓ４０１）。そして、受信した追尾対象物の領域情報および最新の目標色を、監視カメラ１０ａから入力される映像信号に基づく画像に合成して表示装置４０に表示する（Ｓ４０２）。
【００６２】
図１０は、表示装置４０に表示される画像の例を示す図である。本図の例では、人物が追尾対象物として指定されており、人物の服の色が目標色として設定されているものとする。ここでは、目標色を示す情報４０２が、監視カメラ１０ａから入力される映像信号に基づく画像の右上に合成されて表示されている。また、追尾対象物の領域情報が枠４０３として表示されている。これにより、監視者は追尾対象物の位置を認識しやすくなる。
【００６３】
追尾対象物の領域情報は、目標追尾処理毎に更新され、ＰＣ２０に通知されるため、追尾対象物の移動に合わせて枠４０３が移動することになる。また、目標色を示す情報４０２は目標追尾処理で用いられる最新の目標色が表示されるため、監視カメラ１０ａで目標色が更新されると即座に表示装置４０の画面上に反映されることになる。なお、目標色を示す情報４０２の表示および枠４０３の表示は、オン／オフ切り替え可能なようにしてもよい。
【００６４】
このように第２実施例では最新の目標色を示す情報が画面上で示されるため、監視者は、目標追尾処理の基準となっている目標色をリアルタイムに把握することができる。このため、監視カメラ１０ａで目標色が更新された場合に、監視者は、更新された目標色を認識することができ、目標色更新の検証を行なうことができる。また、照明の影響等で追尾対象物の見かけ上の色が変化した場合に、最新の目標色と、追尾対象物の見かけ上の色とを比較することができるので、処理（Ｓ１０３）による追尾対象物の再指定を適切に行なうことができる。
【００６５】
次に、上記構成による監視システムにおける動作の第３実施例について説明する。第３実施例では第２実施例との相違点を中心に説明する。第３実施例では、監視カメラ１０が目標色を更新した際に、更新前の目標色との差が大きいときに限り、ＰＣ２０で目標色の更新表示を行なう場合について説明する。
【００６６】
第３実施例における監視カメラおよびＰＣは第２実施例と同様の機能構成とすることができる。また、第３実施例における監視カメラの動作は第２実施例と同様とすることができる。すなわち、目標追尾処理において、必要に応じて目標色の更新処理を行ない、ＰＣ２０に対して更新した目標色を通知する。
【００６７】
図１１は、第３実施例におけるＰＣ２０の特徴的な動作を説明するフローチャートである。本動作は、図４に示した第１実施例におけるＰＣ２０の動作である入力画像表示処理（Ｓ１０２）のサブルーチンとして行なわれる。
【００６８】
すなわち、入力画像表示処理（Ｓ１０２）において、表示制御部２１１は、監視カメラ１０ａから通知された追尾対象物の領域情報と最新の目標色とを受信する（Ｓ５０１）。そして、現在の目標色と、受信した最新の目標色との差を評価する（Ｓ５０２）。現在の目標色と、受信した最新の目標色との差の評価は、例えば、以下の手順によって行なうことができる。
【００６９】
まず、ＲＧＢ形式で表わされた現在の目標色および受信した最新の目標色を、以下の式にしたがってＹＵＶ形式に変換する。ここで、Ｙは輝度信号であり、Ｕは輝度信号と青色成分の差分信号であり、Ｖは輝度信号と赤色成分の差分信号である。
【００７０】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｖ＝０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
そして、現在の目標色を（Ｙ１、Ｕ１、Ｖ１）とし、受信した最新の目標色を（Ｙ２、Ｕ２、Ｖ２）として、以下の式にしたがって評価値Ｙ３、Ｕ３、Ｖ１を算出する。
【００７１】
Ｙ３＝Ｙ２−Ｙ１
Ｕ３＝Ｕ２−Ｕ１
Ｖ３＝Ｖ２−Ｖ１
次いで、算出された評価値が所定の基準よりも大きいかどうかを判断する（Ｓ５０３）。ここで、評価値が所定の基準よりも大きい場合には、現在の目標色と受信した最新の目標色との差が大きいことを示すことになる。
【００７２】
例えば、閾値をＴとしたとき、Ｔ＜Ｙ３、Ｔ＜Ｕ３、Ｔ＜Ｖ３のいずれかを満たす場合に、評価値が基準よりも大きいと判断することができる。閾値Ｔは、例えば、Ｙ、Ｕ、Ｖの範囲を０〜２５５とした場合、Ｔ＝２０程度とすることができる。
【００７３】
あるいは、閾値をＹ、Ｕ、Ｖ毎に異なる閾値Ｔｙ、Ｔｕ、Ｔｖを用いて、Ｔｙ＜Ｙ３、Ｔｕ＜Ｕ３、Ｔｖ＜Ｖ３のいずれかを満たす場合に、評価値が基準よりも大きいと判断することができる。この場合、例えば、Ｔｙ＝４０、Ｔｕ＝２０、Ｔｖ２０程度とすることができる。これらの閾値を、監視カメラ１０の追尾処理部１２０の追尾処理において、目標色と同一の色と見なせる基準の閾値、あるいは、目標色が変化したと判断する基準の閾値等と合わせることによって、内部処理の整合性を取ることができる。
【００７４】
また、評価値として、Ｙ３、Ｕ３、Ｖ３の２乗和の平方根で求められる色差を用いるようにしてもよい。この場合、例えば、閾値をＴとしたとき、Ｔ2＜（Ｙ３2＋Ｕ３2＋Ｖ３2）を満たす場合に、評価値が基準よりも大きく、現在の目標色と受信した最新の目標色との差が大きいと判断することができる。ただし、現在の目標色と受信した最新の目標色との差の評価方法はこれらに限られない。
【００７５】
現在の目標色と、受信した最新の目標色との差を評価した結果、所定の基準より大きく、両者の差が大きいと判断した場合（Ｓ５０３：Ｙｅｓ）は、目標色の表示を行ない（Ｓ５０４）、差が大きくないと判断した場合（Ｓ５０３：Ｎｏ）は、目標色の表示は行なわない。これにより、監視カメラ１０ａが目標色の更新を行なった際に、更新された目標色が現在の目標色と大きく変化した場合に、図１０に示したように表示装置４０に目標色を示す情報が表示されることになる。
【００７６】
なお、目標色が大きく変化したことを強調するために、目標色を示す情報４０２を表示後、所定期間が経過したら目標色を示す情報４０２を消去することが好ましい。これにより、監視者は、目標色を示す情報４０２が新たに表示されたことで目標色が大きく変化したことを容易に認識することができるようになる。また、目標色が変化しない場合には目標色を示す情報４０２が表示されないため、監視カメラ１０ａから入力される映像信号に基づく画像が見やすくなる。もちろん、監視者からの指示に基づいて目標色を示す情報４０２を消去するようにしてもよい。
【００７７】
あるいは、目標色を示す情報４０２の表示を行なう際に、目立つ枠を付したり、点滅させたり、サイズを大きくする等の強調表示を行なうようにしてもよい。このようにすることで、監視者は目標色が大きく変化したことをさらに容易に認識することができるようになる。
【００７８】
最後に、上記第２実施例、第３実施例の変形例について説明する。変形例では、目標色を示す情報の表示位置の調整について説明する。図１２は、変形例におけるＰＣ２０の特徴的な動作について説明するフローチャートである。本動作は、図９に示した第２実施例の目標色表示処理（Ｓ４０２）、図１１に示した第３実施例の目標色表示処理（Ｓ５０４）のサブルーチンとして行なわれる。
【００７９】
変形例では、目標色を示す情報を表示する際に、監視カメラ１０から取得した追尾対象領域、あるは、監視者から指定された追尾対象領域を参照する（Ｓ６０１）。そして、目標色を示す情報の初回の表示の際（Ｓ６０２：Ｙｅｓ）には、画面における追尾対象領域の反対側に目標色を示す情報を表示する。例えば、目標色を示す情報の初回の表示の際に、図１３（ａ）に示すように追尾対象領域４０４が画面の右側に存在している場合には、画面の左側に目標色を示す情報４０５を表示する。これにより、目標色を示す情報４０５が追尾対象物の監視の邪魔になることを防ぐことができる。
【００８０】
目標色の２回目以降の表示であれば（６０２：Ｎｏ）、表示している目標色を示す情報と追尾対象領域とが重複するかどうかを判断する（Ｓ６０４）。その結果、重複しない場合には（Ｓ６０４：Ｎｏ）、表示位置は変更せずに目標色を示す情報を表示する（Ｓ６０６）。
【００８１】
一方、表示している目標色を示す情報と追尾対象領域とが重複する場合には（Ｓ６０４：Ｙｅｓ）、表示位置を移動して目標色を示す情報を表示する（Ｓ６０５）。例えば、図１３（ｂ）に示すように、追尾対象領域４０６が左側に移動してきた場合には、目標色を示す情報４０７は反対側の右側に表示されることになる。これにより、目標色４０７が追尾対象物の監視の邪魔になることを防ぐことができる。ここでは、目標色を示す情報の表示位置として画面の左上と右上とのいずれかとしたが、表示位置はこれらに限られない。
【００８２】
なお、目標色の表示位置は、監視者からの指示に基づいて変更するようにしてもよい。また、目標色の表示サイズについても監視者からの指示に基づいて変更できるようにしてもよい。
【符号の説明】
【００８３】
１０…監視カメラ
１１…撮像光学系
１２…撮像素子（ＣＣＤ）
１３…信号処理回路（ＤＳＰ）
１４…画像圧縮回路（ＥＮＣ）
１５…ＮｅｔｗｏｒｋＩ／Ｆ
１６…駆動機構
２０…ＰＣ
２１…ＣＰＵ
２２…メモリ（ＭＥＭ）
２３…ＶｉｄｅｏＣａｒｄ
２４…インタフェース（Ｉ／Ｆ）
２５…ハードディスクドライブ（ＨＤＤ）
２６…ネットワークインタフェースカード（ＮＩＣ）
３０…入力デバイス
４０…表示装置
７０…ネットワーク
１１０…撮像部
１２０…追尾処理部
１２１…画像格納部
１２２…目標色格納部
１２３…目標色更新部
１３０…カメラ制御部
１４０…駆動部
２１０…ビューワ処理部
２１１…表示制御部
２１２…追尾対象指示処理部
【特許請求の範囲】
【請求項１】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、
前記表示制御手段により合成された合成画像を表示する表示手段と、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えたことを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置であって、
前記表示制御手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示装置。
【請求項３】
請求項１または２に記載の画像表示装置であって、
前記表示制御手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示装置。
【請求項４】
撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、
追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、所定の条件を満たした場合に、前記目標色を更新し、更新した設定された前記目標色を示す色情報を出力する追尾処理手段とを備えたことを特徴とする撮像装置。
【請求項５】
撮像装置と画像表示装置とを備えた画像表示システムであって、
前記撮像装置は、
撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、
前記画像表示装置から追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、設定された前記目標色を示す色情報を出力する追尾処理手段とを備え、
前記画像表示装置は、
前記撮像装置から出力された前記映像信号と前記色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、
前記表示制御手段により合成された合成画像を表示する表示手段と、
前記追尾処理における追尾対象物の指示を外部から受け付け、受け付けた前記追尾対象物に基づいて目標色を取得し、受け付けた前記追尾対象物および取得した前記目標色を前記撮像装置に通知する追尾対象指示処理手段と、を備えたことを特徴とする画像表示システム。
【請求項６】
請求項５に記載の画像表示システムであって、
前記画像表示装置の表示制御手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示システム。
【請求項７】
請求項５または６に記載の画像表示システムであって、
前記画像表示装置の表示制御手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示システム。
【請求項８】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御ステップと、
前記表示制御手段により合成された合成画像を表示する表示ステップと、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示受付ステップとを有することを特徴とする画像表示方法。
【請求項９】
請求項８に記載の画像表示方法であって、
前記表示制御ステップは、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示方法。
【請求項１０】
請求項８または９に記載の画像表示方法であって、
前記表示制御ステップは、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示方法。
【請求項１１】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する画像合成手段と、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えたことを特徴とする画像合成装置。
【請求項１２】
請求項１１に記載の画像合成装置であって、
前記画像合成手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像合成装置。
【請求項１３】
請求項１１または１２に記載の画像合成装置であって、
前記画像合成手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像合成装置。
【請求項１】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、
前記表示制御手段により合成された合成画像を表示する表示手段と、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えたことを特徴とする画像表示装置。
【請求項２】
請求項１に記載の画像表示装置であって、
前記表示制御手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示装置。
【請求項３】
請求項１または２に記載の画像表示装置であって、
前記表示制御手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示装置。
【請求項４】
撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、
追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、所定の条件を満たした場合に、前記目標色を更新し、更新した設定された前記目標色を示す色情報を出力する追尾処理手段とを備えたことを特徴とする撮像装置。
【請求項５】
撮像装置と画像表示装置とを備えた画像表示システムであって、
前記撮像装置は、
撮像を行ない、前記撮像に係る映像信号を出力する撮像手段と、
前記画像表示装置から追尾対象物と目標色との指定を受け付け、所定の条件を満たす場合には前記目標色を更新しつつ、設定される目標色を用いて、前記撮像に係る映像信号を対象に前記追尾対象物の追尾処理を行なうとともに、設定された前記目標色を示す色情報を出力する追尾処理手段とを備え、
前記画像表示装置は、
前記撮像装置から出力された前記映像信号と前記色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御手段と、
前記表示制御手段により合成された合成画像を表示する表示手段と、
前記追尾処理における追尾対象物の指示を外部から受け付け、受け付けた前記追尾対象物に基づいて目標色を取得し、受け付けた前記追尾対象物および取得した前記目標色を前記撮像装置に通知する追尾対象指示処理手段と、を備えたことを特徴とする画像表示システム。
【請求項６】
請求項５に記載の画像表示システムであって、
前記画像表示装置の表示制御手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示システム。
【請求項７】
請求項５または６に記載の画像表示システムであって、
前記画像表示装置の表示制御手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示システム。
【請求項８】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する表示制御ステップと、
前記表示制御手段により合成された合成画像を表示する表示ステップと、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示受付ステップとを有することを特徴とする画像表示方法。
【請求項９】
請求項８に記載の画像表示方法であって、
前記表示制御ステップは、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像表示方法。
【請求項１０】
請求項８または９に記載の画像表示方法であって、
前記表示制御ステップは、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像表示方法。
【請求項１１】
撮像装置から出力された、目標色を用いた追尾処理の結果得られた映像信号と前記目標色を示す色情報とを入力し、前記映像信号に基づく画像と前記色情報に基づく画像とを合成する画像合成手段と、
前記追尾処理における追尾対象物の指示を外部から受け付ける追尾対象指示処理手段とを備えたことを特徴とする画像合成装置。
【請求項１２】
請求項１１に記載の画像合成装置であって、
前記画像合成手段は、
直前に入力した前記色情報の示す前記目標色と、新たに入力した前記色情報の示す目標色との差が所定の基準より大きい場合に、前記映像信号に基づく画像と前記新たに入力した色情報に基づく画像とを合成することを特徴とする画像合成装置。
【請求項１３】
請求項１１または１２に記載の画像合成装置であって、
前記画像合成手段は、
前記追尾処理の結果得られた追尾対象物の領域情報をさらに入力し、前記色情報に基づく画像と前記映像信号に基づく画像とを、前記色情報に基づく画像が前記領域情報の示す領域と重ならない位置に配置されるように合成することを特徴とする画像合成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−２２６６４４（Ｐ２０１０−２２６６４４Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７４０８９（Ｐ２００９−７４０８９）
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２５日（２００９．３．２５）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]