説明

表示制御装置、表示制御方法

【課題】 プライバシーマスク領域の位置やサイズによっては、プライバシーマスク領域の直感的な設定が困難になる場合があった。
【解決手段】 クライアント3の制御部34は、パノラマ領域上でプライバシーマスク領域を指定し(S700)、指定されたプライバシーマスク領域よりも大きい図形をパノラマ領域上のプライバシーマスク領域に重ねて表示させ(S701)、表示された図形に対応するプライバシーマスク領域の移動操作を受け付ける(S705)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プライバシーマスクの設定方法に関する。
【背景技術】
【0002】
カメラの首振り制御により撮像可能な範囲のパノラマ画像上でプライバシーマスク領域を設定することが知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−136514号広報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、プライバシーマスク領域の位置やサイズによっては、プライバシーマスク領域の設定が困難になる場合があった。
例えば、パノラマ領域上のプライバシーマスク領域をマウスでドラッグすることによりプライバシーマスク領域の移動やサイズ変更を行う場合、プライバシーマスク領域のサイズが小さいと、マウスによる操作が困難になることがあった。
【0005】
また、最大画角に対応するズーム値における撮像範囲を示す領域内で、プライバシーマスク領域をドラッグして移動させる場合、移動操作時の撮像装置のズーム値によっては、プライバシーマスク領域を撮像範囲の領域の端まで移動できないことがある。このような場合、ユーザによるプライバシーマスク領域の直感的な設定が困難になる場合があった。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、プライバシーマスク領域の設定をより容易に行えるようにすることである。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明の表示制御装置は、例えば、以下の構成を有する。すなわち、撮像装置により得られた画像データに基づく画像を表示させる表示制御装置であって、前記画像のプライバシーマスク領域を指定する指定手段と、前記指定されたプライバシーマスク領域よりも大きい図形を前記プライバシーマスク領域に重ねて表示させる表示制御手段と、前記表示された図形に対応するプライバシーマスク領域の移動操作を受け付ける制御手段とを有する。
【発明の効果】
【0007】
本発明によれば、プライバシーマスク領域の直感的な設定をより容易に行えるようになる。
【図面の簡単な説明】
【0008】
【図1】クライアント3の画面を示す図
【図2】プライバシーマスク領域と図形の表示例を示す図
【図3】プライバシーマスク領域の選択を切り換えたときのクライアント3の画面を示す図
【図4】図3のパノラマ画像におけるプライバシーマスク領域と図形の表示例を示す図
【図5】クライアント3が保持するプライバシーマスクの設定パラメータを示す図
【図6】本形態のシステム構成を示す図
【図7】プライバシーマスク領域をドラッグ操作したときの処理を示すフローチャート
【図8】パノラマ領域でクリック操作を行ったときの処理を示すフローチャート
【図9】マウスカーソルからの距離に応じて図形を表示させる処理を示すフローチャート
【図10】図9で表示された図形の選択に応じてプライバシーマスク領域を選択する処理を示すフローチャート
【図11】第2の実施形態のクライアント3の画面を示す図
【図12】第2の実施形態のクライアント3のパノラマ領域の表示例を示す図
【図13】第2の実施形態のプライバシーマスク領域をドラッグ操作したときの処理を示すフローチャート
【発明を実施するための形態】
【0009】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
【0010】
<第1の実施形態>
本実施形態では、プライバシーマスク領域(以下マスク領域)に重ねて、マスク領域よりも大きな図形を表示させる例について説明する。なお、本形態では、マスク領域を囲む枠として図形を表示する形態を中心に説明する。図形は、枠内に色を有していても、無色であってもよい。また、図形は、実線であっても、点線や破線などであってもよい。図6は、本形態のネットワークカメラシステムのブロック図である。
【0011】
本実施形態では、カメラサーバ1、ビューワークライアント2(以下クライアント2)、プライバシーマスク設定用クライアント3(以下クライアント3)がネットワーク4によって接続されている。それぞれ、ネットワーク4に接続される数に制限はないが、説明の簡略化のため各々1台ずつ接続される形態を説明する。ネットワーク4は、後で述べるカメラ制御信号や画像信号等を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークである。なお、本形態ではネットワークプロトコルとしてTCP/IP(UDP/IP)プロトコルを用いる。カメラサーバ1、クライアント2、クライアント3には、それぞれ異なるIPアドレスが割り当てられているものとする。
【0012】
本形態のカメラサーバ1は、クライアント3によるマスク領域の設定に基づいて、ビデオカメラ11による撮像画像にプライバシーマスク処理を行う。
カメラサーバ1の画像入力部15は、ビデオカメラ11による撮像画像(動画および静止画)を取り込む。画像入力部15は、プライバシーマスクが有効になっている場合、撮像画像をプライバシーマスク合成部19へ入力し、プライバシーマスクが無効になっている場合、撮像画像を画像圧縮部16へ入力する。プライバシーマスク合成部19は、画像入力部15により入力された撮像画像に対してプライバシーマスク処理を行い、処理後の撮像画像を画像圧縮部16へ入力する。
【0013】
画像圧縮部16は、プライバシーマスク合成部19又は画像入力部15から入力された撮像画像をクライアントに配信しやすいデータサイズに圧縮する。なお、画像圧縮部16は、ビデオカメラ11からのNTSC画像信号を取り込み、A/D変換を行い、MotionJPEGで圧縮して、通信部14に渡しネットワーク4に送出する。なお、ここでは画像の圧縮形式をMotionJEPGとしたが、この圧縮形式に限らない。通信部14は、画像圧縮部16により圧縮された画像データを、ネットワーク4を介してクライアント2、3へ送信する。
【0014】
記憶部18は、クライアント3から送信されたプライバシーマスクの設定値やビデオカメラ11による複数回の撮像により得られたパノラマ画像データなどを保持する。
【0015】
コマンド解釈部17は、通信部14がクライアント2、3から受信したカメラ操作コマンドを解釈する。また、コマンド解釈部17は、通信部14がクライアント3から受信したマスク設定コマンドを解釈する。コマンド解釈部17は、パン、チルト操作に関するカメラ操作コマンドを受信した場合、カメラ・雲台制御部13可動雲台12を制御させる。可動雲台12にはビデオカメラ11が取り付けられており、可動雲台12の制御によってパン角、チルト角が制御される。また、コマンド解釈部17は、ズームの操作に関するカメラ操作コマンドを受信した場合、カメラ・雲台制御部13を介してビデオカメラ11のズームを制御する。また、コマンド解釈部17は、プライバシーマスクの追加、移動、削除などに関するマスク設定コマンドを受信した場合、記憶部18に記憶されているプライバシーマスクのパラメータを書き換える。これにより、プライバシーマスク合成部19が制御される。
【0016】
クライアント2は、カメラサーバ1のIPアドレスを指定してカメラサーバ1と接続される。通信部21は、カメラサーバ1から送信されてきた画像データおよびパノラマ画像データを受信するとともに、各種カメラ操作の結果を受信する。また、制御部24は、画像伸長部25で伸長された画像データに応じた画像、および伸長されたパノラマ画像データに応じたパノラマ画像を、グラフィカルユーザインタフェース(GUI)と合わせて画面表示部26で表示させる。
【0017】
カメラ操作入力部23は、マウスやキーボードによる各種ユーザ入力を受け付ける。操作コマンド生成・解釈部22は、カメラ操作入力部23からの入力に応じてカメラ操作コマンドを生成し、通信部21を介してカメラサーバ1へ送信する。例えば、ビデオカメラ11のパン・チルト・ズームの操作に関するGUI操作が行われると、操作コマンド生成・解釈部22は、GUI操作に対応する各種カメラ操作コマンドを生成する。生成された各種カメラ操作コマンドは通信部21からカメラサーバ1へ送信される。また、操作コマンド生成・解釈部22は、カメラサーバ1から受信したカメラ操作結果を解釈して、制御部24に渡す。制御部24は、操作コマンド生成・解釈部22から渡されたカメラ操作結果を画面表示部26に表示させる。
【0018】
クライアント3は、クライアント2と同様にカメラサーバ1のIPアドレスを指定してカメラサーバ1と接続される。通信部31、操作コマンド生成・解釈部32、カメラ操作入力部33、画像伸長部35、画面表示部36は、それぞれクライアント2に含まれるものと同様の機能を備える。クライアント3は、撮像装置(ビデオカメラ11)により得られた画像データに基づく画像を表示させる表示制御装置である。また、クライアント3は、図6の制御部34内に、カメラサーバ1のパン、チルト、ズーム値や各マスク領域に関するパラメータを保持するための保持部を有する。保持部は、クライアント3のROMやRAMの一部の記憶領域を用いても、専用の記憶装置を用いても良い。
【0019】
マスク設定入力部37は、マスク領域の設定に関するユーザ入力を受け付ける。すなわち、マスク設定入力部37は、不図示のマウスに接続されており、マウスによる指示座標やマウスのアクション(クリック操作やドラッグ操作)に関する情報を取得して設定コマンド生成・解釈部38に渡す。なお、本形態では、マスク設定入力部37がマウスに接続される例を中心に説明するが、マウスの代わりに、例えばジョイスティックやキーボードなどが接続されるようにしても良い。また、設定コマンド生成・解釈部38は、マスク設定入力部37からの入力に基づいてマスク設定コマンドを生成する。通信部31は、操作コマンド生成・解釈部32によって生成された各種カメラ操作コマンドだけでなく、設定コマンド生成・解釈部38によって生成されたマスク設定コマンドの送信とその設定結果の受信を行う。制御部34は、マスク設定入力部37から受け付けたマスク領域の設定に関するユーザ入力や通信部31から受け付けたマスク領域の設定結果を画面表示部36に表示させる。
【0020】
図1は、クライアント3の画面表示部36の表示例である。
510はカメラサーバ1からの画像データに応じた画像を表示する画像表示領域である。パンスクロールバー560、チルトスクロールバー570、ズームスライダー580の操作により、可動雲台12、ビデオカメラ11のズームが制御される。画像表示領域510には、既にクライアント3によって設定されたマスク領域511が合成された画像が表示されると共に、プライバシーマスクの位置と大きさを設定するためのプレビュー枠512が表示される。
【0021】
画面右側のパノラマ領域520にはパノラマ画像が表示される。パノラマ画像は、ビデオカメラ11のパン角、チルト角を制御しながら複数回の撮像をすることで得られた複数の撮像画像を合わせて生成される。ただし、必ずしもパノラマ領域520にパノラマ画像を表示する必要はなく、ビデオカメラ11の撮像可能領域内でマスク領域を移動するためのインタフェースとして機能すれば良い。本形態のパノラマ領域520は、ビデオカメラ11のズーム値が最小(広角端)のときのビデオカメラ11の撮像可能領域を示している。また、本形態のクライアント3は、パノラマ領域520内におけるマスク領域の位置を決めるために必要な情報(例えばビデオカメラ11が取りうるパン角、チルト角の情報)を保持している。
パノラマ画像上には、複数のマスク領域の位置と大きさを示すマスク領域521、522、523が表示されるとともに、マスク領域521に重ねて図形524が表示されている。
【0022】
また、パノラマ領域520の下に新規のマスク領域を追加するための追加ボタン530、既存のマスク領域の位置や大きさを変更するための変更ボタン540、既存のマスク領域を削除するための削除ボタン550が表示される。
追加ボタン530をクリックすると、画像表示領域510上のプレビュー枠512の位置に新たなマスク領域が追加され、パノラマ領域520上の対応する位置に新規のマスク領域が追加される。
変更ボタン540をクリックすると、選択中のマスク領域511がプレビュー枠512の位置に移動され、パノラマ領域520上の位置もそれに合わせて移動される。
削除ボタン550をクリックすると、マスク領域511が画像表示領域510から削除されると共に、パノラマ領域520上からも削除される。
【0023】
設定コマンド生成・解釈部38は、追加ボタン530、変更ボタン540、削除ボタン550の押下に応じてマスク設定入力部37より入力された設定情報に基づいてマスク設定コマンドを生成し、カメラサーバ1へ送信する。カメラサーバ1は、マスク設定コマンドに応じてマスク領域の追加、変更、削除を行う。
図5は、設定コマンド生成解釈部38により設定されるマスク領域のパラメータの例である。図5に示される各パラメータは、クライアント3の保持部に保持される。
【0024】
本形態のクライアント3は、各マスク領域に管理番号を割り当て、それぞれマスク領域を設定したときのパン角、チルト角、ズーム値と、マスク領域の位置と大きさを表す左、上、幅、高さのピクセル値をパラメータに持つ。左のピクセル値は、対応するパン角、チルト角、ズーム値におけるビデオカメラ11の撮像画像の左端からのピクセル数を示し、高さのピクセル値は、対応するパン角、チルト角、ズーム値におけるビデオカメラ11の撮像画像の上端からのピクセル数を示している。マスク設定入力部37は、ユーザが追加ボタン530を押下すると、そのときに表示されているプレビュー枠512を新たなマスク領域として追加する。すなわち、マスク設定入力部37は、追加ボタン530の押下に応じて、新たに追加されるマスク領域のパン角、チルト角、ズーム値、及び、左、上、幅、高さのピクセル値を設定する。なお、左、上、幅、高さのピクセル値は、VGAサイズの画像におけるピクセル値に換算される。
【0025】
なお、パノラマ領域520の高さは、ビデオカメラ11のズームが広角端のときのチルト方向の可視範囲、幅はズームが広角端のときのパン方向の可視範囲によって決まる。また、パノラマ領域520に表示するマスク領域521、522、523の中心位置は、各マスク領域のパン角、チルト角、ズーム値、左、上のピクセル値に基づいて決まる。また、例えば、図形524の中心位置は、対応するマスク領域521のパン角、チルト角、幅と高さは、図形524を表示させるときのビデオカメラ11のズーム値と、ビデオカメラ11の最大画角(広角端)に対応するズーム値とによって決まる。
【0026】
本形態のクライアント3は、パノラマ領域520のマスク領域のドラッグに応じてマスク領域を移動させるが、ズーム値が変更されても、パノラマ領域520を変更しない。また、本形態では、マスク領域の移動可能範囲をビデオカメラ11の撮像可能範囲とするため、マスク領域の移動時のズーム値によっては、マスク領域をパノラマ領域520の端まで移動できないことがある。
【0027】
より具体的には、ズーム値が最小値(広角端)でないときは、マスク領域はパノラマ領域520の端まで動かすことができない。また、ズーム値が最小値であっても、マスク領域をパノラマ領域520の端まで移動できない場合もある。例えば、マスク領域が画像表示領域510の左半分の領域である場合、パノラマ領域520上でのドラッグ操作では、当該マスク領域をパノラマ領域の右端まで移動させられない。
【0028】
これは、以下の理由による。すなわち、本形態のクライアント3は、マスク領域の移動のためのドラッグ操作に応じて、図5に示すマスク領域のパラメータのうち、パン角とチルト角を変更する。この場合に、例えば、マスク領域が画像表示領域510の左半分の領域として設定され、当該マスク領域を仮にパノラマ領域の右端まで移動させると、ビデオカメラ11のパン角が限界値を超えてしまうからである。
【0029】
そこで、本形態のクライアント3は、マスク領域の移動できる範囲を図形として表示する。このようにすることで、マスク領域の移動範囲がわかりやすくなるので、ユーザによるプライバシーマスク領域の直感的な設定をより容易に行えるようになる。
【0030】
図2(A)は、図1のパノラマ領域520内のマスク領域521と図形524を抜き出した図である。図2(A)において、例えばマウス操作によってマスク領域521をドラッグ操作することにより、マスク領域521の位置を変更できる。さらに、図2(B)に示すように、マスク領域521に重ねて表示する図形524がパノラマ領域520の端に達すると、それ以上ドラッグしても、マスク領域521が移動されないようになる。このようにすることで、図形524を表示しない場合よりも、マスク領域521の移動可能な範囲がユーザにわかりやすくなる。
【0031】
次に、ネットワークカメラシステムの動作について説明する。
【0032】
図7は、本形態のマスク領域521がパノラマ領域520上でドラッグ操作される場合のクライアント3の処理を説明するためのフローチャートである。なお、クライアント3は、ビデオカメラ11(撮像装置)により得られた画像データに基づく画像を表示させる表示制御装置である。また、クライアント3のCPUは、図7の処理を実行するためのプログラムをROMからRAMに読み出して実行する。ただし、フローチャートで説明する処理の少なくとも一部を、専用のハードウェアを用いて実行するようにしてもよい。
【0033】
制御部34は、パノラマ領域520でドラッグ操作(移動操作)されたマスク領域を指定する(S700)。すなわち、制御部34は、マウスのドラッグ操作時にマスク設定入力部37が取得したマウスの指示座標と、各マスク領域の位置との比較に基づいて、ドラッグ操作されたマスク領域を指定する。なお、制御部34は、各マスク領域の位置を、図5に示した各パラメータから求めることができる。本形態では、S700(指定手順)において、ビデオカメラ11による1回の撮像で得られる画像の表示領域(画像表示領域510)よりも広いパノラマ領域上でマスク領域521がドラッグ操作され、マスク領域521が指定される。なお、本形態のパノラマ領域520は、パノラマ画像が表示されているが、パノラマ画像を表示しなくても良い。
【0034】
制御部34は、パノラマ領域520上でのマスク領域521のドラッグ操作(移動操作)に応じて、図形524を表示させる(S701)。すなわち、制御部34は、S701(表示制御手順)において、指定されたマスク領域よりも大きい図形524をマスク領域のマスク領域と共に表示させる。なお、図形内に色があっても、無色であってもよい。また、図形は、直線であっても点線や破線であってもよい。
【0035】
また、図形524の大きさは、マスク領域の指定時(S700)におけるズーム値に応じて決定される。すなわち、図形524をパノラマ領域内で移動させても、マスク領域の指定時のズーム値でビデオカメラ11が撮影可能な範囲をマスク領域が超えないように図形524の大きさと形状が、マスク領域の指定時のズーム値に応じて決定される。つまり、ズーム値が高いほど、図形524のサイズはマスク領域521に対して大きくなる。制御部34は、S701において、パノラマ領域520上でのマスク領域の指定時(S700)におけるビデオカメラ11のズーム値に応じた大きさの図形をマスク領域に重ねて表示する。
【0036】
すなわち、クライアント3の制御部34は、保持部に保持しているビデオカメラ11のズーム値とマスク領域のパラメータとに基づいて図形の大きさを決定し、当該図形をマスク領域に重ねて表示する。なお、カメラサーバ1は、クライアント2、3からのカメラ制御コマンドに応じてズーム値を変更すると、変更結果をクライアント2、3へ通知する。そして、クライアント3は、ビデオカメラ11の変更後のズーム値を保持部に保持する。
【0037】
また、図形524の大きさは、マスク領域521の大きさに応じて異なる。つまり、図形524は、ズーム値の条件が同じ場合、マスク領域521が大きいほど、大きくなる。すなわち、制御部34は、マスク領域の指定時(S700)のビデオカメラ11のズーム値と、ビデオカメラ11の最小ズーム値(広角端のズーム値)との比率、及び、マスク領域の大きさ(幅と高さのピクセル値)に応じた大きさの図形524を表示させる。
【0038】
また、図形524を表示させる条件は、ドラッグ操作に限らず、例えば、マスク領域521のクリックによる選択や、マスク領域521上にマウスカーソルを置くなどの動作でも良い。また、例えば、複数のマスク領域のうち、マウスカーソルが近いマスク領域の図形を表示するようにすることも可能である。
【0039】
制御部34は、マウスのカーソル座標を取得し(S702)、取得されたカーソル座標を用いて、マスク領域521と図形524の移動後の位置を算出する(S703)。マスク領域521と図形524の位置関係は、ドラッグ操作が行われても維持される。制御部34は、S703で算出された図形524の移動後の端部が、パノラマ領域520の端部を超えるか否かを判定する(S704)。図形524の移動後の端部が、パノラマ領域520の端部を超えると判定された場合、マスク領域521と図形524の移動を行わない。一方、図形524の移動後の端部が、パノラマ領域520の端部を超えないと判定された場合、マスク領域521と図形524を、S703で算出された位置に基づいて移動させる(S705)。すなわち、S705(制御手順)において、制御部34は、表示された図形に対応するマスク領域の移動操作を受け付ける。制御部34は、マスク領域521に重ねて表示された図形524が、パノラマ領域520の端に達するまでの範囲でマスク領域521を移動する。
【0040】
制御部34は、ドラッグ操作が終了したか否かを判定する(S706)。制御部34は、ドラッグ操作時にマウスのボタンが離されたことを示すアクションをマスク設定入力部37から受信すると、ドラッグ操作が終了したと判定する。ドラッグ操作が終了していないと判定された場合はS702に戻る。一方、ドラッグ操作が終了したと判定された場合、制御部34は、図形524を非表示にする(S707)。また、設定コマンド生成・解釈部38は、移動操作(ドラッグ操作)によってマスク領域が移動された分、当該移動方向へビデオカメラ11のパン角、チルト角を制御するためのカメラ制御コマンドをカメラサーバ1へ送信する(S708)。カメラサーバ1のカメラ・雲台制御部13は、受信したカメラ操作コマンドに応じて可動雲台12を制御する。すなわち、設定コマンド生成・解釈部38は、移動後のマスク領域が画像表示領域510に表示されるようにビデオカメラ11の撮像方向を制御する。
【0041】
図3は、図1のマスク領域521が選択された状態から、マウス操作により、マスク領域523が選択された状態に変化したことを示す図である。マスク領域521が選択された状態で、マスク領域523を選択(例えばマウスクリック)すると、マスク領域521に重ねて表示されていた図形が非表示となり、マスク領域523に重ねて図形524が表示されるようになる。また、マスク領域523の設定時のパン、チルト、ズーム値によるビデオカメラ11の制御が行われる。この結果、マスク領域523に対応するマスク領域511が画像表示領域510に表示されると共に、プレビュー枠512が表示される。プレビュー枠512は、マスク領域523の移動や、新たなマスク領域を追加する際の位置決めに用いられる。すなわち、例えば、画像表示領域510でプレビュー枠512を移動し、変更ボタン540が指示されると、マスク領域511がプレビュー枠512の位置へ移動される。図4は、図3からパノラマ領域520上に表示されるマスク領域と図形を抜き出した図である。
【0042】
次に、パノラマ領域上におけるマスク領域よりも大きな図形の領域を用いてマスク領域を指定する例について、図8を用いて説明する。
【0043】
図8は、パノラマ領域520上でマウスによるクリック操作を行ったときのクライアント3の処理を説明するためのフローチャートである。なお、クライアント3のCPUは、図8の処理を実行するためのプログラムをROMからRAMに読み出して実行する。ただし、フローチャートで説明する処理の少なくとも一部を、専用のハードウェアを用いて実行するようにしてもよい。
【0044】
パノラマ領域520内でクリック操作が行われると、制御部34は、マスク設定入力部37からマウスのカーソル座標を取得する(S801)。続いて、制御部34は、マスク領域の1つを選択し、その領域を取得する(S802)。マスク領域の位置は、保持部に保持されたパラメータに基づいて取得可能である。そして、制御部34は、S801で取得されたカーソル座標が、S802で取得された領域内に存在するか否かを判定する(S803)。カーソル座標が選択中のマスク領域内に存在すると判定された場合はS804へ進み、存在しないと判定された場合はS806へ進む。S804において、制御部34は、選択中のマスク領域を選択状態にして、S805へ進む。
【0045】
S806において、制御部34は、未選択のマスク領域が存在するか否かを判定する。未選択のマスク領域が存在すると判定された場合はS807へ進み、制御部34は、未選択のマスク領域のうちの1つを選択し、その領域を取得してS803に戻る。一方、S806で未選択のマスク領域が存在しないと判定された場合、S808へ進む。
【0046】
制御部34は、図形の1つを選択し、その領域を取得する(S808)。そして、制御部34は、S801で取得したカーソル座標が、S808で取得された領域内に存在するか否かを判定する(S809)。カーソル座標が選択中の図形内に存在すると判定された場合はS810へ進み、存在しないと判定された場合はS811へ進む。S810において、制御部34は、選択中の図形に対応するマスク領域を選択状態にして、S805へ進む。
【0047】
S811において、制御部34は、未選択の図形が存在するか否かを判定する。未選択の図形が存在すると判定された場合はS812へ進み、制御部34は、未選択の図形のうちの1つを選択し、その領域を取得してS809へ戻る。一方、S811で未選択の図形が存在しないと判定された場合、処理を終了する。S805において、設定コマンド生成・解釈部38は、S804又はS810で選択状態となったマスク領域の設定時のパン、チルト、ズーム値でビデオカメラ11を制御する。すなわち、本形態の設定コマンド生成・解釈部38は、マウス操作で選択されたマスク領域に対応するパン角、チルト角、ズーム値に制御するためのカメラ制御コマンドをカメラサーバ1へ送信する。これにより、画像表示領域510に、マウス操作で選択されたマスク領域とプレビュー枠が表示され、マスク領域の移動やサイズ変更などができる。
【0048】
なお、本形態では、マウスカーソルの座標がマスク領域内に存在しないと判定された場合、図形内に存在するか否かを判定し、図形内にマウスカーソルが存在する場合は、当該図形に対応するマスク領域を選択状態にする。すなわち、本形態の制御部34は、追加ボタン530の入力により設定された複数のマスク領域521、522、523を、パノラマ領域520上に表示させる。そして、マスク設定入力部37は、表示された複数のマスク領域のうち、移動操作(マウスのドラッグ操作)に応じて移動されるマスク領域を、図形の指示により決定する。このようにすることで、マスク領域が小さいためにマウス操作による選択が難しい場合であっても、マスク領域の選択を簡単に行えるようになる。ただし、図8のS808〜S812の処理を行わないようにしてもよい。なお、本形態のパノラマ領域520には、パノラマ画像が表示されているが、パノラマ画像を表示しなくても良い。
【0049】
なお、上記の図8の説明では、マウスのクリック操作時の指示座標に応じてマスク領域を指定する例について説明したが、例えば、マウスカーソルの位置に応じて図形を表示し、その後のマウスクリックに応じてマスク領域を指定することも可能である。本形態のクライアント3が、マウスカーソルの位置に応じて図形を表示し、その後のマウスクリック操作に応じてマスク領域を指定する例について以下で説明する。
【0050】
図9は、マウスカーソルの位置に応じて図形を表示する形態におけるクライアント3の処理を説明するためのフローチャートである。なお、クライアント3は、図9の処理を実行するためのプログラムをROMからRAMに読み出して実行する。ただし、フローチャートで説明する処理の少なくとも一部を、専用のハードウェアを用いて実行するようにしてもよい。
【0051】
制御部34は、マスク設定入力部37からマウスカーソルの座標を取得する(S901)。また、制御部34は、マスク領域のうちの1つを選択し、その領域の位置情報を取得する(S902)。そして、制御部34は、S901で取得された座標値と、領域の位置情報に基づいて、マウスカーソルの座標と、マスク領域の距離を算出する(S903)。
【0052】
さらに制御部34は、S904、S906を繰り返すことにより、パノラマ領域520内の各マスク領域とマウスカーソルの座標との距離を算出する。そして、制御部34は、S901で取得したマウスカーソルの座標から最も距離が近いマスク領域に対応する図形を表示させる(S905)。
【0053】
例えば第1のマスク領域と第2のマスク領域が存在する場合、制御部34は、当該第1及び第2のマスク領域のうち、マウスカーソルが近い第1のマスク領域に重ねて図形を表示させる。また、例えばマウスカーソルが第1のプライバシーマスク領域上に置かれると、第1のマスク領域に重ねて図形が表示されることになる。S905の状態でマウスのクリック操作が行われると、図10の処理へ進む。
【0054】
図10は、S905で図形が表示されているときにマウスのクリック操作が行われたときのクライアント3の処理を説明するためのフローチャートである。なお、クライアント3のCPUは、図10の処理を実行するためのプログラムをROMからRAMに読み出して実行する。ただし、フローチャートで説明する処理の少なくとも一部を、専用のハードウェアを用いて実行するようにしてもよい。
【0055】
制御部34は、マウスのクリック操作が行われたときのマウスカーソルの座標を取得する(S1001)。そして、制御部34は、S905で表示された図形内でクリック操作が行われたか否かを、S1001で取得された座標に基づいて判定する(S1002)。表示中の図形内でクリック操作されたと判定された場合はS1003へ進み、図形外でクリック操作されたと判定された場合は処理を終了する。
【0056】
制御部34は、表示中の図形に対応するマスク領域を選択状態にする(S1003)。そして、設定コマンド設定・解釈部38は、選択状態のマスク領域が画像表示領域510に表示されるようにするためのカメラ操作コマンドをカメラサーバ1へ送信し(S1004)、処理を終了する。
【0057】
カメラサーバ1は、S1004のカメラ操作コマンドの受信に応じて、可動雲台12やビデオカメラ11のズームを制御する。これにより、S1003で選択状態となったマスク領域とプレビュー枠が画像表示領域510に表示される。
【0058】
以上説明したように、本形態のクライアント3は、パノラマ領域520上で指定されたマスク領域よりも大きい図形を、マスク領域に重ねて表示する。そして、本形態のクライアント3は、この図形の端部がパノラマ領域520の端部に一致するまで、マスク領域を移動できるように制御する。このようにすることで、マスク領域をどこまで移動できるかを、ユーザが理解しやすくなる。また、図形の選択、ドラッグ操作に応じて図形に対応するマスク領域の選択、移動操作ができるようにしたので、移動させたいマスク領域がパノラマ領域520に対して小さい場合であっても、マスク領域の選択、移動操作を行いやすくなる。
【0059】
<第2の実施形態>
第1の実施形態では、選択されたマスク領域の周囲に図形を表示する例を中心に説明したが、本実施形態では、マスク領域の移動可能な全範囲を示す図形をパノラマ領域520上に表示する例を説明する。本形態では、第1の実施形態との差異を中心に説明する。クライアント3の制御部34は、保持部に保持された各マスク領域のパラメータに基づいて、パノラマ領域上に各マスク領域の枠を表示させる。また、制御部34は、マスク設定入力部37により入力された位置情報に基づいてパノラマ領域上にマウスカーソルを表示させる。
【0060】
図11は、本実施形態のクライアント3の画面表示部36の表示例である。図11に示すように、本形態のパノラマ領域520上に、マスク領域の移動可能な範囲を示す図形525が表示される。なお、本形態ではパノラマ領域520上にパノラマ画像を表示しているが、この領域にパノラマ画像を表示させなくてもよい。すなわち、パノラマ領域520は、ビデオカメラ11による撮像範囲を示す枠であれば良い。
【0061】
図12を用いて図形525の詳細を説明する。図12は、図11からパノラマ領域520とマスク領域521を抜き出した図である。図12に示すように、マスク領域521は、図形525を超えない範囲で移動させることができる。このように、本形態の制御部34は、マスク領域の移動可能な範囲を示す図形(図形525)を表示させる。
【0062】
図13は、パノラマ領域520上でドラッグ操作を行ったときのクライアント3の処理を説明するためのフローチャートである。なお、クライアント3は、ビデオカメラ11(撮像装置)により得られた画像データに基づく画像を表示させる表示制御装置である。また、クライアント3のCPUは、図13の処理を実行するためのプログラムをROMからRAMに読み出して実行する。ただし、フローチャートで説明する処理の少なくとも一部を、専用のハードウェアを用いて実行するようにしてもよい。
マスク設定入力部37は、パノラマ領域520上でドラッグ操作されたマスク領域を指定する(S1301)。本形態では、マスク領域521のドラッグ操作に応じて、マスク領域521が指定される。
【0063】
制御部34は、パノラマ領域520上のマスク領域521がドラッグ操作されると、図形525を表示させる(S1302)。なお、この図形525は、移動操作時(ドラッグ操作時)のビデオカメラ11のズーム値が最小(広角端)の場合は表示されない。ビデオカメラ11のズーム値が最小の場合は、マスク領域をパノラマ領域520の端まで移動できるためである。また、図形525は、ドラッグ操作時のビデオカメラ11のズーム値が高いほど、小さくなる。すなわち、制御部34は、マスク領域の指定時におけるビデオカメラ11のズーム値と最大画角に対応するズーム値との比率に応じた大きさの図形525を表示させる。
【0064】
すなわち、S1302(表示制御手順)において、制御部34は、マスク領域521の指定時(S1301)におけるビデオカメラ11のズーム値に応じて、マスク領域521を移動可能な範囲を示す図形525を表示させる。なお、図形525の内部に色を有していても、無色でも良い。また、図形525は、実線であっても、点線や破線であってもよい。
【0065】
制御部34は、マウスのカーソル座標を取得し(S1303)、取得されたカーソル座標を用いて、マスク領域521の移動後の位置を算出する(S1304)。そして、制御部34は、移動後のマスク領域521の端部が図形525の端部を越えるか否かを判定する(S1305)。移動後のマスク領域521の端部が図形525の端部を越えていないと判定された場合、マスク領域521を移動させる(S1306)。一方、移動後のマスク領域521の端部が図形525を超えていると判定された場合、マスク領域521を移動せずにS1307へ進む。
【0066】
制御部34は、ドラッグ操作が終了したか否かを判定する(S1307)。制御部34は、マウスボタンが離された場合に、ドラッグ操作が終了したと判定する。ドラッグ操作が終了してないと判定された場合、S1303へ戻り、ドラッグ操作が終了したと判定された場合はS1308へ進む。
【0067】
制御部34は、図形525を非表示にする(S1308)。また、設定コマンド生成・解釈部38は、移動操作(ドラッグ操作)によってマスク領域が移動された分、当該移動方向へビデオカメラ11のパン角、チルト角を制御するためのカメラ操作コマンドをカメラサーバ1へ送信する(S1309)。
【0068】
なお、制御部34は、パノラマ領域520とマスク領域が矩形の場合、以下のような図形525を表示する。すなわち、制御部34は、ビデオカメラ11のパン角およびチルト角を最小値にしたときのマスク領域521aの左下座標と、パン角およびチルト角を最大値にしたときのマスク領域521bの右上座標を結ぶ直線を対角とする矩形を図形525として表示する。また、本形態では、マスク領域のドラッグ操作中に図形525を表示する例について説明したが、マウスカーソルの位置やマスク領域に対するクリック操作に応じたタイミングで表示するようにしてもよい。
【0069】
また、本形態では、マスク領域の指定や、マスク領域の移動指示を、マウスの操作により実現する形態を中心に説明したが、この形態に限らず、例えば、タッチパネルやジョイスティックなどの種々のインタフェースを用いることが可能である。
【0070】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
撮像装置により得られた画像データに基づく画像を表示させる表示制御装置であって、
前記画像のプライバシーマスク領域を指定する指定手段と、
前記指定されたプライバシーマスク領域よりも大きい図形を前記プライバシーマスク領域と共に表示させる表示制御手段と、
前記表示された図形に対応するプライバシーマスク領域の操作を受け付ける制御手段とを有することを特徴とする表示制御装置。
【請求項2】
前記表示制御手段は、前記図形を前記プライバシーマスク領域に重ねて表示させることを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記制御手段は、前記表示された図形に対応するプライバシーマスク領域の移動操作を受け付けることを特徴とする請求項1に記載の表示制御装置。
【請求項4】
前記指定手段は、前記撮像装置による1回の撮像で得られる画像の表示領域よりも広いパノラマ領域上のプライバシーマスク領域を指定し、
前記表示制御手段は、前記パノラマ領域上のプライバシーマスク領域の指定時における前記撮像装置のズーム値に応じた大きさの図形を前記パノラマ領域上の前記プライバシーマスク領域に重ねて表示させ、
前記制御手段は、前記プライバシーマスク領域に重ねて表示された図形が前記パノラマ領域の端に達するまでの範囲で前記プライバシーマスク領域を移動することを特徴とする請求項1乃至3のうちいずれか1項に記載の表示制御装置。
【請求項5】
前記プライバシーマスク領域の幅と高さとのピクセル値を設定する設定手段を有し、
前記表示制御手段は、前記パノラマ領域上のプライバシーマスク領域の指定時における前記撮像装置のズーム値と、最大画角に対応するズーム値との比率、及び、前記プライバシーマスク領域の幅と高さのピクセル値に応じた大きさの図形を前記パノラマ領域の前記プライバシーマスク領域に重ねて表示させることを特徴とする請求項4に記載の表示制御装置。
【請求項6】
前記表示制御手段は、前記プライバシーマスク領域上にマウスカーソルが置かれたことに応じて前記プライバシーマスク領域に重ねて図形を表示させることを特徴とする請求項1乃至5のうちいずれか1項に記載の表示制御装置。
【請求項7】
前記表示制御手段は、前記プライバシーマスク領域の移動操作時に前記プライバシーマスク領域に重ねて図形を表示させることを特徴とする請求項1乃至5のうちいずれか1項に記載の表示制御装置。
【請求項8】
前記表示制御手段は、前記パノラマ領域上に複数のプライバシーマスク領域を表示させ、
前記制御手段は、前記複数のプライバシーマスク領域のうち前記移動操作に応じて移動させるプライバシーマスク領域を、前記プライバシーマスク領域に重ねて表示された図形の指示により決定することを特徴とする請求項4又は5に記載の表示制御装置。
【請求項9】
前記表示制御手段は、前記パノラマ領域上の第1及び第2のプライバシーマスク領域のうち、マウスカーソルからの距離が近い前記第1のプライバシーマスク領域に重ねて図形を表示させることを特徴とする請求項8に記載の表示制御装置。
【請求項10】
前記制御手段は、前記プライバシーマスク領域の移動操作による移動方向へ前記撮像装置のパン角及びチルト角を制御することを特徴とする請求項1乃至9のうちいずれか1項に記載の表示制御装置。
【請求項11】
撮像装置により得られた画像データに基づく画像を表示させる表示制御装置が行う表示制御方法であって、
前記画像のプライバシーマスク領域を指定する指定工程と、
前記指定されたプライバシーマスク領域よりも大きい図形を前記プライバシーマスク領域と共に表示させる表示制御工程と、
前記表示された図形に対応するプライバシーマスク領域の操作を受け付ける制御工程とを有することを特徴とする表示制御方法。
【請求項12】
撮像装置により得られた画像データに基づく画像を表示させるコンピュータに、
前記画像のプライバシーマスク領域を指定する指定手順と、
前記指定されたプライバシーマスク領域よりも大きい図形を前記プライバシーマスク領域と共に表示させる表示制御手順と、
前記表示された図形に対応するプライバシーマスク領域の操作を受け付ける制御手順とを実行させることを特徴とするプログラム。
【請求項13】
撮像装置により得られた画像データに基づく画像を表示させる表示制御装置であって、
前記画像のプライバシーマスク領域を指定する指定手段と、
前記プライバシーマスク領域の指定時における前記撮像装置のズーム値に応じて、前記プライバシーマスク領域の移動可能な範囲を示す図形を表示させる表示制御手段と、
前記プライバシーマスク領域の移動操作に応じて、前記図形内の範囲で前記プライバシーマスク領域を移動する制御手段とを有することを特徴とする表示制御装置。
【請求項14】
前記プライバシーマスク領域の幅と高さのピクセル値を設定する設定手段を有し、
前記表示制御手段は、前記プライバシーマスク領域の指定時における前記撮像装置のズーム値と、最大画角に対応するズーム値との比率に応じた大きさの図形を表示させることを特徴とする請求項11に記載の表示制御装置。
【請求項15】
撮像装置により得られた画像データに基づく画像を表示させる表示制御装置が行う表示制御方法であって、
前記画像のプライバシーマスク領域を指定する指定工程と、
前記プライバシーマスク領域の指定時における前記撮像装置のズーム値に応じて、前記プライバシーマスク領域の移動可能な範囲を示す図形を表示させる表示制御工程と、
前記プライバシーマスク領域の移動操作に応じて、前記図形内の範囲で前記プライバシーマスク領域を移動する制御工程とを有することを特徴とする表示制御方法。
【請求項16】
撮像装置により得られた画像データに基づく画像を表示させるコンピュータに、
前記画像のプライバシーマスク領域を指定する指定手順と、
前記プライバシーマスク領域の指定時における前記撮像装置のズーム値に応じて、前記プライバシーマスク領域の移動可能な範囲を示す図形を表示させる表示制御手順と、
前記プライバシーマスク領域の移動操作に応じて、前記図形内の範囲で前記プライバシーマスク領域を移動する制御手順とを実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−90157(P2012−90157A)
【公開日】平成24年5月10日(2012.5.10)
【国際特許分類】
【出願番号】特願2010−236414(P2010−236414)
【出願日】平成22年10月21日(2010.10.21)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】