画像表示装置
【課題】画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる画像表示装置を提供する。
【解決手段】記憶部204は、所定の期間内に処理可能なフレーム画像の量に関する処理可能情報を記憶すると共に、通信部206によって受信されたフレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、フレーム画像の優先度を示す優先度情報を記憶する。取得部203は、撮影操作、撮影環境、又は撮影被写体の状態を示す状態情報を撮像装置毎に取得する。決定部202は、処理可能情報及び優先度情報と状態情報とに基づいて、それぞれの撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する。処理部205は、決定部202が決定したデータ量に対応する情報を複数の撮像装置のそれぞれに通信部206から送信させる制御を行う。
【解決手段】記憶部204は、所定の期間内に処理可能なフレーム画像の量に関する処理可能情報を記憶すると共に、通信部206によって受信されたフレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、フレーム画像の優先度を示す優先度情報を記憶する。取得部203は、撮影操作、撮影環境、又は撮影被写体の状態を示す状態情報を撮像装置毎に取得する。決定部202は、処理可能情報及び優先度情報と状態情報とに基づいて、それぞれの撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する。処理部205は、決定部202が決定したデータ量に対応する情報を複数の撮像装置のそれぞれに通信部206から送信させる制御を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の撮像装置からフレーム画像を受信し、受信したフレーム画像を表示する画像表示装置に関する。
【背景技術】
【0002】
複数の映像を、ネットワークを経由して送受信する際の、ネットワーク上の情報量を削減する技術として、特許文献1に示される技術が開示されている。特許文献1に記載された表示制御システムでは、複数の信号源からの映像信号に基づく画像を画像表示装置の画面上における複数の表示領域にそれぞれ表示する際、各表示領域の画像表示属性情報と表示信号選択情報とが画像表示装置から各信号源に送信され、信号源側で受信した画像表示属性情報に付加されている表示領域の解像度を基に、予め情報量が削減された映像信号が各信号源から画像表示装置に送信される。これによって、ネットワーク上の情報量を削減することが可能である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−356753号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の映像を送受信する場合、送信される複数の映像の情報量が、受信側で処理可能な情報量を超えると、画像表示装置で表示される映像のフレームの欠落等が発生するため、送信される映像の情報量を削減し、受信側の処理負荷を低減することが望ましい。上記の表示制御システムは、画像表示装置の画面上における複数の表示領域の解像度を基に、信号源からの映像信号の情報量を削減していた。しかしながら、表示制御システムは、表示領域の解像度に基づいて信号源からの映像信号の情報量を削減するため、解像度の低い表示領域に表示する映像に関しては、表示制御システムの利用者が情報量を必要としている映像信号であっても、情報量が削減された映像しか表示できない問題があった。
【0005】
本発明は、上述した課題に鑑みてなされたものであって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたもので、複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、を有する画像表示装置である。
【0007】
また、本発明の画像表示装置において、前記取得部は、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する。
【0008】
また、本発明の画像表示装置は、前記撮像装置に対して撮影操作を指示するリモート操作部を更に有し、前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する。
【0009】
また、本発明の画像表示装置は、前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、前記取得部は、前記解析部による解析の結果に基づいて前記状態情報を取得する。
【0010】
また、本発明の画像表示装置において、前記状態情報が、前記撮像装置のフレーミング動作に関する情報である。
【0011】
また、本発明の画像表示装置において、前記状態情報が、前記撮像装置が検知した音量に関する情報である。
【0012】
また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である。
【0013】
また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である。
【発明の効果】
【0014】
本発明によれば、処理可能情報及び優先度情報と、状態情報とに基づいて、それぞれの撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定することによって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態における制御方法を説明するためのシステム構成図である。
【図2】本発明の一実施形態における表示端末の構成を示すブロック図である。
【図3】本発明の一実施形態における撮像装置の構成を示すブロック図である。
【図4】本発明の一実施形態における表示端末の動作の手順を示すフローチャートである。
【図5】本発明の一実施形態におけるフレームレート情報のデータ形式を示す参考図である。
【図6】本発明の一実施形態におけるフレームレート変更情報のデータ形式を示す参考図である。
【図7】本発明の一実施形態における撮像装置変位データの記憶形式を示す参考図である。
【図8】本発明の一実施形態におけるフレームレートの決定方法を説明するための説明図である。
【図9】本発明の一実施形態におけるフレームレートの決定方法を説明するための参考図である。
【図10】本発明の一実施形態における優先度テーブルを示す参考図である。
【図11】本発明の一実施形態における撮像装置の動作の手順を示すフローチャートである。
【図12】本発明の一実施形態の第1の変形例における表示端末及び撮像装置の構成を示すブロック図である。
【図13】本発明の一実施形態の第2の変形例における表示端末の構成を示すブロック図である。
【図14】本発明の一実施形態の第3の変形例における表示端末の構成を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による撮像装置と表示端末(画像表示装置)を備えた表示制御システムにおける制御方法の一例を示している。図1において、表示端末101は、撮像装置102,103のそれぞれから送信されるリアルタイム映像を受信して表示する。本実施形態の制御方法は、フレームレートの変更指示を示すフレームレート変更情報に付加された撮像装置変位データと、表示端末101の最大処理可能量とに基づき、各撮像装置から表示端末101に対して送信されるリアルタイム映像のフレームレート(各撮像装置が1フレーム期間内に送信するフレーム画像のデータ量)を制御することで、表示端末101の負荷を低減するものである。
【0017】
なお、本実施形態におけるフレームレート変更情報は、撮像装置102,103(以降、本実施形態において、特定の撮像装置を示す場合以外は、単に撮像装置と記す)から表示端末101に対して送信される情報であって、撮像装置変位データを少なくとも含む情報である。また、本実施形態における撮像装置変位データとは、各撮像装置の撮影状況や撮影環境の状態、撮像装置が捉えている被写体の状態を示すデータのことである。
【0018】
また、本実施形態における撮像装置の撮影状況とは、パン・チルト,フォーカス,ズーム・ワイド操作等のフレーミング動作(撮影操作)の状況(状態)のことをいい、撮影環境の状態とは、周囲の音量の変位量等のことをいい、被写体の状態とは、被写体認識の可否(被写体を認識できたか否か)、及びフレーム画像内に存在する被写体の、フレーム画像内における移動量(変位量)等のことをいう。
【0019】
また、本実施形態における最大処理可能量とは、表示端末101が所定期間に受信・表示処理可能なフレーム画像の最大数のことをいう。 また、本実施形態におけるリアルタイム映像とは、撮像装置の撮像部により撮像された映像であって、時系列順に生成された、フレーム毎のフレーム画像のデータで構成され、順次撮像装置の記憶部に記憶される映像のことをいう。
【0020】
図1に示す例では、撮像装置の端末数と、表示端末101の最大処理可能量とに基づき、表示端末101により決定されたフレームレートで、撮像装置102,103から表示端末101へリアルタイム映像が送信されている状況における制御方法の一例が示されている。この状況において、撮像装置102でフレーミング動作が行われた場合に、撮像装置102から表示端末101に対して、フレームレート変更情報が送信される。撮像装置102から送信されたフレームレート変更情報に付加された撮像装置変位データと、最大処理可能量とに基づき、表示端末101により各撮像装置のフレームレートが再度決定される。再度決定された各撮像装置のフレームレートを示すフレームレート情報が表示端末101から撮像装置102,103に対して送信されることで、撮像装置102,103から表示端末101に送信されるリアルタイム映像のフレームレートが、フレームレート情報で示されるフレームレートに制御される。
【0021】
なお、本実施形態におけるフレームレート情報とは、表示端末101から撮像装置102,103に対して送信される情報であって、撮像装置102,103から表示端末101に対して送信されるリアルタイム映像のフレームレートを指定する情報を少なくとも含む情報である。
【0022】
図1(a)に示す例は、撮像装置の端末数と、表示端末101の最大処理可能量とに基づき、表示端末101により決定されたフレームレート情報が、表示端末101から撮像装置102,103に対して送信されている様子を示している。図1(b)に示す例は、撮像装置102,103から表示端末101に対して、受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。図1(c)に示す例は、撮像装置102でフレーミング動作が行われ、撮像装置102から表示端末101に対してフレームレート変更情報が送信されている様子を示している。
【0023】
図1(d)に示す例は、図1(c)で受信したフレームレート変更情報に付加された撮像装置変位データに基づき、表示端末101により再度決定されたフレームレート情報が、表示端末101から撮像装置に対して送信されている様子を示している。図1(e)に示す例は、撮像装置102,103から表示端末101に対して、再度受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。
【0024】
また、図1に示す例では、撮像装置102のみでフレーミング動作が行われたため、撮像装置102のフレームレートが高く設定されているが、フレームレートが高く設定される撮像装置は一端末のみと限定されるものではない。例えば、複数の撮像装置でフレーミング動作がなされた場合は、フレームレートが高く設定される撮像装置が複数存在してもよく、またフレーミング動作がなされている撮像装置が存在しない場合は、図1(b)の状態のまま維持されてもよいものとする。
【0025】
また、図1に示す例では、撮像装置102のフレーミング動作が行われたことを条件として、撮像装置102から表示端末101に対してフレームレート変更情報が送信されるが、フレームレート変更情報が送信される条件は上記の条件に限定されるものではない。例えば、撮像装置における被写体認識の可否の変化,フレーム画像内に存在する被写体の、フレーム画像内における移動量,撮像装置が検知している音量の変化を条件としてフレームレート変更情報が送信されるようにしてもよい。
【0026】
図2は、本実施形態における表示端末101の構成を示している。以下、本図を基に表示端末101の構成を説明する。本実施形態における表示端末101は、表示部201と、決定部202と、取得部203と、記憶部204と、処理部205(制御部)と、通信部206とを備える。
【0027】
表示部201は、通信部206が受信したフレーム画像を表示する。決定部202は、最大処理可能量と、リアルタイム映像を送信する撮像装置の台数と、撮像装置変位データの一部,或いは全てと、撮像装置の優先度を決定するための優先度の情報とに基づき、各撮像装置のフレームレートを決定する。
【0028】
取得部203は、通信部206が受信したフレームレート変更情報の解析を行い、撮像装置毎に撮像装置変位データを取得する。記憶部204は、フレーム画像,最大処理可能量,リアルタイム映像を送信する撮像装置の台数,フレームレート変更情報,フレームレート情報,及び優先度テーブルを記憶する。なお、本実施形態における優先度テーブルとは、撮像装置変位データを構成する各データに対して予め決定されている、フレーム画像の優先度の重みを示したテーブルのことをいう。処理部205は、表示端末101の動作を制御する。通信部206は撮像装置と通信を行う。
【0029】
図3は、本実施形態における撮像装置の構成を示している。以下、本図を基に撮像装置の構成を説明する。本実施形態における撮像装置は、撮像部301と、処理部302と、取得部303と、記憶部304と、通信部305とを備える。
【0030】
撮像部301は、被写体を撮像してフレーム画像を生成し、リアルタイム映像を取得する。処理部302は、撮像装置の動作を制御する。取得部303は、撮像装置変位データの取得、及びフレームレート変更情報の生成を行う。記憶部304は、リアルタイム映像,フレームレート情報,画像非送信回数,及び最大取得可能量を記憶する。通信部305は、表示端末101と通信を行う。なお、画像非送信回数とは、撮像装置から表示端末101に対して送信されるフレーム画像の送信処理をスキップした回数である。また、本実施形態における最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。
【0031】
図4は、本実施形態における表示端末101の動作を示している。以下、本図を基に表示端末101の動作を説明する。
【0032】
処理部205は、リアルタイム映像表示開始命令を受け付けると、リアルタイム映像表示処理を開始する(ステップS401)。なお、本実施形態におけるリアルタイム映像表示開始命令とは、表示端末101にリアルタイム映像表示処理を開始させる命令であり、撮像装置と表示端末101が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している撮像装置から、通信部206を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図2で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0033】
処理部205は、リアルタイム映像表示処理を開始すると、最大処理可能量を決定し、記憶部204に記憶する(ステップS402)。処理部205は、最大処理可能量の記憶後、決定部202にフレームレート情報生成命令を発行する。
【0034】
なお、本実施形態における最大処理可能量は、処理部205によって決定される値であるが、記憶部204に予め記憶されている情報を利用してもよい。また、本実施形態における最大処理可能量は、例えば通信速度をX、リアルタイム映像を構成するフレーム画像の1フレームのデータ量をYとし、X/Yを計算することにより求めてもよい。また、本実施形態におけるフレームレート情報生成命令とは、処理部205から決定部202に対して発行される命令であり、決定部202にフレームレート情報を生成させる命令である。
【0035】
決定部202は、処理部205からフレームレート情報生成命令を受け付けると、記憶部204に記憶されている、リアルタイム映像を送信する撮像装置の数と、最大処理可能量とに基づいて、各撮像装置から表示端末101に送信されるリアルタイム映像のフレームレートを決定し、決定したフレームレートをフレームレート情報として記憶部204に記憶する(ステップS403)。決定部202は、フレームレート情報の記憶後、処理部205に対し、フレームレート情報の記憶が完了したことを通知するフレームレート情報記憶完了通知を発行する。なお、リアルタイム映像を送信する撮像装置の数は、例えば撮像装置と表示端末101が同じネットワークに所属したことを条件として撮像装置から送信される情報(ビーコン等)から求めることが可能である。
【0036】
また、フレームレート情報は、図5で示されるデータ形式で構成される情報である。フレームレート情報のデータ形式に関しては後述する。また、ステップS403におけるフレームレート決定方法に関しては後述する。
【0037】
処理部205は、決定部202からフレームレート情報記憶完了通知を受け付けると、記憶部204に記憶されているフレームレート情報を、通信部206を経由して各撮像装置に送信する(ステップS404)。処理部205は、フレームレート情報の送信後、各撮像装置に対して、通信部206を経由して画像送信開始命令を送信する(ステップS405)。なお、本実施形態における画像送信開始命令とは、撮像装置に対してリアルタイム映像の送信を開始させる命令である。
【0038】
処理部205は、画像送信開始命令の送信後、各撮像装置から送信されるフレーム画像の受信を待機する受信待機状態となる(ステップS406)。処理部205は、撮像装置から通信部206を経由してフレーム画像を受信すると、表示部201の所定の領域にフレーム画像を表示する(ステップS407)。処理部205は、フレーム画像の表示後、取得部203に対してフレームレート変更情報受信開始命令を発行する。なお、本実施形態におけるフレームレート変更情報受信開始命令とは、処理部205から取得部203に対して発行される命令であり、取得部203に対してフレームレート変更情報の受信処理を開始させる命令である。
【0039】
取得部203は、フレームレート変更情報受信開始命令を受け付けると、フレームレート変更情報の受信を待機する受信待機状態となる(ステップS408)。取得部203は、フレームレート変更情報を一定時間未受信であった場合、ステップS411で示される処理を行い、通信部206を経由してフレームレート変更情報を受信した場合、受信したフレームレート変更情報から撮像装置変位データを取得し、記憶部204に記憶する。取得部203は、撮像装置変位データの記憶後、決定部202に対してフレームレート変更情報受信完了通知を発行する。なお、本実施形態におけるフレームレート変更情報受信完了通知とは、取得部203から決定部202に対して発行される通知であり、決定部202にフレームレート情報を再度決定させる通知である。
【0040】
また、フレームレート変更情報は、図6で示されるデータ形式で構成される情報である。取得部203が撮像装置変位データを取得した後、図7のように、撮像装置変位データのみが記憶部204に記憶される。フレームレート変更情報のデータ形式と、撮像装置変位データの記憶方式に関しては後述する。
【0041】
決定部202は、処理部205からフレームレート変更情報受信完了通知を受け付けると、記憶部204に記憶されている撮像装置変位データ,及び最大処理可能量に基づいて、各撮像装置から表示端末101に送信されるリアルタイム映像のフレームレートを再度決定し、決定したフレームレートをフレームレート情報として記憶部204に記憶する(ステップS409)。決定部202は、フレームレート情報の記憶後、処理部205に対してフレームレート情報記憶完了通知を発行する。なお、ステップS409におけるフレームレートの決定方法に関しては後述する。
【0042】
処理部205は、フレームレート情報記憶完了通知を受け付けると、記憶部204に記憶されているフレームレート情報を、通信部206を経由して各撮像装置に送信する(ステップS410)。処理部205は、フレームレート情報の送信後,或いはステップS408でフレームレート変更情報を一定時間未受信であった場合、リアルタイム映像表示終了命令が発行されているか否かの判定を行う(ステップS411)。処理部205は、リアルタイム映像表示終了命令が発行されていた場合はステップS412で示される処理を行い、リアルタイム映像表示終了命令が発行されていない場合は、ステップS406で示されるフレーム画像の受信処理から再度処理を行う。
【0043】
なお、本実施形態におけるリアルタイム映像表示終了命令とは、表示端末101が行っているリアルタイム映像表示処理を終了させる命令であり、撮像装置と処理部205が接続を切断する前に発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、リアルタイム映像を送信する撮像装置から、通信部206を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図2で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0044】
処理部205は、リアルタイム映像表示終了命令を受け付けると、各撮像装置に対して画像送信終了命令を送信し、ネットワークから離脱する(ステップS412)。なお、本実施形態における画像送信終了命令とは、表示端末101から各撮像装置に対して送信される命令であり、撮像装置に対してリアルタイム映像の送信を終了させる命令である。
【0045】
ステップS403等で示される、フレームレート情報のデータ形式に関して、図5を基に説明する。フレームレート情報は、メッセージ種別501,データ長502,送信先IPアドレス503,送信元IPアドレス504,及びフレームレート指定値505で構成される情報である。
【0046】
メッセージ種別501には、本情報がフレームレート情報であることを示すデータが格納される。データ長502には、本フレームレート情報のデータ長が格納される。送信先IPアドレス503には、フレームレートを指定する撮像装置のIPアドレスが格納される。送信元IPアドレス504には、本フレームレート情報を送信した表示端末101のIPアドレスが格納される。フレームレート指定値505には、撮像装置から表示端末101に送信されるフレーム画像のフレームレートの指定値が格納される。
【0047】
ステップS408等で示される、フレームレート変更情報のデータ形式に関して、図6を基に説明する。フレームレート変更情報は、メッセージ種別601,データ長602,送信先IPアドレス603,送信元IPアドレス604,及び撮像装置変位データ605で構成される情報である。
【0048】
メッセージ種別601には、本情報がフレームレート変更情報であることを示すデータが格納される。データ長602には、本フレームレート変更情報のデータ長が格納される。送信先IPアドレス603には表示端末101のIPアドレスが格納される。送信元IPアドレス604には、本フレームレート変更情報を送信した撮像装置のIPアドレスが格納される。撮像装置変位データ605には、送信元IPアドレス604に該当する撮像装置の撮像変位データが格納される。
【0049】
ステップS408で示される、撮像装置変位データの記憶方式に関して、図7を基に説明する。記憶部204に記憶される撮像装置変位データの情報は、撮像装置変位データ検索テーブル701,IPアドレス702,及び撮像装置変位データ703で構成される。
【0050】
撮像装置変位データ検索テーブル701には、記憶部204に保存されている撮像装置変位データ703を取得した撮像装置のIPアドレス702が関連付けられている。IPアドレス702には、該当する撮像装置の撮像装置変位データ703が関連付けられている。撮像装置変位データ703には、パン・チルトやズーム等のフレーミング動作の状態や変位量,音量の変位量,被写体認識の状態等が含まれる。上記のように、撮像装置変位データ検索テーブル701は、撮像装置変位データ703が関連付けられたIPアドレス702が関連付けられた状態で記憶部204に記憶されている。
【0051】
ステップS403で示される、フレームレートの決定方法に関して、図8を基に説明する。ステップS403における、各撮像装置のフレームレートの決定は、記憶部204に記憶されている、接続している撮像装置の数と、最大処理可能量とに基づき、各撮像装置に対してフレーム数を均一に割り当てることで行われる。例えば、図8において、表示端末101の最大処理可能量を30fpsと仮定すると、撮像装置の数は、撮像装置802,803,804の3台であるため、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、各撮像装置に10fpsが割り当てられる。
【0052】
ステップS409で示される、フレームレートの決定方法に関して、図8,図9,及び図10を基に説明する。ステップS409における、各撮像装置のフレームレートの決定は、記憶部204に記憶されている最大処理可能量と、記憶部204に記憶されている撮像装置変位データから決定された各撮像装置の優先度とに基づき、各撮像装置に対してフレーム数を個別に割り当てることで行われる。
【0053】
なお、本実施形態においては、各撮像装置の優先度は、各撮像装置変位データから予測された各撮像装置の撮影段階により決定されるものとする。或いは、各撮像装置の優先度は、各撮像装置変位データを、図10で示される優先度テーブルに照合することにより決定されるものとする。
【0054】
ステップS409における、各撮像装置の優先度の決定が、各撮像装置の撮影段階により決定される場合、各撮像装置変位データから各撮像装置の撮影段階が予測される。例えば、図8及び図9において、撮像装置802の撮像装置変位データ901から、撮像装置802は、被写体801が画角内に存在し、かつ変倍操作が行われている状況であることが判別できる。このため、撮像装置802は構図決定の段階であると予測される。
【0055】
また、撮像装置803の撮像装置変位データ902から、撮像装置803は、被写体801が画角内に存在せず、かつパン・チルトが行われている状況であることが判別できる。このため、撮像装置803は、被写体801の捕捉を行っている段階であると予測される。また、撮像装置804の撮像装置変位データ903から、撮像装置804は、被写体801が画角内に存在し、かつフレーミング動作が行われていない状況であることが判別できる。このため、撮像装置804は、撮影可能な段階であると予測される。
【0056】
各撮像装置の撮影段階の予測後、各撮像装置の優先度の決定が行われる。フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなる。リアルタイム映像内の被写体の動きが大きく、且つリアルタイム映像のフレームレートが低い状況では、ユーザが被写体を追いづらくなり、フレーミング動作の微調整が困難になる。このため、フレーミング動作中、即ち被写体の捕捉を行っている段階ではフレームレートが高くなるように、優先度を高く決定することが考えられる。例えば、図8及び図9において、撮影可能な段階に最も遠い段階から優先度を高く決定すると、被写体の捕捉を行っている段階にある撮像装置803は高い優先度となり、構図決定の段階にある撮像装置802は通常の優先度となり、撮影可能な段階にある撮像装置804は低い優先度となる。
【0057】
なお、各撮影段階と優先度との関係を示す情報(優先度情報)が予め記憶部204に格納されており、撮影段階の予測後、記憶部204に記憶されている情報に基づいて、撮影段階に対応した優先度が決定される。また、本実施形態においては、撮影可能な段階に最も遠い段階から優先度を高く決定したが、撮影段階に基づく優先度の決定方法は、上記の方法に限定されるものではない。例えば、撮影可能な段階に最も近い段階から優先度を高く決定する方法や、構図決定の段階にある撮像装置の優先度を高く決定する方法でもよい。
【0058】
優先度の決定後、記憶部204に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、各撮像装置の撮影段階により優先度を決定する場合における優先度の重みは、優先度の低い撮像装置から順に自然数で割り当てられるものとし、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。
【0059】
例えば、図8及び図9において、低い優先度の撮像装置804は優先度1,通常の優先度の撮像装置802は優先度2,高い優先度の撮像装置803は優先度3となる。このため、表示端末101の最大処理可能量を30fpsと仮定すると、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、通常の優先度である撮像装置802には10fps、高い優先度である撮像装置803には15fps、低い優先度である撮像装置804には5fpsが割り当てられる。
【0060】
一方、ステップS409における、各撮像装置の優先度の決定が、各撮像装置変位データを、図10で示される優先度テーブル(優先度情報)に照合することで決定される場合は以下のようになる。図10に示すように、優先度テーブルでは、撮像装置変位データを構成するデータの項目と、その項目に属する詳細情報と、その詳細情報に割り当てられた優先度とが関連付けられている。
【0061】
撮像装置変位データを構成するデータの項目とは、フレーミング,被写体認識,及びその他である。フレーミングに属する詳細情報とは、パン,チルト,ズーム,ワイド,及びフォーカス等である。被写体認識に属する詳細情報とは、被写体を認識できなかったことを示す「認識不可」,被写体が移動中であることを示す「移動中」,及び被写体が静止中であることを示す「静止中」等である。その他とは、音量の変化量等である。
【0062】
前述したように、フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなり、フレーミング動作の微調整が困難になる。このため、パンやチルトに対する優先度は高い値に設定されている。また、変倍操作等によってもリアルタイム映像内の被写体に動きが発生するので、ズーム,ワイド,及びフォーカスに対する優先度は、パン・チルトに対する優先度の次に高い値に設定されている。
【0063】
一方、被写体認識に関しては、被写体を認識できなかった場合にユーザが被写体を探しやすくするために、「認識不可」に対する優先度は高い値に設定されている。また、被写体が移動中である場合もユーザが被写体を探しやすくするために、「移動中」に対する優先度は、「認識不可」に対する優先度の次に高い値に設定されている。
【0064】
優先度テーブルを利用した、各撮像装置の優先度の決定では、各撮像装置変位データと、優先度テーブルとの照合が行われ、優先度テーブルに示されている、撮像装置変位データに該当する項目の優先度の合計値が各撮像装置の優先度として決定される。優先度の決定後、記憶部204に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、優先度テーブルを利用して、各撮像装置の優先度を決定する場合、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。
【0065】
例えば、図8,図9,図10において、各撮像装置変位データと優先度テーブルを照合すると、各撮像装置の優先度は以下のようになる。なお、撮像装置802と撮像装置変位データ901が対応し、撮像装置803と撮像装置変位データ902が対応し、撮像装置804と撮像装置変位データ903が対応するものとする。撮像装置802の優先度は7(=5+1+1)、撮像装置803の優先度は21(=10+1+10)、撮像装置804の優先度は2(=1+1)となる。このため、表示端末101の最大処理可能量を30fpsと仮定すると、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、撮像装置802には7fps,撮像装置803には21fps,撮像装置804には2fpsが割り当てられる。
【0066】
なお、本実施形態における優先度テーブルには、図10で示される優先度テーブルを利用したが、優先度テーブルは図10に限定されるものではない。例えば、各フレーミング動作の変化量,被写体の移動量,音量の変化量等を加味し、各変化量に応じて優先度の重みが異なる優先度テーブルでもよい。
【0067】
図11は、本実施形態における撮像装置の動作を示している。以下、本図を基に撮像装置の動作を説明する。
【0068】
処理部302は、画像送信処理開始命令を受け付けると、画像送信処理を開始する(ステップS1101)。なお、本実施形態における画像送信処理開始命令とは、撮像装置に画像送信処理を開始させる命令であり、表示端末101と撮像装置が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している表示端末101から、通信部305を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図3で示される撮像装置の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0069】
処理部302は、画像送信処理の開始後、フレームレート情報の受信を待機する受信待機状態となる(ステップS1102)。処理部302は、通信部305を経由してフレームレート情報を受信すると、最大取得可能量を決定し、フレームレート情報と最大取得可能量を記憶部304に記憶する(ステップS1103)。処理部302は、フレームレート情報と最大取得可能量の記憶後、これら二つの情報に基づき、画像非送信回数の規定値を決定し、記憶部304に記憶する(ステップS1104)。
【0070】
前述したように、最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。また、画像非送信回数とは、撮像装置から表示端末101に対して送信されるフレーム画像の送信処理をスキップした回数である。なお、画像非送信回数の規定値とは、フレームレート情報に付加されているフレームレートの指定値と、最大取得可能量とに基づいて算出された値である。例えば、フレームレートの指定値を5fpsと仮定し、最大取得可能量を30fpsと仮定した場合、30fpsを5fpsに変更するには、6フレームに一度、フレーム画像を送信すればよいため、画像非送信回数の規定値は6と算出される。なお、記憶部304には、画像非送信回数の規定値とは別に画像非送信回数が記憶されており、この画像非送信回数にはクリア後の値が設定されている。
【0071】
処理部302は、画像非送信回数の規定値の記憶後、画像送信開始命令の受信を待機する受信待機状態となる(ステップS1105)。処理部302は、通信部305を経由して画像送信開始命令を受信すると、撮像部が取得し、記憶部304に順次記憶しているリアルタイム映像の最新のフレーム画像を、表示端末101に対して、通信部305を経由して送信する(ステップS1106)。
【0072】
処理部302は、ステップS1106におけるフレーム画像の送信後、記憶部304に記憶している画像非送信回数が、記憶部304に記憶している画像非送信回数の規定値と一致するか否かの判定を行う(ステップS1107)。処理部302は、画像非送信回数が画像非送信回数の規定値と一致した場合は、ステップS1108で示される処理を行い、一致しなかった場合は、ステップS1110で示される処理を行う。
【0073】
処理部302は、ステップS1107の処理で画像非送信回数が画像非送信回数の規定値と一致した場合、記憶部304に記憶されているリアルタイム映像の最新のフレーム画像を、表示端末101に対して、通信部305を経由して送信し(ステップS1108)、画像非送信回数をクリアする(ステップS1109)。処理部302は、画像非送信回数のクリア後、取得部303に対して撮像装置変位データ取得命令を発行する。なお、本実施形態における撮像装置変位データ取得命令とは、処理部302から取得部303に対して発行される命令であり、取得部303に対して撮像装置の撮影状況や、撮影している被写体の変位量の取得を開始させる命令である。
【0074】
一方、処理部302は、ステップS1107の処理で画像非送信回数が画像非送信回数の規定値と一致しなかった場合、画像非送信回数をカウントアップする(ステップS1110)。処理部302は、画像非送信回数のカウントアップ後、取得部303に対して撮像装置変位データ取得命令を発行する。
【0075】
取得部303は、ステップS1109,或いはステップS1110において、処理部302から撮像装置変位データ取得命令を受け付けると、撮像装置変位データの取得を行い、取得した撮影状況,或いは被写体の変位量に変化があるか否かの判定を行う(ステップS1111)。なお、取得部303が取得した撮像装置変位データは記憶部304に記憶されており、ステップS1111では、最後に取得した撮像装置変位データから取得した撮影状況,或いは被写体の変位量と、最後に取得した撮像装置変位データの1回前に取得した撮像装置変位データから取得した撮影状況,或いは被写体の変位量とを比較することにより判定が行われる。
【0076】
撮影状況,或いは被写体の変位量に変化がある場合、取得部303はフレームレート変更情報に撮像装置変位データを付加して記憶部304に記憶し、処理部302に対してフレームレート変更情報記憶完了通知を発行する。一方で、撮影状況にも被写体の変位量にも変化が無い場合、ステップS1115で示される処理が行われる。なお、本実施形態におけるフレームレート変更情報記憶完了通知は、取得部303から処理部302に対して発行される命令であり、処理部302に対してフレームレート変更情報の送信処理を行わせる命令である。
【0077】
処理部302は、フレームレート変更情報記憶完了通知を受け付けると、記憶部304に記憶されているフレームレート変更情報を、表示端末101に対して、通信部305を経由して送信する(ステップS1112)。処理部302は、フレームレート変更情報の送信後、フレームレート情報の受信を待機する受信待機状態となる(ステップS1113)。通信部305を経由してフレームレート情報を受信すると、処理部302は、受信したフレームレート情報を記憶部304に記憶し、ステップS1114で示される処理を行う。
【0078】
処理部302は、ステップS1113で受信したフレームレート情報の記憶後、ステップS1113で受信して記憶部304に記憶したフレームレート情報と、ステップS1103で記憶部304に記憶した最大取得可能量とに基づき、画像非送信回数の規定値を更新する(ステップS1114)。
【0079】
処理部302は、ステップS1114における画像非送信回数の規定値の更新後,或いはステップS1111において撮影状況,被写体の変位量に変化が無いと判定された場合、表示端末101から画像送信終了命令を受信しているか否かの判定を行う(ステップS1115)。画像送信終了命令を受信していた場合、処理部302は、表示端末101に対するリアルタイム映像の送信を中止し、画像送信処理を終了する。一方、画像送信終了命令を未受信であった場合、処理部302は、ステップS1107で示される画像非送信回数の判定から再度処理を実行する。
【0080】
(実施形態における効果)
以上が本発明の実施形態である。本実施形態によれば、各撮像装置から送信されるフレーム画像のデータ量(フレームレート)の合計が表示端末の最大処理可能量を超えないように、各撮像装置から送信されるフレーム画像のデータ量が決定されるので、表示端末における画像表示に係る処理負荷を低減することができる。また、フレーム画像に関する撮影操作,撮影環境,撮影被写体の状態を示す撮像装置変位データと、優先度に関する情報とに基づいて、ユーザが情報量を必要とするであろう状態にある撮像装置に優先的に高いデータ量を割り当てることによって、ユーザが情報量を必要とするであろう映像の情報量は削減されないように、画像の優先度を反映した画像表示を行うことができる。
【0081】
また、撮像装置変位データに、撮像装置のフレーミング動作に関する情報が含まれるので、各撮像装置における、パン・チルト,ズーム・ワイド,フォーカス等のフレーミング動作に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0082】
また、撮像装置変位データに、撮像装置が検知した音量に関する情報が含まれるので、各撮像装置が検知した周囲の音量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0083】
また、撮像装置変位データに、フレーム画像に存在する被写体を認識できたか否かに関する情報が含まれるので、フレーム画像に存在する被写体の認識の成否に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0084】
また、撮像装置変位データに、フレーム画像に存在する被写体の、フレーム画像内における移動量に関する情報が含まれるので、フレーム画像に存在する被写体の移動量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0085】
(変形例)
本発明の実施形態の説明は以上であるが、本発明は上記の実施形態に限定されるものではない。
【0086】
(第1の変形例)
例えば、図12(a)で示されるように、表示端末101が、撮像装置における撮影状況を指示するリモート操作部1201を更に具備し、表示端末101から撮像装置の撮影状況を指示できる構成にしてもよい。リモート操作部1201は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、処理部205は、リモート操作部1201がユーザから受け付けた撮影状況の情報を、撮像装置に対して、通信部206を経由して送信する。撮像装置において、処理部302は、表示端末101から送信された撮影状況の情報を、通信部305を経由して受信し、受信した撮影状況の情報に基づいて、撮像部301の状態を制御する。
【0087】
また、第1の変形例で示されるシステムにおいては、図12(b)で示されるように、リモート操作部1201を取得部203の一部として扱い、リモート操作部1201を利用して行われる撮像装置の撮影状況の変化に基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。リモート操作部1201は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、取得部203は、リモート操作部1201がユーザから受け付けた撮影状況の情報から撮像装置変位データを取得する。なお、表示端末101が図12(b)で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0088】
(第2の変形例)
例えば、図13で示されるように、表示端末101における取得部203が、撮像装置から送信されるフレーム画像の解析を行う映像解析部1301を更に具備し、映像解析部1301がフレーム画像の解析によって取得した被写体の変化量に基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。取得部203は、映像解析部1301がフレーム画像の解析によって取得した被写体の変化量から撮像装置変位データを取得する。なお、表示端末101が図13で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0089】
(第3の変形例)
例えば、図14で示されるように、表示端末101における取得部203が、図12で示されるリモート操作部1201と、図13で示される映像解析部1301とを更に具備し、リモート操作部1201を利用して行われる撮像装置の撮影状況の変化と、映像解析部1301により解析された被写体の変化量とに基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。なお、表示端末101が図14で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0090】
以上のように、本発明の要旨を逸脱しない限りは、本発明における各装置の構成,及びシステムは、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0091】
101・・・表示端末、102,103,802,803,804・・・撮像装置、201・・・表示部、202・・・決定部、203,303・・・取得部、204,304・・・記憶部、205,302・・・処理部、206,305・・・通信部、301・・・撮像部、1201・・・リモート操作部、1301・・・映像解析部
【技術分野】
【0001】
本発明は、複数の撮像装置からフレーム画像を受信し、受信したフレーム画像を表示する画像表示装置に関する。
【背景技術】
【0002】
複数の映像を、ネットワークを経由して送受信する際の、ネットワーク上の情報量を削減する技術として、特許文献1に示される技術が開示されている。特許文献1に記載された表示制御システムでは、複数の信号源からの映像信号に基づく画像を画像表示装置の画面上における複数の表示領域にそれぞれ表示する際、各表示領域の画像表示属性情報と表示信号選択情報とが画像表示装置から各信号源に送信され、信号源側で受信した画像表示属性情報に付加されている表示領域の解像度を基に、予め情報量が削減された映像信号が各信号源から画像表示装置に送信される。これによって、ネットワーク上の情報量を削減することが可能である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−356753号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の映像を送受信する場合、送信される複数の映像の情報量が、受信側で処理可能な情報量を超えると、画像表示装置で表示される映像のフレームの欠落等が発生するため、送信される映像の情報量を削減し、受信側の処理負荷を低減することが望ましい。上記の表示制御システムは、画像表示装置の画面上における複数の表示領域の解像度を基に、信号源からの映像信号の情報量を削減していた。しかしながら、表示制御システムは、表示領域の解像度に基づいて信号源からの映像信号の情報量を削減するため、解像度の低い表示領域に表示する映像に関しては、表示制御システムの利用者が情報量を必要としている映像信号であっても、情報量が削減された映像しか表示できない問題があった。
【0005】
本発明は、上述した課題に鑑みてなされたものであって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するためになされたもので、複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、を有する画像表示装置である。
【0007】
また、本発明の画像表示装置において、前記取得部は、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する。
【0008】
また、本発明の画像表示装置は、前記撮像装置に対して撮影操作を指示するリモート操作部を更に有し、前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する。
【0009】
また、本発明の画像表示装置は、前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、前記取得部は、前記解析部による解析の結果に基づいて前記状態情報を取得する。
【0010】
また、本発明の画像表示装置において、前記状態情報が、前記撮像装置のフレーミング動作に関する情報である。
【0011】
また、本発明の画像表示装置において、前記状態情報が、前記撮像装置が検知した音量に関する情報である。
【0012】
また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である。
【0013】
また、本発明の画像表示装置において、前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である。
【発明の効果】
【0014】
本発明によれば、処理可能情報及び優先度情報と、状態情報とに基づいて、それぞれの撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定することによって、画像表示に係る処理負荷を低減すると共に、画像の優先度を反映した画像表示を行うことができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態における制御方法を説明するためのシステム構成図である。
【図2】本発明の一実施形態における表示端末の構成を示すブロック図である。
【図3】本発明の一実施形態における撮像装置の構成を示すブロック図である。
【図4】本発明の一実施形態における表示端末の動作の手順を示すフローチャートである。
【図5】本発明の一実施形態におけるフレームレート情報のデータ形式を示す参考図である。
【図6】本発明の一実施形態におけるフレームレート変更情報のデータ形式を示す参考図である。
【図7】本発明の一実施形態における撮像装置変位データの記憶形式を示す参考図である。
【図8】本発明の一実施形態におけるフレームレートの決定方法を説明するための説明図である。
【図9】本発明の一実施形態におけるフレームレートの決定方法を説明するための参考図である。
【図10】本発明の一実施形態における優先度テーブルを示す参考図である。
【図11】本発明の一実施形態における撮像装置の動作の手順を示すフローチャートである。
【図12】本発明の一実施形態の第1の変形例における表示端末及び撮像装置の構成を示すブロック図である。
【図13】本発明の一実施形態の第2の変形例における表示端末の構成を示すブロック図である。
【図14】本発明の一実施形態の第3の変形例における表示端末の構成を示すブロック図である。
【発明を実施するための形態】
【0016】
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による撮像装置と表示端末(画像表示装置)を備えた表示制御システムにおける制御方法の一例を示している。図1において、表示端末101は、撮像装置102,103のそれぞれから送信されるリアルタイム映像を受信して表示する。本実施形態の制御方法は、フレームレートの変更指示を示すフレームレート変更情報に付加された撮像装置変位データと、表示端末101の最大処理可能量とに基づき、各撮像装置から表示端末101に対して送信されるリアルタイム映像のフレームレート(各撮像装置が1フレーム期間内に送信するフレーム画像のデータ量)を制御することで、表示端末101の負荷を低減するものである。
【0017】
なお、本実施形態におけるフレームレート変更情報は、撮像装置102,103(以降、本実施形態において、特定の撮像装置を示す場合以外は、単に撮像装置と記す)から表示端末101に対して送信される情報であって、撮像装置変位データを少なくとも含む情報である。また、本実施形態における撮像装置変位データとは、各撮像装置の撮影状況や撮影環境の状態、撮像装置が捉えている被写体の状態を示すデータのことである。
【0018】
また、本実施形態における撮像装置の撮影状況とは、パン・チルト,フォーカス,ズーム・ワイド操作等のフレーミング動作(撮影操作)の状況(状態)のことをいい、撮影環境の状態とは、周囲の音量の変位量等のことをいい、被写体の状態とは、被写体認識の可否(被写体を認識できたか否か)、及びフレーム画像内に存在する被写体の、フレーム画像内における移動量(変位量)等のことをいう。
【0019】
また、本実施形態における最大処理可能量とは、表示端末101が所定期間に受信・表示処理可能なフレーム画像の最大数のことをいう。 また、本実施形態におけるリアルタイム映像とは、撮像装置の撮像部により撮像された映像であって、時系列順に生成された、フレーム毎のフレーム画像のデータで構成され、順次撮像装置の記憶部に記憶される映像のことをいう。
【0020】
図1に示す例では、撮像装置の端末数と、表示端末101の最大処理可能量とに基づき、表示端末101により決定されたフレームレートで、撮像装置102,103から表示端末101へリアルタイム映像が送信されている状況における制御方法の一例が示されている。この状況において、撮像装置102でフレーミング動作が行われた場合に、撮像装置102から表示端末101に対して、フレームレート変更情報が送信される。撮像装置102から送信されたフレームレート変更情報に付加された撮像装置変位データと、最大処理可能量とに基づき、表示端末101により各撮像装置のフレームレートが再度決定される。再度決定された各撮像装置のフレームレートを示すフレームレート情報が表示端末101から撮像装置102,103に対して送信されることで、撮像装置102,103から表示端末101に送信されるリアルタイム映像のフレームレートが、フレームレート情報で示されるフレームレートに制御される。
【0021】
なお、本実施形態におけるフレームレート情報とは、表示端末101から撮像装置102,103に対して送信される情報であって、撮像装置102,103から表示端末101に対して送信されるリアルタイム映像のフレームレートを指定する情報を少なくとも含む情報である。
【0022】
図1(a)に示す例は、撮像装置の端末数と、表示端末101の最大処理可能量とに基づき、表示端末101により決定されたフレームレート情報が、表示端末101から撮像装置102,103に対して送信されている様子を示している。図1(b)に示す例は、撮像装置102,103から表示端末101に対して、受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。図1(c)に示す例は、撮像装置102でフレーミング動作が行われ、撮像装置102から表示端末101に対してフレームレート変更情報が送信されている様子を示している。
【0023】
図1(d)に示す例は、図1(c)で受信したフレームレート変更情報に付加された撮像装置変位データに基づき、表示端末101により再度決定されたフレームレート情報が、表示端末101から撮像装置に対して送信されている様子を示している。図1(e)に示す例は、撮像装置102,103から表示端末101に対して、再度受信したフレームレート情報で示されるフレームレートでリアルタイム映像が送信されている様子を示している。
【0024】
また、図1に示す例では、撮像装置102のみでフレーミング動作が行われたため、撮像装置102のフレームレートが高く設定されているが、フレームレートが高く設定される撮像装置は一端末のみと限定されるものではない。例えば、複数の撮像装置でフレーミング動作がなされた場合は、フレームレートが高く設定される撮像装置が複数存在してもよく、またフレーミング動作がなされている撮像装置が存在しない場合は、図1(b)の状態のまま維持されてもよいものとする。
【0025】
また、図1に示す例では、撮像装置102のフレーミング動作が行われたことを条件として、撮像装置102から表示端末101に対してフレームレート変更情報が送信されるが、フレームレート変更情報が送信される条件は上記の条件に限定されるものではない。例えば、撮像装置における被写体認識の可否の変化,フレーム画像内に存在する被写体の、フレーム画像内における移動量,撮像装置が検知している音量の変化を条件としてフレームレート変更情報が送信されるようにしてもよい。
【0026】
図2は、本実施形態における表示端末101の構成を示している。以下、本図を基に表示端末101の構成を説明する。本実施形態における表示端末101は、表示部201と、決定部202と、取得部203と、記憶部204と、処理部205(制御部)と、通信部206とを備える。
【0027】
表示部201は、通信部206が受信したフレーム画像を表示する。決定部202は、最大処理可能量と、リアルタイム映像を送信する撮像装置の台数と、撮像装置変位データの一部,或いは全てと、撮像装置の優先度を決定するための優先度の情報とに基づき、各撮像装置のフレームレートを決定する。
【0028】
取得部203は、通信部206が受信したフレームレート変更情報の解析を行い、撮像装置毎に撮像装置変位データを取得する。記憶部204は、フレーム画像,最大処理可能量,リアルタイム映像を送信する撮像装置の台数,フレームレート変更情報,フレームレート情報,及び優先度テーブルを記憶する。なお、本実施形態における優先度テーブルとは、撮像装置変位データを構成する各データに対して予め決定されている、フレーム画像の優先度の重みを示したテーブルのことをいう。処理部205は、表示端末101の動作を制御する。通信部206は撮像装置と通信を行う。
【0029】
図3は、本実施形態における撮像装置の構成を示している。以下、本図を基に撮像装置の構成を説明する。本実施形態における撮像装置は、撮像部301と、処理部302と、取得部303と、記憶部304と、通信部305とを備える。
【0030】
撮像部301は、被写体を撮像してフレーム画像を生成し、リアルタイム映像を取得する。処理部302は、撮像装置の動作を制御する。取得部303は、撮像装置変位データの取得、及びフレームレート変更情報の生成を行う。記憶部304は、リアルタイム映像,フレームレート情報,画像非送信回数,及び最大取得可能量を記憶する。通信部305は、表示端末101と通信を行う。なお、画像非送信回数とは、撮像装置から表示端末101に対して送信されるフレーム画像の送信処理をスキップした回数である。また、本実施形態における最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。
【0031】
図4は、本実施形態における表示端末101の動作を示している。以下、本図を基に表示端末101の動作を説明する。
【0032】
処理部205は、リアルタイム映像表示開始命令を受け付けると、リアルタイム映像表示処理を開始する(ステップS401)。なお、本実施形態におけるリアルタイム映像表示開始命令とは、表示端末101にリアルタイム映像表示処理を開始させる命令であり、撮像装置と表示端末101が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している撮像装置から、通信部206を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図2で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0033】
処理部205は、リアルタイム映像表示処理を開始すると、最大処理可能量を決定し、記憶部204に記憶する(ステップS402)。処理部205は、最大処理可能量の記憶後、決定部202にフレームレート情報生成命令を発行する。
【0034】
なお、本実施形態における最大処理可能量は、処理部205によって決定される値であるが、記憶部204に予め記憶されている情報を利用してもよい。また、本実施形態における最大処理可能量は、例えば通信速度をX、リアルタイム映像を構成するフレーム画像の1フレームのデータ量をYとし、X/Yを計算することにより求めてもよい。また、本実施形態におけるフレームレート情報生成命令とは、処理部205から決定部202に対して発行される命令であり、決定部202にフレームレート情報を生成させる命令である。
【0035】
決定部202は、処理部205からフレームレート情報生成命令を受け付けると、記憶部204に記憶されている、リアルタイム映像を送信する撮像装置の数と、最大処理可能量とに基づいて、各撮像装置から表示端末101に送信されるリアルタイム映像のフレームレートを決定し、決定したフレームレートをフレームレート情報として記憶部204に記憶する(ステップS403)。決定部202は、フレームレート情報の記憶後、処理部205に対し、フレームレート情報の記憶が完了したことを通知するフレームレート情報記憶完了通知を発行する。なお、リアルタイム映像を送信する撮像装置の数は、例えば撮像装置と表示端末101が同じネットワークに所属したことを条件として撮像装置から送信される情報(ビーコン等)から求めることが可能である。
【0036】
また、フレームレート情報は、図5で示されるデータ形式で構成される情報である。フレームレート情報のデータ形式に関しては後述する。また、ステップS403におけるフレームレート決定方法に関しては後述する。
【0037】
処理部205は、決定部202からフレームレート情報記憶完了通知を受け付けると、記憶部204に記憶されているフレームレート情報を、通信部206を経由して各撮像装置に送信する(ステップS404)。処理部205は、フレームレート情報の送信後、各撮像装置に対して、通信部206を経由して画像送信開始命令を送信する(ステップS405)。なお、本実施形態における画像送信開始命令とは、撮像装置に対してリアルタイム映像の送信を開始させる命令である。
【0038】
処理部205は、画像送信開始命令の送信後、各撮像装置から送信されるフレーム画像の受信を待機する受信待機状態となる(ステップS406)。処理部205は、撮像装置から通信部206を経由してフレーム画像を受信すると、表示部201の所定の領域にフレーム画像を表示する(ステップS407)。処理部205は、フレーム画像の表示後、取得部203に対してフレームレート変更情報受信開始命令を発行する。なお、本実施形態におけるフレームレート変更情報受信開始命令とは、処理部205から取得部203に対して発行される命令であり、取得部203に対してフレームレート変更情報の受信処理を開始させる命令である。
【0039】
取得部203は、フレームレート変更情報受信開始命令を受け付けると、フレームレート変更情報の受信を待機する受信待機状態となる(ステップS408)。取得部203は、フレームレート変更情報を一定時間未受信であった場合、ステップS411で示される処理を行い、通信部206を経由してフレームレート変更情報を受信した場合、受信したフレームレート変更情報から撮像装置変位データを取得し、記憶部204に記憶する。取得部203は、撮像装置変位データの記憶後、決定部202に対してフレームレート変更情報受信完了通知を発行する。なお、本実施形態におけるフレームレート変更情報受信完了通知とは、取得部203から決定部202に対して発行される通知であり、決定部202にフレームレート情報を再度決定させる通知である。
【0040】
また、フレームレート変更情報は、図6で示されるデータ形式で構成される情報である。取得部203が撮像装置変位データを取得した後、図7のように、撮像装置変位データのみが記憶部204に記憶される。フレームレート変更情報のデータ形式と、撮像装置変位データの記憶方式に関しては後述する。
【0041】
決定部202は、処理部205からフレームレート変更情報受信完了通知を受け付けると、記憶部204に記憶されている撮像装置変位データ,及び最大処理可能量に基づいて、各撮像装置から表示端末101に送信されるリアルタイム映像のフレームレートを再度決定し、決定したフレームレートをフレームレート情報として記憶部204に記憶する(ステップS409)。決定部202は、フレームレート情報の記憶後、処理部205に対してフレームレート情報記憶完了通知を発行する。なお、ステップS409におけるフレームレートの決定方法に関しては後述する。
【0042】
処理部205は、フレームレート情報記憶完了通知を受け付けると、記憶部204に記憶されているフレームレート情報を、通信部206を経由して各撮像装置に送信する(ステップS410)。処理部205は、フレームレート情報の送信後,或いはステップS408でフレームレート変更情報を一定時間未受信であった場合、リアルタイム映像表示終了命令が発行されているか否かの判定を行う(ステップS411)。処理部205は、リアルタイム映像表示終了命令が発行されていた場合はステップS412で示される処理を行い、リアルタイム映像表示終了命令が発行されていない場合は、ステップS406で示されるフレーム画像の受信処理から再度処理を行う。
【0043】
なお、本実施形態におけるリアルタイム映像表示終了命令とは、表示端末101が行っているリアルタイム映像表示処理を終了させる命令であり、撮像装置と処理部205が接続を切断する前に発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、リアルタイム映像を送信する撮像装置から、通信部206を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図2で示される表示端末の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0044】
処理部205は、リアルタイム映像表示終了命令を受け付けると、各撮像装置に対して画像送信終了命令を送信し、ネットワークから離脱する(ステップS412)。なお、本実施形態における画像送信終了命令とは、表示端末101から各撮像装置に対して送信される命令であり、撮像装置に対してリアルタイム映像の送信を終了させる命令である。
【0045】
ステップS403等で示される、フレームレート情報のデータ形式に関して、図5を基に説明する。フレームレート情報は、メッセージ種別501,データ長502,送信先IPアドレス503,送信元IPアドレス504,及びフレームレート指定値505で構成される情報である。
【0046】
メッセージ種別501には、本情報がフレームレート情報であることを示すデータが格納される。データ長502には、本フレームレート情報のデータ長が格納される。送信先IPアドレス503には、フレームレートを指定する撮像装置のIPアドレスが格納される。送信元IPアドレス504には、本フレームレート情報を送信した表示端末101のIPアドレスが格納される。フレームレート指定値505には、撮像装置から表示端末101に送信されるフレーム画像のフレームレートの指定値が格納される。
【0047】
ステップS408等で示される、フレームレート変更情報のデータ形式に関して、図6を基に説明する。フレームレート変更情報は、メッセージ種別601,データ長602,送信先IPアドレス603,送信元IPアドレス604,及び撮像装置変位データ605で構成される情報である。
【0048】
メッセージ種別601には、本情報がフレームレート変更情報であることを示すデータが格納される。データ長602には、本フレームレート変更情報のデータ長が格納される。送信先IPアドレス603には表示端末101のIPアドレスが格納される。送信元IPアドレス604には、本フレームレート変更情報を送信した撮像装置のIPアドレスが格納される。撮像装置変位データ605には、送信元IPアドレス604に該当する撮像装置の撮像変位データが格納される。
【0049】
ステップS408で示される、撮像装置変位データの記憶方式に関して、図7を基に説明する。記憶部204に記憶される撮像装置変位データの情報は、撮像装置変位データ検索テーブル701,IPアドレス702,及び撮像装置変位データ703で構成される。
【0050】
撮像装置変位データ検索テーブル701には、記憶部204に保存されている撮像装置変位データ703を取得した撮像装置のIPアドレス702が関連付けられている。IPアドレス702には、該当する撮像装置の撮像装置変位データ703が関連付けられている。撮像装置変位データ703には、パン・チルトやズーム等のフレーミング動作の状態や変位量,音量の変位量,被写体認識の状態等が含まれる。上記のように、撮像装置変位データ検索テーブル701は、撮像装置変位データ703が関連付けられたIPアドレス702が関連付けられた状態で記憶部204に記憶されている。
【0051】
ステップS403で示される、フレームレートの決定方法に関して、図8を基に説明する。ステップS403における、各撮像装置のフレームレートの決定は、記憶部204に記憶されている、接続している撮像装置の数と、最大処理可能量とに基づき、各撮像装置に対してフレーム数を均一に割り当てることで行われる。例えば、図8において、表示端末101の最大処理可能量を30fpsと仮定すると、撮像装置の数は、撮像装置802,803,804の3台であるため、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、各撮像装置に10fpsが割り当てられる。
【0052】
ステップS409で示される、フレームレートの決定方法に関して、図8,図9,及び図10を基に説明する。ステップS409における、各撮像装置のフレームレートの決定は、記憶部204に記憶されている最大処理可能量と、記憶部204に記憶されている撮像装置変位データから決定された各撮像装置の優先度とに基づき、各撮像装置に対してフレーム数を個別に割り当てることで行われる。
【0053】
なお、本実施形態においては、各撮像装置の優先度は、各撮像装置変位データから予測された各撮像装置の撮影段階により決定されるものとする。或いは、各撮像装置の優先度は、各撮像装置変位データを、図10で示される優先度テーブルに照合することにより決定されるものとする。
【0054】
ステップS409における、各撮像装置の優先度の決定が、各撮像装置の撮影段階により決定される場合、各撮像装置変位データから各撮像装置の撮影段階が予測される。例えば、図8及び図9において、撮像装置802の撮像装置変位データ901から、撮像装置802は、被写体801が画角内に存在し、かつ変倍操作が行われている状況であることが判別できる。このため、撮像装置802は構図決定の段階であると予測される。
【0055】
また、撮像装置803の撮像装置変位データ902から、撮像装置803は、被写体801が画角内に存在せず、かつパン・チルトが行われている状況であることが判別できる。このため、撮像装置803は、被写体801の捕捉を行っている段階であると予測される。また、撮像装置804の撮像装置変位データ903から、撮像装置804は、被写体801が画角内に存在し、かつフレーミング動作が行われていない状況であることが判別できる。このため、撮像装置804は、撮影可能な段階であると予測される。
【0056】
各撮像装置の撮影段階の予測後、各撮像装置の優先度の決定が行われる。フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなる。リアルタイム映像内の被写体の動きが大きく、且つリアルタイム映像のフレームレートが低い状況では、ユーザが被写体を追いづらくなり、フレーミング動作の微調整が困難になる。このため、フレーミング動作中、即ち被写体の捕捉を行っている段階ではフレームレートが高くなるように、優先度を高く決定することが考えられる。例えば、図8及び図9において、撮影可能な段階に最も遠い段階から優先度を高く決定すると、被写体の捕捉を行っている段階にある撮像装置803は高い優先度となり、構図決定の段階にある撮像装置802は通常の優先度となり、撮影可能な段階にある撮像装置804は低い優先度となる。
【0057】
なお、各撮影段階と優先度との関係を示す情報(優先度情報)が予め記憶部204に格納されており、撮影段階の予測後、記憶部204に記憶されている情報に基づいて、撮影段階に対応した優先度が決定される。また、本実施形態においては、撮影可能な段階に最も遠い段階から優先度を高く決定したが、撮影段階に基づく優先度の決定方法は、上記の方法に限定されるものではない。例えば、撮影可能な段階に最も近い段階から優先度を高く決定する方法や、構図決定の段階にある撮像装置の優先度を高く決定する方法でもよい。
【0058】
優先度の決定後、記憶部204に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、各撮像装置の撮影段階により優先度を決定する場合における優先度の重みは、優先度の低い撮像装置から順に自然数で割り当てられるものとし、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。
【0059】
例えば、図8及び図9において、低い優先度の撮像装置804は優先度1,通常の優先度の撮像装置802は優先度2,高い優先度の撮像装置803は優先度3となる。このため、表示端末101の最大処理可能量を30fpsと仮定すると、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、通常の優先度である撮像装置802には10fps、高い優先度である撮像装置803には15fps、低い優先度である撮像装置804には5fpsが割り当てられる。
【0060】
一方、ステップS409における、各撮像装置の優先度の決定が、各撮像装置変位データを、図10で示される優先度テーブル(優先度情報)に照合することで決定される場合は以下のようになる。図10に示すように、優先度テーブルでは、撮像装置変位データを構成するデータの項目と、その項目に属する詳細情報と、その詳細情報に割り当てられた優先度とが関連付けられている。
【0061】
撮像装置変位データを構成するデータの項目とは、フレーミング,被写体認識,及びその他である。フレーミングに属する詳細情報とは、パン,チルト,ズーム,ワイド,及びフォーカス等である。被写体認識に属する詳細情報とは、被写体を認識できなかったことを示す「認識不可」,被写体が移動中であることを示す「移動中」,及び被写体が静止中であることを示す「静止中」等である。その他とは、音量の変化量等である。
【0062】
前述したように、フレーミング動作が行われている状況では、パン・チルト等による撮像装置の動きによってリアルタイム映像内の被写体の動きが大きくなり、フレーミング動作の微調整が困難になる。このため、パンやチルトに対する優先度は高い値に設定されている。また、変倍操作等によってもリアルタイム映像内の被写体に動きが発生するので、ズーム,ワイド,及びフォーカスに対する優先度は、パン・チルトに対する優先度の次に高い値に設定されている。
【0063】
一方、被写体認識に関しては、被写体を認識できなかった場合にユーザが被写体を探しやすくするために、「認識不可」に対する優先度は高い値に設定されている。また、被写体が移動中である場合もユーザが被写体を探しやすくするために、「移動中」に対する優先度は、「認識不可」に対する優先度の次に高い値に設定されている。
【0064】
優先度テーブルを利用した、各撮像装置の優先度の決定では、各撮像装置変位データと、優先度テーブルとの照合が行われ、優先度テーブルに示されている、撮像装置変位データに該当する項目の優先度の合計値が各撮像装置の優先度として決定される。優先度の決定後、記憶部204に記憶されている最大処理可能量と、各撮像装置の優先度とに基づいて、各撮像装置のフレーム数の割り振りが行われる。なお、優先度テーブルを利用して、各撮像装置の優先度を決定する場合、フレーム数の割り振りは、最大処理可能量と優先度の重みに基づいて割り当てられるものとする。
【0065】
例えば、図8,図9,図10において、各撮像装置変位データと優先度テーブルを照合すると、各撮像装置の優先度は以下のようになる。なお、撮像装置802と撮像装置変位データ901が対応し、撮像装置803と撮像装置変位データ902が対応し、撮像装置804と撮像装置変位データ903が対応するものとする。撮像装置802の優先度は7(=5+1+1)、撮像装置803の優先度は21(=10+1+10)、撮像装置804の優先度は2(=1+1)となる。このため、表示端末101の最大処理可能量を30fpsと仮定すると、各撮像装置のフレームレートの合計が表示端末101の最大処理可能量を超えないように、撮像装置802には7fps,撮像装置803には21fps,撮像装置804には2fpsが割り当てられる。
【0066】
なお、本実施形態における優先度テーブルには、図10で示される優先度テーブルを利用したが、優先度テーブルは図10に限定されるものではない。例えば、各フレーミング動作の変化量,被写体の移動量,音量の変化量等を加味し、各変化量に応じて優先度の重みが異なる優先度テーブルでもよい。
【0067】
図11は、本実施形態における撮像装置の動作を示している。以下、本図を基に撮像装置の動作を説明する。
【0068】
処理部302は、画像送信処理開始命令を受け付けると、画像送信処理を開始する(ステップS1101)。なお、本実施形態における画像送信処理開始命令とは、撮像装置に画像送信処理を開始させる命令であり、表示端末101と撮像装置が同じネットワークに所属したことを条件として発行される命令である。命令が発行される条件は上記の条件に限定されるものではなく、例えば、同じネットワークに所属している表示端末101から、通信部305を経由して、命令発行の指示に係る情報を受信することにより命令が発行される条件にしてもよいし、図3で示される撮像装置の構成にユーザインターフェース部を更に具備し、ユーザの入力により命令が発行される条件にしてもよい。
【0069】
処理部302は、画像送信処理の開始後、フレームレート情報の受信を待機する受信待機状態となる(ステップS1102)。処理部302は、通信部305を経由してフレームレート情報を受信すると、最大取得可能量を決定し、フレームレート情報と最大取得可能量を記憶部304に記憶する(ステップS1103)。処理部302は、フレームレート情報と最大取得可能量の記憶後、これら二つの情報に基づき、画像非送信回数の規定値を決定し、記憶部304に記憶する(ステップS1104)。
【0070】
前述したように、最大取得可能量とは、撮像装置が取得するリアルタイム映像のフレームレートを示す情報である。また、画像非送信回数とは、撮像装置から表示端末101に対して送信されるフレーム画像の送信処理をスキップした回数である。なお、画像非送信回数の規定値とは、フレームレート情報に付加されているフレームレートの指定値と、最大取得可能量とに基づいて算出された値である。例えば、フレームレートの指定値を5fpsと仮定し、最大取得可能量を30fpsと仮定した場合、30fpsを5fpsに変更するには、6フレームに一度、フレーム画像を送信すればよいため、画像非送信回数の規定値は6と算出される。なお、記憶部304には、画像非送信回数の規定値とは別に画像非送信回数が記憶されており、この画像非送信回数にはクリア後の値が設定されている。
【0071】
処理部302は、画像非送信回数の規定値の記憶後、画像送信開始命令の受信を待機する受信待機状態となる(ステップS1105)。処理部302は、通信部305を経由して画像送信開始命令を受信すると、撮像部が取得し、記憶部304に順次記憶しているリアルタイム映像の最新のフレーム画像を、表示端末101に対して、通信部305を経由して送信する(ステップS1106)。
【0072】
処理部302は、ステップS1106におけるフレーム画像の送信後、記憶部304に記憶している画像非送信回数が、記憶部304に記憶している画像非送信回数の規定値と一致するか否かの判定を行う(ステップS1107)。処理部302は、画像非送信回数が画像非送信回数の規定値と一致した場合は、ステップS1108で示される処理を行い、一致しなかった場合は、ステップS1110で示される処理を行う。
【0073】
処理部302は、ステップS1107の処理で画像非送信回数が画像非送信回数の規定値と一致した場合、記憶部304に記憶されているリアルタイム映像の最新のフレーム画像を、表示端末101に対して、通信部305を経由して送信し(ステップS1108)、画像非送信回数をクリアする(ステップS1109)。処理部302は、画像非送信回数のクリア後、取得部303に対して撮像装置変位データ取得命令を発行する。なお、本実施形態における撮像装置変位データ取得命令とは、処理部302から取得部303に対して発行される命令であり、取得部303に対して撮像装置の撮影状況や、撮影している被写体の変位量の取得を開始させる命令である。
【0074】
一方、処理部302は、ステップS1107の処理で画像非送信回数が画像非送信回数の規定値と一致しなかった場合、画像非送信回数をカウントアップする(ステップS1110)。処理部302は、画像非送信回数のカウントアップ後、取得部303に対して撮像装置変位データ取得命令を発行する。
【0075】
取得部303は、ステップS1109,或いはステップS1110において、処理部302から撮像装置変位データ取得命令を受け付けると、撮像装置変位データの取得を行い、取得した撮影状況,或いは被写体の変位量に変化があるか否かの判定を行う(ステップS1111)。なお、取得部303が取得した撮像装置変位データは記憶部304に記憶されており、ステップS1111では、最後に取得した撮像装置変位データから取得した撮影状況,或いは被写体の変位量と、最後に取得した撮像装置変位データの1回前に取得した撮像装置変位データから取得した撮影状況,或いは被写体の変位量とを比較することにより判定が行われる。
【0076】
撮影状況,或いは被写体の変位量に変化がある場合、取得部303はフレームレート変更情報に撮像装置変位データを付加して記憶部304に記憶し、処理部302に対してフレームレート変更情報記憶完了通知を発行する。一方で、撮影状況にも被写体の変位量にも変化が無い場合、ステップS1115で示される処理が行われる。なお、本実施形態におけるフレームレート変更情報記憶完了通知は、取得部303から処理部302に対して発行される命令であり、処理部302に対してフレームレート変更情報の送信処理を行わせる命令である。
【0077】
処理部302は、フレームレート変更情報記憶完了通知を受け付けると、記憶部304に記憶されているフレームレート変更情報を、表示端末101に対して、通信部305を経由して送信する(ステップS1112)。処理部302は、フレームレート変更情報の送信後、フレームレート情報の受信を待機する受信待機状態となる(ステップS1113)。通信部305を経由してフレームレート情報を受信すると、処理部302は、受信したフレームレート情報を記憶部304に記憶し、ステップS1114で示される処理を行う。
【0078】
処理部302は、ステップS1113で受信したフレームレート情報の記憶後、ステップS1113で受信して記憶部304に記憶したフレームレート情報と、ステップS1103で記憶部304に記憶した最大取得可能量とに基づき、画像非送信回数の規定値を更新する(ステップS1114)。
【0079】
処理部302は、ステップS1114における画像非送信回数の規定値の更新後,或いはステップS1111において撮影状況,被写体の変位量に変化が無いと判定された場合、表示端末101から画像送信終了命令を受信しているか否かの判定を行う(ステップS1115)。画像送信終了命令を受信していた場合、処理部302は、表示端末101に対するリアルタイム映像の送信を中止し、画像送信処理を終了する。一方、画像送信終了命令を未受信であった場合、処理部302は、ステップS1107で示される画像非送信回数の判定から再度処理を実行する。
【0080】
(実施形態における効果)
以上が本発明の実施形態である。本実施形態によれば、各撮像装置から送信されるフレーム画像のデータ量(フレームレート)の合計が表示端末の最大処理可能量を超えないように、各撮像装置から送信されるフレーム画像のデータ量が決定されるので、表示端末における画像表示に係る処理負荷を低減することができる。また、フレーム画像に関する撮影操作,撮影環境,撮影被写体の状態を示す撮像装置変位データと、優先度に関する情報とに基づいて、ユーザが情報量を必要とするであろう状態にある撮像装置に優先的に高いデータ量を割り当てることによって、ユーザが情報量を必要とするであろう映像の情報量は削減されないように、画像の優先度を反映した画像表示を行うことができる。
【0081】
また、撮像装置変位データに、撮像装置のフレーミング動作に関する情報が含まれるので、各撮像装置における、パン・チルト,ズーム・ワイド,フォーカス等のフレーミング動作に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0082】
また、撮像装置変位データに、撮像装置が検知した音量に関する情報が含まれるので、各撮像装置が検知した周囲の音量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0083】
また、撮像装置変位データに、フレーム画像に存在する被写体を認識できたか否かに関する情報が含まれるので、フレーム画像に存在する被写体の認識の成否に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0084】
また、撮像装置変位データに、フレーム画像に存在する被写体の、フレーム画像内における移動量に関する情報が含まれるので、フレーム画像に存在する被写体の移動量に基づいて、各撮像装置から表示端末へ送信されるフレーム画像のデータ量を決定することができる。
【0085】
(変形例)
本発明の実施形態の説明は以上であるが、本発明は上記の実施形態に限定されるものではない。
【0086】
(第1の変形例)
例えば、図12(a)で示されるように、表示端末101が、撮像装置における撮影状況を指示するリモート操作部1201を更に具備し、表示端末101から撮像装置の撮影状況を指示できる構成にしてもよい。リモート操作部1201は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、処理部205は、リモート操作部1201がユーザから受け付けた撮影状況の情報を、撮像装置に対して、通信部206を経由して送信する。撮像装置において、処理部302は、表示端末101から送信された撮影状況の情報を、通信部305を経由して受信し、受信した撮影状況の情報に基づいて、撮像部301の状態を制御する。
【0087】
また、第1の変形例で示されるシステムにおいては、図12(b)で示されるように、リモート操作部1201を取得部203の一部として扱い、リモート操作部1201を利用して行われる撮像装置の撮影状況の変化に基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。リモート操作部1201は、ユーザから、撮影状況に係る操作を受け付けるように構成されており、取得部203は、リモート操作部1201がユーザから受け付けた撮影状況の情報から撮像装置変位データを取得する。なお、表示端末101が図12(b)で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0088】
(第2の変形例)
例えば、図13で示されるように、表示端末101における取得部203が、撮像装置から送信されるフレーム画像の解析を行う映像解析部1301を更に具備し、映像解析部1301がフレーム画像の解析によって取得した被写体の変化量に基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。取得部203は、映像解析部1301がフレーム画像の解析によって取得した被写体の変化量から撮像装置変位データを取得する。なお、表示端末101が図13で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0089】
(第3の変形例)
例えば、図14で示されるように、表示端末101における取得部203が、図12で示されるリモート操作部1201と、図13で示される映像解析部1301とを更に具備し、リモート操作部1201を利用して行われる撮像装置の撮影状況の変化と、映像解析部1301により解析された被写体の変化量とに基づき、表示端末101における各撮像装置のフレーム数の割り当てが行われるようにしてもよい。なお、表示端末101が図14で示される構成の場合、撮像装置は取得部303を持たなくともよい。
【0090】
以上のように、本発明の要旨を逸脱しない限りは、本発明における各装置の構成,及びシステムは、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0091】
101・・・表示端末、102,103,802,803,804・・・撮像装置、201・・・表示部、202・・・決定部、203,303・・・取得部、204,304・・・記憶部、205,302・・・処理部、206,305・・・通信部、301・・・撮像部、1201・・・リモート操作部、1301・・・映像解析部
【特許請求の範囲】
【請求項1】
複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、
前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、
所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、
前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、
前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、
前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、
を有する画像表示装置。
【請求項2】
前記取得部は、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項3】
前記撮像装置に対して撮影操作を指示するリモート操作部を更に有し、
前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項4】
前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、
前記取得部は、前記解析部による解析の結果に基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項5】
前記状態情報が、前記撮像装置のフレーミング動作に関する情報である請求項1に記載の画像表示装置。
【請求項6】
前記状態情報が、前記撮像装置が検知した音量に関する情報である請求項1に記載の画像表示装置。
【請求項7】
前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である請求項1に記載の画像表示装置。
【請求項8】
前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である請求項1に記載の画像表示装置。
【請求項1】
複数の撮像装置のそれぞれから時系列的に送信されるフレーム画像を受信する通信部と、
前記通信部によって受信された、前記複数の撮像装置のそれぞれからの前記フレーム画像を表示する表示部と、
所定の期間内に処理可能な前記フレーム画像の量に関する処理可能情報を記憶すると共に、前記通信部によって受信された前記フレーム画像に関する撮影操作、撮影環境、又は撮影被写体の状態に対して予め決定された、前記フレーム画像の優先度を示す優先度情報を記憶する記憶部と、
前記撮影操作、前記撮影環境、又は前記撮影被写体の状態を示す状態情報を前記撮像装置毎に取得する取得部と、
前記記憶部に記憶されている前記処理可能情報及び前記優先度情報と、前記取得部が取得した前記状態情報とに基づいて、それぞれの前記撮像装置が所定の期間内に送信するフレーム画像のデータ量を決定する決定部と、
前記決定部が決定したデータ量に対応する情報を前記複数の撮像装置のそれぞれに前記通信部から送信させる制御を行う制御部と、
を有する画像表示装置。
【請求項2】
前記取得部は、前記フレーム画像に付随して前記撮像装置から送信されるデータに基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項3】
前記撮像装置に対して撮影操作を指示するリモート操作部を更に有し、
前記取得部は、前記リモート操作部によって指示された撮影操作に基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項4】
前記フレーム画像に基づいて前記撮影被写体の変位量を解析する解析部を更に有し、
前記取得部は、前記解析部による解析の結果に基づいて前記状態情報を取得する請求項1に記載の画像表示装置。
【請求項5】
前記状態情報が、前記撮像装置のフレーミング動作に関する情報である請求項1に記載の画像表示装置。
【請求項6】
前記状態情報が、前記撮像装置が検知した音量に関する情報である請求項1に記載の画像表示装置。
【請求項7】
前記状態情報が、前記フレーム画像に存在する被写体を認識できたか否かに関する情報である請求項1に記載の画像表示装置。
【請求項8】
前記状態情報が、前記フレーム画像に存在する被写体の、前記フレーム画像内における移動量に関する情報である請求項1に記載の画像表示装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−231231(P2012−231231A)
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願番号】特願2011−97128(P2011−97128)
【出願日】平成23年4月25日(2011.4.25)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成24年11月22日(2012.11.22)
【国際特許分類】
【出願日】平成23年4月25日(2011.4.25)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]