映像の操作体感制御方法
【課題】ユーザが指定する注視領域に応じて切り出した映像をディスプレイ上に表示する際に使い勝手を良くする。
【解決手段】映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、映像蓄積手段に蓄積されている映像から注視領域指定手段における操作に応じて、注視領域を切り出す映像切り出し手段と、切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、注視領域指定手段が、ユーザによるパン機能及びチルト機能の操作に応じて、パン機能及びチルト機能の初速と終速を表示手段における表示領域の各辺の割合によって設定するステップと、映像切り出し手段が、注視領域指定ステップにより設定されたパン機能及びチルト機能の初速と終速に基づき、映像蓄積部に蓄積されている映像を切り出すステップとを有する。
【解決手段】映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、映像蓄積手段に蓄積されている映像から注視領域指定手段における操作に応じて、注視領域を切り出す映像切り出し手段と、切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、注視領域指定手段が、ユーザによるパン機能及びチルト機能の操作に応じて、パン機能及びチルト機能の初速と終速を表示手段における表示領域の各辺の割合によって設定するステップと、映像切り出し手段が、注視領域指定ステップにより設定されたパン機能及びチルト機能の初速と終速に基づき、映像蓄積部に蓄積されている映像を切り出すステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザがインタラクティブに指定した注視領域に応じて映像を切り出し、様々なディスプレイ上に表示する際の操作体感を制御する映像の操作体感制御方法に関する。
【背景技術】
【０００２】
従来から、ＨＤ（high definition）を超える高解像度の映像を、ユーザがインタラクティブに指定する注視領域に応じて切り出して、様々なディスプレイに表示できるようにした映像の配信方式が知られている（例えば、非特許文献１参照）。この映像の配信方式において、注視領域サイズとディスプレイ装置上の表示領域サイズが異なるとき、図８に示すように、ＲＯＩ（注視領域）画素上のパン機能の動きの表現（図８に示す例では、ｐａｎ＿ｖ＝１［ＲＯＩ画素／ｓｅｃ］）と、表示領域上のパン機能の動きの表現（図８に示す例では、ｐａｎ＿ｖ＝２［表示画素／ｓｅｃ］）も異なる。このため、ユーザがインタラクティブに注視領域を指定する場合、ＲＯＩ上の画素とディスプレイ上の画素の対応関係が変動してしまい、操作体感を制御することは単純ではない。
【０００３】
従来の操作体感制御方法では、パン機能に関しては、１キーイベントに対して、ＲＯＩをｎ画素横移動（ｎ：整数）するように指定し、チルト機能に関しては、１キーイベントに対して、ＲＯＩをｎ画素縦移動（ｎ：整数）するように指定している。また、ズームイン機能に関しては、１キーイベントに対して、ＲＯＩサイズを（１００−ｍ）％に縮小（ｍ：整数）するように指定し、ズームアウト機能に関しては、１キーイベントに対して、ＲＯＩサイズを（１００＋ｍ）％に拡大（ｍ：整数）するように指定している。すなわち、従来の操作体感制御方法では、パノラマ映像のような高解像度映像における注視領域の変更に係るユーザの操作上の体感を制御する際に、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】井上雅之、木全英明、深澤勝彦、松浦宣彦、”インタラクティブ・パノラマ映像配信システムにおける配信方式の検討、”情報処理学会、オーディオビジュアル複合情報処理研究会、Ｖｏｌ．２０１０−ＡＶＭ−６９ Ｎｏ．９、２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の操作体感制御方法では、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していたため、ユーザの指定する注視領域サイズに応じて、パン機能やチルト機能の速度体感が変化してしまい、注視領域サイズによらない速度体感をユーザに与えることができなかった。また、ズーム機能に関しても、従来の操作体感制御方法では、Ｔ［ｓ］後にどのような倍率（品質体感）になるのかを制御することが困難であった。したがって、高解像度映像をユーザがインタラクティブに指定する注視領域に応じて切り出し、様々なディスプレイ上に表示する際の操作体感の制御方法が非常に使い勝手が悪いという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ユーザがインタラクティブに指定する注視領域に応じて切り出した映像を、様々なディスプレイ上に表示する際に、使い勝手の良い映像の操作体感制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、前記注視領域指定手段が、前記ユーザによるパン機能及びチルト機能の操作に応じて、前記パン機能及びチルト機能の初速と終速を前記表示手段における表示領域の各辺の割合によって設定する注視領域指定ステップと、前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記パン機能及びチルト機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップとを有することを特徴とする。
【０００８】
本発明は、前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のパン機能及びチルト機能を表現することを特徴とする。
【０００９】
本発明は、前記注視領域指定手段が、前記終速に達するまでの時間を設定し、前記初速より前記終速を大きくすることで、加速するパン機能及びチルト機能を表現することを特徴とする。
【００１０】
本発明は、映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、前記注視領域指定手段が、前記ユーザの注視領域のズーム機能の操作に応じて、前記ズーム機能の初速と終速をズーム開始時からの所定時間経過後の前記注視領域サイズによって設定する注視領域指定ステップと、前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記ズーム機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップとを有することを特徴とする。
【００１１】
本発明は、前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のズーム機能を表現することを特徴とする。
【００１２】
本発明は、前記注視領域指定手段が、前記初速より前記終速を大きくすることで、加速するズーム機能を表現することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ユーザがインタラクティブに指定する注視領域に応じて切り出した映像を様々なディスプレイ上に表示する際に、操作体感の制御を行うことが可能になるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す映像処理装置の処理動作を示すフローチャートである。
【図３】図１に示す映像処理装置の処理動作を示す説明図である。
【図４】図１に示す映像処理装置の処理動作を示す説明図である。
【図５】本発明の第２の実施形態の構成を示すブロック図である。
【図６】図５に示す映像処理システムの処理動作を示すフローチャートである。
【図７】用語の定義を示す説明図である。
【図８】従来技術による映像処理を示す説明図である。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による映像処理装置を説明する。図１は同実施形態における映像処理装置の構成を示すブロック図である。この図において、符号１は、ビデオカメラなどの撮像装置によって撮像された映像を外部から入力して蓄積する映像蓄積部であり、記憶装置等で構成する。符号２は、注視領域をユーザの操作によって指定する注視領域指定部である。符号３は、注視領域指定部２における指定に基づき、映像蓄積部１に蓄積された映像を切り出して出力する映像切り出し部である。符号４は、切り出された映像を表示すべき解像度の映像に変換して出力する映像変換部である。符号５は、映像変換部４から出力される解像度変換された映像を表示する表示部であり、ディスプレイ装置から構成する。
【００１６】
次に、図２を参照して、図１に示す映像処理装置６の処理動作を説明する。図２は、図１に示す映像処理装置６の処理動作を示すフローチャートである。まず、映像蓄積部１は、ビデオカメラやビデオファイルから映像データを入力し（ステップＳ１）、入力した映像データを内部に蓄積する（ステップＳ２）。
【００１７】
次に、ユーザが注視領域指定部２を操作して、注視領域指定を行う（ステップＳ３）。これを受けて、映像切り出し部３は、注視領域の指定に応じて、映像蓄積部１に蓄積された映像を切り出して映像変換部４へ出力する（ステップＳ４）。映像変換部４は、表示部５の解像度になるように切り出された映像の解像度変換を行って出力する（ステップＳ５）。表示部５は、映像変換部４から出力された映像を表示する（ステップＳ６）。ユーザが、さらに注視領域指定部２を操作して、注視領域指定を行った場合、ステップＳ３〜Ｓ６の処理動作を繰り返し行う。
【００１８】
ここで、図７を参照して、以下の説明を簡単にするために、用語の定義を行う。図７は、用語の定義を示す説明図である。オリジナル画素とは、原画像の画素のことであり、ＯＲＧ＿ｗｉｄｔｈは原画像の横の画素数であり、ＯＲＧ＿ｈｅｉｇｈｔは原画像の縦の画素数である。ＲＯＩは注視領域のことである。ＲＯＩ画素は、ＲＯＩ内のオリジナル画素であり、ＲＯＩ＿ｗｉｄｔｈは、ＲＯＩ横の画素数、ＲＯＩ＿ｈｅｉｇｈｔは、ＲＯＩ縦の画素数である。また、表示画素は、ディスプレイ（表示部５）上の表示領域の画素であり、Ｗｉｎｄｏｗ＿ｗｉｄｔｈは表示領域横の画素数、Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔは、表示領域縦の画素数である。
【００１９】
次に、図３を参照して、ユーザによる注視領域指定（パン・チルト操作）の処理動作を説明する。図３は、ユーザによる注視領域指定（パン・チルト操作）の処理動作（ステップＳ３）を示す説明図である。注視領域をパン・チルト操作する場合、パンの設定方法は、時間Ｔ［ｓ］，ｘ０［％］，ｘ１［％］，ｙ０［％］，ｙ１［％］をそれぞれ実数で指定する。例えば、Ｔ［ｓ］で、初速（ｘ０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］から終速（ｘ１／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］で表示画素上を移動させるように設定する。またチルトの設定は、Ｔ［ｓ］で、初速（ｙ０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］から終速（ｙ１／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］で表示画素上を移動させるように設定する。また、パン速度ｐａｎ＿ｖ（ｔ）［表示画素／ｓ］と、チルト速度ｔｉｌｔ＿ｖ（ｔ）［表示画素／ｓ］は独立に設定する。
【００２０】
パン操作開始から時間Ｔ［ｓ］経過後で、初速（ｘ０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］から終速（ｘ１／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］で表示画素上を移動するように設定されたとき、パン開始からｔ［ｓ］経過後のパン速度ｐａｎ＿ｖ（ｔ）は（１）式により算出される。
ｐａｎ＿ｖ（ｔ）＝［（（ｘ１−ｘ０）／１００）（ｔ／Ｔ）＋（ｘ０／１００）］（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）［表示画素／ｓ］ ・・・（１）
【００２１】
ここで、ｔ、Ｔ、ｘ０、ｘ１はそれぞれ実数であり、ｔはパン操作開始からの経過時間、Ｔは設定時間、ｘ０、ｘ１はＷｉｎｄｏｗ＿ｗｉｄｔｈを１００としたときの１［ｓ］あたりの移動速度割合［％］を表している。（１）式により、ｘ０＝ｘ１の時は等速移動、ｘ０＜ｘ１の時は加速移動を設定することが可能になる。
【００２２】
また、注視領域がチルト操作する場合、チルト操作開始からＴ［ｓ］経過後で、初速（ｙ０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］から終速（ｙ１／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］で表示画素上を移動するように設定されるとき、チルト開始からｔ［ｓ］経過後のチルト速度ｔｉｌｔ＿ｖ（ｔ）は（２）式により算出される。
ｔｉｌｔ＿ｖ（ｔ）＝［（（ｙ１−ｙ０）／１００）（ｔ／Ｔ）＋（ｙ０／１００）］（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［表示画素／ｓ］ ・・・（２）
【００２３】
ここで、ｔ、Ｔ、ｙ０、ｙ１は実数であり、ｔはチルト操作開始からの経過時間、Ｔは設定時刻、ｙ０、ｙ１はＷｉｎｄｏｗ＿ｈｅｉｇｈｔを１００としたときの１［ｓ］あたりの移動速度割合［％］を表している。
【００２４】
なお、パン・チルト操作を継続し続けると画像領域をはみ出してしまうため、ＲＯＩの重心は原画像の各辺を超えないこととする。
【００２５】
次に、パン・チルト操作における各値の具体例を説明する。例えば、Ｔ＝１，ｘ０＝１０，ｘ１＝１０，ｙ０＝１０，ｙ１＝２０と設定したとする。この場合、パン操作では、Ｔ＝１［ｓ］で、初速（１０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈから終速（１０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈで表示画素上を等速移動することになる。また、チルト操作では、Ｔ＝１［ｓ］で、初速（１０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔから終速（２０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔで表示画素上を加速移動することになる。
【００２６】
パン速度ｐａｎ＿ｖ（ｔ）、チルト速度ｔｉｌｔ＿ｖ（ｔ）は独立に設定可能であるので、パン速度ｐａｎ＿ｖ（ｔ）は、ｐａｎ＿ｖ（ｔ）＝［（１０−１０／１００）（ｔ／１）＋（１０／１００）］（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）＝０．１Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］となるように制御が行われることになる。また、チルト速度ｔｉｌｔ＿ｖ（ｔ）は、ｔｉｌｔ＿ｖ（ｔ）＝［（２０−１０／１００）（ｔ／１）＋（１０／１００）］（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）＝（０．１ｔ＋０．１）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］となるように制御が行われることになる。
【００２７】
次に、図４を参照して、ユーザによる注視領域指定（ズーム操作）の処理動作を説明する。図４は、ユーザによる注視領域指定（ズーム操作）の処理動作を示す説明図である。注視領域をズーム操作する場合、Ｔ［ｓ］、ｚ０［％］、ｚ１［％］、ｐ［％］、ｑ［％］を実数の設定値とすると、ズームアウト時、すなわち、ＲＯＩ拡大時は、ｚ０、ｚ１＞１００と設定すればよく、等速拡大はｚ０＝ｚ１、加速拡大はｚ１＞ｚ０となる。
【００２８】
ズームアウト開始から時間Ｔ［ｓ］経過後で、ズーム開始時のＲＯＩサイズに対して、初期ＲＯＩ拡大率ｚ０（＞１００）％から終期ＲＯＩ拡大率ｚ１（＞１００）％で拡大すると設定すると、ＲＯＩサイズは（３）、（４）式により算出する。
【００２９】
ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝［［（（ｚ１−ｚ０）／１００）（ｔ／Ｔ）＋（ｚ０／１００）］＾（ｔ／Ｔ）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］ ・・・（３） ＲＯＩ＿ｈｅｉｇｈｔ（ｔ）＝［［（（ｚ１−ｚ０）／１００）（ｔ／Ｔ）＋（ｚ０／１００）］ ）］＾（ｔ／Ｔ）］ＲＯＩ＿ｈｅｉｇｈｔ（ｔ０）［ＲＯＩ画素／ｓ］ ・・・（４）
ここで、＾は、べき乗、ｔは、ズーム開始からの経過時間［ｓ］、ｔ０は、ズーム開始時刻［ｓ］である。
【００３０】
ズームイン時、すなわち、ＲＯＩ縮小時はｚ０、ｚ１＜１００と設定すればよく、等速ＲＯＩ縮小はｚ０＝ｚ１、加速ＲＯＩ縮小はｚ１＜ｚ０となる。ズームイン開始からＴ［ｓ］経過後で、ズーム開始時のＲＯＩサイズに対して、初期ＲＯＩ拡大率ｚ０（＜１００）％から終期ＲＯＩ拡大率ｚ１（＜１００）％で縮小すると設定すると、ＲＯＩサイズは（３）、（４）式と同じ式により算出する。
【００３１】
なお、ズーム操作に制限をかけるため、ＲＯＩ縮小率上限はｐ％（ｐ＜１００）、ＲＯＩ拡大率上限はｑ％（ｑ＞１００）とし、基準ＲＯＩサイズは（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ、Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）とすると、ＲＯＩ縮小率上限ＲＯＩ＿ｌｉｍｉｔ、ＲＯＩ拡大率上限ＲＯＩ＿ｌｉｍｉｔは以下の（５）、（６）式により算出する。
【００３２】
ＲＯＩ＿ｌｉｍｉｔ＝（ｐ／１００）（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）ｏｒ（ｐ／１００）（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［ＲＯＩ画素］（ｐ＜１００）（どちらか先に上限に達したときに停止） ・・・（５）
ＲＯＩ＿ｌｉｍｉｔ＝（ｑ／１００）（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）ｏｒ（ｑ／１００）（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［ＲＯＩ画素］（ｑ＞１００）（どちらか先に上限に達したときに停止） ・・・（６）
【００３３】
次に、ズーム操作における各値の具体例を説明する。例えば、Ｔ［ｓ］，ｚ０［％］，ｚ１［％］，ｐ［％］，ｑ［％］を実数で設定したとする。ズームアウトの場合は、ズーム開始時のＲＯＩサイズに対して、Ｔ＝１［ｓ］後に目指す、ＲＯＩ拡大率ｚ０＝１０５％からＲＯＩ拡大率ｚ１＝１０５％で等速拡大することになる。また、ズームインの場合は、ズーム開始時のＲＯＩサイズに対して、Ｔ＝１［ｓ］後に目指す、ＲＯＩ拡大率ｚ０＝９５％からＲＯＩ拡大率ｚ１＝９０％で加速縮小することになる。ＲＯＩ縮小率上限は、ｐ＝５０％（ｐ＜１００）、ＲＯＩ拡大率上限は、ｑ＝２００％（ｐ＞１００）となる。基準ＲＯＩサイズは、（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ，Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）＝（１９２０，１０８０）となる。
【００３４】
ズームイン、ズームアウトは独立に速度設定可能であるので、ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝ ［［（（１０５−１０５）／１００）（ｔ／１）＋（１０５／１００）］＾（ｔ／１）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）＝［１．０５＾ｔ］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］となるように制御が行われることになる。また、ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝ ［［（（９０−９５）／１００）（ｔ／１）＋（９５／１００）］＾（ｔ／１）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）＝［（−０．０５ｔ＋０．９５）＾ｔ］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］となるように制御が行われることになる。
【００３５】
また、ＲＯＩ縮小率上限ＲＯＩ＿ｌｉｍｉｔ＝（５０／１００）（１９２０）ｏｒ（５０／１００）（１０８０）＝ｗｉｄｔｈ９６０ ｏｒ ｈｅｉｇｈｔ５４０［ＲＯＩ画素］（ｐ＜１００）となり、どちらか先に上限に達したときに停止することになる。また、ＲＯＩ拡大率上限ＲＯＩ＿ｌｉｍｉｔ＝（２００／１００）（１９２０）ｏｒ（２００／１００）（１０８０）＝ｗｉｄｔｈ３８４０ ｏｒ ｈｅｉｇｈｔ２１６０［ＲＯＩ画素］（ｑ＞１００）となり、どちらか先に上限に達したときに停止することになる。
【００３６】
＜第２の実施形態＞
次に、本発明の第２の実施形態による映像処理システムを説明する。図５は同実施形態における映像処理システムの構成を示すブロック図である。この図において、符号２０は、映像データを配信する映像配信サーバであり、コンピュータ装置によって構成する。符号３０は、映像の再生を行う映像再生クライアントであり、コンピュータ装置によって構成する。映像配信サーバ２０と映像再生クライアントの間は通信ネットワークで結ばれている。
【００３７】
図５において、符号１１は、ビデオカメラなどの撮像装置によって撮像された映像を外部から入力して蓄積する映像蓄積部であり、記憶装置等で構成する。符号１２は、注視領域をユーザの操作によって指定する注視領域指定部である。符号１３は、注視領域指定部１２における指定に基づき、映像蓄積部１１に蓄積された映像を切り出して出力する映像切り出し部である。符号１４は、切り出された映像を表示すべき解像度の映像に変換して出力する映像変換部である。
【００３８】
符号１５は、映像変換部１４から出力される解像度変換された映像を表示する表示部であり、ディスプレイ装置から構成する。符号１６は、映像切り出し部１３から出力する映像データを映像再生クライアント３０へ送信する映像送信部である。符号１７は、映像送信部１６から送信された映像データを受信して映像変換部１４へ出力する映像受信部である。符号１８は、注視領域指定部１２において操作された注視領域の操作コマンドを送信するコマンド送信部である。符号１９は、コマンド送信部１８から送信された操作コマンドを受信して映像切り出し部１３へ出力するコマンド受信部である。
【００３９】
次に、図６を参照して、図５に示す映像処理システムの処理動作を説明する。図６は、図５に示す映像処理システムの処理動作を示すフローチャートである。まず、映像蓄積部１１は、ビデオカメラやビデオファイルから映像データを入力し（ステップＳ１１）、入力した映像データを内部に蓄積する（ステップＳ１２）。
【００４０】
次に、ユーザが注視領域指定部２を操作して、注視領域指定を行う（ステップＳ１３）。これを受けて、コマンド送信部１８は、注視領域指定を行うコマンドを送信する（ステップＳ１４）。このコマンドは、コマンド受信部１９が受信し、映像切り出し部１３へ受け渡す（ステップＳ１５）。これを受けて、映像切り出し部３は、注視領域の指定に応じて、映像蓄積部１１に蓄積された映像を切り出す（ステップＳ１６）。映像送信部１６は、この切り出された映像データを映像再生クライアント３０へ送信する（ステップＳ１７）。
【００４１】
次に、映像受信部１７は、映像送信部１６から送信された映像データを受信し、映像変換部１４へ受け渡す（ステップＳ１８）。これを受けて、映像変換部１４は、表示部１５の解像度になるように切り出された映像の解像度変換を行って出力する（ステップＳ１９）。表示部１５は、映像変換部１４から出力された映像を表示する（ステップＳ２０）。ユーザが、さらに注視領域指定部１２を操作して、注視領域指定を行った場合、ステップＳ１３〜Ｓ２０の処理動作を繰り返し行う。
【００４２】
なお、ステップＳ１３おけるユーザの注視領域指定の処理動作は、図３、図４に示す処理動作と同様であるので、ここでは詳細な説明を省略する。
【００４３】
以上説明したように、パンおよびチルト時の初速と終速を画面解像度の横幅および縦幅を１００％としたときの割合（％）で設定し、終速に達するまでの時間間隔Ｔ［ｓ］を設定できるようにするとともに、ズーム時に、ズーム開始時のＲＯＩサイズからＴ［ｓ］後に目指す倍率を２種類設定するようにしたため、高解像度映像をユーザがインタラクティブに指定する注視領域に応じて切り出し、様々な画面解像度を有するディスプレイ上に表示する際に、ユーザが注視領域を開始してから、ｔ［ｓ］後（ｔ：実数）のパン・チルト速度や注視領域サイズ（注視領域の横幅、注視領域の縦幅）を制御することができる。このため、操作体感品質を制御することが可能となる。
【００４４】
具体的には、以下の５つの操作体感制御を行うことが可能になる。
（１）注視領域の拡大率によらず、移動速度体感を同等にする。
（２）操作開始からＴ［ｓ］経過後のパン、ズーム速度が設定できる。
（３）操作開始からＴ［ｓ］経過するにつれて、パン、ズーム速度が加速するように設定ができる。
（４）操作開始からＴ［ｓ］経過後のズームの倍率が予測できる。
（５）操作開始からＴ［ｓ］経過するにつれて、ズーム時の倍率が加速するように設定ができる。
【００４５】
このように、パノラマ映像のような高解像度映像における注視領域の変更に係るユーザの操作上の体感を制御する際に、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していたものを相対的な値として指定することにより、使い勝手の良い体感が得られることが可能になる。
【００４６】
なお、図１、図５における注視領域指定部２、１２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像の操作体感制御処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。
【００４７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４９】
ユーザがインタラクティブに指定した注視領域に応じて映像を切り出し、様々なディスプレイ上に表示する際の操作体感を制御することが不可欠な用途に適用できる。
【符号の説明】
【００５０】
１、１１・・・映像蓄積部、２、１２・・・注視領域指定部、３、１３・・・映像切り出し部、４、１４・・・映像変換部、５、１５・・・表示部、６・・・映像処理装置、１６・・・映像送信部、１７・・・映像受信部、１８・・・コマンド送信部、１９・・・コマンド受信部、２０・・・映像配信サーバ、３０・・・映像再生クライアント
【技術分野】
【０００１】
本発明は、ユーザがインタラクティブに指定した注視領域に応じて映像を切り出し、様々なディスプレイ上に表示する際の操作体感を制御する映像の操作体感制御方法に関する。
【背景技術】
【０００２】
従来から、ＨＤ（high definition）を超える高解像度の映像を、ユーザがインタラクティブに指定する注視領域に応じて切り出して、様々なディスプレイに表示できるようにした映像の配信方式が知られている（例えば、非特許文献１参照）。この映像の配信方式において、注視領域サイズとディスプレイ装置上の表示領域サイズが異なるとき、図８に示すように、ＲＯＩ（注視領域）画素上のパン機能の動きの表現（図８に示す例では、ｐａｎ＿ｖ＝１［ＲＯＩ画素／ｓｅｃ］）と、表示領域上のパン機能の動きの表現（図８に示す例では、ｐａｎ＿ｖ＝２［表示画素／ｓｅｃ］）も異なる。このため、ユーザがインタラクティブに注視領域を指定する場合、ＲＯＩ上の画素とディスプレイ上の画素の対応関係が変動してしまい、操作体感を制御することは単純ではない。
【０００３】
従来の操作体感制御方法では、パン機能に関しては、１キーイベントに対して、ＲＯＩをｎ画素横移動（ｎ：整数）するように指定し、チルト機能に関しては、１キーイベントに対して、ＲＯＩをｎ画素縦移動（ｎ：整数）するように指定している。また、ズームイン機能に関しては、１キーイベントに対して、ＲＯＩサイズを（１００−ｍ）％に縮小（ｍ：整数）するように指定し、ズームアウト機能に関しては、１キーイベントに対して、ＲＯＩサイズを（１００＋ｍ）％に拡大（ｍ：整数）するように指定している。すなわち、従来の操作体感制御方法では、パノラマ映像のような高解像度映像における注視領域の変更に係るユーザの操作上の体感を制御する際に、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】井上雅之、木全英明、深澤勝彦、松浦宣彦、”インタラクティブ・パノラマ映像配信システムにおける配信方式の検討、”情報処理学会、オーディオビジュアル複合情報処理研究会、Ｖｏｌ．２０１０−ＡＶＭ−６９ Ｎｏ．９、２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の操作体感制御方法では、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していたため、ユーザの指定する注視領域サイズに応じて、パン機能やチルト機能の速度体感が変化してしまい、注視領域サイズによらない速度体感をユーザに与えることができなかった。また、ズーム機能に関しても、従来の操作体感制御方法では、Ｔ［ｓ］後にどのような倍率（品質体感）になるのかを制御することが困難であった。したがって、高解像度映像をユーザがインタラクティブに指定する注視領域に応じて切り出し、様々なディスプレイ上に表示する際の操作体感の制御方法が非常に使い勝手が悪いという問題がある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ユーザがインタラクティブに指定する注視領域に応じて切り出した映像を、様々なディスプレイ上に表示する際に、使い勝手の良い映像の操作体感制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、前記注視領域指定手段が、前記ユーザによるパン機能及びチルト機能の操作に応じて、前記パン機能及びチルト機能の初速と終速を前記表示手段における表示領域の各辺の割合によって設定する注視領域指定ステップと、前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記パン機能及びチルト機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップとを有することを特徴とする。
【０００８】
本発明は、前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のパン機能及びチルト機能を表現することを特徴とする。
【０００９】
本発明は、前記注視領域指定手段が、前記終速に達するまでの時間を設定し、前記初速より前記終速を大きくすることで、加速するパン機能及びチルト機能を表現することを特徴とする。
【００１０】
本発明は、映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、前記注視領域指定手段が、前記ユーザの注視領域のズーム機能の操作に応じて、前記ズーム機能の初速と終速をズーム開始時からの所定時間経過後の前記注視領域サイズによって設定する注視領域指定ステップと、前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記ズーム機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップとを有することを特徴とする。
【００１１】
本発明は、前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のズーム機能を表現することを特徴とする。
【００１２】
本発明は、前記注視領域指定手段が、前記初速より前記終速を大きくすることで、加速するズーム機能を表現することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、ユーザがインタラクティブに指定する注視領域に応じて切り出した映像を様々なディスプレイ上に表示する際に、操作体感の制御を行うことが可能になるという効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態の構成を示すブロック図である。
【図２】図１に示す映像処理装置の処理動作を示すフローチャートである。
【図３】図１に示す映像処理装置の処理動作を示す説明図である。
【図４】図１に示す映像処理装置の処理動作を示す説明図である。
【図５】本発明の第２の実施形態の構成を示すブロック図である。
【図６】図５に示す映像処理システムの処理動作を示すフローチャートである。
【図７】用語の定義を示す説明図である。
【図８】従来技術による映像処理を示す説明図である。
【発明を実施するための形態】
【００１５】
＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による映像処理装置を説明する。図１は同実施形態における映像処理装置の構成を示すブロック図である。この図において、符号１は、ビデオカメラなどの撮像装置によって撮像された映像を外部から入力して蓄積する映像蓄積部であり、記憶装置等で構成する。符号２は、注視領域をユーザの操作によって指定する注視領域指定部である。符号３は、注視領域指定部２における指定に基づき、映像蓄積部１に蓄積された映像を切り出して出力する映像切り出し部である。符号４は、切り出された映像を表示すべき解像度の映像に変換して出力する映像変換部である。符号５は、映像変換部４から出力される解像度変換された映像を表示する表示部であり、ディスプレイ装置から構成する。
【００１６】
次に、図２を参照して、図１に示す映像処理装置６の処理動作を説明する。図２は、図１に示す映像処理装置６の処理動作を示すフローチャートである。まず、映像蓄積部１は、ビデオカメラやビデオファイルから映像データを入力し（ステップＳ１）、入力した映像データを内部に蓄積する（ステップＳ２）。
【００１７】
次に、ユーザが注視領域指定部２を操作して、注視領域指定を行う（ステップＳ３）。これを受けて、映像切り出し部３は、注視領域の指定に応じて、映像蓄積部１に蓄積された映像を切り出して映像変換部４へ出力する（ステップＳ４）。映像変換部４は、表示部５の解像度になるように切り出された映像の解像度変換を行って出力する（ステップＳ５）。表示部５は、映像変換部４から出力された映像を表示する（ステップＳ６）。ユーザが、さらに注視領域指定部２を操作して、注視領域指定を行った場合、ステップＳ３〜Ｓ６の処理動作を繰り返し行う。
【００１８】
ここで、図７を参照して、以下の説明を簡単にするために、用語の定義を行う。図７は、用語の定義を示す説明図である。オリジナル画素とは、原画像の画素のことであり、ＯＲＧ＿ｗｉｄｔｈは原画像の横の画素数であり、ＯＲＧ＿ｈｅｉｇｈｔは原画像の縦の画素数である。ＲＯＩは注視領域のことである。ＲＯＩ画素は、ＲＯＩ内のオリジナル画素であり、ＲＯＩ＿ｗｉｄｔｈは、ＲＯＩ横の画素数、ＲＯＩ＿ｈｅｉｇｈｔは、ＲＯＩ縦の画素数である。また、表示画素は、ディスプレイ（表示部５）上の表示領域の画素であり、Ｗｉｎｄｏｗ＿ｗｉｄｔｈは表示領域横の画素数、Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔは、表示領域縦の画素数である。
【００１９】
次に、図３を参照して、ユーザによる注視領域指定（パン・チルト操作）の処理動作を説明する。図３は、ユーザによる注視領域指定（パン・チルト操作）の処理動作（ステップＳ３）を示す説明図である。注視領域をパン・チルト操作する場合、パンの設定方法は、時間Ｔ［ｓ］，ｘ０［％］，ｘ１［％］，ｙ０［％］，ｙ１［％］をそれぞれ実数で指定する。例えば、Ｔ［ｓ］で、初速（ｘ０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］から終速（ｘ１／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］で表示画素上を移動させるように設定する。またチルトの設定は、Ｔ［ｓ］で、初速（ｙ０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］から終速（ｙ１／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］で表示画素上を移動させるように設定する。また、パン速度ｐａｎ＿ｖ（ｔ）［表示画素／ｓ］と、チルト速度ｔｉｌｔ＿ｖ（ｔ）［表示画素／ｓ］は独立に設定する。
【００２０】
パン操作開始から時間Ｔ［ｓ］経過後で、初速（ｘ０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］から終速（ｘ１／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］で表示画素上を移動するように設定されたとき、パン開始からｔ［ｓ］経過後のパン速度ｐａｎ＿ｖ（ｔ）は（１）式により算出される。
ｐａｎ＿ｖ（ｔ）＝［（（ｘ１−ｘ０）／１００）（ｔ／Ｔ）＋（ｘ０／１００）］（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）［表示画素／ｓ］ ・・・（１）
【００２１】
ここで、ｔ、Ｔ、ｘ０、ｘ１はそれぞれ実数であり、ｔはパン操作開始からの経過時間、Ｔは設定時間、ｘ０、ｘ１はＷｉｎｄｏｗ＿ｗｉｄｔｈを１００としたときの１［ｓ］あたりの移動速度割合［％］を表している。（１）式により、ｘ０＝ｘ１の時は等速移動、ｘ０＜ｘ１の時は加速移動を設定することが可能になる。
【００２２】
また、注視領域がチルト操作する場合、チルト操作開始からＴ［ｓ］経過後で、初速（ｙ０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］から終速（ｙ１／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］で表示画素上を移動するように設定されるとき、チルト開始からｔ［ｓ］経過後のチルト速度ｔｉｌｔ＿ｖ（ｔ）は（２）式により算出される。
ｔｉｌｔ＿ｖ（ｔ）＝［（（ｙ１−ｙ０）／１００）（ｔ／Ｔ）＋（ｙ０／１００）］（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［表示画素／ｓ］ ・・・（２）
【００２３】
ここで、ｔ、Ｔ、ｙ０、ｙ１は実数であり、ｔはチルト操作開始からの経過時間、Ｔは設定時刻、ｙ０、ｙ１はＷｉｎｄｏｗ＿ｈｅｉｇｈｔを１００としたときの１［ｓ］あたりの移動速度割合［％］を表している。
【００２４】
なお、パン・チルト操作を継続し続けると画像領域をはみ出してしまうため、ＲＯＩの重心は原画像の各辺を超えないこととする。
【００２５】
次に、パン・チルト操作における各値の具体例を説明する。例えば、Ｔ＝１，ｘ０＝１０，ｘ１＝１０，ｙ０＝１０，ｙ１＝２０と設定したとする。この場合、パン操作では、Ｔ＝１［ｓ］で、初速（１０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈから終速（１０／１００）Ｗｉｎｄｏｗ＿ｗｉｄｔｈで表示画素上を等速移動することになる。また、チルト操作では、Ｔ＝１［ｓ］で、初速（１０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔから終速（２０／１００）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔで表示画素上を加速移動することになる。
【００２６】
パン速度ｐａｎ＿ｖ（ｔ）、チルト速度ｔｉｌｔ＿ｖ（ｔ）は独立に設定可能であるので、パン速度ｐａｎ＿ｖ（ｔ）は、ｐａｎ＿ｖ（ｔ）＝［（１０−１０／１００）（ｔ／１）＋（１０／１００）］（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）＝０．１Ｗｉｎｄｏｗ＿ｗｉｄｔｈ［表示画素／ｓ］となるように制御が行われることになる。また、チルト速度ｔｉｌｔ＿ｖ（ｔ）は、ｔｉｌｔ＿ｖ（ｔ）＝［（２０−１０／１００）（ｔ／１）＋（１０／１００）］（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）＝（０．１ｔ＋０．１）Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ［表示画素／ｓ］となるように制御が行われることになる。
【００２７】
次に、図４を参照して、ユーザによる注視領域指定（ズーム操作）の処理動作を説明する。図４は、ユーザによる注視領域指定（ズーム操作）の処理動作を示す説明図である。注視領域をズーム操作する場合、Ｔ［ｓ］、ｚ０［％］、ｚ１［％］、ｐ［％］、ｑ［％］を実数の設定値とすると、ズームアウト時、すなわち、ＲＯＩ拡大時は、ｚ０、ｚ１＞１００と設定すればよく、等速拡大はｚ０＝ｚ１、加速拡大はｚ１＞ｚ０となる。
【００２８】
ズームアウト開始から時間Ｔ［ｓ］経過後で、ズーム開始時のＲＯＩサイズに対して、初期ＲＯＩ拡大率ｚ０（＞１００）％から終期ＲＯＩ拡大率ｚ１（＞１００）％で拡大すると設定すると、ＲＯＩサイズは（３）、（４）式により算出する。
【００２９】
ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝［［（（ｚ１−ｚ０）／１００）（ｔ／Ｔ）＋（ｚ０／１００）］＾（ｔ／Ｔ）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］ ・・・（３） ＲＯＩ＿ｈｅｉｇｈｔ（ｔ）＝［［（（ｚ１−ｚ０）／１００）（ｔ／Ｔ）＋（ｚ０／１００）］ ）］＾（ｔ／Ｔ）］ＲＯＩ＿ｈｅｉｇｈｔ（ｔ０）［ＲＯＩ画素／ｓ］ ・・・（４）
ここで、＾は、べき乗、ｔは、ズーム開始からの経過時間［ｓ］、ｔ０は、ズーム開始時刻［ｓ］である。
【００３０】
ズームイン時、すなわち、ＲＯＩ縮小時はｚ０、ｚ１＜１００と設定すればよく、等速ＲＯＩ縮小はｚ０＝ｚ１、加速ＲＯＩ縮小はｚ１＜ｚ０となる。ズームイン開始からＴ［ｓ］経過後で、ズーム開始時のＲＯＩサイズに対して、初期ＲＯＩ拡大率ｚ０（＜１００）％から終期ＲＯＩ拡大率ｚ１（＜１００）％で縮小すると設定すると、ＲＯＩサイズは（３）、（４）式と同じ式により算出する。
【００３１】
なお、ズーム操作に制限をかけるため、ＲＯＩ縮小率上限はｐ％（ｐ＜１００）、ＲＯＩ拡大率上限はｑ％（ｑ＞１００）とし、基準ＲＯＩサイズは（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ、Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）とすると、ＲＯＩ縮小率上限ＲＯＩ＿ｌｉｍｉｔ、ＲＯＩ拡大率上限ＲＯＩ＿ｌｉｍｉｔは以下の（５）、（６）式により算出する。
【００３２】
ＲＯＩ＿ｌｉｍｉｔ＝（ｐ／１００）（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）ｏｒ（ｐ／１００）（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［ＲＯＩ画素］（ｐ＜１００）（どちらか先に上限に達したときに停止） ・・・（５）
ＲＯＩ＿ｌｉｍｉｔ＝（ｑ／１００）（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ）ｏｒ（ｑ／１００）（Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）［ＲＯＩ画素］（ｑ＞１００）（どちらか先に上限に達したときに停止） ・・・（６）
【００３３】
次に、ズーム操作における各値の具体例を説明する。例えば、Ｔ［ｓ］，ｚ０［％］，ｚ１［％］，ｐ［％］，ｑ［％］を実数で設定したとする。ズームアウトの場合は、ズーム開始時のＲＯＩサイズに対して、Ｔ＝１［ｓ］後に目指す、ＲＯＩ拡大率ｚ０＝１０５％からＲＯＩ拡大率ｚ１＝１０５％で等速拡大することになる。また、ズームインの場合は、ズーム開始時のＲＯＩサイズに対して、Ｔ＝１［ｓ］後に目指す、ＲＯＩ拡大率ｚ０＝９５％からＲＯＩ拡大率ｚ１＝９０％で加速縮小することになる。ＲＯＩ縮小率上限は、ｐ＝５０％（ｐ＜１００）、ＲＯＩ拡大率上限は、ｑ＝２００％（ｐ＞１００）となる。基準ＲＯＩサイズは、（Ｗｉｎｄｏｗ＿ｗｉｄｔｈ，Ｗｉｎｄｏｗ＿ｈｅｉｇｈｔ）＝（１９２０，１０８０）となる。
【００３４】
ズームイン、ズームアウトは独立に速度設定可能であるので、ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝ ［［（（１０５−１０５）／１００）（ｔ／１）＋（１０５／１００）］＾（ｔ／１）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）＝［１．０５＾ｔ］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］となるように制御が行われることになる。また、ＲＯＩ＿ｗｉｄｔｈ（ｔ）＝ ［［（（９０−９５）／１００）（ｔ／１）＋（９５／１００）］＾（ｔ／１）］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）＝［（−０．０５ｔ＋０．９５）＾ｔ］ＲＯＩ＿ｗｉｄｔｈ（ｔ０）［ＲＯＩ画素／ｓ］となるように制御が行われることになる。
【００３５】
また、ＲＯＩ縮小率上限ＲＯＩ＿ｌｉｍｉｔ＝（５０／１００）（１９２０）ｏｒ（５０／１００）（１０８０）＝ｗｉｄｔｈ９６０ ｏｒ ｈｅｉｇｈｔ５４０［ＲＯＩ画素］（ｐ＜１００）となり、どちらか先に上限に達したときに停止することになる。また、ＲＯＩ拡大率上限ＲＯＩ＿ｌｉｍｉｔ＝（２００／１００）（１９２０）ｏｒ（２００／１００）（１０８０）＝ｗｉｄｔｈ３８４０ ｏｒ ｈｅｉｇｈｔ２１６０［ＲＯＩ画素］（ｑ＞１００）となり、どちらか先に上限に達したときに停止することになる。
【００３６】
＜第２の実施形態＞
次に、本発明の第２の実施形態による映像処理システムを説明する。図５は同実施形態における映像処理システムの構成を示すブロック図である。この図において、符号２０は、映像データを配信する映像配信サーバであり、コンピュータ装置によって構成する。符号３０は、映像の再生を行う映像再生クライアントであり、コンピュータ装置によって構成する。映像配信サーバ２０と映像再生クライアントの間は通信ネットワークで結ばれている。
【００３７】
図５において、符号１１は、ビデオカメラなどの撮像装置によって撮像された映像を外部から入力して蓄積する映像蓄積部であり、記憶装置等で構成する。符号１２は、注視領域をユーザの操作によって指定する注視領域指定部である。符号１３は、注視領域指定部１２における指定に基づき、映像蓄積部１１に蓄積された映像を切り出して出力する映像切り出し部である。符号１４は、切り出された映像を表示すべき解像度の映像に変換して出力する映像変換部である。
【００３８】
符号１５は、映像変換部１４から出力される解像度変換された映像を表示する表示部であり、ディスプレイ装置から構成する。符号１６は、映像切り出し部１３から出力する映像データを映像再生クライアント３０へ送信する映像送信部である。符号１７は、映像送信部１６から送信された映像データを受信して映像変換部１４へ出力する映像受信部である。符号１８は、注視領域指定部１２において操作された注視領域の操作コマンドを送信するコマンド送信部である。符号１９は、コマンド送信部１８から送信された操作コマンドを受信して映像切り出し部１３へ出力するコマンド受信部である。
【００３９】
次に、図６を参照して、図５に示す映像処理システムの処理動作を説明する。図６は、図５に示す映像処理システムの処理動作を示すフローチャートである。まず、映像蓄積部１１は、ビデオカメラやビデオファイルから映像データを入力し（ステップＳ１１）、入力した映像データを内部に蓄積する（ステップＳ１２）。
【００４０】
次に、ユーザが注視領域指定部２を操作して、注視領域指定を行う（ステップＳ１３）。これを受けて、コマンド送信部１８は、注視領域指定を行うコマンドを送信する（ステップＳ１４）。このコマンドは、コマンド受信部１９が受信し、映像切り出し部１３へ受け渡す（ステップＳ１５）。これを受けて、映像切り出し部３は、注視領域の指定に応じて、映像蓄積部１１に蓄積された映像を切り出す（ステップＳ１６）。映像送信部１６は、この切り出された映像データを映像再生クライアント３０へ送信する（ステップＳ１７）。
【００４１】
次に、映像受信部１７は、映像送信部１６から送信された映像データを受信し、映像変換部１４へ受け渡す（ステップＳ１８）。これを受けて、映像変換部１４は、表示部１５の解像度になるように切り出された映像の解像度変換を行って出力する（ステップＳ１９）。表示部１５は、映像変換部１４から出力された映像を表示する（ステップＳ２０）。ユーザが、さらに注視領域指定部１２を操作して、注視領域指定を行った場合、ステップＳ１３〜Ｓ２０の処理動作を繰り返し行う。
【００４２】
なお、ステップＳ１３おけるユーザの注視領域指定の処理動作は、図３、図４に示す処理動作と同様であるので、ここでは詳細な説明を省略する。
【００４３】
以上説明したように、パンおよびチルト時の初速と終速を画面解像度の横幅および縦幅を１００％としたときの割合（％）で設定し、終速に達するまでの時間間隔Ｔ［ｓ］を設定できるようにするとともに、ズーム時に、ズーム開始時のＲＯＩサイズからＴ［ｓ］後に目指す倍率を２種類設定するようにしたため、高解像度映像をユーザがインタラクティブに指定する注視領域に応じて切り出し、様々な画面解像度を有するディスプレイ上に表示する際に、ユーザが注視領域を開始してから、ｔ［ｓ］後（ｔ：実数）のパン・チルト速度や注視領域サイズ（注視領域の横幅、注視領域の縦幅）を制御することができる。このため、操作体感品質を制御することが可能となる。
【００４４】
具体的には、以下の５つの操作体感制御を行うことが可能になる。
（１）注視領域の拡大率によらず、移動速度体感を同等にする。
（２）操作開始からＴ［ｓ］経過後のパン、ズーム速度が設定できる。
（３）操作開始からＴ［ｓ］経過するにつれて、パン、ズーム速度が加速するように設定ができる。
（４）操作開始からＴ［ｓ］経過後のズームの倍率が予測できる。
（５）操作開始からＴ［ｓ］経過するにつれて、ズーム時の倍率が加速するように設定ができる。
【００４５】
このように、パノラマ映像のような高解像度映像における注視領域の変更に係るユーザの操作上の体感を制御する際に、操作を特徴づけるパラメータを注視領域に対して絶対的な値として指定していたものを相対的な値として指定することにより、使い勝手の良い体感が得られることが可能になる。
【００４６】
なお、図１、図５における注視領域指定部２、１２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像の操作体感制御処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。
【００４７】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４９】
ユーザがインタラクティブに指定した注視領域に応じて映像を切り出し、様々なディスプレイ上に表示する際の操作体感を制御することが不可欠な用途に適用できる。
【符号の説明】
【００５０】
１、１１・・・映像蓄積部、２、１２・・・注視領域指定部、３、１３・・・映像切り出し部、４、１４・・・映像変換部、５、１５・・・表示部、６・・・映像処理装置、１６・・・映像送信部、１７・・・映像受信部、１８・・・コマンド送信部、１９・・・コマンド受信部、２０・・・映像配信サーバ、３０・・・映像再生クライアント
【特許請求の範囲】
【請求項１】
映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、
前記注視領域指定手段が、前記ユーザによるパン機能及びチルト機能の操作に応じて、前記パン機能及びチルト機能の初速と終速を前記表示手段における表示領域の各辺の割合によって設定する注視領域指定ステップと、
前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記パン機能及びチルト機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップと
を有することを特徴とする映像の操作体感制御方法。
【請求項２】
前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のパン機能及びチルト機能を表現することを特徴とする請求項１に記載の映像の操作体感制御方法。
【請求項３】
前記注視領域指定手段が、前記終速に達するまでの時間を設定し、前記初速より前記終速を大きくすることで、加速するパン機能及びチルト機能を表現することを特徴とする請求項１に記載の映像の操作体感制御方法。
【請求項４】
映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、
前記注視領域指定手段が、前記ユーザの注視領域のズーム機能の操作に応じて、前記ズーム機能の初速と終速をズーム開始時からの所定時間経過後の前記注視領域サイズによって設定する注視領域指定ステップと、
前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記ズーム機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップと
を有することを特徴とする映像の操作体感制御方法。
【請求項５】
前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のズーム機能を表現することを特徴とする請求項４に記載の映像の操作体感制御方法。
【請求項６】
前記注視領域指定手段が、前記初速より前記終速を大きくすることで、加速するズーム機能を表現することを特徴とする請求項４に記載の映像の操作体感制御方法。
【請求項１】
映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、
前記注視領域指定手段が、前記ユーザによるパン機能及びチルト機能の操作に応じて、前記パン機能及びチルト機能の初速と終速を前記表示手段における表示領域の各辺の割合によって設定する注視領域指定ステップと、
前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記パン機能及びチルト機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップと
を有することを特徴とする映像の操作体感制御方法。
【請求項２】
前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のパン機能及びチルト機能を表現することを特徴とする請求項１に記載の映像の操作体感制御方法。
【請求項３】
前記注視領域指定手段が、前記終速に達するまでの時間を設定し、前記初速より前記終速を大きくすることで、加速するパン機能及びチルト機能を表現することを特徴とする請求項１に記載の映像の操作体感制御方法。
【請求項４】
映像を蓄積する映像蓄積手段と、ユーザの操作に応じて注視領域を指定し、該注視領域のパン機能及びチルト機能の操作を行う注視領域指定手段と、前記映像蓄積手段に蓄積されている映像から前記注視領域指定手段における操作に応じて、前記注視領域を切り出す映像切り出し手段と、前記切り出された注視領域の映像を表示する表示手段とを備える映像処理装置における映像の操作体感制御方法であって、
前記注視領域指定手段が、前記ユーザの注視領域のズーム機能の操作に応じて、前記ズーム機能の初速と終速をズーム開始時からの所定時間経過後の前記注視領域サイズによって設定する注視領域指定ステップと、
前記映像切り出し手段が、前記注視領域指定ステップにより設定された前記ズーム機能の初速と終速に基づき、前記映像蓄積部に蓄積されている映像を切り出す映像切り出しステップと
を有することを特徴とする映像の操作体感制御方法。
【請求項５】
前記注視領域指定手段が、前記初速と前記終速とを一致させることで、等速のズーム機能を表現することを特徴とする請求項４に記載の映像の操作体感制御方法。
【請求項６】
前記注視領域指定手段が、前記初速より前記終速を大きくすることで、加速するズーム機能を表現することを特徴とする請求項４に記載の映像の操作体感制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１７０７１（Ｐ２０１３−１７０７１Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４９０６３（Ｐ２０１１−１４９０６３）
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月５日（２０１１．７．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]