画像処理装置、画像処理方法、コンピュータプログラム
【課題】 簡便な方法でもって、動画像中の所望のフレーム群から所望の画像領域を指定するための技術を提供すること。
【解決手段】 動画像の再生表示開始後、第１の位置、該第１の位置を特定した第１のタイミングを特定し、該特定後に第２の位置、該第２の位置を特定した第２のタイミングを特定する。第１のタイミングから第２のタイミングまでの間に表示された各フレームの画像において、第１の位置及び第２の位置を対角位置とする矩形領域内の部分画像を要求するための要求情報を生成し、該生成した要求情報を外部装置に対して送信する。
【解決手段】 動画像の再生表示開始後、第１の位置、該第１の位置を特定した第１のタイミングを特定し、該特定後に第２の位置、該第２の位置を特定した第２のタイミングを特定する。第１のタイミングから第２のタイミングまでの間に表示された各フレームの画像において、第１の位置及び第２の位置を対角位置とする矩形領域内の部分画像を要求するための要求情報を生成し、該生成した要求情報を外部装置に対して送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラグメント参照を行う為の技術に関するものである。
【背景技術】
【０００２】
サーバ上に保存されている動画データを２次元平面上で再生しているとき、ユーザが動画データの一部分をフラグメント参照としてサーバにリクエストし、サーバから受け取る手段を考える。ユーザが動画データの一部の領域を指定する場合、ユーザはポインティングデバイスを用いて選択領域を指定する。従来では、画像や動画データの一部分を選択する場合は、ポインティングデバイスで矩形領域を指定し、それに含まれる領域を選択結果としていた（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３６６９７２号公報
【特許文献２】特開２００９−１７７４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし従来の方法では、フラグメント参照について空間指定と時間指定を同時に指定したい場合、空間指定する前後で別途、時間指定する必要があった。そのため、ユーザが必要とする選択手順が増えてしまい、処理が煩雑化してしまうという問題があった。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、簡便な方法でもって、動画像中の所望のフレーム群から所望の画像領域を指定するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、外部装置から供給された動画像を表示画面上に再生表示する画像処理装置であって、前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定手段と、前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定手段と、前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、簡便な方法でもって、動画像中の所望のフレーム群から所望の画像領域を指定することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図。
【図２】画像処理装置の機能構成例を示すブロック図。
【図３】画像処理装置が行う処理のフローチャート。
【図４】ステップＳ３０１の処理の詳細を示すフローチャート。
【図５】ステップＳ３０４における処理のフローチャート。
【図６】ステップＳ３０９における処理のフローチャート。
【図７】ステップＳ６０４における処理のフローチャート。
【図８】ＳＶＧ情報の一例を示す図。
【図９】ＳＶＧ情報を用いた描画結果を示す図。
【図１０】ステップＳ７０３における処理のフローチャート。
【図１１】画像処理装置が行う処理のフローチャート。
【図１２】画像処理装置が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
本実施形態では、外部装置としてのサーバ装置から供給された各フレームの画像（いわゆる動画像）を表示画面上に再生表示する画像処理装置について説明する。より詳しくは、サーバ装置から供給された各フレームの画像を順次受信して表示画面上に表示し、表示した各フレームの画像のうち、所望のフレーム区間内における画像について、所望の領域内の部分画像をサーバ装置に要求する画像処理装置について説明する。
【００１１】
本実施形態に係る画像処理装置の機能構成例を示す図２のブロック図、本実施形態に係る画像処理装置が行う処理のフローチャートを示す図３を用いて、本実施形態に係る画像処理装置について説明する。なお、画像処理装置は、図３のフローチャートの処理の開始と共に、画像処理装置が有する不図示の表示画面上に、動画像の再生表示を開始する。
【００１２】
ステップＳ３０１では、デバイスデータ取得部２０１は、ユーザが入力機器を用いて、動画像の表示領域内における位置を指定する指定指示（領域選択の開始指示）を入力したか否かを判断する。この判断の結果、領域選択の開始指示が入力されたと判断した場合は、処理はステップＳ３０２に進み、領域選択の開始指示が入力されていないと判断した場合は、処理はステップＳ３１０に進む。ステップＳ３０１における処理の詳細を図４に示す。
【００１３】
ステップＳ４０１では、デバイスデータ取得部２０１は、画像処理装置内の不図示のメモリ内に設けてある位置スタックを空にする。ステップＳ４０２では、デバイスデータ取得部２０１は、ボタン押下フラグを０に初期化する。
【００１４】
ステップＳ４０３では、デバイスデータ取得部２０１は、入力機器から送られてくる操作信号を参照し、この操作信号が、「入力機器がユーザによって操作された」ことを示すか否かを判断する。この判断の結果、操作信号が、「入力機器がユーザによって操作された」ことを示す場合には処理はステップＳ４０４に進み、操作信号が、「入力機器がユーザによって操作された」ことを示していない場合には、処理はステップＳ４０３に戻る。
【００１５】
ステップＳ４０４では、デバイスデータ取得部２０１は、入力機器から送られてくるデバイスデータを取得する。そしてステップＳ４０５では、デバイスデータ取得部２０１は、この取得したデバイスデータを参照して入力機器の種別を判別する。この判別の結果、入力機器が特定の機器であれば、処理はステップＳ４０６に進み、特定の機器以外の機器であれば、処理はステップＳ４１３に進む。なお、本実施形態ではこの「特定の機器」が「マウス」である場合について説明するが、他の機器であっても以降の説明の本質は変わらない。ステップＳ４１３では、デバイスデータ取得部２０１は、領域選択の開始指示は入力していないと判断し、ステップＳ３０１における処理を終える。
【００１６】
一方、ステップＳ４０６では、デバイスデータ取得部２０１は、表示画面上に表示されているマウスポインタの現時点における位置（座標位置）を、上記の位置スタックに追加登録する。
【００１７】
ステップＳ４０７では、デバイスデータ取得部２０１は、上記操作信号が、マウスのボタンが押下されたことを示しているか否かを判断する。この判断の結果、操作信号が、マウスのボタンが押下されたことを示している場合は、処理はステップＳ４０８に進み、操作信号が、マウスのボタンが押下されたことを示していない場合は、処理はステップＳ４０９に進む。ステップＳ４０８では、デバイスデータ取得部２０１は、ボタン押下フラグに１を設定し、処理はステップＳ４０３に戻る。
【００１８】
一方、ステップＳ４０９では、デバイスデータ取得部２０１は、ボタン押下フラグの値が１であるか否かを判断する。この判断の結果、ボタン押下フラグの値が１であれば処理はステップＳ４１０に進み、ボタン押下フラグの値が０であれば、処理はステップＳ４１３に進む。
【００１９】
ステップＳ４１０では、デバイスデータ取得部２０１は、位置スタックに登録されているそれぞれのマウスポインタの位置を読み出し、そのあと、この位置スタックを空にする。
【００２０】
ステップＳ４１１では、デバイスデータ取得部２０１は、ステップＳ４１０で読み出したそれぞれのマウスポインタの位置が何れもほぼ同じ（例えば、それぞれの位置の差が規定値以下に収まっている）であるか否かを判断する。この判断の結果、ほぼ同じであれば、処理はステップＳ４１２に進み、ほぼ同じではない場合は、処理はステップＳ４１３に進む。ステップＳ４１２では、デバイスデータ取得部２０１は、領域選択の開始指示が入力されたものと判断し、ステップＳ３０１における処理を終える。
【００２１】
図３に戻って、次に、ステップＳ３１０では、画像処理装置は、予め定められた時間だけ処理を待機し、その後、処理はステップＳ３０１に戻る。一方、ステップＳ３０２では、選択開始時刻取得部２０２は、現時点における時刻を選択開始時刻として特定する。
【００２２】
ステップＳ３０３では、選択領域取得部２０４は、ステップＳ４１０で位置スタックの先頭から読み出した位置を、選択開始点として特定する。なお、選択開始点として特定する位置は、位置スタックの先頭の位置から読み出した位置に限るものではない。
【００２３】
ステップＳ３０４では、デバイスデータ取得部２０１は、ユーザが入力機器を用いて、動画像の表示領域内における位置を指定する指定指示（領域選択の終了指示）を入力したか否かを判断する。そしてこの判断の結果、領域選択の終了指示が入力されたと判断した場合は、処理はステップＳ３０５に進み、領域選択の終了指示が入力されていないと判断した場合は、処理はステップＳ３１１に進む。ステップＳ３０４における処理の詳細を図５に示す。
【００２４】
ステップＳ５０１では、デバイスデータ取得部２０１は、入力機器から送られてくる操作信号を参照し、この操作信号が、「入力機器がユーザによって操作された」ことを示すか否かを判断する。この判断の結果、操作信号が、「入力機器がユーザによって操作された」ことを示す場合には処理はステップＳ５０２に進み、操作信号が、「入力機器がユーザによって操作された」ことを示していない場合には、処理はステップＳ５０７に進む。
【００２５】
ステップＳ５０２では、デバイスデータ取得部２０１は、入力機器から送られてくるデバイスデータを取得する。そしてステップＳ５０３では、デバイスデータ取得部２０１は、この取得したデバイスデータを参照して入力機器の種別を判別する。この判別の結果、入力機器が特定の機器（本実施形態では上記の通りマウス）であれば、処理はステップＳ５０４に進み、特定の機器以外の機器であれば、処理はステップＳ５０７に進む。ステップＳ５０７では、デバイスデータ取得部２０１は、領域選択の終了指示は入力していないと判断し、ステップＳ３０４における処理を終える。
【００２６】
一方、ステップＳ５０４では、デバイスデータ取得部２０１は、上記操作信号が、マウスのボタンが押下されたことを示しているか否かを判断する。この判断の結果、操作信号が、マウスのボタンが押下されたことを示している場合は、処理はステップＳ５０５に進み、操作信号が、マウスのボタンが押下されたことを示していない場合は、処理はステップＳ５０７に進む。
【００２７】
ステップＳ５０５では、デバイスデータ取得部２０１は、表示画面上に表示されているマウスポインタの現時点における位置（座標位置）を、上記のメモリに格納する。ステップＳ５０６では、デバイスデータ取得部２０１は、領域選択の終了指示が入力されたものと判断し、ステップＳ３０４における処理を終える。
【００２８】
図３に戻って、次に、ステップＳ３１１では、画像処理装置は、予め定められた時間だけ処理を待機し、その後、処理はステップＳ３０４に戻る。一方、ステップＳ３０５では、選択終了時刻取得部２０３は、現時点における時刻を選択終了時刻として特定する。ステップＳ３０６では、選択領域取得部２０４は、ステップＳ５０５でメモリに格納した位置を、選択終了点として特定する。
【００２９】
ステップＳ３０９では、フラグメント参照パラメータ決定部２０５及びフラグメント参照記述生成部２０６が、上記の処理で収集した情報を用いて、フラグメント参照記述を生成し、生成したフラグメント参照記述をサーバ装置に送信する。ステップＳ３０９における処理の詳細を図６に示す。
【００３０】
ステップＳ６０１では、フラグメント参照パラメータ決定部２０５は、図３のフローチャートの処理の開始と共に再生表示を開始した上記の動画像のＵＲＬを取得する。即ち、上記のサーバ装置におけるこの動画像のＵＲＬを取得する。例えばこのＵＲＩは、ｈｔｔｐ：／／ｗｗｗ．ｅｘａｍｐｌｅ．ｃｏｍ／ｖｉｄｅｏ．ｏｇｖというように記述される。
【００３１】
ステップＳ６０２では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０２で特定した時刻（選択開始時刻）、ステップＳ３０５で特定した時刻（選択終了時刻）、から、フラグメント参照記述に利用する時刻パラメータを決定する。例えば、選択開始時刻が１０秒、選択終了時刻が２０秒であるとすると、時刻パラメータはｔ＝１０，２０として記述される。
【００３２】
ステップＳ６０３では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置と、ステップＳ３０６で取得した位置と、を用いて、これらの位置を対角位置とする矩形領域の高さと幅を求める。例えば、ステップＳ３０３で取得した位置（ｘ、ｙ）が（１６０，１２０）、ステップＳ３０６で取得した位置（ｘ、ｙ）が（４８０，３６０）である場合、ステップＳ６０３では、幅＝４８０−１６０＝３２０、高さ＝３６０−１２０＝２４０として求める。なお、位置は、表示画面の左上隅の位置を（０，０）とした場合のものであるとする。
【００３３】
ステップＳ６０４では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置と、ステップＳ６０３で求めた幅及び高さと、から、フラグメント参照記述に利用する空間パラメータを決定する。上記の例の場合、空間パラメータはｘｙｗｈ＝１６０，１２０，３２０，２４０として記述される。なお、空間パラメータを決定する際は、動画像の表示領域を越えない値に修正してもよい。例えば、選択開始位置（ｘ、ｙの何れか若しくは両方）が負の値であった場合は、これを０としてもよい。
【００３４】
ステップＳ６０５では、フラグメント参照記述生成部２０６は、ステップＳ６０１で取得したＵＲＬ、ステップＳ６０２で決定した時刻パラメータ、ステップＳ６０４で決定した空間パラメータ、を用いて、フラグメント参照記述を生成する。上記の例の場合、フラグメント参照記述はｈｔｔｐ：／／ｗｗｗ．ｅｘａｍｐｌｅ．ｃｏｍ／ｖｉｄｅｏ．ｏｇｖ＃ｔ＝１０，２０＆ｘｙｗｈ＝１６０，１２０，３２０，２４０というように記述される。
【００３５】
そして画像処理装置は、時刻パラメータで指定したタイミング間で再生された各フレームの画像において、空間パラメータで指定した矩形領域内の部分画像を要求する為の要求情報として、このフラグメント参照記述をサーバ装置に送信する。
【００３６】
なお、本実施形態は、次に説明する画像処理装置の一例を述べたものであり、この画像処理装置の構成と同等であれば、如何なる変形例も採用可能である。即ちこの画像処理装置とは、外部装置から供給された動画像を表示画面上に再生表示する画像処理装置である。この画像処理装置は動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された第１の位置を特定すると共に該第１の位置を特定した第１のタイミングを特定する（第１の特定）。
【００３７】
更にこの画像処理装置は、第１の位置及び第１の時刻の特定後に更に上記の指定指示を検知すると、該指定指示によって指定された第２の位置を特定すると共に、該第２の位置を特定した第２のタイミングを特定する（第２の特定）。
【００３８】
そしてこの画像処理装置は、第１のタイミングから第２のタイミングの間に表示された各フレームの画像において第１の位置及び第２の位置を対角位置とする矩形領域内の部分画像を外部装置に要求する為の要求情報を生成して、外部装置に送信する。
【００３９】
［第２の実施形態］
本実施形態では、３次元仮想空間中に設けられた仮想平面上に動画像をテクスチャとして貼り付け、この仮想平面を適当な視点から見た画像を、表示画面上に表示する。そのため、本実施形態では、ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）を利用して、３次元仮想空間内の仮想平面上に動画像を再生表示し、この仮想平面を適当な視点から見た画像を、表示画面上に表示する。
【００４０】
本実施形態は、このようにして動画像を再生表示することと、空間パラメータを決定する処理以外は第１の実施形態と同様である。然るに、以下では、空間パラメータを決定する処理について説明し、それ以外の説明については第１の実施形態ですでに説明したとおりであるため、省略する。また、本実施形態に係る画像処理装置の構成も、第１の実施形態と同じであるとする。本実施形態においてステップＳ６０４で行う処理について、図７のフローチャートを用いて説明する。
【００４１】
ＨＴＭＬを利用して３次元仮想空間内で２次元平面を３次元変形（移動、回転など）する場合は、Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ（ＣＳＳ）や、Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ（ＳＶＧ）といった記述言語を利用する。
【００４２】
そこで、ステップＳ７０１では、フラグメント参照パラメータ決定部２０５は、ＣＳＳ情報やＳＶＧ情報から、３次元変形に用いられた３次元変形情報を取得する。このＣＳＳ情報やＳＶＧ情報は、サーバ装置から動画像と共に配信される情報である。
【００４３】
ＳＶＧ情報の一例を図８に示す。このＳＶＧ情報は、座標（０，０）に配置した幅１６０、高さ１２０の四角形を、ｘ軸を中心として３０度回転させる為の情報である。このＳＶＧ情報を用いた描画結果を図９に示す。
【００４４】
ＳＶＧ情報では、ｔｒａｎｓｆｏｒｍ属性を使用することで、図形やイメージデータや動画像に３次元変形を施すことができる。図８ではｔｒａｎｓｆｏｒｍ属性にｒｏｔａｔｅＸ（３０）を指定している。ｒｏｔａｔｅＸとはｘ軸を中心に回転を施す記述である。ｒｏｔａｔｅＸの引数は回転角を示す。また、ｐｅｒｓｐｅｃｔｉｖｅは視点情報を示す。図８では視点が（２４０，１８０，−４００）に配置されている。図８に示したＳＶＧ情報中の３次元変形情報は、ｔｒａｎｓｆｏｒｍ＝”ｒｏｔａｔｅＸ（３０）”とｐｅｒｓｐｅｃｔｉｖｅ＝”２４０ １８０ −４００”である。
【００４５】
ステップＳ７０２では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置とステップＳ３０６で取得した位置とを対角位置とする矩形領域の３次元形状を、上記の３次元変形情報を用いて変換する。この変換した矩形領域（変換領域）は、表示画面上では矩形ではない。
【００４６】
そこでステップＳ７０３では、フラグメント参照パラメータ決定部２０５は、表示画面上でこの変換領域を包含する最小の矩形領域を求める。ステップＳ７０３における処理の詳細を図１０に示す。
【００４７】
ステップＳ１００１では、フラグメント参照パラメータ決定部２０５は、ステップＳ７０２で求めた変換領域の４頂点のそれぞれの表示画面上における座標位置（ｘ、ｙ）を取得する。
【００４８】
ステップＳ１００２では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｘ座標値のうち、最小のＸ座標値ｍｉｎＸを特定する。ステップＳ１００３では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｙ座標値のうち、最小のＹ座標値ｍｉｎＹを特定する。
【００４９】
ステップＳ１００４では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｘ座標値のうち、最大のＸ座標値ｍａｘＸを特定する。ステップＳ１００５では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｙ座標値のうち、最大のＹ座標値ｍａｘＹを特定する。
【００５０】
ステップＳ１００６では、フラグメント参照パラメータ決定部２０５は、４頂点の座標値が（ｍｉｎＸ、ｍｉｎＹ）、（ｍｉｎＸ、ｍａｘＹ）、（ｍａｘＸ、ｍｉｎＹ）、（ｍａｘＸ、ｍａｘＹ）である矩形を上記最小の矩形領域として特定する。
【００５１】
図７に戻って、次にステップＳ７０４では、フラグメント参照パラメータ決定部２０５は、ステップＳ７０３で求めた矩形領域について、第１の実施形態と同様にして空間パラメータを決定する。
【００５２】
［第３の実施形態］
本実施形態では、マルチタッチディスプレイなどのポインティングデバイスが複数存在することを前提とする。本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図１１を用いて説明する。以下では、第１の実施形態と異なる点のみについて説明する。
【００５３】
ステップＳ１１０１では、画像処理装置は、選択開始点及び選択終了点を指定する為のＵＩ（ユーザインターフェース）と、選択開始時刻及び選択終了時刻を指定するためのＵＩと、が別個に設けられているか否かを判断する。この判断の結果、別個に設けられている場合は、処理はステップＳ１００３に進み、同じＵＩ上に設けられている場合（上記の実施形態と同じ）は、処理はステップＳ３０１に進む。
【００５４】
ステップＳ１１０３では、デバイスデータ取得部２０１は、現在のポインティング位置が、選択開始点及び選択終了点を指定するためのＵＩ上に位置しているか否かを判断する。この判断の結果、選択開始点及び選択終了点を指定するためのＵＩ上に位置していると判断した場合、処理はステップＳ１１０４に進み、選択開始点及び選択終了点を指定するためのＵＩ上に位置していないと判断した場合、処理はステップＳ１１０７に進む。
【００５５】
ステップＳ１１０４では、選択領域取得部２０４により、第１の実施形態と同様にして、選択開始点及び選択終了点を取得する。
【００５６】
一方、ステップＳ１１０７では、デバイスデータ取得部２０１は、現在のポインティング位置が、選択開始時刻及び選択終了時刻を指定するためのＵＩ上に位置しているか否かを判断する。この判断の結果、選択開始時刻及び選択終了時刻を指定する為のＵＩ上に位置していると判断した場合、処理はステップＳ１１０８に進み、選択開始時刻及び選択終了時刻を指定する為のＵＩ上に位置していないと判断した場合、処理はステップＳ１１０３に戻る。
【００５７】
ステップＳ１１０８では、選択開始時刻取得部２０２及び選択終了時刻取得部２０３により、第１の実施形態と同様にして、選択開始時刻及び選択終了時刻を取得する。
【００５８】
ステップＳ１１０５では、画像処理装置は、選択開始時刻及び選択終了時刻が取得済みであるか否かを判断する。この判断の結果、選択開始時刻及び選択終了時刻が取得済みであれば、処理はステップＳ３０９に進み、選択開始時刻及び選択終了時刻が取得済みではない場合は、処理はステップＳ１１０３に戻る。
【００５９】
なお、本実施形態では、ポインティングデバイスが複数存在する場合のフラグメント参照パラメータの決定方法を逐次処理で実現した例を示したが、並列処理で実現してもよい。
【００６０】
［第４の実施形態］
本実施形態では、領域選択時の動画像の再生速度を、通常の再生速度とは異なる速度に設定する。一般に、短時間内に、動画像中の所望のフレーム群から所望の領域を指定する操作を行うことは難しい。しかし、単に動画像の再生速度を一律に遅くしただけでは、この指定に要する時間が比較的短くすんだ場合には不都合である。
【００６１】
然るに本実施形態では、動画像中の所望のフレーム群から所望の領域を指定する操作を行う前に、この操作において好適な再生速度が設定できるようなインターフェースを提供する。以下では、第１の実施形態と異なる点のみについて説明する。
【００６２】
本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図１２を用いて説明する。ステップＳ１２０１では、画像処理装置は、動画像の再生速度をユーザに設定させるための画面を表示画面上に表示する。これによりユーザは、入力機器を用いて再生速度を入力する。ステップＳ１２０２では、画像処理装置は、ユーザから受け付けた再生速度で動画像の再生を開始する。そしてその後、処理をステップＳ３０１に進める。
【００６３】
そして、ステップＳ１２０４では、画像処理装置は、フラグメント参照記述の生成が完了すると、動画像の再生を停止させる。そして、ステップＳ１２０５では画像処理装置は、動画像の再生速度をデフォルトの値に戻す。なお、動画像の再生速度の設定は、図３のフローチャートの処理の最中に行っても良く、状況に応じて再生速度を調整するようにしてもよい。
【００６４】
［第５の実施形態］
図２に示した各部はハードウェアで構成してもよいが、ソフトウェア（コンピュータプログラム）で構成してもよい。図２に示した各部をソフトウェアで構成する場合、このソフトウェアを保持するメモリと、このソフトウェアを実行する実行部とを有する装置は、上記の画像処理装置に適用することができる。
【００６５】
上記の画像処理装置に適用可能なコンピュータのハードウェア構成例を図１に示す。ＣＰＵ１０１は、ＲＡＭ１０３やＲＯＭ１０２に格納されているコンピュータプログラムやデータを用いてコンピュータ１００全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行する。
【００６６】
ＲＯＭ１０２には、コンピュータ１００の設定データやブートプログラムなどが格納されている。ＲＡＭ１０３は、外部記憶装置１０６からロードされたコンピュータプログラムやデータ、不図示のインターフェースを介してサーバ装置から受信した各フレームの画像、等を一時的に記憶するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。即ちＲＡＭ１０３は、各種のエリアを適宜提供することができる。
【００６７】
表示部１０４は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。この表示部１０４の表示画面上にはサーバ装置から受信した動画像や、上記のＵＩ等を表示することができる。
【００６８】
外部記憶装置１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。この外部記憶装置１０６には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして上述した各処理をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが保存されている。また、上記で既知の情報として説明したものも、この外部記憶装置１０６に保存されている。外部記憶装置１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。
【００６９】
バス１０５には、上記の各部が接続されている。もちろん、上記の通り、図２に示した各部をソフトウェアで構成する場合、ソフトウェアを保持するメモリと、ソフトウェアを実行する実行部とを有する装置は、上記の画像処理装置に適用することができる。然るに、画像処理装置に適用可能な装置の構成は、図１の構成に限らない。
【００７０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、フラグメント参照を行う為の技術に関するものである。
【背景技術】
【０００２】
サーバ上に保存されている動画データを２次元平面上で再生しているとき、ユーザが動画データの一部分をフラグメント参照としてサーバにリクエストし、サーバから受け取る手段を考える。ユーザが動画データの一部の領域を指定する場合、ユーザはポインティングデバイスを用いて選択領域を指定する。従来では、画像や動画データの一部分を選択する場合は、ポインティングデバイスで矩形領域を指定し、それに含まれる領域を選択結果としていた（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３６６９７２号公報
【特許文献２】特開２００９−１７７４３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし従来の方法では、フラグメント参照について空間指定と時間指定を同時に指定したい場合、空間指定する前後で別途、時間指定する必要があった。そのため、ユーザが必要とする選択手順が増えてしまい、処理が煩雑化してしまうという問題があった。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、簡便な方法でもって、動画像中の所望のフレーム群から所望の画像領域を指定するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、外部装置から供給された動画像を表示画面上に再生表示する画像処理装置であって、前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定手段と、前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定手段と、前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、簡便な方法でもって、動画像中の所望のフレーム群から所望の画像領域を指定することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図。
【図２】画像処理装置の機能構成例を示すブロック図。
【図３】画像処理装置が行う処理のフローチャート。
【図４】ステップＳ３０１の処理の詳細を示すフローチャート。
【図５】ステップＳ３０４における処理のフローチャート。
【図６】ステップＳ３０９における処理のフローチャート。
【図７】ステップＳ６０４における処理のフローチャート。
【図８】ＳＶＧ情報の一例を示す図。
【図９】ＳＶＧ情報を用いた描画結果を示す図。
【図１０】ステップＳ７０３における処理のフローチャート。
【図１１】画像処理装置が行う処理のフローチャート。
【図１２】画像処理装置が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
本実施形態では、外部装置としてのサーバ装置から供給された各フレームの画像（いわゆる動画像）を表示画面上に再生表示する画像処理装置について説明する。より詳しくは、サーバ装置から供給された各フレームの画像を順次受信して表示画面上に表示し、表示した各フレームの画像のうち、所望のフレーム区間内における画像について、所望の領域内の部分画像をサーバ装置に要求する画像処理装置について説明する。
【００１１】
本実施形態に係る画像処理装置の機能構成例を示す図２のブロック図、本実施形態に係る画像処理装置が行う処理のフローチャートを示す図３を用いて、本実施形態に係る画像処理装置について説明する。なお、画像処理装置は、図３のフローチャートの処理の開始と共に、画像処理装置が有する不図示の表示画面上に、動画像の再生表示を開始する。
【００１２】
ステップＳ３０１では、デバイスデータ取得部２０１は、ユーザが入力機器を用いて、動画像の表示領域内における位置を指定する指定指示（領域選択の開始指示）を入力したか否かを判断する。この判断の結果、領域選択の開始指示が入力されたと判断した場合は、処理はステップＳ３０２に進み、領域選択の開始指示が入力されていないと判断した場合は、処理はステップＳ３１０に進む。ステップＳ３０１における処理の詳細を図４に示す。
【００１３】
ステップＳ４０１では、デバイスデータ取得部２０１は、画像処理装置内の不図示のメモリ内に設けてある位置スタックを空にする。ステップＳ４０２では、デバイスデータ取得部２０１は、ボタン押下フラグを０に初期化する。
【００１４】
ステップＳ４０３では、デバイスデータ取得部２０１は、入力機器から送られてくる操作信号を参照し、この操作信号が、「入力機器がユーザによって操作された」ことを示すか否かを判断する。この判断の結果、操作信号が、「入力機器がユーザによって操作された」ことを示す場合には処理はステップＳ４０４に進み、操作信号が、「入力機器がユーザによって操作された」ことを示していない場合には、処理はステップＳ４０３に戻る。
【００１５】
ステップＳ４０４では、デバイスデータ取得部２０１は、入力機器から送られてくるデバイスデータを取得する。そしてステップＳ４０５では、デバイスデータ取得部２０１は、この取得したデバイスデータを参照して入力機器の種別を判別する。この判別の結果、入力機器が特定の機器であれば、処理はステップＳ４０６に進み、特定の機器以外の機器であれば、処理はステップＳ４１３に進む。なお、本実施形態ではこの「特定の機器」が「マウス」である場合について説明するが、他の機器であっても以降の説明の本質は変わらない。ステップＳ４１３では、デバイスデータ取得部２０１は、領域選択の開始指示は入力していないと判断し、ステップＳ３０１における処理を終える。
【００１６】
一方、ステップＳ４０６では、デバイスデータ取得部２０１は、表示画面上に表示されているマウスポインタの現時点における位置（座標位置）を、上記の位置スタックに追加登録する。
【００１７】
ステップＳ４０７では、デバイスデータ取得部２０１は、上記操作信号が、マウスのボタンが押下されたことを示しているか否かを判断する。この判断の結果、操作信号が、マウスのボタンが押下されたことを示している場合は、処理はステップＳ４０８に進み、操作信号が、マウスのボタンが押下されたことを示していない場合は、処理はステップＳ４０９に進む。ステップＳ４０８では、デバイスデータ取得部２０１は、ボタン押下フラグに１を設定し、処理はステップＳ４０３に戻る。
【００１８】
一方、ステップＳ４０９では、デバイスデータ取得部２０１は、ボタン押下フラグの値が１であるか否かを判断する。この判断の結果、ボタン押下フラグの値が１であれば処理はステップＳ４１０に進み、ボタン押下フラグの値が０であれば、処理はステップＳ４１３に進む。
【００１９】
ステップＳ４１０では、デバイスデータ取得部２０１は、位置スタックに登録されているそれぞれのマウスポインタの位置を読み出し、そのあと、この位置スタックを空にする。
【００２０】
ステップＳ４１１では、デバイスデータ取得部２０１は、ステップＳ４１０で読み出したそれぞれのマウスポインタの位置が何れもほぼ同じ（例えば、それぞれの位置の差が規定値以下に収まっている）であるか否かを判断する。この判断の結果、ほぼ同じであれば、処理はステップＳ４１２に進み、ほぼ同じではない場合は、処理はステップＳ４１３に進む。ステップＳ４１２では、デバイスデータ取得部２０１は、領域選択の開始指示が入力されたものと判断し、ステップＳ３０１における処理を終える。
【００２１】
図３に戻って、次に、ステップＳ３１０では、画像処理装置は、予め定められた時間だけ処理を待機し、その後、処理はステップＳ３０１に戻る。一方、ステップＳ３０２では、選択開始時刻取得部２０２は、現時点における時刻を選択開始時刻として特定する。
【００２２】
ステップＳ３０３では、選択領域取得部２０４は、ステップＳ４１０で位置スタックの先頭から読み出した位置を、選択開始点として特定する。なお、選択開始点として特定する位置は、位置スタックの先頭の位置から読み出した位置に限るものではない。
【００２３】
ステップＳ３０４では、デバイスデータ取得部２０１は、ユーザが入力機器を用いて、動画像の表示領域内における位置を指定する指定指示（領域選択の終了指示）を入力したか否かを判断する。そしてこの判断の結果、領域選択の終了指示が入力されたと判断した場合は、処理はステップＳ３０５に進み、領域選択の終了指示が入力されていないと判断した場合は、処理はステップＳ３１１に進む。ステップＳ３０４における処理の詳細を図５に示す。
【００２４】
ステップＳ５０１では、デバイスデータ取得部２０１は、入力機器から送られてくる操作信号を参照し、この操作信号が、「入力機器がユーザによって操作された」ことを示すか否かを判断する。この判断の結果、操作信号が、「入力機器がユーザによって操作された」ことを示す場合には処理はステップＳ５０２に進み、操作信号が、「入力機器がユーザによって操作された」ことを示していない場合には、処理はステップＳ５０７に進む。
【００２５】
ステップＳ５０２では、デバイスデータ取得部２０１は、入力機器から送られてくるデバイスデータを取得する。そしてステップＳ５０３では、デバイスデータ取得部２０１は、この取得したデバイスデータを参照して入力機器の種別を判別する。この判別の結果、入力機器が特定の機器（本実施形態では上記の通りマウス）であれば、処理はステップＳ５０４に進み、特定の機器以外の機器であれば、処理はステップＳ５０７に進む。ステップＳ５０７では、デバイスデータ取得部２０１は、領域選択の終了指示は入力していないと判断し、ステップＳ３０４における処理を終える。
【００２６】
一方、ステップＳ５０４では、デバイスデータ取得部２０１は、上記操作信号が、マウスのボタンが押下されたことを示しているか否かを判断する。この判断の結果、操作信号が、マウスのボタンが押下されたことを示している場合は、処理はステップＳ５０５に進み、操作信号が、マウスのボタンが押下されたことを示していない場合は、処理はステップＳ５０７に進む。
【００２７】
ステップＳ５０５では、デバイスデータ取得部２０１は、表示画面上に表示されているマウスポインタの現時点における位置（座標位置）を、上記のメモリに格納する。ステップＳ５０６では、デバイスデータ取得部２０１は、領域選択の終了指示が入力されたものと判断し、ステップＳ３０４における処理を終える。
【００２８】
図３に戻って、次に、ステップＳ３１１では、画像処理装置は、予め定められた時間だけ処理を待機し、その後、処理はステップＳ３０４に戻る。一方、ステップＳ３０５では、選択終了時刻取得部２０３は、現時点における時刻を選択終了時刻として特定する。ステップＳ３０６では、選択領域取得部２０４は、ステップＳ５０５でメモリに格納した位置を、選択終了点として特定する。
【００２９】
ステップＳ３０９では、フラグメント参照パラメータ決定部２０５及びフラグメント参照記述生成部２０６が、上記の処理で収集した情報を用いて、フラグメント参照記述を生成し、生成したフラグメント参照記述をサーバ装置に送信する。ステップＳ３０９における処理の詳細を図６に示す。
【００３０】
ステップＳ６０１では、フラグメント参照パラメータ決定部２０５は、図３のフローチャートの処理の開始と共に再生表示を開始した上記の動画像のＵＲＬを取得する。即ち、上記のサーバ装置におけるこの動画像のＵＲＬを取得する。例えばこのＵＲＩは、ｈｔｔｐ：／／ｗｗｗ．ｅｘａｍｐｌｅ．ｃｏｍ／ｖｉｄｅｏ．ｏｇｖというように記述される。
【００３１】
ステップＳ６０２では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０２で特定した時刻（選択開始時刻）、ステップＳ３０５で特定した時刻（選択終了時刻）、から、フラグメント参照記述に利用する時刻パラメータを決定する。例えば、選択開始時刻が１０秒、選択終了時刻が２０秒であるとすると、時刻パラメータはｔ＝１０，２０として記述される。
【００３２】
ステップＳ６０３では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置と、ステップＳ３０６で取得した位置と、を用いて、これらの位置を対角位置とする矩形領域の高さと幅を求める。例えば、ステップＳ３０３で取得した位置（ｘ、ｙ）が（１６０，１２０）、ステップＳ３０６で取得した位置（ｘ、ｙ）が（４８０，３６０）である場合、ステップＳ６０３では、幅＝４８０−１６０＝３２０、高さ＝３６０−１２０＝２４０として求める。なお、位置は、表示画面の左上隅の位置を（０，０）とした場合のものであるとする。
【００３３】
ステップＳ６０４では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置と、ステップＳ６０３で求めた幅及び高さと、から、フラグメント参照記述に利用する空間パラメータを決定する。上記の例の場合、空間パラメータはｘｙｗｈ＝１６０，１２０，３２０，２４０として記述される。なお、空間パラメータを決定する際は、動画像の表示領域を越えない値に修正してもよい。例えば、選択開始位置（ｘ、ｙの何れか若しくは両方）が負の値であった場合は、これを０としてもよい。
【００３４】
ステップＳ６０５では、フラグメント参照記述生成部２０６は、ステップＳ６０１で取得したＵＲＬ、ステップＳ６０２で決定した時刻パラメータ、ステップＳ６０４で決定した空間パラメータ、を用いて、フラグメント参照記述を生成する。上記の例の場合、フラグメント参照記述はｈｔｔｐ：／／ｗｗｗ．ｅｘａｍｐｌｅ．ｃｏｍ／ｖｉｄｅｏ．ｏｇｖ＃ｔ＝１０，２０＆ｘｙｗｈ＝１６０，１２０，３２０，２４０というように記述される。
【００３５】
そして画像処理装置は、時刻パラメータで指定したタイミング間で再生された各フレームの画像において、空間パラメータで指定した矩形領域内の部分画像を要求する為の要求情報として、このフラグメント参照記述をサーバ装置に送信する。
【００３６】
なお、本実施形態は、次に説明する画像処理装置の一例を述べたものであり、この画像処理装置の構成と同等であれば、如何なる変形例も採用可能である。即ちこの画像処理装置とは、外部装置から供給された動画像を表示画面上に再生表示する画像処理装置である。この画像処理装置は動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された第１の位置を特定すると共に該第１の位置を特定した第１のタイミングを特定する（第１の特定）。
【００３７】
更にこの画像処理装置は、第１の位置及び第１の時刻の特定後に更に上記の指定指示を検知すると、該指定指示によって指定された第２の位置を特定すると共に、該第２の位置を特定した第２のタイミングを特定する（第２の特定）。
【００３８】
そしてこの画像処理装置は、第１のタイミングから第２のタイミングの間に表示された各フレームの画像において第１の位置及び第２の位置を対角位置とする矩形領域内の部分画像を外部装置に要求する為の要求情報を生成して、外部装置に送信する。
【００３９】
［第２の実施形態］
本実施形態では、３次元仮想空間中に設けられた仮想平面上に動画像をテクスチャとして貼り付け、この仮想平面を適当な視点から見た画像を、表示画面上に表示する。そのため、本実施形態では、ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）を利用して、３次元仮想空間内の仮想平面上に動画像を再生表示し、この仮想平面を適当な視点から見た画像を、表示画面上に表示する。
【００４０】
本実施形態は、このようにして動画像を再生表示することと、空間パラメータを決定する処理以外は第１の実施形態と同様である。然るに、以下では、空間パラメータを決定する処理について説明し、それ以外の説明については第１の実施形態ですでに説明したとおりであるため、省略する。また、本実施形態に係る画像処理装置の構成も、第１の実施形態と同じであるとする。本実施形態においてステップＳ６０４で行う処理について、図７のフローチャートを用いて説明する。
【００４１】
ＨＴＭＬを利用して３次元仮想空間内で２次元平面を３次元変形（移動、回転など）する場合は、Ｃａｓｃａｄｉｎｇ Ｓｔｙｌｅ Ｓｈｅｅｔｓ（ＣＳＳ）や、Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ（ＳＶＧ）といった記述言語を利用する。
【００４２】
そこで、ステップＳ７０１では、フラグメント参照パラメータ決定部２０５は、ＣＳＳ情報やＳＶＧ情報から、３次元変形に用いられた３次元変形情報を取得する。このＣＳＳ情報やＳＶＧ情報は、サーバ装置から動画像と共に配信される情報である。
【００４３】
ＳＶＧ情報の一例を図８に示す。このＳＶＧ情報は、座標（０，０）に配置した幅１６０、高さ１２０の四角形を、ｘ軸を中心として３０度回転させる為の情報である。このＳＶＧ情報を用いた描画結果を図９に示す。
【００４４】
ＳＶＧ情報では、ｔｒａｎｓｆｏｒｍ属性を使用することで、図形やイメージデータや動画像に３次元変形を施すことができる。図８ではｔｒａｎｓｆｏｒｍ属性にｒｏｔａｔｅＸ（３０）を指定している。ｒｏｔａｔｅＸとはｘ軸を中心に回転を施す記述である。ｒｏｔａｔｅＸの引数は回転角を示す。また、ｐｅｒｓｐｅｃｔｉｖｅは視点情報を示す。図８では視点が（２４０，１８０，−４００）に配置されている。図８に示したＳＶＧ情報中の３次元変形情報は、ｔｒａｎｓｆｏｒｍ＝”ｒｏｔａｔｅＸ（３０）”とｐｅｒｓｐｅｃｔｉｖｅ＝”２４０ １８０ −４００”である。
【００４５】
ステップＳ７０２では、フラグメント参照パラメータ決定部２０５は、ステップＳ３０３で取得した位置とステップＳ３０６で取得した位置とを対角位置とする矩形領域の３次元形状を、上記の３次元変形情報を用いて変換する。この変換した矩形領域（変換領域）は、表示画面上では矩形ではない。
【００４６】
そこでステップＳ７０３では、フラグメント参照パラメータ決定部２０５は、表示画面上でこの変換領域を包含する最小の矩形領域を求める。ステップＳ７０３における処理の詳細を図１０に示す。
【００４７】
ステップＳ１００１では、フラグメント参照パラメータ決定部２０５は、ステップＳ７０２で求めた変換領域の４頂点のそれぞれの表示画面上における座標位置（ｘ、ｙ）を取得する。
【００４８】
ステップＳ１００２では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｘ座標値のうち、最小のＸ座標値ｍｉｎＸを特定する。ステップＳ１００３では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｙ座標値のうち、最小のＹ座標値ｍｉｎＹを特定する。
【００４９】
ステップＳ１００４では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｘ座標値のうち、最大のＸ座標値ｍａｘＸを特定する。ステップＳ１００５では、フラグメント参照パラメータ決定部２０５は、変換領域の４頂点のｙ座標値のうち、最大のＹ座標値ｍａｘＹを特定する。
【００５０】
ステップＳ１００６では、フラグメント参照パラメータ決定部２０５は、４頂点の座標値が（ｍｉｎＸ、ｍｉｎＹ）、（ｍｉｎＸ、ｍａｘＹ）、（ｍａｘＸ、ｍｉｎＹ）、（ｍａｘＸ、ｍａｘＹ）である矩形を上記最小の矩形領域として特定する。
【００５１】
図７に戻って、次にステップＳ７０４では、フラグメント参照パラメータ決定部２０５は、ステップＳ７０３で求めた矩形領域について、第１の実施形態と同様にして空間パラメータを決定する。
【００５２】
［第３の実施形態］
本実施形態では、マルチタッチディスプレイなどのポインティングデバイスが複数存在することを前提とする。本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図１１を用いて説明する。以下では、第１の実施形態と異なる点のみについて説明する。
【００５３】
ステップＳ１１０１では、画像処理装置は、選択開始点及び選択終了点を指定する為のＵＩ（ユーザインターフェース）と、選択開始時刻及び選択終了時刻を指定するためのＵＩと、が別個に設けられているか否かを判断する。この判断の結果、別個に設けられている場合は、処理はステップＳ１００３に進み、同じＵＩ上に設けられている場合（上記の実施形態と同じ）は、処理はステップＳ３０１に進む。
【００５４】
ステップＳ１１０３では、デバイスデータ取得部２０１は、現在のポインティング位置が、選択開始点及び選択終了点を指定するためのＵＩ上に位置しているか否かを判断する。この判断の結果、選択開始点及び選択終了点を指定するためのＵＩ上に位置していると判断した場合、処理はステップＳ１１０４に進み、選択開始点及び選択終了点を指定するためのＵＩ上に位置していないと判断した場合、処理はステップＳ１１０７に進む。
【００５５】
ステップＳ１１０４では、選択領域取得部２０４により、第１の実施形態と同様にして、選択開始点及び選択終了点を取得する。
【００５６】
一方、ステップＳ１１０７では、デバイスデータ取得部２０１は、現在のポインティング位置が、選択開始時刻及び選択終了時刻を指定するためのＵＩ上に位置しているか否かを判断する。この判断の結果、選択開始時刻及び選択終了時刻を指定する為のＵＩ上に位置していると判断した場合、処理はステップＳ１１０８に進み、選択開始時刻及び選択終了時刻を指定する為のＵＩ上に位置していないと判断した場合、処理はステップＳ１１０３に戻る。
【００５７】
ステップＳ１１０８では、選択開始時刻取得部２０２及び選択終了時刻取得部２０３により、第１の実施形態と同様にして、選択開始時刻及び選択終了時刻を取得する。
【００５８】
ステップＳ１１０５では、画像処理装置は、選択開始時刻及び選択終了時刻が取得済みであるか否かを判断する。この判断の結果、選択開始時刻及び選択終了時刻が取得済みであれば、処理はステップＳ３０９に進み、選択開始時刻及び選択終了時刻が取得済みではない場合は、処理はステップＳ１１０３に戻る。
【００５９】
なお、本実施形態では、ポインティングデバイスが複数存在する場合のフラグメント参照パラメータの決定方法を逐次処理で実現した例を示したが、並列処理で実現してもよい。
【００６０】
［第４の実施形態］
本実施形態では、領域選択時の動画像の再生速度を、通常の再生速度とは異なる速度に設定する。一般に、短時間内に、動画像中の所望のフレーム群から所望の領域を指定する操作を行うことは難しい。しかし、単に動画像の再生速度を一律に遅くしただけでは、この指定に要する時間が比較的短くすんだ場合には不都合である。
【００６１】
然るに本実施形態では、動画像中の所望のフレーム群から所望の領域を指定する操作を行う前に、この操作において好適な再生速度が設定できるようなインターフェースを提供する。以下では、第１の実施形態と異なる点のみについて説明する。
【００６２】
本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図１２を用いて説明する。ステップＳ１２０１では、画像処理装置は、動画像の再生速度をユーザに設定させるための画面を表示画面上に表示する。これによりユーザは、入力機器を用いて再生速度を入力する。ステップＳ１２０２では、画像処理装置は、ユーザから受け付けた再生速度で動画像の再生を開始する。そしてその後、処理をステップＳ３０１に進める。
【００６３】
そして、ステップＳ１２０４では、画像処理装置は、フラグメント参照記述の生成が完了すると、動画像の再生を停止させる。そして、ステップＳ１２０５では画像処理装置は、動画像の再生速度をデフォルトの値に戻す。なお、動画像の再生速度の設定は、図３のフローチャートの処理の最中に行っても良く、状況に応じて再生速度を調整するようにしてもよい。
【００６４】
［第５の実施形態］
図２に示した各部はハードウェアで構成してもよいが、ソフトウェア（コンピュータプログラム）で構成してもよい。図２に示した各部をソフトウェアで構成する場合、このソフトウェアを保持するメモリと、このソフトウェアを実行する実行部とを有する装置は、上記の画像処理装置に適用することができる。
【００６５】
上記の画像処理装置に適用可能なコンピュータのハードウェア構成例を図１に示す。ＣＰＵ１０１は、ＲＡＭ１０３やＲＯＭ１０２に格納されているコンピュータプログラムやデータを用いてコンピュータ１００全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行する。
【００６６】
ＲＯＭ１０２には、コンピュータ１００の設定データやブートプログラムなどが格納されている。ＲＡＭ１０３は、外部記憶装置１０６からロードされたコンピュータプログラムやデータ、不図示のインターフェースを介してサーバ装置から受信した各フレームの画像、等を一時的に記憶するためのエリアを有する。更にＲＡＭ１０３は、ＣＰＵ１０１が各種の処理を実行する際に用いるワークエリアを有する。即ちＲＡＭ１０３は、各種のエリアを適宜提供することができる。
【００６７】
表示部１０４は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１０１による処理結果を画像や文字などでもって表示することができる。この表示部１０４の表示画面上にはサーバ装置から受信した動画像や、上記のＵＩ等を表示することができる。
【００６８】
外部記憶装置１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。この外部記憶装置１０６には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして上述した各処理をＣＰＵ１０１に実行させるためのコンピュータプログラムやデータが保存されている。また、上記で既知の情報として説明したものも、この外部記憶装置１０６に保存されている。外部記憶装置１０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１０１による制御に従って適宜ＲＡＭ１０３にロードされ、ＣＰＵ１０１による処理対象となる。
【００６９】
バス１０５には、上記の各部が接続されている。もちろん、上記の通り、図２に示した各部をソフトウェアで構成する場合、ソフトウェアを保持するメモリと、ソフトウェアを実行する実行部とを有する装置は、上記の画像処理装置に適用することができる。然るに、画像処理装置に適用可能な装置の構成は、図１の構成に限らない。
【００７０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
外部装置から供給された動画像を表示画面上に再生表示する画像処理装置であって、
前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定手段と、
前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定手段と、
前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記送信手段は、前記第１の位置と前記第２の位置とから前記矩形領域の高さと幅を求め、該求めた幅と高さ、前記第１の位置、前記第１のタイミング、前記第２のタイミングを含む前記要求情報を前記外部装置に対して送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記動画像の再生速度を調整する手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
外部装置から供給された動画像を表示画面上に再生表示する画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の特定手段が、前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定工程と、
前記画像処理装置の第２の特定手段が、前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定工程と、
前記画像処理装置の送信手段が、前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。
【請求項１】
外部装置から供給された動画像を表示画面上に再生表示する画像処理装置であって、
前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定手段と、
前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定手段と、
前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記送信手段は、前記第１の位置と前記第２の位置とから前記矩形領域の高さと幅を求め、該求めた幅と高さ、前記第１の位置、前記第１のタイミング、前記第２のタイミングを含む前記要求情報を前記外部装置に対して送信することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記動画像の再生速度を調整する手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
外部装置から供給された動画像を表示画面上に再生表示する画像処理装置が行う画像処理方法であって、
前記画像処理装置の第１の特定手段が、前記動画像の再生表示を開始した後、該動画像の表示領域内における位置を指定する指定指示を検知すると、該指定指示によって指定された位置を第１の位置として特定すると共に、該第１の位置を特定したタイミングを第１のタイミングとして特定する第１の特定工程と、
前記画像処理装置の第２の特定手段が、前記第１の位置及び前記第１のタイミングの特定後に前記指定指示を検知すると、該指定指示によって指定された位置を第２の位置として特定すると共に、該第２の位置を特定したタイミングを第２のタイミングとして特定する第２の特定工程と、
前記画像処理装置の送信手段が、前記第１のタイミングから前記第２のタイミングまでの間に表示された各フレームの画像において、前記第１の位置及び前記第２の位置を対角位置とする矩形領域内の部分画像を前記外部装置に対して要求するための要求情報を生成し、該生成した要求情報を前記外部装置に対して送信する送信工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるための、コンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−５４７０４（Ｐ２０１３−５４７０４Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９４４１１（Ｐ２０１１−１９４４１１）
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月６日（２０１１．９．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]