映像におけるカメラモーション解析のための方法及び装置
【課題】映像におけるカメラモーション解析のための方法等を提供する。
【解決手段】方法は、映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準を下げ、有意な移動特性を有さない映像セグメントが、下げられた検出基準を満たすかどうかを判断し、判断結果に従って有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることを含む。本発明の実施形態に従って、映像におけるカメラのモーションタイプは、より効率的且つ正確に検出可能であり、ユーザの撮影意図は、より正確に反映可能である。
【解決手段】方法は、映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準を下げ、有意な移動特性を有さない映像セグメントが、下げられた検出基準を満たすかどうかを判断し、判断結果に従って有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることを含む。本発明の実施形態に従って、映像におけるカメラのモーションタイプは、より効率的且つ正確に検出可能であり、ユーザの撮影意図は、より正確に反映可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して映像データを処理する分野に係り、特に、映像におけるカメラモーション解析のための方法及び装置に係る。
【背景技術】
【０００２】
有効な映像の管理及び解析のためのシステムは、デジタル映像ファイルの激増とともに、日々多くの局面において人々に望まれている。このシステムを用いて、人々は、より便利にパーソナルコンピュータにおいて映像ファイルを整理することができ、都市交通は効果的に制御可能であり、更に、映像監視は容易に異常な出来事（不審者の侵入等）を検出することができる。
【０００３】
映像ファイルは、カメラ（場合により、特殊なカメラ、又は写真撮影可能な端末カメラ（例えば、携帯電話機、携帯型コンピュータ）等）を用いて撮影者による撮影により取得される。ズーム、パン等の幾つかの動作を、カメラは撮影中に必要に応じて行われることがあり、夫々の動作は、該当するカメラモーションのタイプに対応付けられる。一般的に、映像ファイルは、撮影者が撮影中に必要に応じて異なる調整（例えば、最初に移動、それから焦点合わせ、次に静止、等）を実行しうるので、様々なタイプのモーションを含みうる。
【０００４】
撮影者は、主として、関心のある対象の重要性の程度を鑑みて、カメラを調整する。例えば、撮影者が遠隔の人物の動作を撮影することに重点を置く場合、彼又は彼女は、場面内に表示される人物を拡大するよう、レンズが人物に向けられた後にカメラをズームインしてよい。これに対して、映像ファイルが焦点合わせモーション等のタイプを含む場合、そのモーションタイプに対応する映像の部分のコンテンツは、一般的に、特に撮影者が関心を持っており、従って、映像ファイルの重要なコンテンツ、ひいては、映像ファイルを表すことができる主要なコンテンツでありうる。この部分のコンテンツは、映像ファイルの要約として抽出され得る。
【０００５】
従って、カメラモーションの有効な検出は、映像管理及び解析システムにとって重要になっている。映像の取得の間のカメラのモーションタイプに基づき、映像は、より便利に閲覧され、映像の主要なコンテンツは、より容易に取得され、更に、映像ファイルの要約は、映像ファイルの更なる検索等に役立つよう便利に取得され得る。
【０００６】
既存の映像管理及び解析システムは、映像ファイルから映像撮影装置の様々なタイプのモーションを解析し、更に、高レベルの情報（例えば、撮影意図等）を取得することができる。しかし、先行技術における映像ファイルからの映像撮影装置のモーションタイプの解析に関し、解析対象は、専門の映像撮影者により撮影によって取得されて編集される標準の映像ファイルである。あいにく、映像撮影装置のモーションタイプが、先行技術の方法において、増加するアマチュア撮影者によって取得された映像ファイル、又は未編集の映像ファイルから解析される場合には、しばしば、十分に正確でない、すなわち、ユーザの実際の撮影意図を正確に反映することができない解析の結果が現れる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の問題を鑑み、本発明の実施形態は、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映するよう、映像におけるカメラモーション解析のための方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の実施形態の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする方法が提供される。
【０００９】
本発明の実施形態の他の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する方法が提供される。
【００１０】
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部とを有する装置が提供される。
【００１１】
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部とを有する装置が提供される。
【００１２】
更に、本発明の他の側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械読出可能なプログラムコードを含む記憶媒体も提供される。
【００１３】
更に、本発明の更なる側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械実行可能な命令を含むプログラムプロダクトも提供される。
【００１４】
本発明の実施形態に従う上記の方法の１つに従って、有意な移動特性を有さない映像セグメントに関し、当該映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるタイプのモーションを有する場合には、マージの間、最初に、前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントに対応するモーションタイプの検出基準は下げられ、当該映像セグメントが下げられた前記検出基準を満たすかどうかが判断され、当該映像セグメントは、当該有意な移動特性を有さない映像セグメントを前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと夫々マージされる２つの部分にフレームの真ん中で直接に分ける代わりに、前記判断の結果に従って、前記先行する隣接映像セグメント及び／又は前記後続の隣接映像セグメントとマージされる。このように、マージにより得られる映像セグメントは、実際の状況、ひいては、ユーザの撮影意図により良く適応することができる。
【００１５】
本発明の実施形態に従う上記の他の方法に従って、映像セグメントは、解析により決定されたモーションタイプと映像セグメントとの間の対応関係を鑑みて、予めセットされたルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応することができるように、映像においてカメラモーションタイプを検出するときのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００１６】
本発明の実施形態に従う他の側面は、本発明の好ましい実施形態を十分に開示するが本発明を限定しない役割を果たす以下の詳細な説明において与えられる。
【発明の効果】
【００１７】
本発明の実施形態によれば、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映することができる、映像におけるカメラモーション解析のための方法及び装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に従う方法を表すフローチャートである。
【図２】本発明の実施形態に従う他の方法を表すフローチャートである。
【図３】本発明の実施形態に従う第１の装置を表す概略図である。
【図４】本発明の実施形態に従う第２の装置を表す概略図である。
【図５】本発明の実施形態に従う第３の装置を表す概略図である。
【図６】本発明の実施形態に従う第４の装置を表す概略図である。
【図７】本発明の実施形態に従う第５の装置を表す概略図である。
【図８】本発明の実施形態に従う第６の装置を表す概略図である。
【図９】本発明の実施形態に従う第７の装置を表す概略図である。
【図１０】本発明の実施形態に従う第８の装置を表す概略図である。
【図１１】本発明の実施形態に従う第９の装置を表す概略図である。
【図１２】本発明の実施形態において使用される情報処理装置としてのパーソナルコンピュータの例となる構成を表すブロック図である。
【発明を実施するための形態】
【００１９】
本発明の実施形態の上記の及び他の目的及び利点は、図面を参照して、具体的な実施形態に関連して以下で更に記載される。図面において、同一の又は対応する技術的特徴又は構成要素は、同一の又は対応する参照符号を付して表されている。
【００２０】
本発明の実施形態について、図面を参照して、以下に記載する。
【００２１】
発明者は、本発明の実施の間、先行技術の方法における映像におけるカメラのモーションの解析が少なくとも以下の問題を抱えていることを認識していた。
【００２２】
一方では、先行技術における映像に含まれるカメラのモーションタイプの検出のために、最初に、推定される運動ベクトルからカメラ移動パラメータを計算し、次いで、夫々の移動パラメータが様々なタイプのモーションに対応する検出基準を満たすかどうかを、計算された移動パラメータから判断して、映像において有意な移動特性を有する映像セグメントを決定し、次いで、残りの映像セグメントを、該映像セグメントが前記様々なタイプのモーションの判断基準を満たさない場合に、有意な移動特性を有さない映像セグメントと見なし、最後に、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントマージすることが一般的である。マージ処理は、先行技術においては、一般的に次のように行われる。
【００２３】
有意な移動特性を有さない映像セグメントに関し、該有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが同じである場合、この有意な移動特性を有さない映像セグメントをその先行する隣接映像セグメント及び後続の隣接映像セグメントと直接的にマージすれば十分である。例えば、前記有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接セグメントのモーションタイプがいずれも焦点合わせである場合には、明らかに、当該有意な移動特性を有さない映像セグメントを夫々有意な移動特性を有する前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと直接的にマージし、マージにより得られた映像セグメントに対応するカメラモーションタイプを焦点合わせと決定すれば十分である。
【００２４】
そして、前記有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが異なる場合、前記有意な移動特性を有さない映像セグメントは、フレームの真ん中で２つの部分に分けられ、第１の半分部分は前記先行する隣接映像セグメントとマージされ、第２の半分部分は前記後続の隣接映像セグメントとマージされる。例えば、映像は５０のフレームから成り、その解析から明らかなように、１番目から２０番目のフレームから成る映像セグメントのカメラモーションタイプは焦点合わせであり、３０番目から５０番目のフレームから成る映像セグメントのカメラモーションタイプは移動であり、２１番目から２９番目のフレームから成る映像セグメントは有意な移動特性を有さず、すなわち、該映像セグメントは様々なタイプのモーションのいずれの条件も満足しない。先行技術においては、この時点で、２１番目から２５番目のフレームは先行する隣接映像セグメントとマージされ、すなわち、１番目から２５番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは焦点合わせと決定される。そして、２６番目から２９番目のフレームは後続の隣接映像セグメントとマージされ、すなわち、２６番目から５０番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは移動と決定される。
【００２５】
しかし、これは必ずしも実際の状況ではない。例えば、アマチュアの映像撮影者が、映像を取得するために、最初に対象に焦点合わせ、対象の動きを追跡しようとする（すなわち、最初に焦点合わせ動作、次いで移動動作を行う）ような実際の状況が、上記の例において存在する。しかし、撮影者はズーム動作に全く慣れておらず、正確に且つ速やかに望むようにズームすることができず、代わりに、場合により、最初に高速な焦点合わせを行い、次いで、彼又は彼女がほぼ適切であると感じするとズーム速度を緩め、次いで、対象の動きを追跡するために移動を行うことによって、それを行うことがある。それにより、焦点合わせの移動特性は、取得された映像における対応する映像セグメント（場合により、上記の例における２１番目から２９番目のフレーム）において全く取るに足りないものとなり、他のモーション（例えば、移動、回転等）がこの時間期間において起こらず、結果として、映像セグメントは、既存の方法においては、有意な移動特性を有さない映像セグメントと決定されるべきである。しかし、実際には、この映像セグメントは、優先的に、先行する映像セグメントとマージされるべきであり、すなわち、１番目から２９番目のフレームから成る映像セグメントに対応するカメラ映像タイプを焦点合わせと識別することは、実際の状況及びユーザの撮影意図により良く適応する。しかし、これは、先行技術における方法の到達外であることは明らかである。
【００２６】
従って、本発明の実施形態は、第１に、この問題に対する対応する解決法を提供する。具体的に、図１を参照して、本発明の実施形態に従う、映像におけるカメラモーション解析のための方法は、以下のステップを含む。
【００２７】
Ｓ１０１で、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとが、解析ユニットによって、映像から解析される。
【００２８】
映像に関し、複数回の検出が、一般的に、カメラのモーションタイプを解析するために行われ、それにより、１つのモーションタイプが各回において検出される。具体的に、以下のステップが通常行われる。最初に、第１のモーションタイプに関し、映像の夫々のフレームの中でそのモーションタイプの基準を満足するフレームが存在するかどうかが判断され、存在する場合には、かかるフレームに対応する映像セグメントがこのモーションタイプと決定される。次いで、残りのフレーム、すなわち、第１のモーションタイプでないフレームが第２のモーションタイプの判断基準を満足するかどうかが判断され、以降同様に続く。最後に、検出が夫々の起こり得るモーションタイプ全てについて行われた後、次のような結果が現れる。幾つかの映像セグメントは、対応するモーションタイプによりタグを付されており、集合的に、有意な移動特性を有するセグメントと呼ばれる。また、様々なモーションタイプの判断基準のいずれも満足せず、結果として、有意な移動特性を有さないセグメントと見なされるフレームから成る幾つかのセグメントも存在する。その場合に、有意な移動特性を有さないセグメントは、有意な移動特性を有するセグメントとマージされる。
【００２９】
例えば、映像は５０のフレームから成り、３つのタイプのモーション、すなわち、ズーム、回転及び移動があるとする。かかる３つのタイプのモーションの検出は、その順序で行われる。最初に、ズームのモーションタイプが５０のフレームの夫々において検出され、ズームの特性が１番目から１５番目のフレームにおいて検出されたとする。その場合に、１番目から１５番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプはズームである。
【００３０】
次に、回転のモーションタイプが１６番目から５０番目のフレームにおいて検出され、回転の特性が２５番目から４０番目のフレームにおいて検出されたとする。その場合に、２５番目から４０番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプは回転である。
【００３１】
最後に、移動のモーションタイプが１６番目から２４番目のフレームと、４１番目から５０番目のフレームとにおいて検出され、移動の特性が４１番目から５０番目のフレームにおいて検出されたとする。その場合に、４１番目から５０番目のフレームは映像セグメントを構成することができ、その映像フレームに対応するカメラモーションタイプは移動である。
【００３２】
明らかに、１６番目から２４番目のフレームは、上記３つのタイプのモーションのいずれも満足せず、従って、有意な移動特性を有さない映像セグメントと見なされる。
【００３３】
特に、様々なモーションタイプの映像セグメントが以下のように検出され得る。
【００３４】
最初に、映像の各フレームは多数の画像ブロックに分割され、各画像ブロックの運動ベクトルは局所探索を通じて決定され得る。次いで、運動ベクトルのフィールドの大域的な動きは、６個のパラメータを含む以下のアフィンモデルにおいて記述され得る：
【数１】
【００３５】
（ｘ，ｙ）は画像ブロックの位置を表し、それは知られており、且つ、（ｕ，ｖ）は画像ブロックの運動ベクトルを表す。上記のモデルにおける６個のパラメータは、同じフレームにおける複数の画像ブロックの位置、及び最小二乗法におけるそれらの対応する運動ベクトル情報等から決定され得る。次いで、カメラの移動パラメータが、カメラの運動ベクトルと上記のモデルにおける６個のパラメータとの間の対応関係に従って、計算され得る。
【００３６】
特に、カメラの運動ベクトルと上記のモデルにおけるパラメータとの間の対応関係は、以下の通りである：
【数２】
【００３７】
上記の式（２）において、ｐａｎは、カメラの水平方向の動きに対応する移動パラメータを表し、ｔｉｌｔは、カメラの垂直方向の動きに対応する移動パラメータを表し、ｄｉｖは、カメラのズームに対応する移動パラメータを表し、ｒｏｔは、カメラの回転に対応する移動パラメータを表し、ｓｔａｔｉｃは、静止カメラに対応する移動パラメータを表す。
【００３８】
カメラの特定のフレームが特定のモーションタイプの特性を含むと判断されるとき、そのフレームのモーションのタイプの計算される移動パラメータ（当然、画像のフレームの移動パラメータは、そのフレームと隣接フレームとの間の移動パラメータとして表され得る。例えば、１番目のフレームと２番目のフレームとの間の移動パラメータは１番目のフレームの移動パラメータを表し、２番目のフレームと３番目のフレームとの間の移動パラメータは２番目のフレームの移動パラメータを表し、以降同様である。あるいは、その反対であってもよい。これは、本発明の実施形態の発明ポイントとは無関係であり、従って、繰り返しを避けるために記載されない。）は、モーションのタイプについて予めセットされた基準閾値と比較され得、検出条件が満足される場合は、フレームはそのモーションタイプである。さもなければ、フレームはそのモーションタイプではない。
【００３９】
Ｓ１０２で、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準は基準調整ユニットによって下げられる。
【００４０】
明らかに、有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントは両方とも、有意な移動特性を含む。そして、先行する隣接映像セグメント及び後続の隣接映像セグメントが同じモーションタイプを有する場合において、先行技術において見られるように、当該有意な移動特性を有さない映像セグメントを直接的にそれら２つの隣接映像セグメントとマージすれば十分でありうる。
【００４１】
先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合において、先行する隣接映像セグメントは第１のモーションタイプを有し、後続の隣接映像セグメントは第２のモーションタイプを有するとすれば、本発明の実施形態は、最初に第１のモーションタイプ及び第２のモーションタイプの検出基準が下げられるような新規のマージ方法を提供する。例えば、第１のモーションタイプの原の基準閾値はＡであり、その検出基準は、モーションのタイプの移動パラメータがＡを上回る場合にのみ第１のモーションタイプが決定され得るというものである。同様に、第２のモーションタイプの原の基準閾値はＢであり、その検出基準は、モーションのタイプの移動パラメータがＢを上回る場合にのみ第２のモーションタイプが決定され得るというものである。その場合に、それらの検出基準の低下は、第１のモーションタイプに対応する閾値をａに下げ且つ第２のモーションタイプに対応する閾値をｂに下げることと同等であり、このようにして、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの移動パラメータがａを上回る場合にのみ第１のモーションタイプの下げられた検出基準を満たし、且つ、第２のモーションタイプの移動パラメータがｂを上回る場合にのみ第２のモーションタイプの下げられた検出基準を満たすと決定され得る。
【００４２】
Ｓ１０３で、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが、判断ユニットによって判断される。
【００４３】
具体的に、同等に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第１のモーションタイプの移動パラメータがａを上回るかどうかが判断され、その全て又は大部分がａを上回る場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たさないと決定され得る。同様に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第２のモーションタイプの移動パラメータがｂを上回るかどうかが判断され、その全て又は大部分がｂを上回る場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準を満たさないと決定され得る。
【００４４】
Ｓ１０４で、有意な移動特性を有さない映像セグメントは、マージユニットによって、判断の結果に従って隣接映像セグメントとマージされる。
【００４５】
ステップＳ１０３における判断の結果は、映像セグメントをマージするための基準として使用され得る。具体的に、様々なシナリオが存在してよく、そのうちの１つにおいて、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たすとすると、有意な移動特性を有さない映像セグメントは、そのモーションタイプに対応する隣接映像セグメントとマージされ得る。例えば、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、先行する隣接映像セグメントとマージされ得る。有意な移動特性を有さない映像セグメントが第２のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、後続の隣接映像セグメントとマージされ得る。
【００４６】
代替的に、他の場合において、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たすとすると、有意な移動特性を有さない映像セグメントは、前記下げられた検出基準を満たす範囲に従って隣接映像セグメントとマージされ得る。すなわち、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準及び第２のモーションタイプの下げられた検出基準の両方を満たす場合には、それらは異なった範囲で満足されてよい。例えば、第１のモーションタイプであるフレームのうち９５％の移動パラメータは、第１のモーションタイプの下げられた検出基準を上回り、第２のモーションタイプであるフレームのうち８０％の移動パラメータは、第２のモーションタイプの下げられた検出基準を上回り、そして、その場合に、第１及び第２のモーションタイプの両方の検出基準は満足されるが、第１のモーションタイプは第２のモーションタイプよりも広い範囲で満足され、従って、有意な移動特性を有さない映像セグメントは先行する隣接映像セグメントとマージされ得る。当然、第１及び第２のモーションタイプの下げられた検出基準が同じ又は同等の範囲で満足される場合には、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。
【００４７】
更に、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさないようなシナリオが存在することがあり、このときもやはり、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。具体的に、映像セグメントは、フレームの真ん中で又は他のフレームで分けられ得る。例えば、それは３分の１の時点で分けられてよく、それにより、第１の３分の１の部分は第１の半分部分と見なされ、残りの３分の２の部分は第２の半分部分と見なされ、以降同様である。
【００４８】
特に、上記の例では、１６番目から２４番目のフレームから成る映像セグメントが有意な移動特性を有さない映像セグメントとして検出され、その場合に、それの先行する隣接映像セグメントは１番目から１５番目のフレームから成る映像セグメントであり、対応する第１のモーションタイプはズームであり、且つ、それの後続の隣接映像セグメントは２５番目から４０番目のフレームから成る映像セグメントであり、対応する第２のモーションタイプは回転である。従って、有意な移動特性を有さない映像セグメントがマージされるとき、最初に、ズーム及び回転の基準閾値が下げられ、次いで、１６番目から２４番目のフレームのズームモーションのパラメータがズームに係る下げられた基準閾値を上回るかどうかが判断され、下げられた基準閾値を上回る場合には、それらはズームに係る下げられた基準を満たす。そして、同時に、１６番目から２４番目のフレームの回転モーションのパラメータが回転に係る下げられた検出基準を上回るかどうかも判断され、下げられた検出基準を上回る場合には、それらは回転に係る下げられた基準を満たす。
【００４９】
特に、マージの間、１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像フレームを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。同様に、１６番目から２４番目のフレームから成る映像セグメントが回転に係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントのモーションのタイプは回転である。
【００５０】
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準の両方を満たす場合、それら２つの基準が満足される範囲が決定され得る。例えば、９個全てのフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個中７個のフレームのみが回転に係る移動パラメータについて回転に係る下げられた検出基準を上回る場合、それは、ズームに係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。これに反して、９個中７個のフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個全てのフレームの回転に係る移動パラメータが回転に係る下げられた検出基準を上回る場合、それは、回転に係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
【００５１】
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準のいずれも満足しない場合、映像セグメントは２つの部分に分けられ、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。例えば、１６番目から１９番目のフレームは１番目から１５番目のフレームから成る映像セグメントとマージされる。すなわち、１番目から１９番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。また、２０番目から２４番目のフレームは２５番目から４０番目のフレームから成る映像セグメントとマージされる。すなわち、２０番目から４０番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
【００５２】
当然、様々な具体的なマージ方法が更に可能であるが、ここでは挙げられない。
【００５３】
要約すると、本発明の実施形態に従う上記の方法において、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
【００５４】
先行技術における側面の問題及び対応する解決法は、先に詳細に記載された。該問題に対処する一方で、本発明者は、先行技術における他の側面の問題も確認している。
【００５５】
先行技術におけるカメラモーション解析の方法においては、解析対象は、通常、専門の映像撮影者によって撮影されて処理されることで得られる標準の映像であるから、その解析原理は、可能な限り精細に映像を映像セグメントに分割し、それらの対応するモーションタイプを決定することである。しかし、以下の問題が先行技術においては考慮されていない。幾人からのアマチュア撮影者による撮影を通じて取得された映像は、撮影者の限られたレベル又は他の理由のために何らかの意図しないカメラモーションを免れないことがある。この場合において、そのような意図しないカメラモーションに対応する映像セグメントは、先行技術の検出方法においても別々に識別される。すなわち、そのような意図しないカメラモーションは先行技術においては識別され得ない。しかし、これは、明らかに、ユーザの撮影意図をよく適応させない。
【００５６】
上記の問題を鑑み、本発明の実施形態は、また、対応する解決法を提供する。特に、図２を参照して、本発明の実施形態は、映像におけるカメラモーション解析のための他の方法を提供する。
【００５７】
Ｓ２０１で、映像に含まれる映像セグメント及びそれらのカメラモーションタイプが、解析ユニットによって、映像から解析される。
【００５８】
映像に含まれる映像セグメント及びそれらの対応するカメラモーションタイプは、特に、先に記載された方法において解析され得る。その繰り返しの記載はここでは省略される。このステップにおいて記載される映像セグメントは、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントとマージすることにより得られた映像セグメントに相当する点に留意すべきである。すなわち、夫々の映像セグメントの対応するカメラモーションタイプは、予め決定されている。
【００５９】
Ｓ２０２で、映像の夫々の映像セグメントは、検出ユニットによって、予めセットされたマージルールを満足する映像セグメントを検索される。
【００６０】
特定のマージルールが経験的に予めセットされ得、次いで、夫々の映像セグメント及びそれらの対応するカメラモーションタイプが予め決定された後、マージルールを満足する映像セグメントがあるかどうかが判断され得る。
【００６１】
Ｓ２０３で、マージユニットによって、見つけられた映像セグメントがマージされ、マージにより得られた映像セグメントのモーションのタイプがマージルールに従って決定される。
【００６２】
マージされ得る映像の特定の特性と、マージにより得られた映像セグメントに対応するカメラモーションタイプとを含む情報が、マージルールにおいて設定され得る。従って、映像セグメントをマージし、マージにより得られた映像セグメントに対応するモーションのタイプをマージルールに従って決定することで十分である。
【００６３】
特に、マージルールは、映像セグメントの隣接関係、モーションのタイプ、存続期間等を考慮して設定され得、従って、映像の夫々の映像セグメントは、映像セグメントの隣接関係、モーションのタイプ、存続期間等に従って、予めセットされたマージルールを満足する映像セグメントを検索され得る。
【００６４】
具体的に、様々な起こり得るシナリオのうち幾つかの典型的なものについて以下で紹介する。
【００６５】
シナリオの１つにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、すなわち、ズームの２つのセグメントの間に存続期間が短い静止又は移動セグメントが存在する場合、それは、ユーザの主たる意図はズームであるべきだが、最初の動作が不十分な期間に行われたために、動作がポーズ後に続行すること、又はユーザが途中で焦点の位置に満足いかなかったために、動作が最初の動作に続く移動による調整の後に続行することを示す。従って、第１の映像セグメント第３の映像セグメントとの間の静止又は移動は意図しないカメラモーションに属すので、第１の映像セグメント、第２の映像セグメント及び前記第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプをマージルールはズームと決定され得る。すなわち、上記の条件を満たす３つのセグメントがズームのセグメントにマージされ得る。
【００６６】
他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、すなわち、ズームのセグメントと長い静止セグメントとの間に短い移動セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を静止して撮影することであり、移動動作は、単に、ユーザが焦点の位置に満足いかなかった場合にユーザ自身によって行われる調整であることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは静止と決定され得る。すなわち、上記の条件を満たす移動セグメント及び静止セグメントが静止セグメントにマージされ得る。
【００６７】
更なる他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索され得る。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に短い静止セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、静止場面のセグメントはユーザの不慣れな動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは移動と決定され得る。すなわち、上記の条件を満たす静止セグメント及び移動セグメントが移動セグメントにマージされ得る。
【００６８】
更なるシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。同様に、時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向における移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向における移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に他の方向に向かって移動する短いセグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、他の方向に向かう移動は、ユーザの誤った動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは第２の方向に向かう移動と決定され得る。すなわち、２つの異なる方向における移動セグメントは、より長い期間続く移動モーションに依存する方向における移動セグメントにマージされ得る。
【００６９】
当然、上記のマージルール以外の他のマージルールも実際には必要に応じて設定されてよく、例えば、上記の夫々のシナリオにおけるズームのセグメントの代わりに回転のセグメントをマージすることも適切である。要約すると、マージは、２つの映像セグメントの間に起こり得る移動の動作が存在する限り可能であり、異なるシナリオはここでは挙げられない。
【００７０】
本発明の実施形態において述べられる時間閾値は経験的に導出され、又は必要に応じて設定され得、ここでは制限されない点に留意すべきである。
【００７１】
要約すると、本発明の実施形態に従う、映像におけるカメラモーション解析のための上記の第２の方法によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００７２】
本発明の実施形態に従う、映像におけるカメラモーション解析のための第１の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための装置を提供する。図３を参照して、装置は、映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析ユニット３０１と、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接セグメントに対応する第１のモーションタイプが後続の隣接セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準を下げるよう構成される基準調整ユニット３０２と、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかを判断するよう構成される判断ユニット３０３と、判断結果に従って有意な移動特性を有さない映像セグメントを隣接映像セグメントマージするよう構成されるマージユニット３０４とを有する。
【００７３】
特に、マージのための様々なシナリオが存在する。以下に例示する。
【００７４】
第１のシナリオにおいて、図４を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントをそのモーションタイプに対応する隣接映像セグメントとマージするよう構成される第１マージサブユニット３０４１を有することができる。
【００７５】
他のシナリオにおいて、図５を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たす場合に、有意な移動特性を有さない映像セグメントを夫々の下げられた検出基準が満足される版に従って隣接映像セグメントの一方とマージするよう構成される第２マージサブユニット３０４２を有することができる。
【００７６】
更なるシナリオにおいて、図６を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさない場合に、有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割サブユニット３０４３と、第１の半分部分を先行する隣接映像セグメント、第２の半分部分を後続の隣接映像セグメントとマージするよう構成される第３マージサブユニット３０４４とを有することができる。
【００７７】
本発明の実施形態に従う上記の装置によれば、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
【００７８】
本発明の実施形態に従う、映像におけるカメラモーション解析のための第２の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための他の装置を提供する。図７を参照して、装置は、映像からそれに含まれる映像セグメント及びそれらのカメラモーションタイプを解析するよう構成される解析ユニット７０１と、映像の映像セグメントにおいて予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出ユニット７０２と、見つけられた映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをマージルールに従って決定するよう構成されるマージユニット７０３とを有する。
【００７９】
具体的な実施において、検出ユニット７０２は、特に、映像セグメントの隣接関係、モーションのタイプ及び存続期間に従って、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成され得る。
【００８０】
特に、図８を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第１の検出サブユニットを有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８１】
これに対して、マージユニット７０３は、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをズームと決定するよう構成される第１マージサブユニット７０３１を有することができる。
【００８２】
あるいは、図９を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第２検出サブユニットを代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８３】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを静止と決定するよう構成される第２マージサブユニット７０３２を有することができる。
【００８４】
更に、図１０を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２３を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８５】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを移動と決定するよう構成される第３マージサブユニット７０３３を有することができる。
【００８６】
更に、図１１を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２４を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向への移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向への移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８７】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを第２の方向に向かう移動と決定するよう構成される第４マージサブユニット７０３４を有することができる。
【００８８】
当然、実際の応用は、上記の幾つかの具体的なシナリオに限られず、マージルールは、実際には、必要に応じて柔軟に設定され得る。
【００８９】
本発明の実施形態に従う装置によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００９０】
更に、上記の一連の処理及び装置は、ソフトウェア及び／又はハードウェアにおいても具現され得る点に留意すべきである。ソフトウェア及び／又はハードウェアにおいて具現される場合において、ソフトウェアを構成するプログラムは、専用のハードウェア構造、例えば図１２に表される汎用のパーソナルコンピュータ１２００を用いて、記憶媒体又はネットワークからコンピュータにインストールされる。パーソナルコンピュータ１２００は、様々なプログラムが自身にインストールされる場合に、様々な機能を実行することができる。
【００９１】
図１２において、中央演算処理装置（ＣＰＵ）１２０１は、読出専用メモリ（ＲＯＭ）１２０２に記憶されている又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ１２０３には、更に、ＣＰＵ１２０１が様々な処理を実行する場合に必要とされるデータが、必要に応じて記憶されている。
【００９２】
ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、互いにバス１２０４を介して接続されている。バス１２０４には、更に、入出力インターフェース１２０５が接続されている。
【００９３】
入出力インターフェース１２０５には、キーボード、マウス等を含む入力部１２０６と、ディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等）、スピーカ等を含む出力部１２０７と、ハードディスク等を含む記憶部１２０８と、ネットワークインターフェースカード（例えば、ＬＡＮカード）、モデム等を含む通信部１２０９とが接続されている。通信部１２０９は、ネットワーク（例えば、インターネット）を介した通信処理を行う。
【００９４】
更に、ドライブユニット１２１０が、必要に応じて、入出力インターフェース１２０５へ接続される。リムーバブル媒体１２１１（例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等）が、必要に応じて、ドライブユニット１２１０に載置又は挿入され、それにより、媒体１２１１からフェッチされたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされ得る。
【００９５】
上記の一連の処理がソフトウェアで実行される場合に、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット等）又は記憶媒体（例えば、リムーバブル媒体１２１１等）からインストールされる。
【００９６】
当業者には明らかなように、そのような記憶媒体は、プログラムが記憶されており且つユーザにプログラムを提供するよう装置とは別個に分配される図１２に表されるリムーバブル媒体１２１１に制限されない。リムーバブル媒体１２１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む。）、光磁気ディスク（ミニディスク（登録商標）を含む。）、及び半導体メモリがある。代替的に、記憶媒体は、プログラムが記憶されており且つ装置に組み込まれてユーザに分配されるＲＯＭ１２０２、記憶部１２０８に含まれるハードディスク等であってよい。
【００９７】
更に、上記の一連の処理におけるステップは、当然ながら、記載される順に時系列で実行されてよいが、必ずしも時系列で実行される必要はない点に留意すべきである。一部のステップは、同時に、又は互いから独立して、実行されてよい。
【００９８】
本発明及びその利点について詳細に記載してきたが、当然、様々な変更、置換及び変形が、添付の特許請求の範囲において定義される本発明の技術的範囲から逸脱することなく為されてよい。更に、語「有する（comprise）」、「含む（include）」及びそれらの活用形は、一連の要素を含む工程、方法、物又は装置がそれらの要素とともに、明示的には挙げられていない１又はそれ以上の要素、あるいは、その工程、方法、物又は装置に固有の要素を含むように、非排他的包含を網羅するよう意図される。別なふうに述べられない限り、「〜を有する／含む（comprise/include a(n)…）」との表現で定義される要素は、その要素を含む処理、方法、物又は装置において更なる同じ要素の存在を排除しない。
【００９９】
以上の実施形態に関し、更に以下の付記を開示する。
【０１００】
（付記１）
映像におけるカメラモーション解析のための方法であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする
方法。
（付記２）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記３）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記４）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記５）
映像におけるカメラモーション解析のための方法であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
方法。
（付記６）
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
を含む、付記５に記載の方法。
（付記７）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
を含む、付記６に記載の方法。
（付記８）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
を含む、付記６に記載の方法。
（付記９）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
を含む、付記６に記載の方法。
（付記１０）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
を含む、付記６に記載の方法。
（付記１１）
映像におけるカメラモーション解析のための装置であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部と
を有する装置。
（付記１２）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージするよう構成される第１マージ部
を有する、付記１１に記載の装置。
（付記１３）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージする第２マージ部
を有する、付記１１に記載の装置。
（付記１４）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割部と、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージする第３マージ部と
を有する、付記１１に記載の装置。
（付記１５）
映像におけるカメラモーション解析のための装置であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部と
を有する装置。
（付記１６）
前記検出部は、前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される、
付記１５に記載の装置。
（付記１７）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第１発見部
を有し、
前記マージ部は、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定するよう構成される第１マージ部
を有する、付記１６に記載の装置。
（付記１８）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第２検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定するよう構成される第２マージ部
を有する、付記１６に記載の装置。
（付記１９）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第３マージ部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定するよう構成される第３マージ部
を有する、付記１６に記載の装置。
（付記２０）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第４検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定するよう構成される第４マージ部
を有する、付記１６に記載の装置。
【符号の説明】
【０１０１】
３０１ 解析ユニット
３０２ 基準調整ユニット
３０３ 判断ユニット
３０４ マージユニット
３０４１ 第1マージサブユニット
３０４２ 第２マージサブユニット
３０４３ 分割ユニット
３０４４ 第３マージサブユニット
７０１ 解析ユニット
７０２ 検出ユニット
７０２１ 第１検出サブユニット
７０２２ 第２検出サブユニット
７０２３ 第３検出サブユニット
７０２４ 第４検出サブユニット
７０３ マージユニット
７０３１ 第１マージサブユニット
７０３２ 第２マージサブユニット
７０３３ 第３マージサブユニット
７０３４ 第４マージサブユニット
【技術分野】
【０００１】
本発明は、概して映像データを処理する分野に係り、特に、映像におけるカメラモーション解析のための方法及び装置に係る。
【背景技術】
【０００２】
有効な映像の管理及び解析のためのシステムは、デジタル映像ファイルの激増とともに、日々多くの局面において人々に望まれている。このシステムを用いて、人々は、より便利にパーソナルコンピュータにおいて映像ファイルを整理することができ、都市交通は効果的に制御可能であり、更に、映像監視は容易に異常な出来事（不審者の侵入等）を検出することができる。
【０００３】
映像ファイルは、カメラ（場合により、特殊なカメラ、又は写真撮影可能な端末カメラ（例えば、携帯電話機、携帯型コンピュータ）等）を用いて撮影者による撮影により取得される。ズーム、パン等の幾つかの動作を、カメラは撮影中に必要に応じて行われることがあり、夫々の動作は、該当するカメラモーションのタイプに対応付けられる。一般的に、映像ファイルは、撮影者が撮影中に必要に応じて異なる調整（例えば、最初に移動、それから焦点合わせ、次に静止、等）を実行しうるので、様々なタイプのモーションを含みうる。
【０００４】
撮影者は、主として、関心のある対象の重要性の程度を鑑みて、カメラを調整する。例えば、撮影者が遠隔の人物の動作を撮影することに重点を置く場合、彼又は彼女は、場面内に表示される人物を拡大するよう、レンズが人物に向けられた後にカメラをズームインしてよい。これに対して、映像ファイルが焦点合わせモーション等のタイプを含む場合、そのモーションタイプに対応する映像の部分のコンテンツは、一般的に、特に撮影者が関心を持っており、従って、映像ファイルの重要なコンテンツ、ひいては、映像ファイルを表すことができる主要なコンテンツでありうる。この部分のコンテンツは、映像ファイルの要約として抽出され得る。
【０００５】
従って、カメラモーションの有効な検出は、映像管理及び解析システムにとって重要になっている。映像の取得の間のカメラのモーションタイプに基づき、映像は、より便利に閲覧され、映像の主要なコンテンツは、より容易に取得され、更に、映像ファイルの要約は、映像ファイルの更なる検索等に役立つよう便利に取得され得る。
【０００６】
既存の映像管理及び解析システムは、映像ファイルから映像撮影装置の様々なタイプのモーションを解析し、更に、高レベルの情報（例えば、撮影意図等）を取得することができる。しかし、先行技術における映像ファイルからの映像撮影装置のモーションタイプの解析に関し、解析対象は、専門の映像撮影者により撮影によって取得されて編集される標準の映像ファイルである。あいにく、映像撮影装置のモーションタイプが、先行技術の方法において、増加するアマチュア撮影者によって取得された映像ファイル、又は未編集の映像ファイルから解析される場合には、しばしば、十分に正確でない、すなわち、ユーザの実際の撮影意図を正確に反映することができない解析の結果が現れる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の問題を鑑み、本発明の実施形態は、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映するよう、映像におけるカメラモーション解析のための方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の実施形態の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする方法が提供される。
【０００９】
本発明の実施形態の他の側面に従って、映像におけるカメラモーション解析のための方法であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する方法が提供される。
【００１０】
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部とを有する装置が提供される。
【００１１】
本発明の実施形態の更なる側面に従って、映像におけるカメラモーション解析のための装置であって、前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部とを有する装置が提供される。
【００１２】
更に、本発明の他の側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械読出可能なプログラムコードを含む記憶媒体も提供される。
【００１３】
更に、本発明の更なる側面に従って、情報処理装置で実行される場合に、該情報処理装置に、本発明に従う、映像におけるカメラモーションタイプ解析のための上記の方法を実行させる機械実行可能な命令を含むプログラムプロダクトも提供される。
【００１４】
本発明の実施形態に従う上記の方法の１つに従って、有意な移動特性を有さない映像セグメントに関し、当該映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるタイプのモーションを有する場合には、マージの間、最初に、前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントに対応するモーションタイプの検出基準は下げられ、当該映像セグメントが下げられた前記検出基準を満たすかどうかが判断され、当該映像セグメントは、当該有意な移動特性を有さない映像セグメントを前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと夫々マージされる２つの部分にフレームの真ん中で直接に分ける代わりに、前記判断の結果に従って、前記先行する隣接映像セグメント及び／又は前記後続の隣接映像セグメントとマージされる。このように、マージにより得られる映像セグメントは、実際の状況、ひいては、ユーザの撮影意図により良く適応することができる。
【００１５】
本発明の実施形態に従う上記の他の方法に従って、映像セグメントは、解析により決定されたモーションタイプと映像セグメントとの間の対応関係を鑑みて、予めセットされたルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応することができるように、映像においてカメラモーションタイプを検出するときのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００１６】
本発明の実施形態に従う他の側面は、本発明の好ましい実施形態を十分に開示するが本発明を限定しない役割を果たす以下の詳細な説明において与えられる。
【発明の効果】
【００１７】
本発明の実施形態によれば、映像においてより有効且つ正確にカメラのモーションタイプを検出して、ユーザの撮影意図をより正確に反映することができる、映像におけるカメラモーション解析のための方法及び装置を提供することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に従う方法を表すフローチャートである。
【図２】本発明の実施形態に従う他の方法を表すフローチャートである。
【図３】本発明の実施形態に従う第１の装置を表す概略図である。
【図４】本発明の実施形態に従う第２の装置を表す概略図である。
【図５】本発明の実施形態に従う第３の装置を表す概略図である。
【図６】本発明の実施形態に従う第４の装置を表す概略図である。
【図７】本発明の実施形態に従う第５の装置を表す概略図である。
【図８】本発明の実施形態に従う第６の装置を表す概略図である。
【図９】本発明の実施形態に従う第７の装置を表す概略図である。
【図１０】本発明の実施形態に従う第８の装置を表す概略図である。
【図１１】本発明の実施形態に従う第９の装置を表す概略図である。
【図１２】本発明の実施形態において使用される情報処理装置としてのパーソナルコンピュータの例となる構成を表すブロック図である。
【発明を実施するための形態】
【００１９】
本発明の実施形態の上記の及び他の目的及び利点は、図面を参照して、具体的な実施形態に関連して以下で更に記載される。図面において、同一の又は対応する技術的特徴又は構成要素は、同一の又は対応する参照符号を付して表されている。
【００２０】
本発明の実施形態について、図面を参照して、以下に記載する。
【００２１】
発明者は、本発明の実施の間、先行技術の方法における映像におけるカメラのモーションの解析が少なくとも以下の問題を抱えていることを認識していた。
【００２２】
一方では、先行技術における映像に含まれるカメラのモーションタイプの検出のために、最初に、推定される運動ベクトルからカメラ移動パラメータを計算し、次いで、夫々の移動パラメータが様々なタイプのモーションに対応する検出基準を満たすかどうかを、計算された移動パラメータから判断して、映像において有意な移動特性を有する映像セグメントを決定し、次いで、残りの映像セグメントを、該映像セグメントが前記様々なタイプのモーションの判断基準を満たさない場合に、有意な移動特性を有さない映像セグメントと見なし、最後に、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントマージすることが一般的である。マージ処理は、先行技術においては、一般的に次のように行われる。
【００２３】
有意な移動特性を有さない映像セグメントに関し、該有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが同じである場合、この有意な移動特性を有さない映像セグメントをその先行する隣接映像セグメント及び後続の隣接映像セグメントと直接的にマージすれば十分である。例えば、前記有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接セグメントのモーションタイプがいずれも焦点合わせである場合には、明らかに、当該有意な移動特性を有さない映像セグメントを夫々有意な移動特性を有する前記先行する隣接映像セグメント及び前記後続の隣接映像セグメントと直接的にマージし、マージにより得られた映像セグメントに対応するカメラモーションタイプを焦点合わせと決定すれば十分である。
【００２４】
そして、前記有意な移動特性を有さない映像セグメントの先行する有意な移動特性を有する隣接セグメント及び後続の有意な移動特性を有する隣接セグメントに対応するモーションのタイプが異なる場合、前記有意な移動特性を有さない映像セグメントは、フレームの真ん中で２つの部分に分けられ、第１の半分部分は前記先行する隣接映像セグメントとマージされ、第２の半分部分は前記後続の隣接映像セグメントとマージされる。例えば、映像は５０のフレームから成り、その解析から明らかなように、１番目から２０番目のフレームから成る映像セグメントのカメラモーションタイプは焦点合わせであり、３０番目から５０番目のフレームから成る映像セグメントのカメラモーションタイプは移動であり、２１番目から２９番目のフレームから成る映像セグメントは有意な移動特性を有さず、すなわち、該映像セグメントは様々なタイプのモーションのいずれの条件も満足しない。先行技術においては、この時点で、２１番目から２５番目のフレームは先行する隣接映像セグメントとマージされ、すなわち、１番目から２５番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは焦点合わせと決定される。そして、２６番目から２９番目のフレームは後続の隣接映像セグメントとマージされ、すなわち、２６番目から５０番目のフレームが映像セグメントを構成し、該映像セグメントに対応するカメラモーションタイプは移動と決定される。
【００２５】
しかし、これは必ずしも実際の状況ではない。例えば、アマチュアの映像撮影者が、映像を取得するために、最初に対象に焦点合わせ、対象の動きを追跡しようとする（すなわち、最初に焦点合わせ動作、次いで移動動作を行う）ような実際の状況が、上記の例において存在する。しかし、撮影者はズーム動作に全く慣れておらず、正確に且つ速やかに望むようにズームすることができず、代わりに、場合により、最初に高速な焦点合わせを行い、次いで、彼又は彼女がほぼ適切であると感じするとズーム速度を緩め、次いで、対象の動きを追跡するために移動を行うことによって、それを行うことがある。それにより、焦点合わせの移動特性は、取得された映像における対応する映像セグメント（場合により、上記の例における２１番目から２９番目のフレーム）において全く取るに足りないものとなり、他のモーション（例えば、移動、回転等）がこの時間期間において起こらず、結果として、映像セグメントは、既存の方法においては、有意な移動特性を有さない映像セグメントと決定されるべきである。しかし、実際には、この映像セグメントは、優先的に、先行する映像セグメントとマージされるべきであり、すなわち、１番目から２９番目のフレームから成る映像セグメントに対応するカメラ映像タイプを焦点合わせと識別することは、実際の状況及びユーザの撮影意図により良く適応する。しかし、これは、先行技術における方法の到達外であることは明らかである。
【００２６】
従って、本発明の実施形態は、第１に、この問題に対する対応する解決法を提供する。具体的に、図１を参照して、本発明の実施形態に従う、映像におけるカメラモーション解析のための方法は、以下のステップを含む。
【００２７】
Ｓ１０１で、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとが、解析ユニットによって、映像から解析される。
【００２８】
映像に関し、複数回の検出が、一般的に、カメラのモーションタイプを解析するために行われ、それにより、１つのモーションタイプが各回において検出される。具体的に、以下のステップが通常行われる。最初に、第１のモーションタイプに関し、映像の夫々のフレームの中でそのモーションタイプの基準を満足するフレームが存在するかどうかが判断され、存在する場合には、かかるフレームに対応する映像セグメントがこのモーションタイプと決定される。次いで、残りのフレーム、すなわち、第１のモーションタイプでないフレームが第２のモーションタイプの判断基準を満足するかどうかが判断され、以降同様に続く。最後に、検出が夫々の起こり得るモーションタイプ全てについて行われた後、次のような結果が現れる。幾つかの映像セグメントは、対応するモーションタイプによりタグを付されており、集合的に、有意な移動特性を有するセグメントと呼ばれる。また、様々なモーションタイプの判断基準のいずれも満足せず、結果として、有意な移動特性を有さないセグメントと見なされるフレームから成る幾つかのセグメントも存在する。その場合に、有意な移動特性を有さないセグメントは、有意な移動特性を有するセグメントとマージされる。
【００２９】
例えば、映像は５０のフレームから成り、３つのタイプのモーション、すなわち、ズーム、回転及び移動があるとする。かかる３つのタイプのモーションの検出は、その順序で行われる。最初に、ズームのモーションタイプが５０のフレームの夫々において検出され、ズームの特性が１番目から１５番目のフレームにおいて検出されたとする。その場合に、１番目から１５番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプはズームである。
【００３０】
次に、回転のモーションタイプが１６番目から５０番目のフレームにおいて検出され、回転の特性が２５番目から４０番目のフレームにおいて検出されたとする。その場合に、２５番目から４０番目のフレームは映像セグメントを構成し、その映像セグメントに対応するカメラモーションタイプは回転である。
【００３１】
最後に、移動のモーションタイプが１６番目から２４番目のフレームと、４１番目から５０番目のフレームとにおいて検出され、移動の特性が４１番目から５０番目のフレームにおいて検出されたとする。その場合に、４１番目から５０番目のフレームは映像セグメントを構成することができ、その映像フレームに対応するカメラモーションタイプは移動である。
【００３２】
明らかに、１６番目から２４番目のフレームは、上記３つのタイプのモーションのいずれも満足せず、従って、有意な移動特性を有さない映像セグメントと見なされる。
【００３３】
特に、様々なモーションタイプの映像セグメントが以下のように検出され得る。
【００３４】
最初に、映像の各フレームは多数の画像ブロックに分割され、各画像ブロックの運動ベクトルは局所探索を通じて決定され得る。次いで、運動ベクトルのフィールドの大域的な動きは、６個のパラメータを含む以下のアフィンモデルにおいて記述され得る：
【数１】
【００３５】
（ｘ，ｙ）は画像ブロックの位置を表し、それは知られており、且つ、（ｕ，ｖ）は画像ブロックの運動ベクトルを表す。上記のモデルにおける６個のパラメータは、同じフレームにおける複数の画像ブロックの位置、及び最小二乗法におけるそれらの対応する運動ベクトル情報等から決定され得る。次いで、カメラの移動パラメータが、カメラの運動ベクトルと上記のモデルにおける６個のパラメータとの間の対応関係に従って、計算され得る。
【００３６】
特に、カメラの運動ベクトルと上記のモデルにおけるパラメータとの間の対応関係は、以下の通りである：
【数２】
【００３７】
上記の式（２）において、ｐａｎは、カメラの水平方向の動きに対応する移動パラメータを表し、ｔｉｌｔは、カメラの垂直方向の動きに対応する移動パラメータを表し、ｄｉｖは、カメラのズームに対応する移動パラメータを表し、ｒｏｔは、カメラの回転に対応する移動パラメータを表し、ｓｔａｔｉｃは、静止カメラに対応する移動パラメータを表す。
【００３８】
カメラの特定のフレームが特定のモーションタイプの特性を含むと判断されるとき、そのフレームのモーションのタイプの計算される移動パラメータ（当然、画像のフレームの移動パラメータは、そのフレームと隣接フレームとの間の移動パラメータとして表され得る。例えば、１番目のフレームと２番目のフレームとの間の移動パラメータは１番目のフレームの移動パラメータを表し、２番目のフレームと３番目のフレームとの間の移動パラメータは２番目のフレームの移動パラメータを表し、以降同様である。あるいは、その反対であってもよい。これは、本発明の実施形態の発明ポイントとは無関係であり、従って、繰り返しを避けるために記載されない。）は、モーションのタイプについて予めセットされた基準閾値と比較され得、検出条件が満足される場合は、フレームはそのモーションタイプである。さもなければ、フレームはそのモーションタイプではない。
【００３９】
Ｓ１０２で、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準は基準調整ユニットによって下げられる。
【００４０】
明らかに、有意な移動特性を有さない映像セグメントの先行する隣接映像セグメント及び後続の隣接映像セグメントは両方とも、有意な移動特性を含む。そして、先行する隣接映像セグメント及び後続の隣接映像セグメントが同じモーションタイプを有する場合において、先行技術において見られるように、当該有意な移動特性を有さない映像セグメントを直接的にそれら２つの隣接映像セグメントとマージすれば十分でありうる。
【００４１】
先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合において、先行する隣接映像セグメントは第１のモーションタイプを有し、後続の隣接映像セグメントは第２のモーションタイプを有するとすれば、本発明の実施形態は、最初に第１のモーションタイプ及び第２のモーションタイプの検出基準が下げられるような新規のマージ方法を提供する。例えば、第１のモーションタイプの原の基準閾値はＡであり、その検出基準は、モーションのタイプの移動パラメータがＡを上回る場合にのみ第１のモーションタイプが決定され得るというものである。同様に、第２のモーションタイプの原の基準閾値はＢであり、その検出基準は、モーションのタイプの移動パラメータがＢを上回る場合にのみ第２のモーションタイプが決定され得るというものである。その場合に、それらの検出基準の低下は、第１のモーションタイプに対応する閾値をａに下げ且つ第２のモーションタイプに対応する閾値をｂに下げることと同等であり、このようにして、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの移動パラメータがａを上回る場合にのみ第１のモーションタイプの下げられた検出基準を満たし、且つ、第２のモーションタイプの移動パラメータがｂを上回る場合にのみ第２のモーションタイプの下げられた検出基準を満たすと決定され得る。
【００４２】
Ｓ１０３で、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが、判断ユニットによって判断される。
【００４３】
具体的に、同等に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第１のモーションタイプの移動パラメータがａを上回るかどうかが判断され、その全て又は大部分がａを上回る場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第１のモーションタイプの下げられた検出基準を満たさないと決定され得る。同様に、有意な移動特性を有さない映像セグメントにおける夫々のフレームの第２のモーションタイプの移動パラメータがｂを上回るかどうかが判断され、その全て又は大部分がｂを上回る場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準満たすと決定され得る。そうでない場合には、有意な移動特性を有さない映像セグメントは、第２のモーションタイプの下げられた検出基準を満たさないと決定され得る。
【００４４】
Ｓ１０４で、有意な移動特性を有さない映像セグメントは、マージユニットによって、判断の結果に従って隣接映像セグメントとマージされる。
【００４５】
ステップＳ１０３における判断の結果は、映像セグメントをマージするための基準として使用され得る。具体的に、様々なシナリオが存在してよく、そのうちの１つにおいて、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たすとすると、有意な移動特性を有さない映像セグメントは、そのモーションタイプに対応する隣接映像セグメントとマージされ得る。例えば、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、先行する隣接映像セグメントとマージされ得る。有意な移動特性を有さない映像セグメントが第２のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントは、後続の隣接映像セグメントとマージされ得る。
【００４６】
代替的に、他の場合において、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たすとすると、有意な移動特性を有さない映像セグメントは、前記下げられた検出基準を満たす範囲に従って隣接映像セグメントとマージされ得る。すなわち、有意な移動特性を有さない映像セグメントが第１のモーションタイプの下げられた検出基準及び第２のモーションタイプの下げられた検出基準の両方を満たす場合には、それらは異なった範囲で満足されてよい。例えば、第１のモーションタイプであるフレームのうち９５％の移動パラメータは、第１のモーションタイプの下げられた検出基準を上回り、第２のモーションタイプであるフレームのうち８０％の移動パラメータは、第２のモーションタイプの下げられた検出基準を上回り、そして、その場合に、第１及び第２のモーションタイプの両方の検出基準は満足されるが、第１のモーションタイプは第２のモーションタイプよりも広い範囲で満足され、従って、有意な移動特性を有さない映像セグメントは先行する隣接映像セグメントとマージされ得る。当然、第１及び第２のモーションタイプの下げられた検出基準が同じ又は同等の範囲で満足される場合には、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。
【００４７】
更に、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさないようなシナリオが存在することがあり、このときもやはり、先行技術と同じ方法が採用されてよく、すなわち、有意な移動特性を有さない映像セグメントは２つの部分に分けられて、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。具体的に、映像セグメントは、フレームの真ん中で又は他のフレームで分けられ得る。例えば、それは３分の１の時点で分けられてよく、それにより、第１の３分の１の部分は第１の半分部分と見なされ、残りの３分の２の部分は第２の半分部分と見なされ、以降同様である。
【００４８】
特に、上記の例では、１６番目から２４番目のフレームから成る映像セグメントが有意な移動特性を有さない映像セグメントとして検出され、その場合に、それの先行する隣接映像セグメントは１番目から１５番目のフレームから成る映像セグメントであり、対応する第１のモーションタイプはズームであり、且つ、それの後続の隣接映像セグメントは２５番目から４０番目のフレームから成る映像セグメントであり、対応する第２のモーションタイプは回転である。従って、有意な移動特性を有さない映像セグメントがマージされるとき、最初に、ズーム及び回転の基準閾値が下げられ、次いで、１６番目から２４番目のフレームのズームモーションのパラメータがズームに係る下げられた基準閾値を上回るかどうかが判断され、下げられた基準閾値を上回る場合には、それらはズームに係る下げられた基準を満たす。そして、同時に、１６番目から２４番目のフレームの回転モーションのパラメータが回転に係る下げられた検出基準を上回るかどうかも判断され、下げられた検出基準を上回る場合には、それらは回転に係る下げられた基準を満たす。
【００４９】
特に、マージの間、１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像フレームを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。同様に、１６番目から２４番目のフレームから成る映像セグメントが回転に係る下げられた検出基準のみを満たす場合、１６番目から２４番目のフレームから成る映像セグメントは２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントのモーションのタイプは回転である。
【００５０】
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準の両方を満たす場合、それら２つの基準が満足される範囲が決定され得る。例えば、９個全てのフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個中７個のフレームのみが回転に係る移動パラメータについて回転に係る下げられた検出基準を上回る場合、それは、ズームに係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、１番目から１５番目のフレームから成る映像セグメントとマージされ得る。すなわち、１番目から２４番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。これに反して、９個中７個のフレームのズームに係る移動パラメータがズームに係る下げられた検出基準を上回り、９個全てのフレームの回転に係る移動パラメータが回転に係る下げられた検出基準を上回る場合、それは、回転に係る下げられた検出基準がより広い範囲で満足されることを示し、従って、１６番目から２４番目のフレームから成る映像セグメントは、２５番目から４０番目のフレームから成る映像セグメントとマージされ得る。すなわち、１６番目から４０番目のフレームが映像セグメントを構成する。そして、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
【００５１】
１６番目から２４番目のフレームから成る映像セグメントがズームに係る下げられた検出基準及び回転に係る下げられた検出基準のいずれも満足しない場合、映像セグメントは２つの部分に分けられ、それにより、第１の半分部分は先行する隣接映像セグメントとマージされ、第２の半分部分は後続の隣接映像セグメントとマージされる。例えば、１６番目から１９番目のフレームは１番目から１５番目のフレームから成る映像セグメントとマージされる。すなわち、１番目から１９番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプはズームである。また、２０番目から２４番目のフレームは２５番目から４０番目のフレームから成る映像セグメントとマージされる。すなわち、２０番目から４０番目のフレームが映像セグメントを構成し、マージにより得られた映像セグメントに対応するモーションのタイプは回転である。
【００５２】
当然、様々な具体的なマージ方法が更に可能であるが、ここでは挙げられない。
【００５３】
要約すると、本発明の実施形態に従う上記の方法において、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
【００５４】
先行技術における側面の問題及び対応する解決法は、先に詳細に記載された。該問題に対処する一方で、本発明者は、先行技術における他の側面の問題も確認している。
【００５５】
先行技術におけるカメラモーション解析の方法においては、解析対象は、通常、専門の映像撮影者によって撮影されて処理されることで得られる標準の映像であるから、その解析原理は、可能な限り精細に映像を映像セグメントに分割し、それらの対応するモーションタイプを決定することである。しかし、以下の問題が先行技術においては考慮されていない。幾人からのアマチュア撮影者による撮影を通じて取得された映像は、撮影者の限られたレベル又は他の理由のために何らかの意図しないカメラモーションを免れないことがある。この場合において、そのような意図しないカメラモーションに対応する映像セグメントは、先行技術の検出方法においても別々に識別される。すなわち、そのような意図しないカメラモーションは先行技術においては識別され得ない。しかし、これは、明らかに、ユーザの撮影意図をよく適応させない。
【００５６】
上記の問題を鑑み、本発明の実施形態は、また、対応する解決法を提供する。特に、図２を参照して、本発明の実施形態は、映像におけるカメラモーション解析のための他の方法を提供する。
【００５７】
Ｓ２０１で、映像に含まれる映像セグメント及びそれらのカメラモーションタイプが、解析ユニットによって、映像から解析される。
【００５８】
映像に含まれる映像セグメント及びそれらの対応するカメラモーションタイプは、特に、先に記載された方法において解析され得る。その繰り返しの記載はここでは省略される。このステップにおいて記載される映像セグメントは、有意な移動特性を有さない映像セグメントを有意な移動特性を有する映像セグメントとマージすることにより得られた映像セグメントに相当する点に留意すべきである。すなわち、夫々の映像セグメントの対応するカメラモーションタイプは、予め決定されている。
【００５９】
Ｓ２０２で、映像の夫々の映像セグメントは、検出ユニットによって、予めセットされたマージルールを満足する映像セグメントを検索される。
【００６０】
特定のマージルールが経験的に予めセットされ得、次いで、夫々の映像セグメント及びそれらの対応するカメラモーションタイプが予め決定された後、マージルールを満足する映像セグメントがあるかどうかが判断され得る。
【００６１】
Ｓ２０３で、マージユニットによって、見つけられた映像セグメントがマージされ、マージにより得られた映像セグメントのモーションのタイプがマージルールに従って決定される。
【００６２】
マージされ得る映像の特定の特性と、マージにより得られた映像セグメントに対応するカメラモーションタイプとを含む情報が、マージルールにおいて設定され得る。従って、映像セグメントをマージし、マージにより得られた映像セグメントに対応するモーションのタイプをマージルールに従って決定することで十分である。
【００６３】
特に、マージルールは、映像セグメントの隣接関係、モーションのタイプ、存続期間等を考慮して設定され得、従って、映像の夫々の映像セグメントは、映像セグメントの隣接関係、モーションのタイプ、存続期間等に従って、予めセットされたマージルールを満足する映像セグメントを検索され得る。
【００６４】
具体的に、様々な起こり得るシナリオのうち幾つかの典型的なものについて以下で紹介する。
【００６５】
シナリオの１つにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、すなわち、ズームの２つのセグメントの間に存続期間が短い静止又は移動セグメントが存在する場合、それは、ユーザの主たる意図はズームであるべきだが、最初の動作が不十分な期間に行われたために、動作がポーズ後に続行すること、又はユーザが途中で焦点の位置に満足いかなかったために、動作が最初の動作に続く移動による調整の後に続行することを示す。従って、第１の映像セグメント第３の映像セグメントとの間の静止又は移動は意図しないカメラモーションに属すので、第１の映像セグメント、第２の映像セグメント及び前記第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプをマージルールはズームと決定され得る。すなわち、上記の条件を満たす３つのセグメントがズームのセグメントにマージされ得る。
【００６６】
他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、すなわち、ズームのセグメントと長い静止セグメントとの間に短い移動セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を静止して撮影することであり、移動動作は、単に、ユーザが焦点の位置に満足いかなかった場合にユーザ自身によって行われる調整であることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは静止と決定され得る。すなわち、上記の条件を満たす移動セグメント及び静止セグメントが静止セグメントにマージされ得る。
【００６７】
更なる他のシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索され得る。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に短い静止セグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、静止場面のセグメントはユーザの不慣れな動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは移動と決定され得る。すなわち、上記の条件を満たす静止セグメント及び移動セグメントが移動セグメントにマージされ得る。
【００６８】
更なるシナリオにおいて、マージされる映像セグメントは、以下の条件下で検索される。同様に、時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向における移動であり、且つ、第３の映像セグメントのモーションタイプが、第１の予めセットされた閾値と同じ又は異なる第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向における移動である場合、すなわち、ズームのセグメントと長い移動セグメントとの間に他の方向に向かって移動する短いセグメントが存在する場合、それは、ユーザの主たる意図はズームインして、関心がある特定の場面を移動しながら撮影することであり、他の方向に向かう移動は、ユーザの誤った動作又は他の理由により生じることを示す。従って、第２の映像セグメント及び第３の映像セグメントはマージされ得、マージにより得られた映像セグメントのモーションのタイプは第２の方向に向かう移動と決定され得る。すなわち、２つの異なる方向における移動セグメントは、より長い期間続く移動モーションに依存する方向における移動セグメントにマージされ得る。
【００６９】
当然、上記のマージルール以外の他のマージルールも実際には必要に応じて設定されてよく、例えば、上記の夫々のシナリオにおけるズームのセグメントの代わりに回転のセグメントをマージすることも適切である。要約すると、マージは、２つの映像セグメントの間に起こり得る移動の動作が存在する限り可能であり、異なるシナリオはここでは挙げられない。
【００７０】
本発明の実施形態において述べられる時間閾値は経験的に導出され、又は必要に応じて設定され得、ここでは制限されない点に留意すべきである。
【００７１】
要約すると、本発明の実施形態に従う、映像におけるカメラモーション解析のための上記の第２の方法によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００７２】
本発明の実施形態に従う、映像におけるカメラモーション解析のための第１の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための装置を提供する。図３を参照して、装置は、映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析ユニット３０１と、有意な移動特性を有さない映像セグメントの夫々について、先行する隣接セグメントに対応する第１のモーションタイプが後続の隣接セグメントに対応する第２のモーションタイプとは異なる場合に、第１のモーションタイプ及び第２のモーションタイプの検出基準を下げるよう構成される基準調整ユニット３０２と、有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかを判断するよう構成される判断ユニット３０３と、判断結果に従って有意な移動特性を有さない映像セグメントを隣接映像セグメントマージするよう構成されるマージユニット３０４とを有する。
【００７３】
特に、マージのための様々なシナリオが存在する。以下に例示する。
【００７４】
第１のシナリオにおいて、図４を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが一方のモーションタイプの下げられた検出基準のみを満たす場合に、有意な移動特性を有さない映像セグメントをそのモーションタイプに対応する隣接映像セグメントとマージするよう構成される第１マージサブユニット３０４１を有することができる。
【００７５】
他のシナリオにおいて、図５を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２の両方のモーションタイプの下げられた検出基準を満たす場合に、有意な移動特性を有さない映像セグメントを夫々の下げられた検出基準が満足される版に従って隣接映像セグメントの一方とマージするよう構成される第２マージサブユニット３０４２を有することができる。
【００７６】
更なるシナリオにおいて、図６を参照すると、マージユニット３０４は、有意な移動特性を有さない映像セグメントが第１及び第２のモーションタイプの下げられた検出基準のいずれも満たさない場合に、有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割サブユニット３０４３と、第１の半分部分を先行する隣接映像セグメント、第２の半分部分を後続の隣接映像セグメントとマージするよう構成される第３マージサブユニット３０４４とを有することができる。
【００７７】
本発明の実施形態に従う上記の装置によれば、有意な移動特性を有さない映像セグメントに関し、それの先行する隣接映像セグメント及び後続の隣接映像セグメントが異なるモーションタイプを有する場合、マージの間、最初に、それら２つの隣接映像セグメントに対応するモーションタイプの検出基準が下げられ、次いで、当該有意な移動特性を有さない映像セグメントが下げられた検出基準を満たすかどうかが判断され、当該有意な移動特性を有さない映像セグメントは、該有意な移動特性を有さない映像セグメントを隣接映像セグメントの夫々とマージされる２つの部分にフレームの真ん中で直接的に分ける代わりに、前記判断の結果に従ってマージされる。このようにして、マージにより得られた映像セグメントは、実際の状況、ひいてはユーザの撮影意図により良く適応することができる。
【００７８】
本発明の実施形態に従う、映像におけるカメラモーション解析のための第２の方法に対応して、本発明の実施形態は、更に、映像におけるカメラモーション解析のための他の装置を提供する。図７を参照して、装置は、映像からそれに含まれる映像セグメント及びそれらのカメラモーションタイプを解析するよう構成される解析ユニット７０１と、映像の映像セグメントにおいて予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出ユニット７０２と、見つけられた映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをマージルールに従って決定するよう構成されるマージユニット７０３とを有する。
【００７９】
具体的な実施において、検出ユニット７０２は、特に、映像セグメントの隣接関係、モーションのタイプ及び存続期間に従って、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成され得る。
【００８０】
特に、図８を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第１の検出サブユニットを有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメント及び第３の映像セグメントの両方のモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、予めセットされた閾値よりも短い存続期間の間続く静止又は移動である場合、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８１】
これに対して、マージユニット７０３は、第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプをズームと決定するよう構成される第１マージサブユニット７０３１を有することができる。
【００８２】
あるいは、図９を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第２検出サブユニットを代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントのモーションタイプがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く静止である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８３】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを静止と決定するよう構成される第２マージサブユニット７０３２を有することができる。
【００８４】
更に、図１０を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２３を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く静止であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めセットされた閾値よりも長い存続期間の間続く移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８５】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを移動と決定するよう構成される第３マージサブユニット７０３３を有することができる。
【００８６】
更に、図１１を参照すると、検出ユニット７０２は、以下の条件下でマージされる映像セグメントを見つけるよう構成される第３検出サブユニット７０２４を代替的に有することができる。時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、第１の映像セグメントがズームであり、且つ、第２の映像セグメントのモーションタイプが、第１の予めセットされた閾値よりも短い存続期間の間続く第１の方向への移動であり、且つ、第３の映像セグメントのモーションタイプが、第２の予めされた閾値よりも長い存続期間の間続く第１の方向とは異なる第２の方向への移動である場合、第２の映像セグメント及び第３の映像セグメントは、予めセットされたマージルールを満たす。
【００８７】
これに対応して、マージユニット７０３は、第２の映像セグメント及び第３の映像セグメントをマージし、マージにより得られた映像セグメントのモーションのタイプを第２の方向に向かう移動と決定するよう構成される第４マージサブユニット７０３４を有することができる。
【００８８】
当然、実際の応用は、上記の幾つかの具体的なシナリオに限られず、マージルールは、実際には、必要に応じて柔軟に設定され得る。
【００８９】
本発明の実施形態に従う装置によれば、映像セグメントは、映像セグメント間の対応関係と、予備的な解析から決定されるモーションのタイプとを考慮して、予めセットされたマージルールに従ってマージされ得る。これは、撮影の間に何人かのアマチュア撮影者によって導入された意図的でないモーションを考慮する場合と同等であり、すなわち、最終的な検出結果が実際の状況、ひいては、ユーザの撮影意図により良く適応して、カメラのモーションを解析する有効性を改善することができるように、映像においてカメラモーションタイプを検出するためのユーザの実際の撮影意図と分割の細かさとの間のトレードオフと同等である。
【００９０】
更に、上記の一連の処理及び装置は、ソフトウェア及び／又はハードウェアにおいても具現され得る点に留意すべきである。ソフトウェア及び／又はハードウェアにおいて具現される場合において、ソフトウェアを構成するプログラムは、専用のハードウェア構造、例えば図１２に表される汎用のパーソナルコンピュータ１２００を用いて、記憶媒体又はネットワークからコンピュータにインストールされる。パーソナルコンピュータ１２００は、様々なプログラムが自身にインストールされる場合に、様々な機能を実行することができる。
【００９１】
図１２において、中央演算処理装置（ＣＰＵ）１２０１は、読出専用メモリ（ＲＯＭ）１２０２に記憶されている又は記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされるプログラムに従って、様々な処理を実行する。ＲＡＭ１２０３には、更に、ＣＰＵ１２０１が様々な処理を実行する場合に必要とされるデータが、必要に応じて記憶されている。
【００９２】
ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３は、互いにバス１２０４を介して接続されている。バス１２０４には、更に、入出力インターフェース１２０５が接続されている。
【００９３】
入出力インターフェース１２０５には、キーボード、マウス等を含む入力部１２０６と、ディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等）、スピーカ等を含む出力部１２０７と、ハードディスク等を含む記憶部１２０８と、ネットワークインターフェースカード（例えば、ＬＡＮカード）、モデム等を含む通信部１２０９とが接続されている。通信部１２０９は、ネットワーク（例えば、インターネット）を介した通信処理を行う。
【００９４】
更に、ドライブユニット１２１０が、必要に応じて、入出力インターフェース１２０５へ接続される。リムーバブル媒体１２１１（例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等）が、必要に応じて、ドライブユニット１２１０に載置又は挿入され、それにより、媒体１２１１からフェッチされたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされ得る。
【００９５】
上記の一連の処理がソフトウェアで実行される場合に、ソフトウェアを構成するプログラムは、ネットワーク（例えば、インターネット等）又は記憶媒体（例えば、リムーバブル媒体１２１１等）からインストールされる。
【００９６】
当業者には明らかなように、そのような記憶媒体は、プログラムが記憶されており且つユーザにプログラムを提供するよう装置とは別個に分配される図１２に表されるリムーバブル媒体１２１１に制限されない。リムーバブル媒体１２１１の例には、磁気ディスク（フロッピー（登録商標）ディスクを含む。）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む。）、光磁気ディスク（ミニディスク（登録商標）を含む。）、及び半導体メモリがある。代替的に、記憶媒体は、プログラムが記憶されており且つ装置に組み込まれてユーザに分配されるＲＯＭ１２０２、記憶部１２０８に含まれるハードディスク等であってよい。
【００９７】
更に、上記の一連の処理におけるステップは、当然ながら、記載される順に時系列で実行されてよいが、必ずしも時系列で実行される必要はない点に留意すべきである。一部のステップは、同時に、又は互いから独立して、実行されてよい。
【００９８】
本発明及びその利点について詳細に記載してきたが、当然、様々な変更、置換及び変形が、添付の特許請求の範囲において定義される本発明の技術的範囲から逸脱することなく為されてよい。更に、語「有する（comprise）」、「含む（include）」及びそれらの活用形は、一連の要素を含む工程、方法、物又は装置がそれらの要素とともに、明示的には挙げられていない１又はそれ以上の要素、あるいは、その工程、方法、物又は装置に固有の要素を含むように、非排他的包含を網羅するよう意図される。別なふうに述べられない限り、「〜を有する／含む（comprise/include a(n)…）」との表現で定義される要素は、その要素を含む処理、方法、物又は装置において更なる同じ要素の存在を排除しない。
【００９９】
以上の実施形態に関し、更に以下の付記を開示する。
【０１００】
（付記１）
映像におけるカメラモーション解析のための方法であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする
方法。
（付記２）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記３）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記４）
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
を含む、付記１に記載の方法。
（付記５）
映像におけるカメラモーション解析のための方法であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
方法。
（付記６）
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
を含む、付記５に記載の方法。
（付記７）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
を含む、付記６に記載の方法。
（付記８）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
を含む、付記６に記載の方法。
（付記９）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
を含む、付記６に記載の方法。
（付記１０）
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
を含む、付記６に記載の方法。
（付記１１）
映像におけるカメラモーション解析のための装置であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析するよう構成される解析部と、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げるよう構成される基準調整部と、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断するよう構成される判断部と、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージするマージ部と
を有する装置。
（付記１２）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージするよう構成される第１マージ部
を有する、付記１１に記載の装置。
（付記１３）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージする第２マージ部
を有する、付記１１に記載の装置。
（付記１４）
前記マージ部は、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分けるよう構成される分割部と、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージする第３マージ部と
を有する、付記１１に記載の装置。
（付記１５）
映像におけるカメラモーション解析のための装置であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析するよう構成される解析部と、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される検出部と、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定するよう構成されるマージ部と
を有する装置。
（付記１６）
前記検出部は、前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけるよう構成される、
付記１５に記載の装置。
（付記１７）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第１発見部
を有し、
前記マージ部は、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定するよう構成される第１マージ部
を有する、付記１６に記載の装置。
（付記１８）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第２検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定するよう構成される第２マージ部
を有する、付記１６に記載の装置。
（付記１９）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第３マージ部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定するよう構成される第３マージ部
を有する、付記１６に記載の装置。
（付記２０）
前記検出部は、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけるよう構成される第４検出部
を有し、
前記マージ部は、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定するよう構成される第４マージ部
を有する、付記１６に記載の装置。
【符号の説明】
【０１０１】
３０１ 解析ユニット
３０２ 基準調整ユニット
３０３ 判断ユニット
３０４ マージユニット
３０４１ 第1マージサブユニット
３０４２ 第２マージサブユニット
３０４３ 分割ユニット
３０４４ 第３マージサブユニット
７０１ 解析ユニット
７０２ 検出ユニット
７０２１ 第１検出サブユニット
７０２２ 第２検出サブユニット
７０２３ 第３検出サブユニット
７０２４ 第４検出サブユニット
７０３ マージユニット
７０３１ 第１マージサブユニット
７０３２ 第２マージサブユニット
７０３３ 第３マージサブユニット
７０３４ 第４マージサブユニット
【特許請求の範囲】
【請求項１】
映像におけるカメラモーション解析のための方法であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする
方法。
【請求項２】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項３】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項４】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項５】
映像におけるカメラモーション解析のための方法であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
方法。
【請求項６】
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
を含む、請求項５に記載の方法。
【請求項７】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
を含む、請求項６に記載の方法。
【請求項８】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
を含む、請求項６に記載の方法。
【請求項９】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
を含む、請求項６に記載の方法。
【請求項１０】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
を含む、請求項６に記載の方法。
【請求項１】
映像におけるカメラモーション解析のための方法であって、
前記映像から、有意な移動特性を有する映像セグメントと、有意な移動特性を有さない映像セグメントとを解析し、
前記有意な移動特性を有さない映像セグメントの夫々について、先行する隣接映像セグメントに対応する第１のモーションタイプが後続の隣接映像セグメントに対応する第２のモーションタイプとは異なっている場合に、前記第１のモーションタイプ及び前記第２のモーションタイプの検出基準を下げ、
前記有意な移動特性を有さない映像セグメントが、下げられた前記検出基準を満たすかどうかを判断し、
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージする
方法。
【請求項２】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうち一方の検出基準のみを満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記一方の検出基準に対応する隣接する映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項３】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準の両方を満たす場合に、前記有意な移動特性を有さない映像セグメントを、前記下げられた検出基準を満たす範囲に従って隣接する映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項４】
判断結果に従って前記有意な移動特性を有さない映像セグメントを隣接する映像セグメントとマージすることは、
前記有意な移動特性を有さない映像セグメントが、前記第１のモーションタイプ及び前記第２のモーションタイプの前記下げられた検出基準のうちいずれの検出基準も満たさない場合に、前記有意な移動特性を有さない映像セグメントを２つの部分に分け、
前記２つの部分のうち第１の半分部分を先行する隣接映像セグメントとマージし、前記２つの部分のうち第２の半分部分を後続の隣接映像セグメントとマージすること
を含む、請求項１に記載の方法。
【請求項５】
映像におけるカメラモーション解析のための方法であって、
前記映像から、該映像に含まれる映像セグメント及びそのカメラモーションタイプを解析し、
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけ、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定する
方法。
【請求項６】
前記映像の前記映像セグメントにおいて、予めセットされたマージルールを満たす映像セグメントを見つけることは、
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけること
を含む、請求項５に記載の方法。
【請求項７】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメント及び前記第３の映像セグメントの両方のモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止又は移動であり、その存続期間が予めセットされた閾値よりも小さい場合、前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第１の映像セグメント、前記第２の映像セグメント及び前記第３の映像セグメントをマージし、マージされた映像セグメントのモーションタイプをズームと決定すること
を含む、請求項６に記載の方法。
【請求項８】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントのモーションタイプがズームであり、且つ、前記第２の映像セグメントのモーションタイプが移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが静止であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを静止と決定すること
を含む、請求項６に記載の方法。
【請求項９】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが静止であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが移動であり、その存続期間が第２の予めセットされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを移動と決定すること
を含む、請求項６に記載の方法。
【請求項１０】
前記映像の前記映像セグメントの隣接関係、モーションタイプ及び存続期間に従って、前記予めセットされたマージルールを満たす映像セグメントを見つけることは、
時間的に隣接する第１の映像セグメント、第２の映像セグメント及び第３の映像セグメントに関し、前記第１の映像セグメントがズームであり、且つ、前記第２の映像セグメントのモーションタイプが第１の方向における移動であり、その存続期間が第１の予めセットされた閾値よりも小さく、且つ、前記第３の映像セグメントのモーションタイプが第２の方向における移動であり、その存続期間が第２の予めされた閾値よりも大きい場合、前記第２の映像セグメント及び前記第３の映像セグメントは、前記予めセットされたマージルールを満たすという条件に従って、マージされる映像セグメントを見つけること
を含み、
前記マージルールに従って、見つけられた映像セグメントをマージし、マージされた映像セグメントのモーションタイプを決定することは、
前記第２の映像セグメントを前記第３の映像セグメントとマージし、マージされた映像セグメントのモーションタイプを前記第２の方向における移動と決定すること
を含む、請求項６に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２１６２００（Ｐ２０１２−２１６２００Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−６５３６２（Ｐ２０１２−６５３６２）
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２４年３月２２日（２０１２．３．２２）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]