ビデオにおけるカメラ動きの型を検出する方法および装置
【課題】ビデオにおけるカメラの動きの型をより効果的かつ精確に検出するよう、ビデオにおけるカメラ動きの型を検出する方法および装置を提供する。
【解決手段】本発明の諸実施形態は、ビデオにおけるカメラ動きの型を検出する方法および装置を開示する。該方法は：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する段階と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する段階と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する段階とを含む。
【解決手段】本発明の諸実施形態は、ビデオにおけるカメラ動きの型を検出する方法および装置を開示する。該方法は：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する段階と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する段階と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する段階とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概括的にはビデオ・データ処理の分野に関し、詳細にはビデオにおけるカメラ動きの型を検出する方法および装置に関する。
【背景技術】
【０００２】
急増する数のデジタル・ビデオ・ファイルとともに、日常生活における多くの側面で効果的なビデオ管理および解析システムが望まれてきた。このシステムを援用してパーソナル・コンピュータにおけるビデオ・ファイルをより便利に整理することができ、都市交通を効果的に制御でき、ビデオ監視が容易に不審者侵入などの異常イベントを検出できる。
【０００３】
ビデオ・ファイルは撮影者がカメラ（可能性としてはカメラ専用機または携帯電話、ポータブル・コンピュータなどの撮影機能を持つ端末装置）を使って撮影することから得られる。撮影の際、カメラをズーム、パンするなどといったいくつかの動作が必要に応じて実行されうる。これらの動作はカメラの動きに対応し、異なる動作は異なる型の動きに対応する。撮影者は撮影中、異なる調整（たとえばまず並進して次いでフォーカスを合わせ、次に静止するなど）を実行する必要があることがあるので、典型的にはビデオ・ファイルは多様な型の動きを含みうる。
【０００４】
撮影者は、カメラを主として、関心対象オブジェクトの重要性の程度に鑑みて調整する。たとえば、撮影者が遠方の人物の動作を撮影することに重点を置くとき、カメラがその人物に向けられたのち、シーン内に表示されるその人物を拡大するようカメラをズームすることがある。対応して、ビデオ・ファイルがフォーカス合わせ（focusing）の動きなどの型を含む場合、その型の動きに対応するビデオの部分の内容は典型的には撮影者にとって格別関心のあるものであるはずであり、したがってビデオ・ファイルの重要な内容、さらにはビデオ・ファイルを代表できる主要な内容であることがある。この部分の内容は、ビデオ・ファイルのサマリーのために抽出されることができる。
【０００５】
したがって、カメラ動きの効果的な検出はビデオ管理および解析システムにとって決定的に重要になっている。ビデオ取得の際のカメラの動きの型に基づいて、ビデオはより便利にブラウズでき、ビデオの主要内容がより簡単に取得でき、さらにビデオ・ファイルのサマリーが、該ビデオ・ファイルのさらなる取り出しなどに資するよう、便利に取得できる。
【０００６】
既存のビデオ管理および解析システムは、ビデオ・ファイルからカメラの動きの型を解析し、さらに高レベルの情報、たとえば撮影意図などを取得することができる。しかしながら、従来技術においてビデオ・ファイルからカメラの動きの型を解析する際には、いくつかの特殊な事例は精確に検出されず、あるいは検出エラーが起こりうる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに鑑み、本発明の諸実施形態は、ビデオにおけるカメラの動きの型をより効果的かつ精確に検出するよう、ビデオにおけるカメラ動きの型を検出する方法および装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の諸実施形態のある側面によれば、ビデオにおけるカメラ動きの型を検出する方法であって：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する段階と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する段階と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する段階とを含む方法が提供される。
【０００９】
本発明の諸実施形態のもう一つの側面によれば、ビデオにおけるカメラ動きの型を検出するもう一つの方法であって：ビデオにおけるズーム動きパラメータを取得する段階と；前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出する段階と；前記ビデオ・セグメント内の各フレームのフォーカス位置（focal point position）〔関心の中心の位置〕を計算する段階と；各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証する段階とを含む方法が提供される。
【００１０】
本発明の諸実施形態のあるさらなる側面によれば、ビデオにおけるカメラ動きの型を検出する装置であって：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置が提供される。
【００１１】
本発明の諸実施形態のもう一つの側面によれば、ビデオにおけるカメラ動きの型を検出するもう一つの装置であって：ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証するよう構成された検出結果検証ユニットとを有する装置が提供される。
【００１２】
さらに、本発明のもう一つの側面によれば、情報処理装置上で実行されたときに該情報処理装置に、本発明に基づく、ビデオにおけるカメラ動きの型を検出する上記の方法を実行させる機械可読プログラム・コードを含む記憶媒体も提供される。
【００１３】
さらに、本発明のあるさらなる側面によれば、情報処理装置上で実行されたときに該情報処理装置に、本発明に基づく、ビデオにおけるカメラ動きの型を検出する上記の方法を実行させる機械実行可能命令を含むプログラム・プロダクトも提供される。
【００１４】
本発明の諸実施形態に基づく上記の方法では、ゆっくりしたズームという動きの型は、「二つのズーム動きパラメータ」により検出できる。ここではまず、隣接するフレームどうしの間の前記第一のズーム動きパラメータが推定され、そのパラメータが前記第一の事前設定条件を満たす場合に、数フレーム空けたフレームどうしの間で前記第二のズーム動きパラメータが推定され、その第二のズーム動きパラメータが前記第二の事前設定条件を満たす場合に、これらのフレームに対応するビデオ・セグメントにおいて、カメラ動きの型は、ゆっくりしたズームとして識別できる。
【００１５】
さらに、本発明の諸実施形態では、ビデオ・ファイルにおけるカメラ動きの型の検出結果が前記動きパラメータとともに取得され、フォーカス合わせの検出結果をもつビデオ・セグメントについて、そのビデオ・セグメント中の各フレームのフォーカスの位置がさらに計算され、次いでそのビデオ・セグメントの検出結果がそれぞれのフレームのフォーカスの位置に鑑みて検証される。明らかに、本発明のこれらの実施形態では、ビデオ・セグメントに対応する動きの型が実際にフォーカス合わせの動きであるかどうかは、さらに検証されることができ、それにより検出の精度が改善できる。
【００１６】
本発明の諸実施形態の他の側面は以下の詳細な説明において呈示される。詳細な説明は、本発明の好ましい実施形態を十全に開示するためのものであって、本発明を限定するものではない。
【図面の簡単な説明】
【００１７】
本発明の諸実施形態の上記のおよびその他の目的および利点は以下で個別的な実施形態との関連で、図面を参照しつつさらに記述される。図面において、同一のまたは対応する技術的特徴または構成要素は、同一のまたは対応する参照符号で示される。
【図１】本発明のある実施形態に基づく第一の方法を示すフローチャートである。
【図２】本発明のある実施形態に基づく第二の方法を示すフローチャートである。
【図３】本発明のある実施形態に基づく第一の装置を示す概略図である。
【図４】本発明のある実施形態に基づく第二の装置を示す概略図である。
【図５】本発明のある実施形態において使用される情報処理装置のパーソナル・コンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００１８】
本発明の諸実施形態について、図面を参照しつつ以下で述べる。
【００１９】
まず、本発明者らは、本発明の際、従来技術の方法でのビデオにおけるカメラの動きの型の検出には、少なくとも以下の問題があることを見きわめた。
【００２０】
一方では、ズーム動きの型は一般に、従来技術では次のようにして検出される。ビデオにおける隣接するフレームどうしの間のズーム動きパラメータが推定され、そのズーム動きパラメータがある事前設定閾値を上回れば、ズーム動きの型の特徴が満たされ、さらに、対応するフレームから構成されるビデオ・セグメントにおいて、カメラの動きの型がズームであると判別できる。明らかに、この方法ではズーム動きの型の検出にとって、閾値の選択が重要であり、閾値は高すぎても低すぎてもいけない。閾値が高すぎると、本来ならズーム動きの型として検出されるはずの動きの型が検出できず、低すぎると、かなりのノイズが生じる。すなわち、ズーム動きの型以外の型の動きが、ズーム動きの型として検出されることがある〔偽陽性〕。したがって、検出において使われる標準的な閾値は、典型的には、ビデオのフレーム・レートに基づき、かつ標準的なズーム動きを検出することによって、中間的な値に設定される。
【００２１】
明らかに、この検出方法は標準的なズーム動きについてはうまく機能するが、実際上の応用ではゆっくりしたズームが生じることがある。すなわち、ユーザーは撮影によってビデオを取得する際にあまりにゆっくりズームを行い、そのため顕著なズーム特徴が対応するビデオ・セグメントに現れず、さらに隣接するフレームどうしの間の前記ズーム動きパラメータが、従来技術の方法での検出における前記事前設定閾値を下回ることがありうる。よって、このビデオ・セグメントのカメラの動きの型はズームとは識別できず、明らかに、これは実際の状況とは整合せず、誤りにつながる。
【００２２】
他方では、撮影されるシーンは、典型的には、ビデオの通常の撮影においては、カメラの焦点面とできるだけ平行なままであることが要求される。しかしながら、一部のアマチュア・ビデオ撮影者は、カメラを使ってビデオを取り込む際、撮影されるシーンをカメラの焦点面と非平行にしてしまうことがありうる。この場合にカメラが並進運動にかけられると、撮影によって取得されるビデオにおいて、オブジェクトは徐々に拡大され、それはセグメントにフォーカスを合わせるのと非常に似通っている。結果として、傾いているカメラのそのような並進運動は、ズーム動きの型を識別する上記の方法では、ビデオ・ファイルの検出におけるフォーカス合わせの動きと間違われることがありうる。明らかに、これも誤りにつながりうる。
【００２３】
従来技術に存在する上記の二つの問題に対する解決策が本発明の諸実施形態において提供される。それについて以下で詳述する。
【実施例１】
【００２４】
まず、図１を参照するに、本発明のある実施形態に基づく、ビデオにおけるカメラ動きの型を検出する第一の方法は次の諸段階を含む。
【００２５】
段階S101は、第一の推定ユニットによって、ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する。
【００２６】
隣り合うフレームどうしの間のズーム動きパラメータを推定する段階は、従来技術の方法と同様に実行できる。たとえば、ビデオの各フレームがいくつかの画像ブロックに分割されることができ、局所的な探索方法において、各画像ブロックの動きベクトルが決定できる。動きベクトル場のグローバルな動きは、６個のパラメータを含む次のアフィン・モデルで記述できる。
u＝a1＋a2x＋a3y (1)
v＝a4＋a5x＋a6y
【００２７】
ここで、(x,y)は画像ブロックの位置を表し、既知であり、(u,v)はその画像ブロックの動きベクトルを表す。このモデルにおけるこれら６個のパラメータは、同じフレームにおける諸画像ブロックの位置およびそれらの対応する動きベクトルについての情報から、最小二乗法などを使って決定できる。すると、カメラの動きパラメータは、カメラの動きパラメータとモデルにおけるこれら６個のパラメータとの間の対応関係から計算できる。
【００２８】
特に、カメラのズームに対応する動きパラメータとモデルにおける前記パラメータのとの間の対応関係は次のようになる。
div＝0.5(a2＋a6) (2)
【００２９】
公式(2)において、divはカメラのズームに対応する動きパラメータを表し、記述の便宜上、単にズーム動きパラメータと称される。このズーム動きパラメータの取得後、このズーム動きパラメータを用いて、カメラ動きの型がズームであるセグメントがビデオ中に存在するかどうかが検出されることができる。たとえば、a2およびa6が同じ符号をもつ（両方とも正または両方とも負）場合、divは事前設定閾値と比較され、比較の結果から、カメラの対応する動きの型がズームであるかどうかが判定される。
【００３０】
ビデオが実際にはいくつものスチール画像のフレームから構成され、よってカメラの動きパラメータの概念は動きに関係しており、よってある別個のフレームの画像においては具現できないことを注意しておく必要がある。したがって、動きパラメータは実際には、異なるフレームの間の画像ブロックの相対的な位置関係から計算される。よって、上述したような「動きベクトル」の概念は、二つのフレームを解析することによって得られる、それら二つのフレームの間の動きベクトルのことをいう。さらに、カメラの動きパラメータの概念も、それら二つのフレームに基づいて取得されたカメラの動きパラメータをいう。
【００３１】
上記の分析から明らかなように、ビデオにおける隣り合うフレームどうしのズーム動きパラメータは、まずビデオにおける隣り合うフレームに関し各画像ブロックの動きベクトルを推定し、次いでそれを公式(1)で変換し、次に公式(2)に従ってdivを導出することによって推定できる。ビデオ内に総数１０個のフレームがあるとする（もちろん、実際上のフレーム数はこの数よりずっと多く、この数はここでは単に記述の便宜上の例として想定されているに過ぎない）。隣り合うフレームの対は９対あり、よってそれら隣り合うフレームについて９個のズーム動きパラメータが計算できる。たとえば、第一のフレームと第二のフレームの間のズーム動きパラメータはdiv12と表現でき、第二のフレームと第三のフレームの間のズーム動きパラメータはdiv23と表現でき、以下同様である。
【００３２】
ステップS102は、前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、第二の推定ユニットによって、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する。
【００３３】
ステップS103は、前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、判別ユニットによって、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する。
【００３４】
具体的には、前記第一の事前設定条件は、前記第一のズーム動きパラメータがある第一の事前設定された閾値より高いということであってもよい。前記第一の事前設定された閾値は、従来技術の閾値より若干小さいことができる。前記パラメータが前記第一の事前設定閾値を上回る場合、それは、対応するビデオ・セグメントがズーム動きのものである可能性があるということを意味するが、さらなる検出にかけられる。もちろん、前記第一の事前設定条件は上記以外の形で設定されることもできる。たとえば、該条件は、いくつかの隣接する連続するフレームのズーム動きパラメータが前記第一の事前設定された閾値を上回る場合にのみ満たされると判別してもよい。あるいは、前記第一のズーム動きパラメータを大きさなどに関して前記第一の事前設定閾値と比較した結果に応答して別の条件が設定されてもよい。本発明はこの点に関して限定されるものではない。
【００３５】
理解の便のため、まず、本稿における「ビデオ・セグメント」の意味を以下に導入しておく。ビデオ・セグメントは、ビデオに含まれる諸フレームの一部からなり、前記第一のズーム動きパラメータが前記第一の事前設定条件を満たす場合の対応するビデオ・セグメントとは、前記第一の事前設定条件を満たす前記第一のズーム動きパラメータに対応するフレームからなるビデオ・セグメントをいう。たとえば、計算されたdiv12、div23、div34およびdiv45がみな前記第一の事前設定条件を満たすなら、対応するビデオ・セグメントは、このビデオにおける第一ないし第四のフレームから構成されるセグメントを指すことができる。もちろん、第二ないし第五のフレームから構成されるセグメントまたは第一ないし第五のフレームから構成されるセグメントなどを指すこともできる。すなわち、二つの隣接するフレームに関して推定された動きパラメータについて、該動きパラメータは、実際上何ら実質的な影響なしに（現実のビデオは典型的には多数のフレームを含み、一つや二つのフレームの効果は人間の目による観察にとっては無視できるので）、直前フレーム、後続フレームまたは両方に対応することができる。本発明によれば、前記パラメータが二つのフレームに対応するとすると、対応するビデオ・セグメントはそのビデオにおける第一ないし第五のフレームから構成されるセグメントと等価である。
【００３６】
すなわち、本発明の実施形態では、当該ビデオにおける第一ないし第五のフレームから構成されるセグメントがゆっくりしたズームの動き型でありうるか否か、よってさらなる判定にかけられる必要があるかどうかが予備的に判定される。特に、事前設定された数のフレームおきのフレーム間の第二のズーム動きパラメータが、このビデオ・セグメントについて推定される。特に、事前設定データは実際上要求されるように（たとえば、フレーム・レートなどの因子に鑑みて）設定されることができる。本発明はこの点に関して限定されるものではない。
【００３７】
たとえば、パラメータが二つ空けたフレームのズーム動きパラメータであるとすると、等価だが、上述の例において、第一のフレームと第四のフレームの間のズーム動きパラメータdiv14および第二のフレームと第五のフレームの間のズーム動きパラメータdiv25が推定され、さらに、これら二つのズーム動きパラメータが第二の事前設定条件を満たすかどうかが判定される。具体的には、第二の事前設定条件は、ある第二の閾値について設定されることもできる。たとえば、第二のズーム動きパラメータが第二の閾値を上回る場合に第二の事前設定条件が満たされる、あるいは、ある数の連続する第二のズーム動きパラメータがみな第二の事前設定閾値を上回る場合に第二の事前設定条件が満たされる、などである。換言すれば、div14およびdiv25の両方がある第二の閾値を上回るとすると、第一ないし第五のフレームから構成されるビデオ・セグメントに対応するカメラ動き型がゆっくりしたズームとして判別される。
【００３８】
具体的には、上述した方法は、数個空けたフレーム毎のズーム動きパラメータの推定にも適用可能である。たとえば、第一のフレームと第四のフレームの間のズーム動きパラメータdiv14は、まず第一のフレームと第四のフレームの間の画像ブロックの動きベクトルを推定し、次いで公式(1)においてその動きベクトルを表現し、次いで対応するズーム動きパラメータ、すなわちdiv14を公式(2)に従って導出することによって推定できる。これは、他のフレーム間のズーム動きパラメータにも当てはまる。
【００３９】
本発明の実施形態に基づく上記の方法では、ズーム動きの型を検出する伝統的な方法でのいかなる衝突もなしに、特殊なカメラ動きの型、すなわちゆっくりしたズームについて新しい検出方法が提供されることになることを注意しておく。たとえば、検出プロセスにおいて、まず、隣り合うフレームどうしの間の取得されたズーム動きパラメータが伝統的なズーム検出の条件を満たすかどうかが判定されることができ、もしそうであれば、プロセスは他のフレームに進む。そうでなければ、本発明の実施形態においてパラメータが第一の事前設定条件を満たすかどうかが判定され、もしそうであれば、数フレーム空けたフレーム間のズーム動きパラメータが取得され、本発明の実施形態において、その取得されたズーム動きパラメータが第二の事前設定条件を満たすかどうかがさらに判定され、もしそうであれば、対応するビデオ・セグメントはゆっくりしたズームの動き型であると判定される。
【００４０】
本発明の実施形態において、ズームが二つのカテゴリーに分割されることをさらに注意しておく。一つのカテゴリーは、画像をスケールアップするためのもので、フォーカス合わせ（focusing）と称される〔ズームイン〕。逆に、他方のカテゴリーは、画像をスケールダウンするためのものである〔ズームアウト〕。よって、推定されるズーム動きパラメータdivの値は正または負でありうる。したがって、事前設定された閾値と比較される場合において、divの絶対値が事前設定閾値と比較され、その大きさが条件を満たす場合、divの正または負の符号から、フォーカス合わせまたはそれと逆のズームがアクティブであるかどうかがさらに判定できる。
【００４１】
もちろん、判定が第一の事前設定条件または第二の事前設定条件のどちらに関してなされようとも、そのような事前条件はa2およびa6の両方が同じ符号をもつ（両方とも正または両方とも負）と推定されることを前提にしている。対応するカメラ動きの型がズームとなるのは、両方のパラメータが同じ符号である場合のみだからである。
【００４２】
明らかなように、本発明の実施形態において、比較的特殊なカメラ動き型、すなわちゆっくりしたズームについて、有効な検出方法が提供でき、したがって、標準的なズーム動きのみを検出できる方法に対して、検出の有効性および精確さが改善できる。
【実施例２】
【００４３】
上述した従来技術に存在する他方の問題に鑑み、本発明のある実施形態はさらに、ビデオにおけるカメラ動きの型を検出するもう一つの方法を提供する。図２を参照するに、この方法は以下のステップを含む。
【００４４】
ステップS201は、動きパラメータ取得ユニットによって、ビデオにおけるズーム動きパラメータを取得する。
【００４５】
ステップS202は、動き型検出ユニットによって、前記ズーム動きパラメータに従って、ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出する。
【００４６】
ステップS201においてズーム動きパラメータを取得し、ステップS202においてビデオに含まれる、フォーカス合わせのカメラ動き型をもつビデオ・セグメントを検出するのは、いずれも、特に従来技術のようにしてできる。もちろん、ゆっくりしたズームの動きの型の識別が要求される場合には、上記の方法が適用できる。
【００４７】
ステップS203は、フォーカス位置計算ユニットによって、前記ビデオ・セグメント内の各フレームのフォーカス位置を計算する。
【００４８】
ステップS204は、検出結果検証ユニットによって、各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証する。
【００４９】
実施形態の詳細な説明の冒頭で述べたように、偽陽性としてズーム動きの型が判別されることがあり、実際には一種の並進動きであることがあり、撮影者がカメラをあまりに傾け、撮影されたシーンがカメラの焦点面に平行でないためであることがありうる。
【００５０】
したがって、そのような誤りを避けるために、初期検出においてフォーカス合わせの型として検出されたビデオ・セグメントが、本発明の本実施形態では、さらなる検出にかけられる。特に、検出結果がフォーカス合わせであるビデオ・セグメントにおける各フレームのフォーカス位置が計算される。実際にズーム動きがアクティブであれば、各フレームのフォーカス位置は明らかに変わらない。もしそうでなく、撮影されるシーンがカメラの焦点面に平行でないためにオブジェクトが徐々に大きくなるのであれば、それに対応する各フレームのフォーカス位置は著しく変化するであろう。よって、フォーカス合わせの型として検出されたビデオ・セグメントの検出結果は、フォーカスの位置の変動の観点でさらに検証されることができる。
【００５１】
特に、個々のフレーム間のフォーカスの位置の差が事前設定された閾値より低い場合、ビデオ・セグメントの検出結果はフォーカス合わせとして判定される。たとえば、個々のフレームのフォーカスの位置が計算されたのち、二つの隣り合うフレーム毎の間のフォーカスの位置が比較されることができ、二つの隣り合うフレーム毎の間のフォーカスの位置がほとんど変化しない場合、そのビデオ・セグメントに対応するカメラ動きの型は、フォーカス合わせとして判別できる。あるいは、二つの隣り合うフレーム毎の間のフォーカスの位置がかなり変化する場合、そのビデオ・セグメントに対応するカメラ動きの型は、フォーカス合わせ以外として判別できる。もちろん、個々のフレームのフォーカスの位置の間の差の比較のために、必ずしも隣り合うフレームが比較のために選択されなくてもよい。計算量を低減し、効率を改善するために、たとえば、フォーカスの位置の比較のためにはいくつかのフレームが代替的に選択される、などでもよい。本発明はこの点に関して限定されるものではない。
【００５２】
具体的には、個別フレームのフォーカスの位置は次の方法で計算できる。
【００５３】
カメラのフォーカス位置の座標が(x0,y0)であるとして、次の動きモデルが考慮に入れられる：
u＝b1＋b2(x−x0)＋b3(y−y0) (3)
v＝b4＋b5(x−x0)＋b6(y−y0)
すなわち、
u＝(b1−b2x0−b3y0)＋b2x＋b3y (4)
v＝(b4−b5x0−b6y0)＋b5x＋b6y
である。
【００５４】
このモデルと公式(1)に示されるモデルとの間の対応関係に鑑み、次の公式
b1＝a1＋a2x0＋a3y0 (5)
b2＝a2
b3＝a3
b4＝a4＋a5x0＋a6y0
b5＝a5
b6＝a6
が成り立つ。
【００５５】
カメラがズームにかけられるときは、
b1＝0 (6)
b4＝0
すなわち、
a1＋a2x0＋a3y0＝0 (7)
a4＋a5x0＋a6y0＝0
である。
【００５６】
上記の連立方程式を解いてフォーカスの位置座標を導出することができる。
【００５７】
もちろん、各フレームのフォーカスの位置は他の仕方で計算することもでき、本発明はこの点に関して限定されるものではない。
【００５８】
検証プロセスにおいてフォーカス合わせ動きの型以外であると判定されたビデオ・セグメントは、特に従来技術のようにして、他のカメラ動きの型、たとえば回転、並進または静止であるかどうかに関するさらなる検出ラウンドにかけられることができる。その記述の反復はここでは割愛する。
【００５９】
明らかに、本発明の実施形態では、カメラが傾けられているときに撮影することによって取得される並進されたセグメントが、フォーカス合わせされたセグメントと間違われることを防止し、それにより効果的かつ精確な検出をもたらすことが可能である。
【実施例３】
【００６０】
本発明の実施形態に基づくビデオにおいてカメラ動きの型を検出する第一の方法に対応して、本発明のある実施形態は、ビデオにおけるカメラ動きの型を検出する装置を提供する。この装置は、図３に示されるように、ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニット３０１と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニット３０２と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニット３０３とを含む。
【００６１】
特に、第二の推定ユニット３０２は、第一のズーム動きパラメータが第一の事前設定閾値より高い場合に、対応するビデオ・セグメント内の、事前設定された数を空けたフレーム間の第二のズーム動きパラメータを推定するよう構成されることができる。
【００６２】
特に、判別ユニット３０３は、第二のズーム動きパラメータが第二の事前設定閾値より高い場合に、ビデオ・セグメントのカメラ動きの型をゆっくりしたズームとして識別するよう構成されることができる。
【００６３】
すなわち、最初は、小さな閾値が設定されることができ、隣り合うフレームどうしの間のズーム動きパラメータが計算され、次いで該小さな閾値（標準的なズーム動きの検出に使われる標準的な閾値より小さい）と比較されることができる。そのパラメータがその閾値より大きければ、ゆっくりしたズームがアクティブである可能性があると判定される。もちろん、ノイズなどから帰結する動きパラメータの不正確な推定のため、他の型の動きがアクティブなのにゆっくりしたズームと間違われた可能性もある。したがって、本発明の実施形態では、さらなる検証が必要であり、特に、やや大きな閾値（これは標準的なズーム動きの検出で使われる上記標準的な閾値に近づいてもよい）が設定されることができ、次いで、数フレームおきのズーム動きパラメータが推定され、その閾値と比較されることができる。そのパラメータがその閾値より大きければ、上記の検出結果が検証されたことになり、対応するビデオ・セグメントのカメラ動きの型は、ゆっくりしたズームとして決定できる。
【００６４】
本発明の実施形態に基づく上記装置において明らかなように、ゆっくりしたズームの動きの型は、「二つのズーム動きパラメータ」により検出できる。ここでは、まず、隣接するフレームどうしの間の前記第一のズーム動きパラメータが推定され、そのパラメータが前記第一の事前設定条件を満たす場合に、数フレーム空けたフレームどうしの間で前記第二のズーム動きパラメータがさらに推定され、その第二のズーム動きパラメータが前記第二の事前設定条件を満たす場合に、これらのフレームに対応するビデオ・セグメントにおいて、カメラ動きの型は、ゆっくりしたズームとして識別できる。明らかに、ゆっくりしたズームの動きの型は、本発明の実施形態に基づく装置を用いて精確に識別できる。
【実施例４】
【００６５】
本発明の実施形態に基づく、ビデオにおけるカメラ動きの型を検出するもう一方の方法に対応して、本発明のある実施形態は、ビデオにおけるカメラ動きの型を検出するもう一つの装置を提供する。この装置は、図４に示されるように、ビデオにおけるカメラ動きパラメータを取得するよう構成された動きパラメータ取得ユニット４０１と；前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニット４０２と；前記ビデオ・セグメント内の各フレームのフォーカス位置を、フォーカス合わせの検出結果をもつビデオ・セグメントについて、計算するよう構成されたフォーカス位置計算ユニット４０３と；前記ビデオ・セグメントにおける各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証するよう構成された検出結果検証ユニット４０４とを含む。
【００６６】
特に、検出結果検証ユニット４０４は：個々のフレーム間のフォーカスの位置の差が事前設定された閾値より小さい場合に、ビデオ・セグメントにおけるカメラ動きの型がフォーカス合わせであると判定されるよう構成されることができる。
【００６７】
本発明の実施形態に基づく上記の装置において明らかなように、ビデオ・ファイルにおけるカメラ動きの型の検出結果が、動きパラメータとともに取得され、次いで、フォーカス合わせの検出結果をもつビデオ・セグメントについて、ビデオ・セグメント内の各フレームのフォーカスの位置がさらに計算され、ビデオ・セグメントの検出結果が、各フレームのフォーカスの位置に基づいて検証される。明らかに、本発明の実施形態では、ビデオ・セグメントに対応する動きの型が実際にフォーカス合わせの動きであるかどうかがさらに検証されることができ、それにより検出の精度を改善することができる。
【００６８】
本発明の実施形態に基づく上記装置は当該実施形態の上述した方法に対応しており、よって装置の実施形態において詳述しなかった部分については、方法の実施形態の対応する記載を参照でき、その記載の反復はここでは割愛していることを注意しておく。
【００６９】
さらに、上記の一連のプロセスおよび装置はソフトウェアおよび／またはファームウェアにおいて具現されることもできることを注意しておく。ソフトウェアおよび／またはファームウェアにおいて具現される場合、ソフトウェアを構成するプログラムは記憶媒体またはネットワークから専用のハードウェア構造をもつコンピュータにインストールされる。該コンピュータは、たとえば図５に示される、さまざまなプログラムがインストールされたときにさまざまな機能を実行できる汎用パーソナル・コンピュータ５００である。
【００７０】
図５では、中央処理装置（CPU）５０１が読み出し専用メモリ（ROM）５０２に記憶されている、または記憶部５０８からランダム・アクセス・メモリ（RAM）５０３にロードされたプログラムに従ってさまざまな処理を実行する。RAMには、CPU ５０１がさまざまな処理を実行するときに必要とされるデータも必要に応じて記憶される。
【００７１】
CPU ５０１、ROM ５０２およびRAM ５０３はバス５０４を介して互いに接続されている。バス５０４には入出力インターフェース５０５も接続されている。
【００７２】
以下のコンポーネントが入出力インターフェース５０５に接続される：キーボード、マウスなどを含む入力部５０６；陰極線管（CRT）、液晶ディスプレイ（LCD）などのディスプレイ、スピーカーなどを含む出力部５０７；ハードディスクなどを含む記憶部５０８；およびネットワーク・インターフェース・カード、たとえばLANカード、モデムなどを含む通信部５０９。通信部５０９はネットワーク、たとえばインターネットを通じた通信プロセスを実行する。
【００７３】
ドライブ５１０も必要に応じて入出力インターフェース５０５に接続される。取り外し可能型媒体５１１、たとえば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどが必要に応じてドライブ５１０に組み込まれることができる。それにより、該媒体から読み出されたコンピュータ・プログラムが必要に応じて記憶部５０８にインストールされることができる。
【００７４】
上記の一連のプロセスがソフトウェアで実行される場合、ソフトウェアを構成するプログラムはネットワーク、たとえばインターネットなどまたは記憶媒体、たとえば取り外し可能型媒体５１１などからインストールされる。
【００７５】
当業者は、記憶媒体は図５に示される、プログラムが記憶され、ユーザーに該プログラムを提供するために装置とは別個に頒布される取り外し可能型媒体５１１に限定されないことを理解するであろう。取り外し可能型媒体５１１の例は、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスク読み出し専用メモリ（CD-ROM）およびデジタル多用途ディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）および半導体メモリを含む。あるいはまた、記憶媒体はROM ５０２、記憶部５０８に含まれるハードディスクなどであってもよく、プログラムが記憶され、それを含む装置と一緒にユーザーに頒布されてもよい。
【００７６】
上記の一連のプロセスの段階は、必須ではないものの、記載される逐次順において実行されるのが自然であることを注意しておく。それらの段階のいくつかは、並行して、あるいは互いとは別個に実行されてもよい。
【００７７】
本発明およびその利点について詳細に述べてきたが、付属の請求項において定義される本発明の精神および範囲から外れることなく、さまざまな修正、代替および変形がなしうることは理解しておくべきである。さらに、本発明の実施形態における「含む」「有する」の語およびその任意の変形は非排他的な包含を意図しており、一連の要素を含むプロセス、方法、物品または装置は、それらの要素および明示的に挙げられていない他の要素またはプロセス、方法、物品または装置に内在的な一つまたは複数の要素の両方を含む。特に断りのない限り、「…を含む／有する」という表現は、その要素を含むプロセス、方法、物品または装置における追加的な同じ要素（単数または複数）の存在を排除しない。
【００７８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータが、
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定し；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定し；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
（付記２）
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定する処理が、
前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定することを含む、
付記１記載の方法。
（付記３）
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する処理が、
前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを含む、
付記１記載の方法。
（付記４）
コンピュータが、
ビデオにおけるズーム動きパラメータを取得し；
前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出し；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算し；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
（付記５）
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証する処理が、
各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定することを含む、
付記４記載の方法。
（付記６）
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置。
（付記７）
前記第二の推定ユニットが、前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定するよう構成されている、付記６記載の装置。
（付記８）
前記判別ユニットが、前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成されている、付記６記載の装置。
（付記９）
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；
前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証するよう構成された検出結果検証ユニットとを有する、
装置。
（付記１０）
前記検出結果検証ユニットが、各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定するよう構成されている、付記９記載の装置。
【符号の説明】
【００７９】
S101 ビデオにおける隣接フレーム間の第一のズーム動きパラメータを推定
S102 第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレーム間の第二のズーム動きパラメータを推定
S103 第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別
S201 ビデオにおけるズーム動きパラメータを取得
S202 ズーム動きパラメータに従ってビデオから、カメラ動きの型がフォーカシングであるビデオ・セグメントを検出
S203 ビデオ・セグメント内の各フレームのフォーカス位置を計算
S204 各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証
３０１ 第一の推定ユニット
３０２ 第二の推定ユニット
３０３ 判別ユニット
４０１ 動きパラメータ取得ユニット
４０２ 動きパラメータ検出ユニット
４０３ フォーカス位置計算ユニット
４０４ 検出結果検証ユニット
５０１ CPU
５０２ ROM
５０３ RAM
５０４ バス
５０５ 入出力インターフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ 取り外し可能型媒体
【技術分野】
【０００１】
本発明は概括的にはビデオ・データ処理の分野に関し、詳細にはビデオにおけるカメラ動きの型を検出する方法および装置に関する。
【背景技術】
【０００２】
急増する数のデジタル・ビデオ・ファイルとともに、日常生活における多くの側面で効果的なビデオ管理および解析システムが望まれてきた。このシステムを援用してパーソナル・コンピュータにおけるビデオ・ファイルをより便利に整理することができ、都市交通を効果的に制御でき、ビデオ監視が容易に不審者侵入などの異常イベントを検出できる。
【０００３】
ビデオ・ファイルは撮影者がカメラ（可能性としてはカメラ専用機または携帯電話、ポータブル・コンピュータなどの撮影機能を持つ端末装置）を使って撮影することから得られる。撮影の際、カメラをズーム、パンするなどといったいくつかの動作が必要に応じて実行されうる。これらの動作はカメラの動きに対応し、異なる動作は異なる型の動きに対応する。撮影者は撮影中、異なる調整（たとえばまず並進して次いでフォーカスを合わせ、次に静止するなど）を実行する必要があることがあるので、典型的にはビデオ・ファイルは多様な型の動きを含みうる。
【０００４】
撮影者は、カメラを主として、関心対象オブジェクトの重要性の程度に鑑みて調整する。たとえば、撮影者が遠方の人物の動作を撮影することに重点を置くとき、カメラがその人物に向けられたのち、シーン内に表示されるその人物を拡大するようカメラをズームすることがある。対応して、ビデオ・ファイルがフォーカス合わせ（focusing）の動きなどの型を含む場合、その型の動きに対応するビデオの部分の内容は典型的には撮影者にとって格別関心のあるものであるはずであり、したがってビデオ・ファイルの重要な内容、さらにはビデオ・ファイルを代表できる主要な内容であることがある。この部分の内容は、ビデオ・ファイルのサマリーのために抽出されることができる。
【０００５】
したがって、カメラ動きの効果的な検出はビデオ管理および解析システムにとって決定的に重要になっている。ビデオ取得の際のカメラの動きの型に基づいて、ビデオはより便利にブラウズでき、ビデオの主要内容がより簡単に取得でき、さらにビデオ・ファイルのサマリーが、該ビデオ・ファイルのさらなる取り出しなどに資するよう、便利に取得できる。
【０００６】
既存のビデオ管理および解析システムは、ビデオ・ファイルからカメラの動きの型を解析し、さらに高レベルの情報、たとえば撮影意図などを取得することができる。しかしながら、従来技術においてビデオ・ファイルからカメラの動きの型を解析する際には、いくつかの特殊な事例は精確に検出されず、あるいは検出エラーが起こりうる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに鑑み、本発明の諸実施形態は、ビデオにおけるカメラの動きの型をより効果的かつ精確に検出するよう、ビデオにおけるカメラ動きの型を検出する方法および装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の諸実施形態のある側面によれば、ビデオにおけるカメラ動きの型を検出する方法であって：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する段階と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する段階と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する段階とを含む方法が提供される。
【０００９】
本発明の諸実施形態のもう一つの側面によれば、ビデオにおけるカメラ動きの型を検出するもう一つの方法であって：ビデオにおけるズーム動きパラメータを取得する段階と；前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出する段階と；前記ビデオ・セグメント内の各フレームのフォーカス位置（focal point position）〔関心の中心の位置〕を計算する段階と；各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証する段階とを含む方法が提供される。
【００１０】
本発明の諸実施形態のあるさらなる側面によれば、ビデオにおけるカメラ動きの型を検出する装置であって：ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置が提供される。
【００１１】
本発明の諸実施形態のもう一つの側面によれば、ビデオにおけるカメラ動きの型を検出するもう一つの装置であって：ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証するよう構成された検出結果検証ユニットとを有する装置が提供される。
【００１２】
さらに、本発明のもう一つの側面によれば、情報処理装置上で実行されたときに該情報処理装置に、本発明に基づく、ビデオにおけるカメラ動きの型を検出する上記の方法を実行させる機械可読プログラム・コードを含む記憶媒体も提供される。
【００１３】
さらに、本発明のあるさらなる側面によれば、情報処理装置上で実行されたときに該情報処理装置に、本発明に基づく、ビデオにおけるカメラ動きの型を検出する上記の方法を実行させる機械実行可能命令を含むプログラム・プロダクトも提供される。
【００１４】
本発明の諸実施形態に基づく上記の方法では、ゆっくりしたズームという動きの型は、「二つのズーム動きパラメータ」により検出できる。ここではまず、隣接するフレームどうしの間の前記第一のズーム動きパラメータが推定され、そのパラメータが前記第一の事前設定条件を満たす場合に、数フレーム空けたフレームどうしの間で前記第二のズーム動きパラメータが推定され、その第二のズーム動きパラメータが前記第二の事前設定条件を満たす場合に、これらのフレームに対応するビデオ・セグメントにおいて、カメラ動きの型は、ゆっくりしたズームとして識別できる。
【００１５】
さらに、本発明の諸実施形態では、ビデオ・ファイルにおけるカメラ動きの型の検出結果が前記動きパラメータとともに取得され、フォーカス合わせの検出結果をもつビデオ・セグメントについて、そのビデオ・セグメント中の各フレームのフォーカスの位置がさらに計算され、次いでそのビデオ・セグメントの検出結果がそれぞれのフレームのフォーカスの位置に鑑みて検証される。明らかに、本発明のこれらの実施形態では、ビデオ・セグメントに対応する動きの型が実際にフォーカス合わせの動きであるかどうかは、さらに検証されることができ、それにより検出の精度が改善できる。
【００１６】
本発明の諸実施形態の他の側面は以下の詳細な説明において呈示される。詳細な説明は、本発明の好ましい実施形態を十全に開示するためのものであって、本発明を限定するものではない。
【図面の簡単な説明】
【００１７】
本発明の諸実施形態の上記のおよびその他の目的および利点は以下で個別的な実施形態との関連で、図面を参照しつつさらに記述される。図面において、同一のまたは対応する技術的特徴または構成要素は、同一のまたは対応する参照符号で示される。
【図１】本発明のある実施形態に基づく第一の方法を示すフローチャートである。
【図２】本発明のある実施形態に基づく第二の方法を示すフローチャートである。
【図３】本発明のある実施形態に基づく第一の装置を示す概略図である。
【図４】本発明のある実施形態に基づく第二の装置を示す概略図である。
【図５】本発明のある実施形態において使用される情報処理装置のパーソナル・コンピュータの例示的な構造を示すブロック図である。
【発明を実施するための形態】
【００１８】
本発明の諸実施形態について、図面を参照しつつ以下で述べる。
【００１９】
まず、本発明者らは、本発明の際、従来技術の方法でのビデオにおけるカメラの動きの型の検出には、少なくとも以下の問題があることを見きわめた。
【００２０】
一方では、ズーム動きの型は一般に、従来技術では次のようにして検出される。ビデオにおける隣接するフレームどうしの間のズーム動きパラメータが推定され、そのズーム動きパラメータがある事前設定閾値を上回れば、ズーム動きの型の特徴が満たされ、さらに、対応するフレームから構成されるビデオ・セグメントにおいて、カメラの動きの型がズームであると判別できる。明らかに、この方法ではズーム動きの型の検出にとって、閾値の選択が重要であり、閾値は高すぎても低すぎてもいけない。閾値が高すぎると、本来ならズーム動きの型として検出されるはずの動きの型が検出できず、低すぎると、かなりのノイズが生じる。すなわち、ズーム動きの型以外の型の動きが、ズーム動きの型として検出されることがある〔偽陽性〕。したがって、検出において使われる標準的な閾値は、典型的には、ビデオのフレーム・レートに基づき、かつ標準的なズーム動きを検出することによって、中間的な値に設定される。
【００２１】
明らかに、この検出方法は標準的なズーム動きについてはうまく機能するが、実際上の応用ではゆっくりしたズームが生じることがある。すなわち、ユーザーは撮影によってビデオを取得する際にあまりにゆっくりズームを行い、そのため顕著なズーム特徴が対応するビデオ・セグメントに現れず、さらに隣接するフレームどうしの間の前記ズーム動きパラメータが、従来技術の方法での検出における前記事前設定閾値を下回ることがありうる。よって、このビデオ・セグメントのカメラの動きの型はズームとは識別できず、明らかに、これは実際の状況とは整合せず、誤りにつながる。
【００２２】
他方では、撮影されるシーンは、典型的には、ビデオの通常の撮影においては、カメラの焦点面とできるだけ平行なままであることが要求される。しかしながら、一部のアマチュア・ビデオ撮影者は、カメラを使ってビデオを取り込む際、撮影されるシーンをカメラの焦点面と非平行にしてしまうことがありうる。この場合にカメラが並進運動にかけられると、撮影によって取得されるビデオにおいて、オブジェクトは徐々に拡大され、それはセグメントにフォーカスを合わせるのと非常に似通っている。結果として、傾いているカメラのそのような並進運動は、ズーム動きの型を識別する上記の方法では、ビデオ・ファイルの検出におけるフォーカス合わせの動きと間違われることがありうる。明らかに、これも誤りにつながりうる。
【００２３】
従来技術に存在する上記の二つの問題に対する解決策が本発明の諸実施形態において提供される。それについて以下で詳述する。
【実施例１】
【００２４】
まず、図１を参照するに、本発明のある実施形態に基づく、ビデオにおけるカメラ動きの型を検出する第一の方法は次の諸段階を含む。
【００２５】
段階S101は、第一の推定ユニットによって、ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定する。
【００２６】
隣り合うフレームどうしの間のズーム動きパラメータを推定する段階は、従来技術の方法と同様に実行できる。たとえば、ビデオの各フレームがいくつかの画像ブロックに分割されることができ、局所的な探索方法において、各画像ブロックの動きベクトルが決定できる。動きベクトル場のグローバルな動きは、６個のパラメータを含む次のアフィン・モデルで記述できる。
u＝a1＋a2x＋a3y (1)
v＝a4＋a5x＋a6y
【００２７】
ここで、(x,y)は画像ブロックの位置を表し、既知であり、(u,v)はその画像ブロックの動きベクトルを表す。このモデルにおけるこれら６個のパラメータは、同じフレームにおける諸画像ブロックの位置およびそれらの対応する動きベクトルについての情報から、最小二乗法などを使って決定できる。すると、カメラの動きパラメータは、カメラの動きパラメータとモデルにおけるこれら６個のパラメータとの間の対応関係から計算できる。
【００２８】
特に、カメラのズームに対応する動きパラメータとモデルにおける前記パラメータのとの間の対応関係は次のようになる。
div＝0.5(a2＋a6) (2)
【００２９】
公式(2)において、divはカメラのズームに対応する動きパラメータを表し、記述の便宜上、単にズーム動きパラメータと称される。このズーム動きパラメータの取得後、このズーム動きパラメータを用いて、カメラ動きの型がズームであるセグメントがビデオ中に存在するかどうかが検出されることができる。たとえば、a2およびa6が同じ符号をもつ（両方とも正または両方とも負）場合、divは事前設定閾値と比較され、比較の結果から、カメラの対応する動きの型がズームであるかどうかが判定される。
【００３０】
ビデオが実際にはいくつものスチール画像のフレームから構成され、よってカメラの動きパラメータの概念は動きに関係しており、よってある別個のフレームの画像においては具現できないことを注意しておく必要がある。したがって、動きパラメータは実際には、異なるフレームの間の画像ブロックの相対的な位置関係から計算される。よって、上述したような「動きベクトル」の概念は、二つのフレームを解析することによって得られる、それら二つのフレームの間の動きベクトルのことをいう。さらに、カメラの動きパラメータの概念も、それら二つのフレームに基づいて取得されたカメラの動きパラメータをいう。
【００３１】
上記の分析から明らかなように、ビデオにおける隣り合うフレームどうしのズーム動きパラメータは、まずビデオにおける隣り合うフレームに関し各画像ブロックの動きベクトルを推定し、次いでそれを公式(1)で変換し、次に公式(2)に従ってdivを導出することによって推定できる。ビデオ内に総数１０個のフレームがあるとする（もちろん、実際上のフレーム数はこの数よりずっと多く、この数はここでは単に記述の便宜上の例として想定されているに過ぎない）。隣り合うフレームの対は９対あり、よってそれら隣り合うフレームについて９個のズーム動きパラメータが計算できる。たとえば、第一のフレームと第二のフレームの間のズーム動きパラメータはdiv12と表現でき、第二のフレームと第三のフレームの間のズーム動きパラメータはdiv23と表現でき、以下同様である。
【００３２】
ステップS102は、前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、第二の推定ユニットによって、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定する。
【００３３】
ステップS103は、前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、判別ユニットによって、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する。
【００３４】
具体的には、前記第一の事前設定条件は、前記第一のズーム動きパラメータがある第一の事前設定された閾値より高いということであってもよい。前記第一の事前設定された閾値は、従来技術の閾値より若干小さいことができる。前記パラメータが前記第一の事前設定閾値を上回る場合、それは、対応するビデオ・セグメントがズーム動きのものである可能性があるということを意味するが、さらなる検出にかけられる。もちろん、前記第一の事前設定条件は上記以外の形で設定されることもできる。たとえば、該条件は、いくつかの隣接する連続するフレームのズーム動きパラメータが前記第一の事前設定された閾値を上回る場合にのみ満たされると判別してもよい。あるいは、前記第一のズーム動きパラメータを大きさなどに関して前記第一の事前設定閾値と比較した結果に応答して別の条件が設定されてもよい。本発明はこの点に関して限定されるものではない。
【００３５】
理解の便のため、まず、本稿における「ビデオ・セグメント」の意味を以下に導入しておく。ビデオ・セグメントは、ビデオに含まれる諸フレームの一部からなり、前記第一のズーム動きパラメータが前記第一の事前設定条件を満たす場合の対応するビデオ・セグメントとは、前記第一の事前設定条件を満たす前記第一のズーム動きパラメータに対応するフレームからなるビデオ・セグメントをいう。たとえば、計算されたdiv12、div23、div34およびdiv45がみな前記第一の事前設定条件を満たすなら、対応するビデオ・セグメントは、このビデオにおける第一ないし第四のフレームから構成されるセグメントを指すことができる。もちろん、第二ないし第五のフレームから構成されるセグメントまたは第一ないし第五のフレームから構成されるセグメントなどを指すこともできる。すなわち、二つの隣接するフレームに関して推定された動きパラメータについて、該動きパラメータは、実際上何ら実質的な影響なしに（現実のビデオは典型的には多数のフレームを含み、一つや二つのフレームの効果は人間の目による観察にとっては無視できるので）、直前フレーム、後続フレームまたは両方に対応することができる。本発明によれば、前記パラメータが二つのフレームに対応するとすると、対応するビデオ・セグメントはそのビデオにおける第一ないし第五のフレームから構成されるセグメントと等価である。
【００３６】
すなわち、本発明の実施形態では、当該ビデオにおける第一ないし第五のフレームから構成されるセグメントがゆっくりしたズームの動き型でありうるか否か、よってさらなる判定にかけられる必要があるかどうかが予備的に判定される。特に、事前設定された数のフレームおきのフレーム間の第二のズーム動きパラメータが、このビデオ・セグメントについて推定される。特に、事前設定データは実際上要求されるように（たとえば、フレーム・レートなどの因子に鑑みて）設定されることができる。本発明はこの点に関して限定されるものではない。
【００３７】
たとえば、パラメータが二つ空けたフレームのズーム動きパラメータであるとすると、等価だが、上述の例において、第一のフレームと第四のフレームの間のズーム動きパラメータdiv14および第二のフレームと第五のフレームの間のズーム動きパラメータdiv25が推定され、さらに、これら二つのズーム動きパラメータが第二の事前設定条件を満たすかどうかが判定される。具体的には、第二の事前設定条件は、ある第二の閾値について設定されることもできる。たとえば、第二のズーム動きパラメータが第二の閾値を上回る場合に第二の事前設定条件が満たされる、あるいは、ある数の連続する第二のズーム動きパラメータがみな第二の事前設定閾値を上回る場合に第二の事前設定条件が満たされる、などである。換言すれば、div14およびdiv25の両方がある第二の閾値を上回るとすると、第一ないし第五のフレームから構成されるビデオ・セグメントに対応するカメラ動き型がゆっくりしたズームとして判別される。
【００３８】
具体的には、上述した方法は、数個空けたフレーム毎のズーム動きパラメータの推定にも適用可能である。たとえば、第一のフレームと第四のフレームの間のズーム動きパラメータdiv14は、まず第一のフレームと第四のフレームの間の画像ブロックの動きベクトルを推定し、次いで公式(1)においてその動きベクトルを表現し、次いで対応するズーム動きパラメータ、すなわちdiv14を公式(2)に従って導出することによって推定できる。これは、他のフレーム間のズーム動きパラメータにも当てはまる。
【００３９】
本発明の実施形態に基づく上記の方法では、ズーム動きの型を検出する伝統的な方法でのいかなる衝突もなしに、特殊なカメラ動きの型、すなわちゆっくりしたズームについて新しい検出方法が提供されることになることを注意しておく。たとえば、検出プロセスにおいて、まず、隣り合うフレームどうしの間の取得されたズーム動きパラメータが伝統的なズーム検出の条件を満たすかどうかが判定されることができ、もしそうであれば、プロセスは他のフレームに進む。そうでなければ、本発明の実施形態においてパラメータが第一の事前設定条件を満たすかどうかが判定され、もしそうであれば、数フレーム空けたフレーム間のズーム動きパラメータが取得され、本発明の実施形態において、その取得されたズーム動きパラメータが第二の事前設定条件を満たすかどうかがさらに判定され、もしそうであれば、対応するビデオ・セグメントはゆっくりしたズームの動き型であると判定される。
【００４０】
本発明の実施形態において、ズームが二つのカテゴリーに分割されることをさらに注意しておく。一つのカテゴリーは、画像をスケールアップするためのもので、フォーカス合わせ（focusing）と称される〔ズームイン〕。逆に、他方のカテゴリーは、画像をスケールダウンするためのものである〔ズームアウト〕。よって、推定されるズーム動きパラメータdivの値は正または負でありうる。したがって、事前設定された閾値と比較される場合において、divの絶対値が事前設定閾値と比較され、その大きさが条件を満たす場合、divの正または負の符号から、フォーカス合わせまたはそれと逆のズームがアクティブであるかどうかがさらに判定できる。
【００４１】
もちろん、判定が第一の事前設定条件または第二の事前設定条件のどちらに関してなされようとも、そのような事前条件はa2およびa6の両方が同じ符号をもつ（両方とも正または両方とも負）と推定されることを前提にしている。対応するカメラ動きの型がズームとなるのは、両方のパラメータが同じ符号である場合のみだからである。
【００４２】
明らかなように、本発明の実施形態において、比較的特殊なカメラ動き型、すなわちゆっくりしたズームについて、有効な検出方法が提供でき、したがって、標準的なズーム動きのみを検出できる方法に対して、検出の有効性および精確さが改善できる。
【実施例２】
【００４３】
上述した従来技術に存在する他方の問題に鑑み、本発明のある実施形態はさらに、ビデオにおけるカメラ動きの型を検出するもう一つの方法を提供する。図２を参照するに、この方法は以下のステップを含む。
【００４４】
ステップS201は、動きパラメータ取得ユニットによって、ビデオにおけるズーム動きパラメータを取得する。
【００４５】
ステップS202は、動き型検出ユニットによって、前記ズーム動きパラメータに従って、ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出する。
【００４６】
ステップS201においてズーム動きパラメータを取得し、ステップS202においてビデオに含まれる、フォーカス合わせのカメラ動き型をもつビデオ・セグメントを検出するのは、いずれも、特に従来技術のようにしてできる。もちろん、ゆっくりしたズームの動きの型の識別が要求される場合には、上記の方法が適用できる。
【００４７】
ステップS203は、フォーカス位置計算ユニットによって、前記ビデオ・セグメント内の各フレームのフォーカス位置を計算する。
【００４８】
ステップS204は、検出結果検証ユニットによって、各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証する。
【００４９】
実施形態の詳細な説明の冒頭で述べたように、偽陽性としてズーム動きの型が判別されることがあり、実際には一種の並進動きであることがあり、撮影者がカメラをあまりに傾け、撮影されたシーンがカメラの焦点面に平行でないためであることがありうる。
【００５０】
したがって、そのような誤りを避けるために、初期検出においてフォーカス合わせの型として検出されたビデオ・セグメントが、本発明の本実施形態では、さらなる検出にかけられる。特に、検出結果がフォーカス合わせであるビデオ・セグメントにおける各フレームのフォーカス位置が計算される。実際にズーム動きがアクティブであれば、各フレームのフォーカス位置は明らかに変わらない。もしそうでなく、撮影されるシーンがカメラの焦点面に平行でないためにオブジェクトが徐々に大きくなるのであれば、それに対応する各フレームのフォーカス位置は著しく変化するであろう。よって、フォーカス合わせの型として検出されたビデオ・セグメントの検出結果は、フォーカスの位置の変動の観点でさらに検証されることができる。
【００５１】
特に、個々のフレーム間のフォーカスの位置の差が事前設定された閾値より低い場合、ビデオ・セグメントの検出結果はフォーカス合わせとして判定される。たとえば、個々のフレームのフォーカスの位置が計算されたのち、二つの隣り合うフレーム毎の間のフォーカスの位置が比較されることができ、二つの隣り合うフレーム毎の間のフォーカスの位置がほとんど変化しない場合、そのビデオ・セグメントに対応するカメラ動きの型は、フォーカス合わせとして判別できる。あるいは、二つの隣り合うフレーム毎の間のフォーカスの位置がかなり変化する場合、そのビデオ・セグメントに対応するカメラ動きの型は、フォーカス合わせ以外として判別できる。もちろん、個々のフレームのフォーカスの位置の間の差の比較のために、必ずしも隣り合うフレームが比較のために選択されなくてもよい。計算量を低減し、効率を改善するために、たとえば、フォーカスの位置の比較のためにはいくつかのフレームが代替的に選択される、などでもよい。本発明はこの点に関して限定されるものではない。
【００５２】
具体的には、個別フレームのフォーカスの位置は次の方法で計算できる。
【００５３】
カメラのフォーカス位置の座標が(x0,y0)であるとして、次の動きモデルが考慮に入れられる：
u＝b1＋b2(x−x0)＋b3(y−y0) (3)
v＝b4＋b5(x−x0)＋b6(y−y0)
すなわち、
u＝(b1−b2x0−b3y0)＋b2x＋b3y (4)
v＝(b4−b5x0−b6y0)＋b5x＋b6y
である。
【００５４】
このモデルと公式(1)に示されるモデルとの間の対応関係に鑑み、次の公式
b1＝a1＋a2x0＋a3y0 (5)
b2＝a2
b3＝a3
b4＝a4＋a5x0＋a6y0
b5＝a5
b6＝a6
が成り立つ。
【００５５】
カメラがズームにかけられるときは、
b1＝0 (6)
b4＝0
すなわち、
a1＋a2x0＋a3y0＝0 (7)
a4＋a5x0＋a6y0＝0
である。
【００５６】
上記の連立方程式を解いてフォーカスの位置座標を導出することができる。
【００５７】
もちろん、各フレームのフォーカスの位置は他の仕方で計算することもでき、本発明はこの点に関して限定されるものではない。
【００５８】
検証プロセスにおいてフォーカス合わせ動きの型以外であると判定されたビデオ・セグメントは、特に従来技術のようにして、他のカメラ動きの型、たとえば回転、並進または静止であるかどうかに関するさらなる検出ラウンドにかけられることができる。その記述の反復はここでは割愛する。
【００５９】
明らかに、本発明の実施形態では、カメラが傾けられているときに撮影することによって取得される並進されたセグメントが、フォーカス合わせされたセグメントと間違われることを防止し、それにより効果的かつ精確な検出をもたらすことが可能である。
【実施例３】
【００６０】
本発明の実施形態に基づくビデオにおいてカメラ動きの型を検出する第一の方法に対応して、本発明のある実施形態は、ビデオにおけるカメラ動きの型を検出する装置を提供する。この装置は、図３に示されるように、ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニット３０１と；前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された数の間隔をもつフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニット３０２と；前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニット３０３とを含む。
【００６１】
特に、第二の推定ユニット３０２は、第一のズーム動きパラメータが第一の事前設定閾値より高い場合に、対応するビデオ・セグメント内の、事前設定された数を空けたフレーム間の第二のズーム動きパラメータを推定するよう構成されることができる。
【００６２】
特に、判別ユニット３０３は、第二のズーム動きパラメータが第二の事前設定閾値より高い場合に、ビデオ・セグメントのカメラ動きの型をゆっくりしたズームとして識別するよう構成されることができる。
【００６３】
すなわち、最初は、小さな閾値が設定されることができ、隣り合うフレームどうしの間のズーム動きパラメータが計算され、次いで該小さな閾値（標準的なズーム動きの検出に使われる標準的な閾値より小さい）と比較されることができる。そのパラメータがその閾値より大きければ、ゆっくりしたズームがアクティブである可能性があると判定される。もちろん、ノイズなどから帰結する動きパラメータの不正確な推定のため、他の型の動きがアクティブなのにゆっくりしたズームと間違われた可能性もある。したがって、本発明の実施形態では、さらなる検証が必要であり、特に、やや大きな閾値（これは標準的なズーム動きの検出で使われる上記標準的な閾値に近づいてもよい）が設定されることができ、次いで、数フレームおきのズーム動きパラメータが推定され、その閾値と比較されることができる。そのパラメータがその閾値より大きければ、上記の検出結果が検証されたことになり、対応するビデオ・セグメントのカメラ動きの型は、ゆっくりしたズームとして決定できる。
【００６４】
本発明の実施形態に基づく上記装置において明らかなように、ゆっくりしたズームの動きの型は、「二つのズーム動きパラメータ」により検出できる。ここでは、まず、隣接するフレームどうしの間の前記第一のズーム動きパラメータが推定され、そのパラメータが前記第一の事前設定条件を満たす場合に、数フレーム空けたフレームどうしの間で前記第二のズーム動きパラメータがさらに推定され、その第二のズーム動きパラメータが前記第二の事前設定条件を満たす場合に、これらのフレームに対応するビデオ・セグメントにおいて、カメラ動きの型は、ゆっくりしたズームとして識別できる。明らかに、ゆっくりしたズームの動きの型は、本発明の実施形態に基づく装置を用いて精確に識別できる。
【実施例４】
【００６５】
本発明の実施形態に基づく、ビデオにおけるカメラ動きの型を検出するもう一方の方法に対応して、本発明のある実施形態は、ビデオにおけるカメラ動きの型を検出するもう一つの装置を提供する。この装置は、図４に示されるように、ビデオにおけるカメラ動きパラメータを取得するよう構成された動きパラメータ取得ユニット４０１と；前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニット４０２と；前記ビデオ・セグメント内の各フレームのフォーカス位置を、フォーカス合わせの検出結果をもつビデオ・セグメントについて、計算するよう構成されたフォーカス位置計算ユニット４０３と；前記ビデオ・セグメントにおける各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証するよう構成された検出結果検証ユニット４０４とを含む。
【００６６】
特に、検出結果検証ユニット４０４は：個々のフレーム間のフォーカスの位置の差が事前設定された閾値より小さい場合に、ビデオ・セグメントにおけるカメラ動きの型がフォーカス合わせであると判定されるよう構成されることができる。
【００６７】
本発明の実施形態に基づく上記の装置において明らかなように、ビデオ・ファイルにおけるカメラ動きの型の検出結果が、動きパラメータとともに取得され、次いで、フォーカス合わせの検出結果をもつビデオ・セグメントについて、ビデオ・セグメント内の各フレームのフォーカスの位置がさらに計算され、ビデオ・セグメントの検出結果が、各フレームのフォーカスの位置に基づいて検証される。明らかに、本発明の実施形態では、ビデオ・セグメントに対応する動きの型が実際にフォーカス合わせの動きであるかどうかがさらに検証されることができ、それにより検出の精度を改善することができる。
【００６８】
本発明の実施形態に基づく上記装置は当該実施形態の上述した方法に対応しており、よって装置の実施形態において詳述しなかった部分については、方法の実施形態の対応する記載を参照でき、その記載の反復はここでは割愛していることを注意しておく。
【００６９】
さらに、上記の一連のプロセスおよび装置はソフトウェアおよび／またはファームウェアにおいて具現されることもできることを注意しておく。ソフトウェアおよび／またはファームウェアにおいて具現される場合、ソフトウェアを構成するプログラムは記憶媒体またはネットワークから専用のハードウェア構造をもつコンピュータにインストールされる。該コンピュータは、たとえば図５に示される、さまざまなプログラムがインストールされたときにさまざまな機能を実行できる汎用パーソナル・コンピュータ５００である。
【００７０】
図５では、中央処理装置（CPU）５０１が読み出し専用メモリ（ROM）５０２に記憶されている、または記憶部５０８からランダム・アクセス・メモリ（RAM）５０３にロードされたプログラムに従ってさまざまな処理を実行する。RAMには、CPU ５０１がさまざまな処理を実行するときに必要とされるデータも必要に応じて記憶される。
【００７１】
CPU ５０１、ROM ５０２およびRAM ５０３はバス５０４を介して互いに接続されている。バス５０４には入出力インターフェース５０５も接続されている。
【００７２】
以下のコンポーネントが入出力インターフェース５０５に接続される：キーボード、マウスなどを含む入力部５０６；陰極線管（CRT）、液晶ディスプレイ（LCD）などのディスプレイ、スピーカーなどを含む出力部５０７；ハードディスクなどを含む記憶部５０８；およびネットワーク・インターフェース・カード、たとえばLANカード、モデムなどを含む通信部５０９。通信部５０９はネットワーク、たとえばインターネットを通じた通信プロセスを実行する。
【００７３】
ドライブ５１０も必要に応じて入出力インターフェース５０５に接続される。取り外し可能型媒体５１１、たとえば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどが必要に応じてドライブ５１０に組み込まれることができる。それにより、該媒体から読み出されたコンピュータ・プログラムが必要に応じて記憶部５０８にインストールされることができる。
【００７４】
上記の一連のプロセスがソフトウェアで実行される場合、ソフトウェアを構成するプログラムはネットワーク、たとえばインターネットなどまたは記憶媒体、たとえば取り外し可能型媒体５１１などからインストールされる。
【００７５】
当業者は、記憶媒体は図５に示される、プログラムが記憶され、ユーザーに該プログラムを提供するために装置とは別個に頒布される取り外し可能型媒体５１１に限定されないことを理解するであろう。取り外し可能型媒体５１１の例は、磁気ディスク（フロッピー（登録商標）ディスクを含む）、光ディスク（コンパクトディスク読み出し専用メモリ（CD-ROM）およびデジタル多用途ディスク（DVD）を含む）、光磁気ディスク（ミニディスク（MD）（登録商標）を含む）および半導体メモリを含む。あるいはまた、記憶媒体はROM ５０２、記憶部５０８に含まれるハードディスクなどであってもよく、プログラムが記憶され、それを含む装置と一緒にユーザーに頒布されてもよい。
【００７６】
上記の一連のプロセスの段階は、必須ではないものの、記載される逐次順において実行されるのが自然であることを注意しておく。それらの段階のいくつかは、並行して、あるいは互いとは別個に実行されてもよい。
【００７７】
本発明およびその利点について詳細に述べてきたが、付属の請求項において定義される本発明の精神および範囲から外れることなく、さまざまな修正、代替および変形がなしうることは理解しておくべきである。さらに、本発明の実施形態における「含む」「有する」の語およびその任意の変形は非排他的な包含を意図しており、一連の要素を含むプロセス、方法、物品または装置は、それらの要素および明示的に挙げられていない他の要素またはプロセス、方法、物品または装置に内在的な一つまたは複数の要素の両方を含む。特に断りのない限り、「…を含む／有する」という表現は、その要素を含むプロセス、方法、物品または装置における追加的な同じ要素（単数または複数）の存在を排除しない。
【００７８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータが、
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定し；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定し；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
（付記２）
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定する処理が、
前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定することを含む、
付記１記載の方法。
（付記３）
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する処理が、
前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを含む、
付記１記載の方法。
（付記４）
コンピュータが、
ビデオにおけるズーム動きパラメータを取得し；
前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出し；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算し；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
（付記５）
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証する処理が、
各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定することを含む、
付記４記載の方法。
（付記６）
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置。
（付記７）
前記第二の推定ユニットが、前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定するよう構成されている、付記６記載の装置。
（付記８）
前記判別ユニットが、前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成されている、付記６記載の装置。
（付記９）
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；
前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証するよう構成された検出結果検証ユニットとを有する、
装置。
（付記１０）
前記検出結果検証ユニットが、各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定するよう構成されている、付記９記載の装置。
【符号の説明】
【００７９】
S101 ビデオにおける隣接フレーム間の第一のズーム動きパラメータを推定
S102 第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレーム間の第二のズーム動きパラメータを推定
S103 第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別
S201 ビデオにおけるズーム動きパラメータを取得
S202 ズーム動きパラメータに従ってビデオから、カメラ動きの型がフォーカシングであるビデオ・セグメントを検出
S203 ビデオ・セグメント内の各フレームのフォーカス位置を計算
S204 各フレームのフォーカス位置に従って、前記ビデオ・セグメントの検出結果を検証
３０１ 第一の推定ユニット
３０２ 第二の推定ユニット
３０３ 判別ユニット
４０１ 動きパラメータ取得ユニット
４０２ 動きパラメータ検出ユニット
４０３ フォーカス位置計算ユニット
４０４ 検出結果検証ユニット
５０１ CPU
５０２ ROM
５０３ RAM
５０４ バス
５０５ 入出力インターフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ 取り外し可能型媒体
【特許請求の範囲】
【請求項１】
コンピュータが、
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定し；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定し；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
【請求項２】
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定する処理が、
前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定することを含む、
請求項１記載の方法。
【請求項３】
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する処理が、
前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを含む、
請求項１記載の方法。
【請求項４】
コンピュータが、
ビデオにおけるズーム動きパラメータを取得し；
前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出し；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算し；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
【請求項５】
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証する処理が、
各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定することを含む、
請求項４記載の方法。
【請求項６】
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置。
【請求項７】
前記第二の推定ユニットが、前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定するよう構成されている、請求項６記載の装置。
【請求項８】
前記判別ユニットが、前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成されている、請求項６記載の装置。
【請求項９】
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；
前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証するよう構成された検出結果検証ユニットとを有する、
装置。
【請求項１０】
前記検出結果検証ユニットが、各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定するよう構成されている、請求項９記載の装置。
【請求項１】
コンピュータが、
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定し；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定し；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
【請求項２】
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定する処理が、
前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定することを含む、
請求項１記載の方法。
【請求項３】
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別する処理が、
前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別することを含む、
請求項１記載の方法。
【請求項４】
コンピュータが、
ビデオにおけるズーム動きパラメータを取得し；
前記ズーム動きパラメータに従って前記ビデオから、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出し；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算し；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証することを特徴とする、
ビデオにおけるカメラ動きの型を検出する方法。
【請求項５】
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証する処理が、
各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定することを含む、
請求項４記載の方法。
【請求項６】
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおける隣接するフレームどうしの間の第一のズーム動きパラメータを推定するよう構成された第一の推定ユニットと；
前記第一のズーム動きパラメータが第一の事前設定条件を満たす場合に、対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の第二のズーム動きパラメータを推定するよう構成された第二の推定ユニットと；
前記第二のズーム動きパラメータが第二の事前設定条件を満たす場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成された判別ユニットとを有する装置。
【請求項７】
前記第二の推定ユニットが、前記第一のズーム動きパラメータが第一の事前設定された閾値より大きい場合に、前記対応するビデオ・セグメントにおいて事前設定された間隔のフレームどうしの間の前記第二のズーム動きパラメータを推定するよう構成されている、請求項６記載の装置。
【請求項８】
前記判別ユニットが、前記第二のズーム動きパラメータが第二の事前設定された閾値より大きい場合に、前記ビデオ・セグメントのカメラ動きの型を、ゆっくりしたズームとして識別するよう構成されている、請求項６記載の装置。
【請求項９】
ビデオにおけるカメラ動きの型を検出する装置であって：
ビデオにおけるズーム動きパラメータを取得するよう構成された動きパラメータ取得ユニットと；
前記ズーム動きパラメータに従って前記ビデオにおいて、カメラ動きの型がフォーカス合わせであるビデオ・セグメントを検出するよう構成された動き型検出ユニットと；
前記ビデオ・セグメント内の各フレームのフォーカス位置を計算するよう構成されたフォーカス位置計算ユニットと；
各フレームのフォーカス位置に従って、前記ビデオ・セグメントの前記検出処理の結果を検証するよう構成された検出結果検証ユニットとを有する、
装置。
【請求項１０】
前記検出結果検証ユニットが、各フレームのフォーカス位置の変動が事前設定された閾値より小さい場合に、前記ビデオ・セグメントにおけるカメラ動きの型をフォーカス合わせであると判定するよう構成されている、請求項９記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２１７１６５（Ｐ２０１２−２１７１６５Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１２−７７５２２（Ｐ２０１２−７７５２２）
【出願日】平成２４年３月２９日（２０１２．３．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２４年３月２９日（２０１２．３．２９）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]