情報処理装置及び方法、並びにプログラム
【課題】探索先の動画像の中から探索元画像と一致する探索先のフレームを含むと判断される区間を探索する。
【解決手段】探索部８０は、探索元の動画像を構成するフレームを探索元画像として、探索先の動画像を構成するフレームのそれぞれについて、探索元画像との一致度を表す指標値を算出し、その指標値に基づいて、探索先の動画像の中から探索元画像と一致する探索先のフレームを含むと判断される区間を、第１の探索先区間として探索し、区間判定部８４は、所定の演算を行い、その演算結果に基づいて、探索元画像と一致する探索先の単位画像を含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索する。本発明は、例えば、情報処理装置に適用できる。
【解決手段】探索部８０は、探索元の動画像を構成するフレームを探索元画像として、探索先の動画像を構成するフレームのそれぞれについて、探索元画像との一致度を表す指標値を算出し、その指標値に基づいて、探索先の動画像の中から探索元画像と一致する探索先のフレームを含むと判断される区間を、第１の探索先区間として探索し、区間判定部８４は、所定の演算を行い、その演算結果に基づいて、探索元画像と一致する探索先の単位画像を含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索する。本発明は、例えば、情報処理装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索することができるようになった情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像データを編集する従来の編集手法として、オリジナルの画像データを構成するフレームの幾つかに、編集のための処理を施し、処理後のフレームを含む編集後の画像データを記録する、といった手法が存在する。
【０００３】
この従来の編集手法において、例えば、図１に示されるように、オリジナルの画像データを構成するフレームP1、P2、P3、・・・のうちのフレームP2について、編集のための処理を指示するユーザ操作（以下、編集操作と称する）として、図中点線で囲まれた部分の拡大を指示する編集操作Eが行われたとする。この場合、フレームP2に対して、編集操作Eに従ってズーム処理が施され、処理後のフレームP’2を含むフレームP1、P’2、P3・・・で構成される編集後の画像データが記録される。
【０００４】
しかしながら、オリジナルの画像データがCOPY ONCEの画像データである場合、編集後の画像データを記録できないことから、上述の従来の編集手法は適用できない。
【０００５】
そこで、オリジナルの画像データに処理を施さない編集手法が提案されている（例えば、特許文献１参照）。この特許文献１の編集手法では、オリジナルの画像データの各回の再生時に再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームと同一のフレームを探索する。探索されたフレームに対して、その編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する。
【０００６】
即ち、例えば、図２に示されるように、オリジナルの画像データの初回の再生や編集時に、再生された画像データを構成するフレームP1乃至P3から、それぞれ、特徴量U1乃至U3を抽出する。ここで、図１における場合と同様に、フレームP2に対して編集操作Eが行われたとする。この場合、フレームP2から抽出された特徴量U2と編集操作Eとを対応付けて保持する。その後、オリジナルの画像データの２回目以降の再生時に、再生された画像データを構成する各フレームから特徴量を抽出する。次に、保持されている特徴量の中から、抽出された特徴量と同一の特徴量を検出する。なお、以下、この特徴量の検出を特徴量のマッチングと称する。この特徴量のマッチングにより、例えば、保持されている特徴量U2と同一の特徴量が検出された場合、その特徴量が抽出されたフレームに対して、編集操作Eの指示に従った処理が施される。このようにして、２回目以降の再生時に再生された画像データを構成するフレームのうち、初回の編集時になされた編集操作がなされたフレームと同一のフレームを探索する。探索されたフレームに対して、その編集操作により指示される処理を施す。その結果、処理後のフレームを含む編集後の画像データを表示することが可能となる。
【特許文献１】特開２００７−３００４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上説明したように、上述した特許文献１の編集手法では、初回の再生や編集時に再生された画像データの中から、２回目以降の再生時に再生されたフレームと同一のフレームを探索する。
【０００８】
ここで、初回の再生や編集時に再生された画像データが、探索される側の画像データとなっている。この探索される側の画像データを、以下、探索先の画像データと称する。また、２回目以降の再生時の画像データが、探索の対象とされる側の画像データとなっている。探索の対象とされる側の画像データを、以下、探索元の画像データと称する。
【０００９】
この同一のフレームを探索するフレーム探索技術は、各回の再生時に再生されるフレームに完全再現性があり、したがって、各回の再生時に再生されるフレームから抽出される特徴量にも完全再現性があることが前提となっている。
【００１０】
しかしながら、再生機によって記録媒体から画像データが再生される場合、同一再生機によって同一記録媒体から画像データが再生されても、ノイズや信号処理によって、各回の再生時に再生されるフレームの完全再現性が損なわれることが確認されている。
【００１１】
一方、上述した特許文献１の編集手法では、再生回が異なる２つの画像データを、それぞれ、探索先の画像データ、探索元の画像データとしている。そのため、探索先の画像データの中から、探索元のフレームと同一のフレームを探索しても、同一のフレームを見つけることができない場合がある。
【００１２】
以上、処理単位がフレームである場合を例に説明したが、処理単位をフィールドにしても同様の問題が発生する。以下、このようなフィールドやフレームといった画像データの処理単位を、単位画像と称する。即ち、この問題は、単位画像を探索する従来の探索手法についても同様に生じる問題である。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索できるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の情報処理装置は、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値を算出し、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索する第１の探索手段と、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間を探索する第２の探索手段とを備える。
【００１５】
前記第２の探索手段には、前記探索元の動画像の第１の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間と、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間とを用いる前記所定の演算を行わせ、その演算結果に基づいて、前記第１の探索手段により前記第１の単位画像を用いて探索された前記第１の探索先区間よりも狭い前記第２の探索先区間を探索させることができる。
【００１６】
前記第１の探索手段には、前記探索先の動画像のうち、前記第１の指標値が極値となる２つの単位画像で挟まれた区間を、前記第１の探索先区間として探索させることができる。
【００１７】
前記第１の探索手段には、前記探索先の動画像のうち、前記第１の指標値が所定の閾値以下となる単位画像の中から、前記第１の指標値が極値となる前記２つの単位画像を選択させることができる。
【００１８】
前記第２の探索手段には、前記所定の演算に用いる前記第１の探索区間として、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間の代わりに、その第１の探索先区間を所定の規則に従って時間方向にずらした後の第１の探索先区間を用いさせることができる。
【００１９】
前記第１の探索手段には、さらに、前記探索先の動画像を構成する単位画像のそれぞれについて、前記第１の指標値が最小値となる探索先の単位画像との一致度を表す第２の指標値を算出し、前記探索先の動画像のうち、前記第２の指標値が所定の閾値以下となる単位画像を含む区間を、前記第１の探索先区間として探索させることができる。
【００２０】
本発明の一側面の情報処理方法は、情報処理装置が、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索するステップを含む。
【００２１】
本発明の一側面のプログラムは、コンピュータに実行させるプログラムとして、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索するステップを含む。
【００２２】
本発明の一側面においては、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値が算出され、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間が、第１の探索先区間として探索され、所定の演算が行われ、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間が探索される。
【発明の効果】
【００２３】
本発明によれば、探索先の動画像の中から探索元画像と一致する探索先の単位画像を含むと判断される区間を探索することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２５】
図３は、本発明を適用した編集システム１０の一実施の形態の構成例を示す図である。
【００２６】
編集システム１０は、上述した特許文献１の編集手法と同様に、オリジナルの画像データに処理を施さない編集手法を採用している。即ち、編集システム１０は、オリジナルの画像データの２回目以降の再生時に再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームを探索する。編集システム１０は、探索されたフレームに対して、その編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する。
【００２７】
編集システム１０は、画像再生部１２、画像処理装置１３、リモートコントローラ１４、及び表示部１５から構成されている。さらに、図３では、編集システム１０には、例えば、DVD（Digital Versatile Disc）等の記録メディア１１が装着されている。記録メディア１１には、画像データを含むコンテンツが予め記録されている。この画像データは、所定の形式でエンコードされた状態で記録メディア１１に記録されている。
【００２８】
画像再生部１２は、記録メディア１１から画像データを読み出し、その画像データを構成する各フレームを順次デコードし、画像処理装置１３に順次供給する。
【００２９】
画像処理装置１３は、画像再生部１２からのフレームを用いて、後述する画像処理を実行する。なお、画像処理の詳細は、図４を参照して後述する。
【００３０】
リモートコントローラ１４は、キーやボタン等から構成される。リモートコントローラ１４は、フレームに対する処理等を指示するときにユーザにより操作され、その操作に応じて操作信号を発生する。また、リモートコントローラ１４は、発生した操作信号に応じて赤外線等からなる発光パターンを生成し、画像処理装置１３の受光部４４に対して発光する。
【００３１】
表示部１５は、画像処理装置１３からの画像データに基づいて、画像を表示する。
【００３２】
次に、画像処理装置１３の構成例について説明する。
【００３３】
画像処理装置１３は、特徴量抽出部４１、フレームマッチング処理部４２、記録ブロック４３、受光部４４、操作情報認識部４５、設定情報決定部４６、遅延部４７、及び反映部４８から構成される。
【００３４】
特徴量抽出部４１は、画像再生部１２から供給されるフレームから特徴量を抽出し、フレームマッチング処理部４２、及び記録ブロック４３の後述する特徴量設定情報記録部６１に供給する。
【００３５】
いま、２回目以降の再生時の画像データが画像再生部１２から出力されているとする。この場合、フレームマッチング処理部４２は、特徴量抽出部４１からの特徴量に対応するフレームを探索元のフレームとする。即ち、フレームマッチング処理部４２は、２回目以降の再生時のフレームを探索元のフレームとする。また、フレームマッチング処理部４２は、特徴量設定情報記録部６１に記録されている特徴量に対応するフレームを探索先のフレームとする。即ち、フレームマッチング処理部４２は、初回の再生や編集時のフレームを探索先のフレームとする。この場合、フレームマッチング処理部４２は、探索先のフレームの中から、探索元のフレームと同一のフレームを探索するフレームマッチング処理を実行する。フレームマッチング処理部４２は、フレームマッチング処理の結果得られる同一のフレームについての情報、即ち、例えば、そのフレームの特徴量についての後述する記録位置を特徴量設定情報読出部６２に供給する。
【００３６】
記録ブロック４３は、特徴量設定情報記録部６１及び特徴量設定情報読出部６２から構成される。特徴量設定情報記録部６１は、画像再生部１２から初回の再生や編集時の画像データが出力されている場合、特徴量抽出部４１からの特徴量を内部の記憶領域に記録する。但し、設定情報決定部４６から後述する設定情報が供給された場合、特徴量設定情報記録部６１は、その設定情報と対応付けて、特徴量抽出部４１からの特徴量を記録する。この設定情報が記録されることにより、前述の編集操作が記録されることになる。特徴量設定情報読出部６２は、フレームマッチング処理部４２からの特徴量の記録位置から、フレームマッチング処理により探索された探索先のフレームの特徴量を特定する。特定された特徴量に対応付けて記録されている設定情報がある場合、特徴量設定情報読出部６２は、その設定情報を設定情報決定部４６に供給する。
【００３７】
受光部４４は、リモートコントローラ１４からの光を受光し、その光の発光パターンをリモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。
【００３８】
操作情報認識部４５は、操作信号に基づいて、リモートコントローラ１４に対してなされた編集操作等のユーザ操作を認識する。操作情報認識部４５は、認識されたユーザ操作に関する操作情報を、認識結果として特徴量設定情報記録部６１及び設定情報決定部４６に供給する。なお、操作情報認識部４５は、操作信号に基づいて、記録ブロック４３の状態をオン状態またはオフ状態に制御することも可能である。
【００３９】
設定情報決定部４６は、操作情報認識部４５または特徴量設定情報読出部６２から供給される情報に基づいて、設定情報を決定し、その設定情報を反映部４８に供給する。但し、設定情報決定部４６は、操作情報認識部４５または特徴量設定情報読出部６２から、操作情報または設定情報が供給されない場合、反映部４８に設定情報を供給しない。
【００４０】
なお、上述した設定情報とは、遅延部４７で遅延されたフレームに施す処理内容を反映部４８に対して指示するための情報をいう。即ち、設定情報としては、例えば、フレームに対して施すズーム処理のズーム倍率や、ズームの中心位置といった情報を採用することができる。
【００４１】
遅延部４７は、画像再生部１２からのフレームを一時的に記憶し、所定の遅延時間だけ遅延させて、反映部４８に供給する。
【００４２】
反映部４８は、設定情報決定部４６から設定情報が供給された場合、遅延部４７からのフレームにその設定情報に従った処理を施し、処理後のフレームを表示部１５に表示させる。これにより、リモートコントローラ１４に対するユーザ操作の操作内容が表示部１５に表示される画像に反映される。あるいは、反映部４８は、設定情報決定部４６から設定情報が供給されない場合、遅延部４７からのフレームに処理を施さずにそのまま表示部１５に表示させる。
【００４３】
次に、図４のフローチャートを参照して、画像処理装置１３による画像処理の一例について説明する。
【００４４】
なお、以降の説明においては、記録ブロック４３の状態は、オン状態に制御されているとする。
【００４５】
ステップＳ１において、特徴量抽出部４１は、画像処理装置１３に入力されるフレームのフレーム番号Nを1に初期化する。
【００４６】
ステップＳ２において、特徴量抽出部４１は、画像処理装置１３に新しいフレームが入力されたか否かを判定する。
【００４７】
画像処理装置１３に新しいフレームが入力されない限り、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻され、ステップＳ２の処理が繰り返される。
【００４８】
その後、画像処理装置１３に新しいフレームが入力されると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。ステップＳ３において、遅延部４７は、入力されたフレーム、即ち、フレーム番号Nのフレームを記憶し、例えば、１フレーム分の遅延時間だけの遅延を開始する。
【００４９】
ステップＳ４において、特徴量抽出部４１は、フレーム番号Nのフレームから特徴量を抽出する。
【００５０】
ステップＳ５において、操作情報認識部４５は、フレーム番号Nのフレームに対する編集操作があったか否かを判定する。
【００５１】
フレーム番号Nのフレームに対する編集操作が操作信号から認識されなかった場合、ステップＳ５においてＮＯであると判定され、処理はステップＳ１１に進む。但し、ステップＳ１１以降の処理については後述する。
【００５２】
これに対して、フレーム番号Nのフレームに対する編集操作が操作信号から認識された場合、ステップＳ５においてＹＥＳであると判定され、処理はステップＳ６に進む。
【００５３】
ステップＳ６において、設定情報決定部４６は、認識された編集操作に基づいて、フレーム番号Nについての設定情報を決定し、特徴量設定情報記録部６１及び反映部４８に供給する。
【００５４】
ステップＳ７において、特徴量設定情報記録部６１は、フレーム番号Nについての特徴量と、フレーム番号Nについての設定情報とを対応付けて内部の記録領域に記録する。
【００５５】
ステップＳ８において、反映部４８は、フレーム番号Nについての設定情報に従った処理を、遅延部４７からのフレーム番号Nのフレームに施して表示部１５に表示させる。
【００５６】
ステップＳ９において、操作情報認識部４５は、画像処理の終了が指示されたか否かを判定する。
【００５７】
画像処理の終了を指示するユーザ操作が操作信号から認識された場合、ステップＳ９においてＹＥＳであると判定され、画像処理は終了する。
【００５８】
これに対して、画像処理の終了を指示するユーザ操作が操作信号から認識されない限り、ステップＳ９においてＮＯであると判定され、ステップＳ１０に進む。ステップＳ１０において、特徴量抽出部４１は、フレーム番号Nを1だけインクリメントする。そして、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
【００５９】
ところで、上述したように、ステップＳ５においてＮＯであると判定されると、処理はステップＳ１１に進む。ステップＳ１１において、特徴量設定情報記録部６１は、特徴量を記録するか否かを判定する。
【００６０】
このステップＳ１１の判定処理自体は特に限定されない。但し、例えば、本実施の形態では、画像再生部１２から初回の再生時の画像データが出力されている場合、特徴量設定情報記録部６１は、特徴量を記録すると判定する。これに対して、画像再生部１２から２回目以降の再生時の画像データが出力されている場合、特徴量設定情報記録部６１は、特徴量を記録しないと判定する。
【００６１】
即ち、画像再生部１２から初回の再生時の画像データが出力されている場合、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、特徴量設定情報記録部６１は、特徴量抽出部４１からの特徴量を記録する。その後、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６２】
これに対して、画像再生部１２から２回目以降の再生時の画像データが出力されている場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１３に進む。
【００６３】
ステップＳ１３において、フレームマッチング処理部４２は、フレーム番号Nについての特徴量に対応するフレームを探索元のフレームとし、また、特徴量設定情報記録部６１に記録されている特徴量に対応するフレームを探索先のフレームとする。フレームマッチング処理部４２は、探索先のフレームの中から、探索元のフレームとしてのフレーム番号Nのフレームと同一のフレームを探索するフレームマッチング処理を実行する。なお、フレームマッチング処理の詳細は、図７等を参照して後述する。
【００６４】
ステップＳ１４において、特徴量設定情報読出部６２は、フレーム番号Nの探索元のフレームについての同一のフレームの探索は成功だったか否かを判定する。
【００６５】
フレーム番号Nの探索元のフレームについての同一のフレームの探索は失敗との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６６】
これに対して、フレーム番号Nの探索元のフレームについての同一のフレームの探索は成功との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００６７】
ステップＳ１５において、特徴量設定情報読出部６２は、フレーム番号Nの探索元のフレームについて探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されているか否かを判定する。
【００６８】
探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されている場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。ステップＳ１６において、特徴量設定情報読出部６２は、その設定情報を特徴量設定情報記録部６１から読み出す。設定情報決定部４６は、その設定情報を、フレーム番号Nについての設定情報として反映部４８に供給する。その後、処理はステップＳ８に戻され、それ以降の処理が同様に実行される。
【００６９】
これに対して、探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されていない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１７に進む。
【００７０】
ステップＳ１７において、反映部４８は、遅延部４７で遅延されているフレーム番号Nのフレームを、そのまま表示部１５に表示させる。そして、処理はステップＳ９に戻され、それ以降の処理が同様に実行される。
【００７１】
次に、図５を参照して、図４のステップＳ４で特徴量抽出部４１が行う具体的な処理の一例について説明する。
【００７２】
特徴量抽出部４１は、例えば、次の順序で、フレームから特徴量を抽出する。
【００７３】
いま、フレーム番号Nのフレームが特徴量抽出部４１に入力されたとする。但し、特徴量抽出部４１は、フレーム番号1乃至N-1のフレームから、特徴量を既に抽出しているとする。
【００７４】
ステップＳaにおいて、特徴量抽出部４１は、例えば、フレーム番号Nのフレームと、その１つ前のフレーム番号N-1のフレーム同士の各画素についての差分絶対値をとり、その結果得られる画像であるフレーム間差分画像を、フレーム番号Nについてのフレーム間差分画像として算出する。
【００７５】
ステップＳbにおいて、特徴量抽出部４１は、フレーム番号Nのフレーム間差分画像をブロック化する。即ち、例えば、図５に示されるように、特徴量抽出部４１は、フレーム番号Nのフレーム間差分画像をb1乃至bkのブロックにブロック化する。ここで、kは、ブロック数を表している。
【００７６】
ステップＳcにおいて、特徴量抽出部４１は、ブロック毎に特徴量を求める。即ち、例えば、図５に示されるように、特徴量抽出部４１は、ブロックbi（1≦i≦k）毎に、そのブロック内における画素値の総和を特徴量piとして求める。
【００７７】
ステップＳdにおいて、特徴量抽出部４１は、ブロック毎に求められた特徴量をベクトル化する。即ち、例えば、特徴量抽出部４１は、ブロック毎に求められた特徴量p1乃至pkを、特徴量p1乃至pkのそれぞれを成分としたベクトルにベクトル化する。このベクトルがフレーム番号Nのフレームから抽出される特徴量である。この特徴量を、以下、Uと称する。即ち、特徴量Uは、式（１）で表される。
【００７８】
U = (p1, p2,・・・,pk) ・・・（１）
【００７９】
次に、図６を参照して、特徴量設定情報記録部６１の内部に記録される特徴量と設定情報についての記録位置の一例について説明する。
【００８０】
なお、特徴量設定情報記録部６１の内部に記録される特徴量は、フレームマッチング処理において、探索先のフレームの特徴量として利用される。そこで、特徴量設定情報記録部６１の内部に記録される特徴量を、以下、探索先の特徴量UDと称する。また、特徴量設定情報記録部６１の内部に探索先の特徴量UDと対応付けて記録される設定情報を、以下、Fと称する。
【００８１】
図６において、特徴量設定情報記録部６１内における２つの大きな長方形のうちの上側の長方形は、探索先の特徴量UDの記憶領域を示し、下側の長方形は、設定情報Fの記憶領域を示している。各記憶領域では、図示せぬ行ごとに図中左から右に向かってアドレスが付され、その行の右端に達すると、その下の行の左端から続けてアドレスが付されている。それ以降の行についても同様である。
【００８２】
なお、フレーム番号Nについての探索先の特徴量UDを、以下、UD、Nと称する。また、フレーム番号Nについての設定情報Fを、以下、FNと称する。
【００８３】
図６では、フレーム番号1についての探索先の特徴量UD、1は、アドレスAから記録される。このアドレスAを、以下、探索先の特徴量UD、1についての記録位置とする。フレーム番号1についての設定情報F1は、アドレスAのm倍のアドレスm×Aから記録される。このアドレスm×Aを、以下、設定情報F1についての記録位置とする。フレーム番号2についての探索先の特徴量UD、2は、アドレスAに１特徴量分の増分aが加算されたアドレスA+aから記録される。このアドレスA+aを、以下、探索先の特徴量UD、2についての記録位置とする。フレーム番号2についての設定情報F2は、アドレスA+aのm倍のアドレスm×(A+a)から記録される。このアドレスm×(A+a)を、以下、設定情報F2についての記録位置とする。フレーム番号3についての探索先の特徴量UD、3は、アドレスA+aに１特徴量分の増分aが加算されたアドレスA+2aから記録される。このアドレスA+2aを、以下、探索先の特徴量UD、3についての記録位置とする。フレーム番号3についての設定情報F3は、アドレスA+2aのm倍のアドレスm×(A+2a)から記録される。このアドレスm×(A+2a)を、以下、設定情報F3についての記録位置とする。以下、同様である。
【００８４】
次に、図７を参照して、図４のステップＳ１３の処理の概要、即ちフレームマッチング処理部４２が行うフレームマッチング処理の概要について説明する。
【００８５】
図７Ａ乃至図７Ｅでは、探索元及び探索先のフレームが正方形として模式的に示されている。
【００８６】
図７Ａの上段には、探索元のフレームFM1乃至FMnが示されている。なお、探索元のフレームFMj（1≦j≦n）の下付きの数字jは、そのフレームの探索元でのフレーム番号を示している。図７Ａの下段には、探索先のフレームFS1、FS2、・・・FS(End)のうちのFS1乃至FS8が示されている。なお、探索先のフレームFSm（1≦m≦End）のFSの右側の数字mは、そのフレームの探索先でのフレーム番号を示している。また、Endは、１以上の所定の整数である。
【００８７】
図７Ａでは、探索先のフレームFS1乃至FS8は、再生順に図中左から右に向かって時間軸tに沿って並べられている。なお、探索元のフレームFM1乃至FMnも図中左から右に向かって並べられている。しかしながら、探索元のフレームは、探索先のフレームと異なる再生回に再生されたフレームである。したがって、探索元のフレームFM1乃至FMnは、時間軸tとは全く異なる時間軸に沿って並べられている点に留意すべきである。
【００８８】
フレームマッチング処理部４２は、探索元のフレームを、探索対象とするフレームである探索元画像に設定する。フレームマッチング処理部４２は、探索先のフレームのそれぞれについて、探索元画像との一致度を表す指標値を算出する。なお、この指標値の詳細については、後述する。フレームマッチング処理部４２は、探索先のフレームの中から、指標値が所定条件を満たす探索先のフレームを複数検出する。検出した探索先の複数のフレームのうち、時間的に最も早い時刻に配置されたフレームを、以下、前端フレーム称する。これに対して、検出した探索先の複数のフレームのうち、時間的に最も遅い時刻に配置されたフレームを、以下、後端フレーム称する。ここで、検出した探索先の複数のフレームは、前端フレームと後端フレーム（以下、両端と略記する）で挟まれるフレーム群という捉え方ができる。フレームマッチング処理部４２は、例えば、両端で挟まれるフレーム群を、探索先のフレームの範囲を示す区間に変換する。この変換後の区間が、探索元画像についての探索すべき区間であり、以下、第１の探索先区間と称する。この第１の探索先区間は、後述するように、探索元画像と同一の探索先のフレームを含むと判断される区間となっている。
【００８９】
図７Ｂでは、フレームマッチング処理部４２は、探索元のフレームFM1を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM1との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、探索先のフレームFS2、FS4、及びFS6を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS4、及びFS6、即ち、両端FS2及びFS6で挟まれるフレーム群を第１の探索先区間PR1に変換する。この第１の探索区間PR1が、探索元画像FM1についての第１の探索先区間となる。
【００９０】
フレームマッチング処理部４２は、既に設定された探索元画像が存在する場合、設定されている探索元画像を含むと判断される区間であって、設定されている探索元画像についての第１の探索先区間よりも狭い第２の探索先区間を、既に設定されている探索元画像についての第１の探索先区間を用いて探索する。なお、第２の探索先区間が、設定されている探索元画像を含むと判断される区間であることについては、後述する。
【００９１】
図７Ｂでは、既に設定された探索元画像が存在しないので、第２の探索先区間の探索は実行されない。
【００９２】
フレームマッチング処理部４２は、新たな探索元のフレームを探索元画像に順次設定し、同様の処理を行う。
【００９３】
図７Ｃでは、フレームマッチング処理部４２は、探索元のフレームFM2を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM2との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS4、FS7、及びFS8を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS4、FS7、及びFS8、即ち、両端FS4及びFS8で挟まれるフレーム群を第１の探索先区間PR2に変換する。この第１の探索先区間PR2が、探索元画像FM2についての第１の探索先区間となる。
【００９４】
図７Ｃでは、既に設定された探索元画像FM1が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、探索元画像に既に設定された探索元のフレームFM1についての第１の探索先区間PR1を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FM2についての第１の探索先区間PR2との論理積を演算する。その結果、論理積の演算後の区間AR2が第２の探索先区間として得られる。この第２の探索先区間AR2が、探索元画像FM2についての第２の探索先区間となる。
【００９５】
図７Ｄでは、フレームマッチング処理部４２は、探索元のフレームFM3を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM3との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS2、FS4、及びFS7を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS4、及びFS7、即ち、両端FS2及びFS7で挟まれるフレーム群を第１の探索先区間PR3に変換する。この第１の探索先区間PR3が、探索元画像FM3についての第１の探索先区間となる。
【００９６】
図７Ｄでは、既に設定された探索元画像FM2が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、既に探索元画像に設定された探索元のフレームFM2についての第２の探索先区間AR2を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FM3についての第１の探索先区間PR3との論理積を演算する。その結果、論理積の演算後の区間AR3が第２の探索先区間として得られる。この第２の探索先区間AR3が、探索元画像FM3についての第２の探索先区間となる。
【００９７】
図７Ｅでは、フレームマッチング処理部４２は、探索元のフレームFMnを探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FMnとの一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS2、FS3、及びFS6を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS3、及びFS6、即ち、両端FS2及びFS6で挟まれるフレーム群を第１の探索先区間PRnに変換する。この第１の探索先区間PRnが、探索元画像FMnについての第１の探索先区間となる。
【００９８】
図７Ｅでは、既に設定された探索元画像FMn-1が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、既に探索元画像に設定された探索元のフレームFMn-1についての第２の探索先区間AR(n-1)を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FMn-1についての第１の探索先区間PRnとの論理積を演算する。その結果、論理積の演算後の区間ARnが第２の探索先区間として得られる。この第２の探索先区間ARnが、探索元画像FMnについての第２の探索先区間となる。
【００９９】
フレームマッチング処理部４２は、第２の探索先区間が１フレームの区間である場合、そのフレームが設定されている探索元画像と同一の探索先のフレームであると判断する。
【０１００】
図７Ｅでは、第２の探索先区間ARnは、フレームFS6の１フレームの区間となっている。したがって、フレームマッチング処理部４２は、このフレームFS6を、探索元画像FMn-1についての同一の探索先のフレームであると判断する。
【０１０１】
以上のように、フレームマッチング処理は、探索先の画像データの中から、探索元画像と同一のフレームを抽出する際に実行される処理である。フレームマッチング処理とは、探索元画像との一致度を表す指標値に基づいて、探索元画像と同一の探索先のフレームを含むと判断される区間を、第１の探索先区間として探索する処理である。さらに、所定の演算を行い、その演算結果に基づいて、探索元画像と一致する探索先のフレームを含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索する処理である。
【０１０２】
第１の探索先区間として探索される区間は、信号劣化の度合いが変化しても、その信号劣化の度合いに応じて探索元画像と同一の探索先のフレームを含むように変化する区間である。したがって、このフレームマッチング処理により、探索元画像と同一の探索先のフレームを含むと判断される区間をより確実に探索することができる。
【０１０３】
また、多くのフレーム探索技術では、画像処理によりフレームの探索を行うため、画像の動きによって信頼できる結果を得るまでに要する時間が異なっている。しかしながら、このフレームマッチング処理は、画像に比べてデータ量の少ないフレーム毎の指標値に基づいて区間を探索するので、処理時間を気にすることなく探索を行うことができる。
【０１０４】
さらに、フレームマッチング処理部４２は、探索元画像と同一の探索先のフレームを含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索するので、探索元画像と同一の探索先のフレームを含むと判断される区間を、精度よく探索することができる。
【０１０５】
次に、図８乃至図１４を参照して、図４のステップＳ１３の処理の具体的な内容、即ち、フレームマッチング処理部４２が行うフレームマッチング処理の具体的な内容について説明する。
【０１０６】
図８は、フレームマッチング処理部４２の構成例を示すブロック図である。
【０１０７】
いま、２回目以降の再生時の画像データが画像再生部１２から出力されているとする。この場合、特徴量距離算出部８１は、特徴量抽出部４１からの特徴量を入力する。この特徴量は、探索元画像の特徴量として利用される。この特徴量を、以下、探索元特徴量と称する。なお、特徴量距離算出部８１は、この探索元特徴量を入力すると同時に、探索元画像を設定したと把握することができる。特徴量距離算出部８１は、特徴量設定情報記録部６１からの探索先の特徴量を入力する。特徴量距離算出部８１は、探索先の特徴量のそれぞれに対して、探索元特徴量との距離（以下、特徴量距離と称する）を算出する。この特徴量距離が、探索先のフレームと探索元画像との一致度を表す指標値として用いられる。但し、探索先のフレームと探索元画像との一致度が高くなる程、特徴量距離は小さくなる点に留意すべきである。さらに、特徴量距離算出部８１は、特徴量距離を算出した探索先の特徴量の記録位置とその特徴量距離とを対応付けておく。
【０１０８】
極値個数算出部８２は、探索先のフレームの中から、特徴量距離が極値となるフレームを検出する。この特徴量距離が極値となるフレームを、以下、極値フレームと称する。極値個数算出部８２は、検出した極値フレームのうち、所定閾値以下のフレームの個数を算出し、区間算出部８３に供給する。なお、この極値フレームの個数を、以下、極値個数と称する。さらに、極値個数算出部８２は、極値フレームについての特徴量の記録位置と、その特徴量距離（極値）とを対応付けておく。
【０１０９】
区間算出部８３は、例えば、全ての極値フレームのうち、特徴量距離が小さい順に上位極値個数分だけの極値フレームを選択する。区間算出部８３は、選択した極値フレームのうちの両端で挟まれたフレーム群を第１の探索先区間に変換する。この第１の探索先区間が、設定されている探索元画像についての第１の探索先区間とされる。
【０１１０】
なお、上述した特徴量距離算出部８１、極値個数算出部８２、及び区間算出部８３が、探索部８０を構成する。
【０１１１】
区間判定部８４は、１つ前の探索元画像について保持している区間を所定の規則に従ってずらし、ずらした後の区間と、区間算出部８３からの第１の探索先区間の論理積を演算する。この論理積の演算後の区間が、第２の探索先区間とされる。区間判定部８４は、第２の探索先区間が１フレーム分の区間となった場合、設定されている探索元画像についての同一のフレームの探索が成功したと判定し、その判定結果を表す判定情報と、同一のフレームについての特徴量の記録位置とを特徴量設定情報読出部６２に供給する。区間判定部８４は、それ以外の場合、探索先画像の探索が失敗したと判定し、その判定結果を表す判定情報を特徴量設定情報読出部６２に供給する。
【０１１２】
次に、図９を参照して、探索先のフレームについての、探索元画像との一致度を表す指標値として、特徴量距離を用いる理由について説明する。
【０１１３】
図９Ａ乃至図９Ｃは、探索元画像と同一の探索先のフレーム（以下、適宜、正解フレームと称する）付近における特徴量距離を示す図である。
【０１１４】
図９Ａ乃至図９Ｃにおいて、縦軸は特徴量距離を示し、横軸はフレーム番号を示している。
【０１１５】
フレームの絵柄の時間方向についての連続性によって、フレーム番号の近いフレームは、似たようなフレームとなる。フレームに依存する特徴量についても同様である。したがって、図９Ａに示されるように、正解フレームFSTのフレーム番号付近の特徴量は、正解フレームFSTのフレーム番号の特徴量と似たような特徴量となる。そのため、正解フレームFSTのフレーム番号付近では、特徴量距離が比較的小さくなる。
【０１１６】
これに対して、図９Ｂに示されるように、正解フレームFSTにノイズ等がのって信号劣化が生じた場合、正解フレームFSTの特徴量距離は、本来の特徴量距離に比べて大きくなってしまう。
【０１１７】
そこで、例えば、図９Ｃに示されるように、正解フレームFSTの付近で特徴量距離が小さい方から１番目と２番目のフレームで挟まれる区間PRを、第１の探索先区間として探索する。第１の探索先区間PRは、正解フレームFSTについての特徴量距離がどれだけ大きくなり、その小さい方からの順位がどれだけ下がっても、正解フレームFSTを含むことになるからである。
【０１１８】
このように、探索先のフレームと探索先画像の一致度を表す指標値として特徴量距離を用いる理由は、正解フレームを含むと判断される区間を第１の探索先区間として探索することが可能となるからである。
【０１１９】
次に、図１０を参照して、複数の第１の探索先区間を用いた論理積の演算を行うことで、正解フレームが抽出できることを説明する。
【０１２０】
図１０Ａは、フレーム番号m-1の探索元のフレームを探索元画像に設定した場合の正解フレームFST(m-1)付近における特徴量距離を示す図である。図１０Ｂは、フレーム番号mの探索元のフレームを探索元画像に設定した場合の正解フレームFSTm付近における特徴量距離を示す図である。図１０Ｃは、フレーム番号m+1の探索元のフレームを探索元画像に設定した場合の正解フレームFST(m+1)付近における特徴量距離を示す図である。
【０１２１】
図１０Ａ乃至図１０Ｃにおいて、縦軸は特徴量距離を示し、横軸はフレーム番号を示している。
【０１２２】
図１０Ａ乃至図１０Ｃでは、いずれも、探索先のフレーム番号nについての特徴量距離が、ノイズ等により、本来の特徴量距離に比べて大きくなっている。
【０１２３】
フレーム番号m-1の探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号n-1の探索先のフレームであるとする。この場合、図１０Ａに示されるように、正解フレームFST(m-1)の右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PR(m-1)は、正解フレームFST(m-1)と、その左隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n-1とn-2の探索先のフレームで挟まれる区間となる。
【０１２４】
フレーム番号mの探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号nの探索先のフレームである。そのため、図１０Ｂに示されるように、正解フレームFSTmの左隣と右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PRmは、正解フレームFSTmの右隣と左隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n-1とn+1の探索先のフレームで挟まれる区間となる。
【０１２５】
フレーム番号m+1の探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号n-1の探索先のフレームである。そのため、図１０Ｃに示されるように、正解フレームFST(m+1)の左隣と右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PR(m+1)は、正解フレームFST(m+1)と、その右隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n+1とn+2の探索先のフレームで挟まれる区間となる。
【０１２６】
このようにして、図１０Ｄに示されるような、いずれも正解フレームを含むフレーム番号m-1、m、m+1についての第１の探索先区間PR(m-1)、PRm、PR(m+1)が探索される。
【０１２７】
これらの第１の探索先区間PR(m-1)、PRm、PR(m+1)を用いて、論理積が演算される。
【０１２８】
第１の探索先区間PR(m-1)とPRmの論理積を演算する場合、図１０Ｅに示されるように、第１の探索先区間PR(m-1)を１フレーム分だけ後にずらすことが妥当と考えられる。第１の探索先区間PR(m-1)に対応するフレーム番号m-1が、第１の探索先区間PRmに対応するフレーム番号mより１フレーム分だけ前にずれているからである。そこで、区間判定部８４は、図１０Ｆに示されるように、第１の探索先区間PR(m-1)を１フレーム分だけ後にずらした後の区間と、第１の探索先区間PRmとの論理積を演算する。その結果、第２の探索先区間ARmが得られる。この第２の探索先区間ARmは、フレーム番号がn-1とnの探索先の２フレームの区間となっている。
【０１２９】
このようにして第１の探索先区間PR(m-1)とPRmとを用いた論理積の演算の結果得られる第２の探索先区間ARmと、第１の探索先区間PR(m+1)との論理積を演算する場合、図１０Ｆに示されるように、第２の探索先区間ARmを１フレーム分だけ後にずらすことが妥当と考えられる。第２の探索先区間ARmに対応するフレーム番号mが、第１の探索先区間PR(m+1)に対応するフレーム番号m+1より１フレーム分だけ前にずれているからである。そこで、区間判定部８４は、図１０Ｇに示されるように、第２の探索先区間ARmを１フレーム分だけ後にずらした後の区間と、第１の探索先区間PR(m+1)との論理積を演算する。その結果、第２の探索先区間AR(m+1)が得られる。この第２の探索先区間AR(m+1)は、フレーム番号がn+1の探索先のフレームのみの区間となっている。この第２の探索先区間AR(m+1)は、フレーム番号m+1の探索元のフレームについての正解フレームFST(m+1)と一致している。
【０１３０】
このように、複数の第１の探索先区間を用いた論理積の演算を行い、その演算結果に基づいて、第２の探索先区間を探索することで、正解フレームが抽出できることが分かる。
【０１３１】
次に、図１１のフローチャートを参照して、図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理について説明する。
【０１３２】
ステップＳ３１において、特徴量距離算出部８１は、特徴量抽出部４１からの特徴量を探索元特徴量として入力する。
【０１３３】
ステップＳ３２において、特徴量距離算出部８１は、探索先のフレーム番号Mを1に初期化する。
【０１３４】
ステップＳ３３において、特徴量距離算出部８１は、フレーム番号Mの探索先のフレームについての探索先の特徴量（以下、フレーム番号Mの探索先の特徴量と称する）が特徴量設定情報記録部６１に存在するか否かを判定する。
【０１３５】
フレーム番号Mの探索先の特徴量が特徴量設定情報記録部６１に存在しない場合、ステップＳ３３においてＮＯであると判定されて、処理はステップＳ３７に進む。但し、ステップＳ３７以降の処理については後述する。
【０１３６】
これに対して、フレーム番号Mの探索先の特徴量が特徴量設定情報記録部６１に存在する場合、ステップＳ３３においてＹＥＳであると判定されて、処理はステップＳ３４に進む。
【０１３７】
ステップＳ３４において、特徴量距離算出部８１は、特徴量設定情報記録部６１からフレーム番号Mの探索先の特徴量を入力する。
【０１３８】
ステップＳ３５において、特徴量距離算出部８１は、フレーム番号Nの探索元特徴量と、フレーム番号Mの探索先の特徴量との特徴量距離を算出する。
【０１３９】
ステップＳ３６において、特徴量距離算出部８１は、フレーム番号Mを１だけインクリメントする。その後、処理はステップＳ３３に戻され、以降の処理が繰り返される。
【０１４０】
ところで、上述したように、ステップＳ３３においてＮＯであると判定されると、処理はステップＳ３７に進む。ステップＳ３７において、極値個数算出部８２は、探索先のフレームの中から、特徴量距離が極値となる極値フレームを検出する。極値個数算出部８２は、検出した極値フレームのうち、所定閾値以下のフレームの個数を算出する。
【０１４１】
ステップＳ３８において、区間算出部８３は、全ての極値フレームのうち、特徴量距離が小さい順に上位極値個数分だけの極値フレームを選択する。区間算出部８３は、選択した極値フレームのうちの両端で挟まれたフレーム群を第１の探索先区間に変換する。
【０１４２】
ステップＳ３９において、区間判定部８４は、フレーム番号N-KとNについての第１の探索先区間が完全に同一か否かを判定する。なお、Kは、1以上の任意の整数とする。
【０１４３】
フレーム番号N-KとNについての第１の探索先区間が完全に同一である場合、ステップＳ３９においてＹＥＳであると判定されて、処理はステップＳ４５に進む。但し、ステップＳ４５以降の処理については後述する。
【０１４４】
これに対して、フレーム番号N-KとNについての第１の探索先区間が同一でない場合、ステップＳ３９においてＮＯであると判定されて、処理はステップＳ４０に進む。
【０１４５】
ステップＳ４０において、区間判定部８４は、フレーム番号N-Kについての論理積の演算後の区間（第２の探索先区間）をKフレームずらす。
【０１４６】
ステップＳ４１において、区間判定部８４は、フレーム番号N-Kについての第２の探索先区間をずらした後の区間と、フレーム番号Nについての第１の探索先区間の論理積を演算する。
【０１４７】
ステップＳ４２において、区間判定部８４は、フレーム番号Nについての第２の探索先区間が存在するか否かを判定する。
【０１４８】
フレーム番号Nについての第２の探索先区間が存在しない場合、ステップＳ４２においてＮＯであると判定されて、処理はステップＳ４５に進む。但し、ステップＳ４５以降の処理については後述する。
【０１４９】
これに対して、フレーム番号Nについての第２の探索先区間が存在する限り、ステップＳ４２においてＹＥＳであると判定されて、処理はステップＳ４３に進む。ステップＳ４３において、区間判定部８４は、第２の探索先区間が１フレームの区間か否かを判定する。
【０１５０】
第２の探索先区間が１フレームの区間でない場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４６に進む。ステップＳ４６以降の処理については後述する。
【０１５１】
これに対して、第２の探索先区間が１フレームの区間である場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。ステップＳ４４において、区間判定部８４は、探索成功との判定結果を表す判定情報と、フレーム番号Nについての同一のフレームの特徴量の記録位置を出力する。そして、処理は図４のステップＳ１４に戻される。
【０１５２】
ところで、上述したように、ステップＳ３９においてＹＥＳであると判定されると、また、ステップＳ４２においてＮＯであると判定されると、ステップＳ４５に進む。ステップＳ４５において、区間判定部８４は、フレーム番号Nについての第１の探索先区間を保持する。そして、処理はステップＳ４７に進む。但し、ステップＳ４７以降の処理については後述する。
【０１５３】
また、上述したように、ステップＳ４３においてＮＯであると判定されると、ステップＳ４６に進む。ステップＳ４６において、区間判定部８４は、フレーム番号Nについての第２の探索先区間を保持する。
【０１５４】
ステップＳ４７において、区間判定部８４は、探索失敗との判定結果を表す判定情報を出力する。そして、処理は図４のステップＳ１４に戻される。
【０１５５】
次に、図１２を参照して、図１１のステップＳ３５で特徴量距離算出部８１が行う具体的な処理の一例について説明する。
【０１５６】
なお、特徴量距離算出部８１では、特徴量抽出部４１で抽出された特徴量Uが用いられる。この特徴量Uは、ベクトルなので、図１２を参照して後述するようなベクトルどうしの距離を特徴量距離として算出することが可能となる。
【０１５７】
特徴量距離算出部８１は、例えば、以下の順序で特徴量距離を算出する。
【０１５８】
いま、特徴量距離算出部８１は、そのフレーム番号Nの特徴量Uを探索元特徴量Ui、Nとして入力したとする。ここで、探索元特徴量Ui、Nは、式（２）で表される。
【０１５９】
Ui、N = (pi,N,1,pi,N,2,・・・,pi,N,k) ・・・（２）
【０１６０】
式（２）において、pi,N,j（1≦j≦k）は、フレーム番号Nの探索元画像のブロックbjについての特徴量である。
【０１６１】
次に、特徴量距離算出部８１は、特徴量設定情報記録部６１からのフレーム番号Mの探索先の特徴量を順次入力する。このフレーム番号Mの探索先の特徴量を、以下、UD、M(1≦M≦End)と称する。このフレーム番号Mの探索先の特徴量UD、Mは、式（３）で表される。
【０１６２】
UD、M = (pD,M,1,pD,M,2,・・・,pD,M,k) ・・・（３）
【０１６３】
式（３）において、pD,M,jは、フレーム番号Mの探索先画像のブロックbjについての特徴量である。
【０１６４】
次に、特徴量距離算出部８１は、探索先の特徴量UD、Mのそれぞれに対して、探索先の特徴量UD、Mとの特徴量距離DU、Mを計算する。ここで、特徴量距離DU、Mは、式（４）で表される。
【０１６５】
【数１】
・・・（４）
【０１６６】
この特徴量距離DU、Mは、探索先の特徴量UD、Mと探索元特徴量Ui、Nとの間の特徴量空間における距離を表している。
【０１６７】
なお、特徴量距離算出部８１は、図１２に示されるように、特徴量設定情報記録部６１に記録されているフレーム番号1からEndまでの全ての探索先の特徴量に対して、探索元特徴量Ui、Nとの特徴量距離の計算が終わるまで、特徴量距離の計算する処理を繰り返す。
【０１６８】
特徴量設定情報記録部６１に記録されている全ての探索先の特徴量との特徴量距離の計算が終了すると、特徴量距離算出部８１は、例えば、特徴量距離の小さい順に、探索先の特徴量の記録位置を取得する。
【０１６９】
次に、図１３を参照して、図１１のステップＳ３７で極値個数算出部８２が行う具体的な処理の一例について説明する。
【０１７０】
極値個数算出部８２は、特徴量距離算出部８１において算出された特徴量距離を用いて、極値の個数を算出する。
【０１７１】
極値個数算出部８２は、例えば、以下の順序で極値の個数を算出する。
【０１７２】
極値個数算出部８２は、特徴量距離が所定の閾値以下となる区間を極値を探す区間として検出する。この所定の閾値としては、特徴量距離の最小値近辺の閾値、例えば、その最小値から所定値だけ大きい閾値や、あらかじめ設定された閾値を採用することができる。
【０１７３】
図１３Ａは、特徴量距離を示している。図１３Ｂは、特徴量距離が閾値Th以下となる区間についての拡大図である。
【０１７４】
次に、極値個数算出部８２は、特徴量距離が閾値Th以下となる区間から、値が不連続に増加するフレームを、極値となるフレームとして検出し、極値の個数（極値個数）を算出する。
【０１７５】
例えば、図１３Ｂでは、特徴量距離が閾値Th以下となる区間のうち、正解フレームFSTの左隣及び右隣のフレームが、極値となるフレームとして検出される。したがって、図１３Ｂでは、極値個数は２個と算出される。
【０１７６】
次に、極値個数算出部８２は、算出した極値個数を区間算出部８３に供給する。
【０１７７】
次に、図１１のステップＳ３８の具体的な処理の一例、即ち、区間算出部８３が行う具体的な処理の一例について説明する。
【０１７８】
区間算出部８３は、次のような順番で、第１の探索先区間を算出する。
【０１７９】
まず、区間算出部８３は、特徴量距離算出部８１において検出された全ての極値フレームの特徴量の記録位置のうち、特徴量距離が小さい順に上位極値個数分だけの記録位置を選択する。区間算出部８３は、選択した記録位置の中から、値が最小の記録位置と最大の記録位置を選択する。
【０１８０】
次に、区間算出部８３は、値が最小の記録位置に対応するフレームと最大の記録位置に対応するフレームで挟まれた区間を第１の探索先区間として求める。
【０１８１】
なお、この区間算出部８３による処理を、後述する処理と区別するために、以下、適宜、第１の処理と称する。
【０１８２】
次に、図１４を参照して、図１１のステップＳ３８の具体的な処理の他の一例、即ち、区間算出部８３が行う具体的な処理の他の一例について説明する。なお、次に説明する区間算出部８３による処理を、以下、第２の処理と称する。
【０１８３】
第２の処理では、極値個数算出部８２による極値に関する処理は行われない点に留意すべきである。区間算出部８３は、図１４Ａに示されるように、探索先のフレームの中から、特徴量距離が最小となる探索先のフレームを、特徴量距離算出部８１により算出された特徴量距離に基づいて検出する。なお、この特徴量距離が最小となる探索先のフレームを、以下、最小距離フレームFSMと称する。
【０１８４】
図１４Ｂは、特徴量距離が閾値Th以下となる区間を示す図である。
【０１８５】
フレームFSMでは、特徴量距離は、Dminとなっている。この特徴量距離Dminを、以下、最小特徴量距離Dminと称する。
【０１８６】
上述した第１の処理で第１の探索先区間を求めた場合、図１４Ｂに示されるように、両端の極値フレームで挟まれる区間PR1が、第１の探索先区間とされる。この第１の探索先区間PR1は、正解フレームFSTを含んでいる。
【０１８７】
これに対して、第２の処理では、区間算出部８３は、図１４Ｃに示されるように、探索先のフレームのそれぞれに対して、最小距離フレームFSMとの特徴量距離を算出する。区間算出部８３は、特徴量距離が最小特徴量距離Dmin以下となる区間PR2を第１の探索先区間として求める。この第１の探索先区間PR2は、正解フレームFSTを含んでいる。
【０１８８】
以上のように、フレームマッチング処理部４２は、入力信号に異なる信号処理や様々な劣化が重畳した場合でも、探索元画像と同一のフレームを抽出することができる。
【０１８９】
また、入力信号に異なる信号処理や様々な劣化が重畳された場合でも、操作データの記録、再生、編集作業を問題なく行うことが可能となる。
【０１９０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９１】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９２】
コンピュータにおいて、CPU１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１９４】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９５】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９６】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９９】
【図１】従来の編集手法を説明するための図である。
【図２】特許文献１の編集手法を説明するための図である。
【図３】本発明を適用した編集システム１０の一実施の形態の構成例を示す図である。
【図４】画像処理装置１３による画像処理の一例を説明するフローチャートである。
【図５】図４のステップＳ４で特徴量抽出部４１が行う処理の一例を説明するための図である。
【図６】特徴量設定情報記録部６１の内部に記録される特徴量と設定情報についての記録位置の一例を示す図である。
【図７】図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理の概要について説明するための図である。
【図８】フレームマッチング処理部４２の構成例を示すブロック図である。
【図９】正解フレーム付近における特徴量距離の変化を示す図である。
【図１０】複数の第１の探索先区間を用いて論理積の演算を行うことで、正解フレームが抽出できることを説明するための図である。
【図１１】図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理を説明するためのフローチャートである。
【図１２】図１１のステップＳ３５で特徴量距離算出部８１が行う具体的な処理の一例について説明するための図である。
【図１３】図１１のステップＳ３７で極値個数算出部８２が行う具体的な処理の一例について説明するための図である。
【図１４】図１１のステップＳ３８で区間算出部８３が行う具体的な処理の一例について説明するための図である。
【図１５】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２００】
１０ 編集システム， １１ 記録メディア， １２ 画像再生部， １３ 画像処理装置， ４１ 特徴量抽出部， ４２ フレームマッチング処理部， ４３ 記録ブロック， ４５ 操作情報認識部， ４６ 設定情報決定部， ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報読出部， ８０ 探索部， ８１ 特徴量距離算出部， ８２ 極値個数算出部， ８３ 区間算出部， ８４ 区間判定部， １０１ CPU， １０２ ROM， １０３ RAM， １０４ バス， １０５ 入出力インタフェース， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ， １１１ リムーバブルメディア
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索することができるようになった情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像データを編集する従来の編集手法として、オリジナルの画像データを構成するフレームの幾つかに、編集のための処理を施し、処理後のフレームを含む編集後の画像データを記録する、といった手法が存在する。
【０００３】
この従来の編集手法において、例えば、図１に示されるように、オリジナルの画像データを構成するフレームP1、P2、P3、・・・のうちのフレームP2について、編集のための処理を指示するユーザ操作（以下、編集操作と称する）として、図中点線で囲まれた部分の拡大を指示する編集操作Eが行われたとする。この場合、フレームP2に対して、編集操作Eに従ってズーム処理が施され、処理後のフレームP’2を含むフレームP1、P’2、P3・・・で構成される編集後の画像データが記録される。
【０００４】
しかしながら、オリジナルの画像データがCOPY ONCEの画像データである場合、編集後の画像データを記録できないことから、上述の従来の編集手法は適用できない。
【０００５】
そこで、オリジナルの画像データに処理を施さない編集手法が提案されている（例えば、特許文献１参照）。この特許文献１の編集手法では、オリジナルの画像データの各回の再生時に再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームと同一のフレームを探索する。探索されたフレームに対して、その編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する。
【０００６】
即ち、例えば、図２に示されるように、オリジナルの画像データの初回の再生や編集時に、再生された画像データを構成するフレームP1乃至P3から、それぞれ、特徴量U1乃至U3を抽出する。ここで、図１における場合と同様に、フレームP2に対して編集操作Eが行われたとする。この場合、フレームP2から抽出された特徴量U2と編集操作Eとを対応付けて保持する。その後、オリジナルの画像データの２回目以降の再生時に、再生された画像データを構成する各フレームから特徴量を抽出する。次に、保持されている特徴量の中から、抽出された特徴量と同一の特徴量を検出する。なお、以下、この特徴量の検出を特徴量のマッチングと称する。この特徴量のマッチングにより、例えば、保持されている特徴量U2と同一の特徴量が検出された場合、その特徴量が抽出されたフレームに対して、編集操作Eの指示に従った処理が施される。このようにして、２回目以降の再生時に再生された画像データを構成するフレームのうち、初回の編集時になされた編集操作がなされたフレームと同一のフレームを探索する。探索されたフレームに対して、その編集操作により指示される処理を施す。その結果、処理後のフレームを含む編集後の画像データを表示することが可能となる。
【特許文献１】特開２００７−３００４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
以上説明したように、上述した特許文献１の編集手法では、初回の再生や編集時に再生された画像データの中から、２回目以降の再生時に再生されたフレームと同一のフレームを探索する。
【０００８】
ここで、初回の再生や編集時に再生された画像データが、探索される側の画像データとなっている。この探索される側の画像データを、以下、探索先の画像データと称する。また、２回目以降の再生時の画像データが、探索の対象とされる側の画像データとなっている。探索の対象とされる側の画像データを、以下、探索元の画像データと称する。
【０００９】
この同一のフレームを探索するフレーム探索技術は、各回の再生時に再生されるフレームに完全再現性があり、したがって、各回の再生時に再生されるフレームから抽出される特徴量にも完全再現性があることが前提となっている。
【００１０】
しかしながら、再生機によって記録媒体から画像データが再生される場合、同一再生機によって同一記録媒体から画像データが再生されても、ノイズや信号処理によって、各回の再生時に再生されるフレームの完全再現性が損なわれることが確認されている。
【００１１】
一方、上述した特許文献１の編集手法では、再生回が異なる２つの画像データを、それぞれ、探索先の画像データ、探索元の画像データとしている。そのため、探索先の画像データの中から、探索元のフレームと同一のフレームを探索しても、同一のフレームを見つけることができない場合がある。
【００１２】
以上、処理単位がフレームである場合を例に説明したが、処理単位をフィールドにしても同様の問題が発生する。以下、このようなフィールドやフレームといった画像データの処理単位を、単位画像と称する。即ち、この問題は、単位画像を探索する従来の探索手法についても同様に生じる問題である。
【００１３】
本発明は、このような状況に鑑みてなされたものであり、探索先の単位画像の中から、探索元の単位画像と同一の単位画像を精度よく探索できるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の一側面の情報処理装置は、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値を算出し、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索する第１の探索手段と、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間を探索する第２の探索手段とを備える。
【００１５】
前記第２の探索手段には、前記探索元の動画像の第１の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間と、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間とを用いる前記所定の演算を行わせ、その演算結果に基づいて、前記第１の探索手段により前記第１の単位画像を用いて探索された前記第１の探索先区間よりも狭い前記第２の探索先区間を探索させることができる。
【００１６】
前記第１の探索手段には、前記探索先の動画像のうち、前記第１の指標値が極値となる２つの単位画像で挟まれた区間を、前記第１の探索先区間として探索させることができる。
【００１７】
前記第１の探索手段には、前記探索先の動画像のうち、前記第１の指標値が所定の閾値以下となる単位画像の中から、前記第１の指標値が極値となる前記２つの単位画像を選択させることができる。
【００１８】
前記第２の探索手段には、前記所定の演算に用いる前記第１の探索区間として、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間の代わりに、その第１の探索先区間を所定の規則に従って時間方向にずらした後の第１の探索先区間を用いさせることができる。
【００１９】
前記第１の探索手段には、さらに、前記探索先の動画像を構成する単位画像のそれぞれについて、前記第１の指標値が最小値となる探索先の単位画像との一致度を表す第２の指標値を算出し、前記探索先の動画像のうち、前記第２の指標値が所定の閾値以下となる単位画像を含む区間を、前記第１の探索先区間として探索させることができる。
【００２０】
本発明の一側面の情報処理方法は、情報処理装置が、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索するステップを含む。
【００２１】
本発明の一側面のプログラムは、コンピュータに実行させるプログラムとして、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索するステップを含む。
【００２２】
本発明の一側面においては、探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値が算出され、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間が、第１の探索先区間として探索され、所定の演算が行われ、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間が探索される。
【発明の効果】
【００２３】
本発明によれば、探索先の動画像の中から探索元画像と一致する探索先の単位画像を含むと判断される区間を探索することができる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００２５】
図３は、本発明を適用した編集システム１０の一実施の形態の構成例を示す図である。
【００２６】
編集システム１０は、上述した特許文献１の編集手法と同様に、オリジナルの画像データに処理を施さない編集手法を採用している。即ち、編集システム１０は、オリジナルの画像データの２回目以降の再生時に再生されたフレームのうち、初回の再生や編集時になされた編集操作がなされたフレームを探索する。編集システム１０は、探索されたフレームに対して、その編集操作により指示される処理を施し、処理後のフレームを含む編集後の画像データを表示する。
【００２７】
編集システム１０は、画像再生部１２、画像処理装置１３、リモートコントローラ１４、及び表示部１５から構成されている。さらに、図３では、編集システム１０には、例えば、DVD（Digital Versatile Disc）等の記録メディア１１が装着されている。記録メディア１１には、画像データを含むコンテンツが予め記録されている。この画像データは、所定の形式でエンコードされた状態で記録メディア１１に記録されている。
【００２８】
画像再生部１２は、記録メディア１１から画像データを読み出し、その画像データを構成する各フレームを順次デコードし、画像処理装置１３に順次供給する。
【００２９】
画像処理装置１３は、画像再生部１２からのフレームを用いて、後述する画像処理を実行する。なお、画像処理の詳細は、図４を参照して後述する。
【００３０】
リモートコントローラ１４は、キーやボタン等から構成される。リモートコントローラ１４は、フレームに対する処理等を指示するときにユーザにより操作され、その操作に応じて操作信号を発生する。また、リモートコントローラ１４は、発生した操作信号に応じて赤外線等からなる発光パターンを生成し、画像処理装置１３の受光部４４に対して発光する。
【００３１】
表示部１５は、画像処理装置１３からの画像データに基づいて、画像を表示する。
【００３２】
次に、画像処理装置１３の構成例について説明する。
【００３３】
画像処理装置１３は、特徴量抽出部４１、フレームマッチング処理部４２、記録ブロック４３、受光部４４、操作情報認識部４５、設定情報決定部４６、遅延部４７、及び反映部４８から構成される。
【００３４】
特徴量抽出部４１は、画像再生部１２から供給されるフレームから特徴量を抽出し、フレームマッチング処理部４２、及び記録ブロック４３の後述する特徴量設定情報記録部６１に供給する。
【００３５】
いま、２回目以降の再生時の画像データが画像再生部１２から出力されているとする。この場合、フレームマッチング処理部４２は、特徴量抽出部４１からの特徴量に対応するフレームを探索元のフレームとする。即ち、フレームマッチング処理部４２は、２回目以降の再生時のフレームを探索元のフレームとする。また、フレームマッチング処理部４２は、特徴量設定情報記録部６１に記録されている特徴量に対応するフレームを探索先のフレームとする。即ち、フレームマッチング処理部４２は、初回の再生や編集時のフレームを探索先のフレームとする。この場合、フレームマッチング処理部４２は、探索先のフレームの中から、探索元のフレームと同一のフレームを探索するフレームマッチング処理を実行する。フレームマッチング処理部４２は、フレームマッチング処理の結果得られる同一のフレームについての情報、即ち、例えば、そのフレームの特徴量についての後述する記録位置を特徴量設定情報読出部６２に供給する。
【００３６】
記録ブロック４３は、特徴量設定情報記録部６１及び特徴量設定情報読出部６２から構成される。特徴量設定情報記録部６１は、画像再生部１２から初回の再生や編集時の画像データが出力されている場合、特徴量抽出部４１からの特徴量を内部の記憶領域に記録する。但し、設定情報決定部４６から後述する設定情報が供給された場合、特徴量設定情報記録部６１は、その設定情報と対応付けて、特徴量抽出部４１からの特徴量を記録する。この設定情報が記録されることにより、前述の編集操作が記録されることになる。特徴量設定情報読出部６２は、フレームマッチング処理部４２からの特徴量の記録位置から、フレームマッチング処理により探索された探索先のフレームの特徴量を特定する。特定された特徴量に対応付けて記録されている設定情報がある場合、特徴量設定情報読出部６２は、その設定情報を設定情報決定部４６に供給する。
【００３７】
受光部４４は、リモートコントローラ１４からの光を受光し、その光の発光パターンをリモートコントローラ１４の操作信号に変換し、操作情報認識部４５に供給する。
【００３８】
操作情報認識部４５は、操作信号に基づいて、リモートコントローラ１４に対してなされた編集操作等のユーザ操作を認識する。操作情報認識部４５は、認識されたユーザ操作に関する操作情報を、認識結果として特徴量設定情報記録部６１及び設定情報決定部４６に供給する。なお、操作情報認識部４５は、操作信号に基づいて、記録ブロック４３の状態をオン状態またはオフ状態に制御することも可能である。
【００３９】
設定情報決定部４６は、操作情報認識部４５または特徴量設定情報読出部６２から供給される情報に基づいて、設定情報を決定し、その設定情報を反映部４８に供給する。但し、設定情報決定部４６は、操作情報認識部４５または特徴量設定情報読出部６２から、操作情報または設定情報が供給されない場合、反映部４８に設定情報を供給しない。
【００４０】
なお、上述した設定情報とは、遅延部４７で遅延されたフレームに施す処理内容を反映部４８に対して指示するための情報をいう。即ち、設定情報としては、例えば、フレームに対して施すズーム処理のズーム倍率や、ズームの中心位置といった情報を採用することができる。
【００４１】
遅延部４７は、画像再生部１２からのフレームを一時的に記憶し、所定の遅延時間だけ遅延させて、反映部４８に供給する。
【００４２】
反映部４８は、設定情報決定部４６から設定情報が供給された場合、遅延部４７からのフレームにその設定情報に従った処理を施し、処理後のフレームを表示部１５に表示させる。これにより、リモートコントローラ１４に対するユーザ操作の操作内容が表示部１５に表示される画像に反映される。あるいは、反映部４８は、設定情報決定部４６から設定情報が供給されない場合、遅延部４７からのフレームに処理を施さずにそのまま表示部１５に表示させる。
【００４３】
次に、図４のフローチャートを参照して、画像処理装置１３による画像処理の一例について説明する。
【００４４】
なお、以降の説明においては、記録ブロック４３の状態は、オン状態に制御されているとする。
【００４５】
ステップＳ１において、特徴量抽出部４１は、画像処理装置１３に入力されるフレームのフレーム番号Nを1に初期化する。
【００４６】
ステップＳ２において、特徴量抽出部４１は、画像処理装置１３に新しいフレームが入力されたか否かを判定する。
【００４７】
画像処理装置１３に新しいフレームが入力されない限り、ステップＳ２においてＮＯであると判定されて、処理はステップＳ２に戻され、ステップＳ２の処理が繰り返される。
【００４８】
その後、画像処理装置１３に新しいフレームが入力されると、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。ステップＳ３において、遅延部４７は、入力されたフレーム、即ち、フレーム番号Nのフレームを記憶し、例えば、１フレーム分の遅延時間だけの遅延を開始する。
【００４９】
ステップＳ４において、特徴量抽出部４１は、フレーム番号Nのフレームから特徴量を抽出する。
【００５０】
ステップＳ５において、操作情報認識部４５は、フレーム番号Nのフレームに対する編集操作があったか否かを判定する。
【００５１】
フレーム番号Nのフレームに対する編集操作が操作信号から認識されなかった場合、ステップＳ５においてＮＯであると判定され、処理はステップＳ１１に進む。但し、ステップＳ１１以降の処理については後述する。
【００５２】
これに対して、フレーム番号Nのフレームに対する編集操作が操作信号から認識された場合、ステップＳ５においてＹＥＳであると判定され、処理はステップＳ６に進む。
【００５３】
ステップＳ６において、設定情報決定部４６は、認識された編集操作に基づいて、フレーム番号Nについての設定情報を決定し、特徴量設定情報記録部６１及び反映部４８に供給する。
【００５４】
ステップＳ７において、特徴量設定情報記録部６１は、フレーム番号Nについての特徴量と、フレーム番号Nについての設定情報とを対応付けて内部の記録領域に記録する。
【００５５】
ステップＳ８において、反映部４８は、フレーム番号Nについての設定情報に従った処理を、遅延部４７からのフレーム番号Nのフレームに施して表示部１５に表示させる。
【００５６】
ステップＳ９において、操作情報認識部４５は、画像処理の終了が指示されたか否かを判定する。
【００５７】
画像処理の終了を指示するユーザ操作が操作信号から認識された場合、ステップＳ９においてＹＥＳであると判定され、画像処理は終了する。
【００５８】
これに対して、画像処理の終了を指示するユーザ操作が操作信号から認識されない限り、ステップＳ９においてＮＯであると判定され、ステップＳ１０に進む。ステップＳ１０において、特徴量抽出部４１は、フレーム番号Nを1だけインクリメントする。そして、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
【００５９】
ところで、上述したように、ステップＳ５においてＮＯであると判定されると、処理はステップＳ１１に進む。ステップＳ１１において、特徴量設定情報記録部６１は、特徴量を記録するか否かを判定する。
【００６０】
このステップＳ１１の判定処理自体は特に限定されない。但し、例えば、本実施の形態では、画像再生部１２から初回の再生時の画像データが出力されている場合、特徴量設定情報記録部６１は、特徴量を記録すると判定する。これに対して、画像再生部１２から２回目以降の再生時の画像データが出力されている場合、特徴量設定情報記録部６１は、特徴量を記録しないと判定する。
【００６１】
即ち、画像再生部１２から初回の再生時の画像データが出力されている場合、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、特徴量設定情報記録部６１は、特徴量抽出部４１からの特徴量を記録する。その後、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６２】
これに対して、画像再生部１２から２回目以降の再生時の画像データが出力されている場合、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１３に進む。
【００６３】
ステップＳ１３において、フレームマッチング処理部４２は、フレーム番号Nについての特徴量に対応するフレームを探索元のフレームとし、また、特徴量設定情報記録部６１に記録されている特徴量に対応するフレームを探索先のフレームとする。フレームマッチング処理部４２は、探索先のフレームの中から、探索元のフレームとしてのフレーム番号Nのフレームと同一のフレームを探索するフレームマッチング処理を実行する。なお、フレームマッチング処理の詳細は、図７等を参照して後述する。
【００６４】
ステップＳ１４において、特徴量設定情報読出部６２は、フレーム番号Nの探索元のフレームについての同一のフレームの探索は成功だったか否かを判定する。
【００６５】
フレーム番号Nの探索元のフレームについての同一のフレームの探索は失敗との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１７に進む。但し、ステップＳ１７以降の処理については後述する。
【００６６】
これに対して、フレーム番号Nの探索元のフレームについての同一のフレームの探索は成功との判定結果を表す判定情報がフレームマッチング処理部４２から供給されると、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００６７】
ステップＳ１５において、特徴量設定情報読出部６２は、フレーム番号Nの探索元のフレームについて探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されているか否かを判定する。
【００６８】
探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されている場合、ステップＳ１５においてＹＥＳであると判定されて、処理はステップＳ１６に進む。ステップＳ１６において、特徴量設定情報読出部６２は、その設定情報を特徴量設定情報記録部６１から読み出す。設定情報決定部４６は、その設定情報を、フレーム番号Nについての設定情報として反映部４８に供給する。その後、処理はステップＳ８に戻され、それ以降の処理が同様に実行される。
【００６９】
これに対して、探索された同一のフレームの特徴量に対応する設定情報が特徴量設定情報記録部６１に記録されていない場合、ステップＳ１５においてＮＯであると判定されて、処理はステップＳ１７に進む。
【００７０】
ステップＳ１７において、反映部４８は、遅延部４７で遅延されているフレーム番号Nのフレームを、そのまま表示部１５に表示させる。そして、処理はステップＳ９に戻され、それ以降の処理が同様に実行される。
【００７１】
次に、図５を参照して、図４のステップＳ４で特徴量抽出部４１が行う具体的な処理の一例について説明する。
【００７２】
特徴量抽出部４１は、例えば、次の順序で、フレームから特徴量を抽出する。
【００７３】
いま、フレーム番号Nのフレームが特徴量抽出部４１に入力されたとする。但し、特徴量抽出部４１は、フレーム番号1乃至N-1のフレームから、特徴量を既に抽出しているとする。
【００７４】
ステップＳaにおいて、特徴量抽出部４１は、例えば、フレーム番号Nのフレームと、その１つ前のフレーム番号N-1のフレーム同士の各画素についての差分絶対値をとり、その結果得られる画像であるフレーム間差分画像を、フレーム番号Nについてのフレーム間差分画像として算出する。
【００７５】
ステップＳbにおいて、特徴量抽出部４１は、フレーム番号Nのフレーム間差分画像をブロック化する。即ち、例えば、図５に示されるように、特徴量抽出部４１は、フレーム番号Nのフレーム間差分画像をb1乃至bkのブロックにブロック化する。ここで、kは、ブロック数を表している。
【００７６】
ステップＳcにおいて、特徴量抽出部４１は、ブロック毎に特徴量を求める。即ち、例えば、図５に示されるように、特徴量抽出部４１は、ブロックbi（1≦i≦k）毎に、そのブロック内における画素値の総和を特徴量piとして求める。
【００７７】
ステップＳdにおいて、特徴量抽出部４１は、ブロック毎に求められた特徴量をベクトル化する。即ち、例えば、特徴量抽出部４１は、ブロック毎に求められた特徴量p1乃至pkを、特徴量p1乃至pkのそれぞれを成分としたベクトルにベクトル化する。このベクトルがフレーム番号Nのフレームから抽出される特徴量である。この特徴量を、以下、Uと称する。即ち、特徴量Uは、式（１）で表される。
【００７８】
U = (p1, p2,・・・,pk) ・・・（１）
【００７９】
次に、図６を参照して、特徴量設定情報記録部６１の内部に記録される特徴量と設定情報についての記録位置の一例について説明する。
【００８０】
なお、特徴量設定情報記録部６１の内部に記録される特徴量は、フレームマッチング処理において、探索先のフレームの特徴量として利用される。そこで、特徴量設定情報記録部６１の内部に記録される特徴量を、以下、探索先の特徴量UDと称する。また、特徴量設定情報記録部６１の内部に探索先の特徴量UDと対応付けて記録される設定情報を、以下、Fと称する。
【００８１】
図６において、特徴量設定情報記録部６１内における２つの大きな長方形のうちの上側の長方形は、探索先の特徴量UDの記憶領域を示し、下側の長方形は、設定情報Fの記憶領域を示している。各記憶領域では、図示せぬ行ごとに図中左から右に向かってアドレスが付され、その行の右端に達すると、その下の行の左端から続けてアドレスが付されている。それ以降の行についても同様である。
【００８２】
なお、フレーム番号Nについての探索先の特徴量UDを、以下、UD、Nと称する。また、フレーム番号Nについての設定情報Fを、以下、FNと称する。
【００８３】
図６では、フレーム番号1についての探索先の特徴量UD、1は、アドレスAから記録される。このアドレスAを、以下、探索先の特徴量UD、1についての記録位置とする。フレーム番号1についての設定情報F1は、アドレスAのm倍のアドレスm×Aから記録される。このアドレスm×Aを、以下、設定情報F1についての記録位置とする。フレーム番号2についての探索先の特徴量UD、2は、アドレスAに１特徴量分の増分aが加算されたアドレスA+aから記録される。このアドレスA+aを、以下、探索先の特徴量UD、2についての記録位置とする。フレーム番号2についての設定情報F2は、アドレスA+aのm倍のアドレスm×(A+a)から記録される。このアドレスm×(A+a)を、以下、設定情報F2についての記録位置とする。フレーム番号3についての探索先の特徴量UD、3は、アドレスA+aに１特徴量分の増分aが加算されたアドレスA+2aから記録される。このアドレスA+2aを、以下、探索先の特徴量UD、3についての記録位置とする。フレーム番号3についての設定情報F3は、アドレスA+2aのm倍のアドレスm×(A+2a)から記録される。このアドレスm×(A+2a)を、以下、設定情報F3についての記録位置とする。以下、同様である。
【００８４】
次に、図７を参照して、図４のステップＳ１３の処理の概要、即ちフレームマッチング処理部４２が行うフレームマッチング処理の概要について説明する。
【００８５】
図７Ａ乃至図７Ｅでは、探索元及び探索先のフレームが正方形として模式的に示されている。
【００８６】
図７Ａの上段には、探索元のフレームFM1乃至FMnが示されている。なお、探索元のフレームFMj（1≦j≦n）の下付きの数字jは、そのフレームの探索元でのフレーム番号を示している。図７Ａの下段には、探索先のフレームFS1、FS2、・・・FS(End)のうちのFS1乃至FS8が示されている。なお、探索先のフレームFSm（1≦m≦End）のFSの右側の数字mは、そのフレームの探索先でのフレーム番号を示している。また、Endは、１以上の所定の整数である。
【００８７】
図７Ａでは、探索先のフレームFS1乃至FS8は、再生順に図中左から右に向かって時間軸tに沿って並べられている。なお、探索元のフレームFM1乃至FMnも図中左から右に向かって並べられている。しかしながら、探索元のフレームは、探索先のフレームと異なる再生回に再生されたフレームである。したがって、探索元のフレームFM1乃至FMnは、時間軸tとは全く異なる時間軸に沿って並べられている点に留意すべきである。
【００８８】
フレームマッチング処理部４２は、探索元のフレームを、探索対象とするフレームである探索元画像に設定する。フレームマッチング処理部４２は、探索先のフレームのそれぞれについて、探索元画像との一致度を表す指標値を算出する。なお、この指標値の詳細については、後述する。フレームマッチング処理部４２は、探索先のフレームの中から、指標値が所定条件を満たす探索先のフレームを複数検出する。検出した探索先の複数のフレームのうち、時間的に最も早い時刻に配置されたフレームを、以下、前端フレーム称する。これに対して、検出した探索先の複数のフレームのうち、時間的に最も遅い時刻に配置されたフレームを、以下、後端フレーム称する。ここで、検出した探索先の複数のフレームは、前端フレームと後端フレーム（以下、両端と略記する）で挟まれるフレーム群という捉え方ができる。フレームマッチング処理部４２は、例えば、両端で挟まれるフレーム群を、探索先のフレームの範囲を示す区間に変換する。この変換後の区間が、探索元画像についての探索すべき区間であり、以下、第１の探索先区間と称する。この第１の探索先区間は、後述するように、探索元画像と同一の探索先のフレームを含むと判断される区間となっている。
【００８９】
図７Ｂでは、フレームマッチング処理部４２は、探索元のフレームFM1を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM1との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、探索先のフレームFS2、FS4、及びFS6を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS4、及びFS6、即ち、両端FS2及びFS6で挟まれるフレーム群を第１の探索先区間PR1に変換する。この第１の探索区間PR1が、探索元画像FM1についての第１の探索先区間となる。
【００９０】
フレームマッチング処理部４２は、既に設定された探索元画像が存在する場合、設定されている探索元画像を含むと判断される区間であって、設定されている探索元画像についての第１の探索先区間よりも狭い第２の探索先区間を、既に設定されている探索元画像についての第１の探索先区間を用いて探索する。なお、第２の探索先区間が、設定されている探索元画像を含むと判断される区間であることについては、後述する。
【００９１】
図７Ｂでは、既に設定された探索元画像が存在しないので、第２の探索先区間の探索は実行されない。
【００９２】
フレームマッチング処理部４２は、新たな探索元のフレームを探索元画像に順次設定し、同様の処理を行う。
【００９３】
図７Ｃでは、フレームマッチング処理部４２は、探索元のフレームFM2を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM2との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS4、FS7、及びFS8を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS4、FS7、及びFS8、即ち、両端FS4及びFS8で挟まれるフレーム群を第１の探索先区間PR2に変換する。この第１の探索先区間PR2が、探索元画像FM2についての第１の探索先区間となる。
【００９４】
図７Ｃでは、既に設定された探索元画像FM1が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、探索元画像に既に設定された探索元のフレームFM1についての第１の探索先区間PR1を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FM2についての第１の探索先区間PR2との論理積を演算する。その結果、論理積の演算後の区間AR2が第２の探索先区間として得られる。この第２の探索先区間AR2が、探索元画像FM2についての第２の探索先区間となる。
【００９５】
図７Ｄでは、フレームマッチング処理部４２は、探索元のフレームFM3を探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FM3との一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS2、FS4、及びFS7を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS4、及びFS7、即ち、両端FS2及びFS7で挟まれるフレーム群を第１の探索先区間PR3に変換する。この第１の探索先区間PR3が、探索元画像FM3についての第１の探索先区間となる。
【００９６】
図７Ｄでは、既に設定された探索元画像FM2が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、既に探索元画像に設定された探索元のフレームFM2についての第２の探索先区間AR2を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FM3についての第１の探索先区間PR3との論理積を演算する。その結果、論理積の演算後の区間AR3が第２の探索先区間として得られる。この第２の探索先区間AR3が、探索元画像FM3についての第２の探索先区間となる。
【００９７】
図７Ｅでは、フレームマッチング処理部４２は、探索元のフレームFMnを探索元画像に設定し、探索先のフレームFS1、FS2、・・・、FS(End)のそれぞれについて、探索元画像FMnとの一致度を表す指標値を算出する。いま、フレームマッチング処理部４２は、探索先のフレームFS1、FS2、・・・、FS(End)の中から、所定の指標値となる探索先のフレームFS2、FS3、及びFS6を、指標値が所定条件を満たす探索先のフレームとして検出したとする。この場合、フレームマッチング処理部４２は、これらの探索先のフレームFS2、FS3、及びFS6、即ち、両端FS2及びFS6で挟まれるフレーム群を第１の探索先区間PRnに変換する。この第１の探索先区間PRnが、探索元画像FMnについての第１の探索先区間となる。
【００９８】
図７Ｅでは、既に設定された探索元画像FMn-1が存在するので、第２の探索先区間の探索が実行される。即ち、フレームマッチング処理部４２は、既に探索元画像に設定された探索元のフレームFMn-1についての第２の探索先区間AR(n-1)を１フレーム分だけずらし、ずらした後の区間と、設定されている探索元画像FMn-1についての第１の探索先区間PRnとの論理積を演算する。その結果、論理積の演算後の区間ARnが第２の探索先区間として得られる。この第２の探索先区間ARnが、探索元画像FMnについての第２の探索先区間となる。
【００９９】
フレームマッチング処理部４２は、第２の探索先区間が１フレームの区間である場合、そのフレームが設定されている探索元画像と同一の探索先のフレームであると判断する。
【０１００】
図７Ｅでは、第２の探索先区間ARnは、フレームFS6の１フレームの区間となっている。したがって、フレームマッチング処理部４２は、このフレームFS6を、探索元画像FMn-1についての同一の探索先のフレームであると判断する。
【０１０１】
以上のように、フレームマッチング処理は、探索先の画像データの中から、探索元画像と同一のフレームを抽出する際に実行される処理である。フレームマッチング処理とは、探索元画像との一致度を表す指標値に基づいて、探索元画像と同一の探索先のフレームを含むと判断される区間を、第１の探索先区間として探索する処理である。さらに、所定の演算を行い、その演算結果に基づいて、探索元画像と一致する探索先のフレームを含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索する処理である。
【０１０２】
第１の探索先区間として探索される区間は、信号劣化の度合いが変化しても、その信号劣化の度合いに応じて探索元画像と同一の探索先のフレームを含むように変化する区間である。したがって、このフレームマッチング処理により、探索元画像と同一の探索先のフレームを含むと判断される区間をより確実に探索することができる。
【０１０３】
また、多くのフレーム探索技術では、画像処理によりフレームの探索を行うため、画像の動きによって信頼できる結果を得るまでに要する時間が異なっている。しかしながら、このフレームマッチング処理は、画像に比べてデータ量の少ないフレーム毎の指標値に基づいて区間を探索するので、処理時間を気にすることなく探索を行うことができる。
【０１０４】
さらに、フレームマッチング処理部４２は、探索元画像と同一の探索先のフレームを含むと判断される区間であって、第１の探索先区間よりも狭い第２の探索先区間を探索するので、探索元画像と同一の探索先のフレームを含むと判断される区間を、精度よく探索することができる。
【０１０５】
次に、図８乃至図１４を参照して、図４のステップＳ１３の処理の具体的な内容、即ち、フレームマッチング処理部４２が行うフレームマッチング処理の具体的な内容について説明する。
【０１０６】
図８は、フレームマッチング処理部４２の構成例を示すブロック図である。
【０１０７】
いま、２回目以降の再生時の画像データが画像再生部１２から出力されているとする。この場合、特徴量距離算出部８１は、特徴量抽出部４１からの特徴量を入力する。この特徴量は、探索元画像の特徴量として利用される。この特徴量を、以下、探索元特徴量と称する。なお、特徴量距離算出部８１は、この探索元特徴量を入力すると同時に、探索元画像を設定したと把握することができる。特徴量距離算出部８１は、特徴量設定情報記録部６１からの探索先の特徴量を入力する。特徴量距離算出部８１は、探索先の特徴量のそれぞれに対して、探索元特徴量との距離（以下、特徴量距離と称する）を算出する。この特徴量距離が、探索先のフレームと探索元画像との一致度を表す指標値として用いられる。但し、探索先のフレームと探索元画像との一致度が高くなる程、特徴量距離は小さくなる点に留意すべきである。さらに、特徴量距離算出部８１は、特徴量距離を算出した探索先の特徴量の記録位置とその特徴量距離とを対応付けておく。
【０１０８】
極値個数算出部８２は、探索先のフレームの中から、特徴量距離が極値となるフレームを検出する。この特徴量距離が極値となるフレームを、以下、極値フレームと称する。極値個数算出部８２は、検出した極値フレームのうち、所定閾値以下のフレームの個数を算出し、区間算出部８３に供給する。なお、この極値フレームの個数を、以下、極値個数と称する。さらに、極値個数算出部８２は、極値フレームについての特徴量の記録位置と、その特徴量距離（極値）とを対応付けておく。
【０１０９】
区間算出部８３は、例えば、全ての極値フレームのうち、特徴量距離が小さい順に上位極値個数分だけの極値フレームを選択する。区間算出部８３は、選択した極値フレームのうちの両端で挟まれたフレーム群を第１の探索先区間に変換する。この第１の探索先区間が、設定されている探索元画像についての第１の探索先区間とされる。
【０１１０】
なお、上述した特徴量距離算出部８１、極値個数算出部８２、及び区間算出部８３が、探索部８０を構成する。
【０１１１】
区間判定部８４は、１つ前の探索元画像について保持している区間を所定の規則に従ってずらし、ずらした後の区間と、区間算出部８３からの第１の探索先区間の論理積を演算する。この論理積の演算後の区間が、第２の探索先区間とされる。区間判定部８４は、第２の探索先区間が１フレーム分の区間となった場合、設定されている探索元画像についての同一のフレームの探索が成功したと判定し、その判定結果を表す判定情報と、同一のフレームについての特徴量の記録位置とを特徴量設定情報読出部６２に供給する。区間判定部８４は、それ以外の場合、探索先画像の探索が失敗したと判定し、その判定結果を表す判定情報を特徴量設定情報読出部６２に供給する。
【０１１２】
次に、図９を参照して、探索先のフレームについての、探索元画像との一致度を表す指標値として、特徴量距離を用いる理由について説明する。
【０１１３】
図９Ａ乃至図９Ｃは、探索元画像と同一の探索先のフレーム（以下、適宜、正解フレームと称する）付近における特徴量距離を示す図である。
【０１１４】
図９Ａ乃至図９Ｃにおいて、縦軸は特徴量距離を示し、横軸はフレーム番号を示している。
【０１１５】
フレームの絵柄の時間方向についての連続性によって、フレーム番号の近いフレームは、似たようなフレームとなる。フレームに依存する特徴量についても同様である。したがって、図９Ａに示されるように、正解フレームFSTのフレーム番号付近の特徴量は、正解フレームFSTのフレーム番号の特徴量と似たような特徴量となる。そのため、正解フレームFSTのフレーム番号付近では、特徴量距離が比較的小さくなる。
【０１１６】
これに対して、図９Ｂに示されるように、正解フレームFSTにノイズ等がのって信号劣化が生じた場合、正解フレームFSTの特徴量距離は、本来の特徴量距離に比べて大きくなってしまう。
【０１１７】
そこで、例えば、図９Ｃに示されるように、正解フレームFSTの付近で特徴量距離が小さい方から１番目と２番目のフレームで挟まれる区間PRを、第１の探索先区間として探索する。第１の探索先区間PRは、正解フレームFSTについての特徴量距離がどれだけ大きくなり、その小さい方からの順位がどれだけ下がっても、正解フレームFSTを含むことになるからである。
【０１１８】
このように、探索先のフレームと探索先画像の一致度を表す指標値として特徴量距離を用いる理由は、正解フレームを含むと判断される区間を第１の探索先区間として探索することが可能となるからである。
【０１１９】
次に、図１０を参照して、複数の第１の探索先区間を用いた論理積の演算を行うことで、正解フレームが抽出できることを説明する。
【０１２０】
図１０Ａは、フレーム番号m-1の探索元のフレームを探索元画像に設定した場合の正解フレームFST(m-1)付近における特徴量距離を示す図である。図１０Ｂは、フレーム番号mの探索元のフレームを探索元画像に設定した場合の正解フレームFSTm付近における特徴量距離を示す図である。図１０Ｃは、フレーム番号m+1の探索元のフレームを探索元画像に設定した場合の正解フレームFST(m+1)付近における特徴量距離を示す図である。
【０１２１】
図１０Ａ乃至図１０Ｃにおいて、縦軸は特徴量距離を示し、横軸はフレーム番号を示している。
【０１２２】
図１０Ａ乃至図１０Ｃでは、いずれも、探索先のフレーム番号nについての特徴量距離が、ノイズ等により、本来の特徴量距離に比べて大きくなっている。
【０１２３】
フレーム番号m-1の探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号n-1の探索先のフレームであるとする。この場合、図１０Ａに示されるように、正解フレームFST(m-1)の右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PR(m-1)は、正解フレームFST(m-1)と、その左隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n-1とn-2の探索先のフレームで挟まれる区間となる。
【０１２４】
フレーム番号mの探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号nの探索先のフレームである。そのため、図１０Ｂに示されるように、正解フレームFSTmの左隣と右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PRmは、正解フレームFSTmの右隣と左隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n-1とn+1の探索先のフレームで挟まれる区間となる。
【０１２５】
フレーム番号m+1の探索元のフレームを探索元画像に設定した場合、正解フレームFSTは、フレーム番号n-1の探索先のフレームである。そのため、図１０Ｃに示されるように、正解フレームFST(m+1)の左隣と右隣のフレームで、本来に比べて特徴量距離が大きくなっている。したがって、探索される第１の探索先区間PR(m+1)は、正解フレームFST(m+1)と、その右隣の探索先のフレームとで挟まれる区間となる。即ち、フレーム番号n+1とn+2の探索先のフレームで挟まれる区間となる。
【０１２６】
このようにして、図１０Ｄに示されるような、いずれも正解フレームを含むフレーム番号m-1、m、m+1についての第１の探索先区間PR(m-1)、PRm、PR(m+1)が探索される。
【０１２７】
これらの第１の探索先区間PR(m-1)、PRm、PR(m+1)を用いて、論理積が演算される。
【０１２８】
第１の探索先区間PR(m-1)とPRmの論理積を演算する場合、図１０Ｅに示されるように、第１の探索先区間PR(m-1)を１フレーム分だけ後にずらすことが妥当と考えられる。第１の探索先区間PR(m-1)に対応するフレーム番号m-1が、第１の探索先区間PRmに対応するフレーム番号mより１フレーム分だけ前にずれているからである。そこで、区間判定部８４は、図１０Ｆに示されるように、第１の探索先区間PR(m-1)を１フレーム分だけ後にずらした後の区間と、第１の探索先区間PRmとの論理積を演算する。その結果、第２の探索先区間ARmが得られる。この第２の探索先区間ARmは、フレーム番号がn-1とnの探索先の２フレームの区間となっている。
【０１２９】
このようにして第１の探索先区間PR(m-1)とPRmとを用いた論理積の演算の結果得られる第２の探索先区間ARmと、第１の探索先区間PR(m+1)との論理積を演算する場合、図１０Ｆに示されるように、第２の探索先区間ARmを１フレーム分だけ後にずらすことが妥当と考えられる。第２の探索先区間ARmに対応するフレーム番号mが、第１の探索先区間PR(m+1)に対応するフレーム番号m+1より１フレーム分だけ前にずれているからである。そこで、区間判定部８４は、図１０Ｇに示されるように、第２の探索先区間ARmを１フレーム分だけ後にずらした後の区間と、第１の探索先区間PR(m+1)との論理積を演算する。その結果、第２の探索先区間AR(m+1)が得られる。この第２の探索先区間AR(m+1)は、フレーム番号がn+1の探索先のフレームのみの区間となっている。この第２の探索先区間AR(m+1)は、フレーム番号m+1の探索元のフレームについての正解フレームFST(m+1)と一致している。
【０１３０】
このように、複数の第１の探索先区間を用いた論理積の演算を行い、その演算結果に基づいて、第２の探索先区間を探索することで、正解フレームが抽出できることが分かる。
【０１３１】
次に、図１１のフローチャートを参照して、図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理について説明する。
【０１３２】
ステップＳ３１において、特徴量距離算出部８１は、特徴量抽出部４１からの特徴量を探索元特徴量として入力する。
【０１３３】
ステップＳ３２において、特徴量距離算出部８１は、探索先のフレーム番号Mを1に初期化する。
【０１３４】
ステップＳ３３において、特徴量距離算出部８１は、フレーム番号Mの探索先のフレームについての探索先の特徴量（以下、フレーム番号Mの探索先の特徴量と称する）が特徴量設定情報記録部６１に存在するか否かを判定する。
【０１３５】
フレーム番号Mの探索先の特徴量が特徴量設定情報記録部６１に存在しない場合、ステップＳ３３においてＮＯであると判定されて、処理はステップＳ３７に進む。但し、ステップＳ３７以降の処理については後述する。
【０１３６】
これに対して、フレーム番号Mの探索先の特徴量が特徴量設定情報記録部６１に存在する場合、ステップＳ３３においてＹＥＳであると判定されて、処理はステップＳ３４に進む。
【０１３７】
ステップＳ３４において、特徴量距離算出部８１は、特徴量設定情報記録部６１からフレーム番号Mの探索先の特徴量を入力する。
【０１３８】
ステップＳ３５において、特徴量距離算出部８１は、フレーム番号Nの探索元特徴量と、フレーム番号Mの探索先の特徴量との特徴量距離を算出する。
【０１３９】
ステップＳ３６において、特徴量距離算出部８１は、フレーム番号Mを１だけインクリメントする。その後、処理はステップＳ３３に戻され、以降の処理が繰り返される。
【０１４０】
ところで、上述したように、ステップＳ３３においてＮＯであると判定されると、処理はステップＳ３７に進む。ステップＳ３７において、極値個数算出部８２は、探索先のフレームの中から、特徴量距離が極値となる極値フレームを検出する。極値個数算出部８２は、検出した極値フレームのうち、所定閾値以下のフレームの個数を算出する。
【０１４１】
ステップＳ３８において、区間算出部８３は、全ての極値フレームのうち、特徴量距離が小さい順に上位極値個数分だけの極値フレームを選択する。区間算出部８３は、選択した極値フレームのうちの両端で挟まれたフレーム群を第１の探索先区間に変換する。
【０１４２】
ステップＳ３９において、区間判定部８４は、フレーム番号N-KとNについての第１の探索先区間が完全に同一か否かを判定する。なお、Kは、1以上の任意の整数とする。
【０１４３】
フレーム番号N-KとNについての第１の探索先区間が完全に同一である場合、ステップＳ３９においてＹＥＳであると判定されて、処理はステップＳ４５に進む。但し、ステップＳ４５以降の処理については後述する。
【０１４４】
これに対して、フレーム番号N-KとNについての第１の探索先区間が同一でない場合、ステップＳ３９においてＮＯであると判定されて、処理はステップＳ４０に進む。
【０１４５】
ステップＳ４０において、区間判定部８４は、フレーム番号N-Kについての論理積の演算後の区間（第２の探索先区間）をKフレームずらす。
【０１４６】
ステップＳ４１において、区間判定部８４は、フレーム番号N-Kについての第２の探索先区間をずらした後の区間と、フレーム番号Nについての第１の探索先区間の論理積を演算する。
【０１４７】
ステップＳ４２において、区間判定部８４は、フレーム番号Nについての第２の探索先区間が存在するか否かを判定する。
【０１４８】
フレーム番号Nについての第２の探索先区間が存在しない場合、ステップＳ４２においてＮＯであると判定されて、処理はステップＳ４５に進む。但し、ステップＳ４５以降の処理については後述する。
【０１４９】
これに対して、フレーム番号Nについての第２の探索先区間が存在する限り、ステップＳ４２においてＹＥＳであると判定されて、処理はステップＳ４３に進む。ステップＳ４３において、区間判定部８４は、第２の探索先区間が１フレームの区間か否かを判定する。
【０１５０】
第２の探索先区間が１フレームの区間でない場合、ステップＳ４３においてＮＯであると判定されて、処理はステップＳ４６に進む。ステップＳ４６以降の処理については後述する。
【０１５１】
これに対して、第２の探索先区間が１フレームの区間である場合、ステップＳ４３においてＹＥＳであると判定されて、処理はステップＳ４４に進む。ステップＳ４４において、区間判定部８４は、探索成功との判定結果を表す判定情報と、フレーム番号Nについての同一のフレームの特徴量の記録位置を出力する。そして、処理は図４のステップＳ１４に戻される。
【０１５２】
ところで、上述したように、ステップＳ３９においてＹＥＳであると判定されると、また、ステップＳ４２においてＮＯであると判定されると、ステップＳ４５に進む。ステップＳ４５において、区間判定部８４は、フレーム番号Nについての第１の探索先区間を保持する。そして、処理はステップＳ４７に進む。但し、ステップＳ４７以降の処理については後述する。
【０１５３】
また、上述したように、ステップＳ４３においてＮＯであると判定されると、ステップＳ４６に進む。ステップＳ４６において、区間判定部８４は、フレーム番号Nについての第２の探索先区間を保持する。
【０１５４】
ステップＳ４７において、区間判定部８４は、探索失敗との判定結果を表す判定情報を出力する。そして、処理は図４のステップＳ１４に戻される。
【０１５５】
次に、図１２を参照して、図１１のステップＳ３５で特徴量距離算出部８１が行う具体的な処理の一例について説明する。
【０１５６】
なお、特徴量距離算出部８１では、特徴量抽出部４１で抽出された特徴量Uが用いられる。この特徴量Uは、ベクトルなので、図１２を参照して後述するようなベクトルどうしの距離を特徴量距離として算出することが可能となる。
【０１５７】
特徴量距離算出部８１は、例えば、以下の順序で特徴量距離を算出する。
【０１５８】
いま、特徴量距離算出部８１は、そのフレーム番号Nの特徴量Uを探索元特徴量Ui、Nとして入力したとする。ここで、探索元特徴量Ui、Nは、式（２）で表される。
【０１５９】
Ui、N = (pi,N,1,pi,N,2,・・・,pi,N,k) ・・・（２）
【０１６０】
式（２）において、pi,N,j（1≦j≦k）は、フレーム番号Nの探索元画像のブロックbjについての特徴量である。
【０１６１】
次に、特徴量距離算出部８１は、特徴量設定情報記録部６１からのフレーム番号Mの探索先の特徴量を順次入力する。このフレーム番号Mの探索先の特徴量を、以下、UD、M(1≦M≦End)と称する。このフレーム番号Mの探索先の特徴量UD、Mは、式（３）で表される。
【０１６２】
UD、M = (pD,M,1,pD,M,2,・・・,pD,M,k) ・・・（３）
【０１６３】
式（３）において、pD,M,jは、フレーム番号Mの探索先画像のブロックbjについての特徴量である。
【０１６４】
次に、特徴量距離算出部８１は、探索先の特徴量UD、Mのそれぞれに対して、探索先の特徴量UD、Mとの特徴量距離DU、Mを計算する。ここで、特徴量距離DU、Mは、式（４）で表される。
【０１６５】
【数１】
・・・（４）
【０１６６】
この特徴量距離DU、Mは、探索先の特徴量UD、Mと探索元特徴量Ui、Nとの間の特徴量空間における距離を表している。
【０１６７】
なお、特徴量距離算出部８１は、図１２に示されるように、特徴量設定情報記録部６１に記録されているフレーム番号1からEndまでの全ての探索先の特徴量に対して、探索元特徴量Ui、Nとの特徴量距離の計算が終わるまで、特徴量距離の計算する処理を繰り返す。
【０１６８】
特徴量設定情報記録部６１に記録されている全ての探索先の特徴量との特徴量距離の計算が終了すると、特徴量距離算出部８１は、例えば、特徴量距離の小さい順に、探索先の特徴量の記録位置を取得する。
【０１６９】
次に、図１３を参照して、図１１のステップＳ３７で極値個数算出部８２が行う具体的な処理の一例について説明する。
【０１７０】
極値個数算出部８２は、特徴量距離算出部８１において算出された特徴量距離を用いて、極値の個数を算出する。
【０１７１】
極値個数算出部８２は、例えば、以下の順序で極値の個数を算出する。
【０１７２】
極値個数算出部８２は、特徴量距離が所定の閾値以下となる区間を極値を探す区間として検出する。この所定の閾値としては、特徴量距離の最小値近辺の閾値、例えば、その最小値から所定値だけ大きい閾値や、あらかじめ設定された閾値を採用することができる。
【０１７３】
図１３Ａは、特徴量距離を示している。図１３Ｂは、特徴量距離が閾値Th以下となる区間についての拡大図である。
【０１７４】
次に、極値個数算出部８２は、特徴量距離が閾値Th以下となる区間から、値が不連続に増加するフレームを、極値となるフレームとして検出し、極値の個数（極値個数）を算出する。
【０１７５】
例えば、図１３Ｂでは、特徴量距離が閾値Th以下となる区間のうち、正解フレームFSTの左隣及び右隣のフレームが、極値となるフレームとして検出される。したがって、図１３Ｂでは、極値個数は２個と算出される。
【０１７６】
次に、極値個数算出部８２は、算出した極値個数を区間算出部８３に供給する。
【０１７７】
次に、図１１のステップＳ３８の具体的な処理の一例、即ち、区間算出部８３が行う具体的な処理の一例について説明する。
【０１７８】
区間算出部８３は、次のような順番で、第１の探索先区間を算出する。
【０１７９】
まず、区間算出部８３は、特徴量距離算出部８１において検出された全ての極値フレームの特徴量の記録位置のうち、特徴量距離が小さい順に上位極値個数分だけの記録位置を選択する。区間算出部８３は、選択した記録位置の中から、値が最小の記録位置と最大の記録位置を選択する。
【０１８０】
次に、区間算出部８３は、値が最小の記録位置に対応するフレームと最大の記録位置に対応するフレームで挟まれた区間を第１の探索先区間として求める。
【０１８１】
なお、この区間算出部８３による処理を、後述する処理と区別するために、以下、適宜、第１の処理と称する。
【０１８２】
次に、図１４を参照して、図１１のステップＳ３８の具体的な処理の他の一例、即ち、区間算出部８３が行う具体的な処理の他の一例について説明する。なお、次に説明する区間算出部８３による処理を、以下、第２の処理と称する。
【０１８３】
第２の処理では、極値個数算出部８２による極値に関する処理は行われない点に留意すべきである。区間算出部８３は、図１４Ａに示されるように、探索先のフレームの中から、特徴量距離が最小となる探索先のフレームを、特徴量距離算出部８１により算出された特徴量距離に基づいて検出する。なお、この特徴量距離が最小となる探索先のフレームを、以下、最小距離フレームFSMと称する。
【０１８４】
図１４Ｂは、特徴量距離が閾値Th以下となる区間を示す図である。
【０１８５】
フレームFSMでは、特徴量距離は、Dminとなっている。この特徴量距離Dminを、以下、最小特徴量距離Dminと称する。
【０１８６】
上述した第１の処理で第１の探索先区間を求めた場合、図１４Ｂに示されるように、両端の極値フレームで挟まれる区間PR1が、第１の探索先区間とされる。この第１の探索先区間PR1は、正解フレームFSTを含んでいる。
【０１８７】
これに対して、第２の処理では、区間算出部８３は、図１４Ｃに示されるように、探索先のフレームのそれぞれに対して、最小距離フレームFSMとの特徴量距離を算出する。区間算出部８３は、特徴量距離が最小特徴量距離Dmin以下となる区間PR2を第１の探索先区間として求める。この第１の探索先区間PR2は、正解フレームFSTを含んでいる。
【０１８８】
以上のように、フレームマッチング処理部４２は、入力信号に異なる信号処理や様々な劣化が重畳した場合でも、探索元画像と同一のフレームを抽出することができる。
【０１８９】
また、入力信号に異なる信号処理や様々な劣化が重畳された場合でも、操作データの記録、再生、編集作業を問題なく行うことが可能となる。
【０１９０】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９１】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１９２】
コンピュータにおいて、CPU１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９３】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１９４】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９５】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９６】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１９９】
【図１】従来の編集手法を説明するための図である。
【図２】特許文献１の編集手法を説明するための図である。
【図３】本発明を適用した編集システム１０の一実施の形態の構成例を示す図である。
【図４】画像処理装置１３による画像処理の一例を説明するフローチャートである。
【図５】図４のステップＳ４で特徴量抽出部４１が行う処理の一例を説明するための図である。
【図６】特徴量設定情報記録部６１の内部に記録される特徴量と設定情報についての記録位置の一例を示す図である。
【図７】図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理の概要について説明するための図である。
【図８】フレームマッチング処理部４２の構成例を示すブロック図である。
【図９】正解フレーム付近における特徴量距離の変化を示す図である。
【図１０】複数の第１の探索先区間を用いて論理積の演算を行うことで、正解フレームが抽出できることを説明するための図である。
【図１１】図４のステップＳ１３でフレームマッチング処理部４２が行うフレームマッチング処理を説明するためのフローチャートである。
【図１２】図１１のステップＳ３５で特徴量距離算出部８１が行う具体的な処理の一例について説明するための図である。
【図１３】図１１のステップＳ３７で極値個数算出部８２が行う具体的な処理の一例について説明するための図である。
【図１４】図１１のステップＳ３８で区間算出部８３が行う具体的な処理の一例について説明するための図である。
【図１５】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０２００】
１０ 編集システム， １１ 記録メディア， １２ 画像再生部， １３ 画像処理装置， ４１ 特徴量抽出部， ４２ フレームマッチング処理部， ４３ 記録ブロック， ４５ 操作情報認識部， ４６ 設定情報決定部， ６１ 特徴量設定情報記録部， ６２ 特徴量設定情報読出部， ８０ 探索部， ８１ 特徴量距離算出部， ８２ 極値個数算出部， ８３ 区間算出部， ８４ 区間判定部， １０１ CPU， １０２ ROM， １０３ RAM， １０４ バス， １０５ 入出力インタフェース， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ， １１１ リムーバブルメディア
【特許請求の範囲】
【請求項１】
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値を算出し、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索する第１の探索手段と、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間を探索する第２の探索手段と
を備える情報処理装置。
【請求項２】
前記第２の探索手段は、前記探索元の動画像の第１の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間と、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間とを用いる前記所定の演算を行い、その演算結果に基づいて、前記第１の探索手段により前記第１の単位画像を用いて探索された前記第１の探索先区間よりも狭い前記第２の探索先区間を探索する
請求項１に記載の情報処理装置。
【請求項３】
前記第１の探索手段は、前記探索先の動画像のうち、前記第１の指標値が極値となる２つの単位画像で挟まれた区間を、前記第１の探索先区間として探索する
請求項１に記載の情報処理装置。
【請求項４】
前記第１の探索手段は、前記探索先の動画像のうち、前記第１の指標値が所定の閾値以下となる単位画像の中から、前記第１の指標値が極値となる前記２つの単位画像を選択する
請求項１に記載の情報処理装置。
【請求項５】
前記第２の探索手段は、前記所定の演算に用いる前記第１の探索区間として、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間の代わりに、その第１の探索先区間を所定の規則に従って時間方向にずらした後の第１の探索先区間を用いる
請求項２に記載の情報処理装置。
【請求項６】
前記第１の探索手段は、さらに、前記探索先の動画像を構成する単位画像のそれぞれについて、前記第１の指標値が最小値となる探索先の単位画像との一致度を表す第２の指標値を算出し、前記探索先の動画像のうち、前記第２の指標値が所定の閾値以下となる単位画像を含む区間を、前記第１の探索先区間として探索する
請求項１に記載の情報処理装置。
【請求項７】
情報処理装置が、
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索する
ステップを含む情報処理方法。
【請求項８】
コンピュータに実行させるプログラムとして、
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索する
ステップを含むプログラム。
【請求項１】
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す第１の指標値を算出し、前記第１の指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索する第１の探索手段と、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索手段により探索された前記第１の探索先区間よりも狭い第２の探索先区間を探索する第２の探索手段と
を備える情報処理装置。
【請求項２】
前記第２の探索手段は、前記探索元の動画像の第１の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間と、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間とを用いる前記所定の演算を行い、その演算結果に基づいて、前記第１の探索手段により前記第１の単位画像を用いて探索された前記第１の探索先区間よりも狭い前記第２の探索先区間を探索する
請求項１に記載の情報処理装置。
【請求項３】
前記第１の探索手段は、前記探索先の動画像のうち、前記第１の指標値が極値となる２つの単位画像で挟まれた区間を、前記第１の探索先区間として探索する
請求項１に記載の情報処理装置。
【請求項４】
前記第１の探索手段は、前記探索先の動画像のうち、前記第１の指標値が所定の閾値以下となる単位画像の中から、前記第１の指標値が極値となる前記２つの単位画像を選択する
請求項１に記載の情報処理装置。
【請求項５】
前記第２の探索手段は、前記所定の演算に用いる前記第１の探索区間として、前記探索元の動画像の第２の単位画像を探索元画像として前記第１の探索手段により探索された前記第１の探索先区間の代わりに、その第１の探索先区間を所定の規則に従って時間方向にずらした後の第１の探索先区間を用いる
請求項２に記載の情報処理装置。
【請求項６】
前記第１の探索手段は、さらに、前記探索先の動画像を構成する単位画像のそれぞれについて、前記第１の指標値が最小値となる探索先の単位画像との一致度を表す第２の指標値を算出し、前記探索先の動画像のうち、前記第２の指標値が所定の閾値以下となる単位画像を含む区間を、前記第１の探索先区間として探索する
請求項１に記載の情報処理装置。
【請求項７】
情報処理装置が、
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索する
ステップを含む情報処理方法。
【請求項８】
コンピュータに実行させるプログラムとして、
探索元の動画像を構成する単位画像を探索元画像として、探索先の動画像を構成する単位画像のそれぞれについて、前記探索元画像との一致度を表す指標値を算出し、前記指標値に基づいて、前記探索先の動画像の中から前記探索元画像と一致する探索先の単位画像を含むと判断される区間を、第１の探索先区間として探索し、
所定の演算を行い、その演算結果に基づいて、前記探索元画像と一致する探索先の単位画像を含むと判断される区間であって、前記第１の探索先区間よりも狭い第２の探索先区間を探索する
ステップを含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１０９１３（Ｐ２０１０−１０９１３Ａ）
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願番号】特願２００８−１６６０６０（Ｐ２００８−１６６０６０）
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１月１４日（２０１０．１．１４）
【国際特許分類】
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]