フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
【課題】本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで得られた所望のフレームレートの映像信号を符号化する場合に、符号量を低く抑えることができるようにする新たなフレームレート変換技術の提供を目的とする。
【解決手段】ダウンサンプリング後の先頭フレームを選択して処理に入ると、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その近傍に位置するフレームを処理対象として、各処理対象フレームについて、処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、処理対象フレームの中から最適な符号化効率を示すフレームを選択することを繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行する。
【解決手段】ダウンサンプリング後の先頭フレームを選択して処理に入ると、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その近傍に位置するフレームを処理対象として、各処理対象フレームについて、処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出し、それに基づいて、処理対象フレームの中から最適な符号化効率を示すフレームを選択することを繰り返すことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００５】
通常、図１５に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。
【０００６】
ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。
【０００７】
したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。
【特許文献１】特開２００４−２０１１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。
【０００９】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差の低減に改善の余地が残されていた。
【００１０】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレートのダウンサンプリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１１】
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１２】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１３】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１４】
フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδt ） ｉ＝０, １, .....
というように、フレーム間隔をＭ倍するという方法がとられてきた。
【００１５】
これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δt ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。
【００１６】
しかし、δt ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδt ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。
【００１７】
このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。
【００１８】
そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌi ）δt ） ｉ＝０, １, .....
Ｌi ＝−Δ, .... ,Δ−１
というように、２Δフレームにまで拡大する。
【００１９】
ここで、Ｌi は、−Δ, .... ,Δ−１の範囲の整数値をとるパラメータ（以下、Ｌi を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。
【００２０】
伸縮パラメータＬi をΔに限定したのは、このＬi の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。
【００２１】
このように、本発明では、フレーム選択の候補を２Δフレームにまで拡大することになるが、いずれのフレームを選択するのかについては、例えば、以下の基準に従うものとする。
【００２２】
〔イ〕選択基準１
選択基準１では、動き補償予測誤差を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００２３】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕）を行った場合、その区間内の動き補償後の予測誤差は次の式（１）のように表現できる。ここで、式（１）では、１つ前のフレームとの間で動き補償後の予測誤差を求めるようにしている。
【００２４】
【数１】
【００２５】
この式（１）に従って、まず、各Ｌi に対して、σi 2 〔Ｌi 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定する。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。さらに、σi 2 〔−Δ〕, .... ,σi 2 〔Δ−１〕の中から最小となるσi 2 〔Ｌi 〕を選択し、対応するＬi を伸縮パラメータとして設定して、その設定した伸縮パラメータの指すフレームを選択する。
【００２６】
〔ロ〕選択基準２
選択基準２では、推定変移量の精度を整数画素精度とした場合に動き補償予測誤差を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００２７】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕）を行った場合、その区間内の動き補償後の予測誤差は前述の式（１）の次のように表現できる。
【００２８】
この式（１）に従って、まず、各Ｌi に対して、σi 2 〔Ｌi 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定する。さらに、σi 2 〔−Δ〕, .... ,σi 2 〔Δ−１〕の中から最小となるσi 2 〔Ｌi 〕を選択し、対応するＬi を伸縮パラメータとして設定して、その設定した伸縮パラメータの指すフレームを選択する。
【００２９】
〔ハ〕選択基準３
選択基準３では、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００３０】
ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。
【００３１】
〔ニ〕選択基準４
選択基準４では、推定変移量の精度を整数画素精度として、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００３２】
ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。
【００３３】
次に、本発明の構成について説明する。
【００３４】
〔１〕第１の構成
第１の構成の本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する先頭フレーム選択手段と、（３）先頭フレーム選択手段や後述するフレーム選択手段によりダウンサンプリング後のフレームを選択した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にあるフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する算出手段と、（５）算出手段の算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択手段とを備えるように構成する。
【００３５】
この構成を採るときに、さらに、前記の所定の範囲の大きさを初期値から増大させてフレーム選択手段によるフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の個々の値、あるいはそれらの値の総和が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ所定の範囲を用いてフレーム選択手段によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終的に決定する決定手段を備えることがある。
【００３６】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００３７】
このように構成される第１の構成の本発明のフレームレート変換装置では、前記の所定の範囲の大きさが予め設定されている場合には、例えば、高フレームレート映像信号の先頭フレームをダウンサンプリング後の先頭フレームとして選択することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍に位置する所定の枚数のフレームを処理対象として、各処理対象フレームについて、処理対象フレームと選択済みのフレーム（例えば、前回選択したフレーム）とに基づいて、処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す符号化効率表示値（例えば、動き補償予測誤差電力）を算出し、その算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択することを繰り返していくことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。
【００３８】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【００３９】
〔２〕第２の構成
第２の構成の本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する開始フレーム選択手段と、（３）後述するフレーム最終選択手段により開始フレーム選択手段の選択した開始フレームの中から起点となるダウンサンプリング後のフレームを選択したり、後述するフレーム選択手段によりダウンサンプリング後のフレームを選択した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にあるフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する算出手段と、（５）算出手段の算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択手段と、（６）開始フレーム選択手段の選択した開始フレームのそれぞれを起点としてフレーム選択手段によるフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択手段によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択するフレーム最終選択手段とを備えるように構成する。
【００４０】
この構成を採るときに、さらに、前記の所定の範囲の大きさを初期値から増大させてフレーム最終選択手段によるフレームの最終選択を行って、そのフレームの最終選択に用いた最適な符号化効率表示値の総和、あるいはその総和を構成する個々の値が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ所定の範囲を用いてフレーム最終選択手段によるフレームの最終選択を行ったときに最終選択したフレームをダウンサンプリング後のフレームとして最終的に決定する決定手段を備えることがある。
【００４１】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００４２】
このように構成される第２の構成の本発明のフレームレート変換装置では、前記の所定の範囲の大きさが予め設定されている場合には、例えば、高フレームレート映像信号の先頭フレームとそれに続く複数のフレームとを開始フレームとして選択することで処理に入って、図２に示すように、開始フレームのそれぞれを起点として、第１の構成の本発明のフレームレート変換装置と同様のフレーム選択処理を実行することでフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の総和を算出し、その算出した符号化効率表示値の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。
【００４３】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【発明の効果】
【００４４】
本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行する。
【００４５】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【発明を実施するための最良の形態】
【００４６】
以下、実施の形態に従って本発明を詳細に説明する。
【００４７】
図３に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００４８】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００４９】
このフレームレートダウンサンプリング部１２は、動き推定部１２００を備えて、動き補償予測誤差を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動き補償予測誤差を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データ（配列などのデータ）を記憶する作業用メモリ１２２とを備える。
【００５０】
〔１〕動き推定部１２００の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２０の備える動き推定部１２００の処理について説明する。
【００５１】
動き推定部１２００は、予測対象フレーム（選択対象のフレームが予測対象フレームとなる）と、参照フレーム（例えば、１つ前に選択したフレームが参照フレームとなる）とを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。
【００５２】
処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２０は、動き推定部１２００の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差を算出する。
【００５３】
〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１の処理により実行されるフレームレートダウンサンプリング処理について説明する。
【００５４】
以下に説明するダウンサンプリング実行部１２１の処理では、ダウンサンプリングフレームの選択基準として、前述した選択基準１にあたる動き補償予測誤差を用いる場合を示すが、前述した選択基準２，３，４を用いる場合も処理は同様である。
【００５５】
まず最初に、図１に示すような形態でフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その１）”について説明する。
【００５６】
ここで、この“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、ダウンサンプリング実行部１２１は、図４に示すように、
（１）フレーム数Ｊ、フレーム間隔δt 、ダウンサンプリング比Ｍ、伸縮パラメータ最大値Δを読み込む入力部１２１０と、
（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する先頭フレーム選択部１２１１と、
（３）先頭フレーム選択部１２１１や後述するフレーム選択部１２１５がダウンサンプリング後のフレームを選択した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する２Δ枚のフレームを処理対象フレームとして抽出する処理対象フレーム抽出部１２１３と、
（５）処理対象フレーム抽出部１２１３の抽出した各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である動き補償予測誤差を算出する処理対象フレーム予測誤差算出部１２１４と、
（６）処理対象フレーム予測誤差算出部１２１４の算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択部１２１５と、
（７）フレーム選択部１２１５がフレームを選択したときに、ダウンサンプリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理が終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１６
とを備える構成を採る。
【００５７】
〔２−１〕フレームレートダウンサンプリング処理の流れ（その１）
０．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
１．ダウンサンプリング比Ｍを読み込む
２．ダウンサンプリング後の先頭フレームを規定するＬ0 の値として、予め与えられた 値を読み込む。例えば、０やΔ／２を読み込む
３．ｆｏｒ ｉ＝１, .... ,Ｊ／Ｍ−１
４． ｆｏｒ Ｌi ＝−Δ, .... ,Δ−１
５． ダウンサンプリング後のフレームをｆ（ｘ，（ｉＭ＋Ｌi ）δt ）とする場合 の動き補償予測誤差（式（１))を最小化する動きベクトルを求めて、その動き ベクトルを＾ｄ〔Ｌi 〕〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に格納し、最小 化された動き補償予測誤差をσi 2 〔Ｌi 〕に格納する。ここで、「＾Ｘ」（ Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している
６． σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の中での最小値を探索し、対応す るＬi * を同定する ７． ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ） （ｘ＝０, .... ,Ｘ−１）を格納する。
【００５８】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、例えば、高フレームレート映像信号の先頭フレームをダウンサンプリング後の先頭フレームとして選択することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍に位置する所定枚数のフレーム（２Δ枚のフレーム）を処理対象として、処理対象フレームと前回選択したフレームとに基づいて、処理対象フレームでダウンサンプリングする場合の動き補償予測誤差を算出して、その算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択し、それをダウンサンプリング後のフレームとして選択することを繰り返していくことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００５９】
次に、図２に示すような形態でフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その２）”について説明する。
【００６０】
ここで、この“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、ダウンサンプリング実行部１２１は、図５に示すように、
（１）フレーム数Ｊ、フレーム間隔δt 、ダウンサンプリング比Ｍ、伸縮パラメータ最大値Δを読み込む入力部１２１０と、
（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する開始フレーム選択部１２１１αと、
（３）後述するフレーム最終選択部１２１７が開始フレーム選択部１２１１αの選択した開始フレームの中から起点となるダウンサンプリング後のフレームを選択したり、後述するフレーム選択部１２１５がダウンサンプリング後のフレームを選択した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する２Δ枚のフレームを処理対象フレームとして抽出する処理対象フレーム抽出部１２１３と、
（５）処理対象フレーム抽出部１２１３の抽出した各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である動き補償予測誤差を算出する処理対象フレーム予測誤差算出部１２１４と、
（６）処理対象フレーム予測誤差算出部１２１４の算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択部１２１５と、
（７）フレーム選択部１２１５がフレームを選択したときに、ダウンサンプリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理が終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１６と、
（８）開始フレーム選択部１２１１αの選択した開始フレームのそれぞれを起点としてフレーム選択部１２１５によるフレーム選択を行って、そのフレーム選択に用いた最小の動き補償予測誤差の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択部１２１５によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択するフレーム最終選択部１２１７
とを備える構成を採る。
【００６１】
〔２−２〕フレームレートダウンサンプリング処理の流れ（その２）
０．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
１．ダウンサンプリング比Ｍを読み込む
２．ｆｏｒ Ｌ0 ＝０, .... ,Δ−１
３． ｆｏｒ ｉ＝１, .... ,Ｊ／Ｍ−１
４． Ｅ〔Ｌ0 〕＝０
５． ｆｏｒ Ｌi ＝−Δ, .... ,Δ−１
６． ダウンサンプリング後のフレームをｆ（ｘ，（ｉＭ＋Ｌi ）δt ）とする場 合の動き補償予測誤差（式（１))を最小化する動きベクトルを求めて、その 動きベクトルを＾ｄ〔Ｌi 〕〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に格納し 、最小化された動き補償予測誤差をσi 2 〔Ｌi 〕に格納する
７． σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の中での最小値を探索し、対応 するＬi * を同定する。このとき、σi 2 〔Ｌi * 〕を＾σi 2 〔Ｌi * 〕〔 Ｌ0 〕に格納し、Ｌi * を＾Ｌi * 〔Ｌ0 〕に格納する
８． Ｅ〔Ｌ0 〕＝Ｅ〔Ｌ0 〕＋＾σi 2 〔Ｌi * 〕〔Ｌ0 〕
９． Ｅ〔Ｌ0 〕（Ｌ0 ＝０, .... ,Δ−１）の中での最小値を探索し、対応するＬ0 * を同定する
10． ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋＾Ｌi * 〔Ｌ0 〕* ）δt ）（ｘ＝０, .... ,Ｘ−１）を格納する。
【００６２】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、例えば、高フレームレート映像信号の先頭フレームとそれに続く複数のフレームとを開始フレームとして選択することで処理に入って、図２に示すように、開始フレームのそれぞれを起点として、“フレームレートダウンサンプリング処理の流れ（その１）”と同様のフレーム選択処理を実行することでフレーム選択を行って、そのフレーム選択に用いた最適な動き補償予測誤差の総和を算出し、その算出した動き補償予測誤差の総和に基づいて、開始フレームの中から最小の動き補償予測誤差総和を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００６３】
〔２−３〕Δの値の自動設定処理
フレームレートダウンサンプリング処理の流れ（その１）やフレームレートダウンサンプリング処理の流れ（その２）で用いたΔの単位はフレームであり、ダウンサンプリングの対象となるフレーム候補の存在区間を表す。言い換えると、Δは伸縮パラメータＬi の最大値を表す。
【００６４】
このように、伸縮パラメータＬi の値をΔに限定したのは、この値が大きすぎると、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎて、動きのかくついた動画像になるためである。
【００６５】
このΔはダウンサンプリング前後のフレームレートおよび画像に依存する値であり、前述したフレームレートダウンサンプリング処理の流れ（その１）やフレームレートダウンサンプリング処理の流れ（その２）では、その値が予め外部から与えられることで説明した。
【００６６】
次に、このΔの値を自動設定する方法について説明する。
【００６７】
ダウンサンプリング実行部１２１は、Δを自動設定する場合、誤差εと、Δの初期値Δ＿｛０｝と、最大の繰り返し回数Ｎと、Δのステップ幅βとを入力として、下記に示す処理を実行することで、Δの値と、そのΔに対応する伸縮パラメータＬ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）を算出する処理を実行する。
【００６８】
処理：（Ｓ１）
Δ＿｛ｎ｝に対して、フレームレートダウンサンプリング処理の流れ（その１ ）、あるいは、フレームレートダウンサンプリング処理の流れ（その２）を実 行し、伸縮パラメータＬ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）を算出する。そし て、このときの動き補償予測誤差をＥ＿｛ｎ｝として格納する
（Ｓ２）
繰り返し回数ｎが与えられた閾値Ｎよりも小さければ、次の処理に進み、そう でなければ、処理を終了する
（Ｓ３）
Ｅ＿｛ｎ｝が与えられた誤差εよりも小さくなれば、処理を終了する。そうで なければ、Δ＿｛ｎ＋１｝＝Δ＿｛ｎ｝＋βとして、（Ｓ１）に戻る
（Ｓ４）
Δ＿｛ｎ｝をΔとして出力する。そして、Ｌ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１ ）をΔに対応する伸縮パラメータとして出力する。
【００６９】
このようにして、ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）を使ってΔの値を自動設定する場合には、Δの値を初期値から増大させながら、フレームレートダウンサンプリング処理の流れ（その１）を実行して各ダウンサンプリング点における動き補償予測誤差を求め、その総和を算出して、その総和が誤差εよりも小さくなるときのΔの値を求めることで、Δの値を自動設定することを実現するのである。
【００７０】
このとき、Δの値を制限なく大きくしてしまうと、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎてしまうので、繰り返し回数ｎに上限値を設けることで、Δの値に上限値を設けるようにしている。
【００７１】
そして、ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）を使ってΔの値を自動設定する場合には、Δの値を初期値から増大させながら、フレームレートダウンサンプリング処理の流れ（その２）を実行して各開始フレームを起点とする場合の動き補償予測誤差の総和を求め、それに基づいて開始フレームを決定するときに、その決定する開始フレームについての総和が誤差εよりも小さくなるときのΔの値を求めることで、Δの値を自動設定することを実現するのである。
【００７２】
このとき、Δの値を制限なく大きくしてしまうと、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎてしまうので、繰り返し回数ｎに上限値を設けることで、Δの値に上限値を設けるようにしている。
【実施例】
【００７３】
次に、実施例に従って本発明を詳細に説明する。
【００７４】
〔１〕第１の実施例
〔１−１〕Δが予め設定される場合の構成
図６に、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。ここで、このフローチャートでは、Δが予め設定される場合を想定している。
【００７５】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００７６】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）に従って、図１に示すような形態でフレームレートのダウンサンプリング処理を実行する場合には、図６のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータＬi の最大値Δとを読み込む。
【００７７】
続いて、ステップＳ１０２で、読み込んだ高フレームレート映像信号の先頭フレームをダウンサンプリング後のフレーム（先頭フレーム）として選択する。
【００７８】
続いて、ステップＳ１０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【００７９】
続いて、ステップＳ１０４で、伸縮パラメータＬi に最小値である−Δをセットし、続くステップＳ１０５で、動き補償予測誤差の値を格納する配列σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の全ての格納場所に０をセットする。
【００８０】
続いて、ステップＳ１０６で、式（１）に従って、変数ｉおよび伸縮パラメータＬi の値により規定されるフレームと、１つ前に選択したフレームとの間の動き補償予測誤差の最小値を算出することで動き補償予測誤差を算出し、続くステップＳ１０７で、その算出した動き補償予測誤差を配列σi 2 〔Ｌi 〕の対応する格納場所（Ｌi の指す格納場所）に格納する。
【００８１】
続いて、ステップＳ１０８で、伸縮パラメータＬi の値を１つインクリメントし、続くステップＳ１０９で、伸縮パラメータＬi の値が最大値であるΔ−１を超えたのか否かを判断する。
【００８２】
このステップＳ１０９の判断処理により、伸縮パラメータＬi の値がΔ−１を超えていないことを判断するときには、伸縮パラメータＬi の指す次のフレームについてステップＳ１０６〜ステップＳ１０８の処理を実行すべく、ステップＳ１０６の処理に戻る。
【００８３】
一方、ステップＳ１０９の判断処理により、伸縮パラメータＬi の値がΔ−１を超えたことを判断するときには、変数ｉの指すダウンサンプリング位置についての処理（２Δフレームについての動き補償予測誤差の算出処理）を終了したことを判断して、ステップＳ１１０に進んで、配列σi 2 〔Ｌi 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータＬi * を特定する。
【００８４】
続いて、ステップＳ１１１で、変数ｉおよび伸縮パラメータＬi * の値により規定されるフレームをダウンサンプリング後のフレームとして選択する。
【００８５】
続いて、ステップＳ１１２で、変数ｉの値を１つインクリメントし、続くステップＳ１１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ１０４〜ステップＳ１１２の処理を実行すべく、ステップＳ１０４の処理に戻る。
【００８６】
一方、ステップＳ１１３の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。
【００８７】
このようにして、ダウンサンプリング実行部１２１は、図６のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その１）に従って、図１に示すような形態で、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００８８】
〔１−２〕Δを自動設定する構成（その１）
図７に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【００８９】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００９０】
ダウンサンプリング実行部１２１は、図７のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ２０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【００９１】
続いて、ステップＳ２０２で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ２０３で、伸縮パラメータＬi の最大値を指定する変数Δに小さな値である初期値をセットする。
【００９２】
続いて、ステップＳ２０４で、図６のフローチャートのステップＳ１０２〜ステップＳ１１３の処理を実行して、設定されているΔを用いるときの選択フレーム（各ダウンサンプリング位置における選択フレーム）を決定するとともに、そのときの動き補償予測誤差の総和（各選択フレームについて求めた動き補償予測誤差の総和）を算出する。
【００９３】
続いて、ステップＳ２０５で、ステップＳ２０４で算出した動き補償予測誤差の総和が予め設定される誤差εよりも小さいのか否かを判断する。
【００９４】
このステップＳ２０５の判断処理により、ステップＳ２０４で算出した動き補償予測誤差の総和が誤差εよりも小さくないことを判断するときには、ステップＳ２０７に進んで、変数ｎの値を１つインクリメントし、続くステップＳ２０８で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ２０９に進んで、Δの値をβだけ大きくしてから、ステップＳ２０４の処理に戻る。
【００９５】
そして、ステップＳ２０５の判断処理に従って、ステップＳ２０４で算出した動き補償予測誤差の総和が誤差εよりも小さいことを判断するときと、ステップＳ２０８の判断処理に従って、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ２０６に進んで、設定されているΔを用いるときの選択フレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【００９６】
このようにして、ダウンサンプリング実行部１２１は、図７のフローチャートを実行することで、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【００９７】
〔１−３〕Δを自動設定する構成（その２）
図８に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行する他のフローチャートを図示する。
【００９８】
ダウンサンプリング実行部１２１は、図７のフローチャートを実行する場合には、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置で得た動き補償予測誤差の総和を算出して、その総和が予め設定される誤差εに入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現したが、図８のフローチャートを実行する場合には、図９に示すように、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置でそれぞれ独立にΔを増加させるようにして、その各ダウンサンプリング位置で得た動き補償予測誤差のそれぞれが予め設定される誤差ε’に入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現する。
【００９９】
すなわち、ダウンサンプリング実行部１２１は、図８のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ３０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１００】
続いて、ステップＳ３０２で、読み込んだ高フレームレート映像信号の先頭フレームをダウンサンプリング後のフレーム（先頭フレーム）として選択する。
【０１０１】
続いて、ステップＳ３０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットし、続くステップＳ３０４で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ３０５で、伸縮パラメータＬi の最大値を指定する変数Δに初期値をセットする。
【０１０２】
続いて、ステップＳ３０６で、設定されているΔを用いて図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１０３】
続いて、ステップＳ３０７で、ステップＳ３０６で算出した動き補償予測誤差が予め設定される誤差ε’よりも小さいのか否かを判断する。
【０１０４】
このステップＳ３０７の判断処理により、ステップＳ３０６で算出した動き補償予測誤差が誤差ε’よりも小さいことを判断するときには、ステップＳ３０８に進んで、変数ｉおよび伸縮パラメータＬi * の値により規定されるフレームをダウンサンプリング後のフレームとして選択する。
【０１０５】
続いて、ステップＳ３０９で、変数ｉの値を１つインクリメントし、続くステップＳ３１０で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ３０５〜ステップＳ３０９の処理を実行すべく、ステップＳ３０５の処理に戻る。そして、ステップＳ３１０の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、処理を終了する。
【０１０６】
一方、ステップＳ３０７の判断処理により、ステップＳ３０６で算出した動き補償予測誤差が誤差ε’よりも小さくないことを判断するときには、ステップＳ３１１に進んで、変数ｎの値を１つインクリメントし、続くステップＳ３１２で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ３１３に進んで、Δの値をβだけ大きくしてから、ステップＳ３０６の処理に戻る。
【０１０７】
そして、ステップＳ３１２の判断処理により、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ３０８に進んで、前述した処理と同様の処理を実行することで、ダウンサンプリング後のフレームを選択する。
【０１０８】
このようにして、ダウンサンプリング実行部１２１は、図８のフローチャートを実行することで、図９に示す形態に従って伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１０９】
〔２〕第２の実施例
〔２−１〕Δが予め設定される場合の構成
図１０に、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。ここで、このフローチャートでは、Δが予め設定される場合を想定している。
【０１１０】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１１１】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）に従って、図２に示すような形態でフレームレートのダウンサンプリング処理を実行する場合には、図１０のフローチャートに示すように、まず最初に、ステップＳ４０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータＬi の最大値Δとを読み込む。
【０１１２】
続いて、ステップＳ４０２で、読み込んだ高フレームレート映像信号の先頭フレームからのフレーム数を指定する変数Ｌ0 に０をセットする。
【０１１３】
続いて、ステップＳ４０３で、伸縮パラメータを格納する配列＾Ｌi * 〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差を格納する配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差の総和を格納する配列Ｅ〔Ｌ0 〕の全ての格納場所に０をセットする。
【０１１４】
続いて、ステップＳ４０４で、読み込んだ高フレームレート映像信号の先頭フレームからＬ0 の値だけ後にあるフレームをダウンサンプリング後のフレーム（先頭フレーム）として設定する。
【０１１５】
続いて、ステップＳ４０５で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【０１１６】
続いて、ステップＳ４０６で、図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１１７】
続いて、ステップＳ４０７で、ステップＳ４０６で算出した伸縮パラメータを配列＾Ｌi * 〔Ｌ0 〕に格納し、ステップＳ４０６で算出した動き補償予測誤差を配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕に格納する。
【０１１８】
続いて、ステップＳ４０８で、設定されているＬ0 について、配列Ｅ〔Ｌ0 〕の対応する値と配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の対応する値とを加算して、それに基づいて配列Ｅ〔Ｌ0 〕の値を更新する。すなわち、設定されているＬ0 に基づいて選択した先頭フレームを起点として第１の実施例のフレーム選択処理を行うことで動き補償予測誤差を得て、そのようにして得た動き補償予測誤差を累積加算するのである。
【０１１９】
続いて、ステップＳ４０９で、変数ｉの値を１つインクリメントし、続くステップＳ４１０で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ４０６〜ステップＳ４０９の処理を実行すべく、ステップＳ４０６の処理に戻る。
【０１２０】
一方、ステップＳ４１０の判断処理に従って、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときは、ステップＳ４１１に進んで、変数Ｌ0 の値を１つインクリメントし、続くステップＳ４１２で、変数Ｌ0 の値が最大値であるΔ−１を超えたのか否かを判断して、Δ−１を超えていないことを判断するときには、変数Ｌ0 の指す次の先頭フレームを起点としてステップＳ４０４〜ステップＳ４１１の処理を実行すべく、ステップＳ４０４の処理に戻る。
【０１２１】
そして、ステップＳ４１２の判断処理に従って、変数Ｌ0 の値がΔ−１を超えたことを判断するときには、ステップＳ４１３に進んで、配列Ｅ〔Ｌ0 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* を特定する。すなわち、動き補償予測誤差の総和が最小となるＬ0 の値を特定するとともに、そのＬ0 に基づいて選択した先頭フレームを起点とするフレーム選択処理により求められた各ダウンサンプリング位置における伸縮パラメータの集合を特定するのである。
【０１２２】
続いて、ステップＳ４１４で、変数ｉおよび伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* の値により規定されるフレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１２３】
このようにして、ダウンサンプリング実行部１２１は、図１０のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その２）に従って、図２に示すような形態で、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【０１２４】
〔２−２〕Δを自動設定する構成（その１）
図１１に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【０１２５】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１２６】
ダウンサンプリング実行部１２１は、図１１のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ５０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１２７】
続いて、ステップＳ５０２で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ５０３で、伸縮パラメータＬi の最大値を指定する変数Δに小さな値である初期値をセットする。
【０１２８】
続いて、ステップＳ５０４で、図１０のフローチャートのステップＳ４０２〜ステップＳ４１４の処理を実行して、設定されているΔを用いるときの選択フレーム（図２に示すような形態で求めた各ダウンサンプリング位置における選択フレーム）を決定するとともに、そのときの動き補償予測誤差の総和を算出する。
【０１２９】
続いて、ステップＳ５０５で、ステップＳ５０４で算出した動き補償予測誤差の総和が予め設定される誤差εよりも小さいのか否かを判断する。
【０１３０】
このステップＳ５０５の判断処理により、ステップＳ５０４で算出した動き補償予測誤差の総和が誤差εよりも小さくないことを判断するときには、ステップＳ５０７に進んで、変数ｎの値を１つインクリメントし、続くステップＳ５０８で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ５０９に進んで、Δの値をβだけ大きくしてから、ステップＳ５０４の処理に戻る。
【０１３１】
そして、ステップＳ５０５の判断処理に従って、ステップＳ５０４で算出した動き補償予測誤差の総和が誤差εよりも小さいことを判断するときと、ステップＳ５０８の判断処理に従って、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ５０６に進んで、設定されているΔを用いるときの選択フレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１３２】
このようにして、ダウンサンプリング実行部１２１は、図１１のフローチャートを実行することで、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１３３】
〔２−３〕Δを自動設定する構成（その２）
図１２および図１３に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行する他のフローチャートを図示する。
【０１３４】
ダウンサンプリング実行部１２１は、図１１のフローチャートを実行する場合には、最終的なフレーム選択に用いた動き補償予測誤差の総和（図８のフローチャートのステップＳ４１３の処理に従って配列Ｅ〔Ｌ0 〕の中から探索した動き補償予測誤差の総和）が予め設定される誤差εに入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現したが、図１２および図１３のフローチャートを実行する場合には、図１４に示すように、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するときに、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置でそれぞれ独立にΔを増加させるようにして、その各ダウンサンプリング位置で得た動き補償予測誤差のそれぞれが予め設定される誤差ε’に入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現する。
【０１３５】
すなわち、ダウンサンプリング実行部１２１は、図１２および図１３のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ６０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１３６】
続いて、ステップＳ６０２で、読み込んだ高フレームレート映像信号の先頭フレームからのフレーム数を指定する変数Ｌ0 に０をセットする。
【０１３７】
続いて、ステップＳ６０３で、伸縮パラメータを格納する配列＾Ｌi * 〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差を格納する配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差の総和を格納する配列Ｅ〔Ｌ0 〕の全ての格納場所に０をセットする。続いて、ステップＳ６０４で、繰り返し回数をカウントする変数ｎに０をセットする。
【０１３８】
続いて、ステップＳ６０５で、読み込んだ高フレームレート映像信号の先頭フレームからＬ0 の値だけ後にあるフレームをダウンサンプリング後のフレーム（先頭フレーム）として設定する。
【０１３９】
続いて、ステップＳ６０６で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットし、続くステップＳ６０７で、伸縮パラメータＬi の最大値を指定する変数Δに初期値をセットする。
【０１４０】
続いて、ステップＳ６０８で、設定されているΔを用いて図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１４１】
続いて、ステップＳ６０９で、ステップＳ６０８で算出した動き補償予測誤差が予め設定される誤差ε’よりも小さいのか否かを判断する。
【０１４２】
このステップＳ６０９の判断処理により、ステップＳ６０８で算出した動き補償予測誤差が誤差ε’よりも小さいことを判断するときには、ステップＳ６１０に進んで、ステップＳ６０８で算出した伸縮パラメータを配列＾Ｌi * 〔Ｌ0 〕に格納し、ステップＳ６０８で算出した動き補償予測誤差を配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕に格納する。
【０１４３】
続いて、ステップＳ６１１で、設定されているＬ0 について、配列Ｅ〔Ｌ0 〕の対応する値と配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の対応する値とを加算して、それに基づいて配列Ｅ〔Ｌ0 〕の値を更新する。すなわち、設定されているＬ0 に基づいて選択した先頭フレームを起点として第１の実施例のフレーム選択処理を行うことで動き補償予測誤差を得て、そのようにして得た動き補償予測誤差を累積加算するのである。
【０１４４】
続いて、ステップＳ６１２で、変数ｉの値を１つインクリメントし、続くステップＳ６１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ６０７〜ステップＳ６１２の処理を実行すべく、ステップＳ６０７の処理に戻る。
【０１４５】
一方、ステップＳ６１３の判断処理に従って、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときは、ステップＳ６１４に進んで、変数Ｌ0 の値を１つインクリメントし、続くステップＳ６１５で、変数Ｌ0 の値が最大値であるΔ−１を超えたのか否かを判断して、Δ−１を超えていないことを判断するときには、変数Ｌ0 の指す次の先頭フレームを起点としてステップＳ６０５〜ステップＳ６１４の処理を実行すべく、ステップＳ６０５の処理に戻る。
【０１４６】
そして、ステップＳ６１５の判断処理に従って、変数Ｌ0 の値がΔ−１を超えたことを判断するときには、ステップＳ６１６（図１３のフローチャート）に進んで、配列Ｅ〔Ｌ0 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* を特定する。すなわち、動き補償予測誤差の総和が最小となるＬ0 の値を特定するとともに、そのＬ0 に基づいて選択した先頭フレームを起点とするフレーム選択処理により求められた各ダウンサンプリング位置における伸縮パラメータの集合を特定するのである。
【０１４７】
続いて、ステップＳ６１７で、変数ｉおよび伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* により規定されるフレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１４８】
一方、ステップＳ６０９の判断処理に従って、ステップＳ６０８で算出した動き補償予測誤差が誤差ε’よりも小さくないことを判断するときには、ステップＳ６１８（図１３のフローチャート）に進んで、変数ｎの値を１つインクリメントし、続くステップＳ６１９で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ６２０に進んで、Δの値をβだけ大きくしてから、ステップＳ６０８の処理に戻る。
【０１４９】
そして、ステップＳ６１９の判断処理により、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ６１０に進んで、前述した処理と同様の処理を実行することで、ダウンサンプリング後のフレームを選択する。
【０１５０】
このようにして、ダウンサンプリング実行部１２１は、図１２および図１３のフローチャートを実行することで、図１４に示す形態に従って伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１５１】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（１）に従って、１つ前に選択したフレームとの間で動き補償予測誤差を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差を算出するようにしてもよい。
【産業上の利用可能性】
【０１５２】
本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【図面の簡単な説明】
【０１５３】
【図１】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図２】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図３】本発明のフレームレート変換装置の装置構成図である。
【図４】本発明のフレームレート変換装置の装置構成図である。
【図５】本発明のフレームレート変換装置の装置構成図である。
【図６】ダウンサンプリング実行部の実行するフローチャートである。
【図７】ダウンサンプリング実行部の実行するフローチャートである。
【図８】ダウンサンプリング実行部の実行するフローチャートである。
【図９】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図１０】ダウンサンプリング実行部の実行するフローチャートである。
【図１１】ダウンサンプリング実行部の実行するフローチャートである。
【図１２】ダウンサンプリング実行部の実行するフローチャートである。
【図１３】ダウンサンプリング実行部の実行するフローチャートである。
【図１４】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図１５】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【符号の説明】
【０１５４】
１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ 動き補償予測誤差算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ
１２１０ 入力部
１２１１ 先頭フレーム選択部
１２１１α 開始フレーム選択部
１２１２ 次フレーム位置特定部
１２１３ 処理対象フレーム抽出部
１２１４ 処理対象フレーム予測誤差算出部
１２１５ フレーム選択部
１２１６ 全フレーム位置終了判定部
１２１７ フレーム最終選択部
１２００ 動き推定部
【技術分野】
【０００１】
本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００５】
通常、図１５に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。
【０００６】
ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。
【０００７】
したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。
【特許文献１】特開２００４−２０１１６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。
【０００９】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差の低減に改善の余地が残されていた。
【００１０】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレートのダウンサンプリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１１】
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１２】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１３】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１４】
フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδt ） ｉ＝０, １, .....
というように、フレーム間隔をＭ倍するという方法がとられてきた。
【００１５】
これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δt ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。
【００１６】
しかし、δt ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδt ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。
【００１７】
このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。
【００１８】
そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌi ）δt ） ｉ＝０, １, .....
Ｌi ＝−Δ, .... ,Δ−１
というように、２Δフレームにまで拡大する。
【００１９】
ここで、Ｌi は、−Δ, .... ,Δ−１の範囲の整数値をとるパラメータ（以下、Ｌi を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。
【００２０】
伸縮パラメータＬi をΔに限定したのは、このＬi の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。
【００２１】
このように、本発明では、フレーム選択の候補を２Δフレームにまで拡大することになるが、いずれのフレームを選択するのかについては、例えば、以下の基準に従うものとする。
【００２２】
〔イ〕選択基準１
選択基準１では、動き補償予測誤差を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００２３】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕）を行った場合、その区間内の動き補償後の予測誤差は次の式（１）のように表現できる。ここで、式（１）では、１つ前のフレームとの間で動き補償後の予測誤差を求めるようにしている。
【００２４】
【数１】
【００２５】
この式（１）に従って、まず、各Ｌi に対して、σi 2 〔Ｌi 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定する。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。さらに、σi 2 〔−Δ〕, .... ,σi 2 〔Δ−１〕の中から最小となるσi 2 〔Ｌi 〕を選択し、対応するＬi を伸縮パラメータとして設定して、その設定した伸縮パラメータの指すフレームを選択する。
【００２６】
〔ロ〕選択基準２
選択基準２では、推定変移量の精度を整数画素精度とした場合に動き補償予測誤差を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００２７】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕）を行った場合、その区間内の動き補償後の予測誤差は前述の式（１）の次のように表現できる。
【００２８】
この式（１）に従って、まず、各Ｌi に対して、σi 2 〔Ｌi 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定する。さらに、σi 2 〔−Δ〕, .... ,σi 2 〔Δ−１〕の中から最小となるσi 2 〔Ｌi 〕を選択し、対応するＬi を伸縮パラメータとして設定して、その設定した伸縮パラメータの指すフレームを選択する。
【００２９】
〔ハ〕選択基準３
選択基準３では、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００３０】
ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。
【００３１】
〔ニ〕選択基準４
選択基準４では、推定変移量の精度を整数画素精度として、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行う。
【００３２】
ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。
【００３３】
次に、本発明の構成について説明する。
【００３４】
〔１〕第１の構成
第１の構成の本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する先頭フレーム選択手段と、（３）先頭フレーム選択手段や後述するフレーム選択手段によりダウンサンプリング後のフレームを選択した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にあるフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する算出手段と、（５）算出手段の算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択手段とを備えるように構成する。
【００３５】
この構成を採るときに、さらに、前記の所定の範囲の大きさを初期値から増大させてフレーム選択手段によるフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の個々の値、あるいはそれらの値の総和が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ所定の範囲を用いてフレーム選択手段によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終的に決定する決定手段を備えることがある。
【００３６】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００３７】
このように構成される第１の構成の本発明のフレームレート変換装置では、前記の所定の範囲の大きさが予め設定されている場合には、例えば、高フレームレート映像信号の先頭フレームをダウンサンプリング後の先頭フレームとして選択することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍に位置する所定の枚数のフレームを処理対象として、各処理対象フレームについて、処理対象フレームと選択済みのフレーム（例えば、前回選択したフレーム）とに基づいて、処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す符号化効率表示値（例えば、動き補償予測誤差電力）を算出し、その算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択することを繰り返していくことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。
【００３８】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【００３９】
〔２〕第２の構成
第２の構成の本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）ダウンサンプリング比を入力する入力手段と、（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する開始フレーム選択手段と、（３）後述するフレーム最終選択手段により開始フレーム選択手段の選択した開始フレームの中から起点となるダウンサンプリング後のフレームを選択したり、後述するフレーム選択手段によりダウンサンプリング後のフレームを選択した場合に、入力手段の入力したダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する特定手段と、（４）特定手段の特定したフレーム位置を含む所定の範囲内にあるフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する算出手段と、（５）算出手段の算出した符号化効率表示値に基づいて、処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択手段と、（６）開始フレーム選択手段の選択した開始フレームのそれぞれを起点としてフレーム選択手段によるフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択手段によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択するフレーム最終選択手段とを備えるように構成する。
【００４０】
この構成を採るときに、さらに、前記の所定の範囲の大きさを初期値から増大させてフレーム最終選択手段によるフレームの最終選択を行って、そのフレームの最終選択に用いた最適な符号化効率表示値の総和、あるいはその総和を構成する個々の値が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ所定の範囲を用いてフレーム最終選択手段によるフレームの最終選択を行ったときに最終選択したフレームをダウンサンプリング後のフレームとして最終的に決定する決定手段を備えることがある。
【００４１】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００４２】
このように構成される第２の構成の本発明のフレームレート変換装置では、前記の所定の範囲の大きさが予め設定されている場合には、例えば、高フレームレート映像信号の先頭フレームとそれに続く複数のフレームとを開始フレームとして選択することで処理に入って、図２に示すように、開始フレームのそれぞれを起点として、第１の構成の本発明のフレームレート変換装置と同様のフレーム選択処理を実行することでフレーム選択を行って、そのフレーム選択に用いた最適な符号化効率表示値の総和を算出し、その算出した符号化効率表示値の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行する。
【００４３】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【発明の効果】
【００４４】
本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の符号化効率を考慮した形で、そのフレームレート変換処理を実行する。
【００４５】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【発明を実施するための最良の形態】
【００４６】
以下、実施の形態に従って本発明を詳細に説明する。
【００４７】
図３に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００４８】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００４９】
このフレームレートダウンサンプリング部１２は、動き推定部１２００を備えて、動き補償予測誤差を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動き補償予測誤差を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データ（配列などのデータ）を記憶する作業用メモリ１２２とを備える。
【００５０】
〔１〕動き推定部１２００の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２０の備える動き推定部１２００の処理について説明する。
【００５１】
動き推定部１２００は、予測対象フレーム（選択対象のフレームが予測対象フレームとなる）と、参照フレーム（例えば、１つ前に選択したフレームが参照フレームとなる）とを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。
【００５２】
処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２０は、動き推定部１２００の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差を算出する。
【００５３】
〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１の処理により実行されるフレームレートダウンサンプリング処理について説明する。
【００５４】
以下に説明するダウンサンプリング実行部１２１の処理では、ダウンサンプリングフレームの選択基準として、前述した選択基準１にあたる動き補償予測誤差を用いる場合を示すが、前述した選択基準２，３，４を用いる場合も処理は同様である。
【００５５】
まず最初に、図１に示すような形態でフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その１）”について説明する。
【００５６】
ここで、この“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、ダウンサンプリング実行部１２１は、図４に示すように、
（１）フレーム数Ｊ、フレーム間隔δt 、ダウンサンプリング比Ｍ、伸縮パラメータ最大値Δを読み込む入力部１２１０と、
（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する先頭フレーム選択部１２１１と、
（３）先頭フレーム選択部１２１１や後述するフレーム選択部１２１５がダウンサンプリング後のフレームを選択した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する２Δ枚のフレームを処理対象フレームとして抽出する処理対象フレーム抽出部１２１３と、
（５）処理対象フレーム抽出部１２１３の抽出した各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である動き補償予測誤差を算出する処理対象フレーム予測誤差算出部１２１４と、
（６）処理対象フレーム予測誤差算出部１２１４の算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択部１２１５と、
（７）フレーム選択部１２１５がフレームを選択したときに、ダウンサンプリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理が終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１６
とを備える構成を採る。
【００５７】
〔２−１〕フレームレートダウンサンプリング処理の流れ（その１）
０．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
１．ダウンサンプリング比Ｍを読み込む
２．ダウンサンプリング後の先頭フレームを規定するＬ0 の値として、予め与えられた 値を読み込む。例えば、０やΔ／２を読み込む
３．ｆｏｒ ｉ＝１, .... ,Ｊ／Ｍ−１
４． ｆｏｒ Ｌi ＝−Δ, .... ,Δ−１
５． ダウンサンプリング後のフレームをｆ（ｘ，（ｉＭ＋Ｌi ）δt ）とする場合 の動き補償予測誤差（式（１))を最小化する動きベクトルを求めて、その動き ベクトルを＾ｄ〔Ｌi 〕〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に格納し、最小 化された動き補償予測誤差をσi 2 〔Ｌi 〕に格納する。ここで、「＾Ｘ」（ Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している
６． σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の中での最小値を探索し、対応す るＬi * を同定する ７． ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ） （ｘ＝０, .... ,Ｘ−１）を格納する。
【００５８】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その１）”を実行する場合には、例えば、高フレームレート映像信号の先頭フレームをダウンサンプリング後の先頭フレームとして選択することで処理に入って、図１に示すように、ダウンサンプリング後のフレームを選択する度に、等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定して、その特定したフレーム位置の近傍に位置する所定枚数のフレーム（２Δ枚のフレーム）を処理対象として、処理対象フレームと前回選択したフレームとに基づいて、処理対象フレームでダウンサンプリングする場合の動き補償予測誤差を算出して、その算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択し、それをダウンサンプリング後のフレームとして選択することを繰り返していくことで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００５９】
次に、図２に示すような形態でフレームレートダウンサンプリング処理を実行する“フレームレートダウンサンプリング処理の流れ（その２）”について説明する。
【００６０】
ここで、この“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、ダウンサンプリング実行部１２１は、図５に示すように、
（１）フレーム数Ｊ、フレーム間隔δt 、ダウンサンプリング比Ｍ、伸縮パラメータ最大値Δを読み込む入力部１２１０と、
（２）高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する開始フレーム選択部１２１１αと、
（３）後述するフレーム最終選択部１２１７が開始フレーム選択部１２１１αの選択した開始フレームの中から起点となるダウンサンプリング後のフレームを選択したり、後述するフレーム選択部１２１５がダウンサンプリング後のフレームを選択した場合に、入力部１２１０の入力したダウンサンプリング比Ｍと高フレームレート映像信号のフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する次フレーム位置特定部１２１２と、
（４）次フレーム位置特定部１２１２の特定したフレーム位置の近傍に位置する２Δ枚のフレームを処理対象フレームとして抽出する処理対象フレーム抽出部１２１３と、
（５）処理対象フレーム抽出部１２１３の抽出した各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である動き補償予測誤差を算出する処理対象フレーム予測誤差算出部１２１４と、
（６）処理対象フレーム予測誤差算出部１２１４の算出した動き補償予測誤差に基づいて、処理対象フレームの中から最小の動き補償予測誤差を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択するフレーム選択部１２１５と、
（７）フレーム選択部１２１５がフレームを選択したときに、ダウンサンプリングの対象となる全てのフレーム位置に対しての処理を終了したのか否かを判定して、処理が終了していないことを判定するときには、次のフレーム位置に対しての処理を実行すべく次フレーム位置特定部１２１２を起動する全フレーム位置終了判定部１２１６と、
（８）開始フレーム選択部１２１１αの選択した開始フレームのそれぞれを起点としてフレーム選択部１２１５によるフレーム選択を行って、そのフレーム選択に用いた最小の動き補償予測誤差の総和に基づいて、開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択部１２１５によるフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択するフレーム最終選択部１２１７
とを備える構成を採る。
【００６１】
〔２−２〕フレームレートダウンサンプリング処理の流れ（その２）
０．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
１．ダウンサンプリング比Ｍを読み込む
２．ｆｏｒ Ｌ0 ＝０, .... ,Δ−１
３． ｆｏｒ ｉ＝１, .... ,Ｊ／Ｍ−１
４． Ｅ〔Ｌ0 〕＝０
５． ｆｏｒ Ｌi ＝−Δ, .... ,Δ−１
６． ダウンサンプリング後のフレームをｆ（ｘ，（ｉＭ＋Ｌi ）δt ）とする場 合の動き補償予測誤差（式（１))を最小化する動きベクトルを求めて、その 動きベクトルを＾ｄ〔Ｌi 〕〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に格納し 、最小化された動き補償予測誤差をσi 2 〔Ｌi 〕に格納する
７． σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の中での最小値を探索し、対応 するＬi * を同定する。このとき、σi 2 〔Ｌi * 〕を＾σi 2 〔Ｌi * 〕〔 Ｌ0 〕に格納し、Ｌi * を＾Ｌi * 〔Ｌ0 〕に格納する
８． Ｅ〔Ｌ0 〕＝Ｅ〔Ｌ0 〕＋＾σi 2 〔Ｌi * 〕〔Ｌ0 〕
９． Ｅ〔Ｌ0 〕（Ｌ0 ＝０, .... ,Δ−１）の中での最小値を探索し、対応するＬ0 * を同定する
10． ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋＾Ｌi * 〔Ｌ0 〕* ）δt ）（ｘ＝０, .... ,Ｘ−１）を格納する。
【００６２】
このようにして、ダウンサンプリング実行部１２１は、“フレームレートダウンサンプリング処理の流れ（その２）”を実行する場合には、例えば、高フレームレート映像信号の先頭フレームとそれに続く複数のフレームとを開始フレームとして選択することで処理に入って、図２に示すように、開始フレームのそれぞれを起点として、“フレームレートダウンサンプリング処理の流れ（その１）”と同様のフレーム選択処理を実行することでフレーム選択を行って、そのフレーム選択に用いた最適な動き補償予測誤差の総和を算出し、その算出した動き補償予測誤差の総和に基づいて、開始フレームの中から最小の動き補償予測誤差総和を示す開始フレームを選択して、その選択した開始フレームを起点としてフレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００６３】
〔２−３〕Δの値の自動設定処理
フレームレートダウンサンプリング処理の流れ（その１）やフレームレートダウンサンプリング処理の流れ（その２）で用いたΔの単位はフレームであり、ダウンサンプリングの対象となるフレーム候補の存在区間を表す。言い換えると、Δは伸縮パラメータＬi の最大値を表す。
【００６４】
このように、伸縮パラメータＬi の値をΔに限定したのは、この値が大きすぎると、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎて、動きのかくついた動画像になるためである。
【００６５】
このΔはダウンサンプリング前後のフレームレートおよび画像に依存する値であり、前述したフレームレートダウンサンプリング処理の流れ（その１）やフレームレートダウンサンプリング処理の流れ（その２）では、その値が予め外部から与えられることで説明した。
【００６６】
次に、このΔの値を自動設定する方法について説明する。
【００６７】
ダウンサンプリング実行部１２１は、Δを自動設定する場合、誤差εと、Δの初期値Δ＿｛０｝と、最大の繰り返し回数Ｎと、Δのステップ幅βとを入力として、下記に示す処理を実行することで、Δの値と、そのΔに対応する伸縮パラメータＬ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）を算出する処理を実行する。
【００６８】
処理：（Ｓ１）
Δ＿｛ｎ｝に対して、フレームレートダウンサンプリング処理の流れ（その１ ）、あるいは、フレームレートダウンサンプリング処理の流れ（その２）を実 行し、伸縮パラメータＬ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）を算出する。そし て、このときの動き補償予測誤差をＥ＿｛ｎ｝として格納する
（Ｓ２）
繰り返し回数ｎが与えられた閾値Ｎよりも小さければ、次の処理に進み、そう でなければ、処理を終了する
（Ｓ３）
Ｅ＿｛ｎ｝が与えられた誤差εよりも小さくなれば、処理を終了する。そうで なければ、Δ＿｛ｎ＋１｝＝Δ＿｛ｎ｝＋βとして、（Ｓ１）に戻る
（Ｓ４）
Δ＿｛ｎ｝をΔとして出力する。そして、Ｌ＿ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１ ）をΔに対応する伸縮パラメータとして出力する。
【００６９】
このようにして、ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）を使ってΔの値を自動設定する場合には、Δの値を初期値から増大させながら、フレームレートダウンサンプリング処理の流れ（その１）を実行して各ダウンサンプリング点における動き補償予測誤差を求め、その総和を算出して、その総和が誤差εよりも小さくなるときのΔの値を求めることで、Δの値を自動設定することを実現するのである。
【００７０】
このとき、Δの値を制限なく大きくしてしまうと、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎてしまうので、繰り返し回数ｎに上限値を設けることで、Δの値に上限値を設けるようにしている。
【００７１】
そして、ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）を使ってΔの値を自動設定する場合には、Δの値を初期値から増大させながら、フレームレートダウンサンプリング処理の流れ（その２）を実行して各開始フレームを起点とする場合の動き補償予測誤差の総和を求め、それに基づいて開始フレームを決定するときに、その決定する開始フレームについての総和が誤差εよりも小さくなるときのΔの値を求めることで、Δの値を自動設定することを実現するのである。
【００７２】
このとき、Δの値を制限なく大きくしてしまうと、ダウンサンプリング後のフレーム間の非均一性の度合いが大きくなりすぎてしまうので、繰り返し回数ｎに上限値を設けることで、Δの値に上限値を設けるようにしている。
【実施例】
【００７３】
次に、実施例に従って本発明を詳細に説明する。
【００７４】
〔１〕第１の実施例
〔１−１〕Δが予め設定される場合の構成
図６に、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。ここで、このフローチャートでは、Δが予め設定される場合を想定している。
【００７５】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００７６】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その１）に従って、図１に示すような形態でフレームレートのダウンサンプリング処理を実行する場合には、図６のフローチャートに示すように、まず最初に、ステップＳ１０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータＬi の最大値Δとを読み込む。
【００７７】
続いて、ステップＳ１０２で、読み込んだ高フレームレート映像信号の先頭フレームをダウンサンプリング後のフレーム（先頭フレーム）として選択する。
【００７８】
続いて、ステップＳ１０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【００７９】
続いて、ステップＳ１０４で、伸縮パラメータＬi に最小値である−Δをセットし、続くステップＳ１０５で、動き補償予測誤差の値を格納する配列σi 2 〔Ｌi 〕（Ｌi ＝−Δ, .... ,Δ−１）の全ての格納場所に０をセットする。
【００８０】
続いて、ステップＳ１０６で、式（１）に従って、変数ｉおよび伸縮パラメータＬi の値により規定されるフレームと、１つ前に選択したフレームとの間の動き補償予測誤差の最小値を算出することで動き補償予測誤差を算出し、続くステップＳ１０７で、その算出した動き補償予測誤差を配列σi 2 〔Ｌi 〕の対応する格納場所（Ｌi の指す格納場所）に格納する。
【００８１】
続いて、ステップＳ１０８で、伸縮パラメータＬi の値を１つインクリメントし、続くステップＳ１０９で、伸縮パラメータＬi の値が最大値であるΔ−１を超えたのか否かを判断する。
【００８２】
このステップＳ１０９の判断処理により、伸縮パラメータＬi の値がΔ−１を超えていないことを判断するときには、伸縮パラメータＬi の指す次のフレームについてステップＳ１０６〜ステップＳ１０８の処理を実行すべく、ステップＳ１０６の処理に戻る。
【００８３】
一方、ステップＳ１０９の判断処理により、伸縮パラメータＬi の値がΔ−１を超えたことを判断するときには、変数ｉの指すダウンサンプリング位置についての処理（２Δフレームについての動き補償予測誤差の算出処理）を終了したことを判断して、ステップＳ１１０に進んで、配列σi 2 〔Ｌi 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータＬi * を特定する。
【００８４】
続いて、ステップＳ１１１で、変数ｉおよび伸縮パラメータＬi * の値により規定されるフレームをダウンサンプリング後のフレームとして選択する。
【００８５】
続いて、ステップＳ１１２で、変数ｉの値を１つインクリメントし、続くステップＳ１１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ１０４〜ステップＳ１１２の処理を実行すべく、ステップＳ１０４の処理に戻る。
【００８６】
一方、ステップＳ１１３の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、全てのダウンサンプリング位置についての処理を終了したことを判断して、処理を終了する。
【００８７】
このようにして、ダウンサンプリング実行部１２１は、図６のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その１）に従って、図１に示すような形態で、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【００８８】
〔１−２〕Δを自動設定する構成（その１）
図７に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【００８９】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【００９０】
ダウンサンプリング実行部１２１は、図７のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ２０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【００９１】
続いて、ステップＳ２０２で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ２０３で、伸縮パラメータＬi の最大値を指定する変数Δに小さな値である初期値をセットする。
【００９２】
続いて、ステップＳ２０４で、図６のフローチャートのステップＳ１０２〜ステップＳ１１３の処理を実行して、設定されているΔを用いるときの選択フレーム（各ダウンサンプリング位置における選択フレーム）を決定するとともに、そのときの動き補償予測誤差の総和（各選択フレームについて求めた動き補償予測誤差の総和）を算出する。
【００９３】
続いて、ステップＳ２０５で、ステップＳ２０４で算出した動き補償予測誤差の総和が予め設定される誤差εよりも小さいのか否かを判断する。
【００９４】
このステップＳ２０５の判断処理により、ステップＳ２０４で算出した動き補償予測誤差の総和が誤差εよりも小さくないことを判断するときには、ステップＳ２０７に進んで、変数ｎの値を１つインクリメントし、続くステップＳ２０８で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ２０９に進んで、Δの値をβだけ大きくしてから、ステップＳ２０４の処理に戻る。
【００９５】
そして、ステップＳ２０５の判断処理に従って、ステップＳ２０４で算出した動き補償予測誤差の総和が誤差εよりも小さいことを判断するときと、ステップＳ２０８の判断処理に従って、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ２０６に進んで、設定されているΔを用いるときの選択フレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【００９６】
このようにして、ダウンサンプリング実行部１２１は、図７のフローチャートを実行することで、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【００９７】
〔１−３〕Δを自動設定する構成（その２）
図８に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行する他のフローチャートを図示する。
【００９８】
ダウンサンプリング実行部１２１は、図７のフローチャートを実行する場合には、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置で得た動き補償予測誤差の総和を算出して、その総和が予め設定される誤差εに入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現したが、図８のフローチャートを実行する場合には、図９に示すように、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置でそれぞれ独立にΔを増加させるようにして、その各ダウンサンプリング位置で得た動き補償予測誤差のそれぞれが予め設定される誤差ε’に入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現する。
【００９９】
すなわち、ダウンサンプリング実行部１２１は、図８のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ３０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１００】
続いて、ステップＳ３０２で、読み込んだ高フレームレート映像信号の先頭フレームをダウンサンプリング後のフレーム（先頭フレーム）として選択する。
【０１０１】
続いて、ステップＳ３０３で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットし、続くステップＳ３０４で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ３０５で、伸縮パラメータＬi の最大値を指定する変数Δに初期値をセットする。
【０１０２】
続いて、ステップＳ３０６で、設定されているΔを用いて図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１０３】
続いて、ステップＳ３０７で、ステップＳ３０６で算出した動き補償予測誤差が予め設定される誤差ε’よりも小さいのか否かを判断する。
【０１０４】
このステップＳ３０７の判断処理により、ステップＳ３０６で算出した動き補償予測誤差が誤差ε’よりも小さいことを判断するときには、ステップＳ３０８に進んで、変数ｉおよび伸縮パラメータＬi * の値により規定されるフレームをダウンサンプリング後のフレームとして選択する。
【０１０５】
続いて、ステップＳ３０９で、変数ｉの値を１つインクリメントし、続くステップＳ３１０で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ３０５〜ステップＳ３０９の処理を実行すべく、ステップＳ３０５の処理に戻る。そして、ステップＳ３１０の判断処理により、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときには、処理を終了する。
【０１０６】
一方、ステップＳ３０７の判断処理により、ステップＳ３０６で算出した動き補償予測誤差が誤差ε’よりも小さくないことを判断するときには、ステップＳ３１１に進んで、変数ｎの値を１つインクリメントし、続くステップＳ３１２で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ３１３に進んで、Δの値をβだけ大きくしてから、ステップＳ３０６の処理に戻る。
【０１０７】
そして、ステップＳ３１２の判断処理により、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ３０８に進んで、前述した処理と同様の処理を実行することで、ダウンサンプリング後のフレームを選択する。
【０１０８】
このようにして、ダウンサンプリング実行部１２１は、図８のフローチャートを実行することで、図９に示す形態に従って伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その１）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１０９】
〔２〕第２の実施例
〔２−１〕Δが予め設定される場合の構成
図１０に、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。ここで、このフローチャートでは、Δが予め設定される場合を想定している。
【０１１０】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１１１】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の流れ（その２）に従って、図２に示すような形態でフレームレートのダウンサンプリング処理を実行する場合には、図１０のフローチャートに示すように、まず最初に、ステップＳ４０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータＬi の最大値Δとを読み込む。
【０１１２】
続いて、ステップＳ４０２で、読み込んだ高フレームレート映像信号の先頭フレームからのフレーム数を指定する変数Ｌ0 に０をセットする。
【０１１３】
続いて、ステップＳ４０３で、伸縮パラメータを格納する配列＾Ｌi * 〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差を格納する配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差の総和を格納する配列Ｅ〔Ｌ0 〕の全ての格納場所に０をセットする。
【０１１４】
続いて、ステップＳ４０４で、読み込んだ高フレームレート映像信号の先頭フレームからＬ0 の値だけ後にあるフレームをダウンサンプリング後のフレーム（先頭フレーム）として設定する。
【０１１５】
続いて、ステップＳ４０５で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットする。すなわち、先頭フレームの次のダウンサンプリング位置を指定する値である１をセットするのである。
【０１１６】
続いて、ステップＳ４０６で、図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１１７】
続いて、ステップＳ４０７で、ステップＳ４０６で算出した伸縮パラメータを配列＾Ｌi * 〔Ｌ0 〕に格納し、ステップＳ４０６で算出した動き補償予測誤差を配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕に格納する。
【０１１８】
続いて、ステップＳ４０８で、設定されているＬ0 について、配列Ｅ〔Ｌ0 〕の対応する値と配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の対応する値とを加算して、それに基づいて配列Ｅ〔Ｌ0 〕の値を更新する。すなわち、設定されているＬ0 に基づいて選択した先頭フレームを起点として第１の実施例のフレーム選択処理を行うことで動き補償予測誤差を得て、そのようにして得た動き補償予測誤差を累積加算するのである。
【０１１９】
続いて、ステップＳ４０９で、変数ｉの値を１つインクリメントし、続くステップＳ４１０で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ４０６〜ステップＳ４０９の処理を実行すべく、ステップＳ４０６の処理に戻る。
【０１２０】
一方、ステップＳ４１０の判断処理に従って、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときは、ステップＳ４１１に進んで、変数Ｌ0 の値を１つインクリメントし、続くステップＳ４１２で、変数Ｌ0 の値が最大値であるΔ−１を超えたのか否かを判断して、Δ−１を超えていないことを判断するときには、変数Ｌ0 の指す次の先頭フレームを起点としてステップＳ４０４〜ステップＳ４１１の処理を実行すべく、ステップＳ４０４の処理に戻る。
【０１２１】
そして、ステップＳ４１２の判断処理に従って、変数Ｌ0 の値がΔ−１を超えたことを判断するときには、ステップＳ４１３に進んで、配列Ｅ〔Ｌ0 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* を特定する。すなわち、動き補償予測誤差の総和が最小となるＬ0 の値を特定するとともに、そのＬ0 に基づいて選択した先頭フレームを起点とするフレーム選択処理により求められた各ダウンサンプリング位置における伸縮パラメータの集合を特定するのである。
【０１２２】
続いて、ステップＳ４１４で、変数ｉおよび伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* の値により規定されるフレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１２３】
このようにして、ダウンサンプリング実行部１２１は、図１０のフローチャートを実行することで、フレームレートダウンサンプリング処理の流れ（その２）に従って、図２に示すような形態で、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【０１２４】
〔２−２〕Δを自動設定する構成（その１）
図１１に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行するフローチャートを図示する。
【０１２５】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１が実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１２６】
ダウンサンプリング実行部１２１は、図１１のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ５０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１２７】
続いて、ステップＳ５０２で、繰り返し回数をカウントする変数ｎに０をセットし、続くステップＳ５０３で、伸縮パラメータＬi の最大値を指定する変数Δに小さな値である初期値をセットする。
【０１２８】
続いて、ステップＳ５０４で、図１０のフローチャートのステップＳ４０２〜ステップＳ４１４の処理を実行して、設定されているΔを用いるときの選択フレーム（図２に示すような形態で求めた各ダウンサンプリング位置における選択フレーム）を決定するとともに、そのときの動き補償予測誤差の総和を算出する。
【０１２９】
続いて、ステップＳ５０５で、ステップＳ５０４で算出した動き補償予測誤差の総和が予め設定される誤差εよりも小さいのか否かを判断する。
【０１３０】
このステップＳ５０５の判断処理により、ステップＳ５０４で算出した動き補償予測誤差の総和が誤差εよりも小さくないことを判断するときには、ステップＳ５０７に進んで、変数ｎの値を１つインクリメントし、続くステップＳ５０８で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ５０９に進んで、Δの値をβだけ大きくしてから、ステップＳ５０４の処理に戻る。
【０１３１】
そして、ステップＳ５０５の判断処理に従って、ステップＳ５０４で算出した動き補償予測誤差の総和が誤差εよりも小さいことを判断するときと、ステップＳ５０８の判断処理に従って、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ５０６に進んで、設定されているΔを用いるときの選択フレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１３２】
このようにして、ダウンサンプリング実行部１２１は、図１１のフローチャートを実行することで、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１３３】
〔２−３〕Δを自動設定する構成（その２）
図１２および図１３に、伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行する場合に、ダウンサンプリング実行部１２１が実行する他のフローチャートを図示する。
【０１３４】
ダウンサンプリング実行部１２１は、図１１のフローチャートを実行する場合には、最終的なフレーム選択に用いた動き補償予測誤差の総和（図８のフローチャートのステップＳ４１３の処理に従って配列Ｅ〔Ｌ0 〕の中から探索した動き補償予測誤差の総和）が予め設定される誤差εに入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現したが、図１２および図１３のフローチャートを実行する場合には、図１４に示すように、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するときに、変数ｉ（ｉ＝１, .... ,Ｊ／Ｍ−１）の各ダウンサンプリング位置でそれぞれ独立にΔを増加させるようにして、その各ダウンサンプリング位置で得た動き補償予測誤差のそれぞれが予め設定される誤差ε’に入るようにするという制約条件を設けることで、伸縮パラメータＬi の最大値Δを自動設定することを実現する。
【０１３５】
すなわち、ダウンサンプリング実行部１２１は、図１２および図１３のフローチャートに従ってフレームレートのダウンサンプリング処理を実行する場合には、まず最初に、ステップＳ６０１で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍとを読み込む。
【０１３６】
続いて、ステップＳ６０２で、読み込んだ高フレームレート映像信号の先頭フレームからのフレーム数を指定する変数Ｌ0 に０をセットする。
【０１３７】
続いて、ステップＳ６０３で、伸縮パラメータを格納する配列＾Ｌi * 〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差を格納する配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の全ての格納場所に０をセットし、動き補償予測誤差の総和を格納する配列Ｅ〔Ｌ0 〕の全ての格納場所に０をセットする。続いて、ステップＳ６０４で、繰り返し回数をカウントする変数ｎに０をセットする。
【０１３８】
続いて、ステップＳ６０５で、読み込んだ高フレームレート映像信号の先頭フレームからＬ0 の値だけ後にあるフレームをダウンサンプリング後のフレーム（先頭フレーム）として設定する。
【０１３９】
続いて、ステップＳ６０６で、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるフレーム位置を指定する変数ｉに１をセットし、続くステップＳ６０７で、伸縮パラメータＬi の最大値を指定する変数Δに初期値をセットする。
【０１４０】
続いて、ステップＳ６０８で、設定されているΔを用いて図６のフローチャートのステップＳ１０４〜ステップＳ１１０の処理を実行して、変数ｉの指すダウンサンプリング位置における最適な伸縮パラメータＬi * と、それに対応付けられる動き補償予測誤差を算出する。
【０１４１】
続いて、ステップＳ６０９で、ステップＳ６０８で算出した動き補償予測誤差が予め設定される誤差ε’よりも小さいのか否かを判断する。
【０１４２】
このステップＳ６０９の判断処理により、ステップＳ６０８で算出した動き補償予測誤差が誤差ε’よりも小さいことを判断するときには、ステップＳ６１０に進んで、ステップＳ６０８で算出した伸縮パラメータを配列＾Ｌi * 〔Ｌ0 〕に格納し、ステップＳ６０８で算出した動き補償予測誤差を配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕に格納する。
【０１４３】
続いて、ステップＳ６１１で、設定されているＬ0 について、配列Ｅ〔Ｌ0 〕の対応する値と配列＾σi 2 〔Ｌi * 〕〔Ｌ0 〕の対応する値とを加算して、それに基づいて配列Ｅ〔Ｌ0 〕の値を更新する。すなわち、設定されているＬ0 に基づいて選択した先頭フレームを起点として第１の実施例のフレーム選択処理を行うことで動き補償予測誤差を得て、そのようにして得た動き補償予測誤差を累積加算するのである。
【０１４４】
続いて、ステップＳ６１２で、変数ｉの値を１つインクリメントし、続くステップＳ６１３で、変数ｉの値が最大値であるＪ／Ｍ−１を超えたのか否かを判断して、Ｊ／Ｍ−１を超えていないことを判断するときには、変数ｉの指す次のダウンサンプリング位置についてステップＳ６０７〜ステップＳ６１２の処理を実行すべく、ステップＳ６０７の処理に戻る。
【０１４５】
一方、ステップＳ６１３の判断処理に従って、変数ｉの値がＪ／Ｍ−１を超えたことを判断するときは、ステップＳ６１４に進んで、変数Ｌ0 の値を１つインクリメントし、続くステップＳ６１５で、変数Ｌ0 の値が最大値であるΔ−１を超えたのか否かを判断して、Δ−１を超えていないことを判断するときには、変数Ｌ0 の指す次の先頭フレームを起点としてステップＳ６０５〜ステップＳ６１４の処理を実行すべく、ステップＳ６０５の処理に戻る。
【０１４６】
そして、ステップＳ６１５の判断処理に従って、変数Ｌ0 の値がΔ−１を超えたことを判断するときには、ステップＳ６１６（図１３のフローチャート）に進んで、配列Ｅ〔Ｌ0 〕の中での最小値を探索し、それに対応付けられる伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* を特定する。すなわち、動き補償予測誤差の総和が最小となるＬ0 の値を特定するとともに、そのＬ0 に基づいて選択した先頭フレームを起点とするフレーム選択処理により求められた各ダウンサンプリング位置における伸縮パラメータの集合を特定するのである。
【０１４７】
続いて、ステップＳ６１７で、変数ｉおよび伸縮パラメータ〔＾Ｌi * 〕〔Ｌ0 〕* により規定されるフレームをダウンサンプリング後のフレームとして選択して、処理を終了する。
【０１４８】
一方、ステップＳ６０９の判断処理に従って、ステップＳ６０８で算出した動き補償予測誤差が誤差ε’よりも小さくないことを判断するときには、ステップＳ６１８（図１３のフローチャート）に進んで、変数ｎの値を１つインクリメントし、続くステップＳ６１９で、変数ｎの値が予め設定される最大値Ｎを超えたのか否かを判断して、最大値Ｎを超えていないことを判断するときには、ステップＳ６２０に進んで、Δの値をβだけ大きくしてから、ステップＳ６０８の処理に戻る。
【０１４９】
そして、ステップＳ６１９の判断処理により、変数ｎの値が最大値Ｎを超えたことを判断するときには、ステップＳ６１０に進んで、前述した処理と同様の処理を実行することで、ダウンサンプリング後のフレームを選択する。
【０１５０】
このようにして、ダウンサンプリング実行部１２１は、図１２および図１３のフローチャートを実行することで、図１４に示す形態に従って伸縮パラメータＬi の最大値Δを自動設定しつつ、フレームレートダウンサンプリング処理の流れ（その２）に従ってフレームレートのダウンサンプリング処理を実行するのである。
【０１５１】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（１）に従って、１つ前に選択したフレームとの間で動き補償予測誤差を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差を算出するようにしてもよい。
【産業上の利用可能性】
【０１５２】
本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【図面の簡単な説明】
【０１５３】
【図１】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図２】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図３】本発明のフレームレート変換装置の装置構成図である。
【図４】本発明のフレームレート変換装置の装置構成図である。
【図５】本発明のフレームレート変換装置の装置構成図である。
【図６】ダウンサンプリング実行部の実行するフローチャートである。
【図７】ダウンサンプリング実行部の実行するフローチャートである。
【図８】ダウンサンプリング実行部の実行するフローチャートである。
【図９】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図１０】ダウンサンプリング実行部の実行するフローチャートである。
【図１１】ダウンサンプリング実行部の実行するフローチャートである。
【図１２】ダウンサンプリング実行部の実行するフローチャートである。
【図１３】ダウンサンプリング実行部の実行するフローチャートである。
【図１４】本発明によるフレームレートダウンサンプリング処理の説明図である。
【図１５】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【符号の説明】
【０１５４】
１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ 動き補償予測誤差算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ
１２１０ 入力部
１２１１ 先頭フレーム選択部
１２１１α 開始フレーム選択部
１２１２ 次フレーム位置特定部
１２１３ 処理対象フレーム抽出部
１２１４ 処理対象フレーム予測誤差算出部
１２１５ フレーム選択部
１２１６ 全フレーム位置終了判定部
１２１７ フレーム最終選択部
１２００ 動き推定部
【特許請求の範囲】
【請求項１】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
ダウンサンプリング比を入力する過程と、
ダウンサンプリング後のフレームを選択した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する過程と、
前記フレーム位置を含む所定の範囲内にある複数のフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する過程と、
前記処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項３】
請求項２に記載のフレームレート変換方法において、
前記所定の範囲の大きさを初期値から増大させて前記フレーム選択を行って、そのフレーム選択に用いた前記最適な符号化効率表示値の個々の値、あるいはそれらの値の総和が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ前記所定の範囲を用いて前記フレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終的に決定する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項４】
請求項１に記載のフレームレート変換方法において、
高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する過程と、
前記開始フレームのそれぞれを起点として前記フレーム選択を行って、そのフレーム選択に用いた前記最適な符号化効率表示値の総和に基づいて、前記開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点として前記フレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項５】
請求項４に記載のフレームレート変換方法において、
前記所定の範囲の大きさを初期値から増大させて前記フレームの最終選択を行って、そのフレームの最終選択に用いた前記最適な符号化効率表示値の総和、あるいはその総和を構成する個々の値が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ前記所定の範囲を用いて前記フレームの最終選択を行ったときに最終選択したフレームをダウンサンプリング後のフレームとして最終的に決定する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項６】
請求項１ないし５のいずれか１項に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率表示値として、前記処理対象フレームと選択済みのフレームとに基づいて算出される動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項７】
請求項１ないし５のいずれか１項に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率表示値として、前記処理対象フレームと選択済みのフレームとに基づいて算出される符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項８】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
ダウンサンプリング比を入力する手段と、
ダウンサンプリング後のフレームを選択した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する手段と、
前記フレーム位置を含む所定の範囲内にある複数のフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する手段と、
前記処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項９】
請求項１ないし７のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【請求項１０】
請求項１ないし７のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
ダウンサンプリング比を入力する過程と、
ダウンサンプリング後のフレームを選択した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する過程と、
前記フレーム位置を含む所定の範囲内にある複数のフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する過程と、
前記処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームとなるフレームを選択する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項３】
請求項２に記載のフレームレート変換方法において、
前記所定の範囲の大きさを初期値から増大させて前記フレーム選択を行って、そのフレーム選択に用いた前記最適な符号化効率表示値の個々の値、あるいはそれらの値の総和が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ前記所定の範囲を用いて前記フレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終的に決定する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項４】
請求項１に記載のフレームレート変換方法において、
高フレームレート映像信号のフレームの中から、ダウンサンプリング後の先頭フレームの候補となる連続する複数のフレームを開始フレームとして選択する過程と、
前記開始フレームのそれぞれを起点として前記フレーム選択を行って、そのフレーム選択に用いた前記最適な符号化効率表示値の総和に基づいて、前記開始フレームの中から最適な符号化効率を示す開始フレームを選択して、その選択した開始フレームを起点として前記フレーム選択を行ったときに選択したフレームをダウンサンプリング後のフレームとして最終選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項５】
請求項４に記載のフレームレート変換方法において、
前記所定の範囲の大きさを初期値から増大させて前記フレームの最終選択を行って、そのフレームの最終選択に用いた前記最適な符号化効率表示値の総和、あるいはその総和を構成する個々の値が所望の符号化効率を示す最初の増大値を求めて、その求めた増大値の大きさを持つ前記所定の範囲を用いて前記フレームの最終選択を行ったときに最終選択したフレームをダウンサンプリング後のフレームとして最終的に決定する過程を備えることを、
特徴とするフレームレート変換方法。
【請求項６】
請求項１ないし５のいずれか１項に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率表示値として、前記処理対象フレームと選択済みのフレームとに基づいて算出される動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項７】
請求項１ないし５のいずれか１項に記載のフレームレート変換方法において、
前記算出する過程では、前記符号化効率表示値として、前記処理対象フレームと選択済みのフレームとに基づいて算出される符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項８】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
ダウンサンプリング比を入力する手段と、
ダウンサンプリング後のフレームを選択した場合に、前記ダウンサンプリング比と高フレームレート映像信号のフレーム間隔とに基づく等長間隔のダウンサンプリングにより規定される次のフレーム位置を特定する手段と、
前記フレーム位置を含む所定の範囲内にある複数のフレームを処理対象として、各処理対象フレームについて、その処理対象フレームでダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値である符号化効率表示値を算出する手段と、
前記処理対象フレームの中から最適な符号化効率表示値を示すフレームを選択して、それをダウンサンプリング後のフレームとして選択する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項９】
請求項１ないし７のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【請求項１０】
請求項１ないし７のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−８８０６６（Ｐ２０１０−８８０６６Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５７９１６（Ｐ２００８−２５７９１６）
【出願日】平成２０年１０月３日（２００８．１０．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年１０月３日（２００８．１０．３）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]