フレームレート変換方法、フレームレート変換装置およびフレームレート変換プログラム
【課題】本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで得られた低フレームレート映像信号を符号化する場合に、符号量を低く抑え、かつ、主観画質の低下を抑えることができるようにする技術の提供を目的とする。
【解決手段】等長間隔のダウンサンプリングにより規定されるフレーム位置にある複数のフレームのそれぞれについて、それよりも前のフレーム位置にある複数のフレームのそれぞれとの間で、低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度を算出し、それに基づいて先頭フレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを最終フレーム位置まで繰り返す。そして、最終フレーム位置にある複数のフレームの中から、最小の評価尺度の総和を持つフレームを検出し、それを起点としてフレームを辿ることでフレームを選択する。
【解決手段】等長間隔のダウンサンプリングにより規定されるフレーム位置にある複数のフレームのそれぞれについて、それよりも前のフレーム位置にある複数のフレームのそれぞれとの間で、低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度を算出し、それに基づいて先頭フレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを最終フレーム位置まで繰り返す。そして、最終フレーム位置にある複数のフレームの中から、最小の評価尺度の総和を持つフレームを検出し、それを起点としてフレームを辿ることでフレームを選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムとに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００５】
通常、図７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等長間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。
【０００６】
ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。
【０００７】
したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。
【０００８】
このようなことを背景にして、本発明者は、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行った（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２０１１６５号公報
【非特許文献１】坂東幸浩，高村誠之，上倉一人，八島由幸：“高フレームレート映像信号のダウンサンプリング方法に関する一考察”，画像符号化シンポジウム, p5-02, 2008
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。
【００１１】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差電力の低減に改善の余地が残されていた。
【００１２】
このようなことを背景にして、本発明者は、非特許文献１で、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行ったが、この方法では逐次的に選択フレームを設定しており、シーケンス全体での動き補償予測誤差電力の最小化を保証しておらず、その点から改善の余地が残されている。しかも、この方法ではジャーキネス（画質劣化）の抑圧を考慮しておらず、その点からも改善の余地が残されている。
【００１３】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、符号量を低く抑えることができるようにするとともに、主観画質の低下を抑えることができるようにする、新たなフレームレートのダウンサンプリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１４】
〔１〕本発明の基本的な考え方
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１５】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１６】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１７】
フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδt ） ｉ＝０, １, .....
というように、フレーム間隔をＭ倍するという方法がとられてきた。
【００１８】
これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δt ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。
【００１９】
しかし、δt ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδt ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。
【００２０】
このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。
【００２１】
そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌi ）δt ） ｉ＝１, ２, .....
Ｌi ＝−Δ, .... ,Δ
但し、Ｌ0 ＝０, .... ,Δ
というように、２Δ＋１フレーム（ｉ＝０の場合には、Δ＋１フレーム）にまで拡大する。
【００２２】
ここで、Ｌi は、−Δ, .... ,Δの範囲の整数値をとるパラメータ（以下、Ｌi を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ＋１≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。
【００２３】
伸縮パラメータＬi をΔに限定したのは、このＬi の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。
【００２４】
このように、本発明では、フレーム選択の候補を２Δ＋１フレームにまで拡大することになるが、いずれのフレームを選択するのかについては、次の基準に従うものとする。
【００２５】
〔ダウンサンプリングにおけるフレーム選択の評価尺度〕
フレーム選択の基準として、動き補償予測誤差電力およびダウンサンプリング後のシーケンスのジャーキネスを用いることとする。
【００２６】
Ｈ．２６４／ＡＶＣ，ＭＰＥＧ−２といった代表的な符号化方式では動き補償フレーム間予測を採用しており、動き補償予測誤差電力の低減は重要である。また、主観画質の観点からは、ダウンサンプリング後のシーケンスのジャーキネスを抑圧することも重要である。これから、フレーム選択の基準として、動き補償予測誤差電力およびダウンサンプリング後のシーケンスのジャーキネスを用いることとする。
【００２７】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に対しての動き補償（推定変移量ｄ〔ｋ〕：変移量は動きベクトルと同義）を考える。
【００２８】
フレームｆ（ｘ，（ｉＭ＋Ｌi ）δt ）内の区間Ｂ〔ｋ〕がフレームｆ（ｘ，((ｉ−１）Ｍ＋Ｌi-1 ）δt ）を参照して、推定変移量ｄ〔ｋ〕を用いて予測される場合、その区間内の動き補償後の予測誤差電力は下記の式（１）のように表現できる。
【００２９】
【数１】
【００３０】
Ｌi とＬi-1 が与えられた場合、この式（１）に従って、σi 2 〔Ｌi ，Ｌi-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定し、ｄ〔ｋ，Ｌi ，Ｌi-1 〕（ｋ＝０，１, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。
【００３１】
さらに、ジャーキネスの評価尺度として、下記の式（２）の値を用いる。
【００３２】
【数２】
【００３３】
この式（２）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとの差分値（フレーム間差分値）を表している。
【００３４】
その他に、ジャーキネスの評価尺度として、下記の式（３）の値を用いることも可能である。
【００３５】
【数３】
【００３６】
ここで、Ｌi は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとの間の距離である。
【００３７】
この式（３）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとのフレーム間差分値を両フレーム間の距離で重み付けた値と言える。
【００３８】
また、ジャーキネスの評価尺度として、下記の式（４）の値を用いることも可能である。
【００３９】
【数４】
【００４０】
ここで、｜Ｍ＋Ｌi −Ｌi-1 ｜は、参照フレームと被予測フレームとの間の距離である。
【００４１】
この式（４）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、参照フレームと被予測フレームとのフレーム間差分値を両フレーム間の距離で重み付けた値と言える。
【００４２】
また、ジャーキネスの評価尺度として、下記の式（５）の値を用いることも可能である。
【００４３】
【数５】
【００４４】
ここで、αは、外部から与えられるパラメータであり、｜Ｌi −Ｌi-1 ｜に対する閾値となる。｜Ｍ＋Ｌi −Ｌi-1 ｜は参照フレームと被予測フレームとの間の距離であり、Ｍは定数であることを考慮すると、この距離が一定の閾値以上となるのか否かは、｜Ｌi −Ｌi-1 ｜を用いて評価することが可能である。
【００４５】
この式（５）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、参照フレームと被予測フレームとのフレーム間差分値を両フレーム間の距離で重み付けた値であり、さらに、｜Ｌi −Ｌi-1 ｜が所定の閾値α以下の場合には、ジャーキネスは検知できないという仮説に基づいて設定したものである。
【００４６】
本発明では、フレームをダウンサンプリングするための評価尺度として、符号化効率およびジャーキネスの抑圧を考慮すべく、下記の式（６）のコスト関数Ψ〔Ｌi ，Ｌi-1 〕を用いる。
【００４７】
【数６】
【００４８】
ここで、λは重み係数であり、外部から与えられる。また、ε2 〔Ｌi 〕は、式（２）、式（３）、式（４）、式（５）に従って算出する。
【００４９】
本発明では、このコスト関数Ψ〔Ｌi ，Ｌi-1 〕の最小化を通して、動き補償予測誤差とダウンサンプリング後のジャーキネスとの間のトレードオフを最適化するフレームを選択する。
【００５０】
ここで、注意すべきは、Ｌi の設定方法（選択方法）である。Ψ〔Ｌi ，Ｌi-1 〕を最小化するようにＬi を設定したのでは、シーケンス全体でのコスト関数の値
ΣΨ〔Ｌi ，Ｌi-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｌi の選択はΨ〔Ｌi ，Ｌi-1 〕にも影響を与えるからである。
【００５１】
従って、求めるべきパラメータは、下記の式（７）を満たすＪ／Ｍ個のパラメータである。
【００５２】
【数７】
【００５３】
しかしながら、Ｊ／Ｍ個のパラメータ（Ｌ0 , .... ,ＬJ/M-1 ）の取り得る組み合わせは（Δ＋１）×（２Δ＋１）J/M-1 通りであり、この中から最適な組み合わせ（Ｌ* 0 , .... , Ｌ* J/M-1 ）を総当たりで探索するのは、計算量的に困難である。
【００５４】
そこで、本発明では、Ψ〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。
【００５５】
まず、Ｌi として取り得る全ての値に対して、最適なＬi-1 , .... ,Ｌ0 を用いた場合のΣΨ〔Ｌi ，Ｌi-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳi （Ｌi ）として定義する。
【００５６】
ここで、Ψ〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓi （Ｌi ）はＳi-1 （Ｌi-1 ）を用いて、図１に示すように、下記の式（８）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。
【００５７】
【数８】
【００５８】
この式（８）に従って算出したＳi （Ｌi ）（Ｌi ＝−Δ, .... ,Δ）をメモリに格納しておき、Ｓi+1 （Ｌi+1 ）の計算で用いるものとする。さらに、この式（８）の最小値を与えるＬi-1 を、図１中に示すように、＾Ｌi-1 （Ｌi ）とおく。この＾Ｌi-1 （Ｌi ）（Ｌi ＝−Δ, .... ,Δ）についても、全てメモリに格納しておくものとする。ここで、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【００５９】
式（７）の最小化問題は、下記の式（９）のように表せる。
【００６０】
【数９】
【００６１】
この式（９）を最小化するＬJ/M-1 をＬ* J/M-1 とおくと、このＬ* J/M-1 は下記の式（１０）で表せる。
【００６２】
【数１０】
【００６３】
Ｌ* J/M-2 に対する最適解は、＾ＬJ/M-2 （ＬJ/M-1 ）としてメモリに格納されているので、その値を参照し、Ｌ* J/M-2 ＝＾ＬJ/M-2 （ＬJ/M-1 ）とする。以下、同様の参照処理を、
Ｌ* J/M-3 ＝＾ＬJ/M-3 （ＬJ/M-2 ），・・・・・，Ｌ* 0 ＝＾Ｌ0 （Ｌ1 ）
として繰り返す。
【００６４】
以上の説明では、式（６）のコスト関数Ψ〔Ｌi ，Ｌi-1 〕における符号化効率を示す値として動き補償予測誤差電力を用いるようにしたが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行う際に得られる符号化コストを用いるようにしてもよい。
【００６５】
〔２〕本発明の構成
次に、本発明の構成について説明する。
【００６６】
本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する実行手段と、（２）最終のフレーム位置にある複数のフレームのそれぞれについて実行手段が算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する検出手段と、（３）検出手段の検出したフレームを起点として実行手段の特定したフレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する選択手段とを備えるように構成する。
【００６７】
この構成を採るときに、実行手段は、算出した評価尺度とその算出対象となった前のフレーム位置にあるフレームの持つ評価尺度の総和との加算値を求めて、それらの中の最小値を特定することで、前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度として設定するように処理する。
【００６８】
また、実行手段は、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率および主観画質を示す評価尺度として、その値が小さくなるほど高い評価を示す符号化効率値と、その値が小さくなるほど高い評価を示す主観画質値との加重和を用いることがある。
【００６９】
このとき、実行手段は、符号化効率値として、動き補償予測誤差電力を算出したり、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することがある。
【００７０】
また、実行手段は、主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を算出したり、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を両フレーム間の距離で重み付けした値を算出したり、参照フレームと被予測フレームとの差分値を両フレーム間の距離で重み付けした値を算出することがある。
【００７１】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００７２】
このように構成される本発明のフレームレート変換装置では、まず最初に、等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、例えば、図１に示すように、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度（図１ではΨ〔Ｌi ，Ｌi-1 〕）を算出し、その算出した評価尺度とその算出対象となった１つ前のフレーム位置にあるフレームの持つ評価尺度の総和（図１ではＳi-1 （Ｌi-1 ))との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度の総和として設定するという処理を、最終のフレーム位置まで繰り返し実行する。
【００７３】
続いて、最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００７４】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【発明の効果】
【００７５】
本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮した形で、そのフレームレート変換処理を実行する。
【００７６】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【００７７】
そして、本発明によれば、全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、ジャーキネスを抑圧することができるようになる。
【図面の簡単な説明】
【００７８】
【図１】本発明で算出するＳi （Ｌi ）の算出処理の説明図である。
【図２】本発明のフレームレート変換装置の装置構成図である。
【図３】本発明のフレームレート変換装置の装置構成図である。
【図４】ダウンサンプリング実行部の実行するフローチャートである。
【図５】ダウンサンプリング実行部の実行するフローチャートである。
【図６】ダウンサンプリング実行部の実行するフローチャートである。
【図７】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【発明を実施するための形態】
【００７９】
以下、実施の形態に従って本発明を詳細に説明する。
【００８０】
図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００８１】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００８２】
このフレームレートダウンサンプリング部１２は、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出するコスト関数算出部１２０と、コスト関数算出部１２０の算出したコスト関数値を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２とを備える。
【００８３】
このコスト関数算出部１２０は、動き推定部１２０１を備えて、式（１）に示される動き補償予測誤差電力を算出する動き補償予測誤差算出部１２００と、式（２）や式（３）や式（４）や式（５）などに示されるジャーキネスの評価尺度ε2 〔Ｌi 〕を算出するジャーキネス評価尺度算出部１２０２とを備えることで、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出する。
【００８４】
〔１〕動き推定部１２０１の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２００の備える動き推定部１２０１の処理について説明する。
【００８５】
動き推定部１２０１は、予測対象フレームと参照フレームとを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。
【００８６】
処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２００は、動き推定部１２０１の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を算出する。
【００８７】
〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。
【００８８】
図３に、ダウンサンプリング実行部１２１の装置構成の一例を図示する。
【００８９】
この図に示すように、ダウンサンプリング実行部１２１は、入力部１２１０と、処理フレーム位置選択部１２１１と、処理フレーム選択部１２１２と、参照フレーム決定部１２１３と、全フレーム位置終了判定部１２１４と、累積コスト関数値最小化最終フレーム検出部１２１５と、決定参照フレーム追跡部１２１６とを備える。
【００９０】
この入力部１２１０は、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【００９１】
処理フレーム位置選択部１２１１は、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。
【００９２】
処理フレーム選択部１２１２は、処理フレーム位置選択部１２１１の選択した処理フレーム位置およびその近傍に位置する２Δ＋１枚のフレームを順次、処理フレームとして選択する。
【００９３】
参照フレーム決定部１２１３は、処理フレーム選択部１２１２の選択した処理フレームと、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で式（６）に示されるコスト関数の関数値を算出して、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて（累積コスト関数値算出機能）、それらの中の最小値を特定することで（最小累積コスト関数値特定機能）、１つ前のフレーム位置における２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定することで参照フレームを決定する。
【００９４】
全フレーム位置終了判定部１２１４は、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２１１に対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積コスト関数値最小化最終フレーム検出部１２１５に対して処理の実行を指示する。
【００９５】
累積コスト関数値最小化最終フレーム検出部１２１５は、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出されたコスト関数値の総和（参照フレーム決定部１２１３が算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からのコスト関数値の総和を最小化する最終フレームを検出する。
【００９６】
決定参照フレーム追跡部１２１６は、累積コスト関数値最小化最終フレーム検出部１２１５の検出した最終フレームを起点として、参照フレーム決定部１２１３の決定した参照フレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて参照フレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００９７】
下記に、このように構成されるダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理の流れを示す。
【００９８】
〔ｉ〕ジャーキネスの評価尺度として式（２）の値を用いる場合
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．コスト関数算出に用いる重み係数λを読み込む
４．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
５． Ｌi ＝−Δ, .... ,Δについて以下の処理を行う
６． Ｌi-1 ＝−Δ, .... ,Δについて以下の処理を行う
（ただし、Ｌ0 の場合は、Ｌ0 ＝０, .... ,Δ）
７． 参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌi-1 ）δt ）とする場合のｆ（ ｘ，（ｉＭ＋Ｌi ）δt ）に対する動き補償予測誤差電力（式（１))を最小 化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる 。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求 めた動きベクトルを用いた場合の動き補償予測誤差電力をσi 2 〔Ｌi ，Ｌ i-1 〕に格納する
８． ジャーキネスの評価尺度として、等長でダウンサンプリングされたフレーム と可変長でダウンサンプリングされたフレームとの差分値ε2 〔Ｌi 〕を算 出する。具体的な算出方法は式（２）に従う
９． 動き補償予測誤差電力およびジャーキネスの評価尺度の加重和として、コス ト関数Ψ〔Ｌi ，Ｌi-1 〕を次式により求める
Ψ〔Ｌi ，Ｌi-1 〕＝σi 2 〔Ｌi ，Ｌi-1 〕＋λε2 〔Ｌi 〕
10． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）の値を算出する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕の値を算出する）
11． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中での 最小値をＳi （Ｌi ）に格納する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の 中での最小値をＳ1 （Ｌ1 ）に格納する）
12． Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）に格納する
13．ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 に格納する
14．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
15． Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）を算出する
16．ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ）
（ｘ＝０, .... ,Ｘ−１）を格納する。
【００９９】
〔ii〕ジャーキネスの評価尺度として式（３）の値を用いる場合
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．コスト関数算出に用いる重み係数λを読み込む
４．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
５． Ｌi ＝−Δ, .... ,Δについて以下の処理を行う
６． Ｌi-1 ＝−Δ, .... ,Δについて以下の処理を行う
（ただし、Ｌ0 の場合は、Ｌ0 ＝０, .... ,Δ）
７． 参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌi-1 ）δt ）とする場合のｆ（ ｘ，（ｉＭ＋Ｌi ）δt ）に対する動き補償予測誤差電力（式（１))を最小 化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる 。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求 めた動きベクトルを用いた場合の動き補償予測誤差電力をσi 2 〔Ｌi ，Ｌ i-1 〕に格納する
８． 等長でダウンサンプリングされたフレームと可変長でダウンサンプリングさ れたフレームとの差分値 tildeε2 〔Ｌi 〕を算出する
９． 等長でダウンサンプリングされたフレームと可変長でダウンサンプリングさ れたフレームとのフレーム間距離の絶対値｜Ｌi ｜を算出する
10． 8.で算出した差分値に9.で算出したフレーム間距離を乗じた値を算出し、ジ ャーキネスの評価尺度ε2 〔Ｌi 〕とする。8.〜10. の具体的な算出方法は 式（３）に従う
11． 動き補償予測誤差電力およびジャーキネスの評価尺度の加重和として、コス ト関数Ψ〔Ｌi ，Ｌi-1 〕を次式により求める
Ψ〔Ｌi ，Ｌi-1 〕＝σi 2 〔Ｌi ，Ｌi-1 〕＋λε2 〔Ｌi 〕
12． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）の値を算出する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕の値を算出する）
13． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中での 最小値をＳi （Ｌi ）に格納する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の 中での最小値をＳ1 （Ｌ1 ）に格納する）
14． Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）に格納する
15．ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 に格納する
16．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
17． Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）を算出する
18．ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ）
（ｘ＝０, .... ,Ｘ−１）を格納する。
【０１００】
このようにして、ダウンサンプリング実行部１２１は、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で、フレームをダウンサンプリングするための評価尺度であるコスト関数の関数値を算出し、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出したコスト関数値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【実施例】
【０１０１】
次に、実施例に従って本発明を詳細に説明する。
【０１０２】
図４〜図６に、ダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。
【０１０３】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１の実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１０４】
ここで、以下の説明では、フレームをダウンサンプリングするための評価尺度として、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕を用いることを想定するとともに、このコスト関数Ψ〔Ｌi ，Ｌi-1 〕に記述されるジャーキネスの評価尺度ε2 〔Ｌi 〕として、式（２）、式（３）、式（４）、式（５）のいずれかを用いることを想定する。
【０１０５】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の実行要求があると、図４のフローチャートに示すように、まず最初に、ステップＳ１０で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【０１０６】
続いて、ステップＳ２０で、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納する。このステップＳ２０の処理の詳細については、図５のフローチャートで後述する。
【０１０７】
続いて、ステップＳ３０で、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。このステップＳ３０の処理の詳細については、図６のフローチャートで後述する。
【０１０８】
続いて、ステップＳ４０で、ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 として作業用メモリ１２２に格納する。
【０１０９】
続いて、ステップＳ５０で、変数ｉにＪ／Ｍ−２をセットする。
【０１１０】
続いて、ステップＳ６０で、Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）に従って、Ｌ* i-1 を算出して作業用メモリ１２２に格納する。
【０１１１】
続いて、ステップＳ７０で、変数ｉの値を１つディクリメントする。
【０１１２】
続いて、ステップＳ８０で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ６０の処理に戻り、０に到達したことを判断するときには、ステップＳ９０の処理に進む。
【０１１３】
続いて、ステップＳ９０で、ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌ* i ）δt ）（ｘ＝０, .... ,Ｘ−１）を格納する。
【０１１４】
次に、図５のフローチャートに従って、ステップＳ２０で実行する処理の詳細について説明する。
【０１１５】
ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１で、変数ｉに１をセットし、続くステップＳ２０２で、変数Ｌi に−Δをセットし、続くステップＳ２０３で、変数Ｌi-1 に０をセットする。すなわち、変数ｉに１をセットして、Ｌ1 に−Δをセットするとともに、Ｌ0 に０をセットするのである。
【０１１６】
続いて、ステップＳ２０４で、ｉ＝１の場合において、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出して、それを作業用メモリ１２２に格納する。すなわち、コスト関数Ψ〔Ｌ1 ，Ｌ0 〕の関数値を算出して、それを作業用メモリ１２２に格納するのである。
【０１１７】
続いて、ステップＳ２０５で、ｉ＝１の場合において、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ２０６で、変数Ｌi-1 の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻る。すなわち、Ｌ0 の値を１つインクリメントして、その値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻るのである。
【０１１８】
このようにして、ｉ＝１の場合において、変数Ｌ0 の値を０からΔまで１つずつインクリメントしながらステップＳ２０４の処理を実行することで、ｉ＝１および変数Ｌ1 の指定するフレームと、１つ前のフレーム位置にあるΔ＋１枚のフレームのそれぞれとの間でコスト関数Ψ〔Ｌ1 ，Ｌ0 〕の関数値を算出して、それを作業用メモリ１２２に格納するのである。
【０１１９】
一方、ステップＳ２０６で、変数Ｌi-1 の値がΔよりも大きくなったことを判断するときには、ステップＳ２０７に進んで、作業用メモリ１２２に格納したコスト関数値Ψ〔Ｌi ，Ｌi-1 〕の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【０１２０】
すなわち、ｉ＝１の場合において、変数Ｌ1 のある値について、ステップＳ２０４を繰り返し実行することで求めたコスト関数値Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の中の最小値Ｓ1 （Ｌ1 ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【０１２１】
続いて、ステップＳ２０８で、ｉ＝１の場合において、変数Ｌi の値を１つインクリメントし、続くステップＳ２０９で、変数Ｌi の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻る。すなわち、変数Ｌ1 の値を１つインクリメントして、その値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻るのである。
【０１２２】
このようにして、ｉ＝１の場合において、変数Ｌ1 の値を−ΔからΔまで１つずつインクリメントしながらステップＳ２０４／ステップＳ２０７の処理を実行することで、変数Ｌ1 の値の−Δ〜Δのそれぞれについて、コスト関数Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の関数値を求めて、その中の最小値Ｓ1 （Ｌ1 ）を特定して作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【０１２３】
そして、ステップＳ２０９で、ｉ＝１の場合において、変数Ｌi の値がΔよりも大きくなったことを判断するときには、ステップＳ２０の処理を終了する。すなわち、Ｌ1 の値がΔよりも大きくなったことを判断するときには、ステップＳ２０の処理を終了するのである。
【０１２４】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートを実行することで、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するように処理するのである。
【０１２５】
次に、図６のフローチャートに従って、ステップＳ３０で実行する処理の詳細について説明する。
【０１２６】
ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１で、変数ｉに２をセットし、続くステップＳ３０２で、変数Ｌi に−Δをセットし、続くステップＳ３０３で、変数Ｌi-1 に−Δをセットする。
【０１２７】
続いて、ステップＳ３０４で、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出する。
【０１２８】
続いて、ステップＳ３０５で、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）を算出して作業用メモリ１２２に格納する。
【０１２９】
すなわち、ｉ＝２の場合には、図５のフローチャートの処理に従って、既にＳ1 （Ｌ1 ）が算出されているので、そのＳ1 （Ｌ1 ）を使って、Ψ〔Ｌ2 ，Ｌ1 〕＋Ｓ1 （Ｌ1 ）を算出して作業用メモリ１２２に格納するのである。そして、ｉ＞２の場合には、後述するステップＳ３０８の処理に従って、既にＳi-1 （Ｌi-1 ）が算出されているので、そのＳi-1 （Ｌi-1 ）を使って、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）を算出して作業用メモリ１２２に格納するのである。
【０１３０】
続いて、ステップＳ３０６で、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ３０７で、変数Ｌi-1 の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ３０４の処理に戻る。
【０１３１】
このようにして、変数Ｌi-1 の値を−ΔからΔまで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５の処理を実行することで、変数ｉおよび変数Ｌi の指定するフレームと、１つ前のフレーム位置にある２Δ＋１枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出して、その算出したコスト関数値と、その２Δ＋１枚のフレームのそれぞれが持つ先頭のフレーム位置からのコスト関数値の総和Ｓi-1 （Ｌi-1 ）との加算値を算出し、それを作業用メモリ１２２に格納するのである。
【０１３２】
一方、ステップＳ３０７で、変数Ｌi-1 の値がΔよりも大きくなったことを判断するときには、ステップＳ３０８に進んで、作業用メモリ１２２に格納したΨ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【０１３３】
すなわち、変数ｉおよび変数Ｌi のある値（この時点では、ｉ＝２、Ｌi ＝−Δ）について、ステップＳ３０４／ステップＳ３０５を繰り返し実行することで求めたΨ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１３４】
続いて、ステップＳ３０９で、変数Ｌi の値を１つインクリメントし、続くステップＳ３１０で、変数Ｌi の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ３０３の処理に戻る。
【０１３５】
このようにして、変数Ｌi の値を−ΔからΔまで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５／ステップＳ３０８の処理を実行することで、変数Ｌi の値の−Δ〜Δのそれぞれについて、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１３６】
一方、ステップＳ３１０で、変数Ｌi の値がΔよりも大きくなったことを判断するときには、ステップＳ３１１に進んで、変数ｉの値を１つインクリメントする。
【０１３７】
続いて、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったのか否かを判断して、Ｊ／Ｍ−１よりも大きくなっていないことを判断するときには、ステップＳ３０２の処理に戻ることで、最終のフレーム位置まで、Ｓi （Ｌi ）を特定して作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する処理を実行する。
【０１３８】
そして、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったことを判断するときには、ステップＳ３０の処理を終了する。
【０１３９】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートを実行することで、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するように処理するのである。
【０１４０】
以上に説明したように、ダウンサンプリング実行部１２１は、図４〜図６のフローチャートを実行することで、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で、ジャーキネスの評価尺度を考慮したコスト関数の関数値を算出し、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出したコスト関数値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【０１４１】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（６）に従って、１つ前のフレーム位置との間でコスト関数の関数値を算出するようにしているが、低フレームレート映像信号の符号化処理に合わせて、１つ前のフレーム位置との間ではなくて、それよりも前のフレーム位置との間でコスト関数の関数値を算出するようにしてもよい。
【産業上の利用可能性】
【０１４２】
本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【０１４３】
そして、本発明を適用することで、全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、ジャーキネスを抑圧することができるようになる。
【符号の説明】
【０１４４】
１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ コスト関数算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ
１２００ 動き補償予測誤差算出部
１２０１ 動き推定部
１２０２ ジャーキネス評価尺度算出部
１２１０ 入力部
１２１１ 処理フレーム位置選択部
１２１２ 処理フレーム選択部
１２１３ 参照フレーム決定部
１２１４ 全フレーム位置終了判定部
１２１５ 累積コスト関数値最小化最終フレーム検出部
１２１６ 決定参照フレーム追跡部
【技術分野】
【０００１】
本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムとに関する。
【背景技術】
【０００２】
近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。
【０００３】
超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。
【０００４】
１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。
【０００５】
通常、図７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等長間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。
【０００６】
ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。
【０００７】
したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。
【０００８】
このようなことを背景にして、本発明者は、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行った（非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００４−２０１１６５号公報
【非特許文献１】坂東幸浩，高村誠之，上倉一人，八島由幸：“高フレームレート映像信号のダウンサンプリング方法に関する一考察”，画像符号化シンポジウム, p5-02, 2008
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。
【００１１】
しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差電力の低減に改善の余地が残されていた。
【００１２】
このようなことを背景にして、本発明者は、非特許文献１で、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行ったが、この方法では逐次的に選択フレームを設定しており、シーケンス全体での動き補償予測誤差電力の最小化を保証しておらず、その点から改善の余地が残されている。しかも、この方法ではジャーキネス（画質劣化）の抑圧を考慮しておらず、その点からも改善の余地が残されている。
【００１３】
本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、符号量を低く抑えることができるようにするとともに、主観画質の低下を抑えることができるようにする、新たなフレームレートのダウンサンプリング技術を確立することを目的とする。
【課題を解決するための手段】
【００１４】
〔１〕本発明の基本的な考え方
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδt として、時刻ｔ＝ｊδt （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。
【００１５】
この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δt ”から“１／Ｍδt ”へ変換することを想定している。
【００１６】
なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。
【００１７】
フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδt ） ｉ＝０, １, .....
というように、フレーム間隔をＭ倍するという方法がとられてきた。
【００１８】
これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δt ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。
【００１９】
しかし、δt ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδt ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。
【００２０】
このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。
【００２１】
そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌi ）δt ） ｉ＝１, ２, .....
Ｌi ＝−Δ, .... ,Δ
但し、Ｌ0 ＝０, .... ,Δ
というように、２Δ＋１フレーム（ｉ＝０の場合には、Δ＋１フレーム）にまで拡大する。
【００２２】
ここで、Ｌi は、−Δ, .... ,Δの範囲の整数値をとるパラメータ（以下、Ｌi を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ＋１≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。
【００２３】
伸縮パラメータＬi をΔに限定したのは、このＬi の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。
【００２４】
このように、本発明では、フレーム選択の候補を２Δ＋１フレームにまで拡大することになるが、いずれのフレームを選択するのかについては、次の基準に従うものとする。
【００２５】
〔ダウンサンプリングにおけるフレーム選択の評価尺度〕
フレーム選択の基準として、動き補償予測誤差電力およびダウンサンプリング後のシーケンスのジャーキネスを用いることとする。
【００２６】
Ｈ．２６４／ＡＶＣ，ＭＰＥＧ−２といった代表的な符号化方式では動き補償フレーム間予測を採用しており、動き補償予測誤差電力の低減は重要である。また、主観画質の観点からは、ダウンサンプリング後のシーケンスのジャーキネスを抑圧することも重要である。これから、フレーム選択の基準として、動き補償予測誤差電力およびダウンサンプリング後のシーケンスのジャーキネスを用いることとする。
【００２７】
信号ｆ（ｘ，（ｉＭ＋Ｌi ）δt ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に対しての動き補償（推定変移量ｄ〔ｋ〕：変移量は動きベクトルと同義）を考える。
【００２８】
フレームｆ（ｘ，（ｉＭ＋Ｌi ）δt ）内の区間Ｂ〔ｋ〕がフレームｆ（ｘ，((ｉ−１）Ｍ＋Ｌi-1 ）δt ）を参照して、推定変移量ｄ〔ｋ〕を用いて予測される場合、その区間内の動き補償後の予測誤差電力は下記の式（１）のように表現できる。
【００２９】
【数１】
【００３０】
Ｌi とＬi-1 が与えられた場合、この式（１）に従って、σi 2 〔Ｌi ，Ｌi-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定し、ｄ〔ｋ，Ｌi ，Ｌi-1 〕（ｋ＝０，１, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。
【００３１】
さらに、ジャーキネスの評価尺度として、下記の式（２）の値を用いる。
【００３２】
【数２】
【００３３】
この式（２）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとの差分値（フレーム間差分値）を表している。
【００３４】
その他に、ジャーキネスの評価尺度として、下記の式（３）の値を用いることも可能である。
【００３５】
【数３】
【００３６】
ここで、Ｌi は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとの間の距離である。
【００３７】
この式（３）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、等長でダウンサンプリングされたフレームと可変長でダウンサンプリングされたフレームとのフレーム間差分値を両フレーム間の距離で重み付けた値と言える。
【００３８】
また、ジャーキネスの評価尺度として、下記の式（４）の値を用いることも可能である。
【００３９】
【数４】
【００４０】
ここで、｜Ｍ＋Ｌi −Ｌi-1 ｜は、参照フレームと被予測フレームとの間の距離である。
【００４１】
この式（４）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、参照フレームと被予測フレームとのフレーム間差分値を両フレーム間の距離で重み付けた値と言える。
【００４２】
また、ジャーキネスの評価尺度として、下記の式（５）の値を用いることも可能である。
【００４３】
【数５】
【００４４】
ここで、αは、外部から与えられるパラメータであり、｜Ｌi −Ｌi-1 ｜に対する閾値となる。｜Ｍ＋Ｌi −Ｌi-1 ｜は参照フレームと被予測フレームとの間の距離であり、Ｍは定数であることを考慮すると、この距離が一定の閾値以上となるのか否かは、｜Ｌi −Ｌi-1 ｜を用いて評価することが可能である。
【００４５】
この式（５）に示すジャーキネスの評価尺度ε2 〔Ｌi 〕は、参照フレームと被予測フレームとのフレーム間差分値を両フレーム間の距離で重み付けた値であり、さらに、｜Ｌi −Ｌi-1 ｜が所定の閾値α以下の場合には、ジャーキネスは検知できないという仮説に基づいて設定したものである。
【００４６】
本発明では、フレームをダウンサンプリングするための評価尺度として、符号化効率およびジャーキネスの抑圧を考慮すべく、下記の式（６）のコスト関数Ψ〔Ｌi ，Ｌi-1 〕を用いる。
【００４７】
【数６】
【００４８】
ここで、λは重み係数であり、外部から与えられる。また、ε2 〔Ｌi 〕は、式（２）、式（３）、式（４）、式（５）に従って算出する。
【００４９】
本発明では、このコスト関数Ψ〔Ｌi ，Ｌi-1 〕の最小化を通して、動き補償予測誤差とダウンサンプリング後のジャーキネスとの間のトレードオフを最適化するフレームを選択する。
【００５０】
ここで、注意すべきは、Ｌi の設定方法（選択方法）である。Ψ〔Ｌi ，Ｌi-1 〕を最小化するようにＬi を設定したのでは、シーケンス全体でのコスト関数の値
ΣΨ〔Ｌi ，Ｌi-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｌi の選択はΨ〔Ｌi ，Ｌi-1 〕にも影響を与えるからである。
【００５１】
従って、求めるべきパラメータは、下記の式（７）を満たすＪ／Ｍ個のパラメータである。
【００５２】
【数７】
【００５３】
しかしながら、Ｊ／Ｍ個のパラメータ（Ｌ0 , .... ,ＬJ/M-1 ）の取り得る組み合わせは（Δ＋１）×（２Δ＋１）J/M-1 通りであり、この中から最適な組み合わせ（Ｌ* 0 , .... , Ｌ* J/M-1 ）を総当たりで探索するのは、計算量的に困難である。
【００５４】
そこで、本発明では、Ψ〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。
【００５５】
まず、Ｌi として取り得る全ての値に対して、最適なＬi-1 , .... ,Ｌ0 を用いた場合のΣΨ〔Ｌi ，Ｌi-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳi （Ｌi ）として定義する。
【００５６】
ここで、Ψ〔Ｌi ，Ｌi-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓi （Ｌi ）はＳi-1 （Ｌi-1 ）を用いて、図１に示すように、下記の式（８）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。
【００５７】
【数８】
【００５８】
この式（８）に従って算出したＳi （Ｌi ）（Ｌi ＝−Δ, .... ,Δ）をメモリに格納しておき、Ｓi+1 （Ｌi+1 ）の計算で用いるものとする。さらに、この式（８）の最小値を与えるＬi-1 を、図１中に示すように、＾Ｌi-1 （Ｌi ）とおく。この＾Ｌi-1 （Ｌi ）（Ｌi ＝−Δ, .... ,Δ）についても、全てメモリに格納しておくものとする。ここで、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。
【００５９】
式（７）の最小化問題は、下記の式（９）のように表せる。
【００６０】
【数９】
【００６１】
この式（９）を最小化するＬJ/M-1 をＬ* J/M-1 とおくと、このＬ* J/M-1 は下記の式（１０）で表せる。
【００６２】
【数１０】
【００６３】
Ｌ* J/M-2 に対する最適解は、＾ＬJ/M-2 （ＬJ/M-1 ）としてメモリに格納されているので、その値を参照し、Ｌ* J/M-2 ＝＾ＬJ/M-2 （ＬJ/M-1 ）とする。以下、同様の参照処理を、
Ｌ* J/M-3 ＝＾ＬJ/M-3 （ＬJ/M-2 ），・・・・・，Ｌ* 0 ＝＾Ｌ0 （Ｌ1 ）
として繰り返す。
【００６４】
以上の説明では、式（６）のコスト関数Ψ〔Ｌi ，Ｌi-1 〕における符号化効率を示す値として動き補償予測誤差電力を用いるようにしたが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行う際に得られる符号化コストを用いるようにしてもよい。
【００６５】
〔２〕本発明の構成
次に、本発明の構成について説明する。
【００６６】
本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する実行手段と、（２）最終のフレーム位置にある複数のフレームのそれぞれについて実行手段が算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する検出手段と、（３）検出手段の検出したフレームを起点として実行手段の特定したフレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する選択手段とを備えるように構成する。
【００６７】
この構成を採るときに、実行手段は、算出した評価尺度とその算出対象となった前のフレーム位置にあるフレームの持つ評価尺度の総和との加算値を求めて、それらの中の最小値を特定することで、前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度として設定するように処理する。
【００６８】
また、実行手段は、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率および主観画質を示す評価尺度として、その値が小さくなるほど高い評価を示す符号化効率値と、その値が小さくなるほど高い評価を示す主観画質値との加重和を用いることがある。
【００６９】
このとき、実行手段は、符号化効率値として、動き補償予測誤差電力を算出したり、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することがある。
【００７０】
また、実行手段は、主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を算出したり、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を両フレーム間の距離で重み付けした値を算出したり、参照フレームと被予測フレームとの差分値を両フレーム間の距離で重み付けした値を算出することがある。
【００７１】
以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００７２】
このように構成される本発明のフレームレート変換装置では、まず最初に、等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、例えば、図１に示すように、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度（図１ではΨ〔Ｌi ，Ｌi-1 〕）を算出し、その算出した評価尺度とその算出対象となった１つ前のフレーム位置にあるフレームの持つ評価尺度の総和（図１ではＳi-1 （Ｌi-1 ))との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度の総和として設定するという処理を、最終のフレーム位置まで繰り返し実行する。
【００７３】
続いて、最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００７４】
このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。
【発明の効果】
【００７５】
本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮した形で、そのフレームレート変換処理を実行する。
【００７６】
これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【００７７】
そして、本発明によれば、全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、ジャーキネスを抑圧することができるようになる。
【図面の簡単な説明】
【００７８】
【図１】本発明で算出するＳi （Ｌi ）の算出処理の説明図である。
【図２】本発明のフレームレート変換装置の装置構成図である。
【図３】本発明のフレームレート変換装置の装置構成図である。
【図４】ダウンサンプリング実行部の実行するフローチャートである。
【図５】ダウンサンプリング実行部の実行するフローチャートである。
【図６】ダウンサンプリング実行部の実行するフローチャートである。
【図７】従来技術によるフレームレートダウンサンプリング処理の説明図である。
【発明を実施するための形態】
【００７９】
以下、実施の形態に従って本発明を詳細に説明する。
【００８０】
図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。
【００８１】
この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。
【００８２】
このフレームレートダウンサンプリング部１２は、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出するコスト関数算出部１２０と、コスト関数算出部１２０の算出したコスト関数値を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２とを備える。
【００８３】
このコスト関数算出部１２０は、動き推定部１２０１を備えて、式（１）に示される動き補償予測誤差電力を算出する動き補償予測誤差算出部１２００と、式（２）や式（３）や式（４）や式（５）などに示されるジャーキネスの評価尺度ε2 〔Ｌi 〕を算出するジャーキネス評価尺度算出部１２０２とを備えることで、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出する。
【００８４】
〔１〕動き推定部１２０１の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２００の備える動き推定部１２０１の処理について説明する。
【００８５】
動き推定部１２０１は、予測対象フレームと参照フレームとを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。
【００８６】
処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２００は、動き推定部１２０１の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を算出する。
【００８７】
〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。
【００８８】
図３に、ダウンサンプリング実行部１２１の装置構成の一例を図示する。
【００８９】
この図に示すように、ダウンサンプリング実行部１２１は、入力部１２１０と、処理フレーム位置選択部１２１１と、処理フレーム選択部１２１２と、参照フレーム決定部１２１３と、全フレーム位置終了判定部１２１４と、累積コスト関数値最小化最終フレーム検出部１２１５と、決定参照フレーム追跡部１２１６とを備える。
【００９０】
この入力部１２１０は、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【００９１】
処理フレーム位置選択部１２１１は、ダウンサンプリング比Ｍとフレーム間隔δt とに基づく等長間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。
【００９２】
処理フレーム選択部１２１２は、処理フレーム位置選択部１２１１の選択した処理フレーム位置およびその近傍に位置する２Δ＋１枚のフレームを順次、処理フレームとして選択する。
【００９３】
参照フレーム決定部１２１３は、処理フレーム選択部１２１２の選択した処理フレームと、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で式（６）に示されるコスト関数の関数値を算出して、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて（累積コスト関数値算出機能）、それらの中の最小値を特定することで（最小累積コスト関数値特定機能）、１つ前のフレーム位置における２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定することで参照フレームを決定する。
【００９４】
全フレーム位置終了判定部１２１４は、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２１１に対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積コスト関数値最小化最終フレーム検出部１２１５に対して処理の実行を指示する。
【００９５】
累積コスト関数値最小化最終フレーム検出部１２１５は、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出されたコスト関数値の総和（参照フレーム決定部１２１３が算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からのコスト関数値の総和を最小化する最終フレームを検出する。
【００９６】
決定参照フレーム追跡部１２１６は、累積コスト関数値最小化最終フレーム検出部１２１５の検出した最終フレームを起点として、参照フレーム決定部１２１３の決定した参照フレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて参照フレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。
【００９７】
下記に、このように構成されるダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理の流れを示す。
【００９８】
〔ｉ〕ジャーキネスの評価尺度として式（２）の値を用いる場合
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．コスト関数算出に用いる重み係数λを読み込む
４．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
５． Ｌi ＝−Δ, .... ,Δについて以下の処理を行う
６． Ｌi-1 ＝−Δ, .... ,Δについて以下の処理を行う
（ただし、Ｌ0 の場合は、Ｌ0 ＝０, .... ,Δ）
７． 参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌi-1 ）δt ）とする場合のｆ（ ｘ，（ｉＭ＋Ｌi ）δt ）に対する動き補償予測誤差電力（式（１))を最小 化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる 。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求 めた動きベクトルを用いた場合の動き補償予測誤差電力をσi 2 〔Ｌi ，Ｌ i-1 〕に格納する
８． ジャーキネスの評価尺度として、等長でダウンサンプリングされたフレーム と可変長でダウンサンプリングされたフレームとの差分値ε2 〔Ｌi 〕を算 出する。具体的な算出方法は式（２）に従う
９． 動き補償予測誤差電力およびジャーキネスの評価尺度の加重和として、コス ト関数Ψ〔Ｌi ，Ｌi-1 〕を次式により求める
Ψ〔Ｌi ，Ｌi-1 〕＝σi 2 〔Ｌi ，Ｌi-1 〕＋λε2 〔Ｌi 〕
10． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）の値を算出する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕の値を算出する）
11． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中での 最小値をＳi （Ｌi ）に格納する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の 中での最小値をＳ1 （Ｌ1 ）に格納する）
12． Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）に格納する
13．ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 に格納する
14．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
15． Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）を算出する
16．ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ）
（ｘ＝０, .... ,Ｘ−１）を格納する。
【００９９】
〔ii〕ジャーキネスの評価尺度として式（３）の値を用いる場合
１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δt を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．コスト関数算出に用いる重み係数λを読み込む
４．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
５． Ｌi ＝−Δ, .... ,Δについて以下の処理を行う
６． Ｌi-1 ＝−Δ, .... ,Δについて以下の処理を行う
（ただし、Ｌ0 の場合は、Ｌ0 ＝０, .... ,Δ）
７． 参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌi-1 ）δt ）とする場合のｆ（ ｘ，（ｉＭ＋Ｌi ）δt ）に対する動き補償予測誤差電力（式（１))を最小 化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる 。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求 めた動きベクトルを用いた場合の動き補償予測誤差電力をσi 2 〔Ｌi ，Ｌ i-1 〕に格納する
８． 等長でダウンサンプリングされたフレームと可変長でダウンサンプリングさ れたフレームとの差分値 tildeε2 〔Ｌi 〕を算出する
９． 等長でダウンサンプリングされたフレームと可変長でダウンサンプリングさ れたフレームとのフレーム間距離の絶対値｜Ｌi ｜を算出する
10． 8.で算出した差分値に9.で算出したフレーム間距離を乗じた値を算出し、ジ ャーキネスの評価尺度ε2 〔Ｌi 〕とする。8.〜10. の具体的な算出方法は 式（３）に従う
11． 動き補償予測誤差電力およびジャーキネスの評価尺度の加重和として、コス ト関数Ψ〔Ｌi ，Ｌi-1 〕を次式により求める
Ψ〔Ｌi ，Ｌi-1 〕＝σi 2 〔Ｌi ，Ｌi-1 〕＋λε2 〔Ｌi 〕
12． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）の値を算出する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕の値を算出する）
13． Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中での 最小値をＳi （Ｌi ）に格納する
（ただし、Ｌ0 の場合は、Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の 中での最小値をＳ1 （Ｌ1 ）に格納する）
14． Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）に格納する
15．ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 に格納する
16．ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
17． Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）を算出する
18．ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌi * ）δt ）
（ｘ＝０, .... ,Ｘ−１）を格納する。
【０１００】
このようにして、ダウンサンプリング実行部１２１は、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で、フレームをダウンサンプリングするための評価尺度であるコスト関数の関数値を算出し、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出したコスト関数値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【実施例】
【０１０１】
次に、実施例に従って本発明を詳細に説明する。
【０１０２】
図４〜図６に、ダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。
【０１０３】
次に、このフローチャートに従って、ダウンサンプリング実行部１２１の実行するフレームレートのダウンサンプリング処理について詳細に説明する。
【０１０４】
ここで、以下の説明では、フレームをダウンサンプリングするための評価尺度として、式（６）に示されるコスト関数Ψ〔Ｌi ，Ｌi-1 〕を用いることを想定するとともに、このコスト関数Ψ〔Ｌi ，Ｌi-1 〕に記述されるジャーキネスの評価尺度ε2 〔Ｌi 〕として、式（２）、式（３）、式（４）、式（５）のいずれかを用いることを想定する。
【０１０５】
ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の実行要求があると、図４のフローチャートに示すように、まず最初に、ステップＳ１０で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δt と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。
【０１０６】
続いて、ステップＳ２０で、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納する。このステップＳ２０の処理の詳細については、図５のフローチャートで後述する。
【０１０７】
続いて、ステップＳ３０で、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。このステップＳ３０の処理の詳細については、図６のフローチャートで後述する。
【０１０８】
続いて、ステップＳ４０で、ＳJ/M-1 （ＬJ/M-1 ）を最小化するＬJ/M-1 をＬ* J/M-1 として作業用メモリ１２２に格納する。
【０１０９】
続いて、ステップＳ５０で、変数ｉにＪ／Ｍ−２をセットする。
【０１１０】
続いて、ステップＳ６０で、Ｌ* i-1 ＝＾Ｌi-1 （Ｌi ）に従って、Ｌ* i-1 を算出して作業用メモリ１２２に格納する。
【０１１１】
続いて、ステップＳ７０で、変数ｉの値を１つディクリメントする。
【０１１２】
続いて、ステップＳ８０で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ６０の処理に戻り、０に到達したことを判断するときには、ステップＳ９０の処理に進む。
【０１１３】
続いて、ステップＳ９０で、ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌ* i ）δt ）（ｘ＝０, .... ,Ｘ−１）を格納する。
【０１１４】
次に、図５のフローチャートに従って、ステップＳ２０で実行する処理の詳細について説明する。
【０１１５】
ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１で、変数ｉに１をセットし、続くステップＳ２０２で、変数Ｌi に−Δをセットし、続くステップＳ２０３で、変数Ｌi-1 に０をセットする。すなわち、変数ｉに１をセットして、Ｌ1 に−Δをセットするとともに、Ｌ0 に０をセットするのである。
【０１１６】
続いて、ステップＳ２０４で、ｉ＝１の場合において、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出して、それを作業用メモリ１２２に格納する。すなわち、コスト関数Ψ〔Ｌ1 ，Ｌ0 〕の関数値を算出して、それを作業用メモリ１２２に格納するのである。
【０１１７】
続いて、ステップＳ２０５で、ｉ＝１の場合において、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ２０６で、変数Ｌi-1 の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻る。すなわち、Ｌ0 の値を１つインクリメントして、その値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻るのである。
【０１１８】
このようにして、ｉ＝１の場合において、変数Ｌ0 の値を０からΔまで１つずつインクリメントしながらステップＳ２０４の処理を実行することで、ｉ＝１および変数Ｌ1 の指定するフレームと、１つ前のフレーム位置にあるΔ＋１枚のフレームのそれぞれとの間でコスト関数Ψ〔Ｌ1 ，Ｌ0 〕の関数値を算出して、それを作業用メモリ１２２に格納するのである。
【０１１９】
一方、ステップＳ２０６で、変数Ｌi-1 の値がΔよりも大きくなったことを判断するときには、ステップＳ２０７に進んで、作業用メモリ１２２に格納したコスト関数値Ψ〔Ｌi ，Ｌi-1 〕の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【０１２０】
すなわち、ｉ＝１の場合において、変数Ｌ1 のある値について、ステップＳ２０４を繰り返し実行することで求めたコスト関数値Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の中の最小値Ｓ1 （Ｌ1 ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【０１２１】
続いて、ステップＳ２０８で、ｉ＝１の場合において、変数Ｌi の値を１つインクリメントし、続くステップＳ２０９で、変数Ｌi の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻る。すなわち、変数Ｌ1 の値を１つインクリメントして、その値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻るのである。
【０１２２】
このようにして、ｉ＝１の場合において、変数Ｌ1 の値を−ΔからΔまで１つずつインクリメントしながらステップＳ２０４／ステップＳ２０７の処理を実行することで、変数Ｌ1 の値の−Δ〜Δのそれぞれについて、コスト関数Ψ〔Ｌ1 ，Ｌ0 〕（Ｌ0 ＝０, .... ,Δ）の関数値を求めて、その中の最小値Ｓ1 （Ｌ1 ）を特定して作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するのである。
【０１２３】
そして、ステップＳ２０９で、ｉ＝１の場合において、変数Ｌi の値がΔよりも大きくなったことを判断するときには、ステップＳ２０の処理を終了する。すなわち、Ｌ1 の値がΔよりも大きくなったことを判断するときには、ステップＳ２０の処理を終了するのである。
【０１２４】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートを実行することで、ｉ＝１およびＬ1 の指定するフレームと、ｉ＝０およびＬ0 の指定するフレームとの間でＳ1 （Ｌ1 ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳ1 （Ｌ1 ）を与えるＬ0 を＾Ｌ0 （Ｌ1 ）として作業用メモリ１２２に格納するように処理するのである。
【０１２５】
次に、図６のフローチャートに従って、ステップＳ３０で実行する処理の詳細について説明する。
【０１２６】
ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１で、変数ｉに２をセットし、続くステップＳ３０２で、変数Ｌi に−Δをセットし、続くステップＳ３０３で、変数Ｌi-1 に−Δをセットする。
【０１２７】
続いて、ステップＳ３０４で、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出する。
【０１２８】
続いて、ステップＳ３０５で、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）を算出して作業用メモリ１２２に格納する。
【０１２９】
すなわち、ｉ＝２の場合には、図５のフローチャートの処理に従って、既にＳ1 （Ｌ1 ）が算出されているので、そのＳ1 （Ｌ1 ）を使って、Ψ〔Ｌ2 ，Ｌ1 〕＋Ｓ1 （Ｌ1 ）を算出して作業用メモリ１２２に格納するのである。そして、ｉ＞２の場合には、後述するステップＳ３０８の処理に従って、既にＳi-1 （Ｌi-1 ）が算出されているので、そのＳi-1 （Ｌi-1 ）を使って、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）を算出して作業用メモリ１２２に格納するのである。
【０１３０】
続いて、ステップＳ３０６で、変数Ｌi-1 の値を１つインクリメントし、続くステップＳ３０７で、変数Ｌi-1 の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ３０４の処理に戻る。
【０１３１】
このようにして、変数Ｌi-1 の値を−ΔからΔまで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５の処理を実行することで、変数ｉおよび変数Ｌi の指定するフレームと、１つ前のフレーム位置にある２Δ＋１枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σi 2 〔Ｌi ，Ｌi-1 〕を算出し、それを用いてジャーキネスの評価尺度ε2 〔Ｌi 〕を考慮したコスト関数Ψ〔Ｌi ，Ｌi-1 〕の関数値を算出して、その算出したコスト関数値と、その２Δ＋１枚のフレームのそれぞれが持つ先頭のフレーム位置からのコスト関数値の総和Ｓi-1 （Ｌi-1 ）との加算値を算出し、それを作業用メモリ１２２に格納するのである。
【０１３２】
一方、ステップＳ３０７で、変数Ｌi-1 の値がΔよりも大きくなったことを判断するときには、ステップＳ３０８に進んで、作業用メモリ１２２に格納したΨ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する。
【０１３３】
すなわち、変数ｉおよび変数Ｌi のある値（この時点では、ｉ＝２、Ｌi ＝−Δ）について、ステップＳ３０４／ステップＳ３０５を繰り返し実行することで求めたΨ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１３４】
続いて、ステップＳ３０９で、変数Ｌi の値を１つインクリメントし、続くステップＳ３１０で、変数Ｌi の値がΔよりも大きくなったのか否かを判断して、Δよりも大きくなっていないことを判断するときには、ステップＳ３０３の処理に戻る。
【０１３５】
このようにして、変数Ｌi の値を−ΔからΔまで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５／ステップＳ３０８の処理を実行することで、変数Ｌi の値の−Δ〜Δのそれぞれについて、Ψ〔Ｌi ，Ｌi-1 〕＋Ｓi-1 （Ｌi-1 ）（Ｌi-1 ＝−Δ, .... ,Δ）の中の最小値Ｓi （Ｌi ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するのである。
【０１３６】
一方、ステップＳ３１０で、変数Ｌi の値がΔよりも大きくなったことを判断するときには、ステップＳ３１１に進んで、変数ｉの値を１つインクリメントする。
【０１３７】
続いて、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったのか否かを判断して、Ｊ／Ｍ−１よりも大きくなっていないことを判断するときには、ステップＳ３０２の処理に戻ることで、最終のフレーム位置まで、Ｓi （Ｌi ）を特定して作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納する処理を実行する。
【０１３８】
そして、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったことを判断するときには、ステップＳ３０の処理を終了する。
【０１３９】
このようにして、ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートを実行することで、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬi の指定するフレームと、ｉ−１およびＬi-1 の指定するフレームとの間でＳi （Ｌi ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳi （Ｌi ）を与えるＬi-1 を＾Ｌi-1 （Ｌi ）として作業用メモリ１２２に格納するように処理するのである。
【０１４０】
以上に説明したように、ダウンサンプリング実行部１２１は、図４〜図６のフローチャートを実行することで、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれとの間で、ジャーキネスの評価尺度を考慮したコスト関数の関数値を算出し、その算出したコスト関数値とその算出対象となった１つ前のフレーム位置におけるフレームの持つコスト関数値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームの中から、先頭のフレーム位置からのコスト関数値の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置およびその近傍に位置する２Δ＋１枚のフレームのそれぞれについて算出したコスト関数値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。
【０１４１】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（６）に従って、１つ前のフレーム位置との間でコスト関数の関数値を算出するようにしているが、低フレームレート映像信号の符号化処理に合わせて、１つ前のフレーム位置との間ではなくて、それよりも前のフレーム位置との間でコスト関数の関数値を算出するようにしてもよい。
【産業上の利用可能性】
【０１４２】
本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。
【０１４３】
そして、本発明を適用することで、全シーケンスに対しての符号化効率およびジャーキネスの抑圧を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、ジャーキネスを抑圧することができるようになる。
【符号の説明】
【０１４４】
１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ コスト関数算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ
１２００ 動き補償予測誤差算出部
１２０１ 動き推定部
１２０２ ジャーキネス評価尺度算出部
１２１０ 入力部
１２１１ 処理フレーム位置選択部
１２１２ 処理フレーム選択部
１２１３ 参照フレーム決定部
１２１４ 全フレーム位置終了判定部
１２１５ 累積コスト関数値最小化最終フレーム検出部
１２１６ 決定参照フレーム追跡部
【特許請求の範囲】
【請求項１】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する過程と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する過程と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
前記実行する過程では、前記算出した評価尺度とその算出対象となった前記前のフレーム位置にあるフレームの持つ評価尺度の総和との加算値を求めて、それらの中の最小値を特定することで、前記前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度として設定することを、
特徴とするフレームレート変換方法。
【請求項３】
請求項１または２に記載のフレームレート変換方法において、
前記実行する過程では、前記評価尺度して、その値が小さくなるほど高い評価を示す前記符号化効率値と、その値が小さくなるほど高い評価を示す前記主観画質値との加重和を用いることを、
特徴とするフレームレート変換方法。
【請求項４】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率値として、動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項５】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率値として、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項６】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を算出することを、
特徴とするフレームレート変換方法。
【請求項７】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を両フレーム間の距離で重み付けした値を算出することを、
特徴とするフレームレート変換方法。
【請求項８】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、参照フレームと被予測フレームとの差分値を両フレーム間の距離で重み付けした値を算出することを、
特徴とするフレームレート変換方法。
【請求項９】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する手段と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する手段と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項１０】
請求項１ないし８のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【請求項１】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する過程と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する過程と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する過程とを備えることを、
特徴とするフレームレート変換方法。
【請求項２】
請求項１に記載のフレームレート変換方法において、
前記実行する過程では、前記算出した評価尺度とその算出対象となった前記前のフレーム位置にあるフレームの持つ評価尺度の総和との加算値を求めて、それらの中の最小値を特定することで、前記前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ評価尺度として設定することを、
特徴とするフレームレート変換方法。
【請求項３】
請求項１または２に記載のフレームレート変換方法において、
前記実行する過程では、前記評価尺度して、その値が小さくなるほど高い評価を示す前記符号化効率値と、その値が小さくなるほど高い評価を示す前記主観画質値との加重和を用いることを、
特徴とするフレームレート変換方法。
【請求項４】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率値として、動き補償予測誤差電力を算出することを、
特徴とするフレームレート変換方法。
【請求項５】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記符号化効率値として、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することを、
特徴とするフレームレート変換方法。
【請求項６】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を算出することを、
特徴とするフレームレート変換方法。
【請求項７】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、等長でサンプリングされたフレームと可変長でサンプリングされたフレームとの差分値を両フレーム間の距離で重み付けした値を算出することを、
特徴とするフレームレート変換方法。
【請求項８】
請求項３に記載のフレームレート変換方法において、
前記実行する過程では、前記主観画質値として、参照フレームと被予測フレームとの差分値を両フレーム間の距離で重み付けした値を算出することを、
特徴とするフレームレート変換方法。
【請求項９】
高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、それよりも前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号についての符号化効率および主観画質を示す評価尺度であって、その値が小さくなるほど高い評価を示す評価尺度を算出して、その算出した評価尺度に基づいて、その前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの評価尺度の総和を最小化するつながりを持つフレームを特定することを、先頭のフレーム位置から最終のフレーム位置に向けて繰り返し実行する手段と、
前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した評価尺度の総和について、それらの中の最小値を持つフレームを検出する手段と、
前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する手段とを備えることを、
特徴とするフレームレート変換装置。
【請求項１０】
請求項１ないし８のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９１４２（Ｐ２０１１−１９１４２Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２００９−１６３２７６（Ｐ２００９−１６３２７６）
【出願日】平成２１年７月１０日（２００９．７．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２１年７月１０日（２００９．７．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]