映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
【課題】映像の動きの滑らかさに応じてフレームレートを決定させる。
【解決手段】変化量検出部１４０１は、外部から動画像信号として入力された入力映像信号１４０３に含まれる複数のフレーム画像に基づいて、変化量を抽出し、この変化量１４０５を評価値算出部１４０２に出力する。評価値算出部１４０２は、変化量１４０５とフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における時間変化量を割り出し、この時間変化量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。この評価値がフレームレートを決定させる要素として外部に出力される。
【解決手段】変化量検出部１４０１は、外部から動画像信号として入力された入力映像信号１４０３に含まれる複数のフレーム画像に基づいて、変化量を抽出し、この変化量１４０５を評価値算出部１４０２に出力する。評価値算出部１４０２は、変化量１４０５とフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における時間変化量を割り出し、この時間変化量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。この評価値がフレームレートを決定させる要素として外部に出力される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラムに関する。
【背景技術】
【０００２】
映像の取得、蓄積、伝送、表示、符号化、復号化等を含む映像処理は、一般に、固定フレームレートによって処理が行われている。ここで、フレームレートとは、１秒あたりに処理されるフレーム数のことをいう。また、固定フレームレートとは、１秒あたりに処理されるフレーム数を一定にしたフレームレートのことをいう。固定フレームレートの具体例としては、例えば、米国や日本で採用されている全国テレビジョン標準委員会(National Television Standards Committee：NTSC)規格では、２９．９７fps（frame per second）に定義されている。また、ヨーロッパで採用されている全国テレビション標準委員会による位相交番ライン(Phase Alternating Line：PAL)規格では、２５fpsに定義されている。さらに、１５fpsや２４fpsの固定フレームレートが用いられる場合もある。なお、「映像」とは個々の静止画像である「フレーム画像」を連続させることにより構成されるものである。
【０００３】
固定フレームレートで映像処理を行う場合に、フレームレートを増加させると、連続するフレームの時間間隔が短くなる。これによって、より滑らかな動きの映像を処理することが可能となる。例えば、３０fpsのフレームレートで処理される映像は、１５fpsのフレームレートで処理される映像よりも、単位時間当たりのフレーム数が多いために映像の動きがより細かく表現され、全体としてより滑らかな動きで表現される。
【０００４】
また、上述した固定フレームレートによる映像処理の他に、可変フレームレートによる映像処理も行われている。この可変フレームレートによる映像処理は、映像の処理量やデータ量に応じてフレームレートを可変にするものである。例えば、映像を符号化する場合に、符号化するデータ量が多いと判断した場合には、フレームレートを減少させて単位時間当たりに符号化するフレーム数を削減させる。これは、データ量が増加すると映像処理にかかる時間が増加するためである。ここで、可変フレームレートにおいて、連続するフレーム画像の時間間隔をＴとした場合に、２枚のフレーム画像間におけるフレームレートは１／Ｔとなる。
【０００５】
このようなフレームレートを変更するための技術は、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１１２９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、固定フレームレートで映像を処理する場合に、滑らかな動きを実現するためにフレームレートを増加させると、映像処理に伴う処理量、データ量および電力消費量が増大してしまう。具体的に説明すると、例えば、映像を取得する場合には、単位時間当たりに取得すべきフレーム数が増加することによって、処理量および処理に伴う電力消費量が増大してしまう。また、映像を蓄積する場合には、単位時間あたりに蓄積すべきフレーム数が増加することによって、データ量が増大してしまう。
【０００８】
一方、映像の処理に伴う処理量、データ量および電力消費量を低減するために、フレームレートを減少させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。
【０００９】
また、可変フレームレートで映像を処理する場合に、映像の処理量やデータ量のみに応じてフレームレートを変化させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。
【００１０】
このように、映像の動きの特徴を考慮することなくフレームレートを変化させると、不必要に多くの処理量、データ量および電力消費量を要してしまうことや、ぎくしゃくした動きの映像になってしまうという問題がある。
【００１１】
そこで、本発明は、上述した課題を解決するために、映像の動きの滑らかさに応じてフレームレートを決定させる映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の映像評価装置は、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、を備えることを特徴とする。
【００１３】
また、本発明の映像評価方法は、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップと、を備えることを特徴とする。
【００１４】
さらに、本発明の映像評価プログラムは、コンピュータを、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として機能させることを特徴とする。
【００１５】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および入力映像信号の各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力された入力映像信号の変化量に応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００１６】
本発明の映像評価装置において、上記評価値算出手段は、変化量および各フレーム画像間の時間間隔に基づいて、変化量および各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて評価値を算出することが好ましい。このようにすれば、変化量および各フレーム画像間の時間間隔に応じて割り出される時間変化量を考慮した評価値を算出させることができる。
【００１７】
本発明の映像評価装置において、上記変化量は、各フレーム画像間における輝度値の差に基づく値であること、または、各フレーム画像間における動きベクトルであることが好ましい。このようにすれば、各フレーム画像間における輝度値の差、または、各フレーム画像間における動きベクトルに基づいて評価値を算出させることができる。
【００１８】
本発明の映像評価装置において、上記変化量に基づいて、入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、上記評価値算出手段は、動き特徴値および各フレーム画像間の時間間隔に基づいて、評価値を算出することが好ましい。このようにすれば、入力映像信号の動きの特徴を示す動き特徴値を考慮した評価値を算出させることができる。
【００１９】
本発明の映像評価装置において、上記評価値算出手段は、動き特徴値および各フレーム画像間の時間間隔に基づいて、変化量および各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて評価値を算出することが好ましい。このようにすれば、変化量および各フレーム画像間の時間間隔に応じた時間変化量を考慮した評価値を算出させることができる。
【００２０】
本発明の映像評価装置において、上記変化量は、各フレーム画像間における動きベクトルであり、上記動き特徴値は、動きベクトルの大きさに基づいて算出される値であることが好ましい。このようにすれば、各フレーム間の動きベクトルの大きさに基づいて評価値を算出させることができる。
【００２１】
本発明のフレームレート決定装置は、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、を備えることを特徴とする。
【００２２】
また、本発明のフレームレート決定方法は、第１のフレームレートを発生するフレームレート発生ステップと、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出ステップと、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定ステップと、を備えることを特徴とする。
【００２３】
さらに、本発明のフレームレート決定プログラムは、コンピュータを、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段として機能させることを特徴とする。
【００２４】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。したがって、映像の動きの滑らかさの評価に応じて決定された第２のフレームレートにより入力映像信号を読み込むことができる。すなわち、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【００２５】
本発明のフレームレート決定装置において、上記フレームレート決定手段は、評価値を、所定の規定値と比較して、評価値が規定値よりも大きい場合には、第２のフレームレートを、第１のフレームレートよりも小さくし、評価値が規定値よりも小さい場合には、第２のフレームレートを、第１のフレームレートよりも大きくすることが好ましい。このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準に収まるように考慮された第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。
【００２６】
本発明の映像処理装置は、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段と、を備えることを特徴とする。
【００２７】
また、本発明の映像処理方法は、入力映像信号を記憶するバッファステップと、第１のフレームレートを発生するフレームレート発生ステップと、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出ステップと、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定ステップと、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理ステップと、を備えることを特徴とする。
【００２８】
さらに、本発明の映像処理プログラムは、コンピュータを、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段として機能させることを特徴とする。
【００２９】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。また、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。また、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【００３０】
[その他の実施態様]
【００３１】
本発明の映像評価装置は、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して出力する評価値算出手段と、を備えることを特徴とする。
【００３２】
また、本発明の映像評価方法は、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する動き変位量検出ステップと、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して出力する評価値算出ステップと、を備えることを特徴とする。
【００３３】
さらに、本発明の映像評価プログラムは、コンピュータを、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して外部に出力する評価値算出手段として機能させることを特徴とする。
【００３４】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００３５】
本発明の映像評価装置において、上記動き変位量に基づいて、入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、上記評価値算出手段は、動き特徴値および入力映像信号のフレームレートに基づいて、評価値を算出することが好ましい。このようにすれば、入力映像信号の動きの特徴を示す動き特徴値を考慮した評価値を算出させることができる。
【００３６】
本発明の映像評価装置において、上記評価値算出手段は、動き変位量および入力映像信号のフレームレートに基づいて、各フレーム間の動きの度合いを示す動き量を割り出し、当該動き量を用いて評価値を算出することが好ましい。また、上記評価値算出手段は、動き特徴値および入力映像信号のフレームレートに基づいて、各フレーム間の動きの度合いを示す動き量を割り出し、当該動き量を用いて評価値を算出することが好ましい。このようにすれば、各フレーム間の動きの度合いを示す動き量を考慮した評価値を算出させることができる。
【００３７】
本発明の映像評価装置において、上記動き変位量は、動きベクトルであり、上記動き特徴値は、動きベクトルの大きさに基づいて算出される値であることが好ましい。このようにすれば、各フレーム間の動きベクトルの大きさに基づいて評価値を算出させることができる。
【００３８】
本発明のフレームレート決定装置は、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、を備えることを特徴とする。
【００３９】
この発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。したがって、映像の動きの滑らかさの評価に応じて決定された第２のフレームレートにより入力映像信号を読み込むことができる。すなわち、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【００４０】
本発明のフレームレート決定装置において、上記フレームレート決定手段は、評価値を、所定の規定値と比較して、評価値が規定値よりも大きい場合には、第２のフレームレートを、第１のフレームレートよりも小さくし、評価値が規定値よりも小さい場合には、第２のフレームレートを、第１のフレームレートよりも大きくすることが好ましい。このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準に収まるように考慮された第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。
【００４１】
本発明の映像処理装置は、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている入力映像信号を読み込んで映像処理を行う映像処理手段と、を備えることを特徴とする。
【００４２】
この発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。また、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。また、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【発明の効果】
【００４３】
本発明に係る映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムによれば、映像の動きの滑らかさに応じてフレームレートを決定させることができるため、処理量、データ量および電力消費量を節減しつつ、滑らかな動きの映像を提供することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】第１実施形態の変形例における映像評価装置の機能構成を例示す図である。
【図２】変位量を検出する方法を説明するための図である。（ａ）はフレーム画像Ｐ０を示し、（ｂ）はフレーム画像Ｐ１を示す図である。
【図３】動きの滑らかさを評価する方法を説明するための図である。（ａ）はフレーム間動き量を割り出す方法を説明するための図であり、（ｂ）はフレーム間動き量に基づいて評価値を算出する方法を説明するための図である。
【図４】第１実施形態の変形例における映像評価処理の流れを示すフローチャートである。
【図５】各動きベクトルの大きさと方向に基づいて求められる範囲を説明するための図である。
【図６】第１実施形態の変形例における映像評価プログラムのモジュール構成を例示する図である。
【図７】第２実施形態におけるフレームレート決定装置の機能構成を例示す図である。
【図８】（ａ）は第１のフレームレートを例示し、（ｂ）は入力映像信号のサンプリングレートを例示する図である。
【図９】第２実施形態におけるフレームレート決定処理の流れを示すフローチャートである。
【図１０】第２実施形態におけるフレームレート決定プログラムのモジュール構成を例示する図である。
【図１１】第３実施形態における映像処理装置の機能構成を例示す図である。
【図１２】第３実施形態における映像処理の流れを示すフローチャートである。
【図１３】第３実施形態における映像処理プログラムのモジュール構成を例示する図である。
【図１４】第１実施形態における映像評価装置の機能構成を例示す図である。
【図１５】変化量を検出する方法を説明するための図である。
【図１６】動きの滑らかさを評価する方法を説明するための図である。（ａ）は時間変化量を割り出す方法を説明するための図であり、（ｂ）は時間変化量に基づいて評価値を算出する方法を説明するための図である。
【図１７】第１実施形態における映像評価処理の流れを示すフローチャートである。
【図１８】第１実施形態における映像評価プログラムのモジュール構成を例示する図である。
【発明を実施するための形態】
【００４５】
以下、本発明に係る映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムの各実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００４６】
[第１実施形態]
【００４７】
まず、本発明の第１実施形態について説明する。図１４は、第１実施形態における映像評価装置１４０の機能構成を例示する図である。
【００４８】
ここで、映像評価装置１４０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１４０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１４０としては、情報処理可能な装置が広く適用され得る。
【００４９】
図１４を参照して映像評価装置１４０の機能構成について説明する。図１４に示すように、映像評価装置１４０は、変化量検出部１４０１と、評価値算出部１４０２とを有する。
【００５０】
変化量検出部１４０１は、外部から動画像信号として入力された入力映像信号１４０３を、フレーム画像に分解する。変化量検出部１４０１は、分解した複数のフレーム画像に基づいて、入力映像信号の各フレーム画像間における変化の度合いを示す変化量を検出する。変化量検出部１４０１は、検出した変化量１４０５を評価値算出部１４０２に出力する。
【００５１】
ここで、図１５を参照して、変化量１４０５を検出する方法について具体的に説明する。変化量検出部１４０１は、入力映像信号１４０３から分解された連続する２枚のフレーム画像を順次読み込む。ここで、説明の便宜のため、連続する２枚のフレーム画像を、読み込む順に、フレーム画像Ｐ０、フレーム画像Ｐ１として説明する。変化量検出部１４０１は、読み込んだフレーム画像Ｐ１とフレーム画像Ｐ０においてそれぞれ同一の座標に位置する画素間の輝度値の差を求め、この差の２乗値を、フレーム画像全体に含まれる画素ごとに算出していく。変化量検出部１４０１は、画素ごとに算出した上記２乗値の平均値を算出することによって、変化量１４０５を検出する。したがって、算出した平均値が、変化量１４０５として評価値算出部１４０２に出力される。
【００５２】
評価値算出部１４０２は、変化量検出部１４０１から受信した変化量１４０５と、外部から受信したフレームレート情報１４０４に基づくフレーム画像間の時間間隔とに基づいて、変化量１４０５および各フレーム画像間の時間間隔に応じた時間変化量を割り出す。評価値算出部１４０２は、割り出した時間変化量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。評価値算出部１４０２は、算出した評価値１４０６を外部に出力する。ここで、外部としては、例えば、評価値１４０６に基づいて、入力映像信号１４０３の映像処理をするための最適なフレームレートを決定する装置等が該当する。このような外部装置に評価値１４０６を出力することによって、入力映像信号１４０３による映像の動きの滑らかさに応じたフレームレートを決定させることが可能となる。
【００５３】
ここで、図１６を参照して、動きの滑らかさを評価する方法について具体的に説明する。まず、図１６（ａ）を参照して、例えば、時刻Ｔ１における時間変化量Ｓ１を割り出す方法について説明する。評価値算出部１４０２は、フレームレート情報１４０４に基づくフレーム画像Ｐ０の時刻Ｔ０とフレーム画像Ｐ１の時刻Ｔ１との時間間隔Δｔ１、および変化量Δｃ１に基づいて、時間変化量Ｓ１を割り出す。なお、時刻Ｔ０と時刻Ｔ１の時間間隔Δｔ１は、例えば、時刻Ｔ１におけるフレームレート情報１４０４のフレームレートが、Ｆ１fpsである場合には、１／Ｆ１秒となる。
【００５４】
時間変化量を割り出す方法について、より具体的に説明する。図１６(ａ)に示すように、時刻Ｔ１における時間変化量Ｓ１は、例えば、時刻Ｔ０と時刻Ｔ１の時間間隔をΔｔ１とし、時刻Ｔ１における変化量をΔｃ１とした場合には、Δｔ１・Δｃ１（図１６(ａ)に示す斜線部分Ｓ１の面積）となる。同様にして、時刻Ｔ２における時間変化量Ｓ２は、例えば、時刻Ｔ１と時刻Ｔ２の時間間隔をΔｔ２とし、時刻Ｔ２における変化量をΔｃ２とした場合には、Δｔ２・Δｃ２（図１６(ａ)に示す斜線部分Ｓ２の面積）となる。
【００５５】
次に、図１６（ｂ）を参照して、時間変化量に基づいて評価値を算出する方法ついて説明する。評価値算出部１４０２は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎ（ｎ：正の整数。以下同様）における動きの滑らかさの評価値を算出する。具体的に説明すると、評価値算出部１４０２は、各フレーム画像の時刻Ｔｎにおける時間変化量Ｓｎを用いて、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。より具体的に説明すると、評価値算出部１４０２は、例えば、時間変化量Ｓｎを用いた次式、α／Ｓｎ（αは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。また、評価値算出部１４０２は、例えば、時間変化量Ｓｎを用いた次式、ａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出してもよい。評価値算出部１４０２は、算出した各評価値に基づいて、入力映像のすべての時刻における動きの滑らかさの評価値の平均値を算出する。この平均値が、入力映像の最終的な評価値１４０６として外部に出力される。
【００５６】
次に、図１７を参照して第１実施形態の映像評価装置１４０における映像評価処理の流れについて説明する。
【００５７】
まず、変化量検出部１４０１は、入力映像信号１４０３から分解された連続する２枚のフレーム画像(フレーム画像Ｐ０，フレーム画像Ｐ１)を順次読み込む（ステップＳ１７０１）。
【００５８】
次に、変化量検出部１４０１は、読み込んだフレーム画像Ｐ１とフレーム画像Ｐ０においてそれぞれ同一の座標に位置する画素間の輝度値の差を求め、この差の２乗値を、フレーム画像全体に含まれる画素ごとに算出していく。（ステップＳ１７０２）。
【００５９】
次に、変化量検出部１４０１は、画素ごとに算出した上記２乗値の平均値を算出する（ステップＳ１７０３）。この算出された平均値が、変化量１４０５として評価値算出部１４０２に出力される。
【００６０】
次に、評価値算出部１４０２は、変化量検出部１４０１から受信した変化量１４０５と、外部から受信したフレームレート情報１４０４に基づくフレーム画像間の時間間隔とに基づいて、変化量１４０５および各フレーム画像間の時間間隔に応じた時間変化量を算出する（ステップ１７０４）。
【００６１】
次に、評価値算出部１４０２は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値を、時間変化量を用いて算出する（ステップＳ１７０５）。
【００６２】
次に、評価値算出部１４０２は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する（ステップＳ１７０６）。
【００６３】
次に、評価値算出部１４０２は、算出した平均値を、入力映像信号１４０３全体に対する動きの滑らかさの評価値１４０６として外部に出力する（ステップ１７０７）。
【００６４】
以上のように、第１実施形態における映像評価装置１４０によれば、入力映像信号に含まれる複数のフレーム画像の各フレーム間における輝度値の差の２乗値に基づいて変化量が算出される。また、この変化量および入力映像信号のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力される入力映像信号の輝度値の変化量に基づいて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを外部で決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００６５】
なお、上述した変化量検出部１４０１による変化量検出の単位は、上述したフレーム画像全体には限られない。例えば、ブロック単位、１画素単位、オブジェクト領域単位等であってもよい。
【００６６】
また、変化量検出部１４０１による変化量検出の方法は、上述したフレーム画像に含まれる画素ごとに算出した上記２乗値の平均値を用いることには限られない。例えば、画素ごとに算出した上記２乗値の最大値、中間値または最小値を用いてもよいし、上記２乗値の最大値、中間値または最小値の平方根の値を用いてもよいし、上記２乗値のフレーム画像全体における分散値を用いてもよい。
【００６７】
また、変化量検出部１４０１による変化量検出の方法は、上述した各フレームの同一座標に位置する画素間の輝度値の差の２乗値を用いることには限られない。例えば、各フレームの同一座標に位置する画素間の輝度値の差の値、またはこの差の絶対値を用いてもよい。
【００６８】
また、変化量検出部１４０１による変化量検出の方法には、上述した各値の他にも、例えば、入力映像信号のフレーム画像間における動きベクトル等、フレーム間における入力映像信号の変化を表すあらゆる値を用いることができる。
【００６９】
また、評価値算出部１４０２による時間変化量の割り出し方法は、上述した式（例えば、Δｔ１・Δｃ１）を用いた方法には限られず、変化量とフレームレート情報に基づくフレーム画像間の時間間隔とに基づいて割り出すことができればよい。
【００７０】
また、評価値算出部１４０２によって割り出される時間変化量は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位、オブジェクト単位に１つであってもよい。
【００７１】
また、評価値算出部１４０２によって算出される入力映像の最終的な評価値１４０６は、上述した入力映像の全ての時刻における動きの滑らかさの評価値の平均値には限られない。例えば、入力映像の全ての時刻における動きの滑らかさの評価値の最大値、中間値または最小値であってもよい。
【００７２】
また、評価値算出部１４０２によって算出される入力映像の最終的な評価値１４０６は、必ずしも入力映像信号に含まれる全てのフレーム画像に対して１つである必要はない。例えば、何枚かのフレーム画像、１枚のフレーム画像、ブロック、ピクセル、オブジェクトごとに１つであってもよい。
【００７３】
最後に、図１８を参照して、コンピュータを上述した映像評価装置１４０として機能させるための映像評価プログラム１８０について説明する。
【００７４】
図１８に示すように、映像評価プログラム１４０は、処理を統括するメインモジュールプログラム１８０１と、変化量検出モジュール１８０２と、評価値算出モジュール１８０３とを有する。変化量検出モジュール１８０２および評価値算出モジュール１８０３がコンピュータに行わせる機能は、それぞれ上述した変化量検出部１４０１および評価値算出部１４０２が有する機能と同様である。
【００７５】
なお、映像評価プログラム１８０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像評価プログラム１８０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【００７６】
[第１実施形態の変形例]
【００７７】
次に、上述した第１実施形態の変形例について説明する。図１は、第１実施形態の変形例における映像評価装置１０の機能構成を例示する図である。
【００７８】
ここで、映像評価装置１０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１０としては、情報処理可能な装置が広く適用され得る。
【００７９】
図１を参照して映像評価装置１０の機能構成について説明する。図１に示すように、映像評価装置１０は、変位量検出部１０１と、特徴値算出部１０２と、評価値算出部１０３とを有する。
【００８０】
変位量検出部１０１は、外部から動画像信号として入力された入力映像信号１０４を、フレーム画像に分解する。変位量検出部１０１は、分解した複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す変位量（動き変位量）を検出する。変位量検出部１０１は、検出した変位量１０６を特徴値算出部１０２に出力する。
【００８１】
なお、変位量は、入力映像信号の動きの変位の度合いを示すものには限られず、入力映像信号の各フレーム画像間における変化の度合いを示すものであればよい。
【００８２】
ここで、図２を参照して、変位量１０６を検出する方法について具体的に説明する。変位量検出部１０１は、入力映像信号１０４から分解された連続する２枚のフレーム画像を順次読み込む。ここで、説明の便宜のため、連続する２枚のフレーム画像を、読み込む順に、フレーム画像Ｐ０（図２（ａ）参照）、フレーム画像Ｐ１（図２（ｂ）参照）として説明する。変位量検出部１０１は、読み込んだフレーム画像Ｐ１を、所定の大きさのブロックに分割する。変位量検出部１０１は、フレーム画像Ｐ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターンをフレーム画像Ｐ０から探索する。この探索は、例えば、図２に示されるブロックマッチング(相関法)による探索処理を用いることによって実現可能である。変位量検出部１０１は、探索処理によって最も類似すると判断された両画像の信号パターンに基づいて、両画像の信号パターン間における空間的な変位量である動きベクトルＶ（ＭＶｘ，ＭＶｙ）を検出する。この動きベクトルＶが、変位量１０６として特徴値算出部１０２に出力される。
【００８３】
特徴値算出部１０２は、変位量検出部１０１から受信した変位量１０６に基づいて、入力映像信号の動きの特徴を示す動き特徴値１０７を算出する。特徴値算出部１０２は、算出した動き特徴値１０７を評価値算出部１０３に出力する。
【００８４】
ここで、動き特徴値を算出する方法について具体的に説明する。特徴値算出部１０２は、変位量１０６として受信されたフレーム画像Ｐ１の各ブロックの動きベクトルを用いて、フレーム画像Ｐ１の各ブロックの動きベクトルの大きさを求める。この動きベクトルの大きさは、例えば、フレーム画像Ｐ１上の任意のブロックの動きベクトルのｘ成分、ｙ成分をそれぞれＭＶｘ、ＭＶｙとした場合には、（ＭＶｘ２＋ＭＶｙ２）1/２により求められる。特徴値算出部１０２は、各動きベクトルの大きさに基づいて、フレーム画像Ｐ１の特徴となる値を算出する。この算出された値が、動き特徴値１０７として評価値算出部１０３に出力される。特徴値算出部１０２によって算出される値（動き特徴値１０７）としては、例えば、フレーム画像に含まれるブロックごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値が該当する。
【００８５】
評価値算出部１０３は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における動きの度合いを示すフレーム間動き量を割り出す。評価値算出部１０３は、割り出したフレーム間動き量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。評価値算出部１０３は、算出した評価値１０８を外部に出力する。ここで、外部としては、例えば、評価値１０８に基づいて、入力映像信号１０４の映像処理をするための最適なフレームレートを決定する装置等が該当する。このような外部装置に評価値１０８を出力することによって、入力映像信号１０４による映像の動きの滑らかさに応じたフレームレートを決定さることが可能となる。
【００８６】
なお、評価値を算出する際に、必ずしもフレーム間動き量に基づいて算出する必要はない。例えば、変位量１０６および各フレーム画像間の時間間隔に応じた時間変化量に基づいて、評価値を算出してもよい。この時間変化量は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、割り出すことができる。
【００８７】
ここで、図３を参照して、動きの滑らかさを評価する方法について具体的に説明する。まず、図３（ａ）を参照して、例えば、時刻Ｔ１におけるフレーム間動き量Ｓ１を割り出す方法について説明する。評価値算出部１０３は、フレームレート情報１０５に基づくフレーム画像Ｐ０の時刻Ｔ０とフレーム画像Ｐ１の時刻Ｔ１との時間間隔Δｔ１、およびフレーム画像Ｐ１の動き特徴値Δｄ１に基づいて、フレーム間動き量Ｓ１を割り出す。なお、時刻Ｔ０と時刻Ｔ１の時間間隔Δｔ１は、例えば、時刻Ｔ１におけるフレームレート情報１０５のフレームレートが、Ｆ１fpsである場合には、１／Ｆ１秒となる。
【００８８】
フレーム間動き量を割り出す方法について、より具体的に説明する。図３(ａ)に示すように、時刻Ｔ１におけるフレーム間動き量Ｓ１は、例えば、時刻Ｔ０と時刻Ｔ１の時間間隔をΔｔ１とし、時刻Ｔ１における動き特徴値をΔｄ１とした場合には、Δｔ１・Δｄ１／２（図３(ａ)に示す斜線部分Ｓ１の面積）となる。同様にして、時刻Ｔ２におけるフレーム間動き量Ｓ２は、例えば、時刻Ｔ１と時刻Ｔ２の時間間隔をΔｔ２とし、時刻Ｔ２における動き特徴値をΔｄ２とした場合には、Δｔ２・Δｄ２／２（図３(ａ)に示す斜線部分Ｓ２の面積）となる。
【００８９】
次に、図３（ｂ）を参照して、フレーム間動き量に基づいて評価値を算出する方法ついて説明する。評価値算出部１０３は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎ（ｎ：正の整数。以下同様）における動きの滑らかさの評価値を算出する。具体的に説明すると、評価値算出部１０３は、各フレーム画像の時刻Ｔｎにおけるフレーム間動き量Ｓｎを用いて、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。より具体的に説明すると、評価値算出部１０３は、例えば、フレーム間動き量Ｓｎを用いた次式、α／Ｓｎ（αは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。また、評価値算出部１０３は、例えば、フレーム間動き量Ｓｎを用いた次式、ａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出してもよい。評価値算出部１０３は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する。この平均値が、入力映像の最終的な評価値１０８として外部に出力される。
【００９０】
次に、図４を参照して第１実施形態の変形例の映像評価装置１０における映像評価処理の流れについて説明する。
【００９１】
まず、変位量検出部１０１は、入力映像信号１０４から分解された連続する２枚のフレーム画像(フレーム画像Ｐ０，フレーム画像Ｐ１)を順次読み込む（ステップＳ４０１）。
【００９２】
次に、変位量検出部１０１は、読み込んだフレーム画像Ｐ１を、所定の大きさのブロックに分割する（ステップＳ４０２）。
【００９３】
次に、変位量検出部１０１は、フレーム画像Ｐ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターンをフレーム画像Ｐ０から探索する（ステップＳ４０３）。
【００９４】
次に、変位量検出部１０１は、探索によって最も類似すると判断された両画像の信号パターンに基づいて、当該画像信号パターン間における空間的な変位量である動きベクトル（ＭＶｘ，ＭＶｙ）を検出する（ステップＳ４０４）。この検出された動きベクトルが、変位量１０６として特徴値算出部１０２に出力される。
【００９５】
次に、特徴値算出部１０２は、変位量１０６に含まれるフレーム画像Ｐ１の各ブロックの動きベクトルを用いて、フレーム画像Ｐ１の各ブロックの動きベクトルの大きさを求める（ステップＳ４０５）。
【００９６】
次に、特徴値算出部１０２は、各動きベクトルの大きさに基づいて、フレーム画像Ｐ１の特徴となる値を算出する（ステップＳ４０６）。この算出された値が、動き特徴値１０７として評価値算出部１０３に出力される。
【００９７】
次に、評価値算出部１０３は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における動き量であるフレーム間動き量を算出する（ステップ４０７）。
【００９８】
次に、評価値算出部１０３は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値を、フレーム間動き量を用いて算出する（ステップＳ４０８）。
【００９９】
次に、評価値算出部１０３は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する（ステップＳ４０９）。
【０１００】
次に、評価値算出部１０３は、算出した平均値を、入力映像信号１０４全体に対する動きの滑らかさの評価値１０８として外部に出力する（ステップ４１０）。
【０１０１】
以上のように、第１実施形態の変形例における映像評価装置１０によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。また、この動き特徴値および入力映像信号のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力される入力映像信号の動きベクトルの大きさに応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを外部で決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【０１０２】
なお、上述した変位量検出部１０１による画像信号パターンの探索単位は、上述したブロック単位には限られない。例えば、フレーム単位、１画素単位、オブジェクト領域単位等であってもよい。また、変位量検出部１０１による探索処理の方法は、上述したブロックマッチングには限られない。例えば、濃度勾配法等であってもよい。
【０１０３】
また、変位量検出部１０１は、上述した入力映像信号１０４として、映像の動きベクトルを含んだ入力映像信号１０４を読み込むこととしてもよい。この場合に、変位量検出部１０１は、外部から受信した入力映像信号１０４から動きベクトルを検出し、この検出した動きベクトルを変位量１０６として特徴値算出部１０２に出力する。
【０１０４】
また、特徴値算出部１０２によって算出される動き特徴値１０７は、上述したブロックごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値には限られない。例えば、フレーム画像ごとに求められる１つの動きベクトルの大きさであってもよいし、フレーム画像内の１画素ごとまたはオブジェクト領域ごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値であってもよい。
【０１０５】
また、特徴値算出部１０２によって算出される動き特徴値１０７は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位またはオブジェクト単位に１つであってもよい。また、動き特徴値１０７は、ブロック単位、ピクセル単位またはオブジェクト単位に求められる動きベクトルの分布に対して、図５に示される原点を中心にした複数の円と原点から放射状に伸びる複数の線とで区切られる範囲Ｒ（例えば、Ｒ１，Ｒ２，Ｒ３）単位に１つであってもよい。
【０１０６】
ここで、図５を参照して、動き特徴値１０７を、上記範囲Ｒ単位に算出する方法について、１つのフレーム画像を９つのブロックに分割する場合を例にして具体的に説明する。まず、分割された９つのブロック単位に１つの動きベクトルを求める。この求められた各動きベクトルを、動きベクトルＶ１〜Ｖ９とする。次に、各動きベクトルＶ１〜Ｖ９を図５に示すグラフ上に投影する。例えば、動きベクトルＶ１〜Ｖ４が図５に示す範囲Ｒ１に含まれ、動きベクトルＶ５，Ｖ６が図５に示す範囲Ｒ２に含まれ、動きベクトルＶ７〜Ｖ９が図５に示す範囲Ｒ３に含まれるとする。この場合には、例えば、動きベクトルＶ１〜Ｖ４の平均値として算出される動きベクトルＶＲ１が、範囲Ｒ１の動き特徴値１０７として求められ、動きベクトルＶ５，Ｖ６の平均値として算出される動きベクトルＶＲ２が、範囲Ｒ２の動き特徴値１０７として求められ、動きベクトルＶ７〜Ｖ９の平均値として算出される動きベクトルＶＲ３が、範囲Ｒ３の動き特徴値１０７として求められることとなる。なお、動きベクトルを求める方法は、例示したブロック単位に限られず、例えば、ピクセル単位またはオブジェクト単位であってもよい。
【０１０７】
また、評価値算出部１０３によるフレーム間動き量の割り出し方法は、上述した式（例えば、Δｔ１・Δｄ１／２）を用いた方法には限られない。例えば、変位量１０６である動きベクトル（ＭＶｘ，ＭＶｙ）とフレームレート情報１０５に基づくフレーム画像間の時間間隔とを用いて表される次式、β・ＭＶｘ・Δｔ１／２＋γ・ＭＶｙ・Δｔ１／２（β、γは定数）により割り出してもよい。
【０１０８】
また、評価値算出部１０３によって割り出されるフレーム間動き量は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位、オブジェクト単位または上述した範囲Ｒ（図５参照）単位に１つであってもよい。
【０１０９】
また、評価値算出部１０３によって算出される各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値は、上述したα／Ｓｎ（αは定数）またはａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により算出することには限られない。例えば、変位量１０６である動きベクトル（ＭＶｘ，ＭＶｙ）とフレームレート情報１０５に基づくフレーム画像間の時間間隔とを用いた関数により算出してもよい。
【０１１０】
また、評価値算出部１０３によって算出される入力映像の最終的な評価値１０８は、上述した入力映像の全ての時刻における動きの滑らかさの評価値の平均値には限られない。例えば、入力映像の全ての時刻における動きの滑らかさの評価値の最大値、中間値または最小値であってもよい。
【０１１１】
また、評価値算出部１０３によって算出される入力映像の最終的な評価値１０８は、必ずしも入力映像信号に含まれる全てのフレーム画像に対して１つである必要はない。例えば、何枚かのフレーム画像、１枚のフレーム画像、ブロック、ピクセル、オブジェクトまたは上述した範囲Ｒ（図５参照）ごとに１つであってもよい。
【０１１２】
最後に、図６を参照して、コンピュータを上述した映像評価装置１０として機能させるための映像評価プログラム５０について説明する。
【０１１３】
図６に示すように、映像評価プログラム５０は、処理を統括するメインモジュールプログラム５０１と、変位量検出モジュール５０２と、特徴値算出モジュール５０３と、評価値算出モジュール５０４とを有する。変位量検出モジュール５０２、特徴値算出モジュール５０３および評価値算出モジュール５０４がコンピュータに行わせる機能は、それぞれ上述した変位量検出部１０１、特徴値算出部１０２および評価値算出部１０３が有する機能と同様である。
【０１１４】
なお、映像評価プログラム５０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像評価プログラム５０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１１５】
また、第１実施形態の変形例における映像評価装置１０は、変位量検出部１０１および特徴値算出部１０２をまとめて、あらたに変化量検出部とすることによって、第１実施形態における映像評価装置１４０が有する機能構成と同一の機能構成にすることができる。
【０１１６】
[第２実施形態]
【０１１７】
次に、本発明の第２実施形態について説明する。図７は、第２実施形態におけるフレームレート決定装置７０の機能構成を例示する図である。
【０１１８】
ここで、フレームレート決定装置７０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、フレームレート決定装置７０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、フレームレート決定装置７０としては、情報処理可能な装置が広く適用され得る。
【０１１９】
図７を参照してフレームレート決定装置７０の機能構成について説明する。図７に示すように、フレームレート決定装置７０は、フレームレート発生部７０１と、映像評価部７０２と、フレームレート決定部７０３とを有する。
【０１２０】
フレームレート発生部７０１は、第１のフレームレート７０５を発生させる。フレームレート発生部７０１は、発生させた第１のフレームレート７０５を、映像評価部７０２およびフレームレート決定部７０３に出力する。
【０１２１】
映像評価部７０２は、上述した第１実施形態に記載された映像評価装置１４０が有する機能、または第１実施形態の変形例に記載された映像評価装置１０が有する機能と同様の機能を有する。すなわち、映像評価部７０２は、上述した変化量検出部１４０１および評価値算出部１４０２が有する機能、または変位量検出部１０１、特徴値算出部１０２および評価値算出部１０３が有する機能と同様の機能を有する。
【０１２２】
映像評価部７０２は、外部から動画像信号として入力された入力映像信号７０４から、第１のフレームレート７０５に応じた時間間隔でフレーム画像を読み込み、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する。映像評価部７０２は、算出した動きの滑らかさの評価値７０６を、フレームレート決定部７０３に出力する。
【０１２３】
ここで、第１のフレームレート７０５は、入力映像信号７０４のサンプリングレートと異なっていても特に問題はない。例えば、図８（ａ）に示される第１のフレームレート７０５は、１／１５秒であるのに対し、図８（ｂ）に示される入力映像信号７０４のサンプリングレートは、１／３０秒である。
【０１２４】
フレームレート決定部７０３は、映像評価部７０２から受信した評価値７０６と、フレームレート発生部７０１から受信した第１のフレームレート７０５とに基づいて、第２のフレームレート７０７を決定する。フレームレート決定部７０３は、決定した第２のフレームレート７０７を、入力映像信号７０４の処理を行うためのフレームレートとして、フレームレート決定装置７０に出力する。
【０１２５】
具体的に説明すると、フレームレート決定部７０３は、例えば、評価値７０６が所定の規定値よりも大きい場合には、第２のフレームレート７０７を、第１のフレームレート７０５よりも小さくする。また、フレームレート決定部７０３は、例えば、評価値７０６が所定の規定値よりも小さい場合には、第２のフレームレート７０７を、第１のフレームレート７０５よりも大きくする。また、フレームレート決定装置７０は、例えば、評価値７０６が所定の規定値と一致する場合には、第２のフレームレート７０７を、第１のフレームレート７０５と同一のフレームレートにする。
【０１２６】
このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準の範囲内に収まるような第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。なお、上述した所定の規定値は、予め設定されたものであってもよいし、外部から与えられたものであってもよい。
【０１２７】
次に、図９を参照して第２実施形態のフレームレート決定装置７０におけるフレームレート決定処理の流れについて説明する。
【０１２８】
まず、フレームレート発生部７０１は、第１のフレームレート７０５を発生させる（ステップＳ９０１）。
【０１２９】
次に、映像評価部７０２は、入力映像信号７０４から第１のフレームレート７０５に応じた時間間隔でフレーム画像を読み込む（ステップ９０２）。
【０１３０】
次に、映像評価部７０２は、各フレーム画像に基づいて、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する（ステップ９０３）。すなわち、各フレーム画像に基づいて、上述した第１実施形態において説明したステップＳ１７０１〜Ｓ１７０７までの映像評価処理（図１７参照）、または上述した第１実施形態の変形例において説明したステップＳ４０１〜Ｓ４１０までの映像評価処理（図４参照）を行うことによって、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する。
【０１３１】
次に、フレームレート決定部７０３は、映像評価部７０２から受信した評価値７０６と、フレームレート発生部７０１から受信した第１のフレームレート７０５とに基づいて、第２のフレームレート７０７を決定する（ステップ９０４）。
【０１３２】
次に、フレームレート決定部７０３は、第２のフレームレート７０７を、入力映像信号７０４の処理を行うためのフレームレートとして外部に出力する（ステップ９０５）。
【０１３３】
以上のように、第２実施形態におけるフレームレート決定装置７０によれば、入力映像信号の変化量および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。
【０１３４】
また、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。そして、この動き特徴値および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの特徴量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。
【０１３５】
したがって、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させることができるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【０１３６】
最後に、図１０を参照して、コンピュータを上述したフレームレート決定装置７０として機能させるためのフレームレート決定プログラム１００について説明する。
【０１３７】
図１０に示すように、フレームレート決定プログラム１００は、処理を統括するメインモジュールプログラム１００１と、フレームレート発生モジュール１００２と、映像評価モジュール１００３と、フレームレート決定モジュール１００４とを有する。フレームレート発生モジュール１００２、映像評価モジュール１００３およびフレームレート決定モジュール１００４がコンピュータに行わせる機能は、それぞれ上述したフレームレート発生部７０１、映像評価部７０２およびフレームレート決定部７０３が有する機能と同様である。
【０１３８】
なお、フレームレート決定プログラム１００は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、フレームレート決定プログラム１００は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１３９】
[第３実施形態]
【０１４０】
次に、本発明の第３実施形態について説明する。図１１は、第３実施形態における映像処理装置１１０の機能構成を例示する図である。
【０１４１】
ここで、映像処理装置１１０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像処理装置１１０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像処理装置１１０としては、情報処理可能な装置が広く適用され得る。
【０１４２】
図１１を参照して映像処理装置１１０の機能構成について説明する。図１１に示すように、映像処理装置１１０は、バッファ部１１０１と、フレームレート決定部１１０２と、映像処理部１１０３とを有する。
【０１４３】
バッファ部１１０１は、外部から動画像信号として入力された入力映像信号１１０４を、メモリ上のバッファに一時的に保存する。バッファ部１１０１は、入力映像信号１１０４を、フレームレート決定部１１０２に出力する。なお、バッファに一時的に保存された入力映像信号１１０４は、後述する映像処理部１１０３によって、処理映像信号１１０６として読み込まれる。
【０１４４】
フレームレート決定部１１０２は、上述した第２実施形態に記載されたフレームレート決定装置７０が有する機能と同様の機能を有する。すなわち、フレームレート決定部１１０２は、上述したフレームレート発生部７０１、映像評価部７０２およびフレームレート決定部７０３が有する機能と同様の機能を有する。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、上述した第２のフレームレート７０７に該当する映像処理フレームレート１１０５を算出する。フレームレート決定部１１０２は、算出した映像処理フレームレート１１０５を、映像処理部１１０３に出力する。
【０１４５】
映像処理部１１０３は、映像処理フレームレート１１０５に応じた時間間隔でバッファ部１１０１から処理映像信号１１０６を読み込み、この処理映像信号１１０６に基づいて映像処理を行う。具体的に説明すると、映像処理部１１０３は、バッファ部１１０１に保存された処理映像信号１１０６に含まれるフレーム画像のうち、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５に対応する時刻のフレーム画像のみを読み込んで、映像処理を行う。映像処理部１１０３は、映像処理により生成された映像を外部に出力する。なお、映像処理部１１０３によって行われる映像処理は、例えば、映像の取得、蓄積、伝送、符号化、復号化が該当する。
【０１４６】
次に、図１２を参照して第３実施形態の映像処理装置１１０における映像処理の流れについて説明する。
【０１４７】
まず、バッファ部１１０１は、外部から動画像信号として入力された入力映像信号１１０４を、フレームレート決定部１１０２に出力するとともに、当該入力映像信号１１０４を、メモリ上のバッファに一時的に保存する（ステップＳ１２０１）。
【０１４８】
次に、フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像処理フレームレート１１０５を算出する（ステップ１２０２）。すなわち、入力映像信号１１０４を用いて、上述した第２実施形態において説明したステップＳ９０１〜Ｓ９０５までのフレームレート決定処理（図９参照）を行うことによって、第２のフレームレートである映像処理フレームレート１１０５を算出する。
【０１４９】
次に、映像処理部１１０３は、映像処理フレームレート１１０５に応じた時間間隔でバッファ部１１０１から処理映像信号１１０６を読み込み、この処理映像信号１１０６に基づいて映像処理を行う（ステップ１２０３）
【０１５０】
次に、映像処理部１１０３は、映像処理により生成された映像を外部に出力する（ステップ１２０４）。
【０１５１】
以上のように、第３実施形態における映像処理装置１１０によれば、入力映像信号の変化量および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。そして、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。そして、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。
【０１５２】
また、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。そして、この動き特徴値および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。さらに、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの特徴値に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。そして、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。
【０１５３】
したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【０１５４】
なお、上述した映像処理装置１１０は、例えば、映像取得装置（例えばカメラ）、映像伝送装置、映像符号化装置、または映像復号装置に適用可能である。
【０１５５】
まず、映像処理装置１１０を、映像取得装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像取得装置が映像を取得する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により取得する。
【０１５６】
また、映像処理装置１１０を、映像記憶装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像記憶装置が映像を蓄積する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により蓄積する。
【０１５７】
また、映像処理装置１１０を、映像伝送装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像伝送装置が映像を伝送する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により伝送する。
【０１５８】
また、映像処理装置１１０を、映像符号化装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像符号化装置が映像を符号化する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により符号化する。
【０１５９】
また、映像処理装置１１０を、映像復号装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像復号装置が映像を復号化する際に最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により復号する。
【０１６０】
最後に、図１３を参照して、コンピュータを上述した映像処理装置１１０として機能させるための映像処理プログラム１３０について説明する。
【０１６１】
図１３に示すように、映像処理プログラム１３０は、処理を統括するメインモジュールプログラム１３０１と、バッファモジュール１３０２と、フレームレート決定モジュール１３０３と、映像処理モジュール１３０４とを有する。バッファモジュール１３０２、フレームレート決定モジュール１３０３および映像処理モジュール１３０４がコンピュータに行わせる機能は、それぞれ上述したバッファ部１１０１、フレームレート決定部１１０２および映像処理部１１０３が有する機能と同様である。
【０１６２】
なお、映像処理プログラム１３０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像処理プログラム１３０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１６３】
（本発明の多面性について）
なお、本発明の技術的思想は、以下のように多面的に表される。
（１） 入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、
を備えることを特徴とする映像評価装置。
（２） 前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項１記載の映像評価装置。
（３） 前記変化量は、前記各フレーム画像間における輝度値の差に基づく値であることを特徴とする請求項１または２に記載の映像評価装置。
（４） 前記変化量は、前記各フレーム画像間における動きベクトルであることを特徴とする請求項１または２に記載の映像評価装置。
（５） 前記変化量に基づいて、前記入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記評価値を算出することを特徴とする請求項１記載の映像評価装置。
（６） 前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項５記載の映像評価装置。
（７） 前記変化量は、前記各フレーム画像間における動きベクトルであり、
前記動き特徴値は、前記動きベクトルの大きさに基づいて算出される値であることを特徴とする請求項５または６に記載の映像評価装置。
（８） 第１のフレームレートを発生するフレームレート発生手段と、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、
を備えることを特徴とするフレームレート決定装置。
（９） 前記フレームレート決定手段は、前記評価値を、所定の規定値と比較して、前記評価値が前記規定値よりも大きい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも小さくし、前記評価値が前記規定値よりも小さい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも大きくすることを特徴とする請求項８記載のフレームレート決定装置。
（１０） 入力映像信号を記憶するバッファ手段と、
第１のフレームレートを発生するフレームレート発生手段と、
前記入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、
前記第２のフレームレートを用いて、前記バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段と、
を備えることを特徴とする映像処理装置。
（１１） 入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップと、
を備えることを特徴とする映像評価方法。
（１２） コンピュータを、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として
機能させるための映像評価プログラム。
【符号の説明】
【０１６４】
１０・・・映像評価装置、１０１・・・変位量検出部、１０２・・・特徴値算出部、１０３・・・評価値算出部、１０４・・・入力映像信号、１０５・・・フレームレート情報、１０６・・・変位量、１０７・・・動き特徴値、１０８・・・評価値、５０・・・映像評価プログラム、５０２・・・変位量検出モジュール、５０３・・・特徴値算出モジュール、５０４・・・評価値算出モジュール、７０・・・フレームレート決定装置、７０１・・・フレームレート発生部、７０２・・・映像評価部、７０３・・・フレームレート決定部、７０４・・・入力映像信号、７０５・・・第１のフレームレート、７０６・・・評価値、７０７・・・第２のフレームレート、１００・・・フレームレート決定プログラム、１００２・・・フレームレート発生モジュール、１００３・・・映像評価モジュール、１００４・・・フレームレート決定モジュール、１１０・・・映像処理装置、１１０１・・・バッファ部、１１０２・・・フレームレート決定部、１１０３・・・映像処理部、１１０４・・・入力映像信号、１１０５・・・映像処理フレームレート、１１０６・・・処理映像信号、１１０７・・・映像、１３０・・・映像処理プログラム、１３０２・・・バッファモジュール、１３０３・・・フレームレート決定モジュール、１３０４・・・映像処理モジュール、１４０・・・映像評価装置、１４０１・・・変化量検出部、１４０２・・・評価値算出部、１４０３・・・入力映像信号、１４０４・・・フレームレート情報、１４０５・・・変化量、１４０６・・・評価値、１８０・・・映像評価プログラム、１８０２・・・変化量検出モジュール、１８０３・・・評価値算出モジュール。
【技術分野】
【０００１】
本発明は、映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラムに関する。
【背景技術】
【０００２】
映像の取得、蓄積、伝送、表示、符号化、復号化等を含む映像処理は、一般に、固定フレームレートによって処理が行われている。ここで、フレームレートとは、１秒あたりに処理されるフレーム数のことをいう。また、固定フレームレートとは、１秒あたりに処理されるフレーム数を一定にしたフレームレートのことをいう。固定フレームレートの具体例としては、例えば、米国や日本で採用されている全国テレビジョン標準委員会(National Television Standards Committee：NTSC)規格では、２９．９７fps（frame per second）に定義されている。また、ヨーロッパで採用されている全国テレビション標準委員会による位相交番ライン(Phase Alternating Line：PAL)規格では、２５fpsに定義されている。さらに、１５fpsや２４fpsの固定フレームレートが用いられる場合もある。なお、「映像」とは個々の静止画像である「フレーム画像」を連続させることにより構成されるものである。
【０００３】
固定フレームレートで映像処理を行う場合に、フレームレートを増加させると、連続するフレームの時間間隔が短くなる。これによって、より滑らかな動きの映像を処理することが可能となる。例えば、３０fpsのフレームレートで処理される映像は、１５fpsのフレームレートで処理される映像よりも、単位時間当たりのフレーム数が多いために映像の動きがより細かく表現され、全体としてより滑らかな動きで表現される。
【０００４】
また、上述した固定フレームレートによる映像処理の他に、可変フレームレートによる映像処理も行われている。この可変フレームレートによる映像処理は、映像の処理量やデータ量に応じてフレームレートを可変にするものである。例えば、映像を符号化する場合に、符号化するデータ量が多いと判断した場合には、フレームレートを減少させて単位時間当たりに符号化するフレーム数を削減させる。これは、データ量が増加すると映像処理にかかる時間が増加するためである。ここで、可変フレームレートにおいて、連続するフレーム画像の時間間隔をＴとした場合に、２枚のフレーム画像間におけるフレームレートは１／Ｔとなる。
【０００５】
このようなフレームレートを変更するための技術は、例えば、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−１１２９４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、固定フレームレートで映像を処理する場合に、滑らかな動きを実現するためにフレームレートを増加させると、映像処理に伴う処理量、データ量および電力消費量が増大してしまう。具体的に説明すると、例えば、映像を取得する場合には、単位時間当たりに取得すべきフレーム数が増加することによって、処理量および処理に伴う電力消費量が増大してしまう。また、映像を蓄積する場合には、単位時間あたりに蓄積すべきフレーム数が増加することによって、データ量が増大してしまう。
【０００８】
一方、映像の処理に伴う処理量、データ量および電力消費量を低減するために、フレームレートを減少させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。
【０００９】
また、可変フレームレートで映像を処理する場合に、映像の処理量やデータ量のみに応じてフレームレートを変化させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。
【００１０】
このように、映像の動きの特徴を考慮することなくフレームレートを変化させると、不必要に多くの処理量、データ量および電力消費量を要してしまうことや、ぎくしゃくした動きの映像になってしまうという問題がある。
【００１１】
そこで、本発明は、上述した課題を解決するために、映像の動きの滑らかさに応じてフレームレートを決定させる映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の映像評価装置は、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、を備えることを特徴とする。
【００１３】
また、本発明の映像評価方法は、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップと、を備えることを特徴とする。
【００１４】
さらに、本発明の映像評価プログラムは、コンピュータを、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として機能させることを特徴とする。
【００１５】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および入力映像信号の各フレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力された入力映像信号の変化量に応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００１６】
本発明の映像評価装置において、上記評価値算出手段は、変化量および各フレーム画像間の時間間隔に基づいて、変化量および各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて評価値を算出することが好ましい。このようにすれば、変化量および各フレーム画像間の時間間隔に応じて割り出される時間変化量を考慮した評価値を算出させることができる。
【００１７】
本発明の映像評価装置において、上記変化量は、各フレーム画像間における輝度値の差に基づく値であること、または、各フレーム画像間における動きベクトルであることが好ましい。このようにすれば、各フレーム画像間における輝度値の差、または、各フレーム画像間における動きベクトルに基づいて評価値を算出させることができる。
【００１８】
本発明の映像評価装置において、上記変化量に基づいて、入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、上記評価値算出手段は、動き特徴値および各フレーム画像間の時間間隔に基づいて、評価値を算出することが好ましい。このようにすれば、入力映像信号の動きの特徴を示す動き特徴値を考慮した評価値を算出させることができる。
【００１９】
本発明の映像評価装置において、上記評価値算出手段は、動き特徴値および各フレーム画像間の時間間隔に基づいて、変化量および各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて評価値を算出することが好ましい。このようにすれば、変化量および各フレーム画像間の時間間隔に応じた時間変化量を考慮した評価値を算出させることができる。
【００２０】
本発明の映像評価装置において、上記変化量は、各フレーム画像間における動きベクトルであり、上記動き特徴値は、動きベクトルの大きさに基づいて算出される値であることが好ましい。このようにすれば、各フレーム間の動きベクトルの大きさに基づいて評価値を算出させることができる。
【００２１】
本発明のフレームレート決定装置は、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、を備えることを特徴とする。
【００２２】
また、本発明のフレームレート決定方法は、第１のフレームレートを発生するフレームレート発生ステップと、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出ステップと、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定ステップと、を備えることを特徴とする。
【００２３】
さらに、本発明のフレームレート決定プログラムは、コンピュータを、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段として機能させることを特徴とする。
【００２４】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。したがって、映像の動きの滑らかさの評価に応じて決定された第２のフレームレートにより入力映像信号を読み込むことができる。すなわち、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【００２５】
本発明のフレームレート決定装置において、上記フレームレート決定手段は、評価値を、所定の規定値と比較して、評価値が規定値よりも大きい場合には、第２のフレームレートを、第１のフレームレートよりも小さくし、評価値が規定値よりも小さい場合には、第２のフレームレートを、第１のフレームレートよりも大きくすることが好ましい。このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準に収まるように考慮された第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。
【００２６】
本発明の映像処理装置は、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段と、を備えることを特徴とする。
【００２７】
また、本発明の映像処理方法は、入力映像信号を記憶するバッファステップと、第１のフレームレートを発生するフレームレート発生ステップと、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出ステップと、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定ステップと、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理ステップと、を備えることを特徴とする。
【００２８】
さらに、本発明の映像処理プログラムは、コンピュータを、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段として機能させることを特徴とする。
【００２９】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて変化量が検出され、この変化量および第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。また、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。また、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【００３０】
[その他の実施態様]
【００３１】
本発明の映像評価装置は、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して出力する評価値算出手段と、を備えることを特徴とする。
【００３２】
また、本発明の映像評価方法は、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する動き変位量検出ステップと、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して出力する評価値算出ステップと、を備えることを特徴とする。
【００３３】
さらに、本発明の映像評価プログラムは、コンピュータを、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出して外部に出力する評価値算出手段として機能させることを特徴とする。
【００３４】
これらの発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および入力映像信号のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００３５】
本発明の映像評価装置において、上記動き変位量に基づいて、入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、上記評価値算出手段は、動き特徴値および入力映像信号のフレームレートに基づいて、評価値を算出することが好ましい。このようにすれば、入力映像信号の動きの特徴を示す動き特徴値を考慮した評価値を算出させることができる。
【００３６】
本発明の映像評価装置において、上記評価値算出手段は、動き変位量および入力映像信号のフレームレートに基づいて、各フレーム間の動きの度合いを示す動き量を割り出し、当該動き量を用いて評価値を算出することが好ましい。また、上記評価値算出手段は、動き特徴値および入力映像信号のフレームレートに基づいて、各フレーム間の動きの度合いを示す動き量を割り出し、当該動き量を用いて評価値を算出することが好ましい。このようにすれば、各フレーム間の動きの度合いを示す動き量を考慮した評価値を算出させることができる。
【００３７】
本発明の映像評価装置において、上記動き変位量は、動きベクトルであり、上記動き特徴値は、動きベクトルの大きさに基づいて算出される値であることが好ましい。このようにすれば、各フレーム間の動きベクトルの大きさに基づいて評価値を算出させることができる。
【００３８】
本発明のフレームレート決定装置は、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、を備えることを特徴とする。
【００３９】
この発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。したがって、映像の動きの滑らかさの評価に応じて決定された第２のフレームレートにより入力映像信号を読み込むことができる。すなわち、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【００４０】
本発明のフレームレート決定装置において、上記フレームレート決定手段は、評価値を、所定の規定値と比較して、評価値が規定値よりも大きい場合には、第２のフレームレートを、第１のフレームレートよりも小さくし、評価値が規定値よりも小さい場合には、第２のフレームレートを、第１のフレームレートよりも大きくすることが好ましい。このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準に収まるように考慮された第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。
【００４１】
本発明の映像処理装置は、入力映像信号を記憶するバッファ手段と、第１のフレームレートを発生するフレームレート発生手段と、入力映像信号に含まれる複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す動き変位量を検出する変位量検出手段と、動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値を算出する評価値算出手段と、評価値を用いて、入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、第２のフレームレートを用いて、バッファ手段により記憶されている入力映像信号を読み込んで映像処理を行う映像処理手段と、を備えることを特徴とする。
【００４２】
この発明によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動き変位量が検出され、この動き変位量および第１のフレームレートに基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。また、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの変位量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。また、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【発明の効果】
【００４３】
本発明に係る映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムによれば、映像の動きの滑らかさに応じてフレームレートを決定させることができるため、処理量、データ量および電力消費量を節減しつつ、滑らかな動きの映像を提供することが可能となる。
【図面の簡単な説明】
【００４４】
【図１】第１実施形態の変形例における映像評価装置の機能構成を例示す図である。
【図２】変位量を検出する方法を説明するための図である。（ａ）はフレーム画像Ｐ０を示し、（ｂ）はフレーム画像Ｐ１を示す図である。
【図３】動きの滑らかさを評価する方法を説明するための図である。（ａ）はフレーム間動き量を割り出す方法を説明するための図であり、（ｂ）はフレーム間動き量に基づいて評価値を算出する方法を説明するための図である。
【図４】第１実施形態の変形例における映像評価処理の流れを示すフローチャートである。
【図５】各動きベクトルの大きさと方向に基づいて求められる範囲を説明するための図である。
【図６】第１実施形態の変形例における映像評価プログラムのモジュール構成を例示する図である。
【図７】第２実施形態におけるフレームレート決定装置の機能構成を例示す図である。
【図８】（ａ）は第１のフレームレートを例示し、（ｂ）は入力映像信号のサンプリングレートを例示する図である。
【図９】第２実施形態におけるフレームレート決定処理の流れを示すフローチャートである。
【図１０】第２実施形態におけるフレームレート決定プログラムのモジュール構成を例示する図である。
【図１１】第３実施形態における映像処理装置の機能構成を例示す図である。
【図１２】第３実施形態における映像処理の流れを示すフローチャートである。
【図１３】第３実施形態における映像処理プログラムのモジュール構成を例示する図である。
【図１４】第１実施形態における映像評価装置の機能構成を例示す図である。
【図１５】変化量を検出する方法を説明するための図である。
【図１６】動きの滑らかさを評価する方法を説明するための図である。（ａ）は時間変化量を割り出す方法を説明するための図であり、（ｂ）は時間変化量に基づいて評価値を算出する方法を説明するための図である。
【図１７】第１実施形態における映像評価処理の流れを示すフローチャートである。
【図１８】第１実施形態における映像評価プログラムのモジュール構成を例示する図である。
【発明を実施するための形態】
【００４５】
以下、本発明に係る映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、フレームレート決定方法、映像処理方法、映像評価プログラム、フレームレート決定プログラム、および映像処理プログラムの各実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００４６】
[第１実施形態]
【００４７】
まず、本発明の第１実施形態について説明する。図１４は、第１実施形態における映像評価装置１４０の機能構成を例示する図である。
【００４８】
ここで、映像評価装置１４０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１４０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１４０としては、情報処理可能な装置が広く適用され得る。
【００４９】
図１４を参照して映像評価装置１４０の機能構成について説明する。図１４に示すように、映像評価装置１４０は、変化量検出部１４０１と、評価値算出部１４０２とを有する。
【００５０】
変化量検出部１４０１は、外部から動画像信号として入力された入力映像信号１４０３を、フレーム画像に分解する。変化量検出部１４０１は、分解した複数のフレーム画像に基づいて、入力映像信号の各フレーム画像間における変化の度合いを示す変化量を検出する。変化量検出部１４０１は、検出した変化量１４０５を評価値算出部１４０２に出力する。
【００５１】
ここで、図１５を参照して、変化量１４０５を検出する方法について具体的に説明する。変化量検出部１４０１は、入力映像信号１４０３から分解された連続する２枚のフレーム画像を順次読み込む。ここで、説明の便宜のため、連続する２枚のフレーム画像を、読み込む順に、フレーム画像Ｐ０、フレーム画像Ｐ１として説明する。変化量検出部１４０１は、読み込んだフレーム画像Ｐ１とフレーム画像Ｐ０においてそれぞれ同一の座標に位置する画素間の輝度値の差を求め、この差の２乗値を、フレーム画像全体に含まれる画素ごとに算出していく。変化量検出部１４０１は、画素ごとに算出した上記２乗値の平均値を算出することによって、変化量１４０５を検出する。したがって、算出した平均値が、変化量１４０５として評価値算出部１４０２に出力される。
【００５２】
評価値算出部１４０２は、変化量検出部１４０１から受信した変化量１４０５と、外部から受信したフレームレート情報１４０４に基づくフレーム画像間の時間間隔とに基づいて、変化量１４０５および各フレーム画像間の時間間隔に応じた時間変化量を割り出す。評価値算出部１４０２は、割り出した時間変化量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。評価値算出部１４０２は、算出した評価値１４０６を外部に出力する。ここで、外部としては、例えば、評価値１４０６に基づいて、入力映像信号１４０３の映像処理をするための最適なフレームレートを決定する装置等が該当する。このような外部装置に評価値１４０６を出力することによって、入力映像信号１４０３による映像の動きの滑らかさに応じたフレームレートを決定させることが可能となる。
【００５３】
ここで、図１６を参照して、動きの滑らかさを評価する方法について具体的に説明する。まず、図１６（ａ）を参照して、例えば、時刻Ｔ１における時間変化量Ｓ１を割り出す方法について説明する。評価値算出部１４０２は、フレームレート情報１４０４に基づくフレーム画像Ｐ０の時刻Ｔ０とフレーム画像Ｐ１の時刻Ｔ１との時間間隔Δｔ１、および変化量Δｃ１に基づいて、時間変化量Ｓ１を割り出す。なお、時刻Ｔ０と時刻Ｔ１の時間間隔Δｔ１は、例えば、時刻Ｔ１におけるフレームレート情報１４０４のフレームレートが、Ｆ１fpsである場合には、１／Ｆ１秒となる。
【００５４】
時間変化量を割り出す方法について、より具体的に説明する。図１６(ａ)に示すように、時刻Ｔ１における時間変化量Ｓ１は、例えば、時刻Ｔ０と時刻Ｔ１の時間間隔をΔｔ１とし、時刻Ｔ１における変化量をΔｃ１とした場合には、Δｔ１・Δｃ１（図１６(ａ)に示す斜線部分Ｓ１の面積）となる。同様にして、時刻Ｔ２における時間変化量Ｓ２は、例えば、時刻Ｔ１と時刻Ｔ２の時間間隔をΔｔ２とし、時刻Ｔ２における変化量をΔｃ２とした場合には、Δｔ２・Δｃ２（図１６(ａ)に示す斜線部分Ｓ２の面積）となる。
【００５５】
次に、図１６（ｂ）を参照して、時間変化量に基づいて評価値を算出する方法ついて説明する。評価値算出部１４０２は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎ（ｎ：正の整数。以下同様）における動きの滑らかさの評価値を算出する。具体的に説明すると、評価値算出部１４０２は、各フレーム画像の時刻Ｔｎにおける時間変化量Ｓｎを用いて、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。より具体的に説明すると、評価値算出部１４０２は、例えば、時間変化量Ｓｎを用いた次式、α／Ｓｎ（αは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。また、評価値算出部１４０２は、例えば、時間変化量Ｓｎを用いた次式、ａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出してもよい。評価値算出部１４０２は、算出した各評価値に基づいて、入力映像のすべての時刻における動きの滑らかさの評価値の平均値を算出する。この平均値が、入力映像の最終的な評価値１４０６として外部に出力される。
【００５６】
次に、図１７を参照して第１実施形態の映像評価装置１４０における映像評価処理の流れについて説明する。
【００５７】
まず、変化量検出部１４０１は、入力映像信号１４０３から分解された連続する２枚のフレーム画像(フレーム画像Ｐ０，フレーム画像Ｐ１)を順次読み込む（ステップＳ１７０１）。
【００５８】
次に、変化量検出部１４０１は、読み込んだフレーム画像Ｐ１とフレーム画像Ｐ０においてそれぞれ同一の座標に位置する画素間の輝度値の差を求め、この差の２乗値を、フレーム画像全体に含まれる画素ごとに算出していく。（ステップＳ１７０２）。
【００５９】
次に、変化量検出部１４０１は、画素ごとに算出した上記２乗値の平均値を算出する（ステップＳ１７０３）。この算出された平均値が、変化量１４０５として評価値算出部１４０２に出力される。
【００６０】
次に、評価値算出部１４０２は、変化量検出部１４０１から受信した変化量１４０５と、外部から受信したフレームレート情報１４０４に基づくフレーム画像間の時間間隔とに基づいて、変化量１４０５および各フレーム画像間の時間間隔に応じた時間変化量を算出する（ステップ１７０４）。
【００６１】
次に、評価値算出部１４０２は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値を、時間変化量を用いて算出する（ステップＳ１７０５）。
【００６２】
次に、評価値算出部１４０２は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する（ステップＳ１７０６）。
【００６３】
次に、評価値算出部１４０２は、算出した平均値を、入力映像信号１４０３全体に対する動きの滑らかさの評価値１４０６として外部に出力する（ステップ１７０７）。
【００６４】
以上のように、第１実施形態における映像評価装置１４０によれば、入力映像信号に含まれる複数のフレーム画像の各フレーム間における輝度値の差の２乗値に基づいて変化量が算出される。また、この変化量および入力映像信号のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力される入力映像信号の輝度値の変化量に基づいて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを外部で決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【００６５】
なお、上述した変化量検出部１４０１による変化量検出の単位は、上述したフレーム画像全体には限られない。例えば、ブロック単位、１画素単位、オブジェクト領域単位等であってもよい。
【００６６】
また、変化量検出部１４０１による変化量検出の方法は、上述したフレーム画像に含まれる画素ごとに算出した上記２乗値の平均値を用いることには限られない。例えば、画素ごとに算出した上記２乗値の最大値、中間値または最小値を用いてもよいし、上記２乗値の最大値、中間値または最小値の平方根の値を用いてもよいし、上記２乗値のフレーム画像全体における分散値を用いてもよい。
【００６７】
また、変化量検出部１４０１による変化量検出の方法は、上述した各フレームの同一座標に位置する画素間の輝度値の差の２乗値を用いることには限られない。例えば、各フレームの同一座標に位置する画素間の輝度値の差の値、またはこの差の絶対値を用いてもよい。
【００６８】
また、変化量検出部１４０１による変化量検出の方法には、上述した各値の他にも、例えば、入力映像信号のフレーム画像間における動きベクトル等、フレーム間における入力映像信号の変化を表すあらゆる値を用いることができる。
【００６９】
また、評価値算出部１４０２による時間変化量の割り出し方法は、上述した式（例えば、Δｔ１・Δｃ１）を用いた方法には限られず、変化量とフレームレート情報に基づくフレーム画像間の時間間隔とに基づいて割り出すことができればよい。
【００７０】
また、評価値算出部１４０２によって割り出される時間変化量は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位、オブジェクト単位に１つであってもよい。
【００７１】
また、評価値算出部１４０２によって算出される入力映像の最終的な評価値１４０６は、上述した入力映像の全ての時刻における動きの滑らかさの評価値の平均値には限られない。例えば、入力映像の全ての時刻における動きの滑らかさの評価値の最大値、中間値または最小値であってもよい。
【００７２】
また、評価値算出部１４０２によって算出される入力映像の最終的な評価値１４０６は、必ずしも入力映像信号に含まれる全てのフレーム画像に対して１つである必要はない。例えば、何枚かのフレーム画像、１枚のフレーム画像、ブロック、ピクセル、オブジェクトごとに１つであってもよい。
【００７３】
最後に、図１８を参照して、コンピュータを上述した映像評価装置１４０として機能させるための映像評価プログラム１８０について説明する。
【００７４】
図１８に示すように、映像評価プログラム１４０は、処理を統括するメインモジュールプログラム１８０１と、変化量検出モジュール１８０２と、評価値算出モジュール１８０３とを有する。変化量検出モジュール１８０２および評価値算出モジュール１８０３がコンピュータに行わせる機能は、それぞれ上述した変化量検出部１４０１および評価値算出部１４０２が有する機能と同様である。
【００７５】
なお、映像評価プログラム１８０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像評価プログラム１８０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【００７６】
[第１実施形態の変形例]
【００７７】
次に、上述した第１実施形態の変形例について説明する。図１は、第１実施形態の変形例における映像評価装置１０の機能構成を例示する図である。
【００７８】
ここで、映像評価装置１０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１０としては、情報処理可能な装置が広く適用され得る。
【００７９】
図１を参照して映像評価装置１０の機能構成について説明する。図１に示すように、映像評価装置１０は、変位量検出部１０１と、特徴値算出部１０２と、評価値算出部１０３とを有する。
【００８０】
変位量検出部１０１は、外部から動画像信号として入力された入力映像信号１０４を、フレーム画像に分解する。変位量検出部１０１は、分解した複数のフレーム画像に基づいて、入力映像信号の動きの変位の度合いを示す変位量（動き変位量）を検出する。変位量検出部１０１は、検出した変位量１０６を特徴値算出部１０２に出力する。
【００８１】
なお、変位量は、入力映像信号の動きの変位の度合いを示すものには限られず、入力映像信号の各フレーム画像間における変化の度合いを示すものであればよい。
【００８２】
ここで、図２を参照して、変位量１０６を検出する方法について具体的に説明する。変位量検出部１０１は、入力映像信号１０４から分解された連続する２枚のフレーム画像を順次読み込む。ここで、説明の便宜のため、連続する２枚のフレーム画像を、読み込む順に、フレーム画像Ｐ０（図２（ａ）参照）、フレーム画像Ｐ１（図２（ｂ）参照）として説明する。変位量検出部１０１は、読み込んだフレーム画像Ｐ１を、所定の大きさのブロックに分割する。変位量検出部１０１は、フレーム画像Ｐ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターンをフレーム画像Ｐ０から探索する。この探索は、例えば、図２に示されるブロックマッチング(相関法)による探索処理を用いることによって実現可能である。変位量検出部１０１は、探索処理によって最も類似すると判断された両画像の信号パターンに基づいて、両画像の信号パターン間における空間的な変位量である動きベクトルＶ（ＭＶｘ，ＭＶｙ）を検出する。この動きベクトルＶが、変位量１０６として特徴値算出部１０２に出力される。
【００８３】
特徴値算出部１０２は、変位量検出部１０１から受信した変位量１０６に基づいて、入力映像信号の動きの特徴を示す動き特徴値１０７を算出する。特徴値算出部１０２は、算出した動き特徴値１０７を評価値算出部１０３に出力する。
【００８４】
ここで、動き特徴値を算出する方法について具体的に説明する。特徴値算出部１０２は、変位量１０６として受信されたフレーム画像Ｐ１の各ブロックの動きベクトルを用いて、フレーム画像Ｐ１の各ブロックの動きベクトルの大きさを求める。この動きベクトルの大きさは、例えば、フレーム画像Ｐ１上の任意のブロックの動きベクトルのｘ成分、ｙ成分をそれぞれＭＶｘ、ＭＶｙとした場合には、（ＭＶｘ２＋ＭＶｙ２）1/２により求められる。特徴値算出部１０２は、各動きベクトルの大きさに基づいて、フレーム画像Ｐ１の特徴となる値を算出する。この算出された値が、動き特徴値１０７として評価値算出部１０３に出力される。特徴値算出部１０２によって算出される値（動き特徴値１０７）としては、例えば、フレーム画像に含まれるブロックごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値が該当する。
【００８５】
評価値算出部１０３は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における動きの度合いを示すフレーム間動き量を割り出す。評価値算出部１０３は、割り出したフレーム間動き量に基づいて、入力映像の動きの滑らかさを評価するための評価値を算出する。評価値算出部１０３は、算出した評価値１０８を外部に出力する。ここで、外部としては、例えば、評価値１０８に基づいて、入力映像信号１０４の映像処理をするための最適なフレームレートを決定する装置等が該当する。このような外部装置に評価値１０８を出力することによって、入力映像信号１０４による映像の動きの滑らかさに応じたフレームレートを決定さることが可能となる。
【００８６】
なお、評価値を算出する際に、必ずしもフレーム間動き量に基づいて算出する必要はない。例えば、変位量１０６および各フレーム画像間の時間間隔に応じた時間変化量に基づいて、評価値を算出してもよい。この時間変化量は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、割り出すことができる。
【００８７】
ここで、図３を参照して、動きの滑らかさを評価する方法について具体的に説明する。まず、図３（ａ）を参照して、例えば、時刻Ｔ１におけるフレーム間動き量Ｓ１を割り出す方法について説明する。評価値算出部１０３は、フレームレート情報１０５に基づくフレーム画像Ｐ０の時刻Ｔ０とフレーム画像Ｐ１の時刻Ｔ１との時間間隔Δｔ１、およびフレーム画像Ｐ１の動き特徴値Δｄ１に基づいて、フレーム間動き量Ｓ１を割り出す。なお、時刻Ｔ０と時刻Ｔ１の時間間隔Δｔ１は、例えば、時刻Ｔ１におけるフレームレート情報１０５のフレームレートが、Ｆ１fpsである場合には、１／Ｆ１秒となる。
【００８８】
フレーム間動き量を割り出す方法について、より具体的に説明する。図３(ａ)に示すように、時刻Ｔ１におけるフレーム間動き量Ｓ１は、例えば、時刻Ｔ０と時刻Ｔ１の時間間隔をΔｔ１とし、時刻Ｔ１における動き特徴値をΔｄ１とした場合には、Δｔ１・Δｄ１／２（図３(ａ)に示す斜線部分Ｓ１の面積）となる。同様にして、時刻Ｔ２におけるフレーム間動き量Ｓ２は、例えば、時刻Ｔ１と時刻Ｔ２の時間間隔をΔｔ２とし、時刻Ｔ２における動き特徴値をΔｄ２とした場合には、Δｔ２・Δｄ２／２（図３(ａ)に示す斜線部分Ｓ２の面積）となる。
【００８９】
次に、図３（ｂ）を参照して、フレーム間動き量に基づいて評価値を算出する方法ついて説明する。評価値算出部１０３は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎ（ｎ：正の整数。以下同様）における動きの滑らかさの評価値を算出する。具体的に説明すると、評価値算出部１０３は、各フレーム画像の時刻Ｔｎにおけるフレーム間動き量Ｓｎを用いて、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。より具体的に説明すると、評価値算出部１０３は、例えば、フレーム間動き量Ｓｎを用いた次式、α／Ｓｎ（αは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出する。また、評価値算出部１０３は、例えば、フレーム間動き量Ｓｎを用いた次式、ａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により、時刻Ｔｎにおける動きの滑らかさの評価値を算出してもよい。評価値算出部１０３は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する。この平均値が、入力映像の最終的な評価値１０８として外部に出力される。
【００９０】
次に、図４を参照して第１実施形態の変形例の映像評価装置１０における映像評価処理の流れについて説明する。
【００９１】
まず、変位量検出部１０１は、入力映像信号１０４から分解された連続する２枚のフレーム画像(フレーム画像Ｐ０，フレーム画像Ｐ１)を順次読み込む（ステップＳ４０１）。
【００９２】
次に、変位量検出部１０１は、読み込んだフレーム画像Ｐ１を、所定の大きさのブロックに分割する（ステップＳ４０２）。
【００９３】
次に、変位量検出部１０１は、フレーム画像Ｐ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する画像信号パターンをフレーム画像Ｐ０から探索する（ステップＳ４０３）。
【００９４】
次に、変位量検出部１０１は、探索によって最も類似すると判断された両画像の信号パターンに基づいて、当該画像信号パターン間における空間的な変位量である動きベクトル（ＭＶｘ，ＭＶｙ）を検出する（ステップＳ４０４）。この検出された動きベクトルが、変位量１０６として特徴値算出部１０２に出力される。
【００９５】
次に、特徴値算出部１０２は、変位量１０６に含まれるフレーム画像Ｐ１の各ブロックの動きベクトルを用いて、フレーム画像Ｐ１の各ブロックの動きベクトルの大きさを求める（ステップＳ４０５）。
【００９６】
次に、特徴値算出部１０２は、各動きベクトルの大きさに基づいて、フレーム画像Ｐ１の特徴となる値を算出する（ステップＳ４０６）。この算出された値が、動き特徴値１０７として評価値算出部１０３に出力される。
【００９７】
次に、評価値算出部１０３は、特徴値算出部１０２から受信した動き特徴値１０７と、外部から受信したフレームレート情報１０５に基づくフレーム画像間の時間間隔とに基づいて、各フレーム画像間における動き量であるフレーム間動き量を算出する（ステップ４０７）。
【００９８】
次に、評価値算出部１０３は、入力映像信号に含まれる全てのフレーム画像について、各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値を、フレーム間動き量を用いて算出する（ステップＳ４０８）。
【００９９】
次に、評価値算出部１０３は、算出した各評価値に基づいて、入力映像の全ての時刻における動きの滑らかさの評価値の平均値を算出する（ステップＳ４０９）。
【０１００】
次に、評価値算出部１０３は、算出した平均値を、入力映像信号１０４全体に対する動きの滑らかさの評価値１０８として外部に出力する（ステップ４１０）。
【０１０１】
以上のように、第１実施形態の変形例における映像評価装置１０によれば、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。また、この動き特徴値および入力映像信号のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出される。したがって、所定のフレームレートにしたがって入力される入力映像信号の動きベクトルの大きさに応じて、映像処理時のフレームレートにおける映像の動きの滑らかさを評価することができる。また、この評価により得られた評価値を外部に出力するため、この評価値に基づいてフレームレートを外部で決定させることが可能となる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させることができる。
【０１０２】
なお、上述した変位量検出部１０１による画像信号パターンの探索単位は、上述したブロック単位には限られない。例えば、フレーム単位、１画素単位、オブジェクト領域単位等であってもよい。また、変位量検出部１０１による探索処理の方法は、上述したブロックマッチングには限られない。例えば、濃度勾配法等であってもよい。
【０１０３】
また、変位量検出部１０１は、上述した入力映像信号１０４として、映像の動きベクトルを含んだ入力映像信号１０４を読み込むこととしてもよい。この場合に、変位量検出部１０１は、外部から受信した入力映像信号１０４から動きベクトルを検出し、この検出した動きベクトルを変位量１０６として特徴値算出部１０２に出力する。
【０１０４】
また、特徴値算出部１０２によって算出される動き特徴値１０７は、上述したブロックごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値には限られない。例えば、フレーム画像ごとに求められる１つの動きベクトルの大きさであってもよいし、フレーム画像内の１画素ごとまたはオブジェクト領域ごとに求められる動きベクトルの大きさの最大値、平均値、中間値または最小値であってもよい。
【０１０５】
また、特徴値算出部１０２によって算出される動き特徴値１０７は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位またはオブジェクト単位に１つであってもよい。また、動き特徴値１０７は、ブロック単位、ピクセル単位またはオブジェクト単位に求められる動きベクトルの分布に対して、図５に示される原点を中心にした複数の円と原点から放射状に伸びる複数の線とで区切られる範囲Ｒ（例えば、Ｒ１，Ｒ２，Ｒ３）単位に１つであってもよい。
【０１０６】
ここで、図５を参照して、動き特徴値１０７を、上記範囲Ｒ単位に算出する方法について、１つのフレーム画像を９つのブロックに分割する場合を例にして具体的に説明する。まず、分割された９つのブロック単位に１つの動きベクトルを求める。この求められた各動きベクトルを、動きベクトルＶ１〜Ｖ９とする。次に、各動きベクトルＶ１〜Ｖ９を図５に示すグラフ上に投影する。例えば、動きベクトルＶ１〜Ｖ４が図５に示す範囲Ｒ１に含まれ、動きベクトルＶ５，Ｖ６が図５に示す範囲Ｒ２に含まれ、動きベクトルＶ７〜Ｖ９が図５に示す範囲Ｒ３に含まれるとする。この場合には、例えば、動きベクトルＶ１〜Ｖ４の平均値として算出される動きベクトルＶＲ１が、範囲Ｒ１の動き特徴値１０７として求められ、動きベクトルＶ５，Ｖ６の平均値として算出される動きベクトルＶＲ２が、範囲Ｒ２の動き特徴値１０７として求められ、動きベクトルＶ７〜Ｖ９の平均値として算出される動きベクトルＶＲ３が、範囲Ｒ３の動き特徴値１０７として求められることとなる。なお、動きベクトルを求める方法は、例示したブロック単位に限られず、例えば、ピクセル単位またはオブジェクト単位であってもよい。
【０１０７】
また、評価値算出部１０３によるフレーム間動き量の割り出し方法は、上述した式（例えば、Δｔ１・Δｄ１／２）を用いた方法には限られない。例えば、変位量１０６である動きベクトル（ＭＶｘ，ＭＶｙ）とフレームレート情報１０５に基づくフレーム画像間の時間間隔とを用いて表される次式、β・ＭＶｘ・Δｔ１／２＋γ・ＭＶｙ・Δｔ１／２（β、γは定数）により割り出してもよい。
【０１０８】
また、評価値算出部１０３によって割り出されるフレーム間動き量は、必ずしもフレーム単位に１つである必要はない。例えば、ブロック単位、ピクセル単位、オブジェクト単位または上述した範囲Ｒ（図５参照）単位に１つであってもよい。
【０１０９】
また、評価値算出部１０３によって算出される各フレーム画像の時刻Ｔｎにおける動きの滑らかさの評価値は、上述したα／Ｓｎ（αは定数）またはａ×exp−ｂＳｎ＋ｃ（ａ，ｂ，ｃは定数）により算出することには限られない。例えば、変位量１０６である動きベクトル（ＭＶｘ，ＭＶｙ）とフレームレート情報１０５に基づくフレーム画像間の時間間隔とを用いた関数により算出してもよい。
【０１１０】
また、評価値算出部１０３によって算出される入力映像の最終的な評価値１０８は、上述した入力映像の全ての時刻における動きの滑らかさの評価値の平均値には限られない。例えば、入力映像の全ての時刻における動きの滑らかさの評価値の最大値、中間値または最小値であってもよい。
【０１１１】
また、評価値算出部１０３によって算出される入力映像の最終的な評価値１０８は、必ずしも入力映像信号に含まれる全てのフレーム画像に対して１つである必要はない。例えば、何枚かのフレーム画像、１枚のフレーム画像、ブロック、ピクセル、オブジェクトまたは上述した範囲Ｒ（図５参照）ごとに１つであってもよい。
【０１１２】
最後に、図６を参照して、コンピュータを上述した映像評価装置１０として機能させるための映像評価プログラム５０について説明する。
【０１１３】
図６に示すように、映像評価プログラム５０は、処理を統括するメインモジュールプログラム５０１と、変位量検出モジュール５０２と、特徴値算出モジュール５０３と、評価値算出モジュール５０４とを有する。変位量検出モジュール５０２、特徴値算出モジュール５０３および評価値算出モジュール５０４がコンピュータに行わせる機能は、それぞれ上述した変位量検出部１０１、特徴値算出部１０２および評価値算出部１０３が有する機能と同様である。
【０１１４】
なお、映像評価プログラム５０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像評価プログラム５０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１１５】
また、第１実施形態の変形例における映像評価装置１０は、変位量検出部１０１および特徴値算出部１０２をまとめて、あらたに変化量検出部とすることによって、第１実施形態における映像評価装置１４０が有する機能構成と同一の機能構成にすることができる。
【０１１６】
[第２実施形態]
【０１１７】
次に、本発明の第２実施形態について説明する。図７は、第２実施形態におけるフレームレート決定装置７０の機能構成を例示する図である。
【０１１８】
ここで、フレームレート決定装置７０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、フレームレート決定装置７０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、フレームレート決定装置７０としては、情報処理可能な装置が広く適用され得る。
【０１１９】
図７を参照してフレームレート決定装置７０の機能構成について説明する。図７に示すように、フレームレート決定装置７０は、フレームレート発生部７０１と、映像評価部７０２と、フレームレート決定部７０３とを有する。
【０１２０】
フレームレート発生部７０１は、第１のフレームレート７０５を発生させる。フレームレート発生部７０１は、発生させた第１のフレームレート７０５を、映像評価部７０２およびフレームレート決定部７０３に出力する。
【０１２１】
映像評価部７０２は、上述した第１実施形態に記載された映像評価装置１４０が有する機能、または第１実施形態の変形例に記載された映像評価装置１０が有する機能と同様の機能を有する。すなわち、映像評価部７０２は、上述した変化量検出部１４０１および評価値算出部１４０２が有する機能、または変位量検出部１０１、特徴値算出部１０２および評価値算出部１０３が有する機能と同様の機能を有する。
【０１２２】
映像評価部７０２は、外部から動画像信号として入力された入力映像信号７０４から、第１のフレームレート７０５に応じた時間間隔でフレーム画像を読み込み、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する。映像評価部７０２は、算出した動きの滑らかさの評価値７０６を、フレームレート決定部７０３に出力する。
【０１２３】
ここで、第１のフレームレート７０５は、入力映像信号７０４のサンプリングレートと異なっていても特に問題はない。例えば、図８（ａ）に示される第１のフレームレート７０５は、１／１５秒であるのに対し、図８（ｂ）に示される入力映像信号７０４のサンプリングレートは、１／３０秒である。
【０１２４】
フレームレート決定部７０３は、映像評価部７０２から受信した評価値７０６と、フレームレート発生部７０１から受信した第１のフレームレート７０５とに基づいて、第２のフレームレート７０７を決定する。フレームレート決定部７０３は、決定した第２のフレームレート７０７を、入力映像信号７０４の処理を行うためのフレームレートとして、フレームレート決定装置７０に出力する。
【０１２５】
具体的に説明すると、フレームレート決定部７０３は、例えば、評価値７０６が所定の規定値よりも大きい場合には、第２のフレームレート７０７を、第１のフレームレート７０５よりも小さくする。また、フレームレート決定部７０３は、例えば、評価値７０６が所定の規定値よりも小さい場合には、第２のフレームレート７０７を、第１のフレームレート７０５よりも大きくする。また、フレームレート決定装置７０は、例えば、評価値７０６が所定の規定値と一致する場合には、第２のフレームレート７０７を、第１のフレームレート７０５と同一のフレームレートにする。
【０１２６】
このようにすれば、映像の動きの滑らかさを評価するための評価値が所定の評価基準の範囲内に収まるような第２のフレームレートを決定させることができる。すなわち、映像の動きの滑らかさを所定の基準範囲内に保ちながら入力映像信号を読み込ませることができる。なお、上述した所定の規定値は、予め設定されたものであってもよいし、外部から与えられたものであってもよい。
【０１２７】
次に、図９を参照して第２実施形態のフレームレート決定装置７０におけるフレームレート決定処理の流れについて説明する。
【０１２８】
まず、フレームレート発生部７０１は、第１のフレームレート７０５を発生させる（ステップＳ９０１）。
【０１２９】
次に、映像評価部７０２は、入力映像信号７０４から第１のフレームレート７０５に応じた時間間隔でフレーム画像を読み込む（ステップ９０２）。
【０１３０】
次に、映像評価部７０２は、各フレーム画像に基づいて、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する（ステップ９０３）。すなわち、各フレーム画像に基づいて、上述した第１実施形態において説明したステップＳ１７０１〜Ｓ１７０７までの映像評価処理（図１７参照）、または上述した第１実施形態の変形例において説明したステップＳ４０１〜Ｓ４１０までの映像評価処理（図４参照）を行うことによって、入力映像信号７０４全体に対する動きの滑らかさの評価値７０６を算出する。
【０１３１】
次に、フレームレート決定部７０３は、映像評価部７０２から受信した評価値７０６と、フレームレート発生部７０１から受信した第１のフレームレート７０５とに基づいて、第２のフレームレート７０７を決定する（ステップ９０４）。
【０１３２】
次に、フレームレート決定部７０３は、第２のフレームレート７０７を、入力映像信号７０４の処理を行うためのフレームレートとして外部に出力する（ステップ９０５）。
【０１３３】
以上のように、第２実施形態におけるフレームレート決定装置７０によれば、入力映像信号の変化量および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。
【０１３４】
また、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。そして、この動き特徴値および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの特徴量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。
【０１３５】
したがって、映像の動きの滑らかさに応じて入力映像信号のフレームレートを決定させることができるとともに、映像の動きの滑らかさを保ちながら入力映像信号を読み込ませることができる。
【０１３６】
最後に、図１０を参照して、コンピュータを上述したフレームレート決定装置７０として機能させるためのフレームレート決定プログラム１００について説明する。
【０１３７】
図１０に示すように、フレームレート決定プログラム１００は、処理を統括するメインモジュールプログラム１００１と、フレームレート発生モジュール１００２と、映像評価モジュール１００３と、フレームレート決定モジュール１００４とを有する。フレームレート発生モジュール１００２、映像評価モジュール１００３およびフレームレート決定モジュール１００４がコンピュータに行わせる機能は、それぞれ上述したフレームレート発生部７０１、映像評価部７０２およびフレームレート決定部７０３が有する機能と同様である。
【０１３８】
なお、フレームレート決定プログラム１００は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、フレームレート決定プログラム１００は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１３９】
[第３実施形態]
【０１４０】
次に、本発明の第３実施形態について説明する。図１１は、第３実施形態における映像処理装置１１０の機能構成を例示する図である。
【０１４１】
ここで、映像処理装置１１０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像処理装置１１０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像処理装置１１０としては、情報処理可能な装置が広く適用され得る。
【０１４２】
図１１を参照して映像処理装置１１０の機能構成について説明する。図１１に示すように、映像処理装置１１０は、バッファ部１１０１と、フレームレート決定部１１０２と、映像処理部１１０３とを有する。
【０１４３】
バッファ部１１０１は、外部から動画像信号として入力された入力映像信号１１０４を、メモリ上のバッファに一時的に保存する。バッファ部１１０１は、入力映像信号１１０４を、フレームレート決定部１１０２に出力する。なお、バッファに一時的に保存された入力映像信号１１０４は、後述する映像処理部１１０３によって、処理映像信号１１０６として読み込まれる。
【０１４４】
フレームレート決定部１１０２は、上述した第２実施形態に記載されたフレームレート決定装置７０が有する機能と同様の機能を有する。すなわち、フレームレート決定部１１０２は、上述したフレームレート発生部７０１、映像評価部７０２およびフレームレート決定部７０３が有する機能と同様の機能を有する。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、上述した第２のフレームレート７０７に該当する映像処理フレームレート１１０５を算出する。フレームレート決定部１１０２は、算出した映像処理フレームレート１１０５を、映像処理部１１０３に出力する。
【０１４５】
映像処理部１１０３は、映像処理フレームレート１１０５に応じた時間間隔でバッファ部１１０１から処理映像信号１１０６を読み込み、この処理映像信号１１０６に基づいて映像処理を行う。具体的に説明すると、映像処理部１１０３は、バッファ部１１０１に保存された処理映像信号１１０６に含まれるフレーム画像のうち、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５に対応する時刻のフレーム画像のみを読み込んで、映像処理を行う。映像処理部１１０３は、映像処理により生成された映像を外部に出力する。なお、映像処理部１１０３によって行われる映像処理は、例えば、映像の取得、蓄積、伝送、符号化、復号化が該当する。
【０１４６】
次に、図１２を参照して第３実施形態の映像処理装置１１０における映像処理の流れについて説明する。
【０１４７】
まず、バッファ部１１０１は、外部から動画像信号として入力された入力映像信号１１０４を、フレームレート決定部１１０２に出力するとともに、当該入力映像信号１１０４を、メモリ上のバッファに一時的に保存する（ステップＳ１２０１）。
【０１４８】
次に、フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像処理フレームレート１１０５を算出する（ステップ１２０２）。すなわち、入力映像信号１１０４を用いて、上述した第２実施形態において説明したステップＳ９０１〜Ｓ９０５までのフレームレート決定処理（図９参照）を行うことによって、第２のフレームレートである映像処理フレームレート１１０５を算出する。
【０１４９】
次に、映像処理部１１０３は、映像処理フレームレート１１０５に応じた時間間隔でバッファ部１１０１から処理映像信号１１０６を読み込み、この処理映像信号１１０６に基づいて映像処理を行う（ステップ１２０３）
【０１５０】
次に、映像処理部１１０３は、映像処理により生成された映像を外部に出力する（ステップ１２０４）。
【０１５１】
以上のように、第３実施形態における映像処理装置１１０によれば、入力映像信号の変化量および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。そして、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の変化量に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。そして、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。
【０１５２】
また、入力映像信号に含まれる複数のフレーム画像に基づいて動きベクトルが検出され、この動きベクトルの大きさに基づいて動き特徴値が算出される。そして、この動き特徴値および第１のフレームレートに基づくフレーム画像間の時間間隔に基づいて、入力映像信号の動きの滑らかさを評価するための評価値が算出され、この評価値を利用して入力映像信号の処理を行う第２のフレームレートが決定される。さらに、この第２のフレームレートを用いて入力映像信号の映像処理が行われる。すなわち、第１のフレームレートにしたがって入力された入力映像信号の動きの特徴値に応じて、第１のフレームレートにおける映像の動きの滑らかさが評価されるとともに、この評価を用いて第２のフレームレートが決定される。そして、入力映像信号に対する評価値に基づいて決定された第２のフレームレートを用いて、入力映像信号の映像処理が行われる。
【０１５３】
したがって、動きの滑らかさの評価に応じて決定された第２のフレームレートに基づいて、入力映像信号の映像処理を行うことができる。すなわち、映像の動きの滑らかさに応じてフレームレートを決定させるとともに、映像の動きの滑らかさを保ちながら入力映像信号の映像処理を行うことができる。
【０１５４】
なお、上述した映像処理装置１１０は、例えば、映像取得装置（例えばカメラ）、映像伝送装置、映像符号化装置、または映像復号装置に適用可能である。
【０１５５】
まず、映像処理装置１１０を、映像取得装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像取得装置が映像を取得する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により取得する。
【０１５６】
また、映像処理装置１１０を、映像記憶装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像記憶装置が映像を蓄積する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により蓄積する。
【０１５７】
また、映像処理装置１１０を、映像伝送装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像伝送装置が映像を伝送する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により伝送する。
【０１５８】
また、映像処理装置１１０を、映像符号化装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像符号化装置が映像を符号化する際の最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により符号化する。
【０１５９】
また、映像処理装置１１０を、映像復号装置に適用した場合には、上述した各機能は以下に記載するように機能する。バッファ部１１０１は、サンプリングレート（例えば、３０fps）で入力された入力映像信号１１０４をバッファする。フレームレート決定部１１０２は、バッファ部１１０１から受信した入力映像信号１１０４を用いて、映像復号装置が映像を復号化する際に最適な映像処理フレームレート１１０５（例えば、１５fps）を算出し、映像処理部１１０３に出力する。映像処理部１１０３は、フレームレート決定部１１０２から受信した映像処理フレームレート１１０５（例えば、１５fps）を用いて、バッファ部１１０１に保存されている入力映像信号１１０４をサンプリングする。映像処理部１１０３は、このサンプリングにより得られた処理映像信号１１０６を、映像処理フレームレート１１０５（例えば、１５fps）により復号する。
【０１６０】
最後に、図１３を参照して、コンピュータを上述した映像処理装置１１０として機能させるための映像処理プログラム１３０について説明する。
【０１６１】
図１３に示すように、映像処理プログラム１３０は、処理を統括するメインモジュールプログラム１３０１と、バッファモジュール１３０２と、フレームレート決定モジュール１３０３と、映像処理モジュール１３０４とを有する。バッファモジュール１３０２、フレームレート決定モジュール１３０３および映像処理モジュール１３０４がコンピュータに行わせる機能は、それぞれ上述したバッファ部１１０１、フレームレート決定部１１０２および映像処理部１１０３が有する機能と同様である。
【０１６２】
なお、映像処理プログラム１３０は、例えば、ＣＤ−ＲＯＭ、ＤＶＤもしくはＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、映像処理プログラム１３０は、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであってもよい。
【０１６３】
（本発明の多面性について）
なお、本発明の技術的思想は、以下のように多面的に表される。
（１） 入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、
を備えることを特徴とする映像評価装置。
（２） 前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項１記載の映像評価装置。
（３） 前記変化量は、前記各フレーム画像間における輝度値の差に基づく値であることを特徴とする請求項１または２に記載の映像評価装置。
（４） 前記変化量は、前記各フレーム画像間における動きベクトルであることを特徴とする請求項１または２に記載の映像評価装置。
（５） 前記変化量に基づいて、前記入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記評価値を算出することを特徴とする請求項１記載の映像評価装置。
（６） 前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項５記載の映像評価装置。
（７） 前記変化量は、前記各フレーム画像間における動きベクトルであり、
前記動き特徴値は、前記動きベクトルの大きさに基づいて算出される値であることを特徴とする請求項５または６に記載の映像評価装置。
（８） 第１のフレームレートを発生するフレームレート発生手段と、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段と、
を備えることを特徴とするフレームレート決定装置。
（９） 前記フレームレート決定手段は、前記評価値を、所定の規定値と比較して、前記評価値が前記規定値よりも大きい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも小さくし、前記評価値が前記規定値よりも小さい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも大きくすることを特徴とする請求項８記載のフレームレート決定装置。
（１０） 入力映像信号を記憶するバッファ手段と、
第１のフレームレートを発生するフレームレート発生手段と、
前記入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、
前記第２のフレームレートを用いて、前記バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段と、
を備えることを特徴とする映像処理装置。
（１１） 入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップと、
を備えることを特徴とする映像評価方法。
（１２） コンピュータを、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として
機能させるための映像評価プログラム。
【符号の説明】
【０１６４】
１０・・・映像評価装置、１０１・・・変位量検出部、１０２・・・特徴値算出部、１０３・・・評価値算出部、１０４・・・入力映像信号、１０５・・・フレームレート情報、１０６・・・変位量、１０７・・・動き特徴値、１０８・・・評価値、５０・・・映像評価プログラム、５０２・・・変位量検出モジュール、５０３・・・特徴値算出モジュール、５０４・・・評価値算出モジュール、７０・・・フレームレート決定装置、７０１・・・フレームレート発生部、７０２・・・映像評価部、７０３・・・フレームレート決定部、７０４・・・入力映像信号、７０５・・・第１のフレームレート、７０６・・・評価値、７０７・・・第２のフレームレート、１００・・・フレームレート決定プログラム、１００２・・・フレームレート発生モジュール、１００３・・・映像評価モジュール、１００４・・・フレームレート決定モジュール、１１０・・・映像処理装置、１１０１・・・バッファ部、１１０２・・・フレームレート決定部、１１０３・・・映像処理部、１１０４・・・入力映像信号、１１０５・・・映像処理フレームレート、１１０６・・・処理映像信号、１１０７・・・映像、１３０・・・映像処理プログラム、１３０２・・・バッファモジュール、１３０３・・・フレームレート決定モジュール、１３０４・・・映像処理モジュール、１４０・・・映像評価装置、１４０１・・・変化量検出部、１４０２・・・評価値算出部、１４０３・・・入力映像信号、１４０４・・・フレームレート情報、１４０５・・・変化量、１４０６・・・評価値、１８０・・・映像評価プログラム、１８０２・・・変化量検出モジュール、１８０３・・・評価値算出モジュール。
【特許請求の範囲】
【請求項１】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価装置。
【請求項２】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、動きベクトルに基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価装置。
【請求項３】
前記変化量に基づいて、前記入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記評価値を算出することを特徴とする請求項１または２に記載の映像評価装置。
【請求項４】
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項３記載の映像評価装置。
【請求項５】
前記変化量は、前記各フレーム画像間における動きベクトルであり、
前記動き特徴値は、前記動きベクトルの大きさに基づいて算出される値であることを特徴とする請求項３または４に記載の映像評価装置。
【請求項６】
第１のフレームレートを発生するフレームレート発生手段と、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及び前記第１のフレームレートに基づき算出される
ことを特徴とするフレームレート決定装置。
【請求項７】
前記フレームレート決定手段は、前記評価値を、所定の規定値と比較して、前記評価値が前記規定値よりも大きい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも小さくし、前記評価値が前記規定値よりも小さい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも大きくすることを特徴とする請求項６記載のフレームレート決定装置。
【請求項８】
入力映像信号を記憶するバッファ手段と、
第１のフレームレートを発生するフレームレート発生手段と、
前記入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、
前記第２のフレームレートを用いて、前記バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及び前記第１のフレームレートに基づき算出される
ことを特徴とする映像処理装置。
【請求項９】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップとを有し、
前記評価値算出ステップでは、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価方法。
【請求項１０】
コンピュータを、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として機能させ、
前記評価値算出手段では、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される、
映像評価プログラム。
【請求項１１】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、
を備えることを特徴とする映像評価装置。
【請求項１】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価装置。
【請求項２】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、動きベクトルに基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価装置。
【請求項３】
前記変化量に基づいて、前記入力映像信号の動きの特徴を示す動き特徴値を算出する特徴値算出手段をさらに備え、
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記評価値を算出することを特徴とする請求項１または２に記載の映像評価装置。
【請求項４】
前記評価値算出手段は、前記動き特徴値および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出することを特徴とする請求項３記載の映像評価装置。
【請求項５】
前記変化量は、前記各フレーム画像間における動きベクトルであり、
前記動き特徴値は、前記動きベクトルの大きさに基づいて算出される値であることを特徴とする請求項３または４に記載の映像評価装置。
【請求項６】
第１のフレームレートを発生するフレームレート発生手段と、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定して外部に出力するフレームレート決定手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及び前記第１のフレームレートに基づき算出される
ことを特徴とするフレームレート決定装置。
【請求項７】
前記フレームレート決定手段は、前記評価値を、所定の規定値と比較して、前記評価値が前記規定値よりも大きい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも小さくし、前記評価値が前記規定値よりも小さい場合には、前記第２のフレームレートを、前記第１のフレームレートよりも大きくすることを特徴とする請求項６記載のフレームレート決定装置。
【請求項８】
入力映像信号を記憶するバッファ手段と、
第１のフレームレートを発生するフレームレート発生手段と、
前記入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記第１のフレームレートに対応するフレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出する評価値算出手段と、
前記評価値を用いて、前記入力映像信号の処理を行う第２のフレームレートを決定するフレームレート決定手段と、
前記第２のフレームレートを用いて、前記バッファ手段により記憶されている前記入力映像信号を読み込んで映像処理を行う映像処理手段とを備え、
前記評価値算出手段は、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及び前記第１のフレームレートに基づき算出される
ことを特徴とする映像処理装置。
【請求項９】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出ステップと、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出ステップとを有し、
前記評価値算出ステップでは、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される
ことを特徴とする映像評価方法。
【請求項１０】
コンピュータを、
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段として機能させ、
前記評価値算出手段では、前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記変化量および前記各フレーム画像間の時間間隔に応じた時間変化量を割り出し、当該時間変化量を用いて前記評価値を算出し、
前記変化量は、連続する前記各フレーム画像間における、対応する画素間の輝度値の差に基づき算出される値であり、
前記時間変化量は、前記変化量及びフレームレートに基づき算出される、
映像評価プログラム。
【請求項１１】
入力映像信号に含まれる複数のフレーム画像に基づいて、前記各フレーム画像間における変化の度合いを示す変化量を検出する変化量検出手段と、
前記変化量および前記各フレーム画像間の時間間隔に基づいて、前記入力映像信号の動きの滑らかさに関する評価値を算出して外部に出力する評価値算出手段と、
を備えることを特徴とする映像評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−２６８５２５（Ｐ２０１０−２６８５２５Ａ）
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願番号】特願２０１０−１９２６０９（Ｐ２０１０−１９２６０９）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【分割の表示】特願２００５−２２９６１８（Ｐ２００５−２２９６１８）の分割
【原出願日】平成１７年８月８日（２００５．８．８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２２年１１月２５日（２０１０．１１．２５）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【分割の表示】特願２００５−２２９６１８（Ｐ２００５−２２９６１８）の分割
【原出願日】平成１７年８月８日（２００５．８．８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]