画像処理装置、画像処理方法、及びプログラム
【課題】画像上のオブジェクトの自然な動きを維持したまま、フレームレートを向上させる。
【解決手段】動きベクトル検出部は、複数の画像のうち、第１の画像と、第１の画像とは異なる第２の画像に基づいて、第１の画像上のオブジェクトに対する、第２の画像上のオブジェクトの動きを表す動きベクトルを検出し、補間処理部は、複数の動きベクトルに基づいて、画像上のオブジェクトの加速度を算出し、算出した加速度に基づいて、複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出し、算出したオブジェクト位置にオブジェクトが描画された補間画像を補間する。本開示は、例えば、動画像に対して補間画像を補間する画像処理装置等に適用できる。
【解決手段】動きベクトル検出部は、複数の画像のうち、第１の画像と、第１の画像とは異なる第２の画像に基づいて、第１の画像上のオブジェクトに対する、第２の画像上のオブジェクトの動きを表す動きベクトルを検出し、補間処理部は、複数の動きベクトルに基づいて、画像上のオブジェクトの加速度を算出し、算出した加速度に基づいて、複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出し、算出したオブジェクト位置にオブジェクトが描画された補間画像を補間する。本開示は、例えば、動画像に対して補間画像を補間する画像処理装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像上のオブジェクトの自然な動きを維持したまま、フレームレート（又はフィールドレート）を向上させるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のフレーム（又はフィールド）により構成される動画像に、新たなフレームを補間してフレームレートを向上させるフレーム補間処理が存在する（例えば、特許文献１参照）。
【０００３】
このフレーム補間処理では、例えば、動画像を構成する各フレームのうち、第１のフレーム上のオブジェクトに対する、第２のフレーム上のオブジェクトの動きを表す動きベクトルを検出する。なお、第２のフレームは、第１のフレームに連続する次のフレームを表す。
【０００４】
また、フレーム補間処理では、検出した動きベクトルに基づいて、図１に示されるように、第１のフレーム上のオブジェクトの位置P(x1,yc)と、第２のフレーム上のオブジェクトの位置P(x2,yc)との中間位置P((x1+x2)/2,yc)を算出する。
【０００５】
そして、算出した中間位置P((x1+x2)/2,yc)にオブジェクトを表示するフレームを、補間フレームとして、第１のフレームと第２のフレームとの間に補間し、フレームレートを向上させるようにしている。
【０００６】
なお、第２のフレームと、第２のフレームに連続する次のフレームを表す第３のフレームとの間には、中間位置P((x2+x3)/2,yc)にオブジェクトを表示する補間フレームが補間される。ここで、中間位置P((x2+x3)/2,yc)とは、第２のフレーム上のオブジェクトの位置P(x2,yc)と、第３のフレーム上のオブジェクトの位置P(x3,yc)との中間位置を表す。
【０００７】
また、第３のフレームと、第３のフレームに連続する次のフレームを表す第４のフレームとの間には、中間位置P((x3+x4)/2,yc)にオブジェクトを表示する補間フレームが補間される。ここで、中間位置P((x3+x4)/2,yc)とは、第３のフレーム上のオブジェクトの位置P(x3,yc)と、第４のフレーム上のオブジェクトの位置P(x4,yc)との中間位置を表す。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２８８６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のフレーム補間処理では、オブジェクトの動きに拘らず、例えば、第１のフレームと第２のフレームとの間に補間される補間フレーム上のオブジェクトの位置を、単純に中間位置P((x1+x2)/2,yc)としている。
【００１０】
このため、例えば、オブジェクトが加速度a(≠0)で等加速度運動をしている場合には、実際にオブジェクトがあるべき自然法則上の位置と、フレーム補間処理において算出される補間フレーム上のオブジェクトの位置とが異なるものになる。
【００１１】
したがって、フレーム補間処理後の動画像において、画像上のオブジェクトの動きが非常に不自然なものとなってしまう。
【００１２】
本開示は、このような状況に鑑みてなされたものであり、画像上のオブジェクトの自然な動きを維持したまま、フレームレートを向上させるようにするものである。
【課題を解決するための手段】
【００１３】
本開示の一側面の画像処理装置は、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部とを含む画像処理装置である。
【００１４】
前記第２の算出部には、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出させることができる。
【００１５】
前記第１の算出部には、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出させ、前記第２の算出部には、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出させることができる。
【００１６】
前記第１の算出部には、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出させることができる。
【００１７】
本開示の一側面の画像処理方法は、時間方向に隣接する各画像の間に補間画像を補間する画像処理装置の画像処理方法であって、前記画像処理装置による、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出ステップと、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出ステップと、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出ステップと、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理ステップとを含む画像処理方法である。
【００１８】
本開示の一側面のプログラムは、コンピュータを、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部として機能させるためのプログラムである。
【００１９】
本開示によれば、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルが検出され、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度が算出され、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置が算出され、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像が補間される。
【発明の効果】
【００２０】
本開示によれば、画像上のオブジェクトの自然な動きを維持したまま、フレームレートを向上させることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】従来のフレーム補間処理を説明するための図である。
【図２】本開示における画像処理装置の構成例を示すブロック図である。
【図３】初速度及び加速度を算出する算出方法の一例を説明するための図である。
【図４】補間フレームに表示されるオブジェクトの位置を決定する決定方法の一例を示す図である。
【図５】画像処理装置が行う補間処理を説明するためのフローチャートである。
【図６】X軸方向及びY軸方向のいずれの位置も変化するオブジェクトの一例を示す図である。
【図７】オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合の一例を示す図である。
【図８】オブジェクトの動きに応じて、オブジェクトの位置を決定する場合の一例を示す図である。
【図９】加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線の一例を示す図である。
【図１０】加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線L(a≠0)の一例を示す図である。
【図１１】加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線M(a≠0)の一例を示す図である。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（画像上のオブジェクトの加速度に応じて、補間される補間フレーム上のオブジェクトの位置を算出する場合の一例）
２．変形例
【００２３】
＜１．本実施の形態＞
[画像処理装置２１の構成例]
図２は、本開示における画像処理装置２１の構成例を示している。
【００２４】
なお、この画像処理装置２１は、例えば、画像上のオブジェクトの自然な動きを維持したままフレームレートを向上させるものである。
【００２５】
画像処理装置２１は、フレームメモリ４１、動きベクトル検出部４２、補間処理部４３、制御部４４、及び操作部４５から構成される。
【００２６】
画像処理装置２１には、外部から、複数のフレーム（又はフィールド）により構成される動画像が入力される。すなわち、フレームメモリ４１、動きベクトル検出部４２、及び補間処理部４３には、適宜、外部からn番目に入力されたフレームnが供給される。
【００２７】
フレームメモリ４１は、外部からのフレームnを、１フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。また、フレームメモリ４１は、外部からのフレームnを、２フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００２８】
すなわち、例えば、動きベクトル検出部４２及び補間処理部４３に対して、外部からのフレームnが供給されるときに、フレームメモリ４１は、フレームn-1及びフレームn-2を、動きベクトル検出部４２及び補間処理部４３に供給する。
【００２９】
動きベクトル検出部４２は、例えば、フレームメモリ４１からのフレームn-1及びフレームn-2に基づいて、ブロックマッチング等により、フレームn-2上のオブジェクトに対する、フレームn-1上のオブジェクトの動きを表す動きベクトルMV(n-2,n-1)を検出する。
【００３０】
また、例えば、動きベクトル検出部４２は、外部からのフレームn、及びフレームメモリ４１からのフレームn-1に基づいて、ブロックマッチング等により、フレームn-1上のオブジェクトに対する、フレームn上のオブジェクトの動きを表す動きベクトルMV(n-1,n)を検出する。
【００３１】
そして、動きベクトル検出部４２は、検出した動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)を、補間処理部４３に供給する。
【００３２】
補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)に基づいて、フレームn上のオブジェクトの初速度v0及び加速度aを算出する。
【００３３】
なお、フレームnにおいて、水平方向をX方向とし、垂直方向をY方向とした場合、初速度v0は、X成分としてのv0xと、Y成分としてのv0yとに分解される。また、加速度aは、X成分としてのaxと、Y成分としてのayとに分解される。
【００３４】
補間処理部４３は、算出した初速度v0x及び加速度axを、次式（１）に適用して、フレームn-1とフレームnとの間に補間されて時刻tで表示される補間フレームf(n-1,n)上のオブジェクトの変位量dxを算出する。
dx = v0x×t + ax/2×t2 ・・・（１）
【００３５】
ここで、変位量dxとは、例えば、時刻t=0におけるフレーム上のオブジェクトの位置(x0,y0)のx0を基準位置x0とした場合、基準位置x0に対する、補間フレームf(n-1,n)上のオブジェクトの位置(x,y)におけるxの変位量（変化量）をいう。
【００３６】
補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のx(=x0+dx)を算出する。
【００３７】
また、同様にして、補間処理部４３は、算出した初速度v0y及び加速度ayを、次式（２）に適用して、フレームn-1とフレームnとの間に補間されて時刻tで表示される補間フレームf(n-1,n)上のオブジェクトの変位量dyを算出する。
dy = v0y×t + ay/2×t2 ・・・（２）
【００３８】
ここで、変位量dyとは、例えば、時刻t=0におけるフレーム上のオブジェクトの位置(x0,y0)のy0を基準位置y0とした場合、基準位置y0に対する、補間フレームf(n-1,n)上のオブジェクトの位置(x,y)におけるyの変位量（変化量）をいう。
【００３９】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のy(=y0+dy)を算出する。
【００４０】
また、補間処理部４３は、外部からのフレームnと、フレームメモリ４１からのフレームn-1に基づいて、式（１）及び式（２）により算出した位置（x,y）にオブジェクトが表示（描画）される補間フレームf(n-1,n)を生成する。そして、補間処理部４３は、生成した補間フレームf(n-1,n)を、フレームn-1とフレームnとの間に補間する。
【００４１】
補間処理部４３は、補間フレームf(n-1,n)を生成した補間した場合と同様にして、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、補間フレームf(n-2,n-1)を生成し、フレームn-2とフレームn-1との間に補間する。
【００４２】
補間処理部４３は、補間フレームを補間後の動画像を出力する。
【００４３】
制御部４４は、例えば、操作部４５からの操作信号に応じて、フレームメモリ４１、動きベクトル検出部４２、及び補間処理部４３を制御する。
【００４４】
操作部４５は、例えば操作ボタン等からなり、ユーザに操作されたことに対応して、対応する操作信号を制御部４４に供給する。
【００４５】
[初速度v0及び加速度aの算出方法]
次に、図３を参照して、初速度v0及び加速度aを算出する算出方法の一例を説明する。
【００４６】
図３Aには、位置P(x1,yc)にオブジェクトが表示されるフレームn-2が示されている。なお、位置P(x1,yc)は、フレームn-2における左下の位置を原点(0,0)とし、水平方向をX軸とし、垂直方向をY軸としたXY軸により表される。このことは、図３B乃至図３D及び図４の他、後述する図６乃至図８についても同様である。
【００４７】
また、図３Aに示されるフレームn-2が表示される時刻tは、式（１）及び（２）において０とされる。すなわち、フレームn-2上のオブジェクトの位置P(x1,yc)が基準位置、つまり、X軸方向の基準位置x0=x1とされ、X軸方向の基準位置y0=ycとされる。
【００４８】
図３Bには、位置P(x2,yc)にオブジェクトが表示されるフレームn-1が示されている。図３Cには、位置P(x3,yc)にオブジェクトが表示されるフレームnが示されている。図３Dには、位置P(x4,yc)にオブジェクトが表示されるフレームn+1が示されている。
【００４９】
動きベクトル検出部４２は、図３A及び図３Bに示されるように、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、位置P(x1,yc)を始点とし、位置P(x2,yc)を終点とする動きベクトルMV(n-2,n-1)を検出して、補間処理部４３に供給する。
【００５０】
また、動きベクトル検出部４２は、図３B及び図３Cに示されるように、フレームメモリ４１からのフレームn-1、及び外部からのフレームnに基づいて、位置P(x2,yc)を始点とし、位置P(x3,yc)を終点とする動きベクトルMV(n-1,n)を検出して、補間処理部４３に供給する。
【００５１】
補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)に基づいて、始点としての位置P(x1,yc)から、終点としての位置P(x2,yc)までの距離として、例えば、X軸方向の距離Dx(n-2,n-1)(=|x1-x2|)及びY軸方向の距離Dy(n-2,n-1)(=|yc-yc|)を算出する。
【００５２】
そして、補間処理部４３は、算出した距離Dx(n-2,n-1)を、予め決められた時間Tで除算して、フレームn-1上のオブジェクトにおけるX軸方向の速度v0x(=Dx(n-2,n-1)/T)を、初速度v0のX成分として算出する。
【００５３】
ここで、時間Tとは、外部から入力される動画像において、フレーム（例えば、フレームn-2）を表示したときから次のフレーム（例えば、フレームn-1）を表示するまでに要する時間をいう。
【００５４】
また、補間処理部４３は、算出した距離Dy(n-2,n-1)を、予め決められた時間Tで除算して、フレームn-1上のオブジェクトにおけるY軸方向の速度v0y(=Dy(n-2,n-1)/T)を、初速度v0のY成分として算出する。
【００５５】
さらに、補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-1,n)に基づいて、始点としての位置P(x2,yc)から、終点としての位置P(x3,yc)までの距離として、例えば、X軸方向の距離Dx(n-1,n)(=|x2-x3|)及びY軸方向の距離Dy(n-1,n)(=|yc-yc|)を算出する。
【００５６】
そして、補間処理部４３は、同様にして、フレームn上のオブジェクトにおける速度v1として、X軸方向の速度v1x(=Dx(n-1,n)/T)及びY軸方向の速度v1y(=Dy(n-1,n)/T)を算出する。
【００５７】
補間処理部４３は、算出した速度v0及び速度v1と、予め決められた時間Tに基づいて、オブジェクトの加速度a(=(v1-v0)/T)を算出する。すなわち、例えば、補間処理部４３は、加速度aとして、X軸方向の加速度ax(=(v1x-v0x)/T)及びY軸方向の加速度ay(=(v1y-v0y)/T)を算出する。ここで、例えば、図３に示されるように、Y軸方向におけるオブジェクトの位置ycが一定である場合、補間フレーム上のオブジェクトにおけるY軸方向の位置は位置ycとなる。したがって、この場合、Y軸方向の位置はすでに決定されているので、例えば、補間処理部４３は、X軸方向の加速度ax(=(v1x-v0x)/T)のみを算出して、算出した加速度axから、X軸方向のオブジェクトの位置を決定するようにしてもよい。
【００５８】
なお、補間処理部４３は、上述のように、動きベクトル検出部４２からの動きベクトルMV(n-1,n)及び動きベクトルMV(n-2,n-1)に基づいて、初速度v0及び加速度aを算出するようにした。
【００５９】
しかしながら、その他、例えば、動きベクトル検出部４２において、図３Dに示されるようなフレームn+1も用いるようにして動きベクトルMV(n,n+1)を検出し、補間処理部４３において、動きベクトルMV(n,n+1)も用いるようにして、初速度v0及び加速度aの算出精度を向上させるようにしてもよい。
【００６０】
この場合、フレームメモリ４１は、外部からのフレームを、１フレーム分及び２フレーム分だけ遅延させる他、３フレーム分だけ遅延させて出力することとなる。
【００６１】
[オブジェクトの位置の決定方法]
次に、図４は、補間フレームf(n-1,n)に表示されるオブジェクトの位置を決定する決定方法の一例を示している。
【００６２】
補間処理部４３は、補間フレームf(n-2,n-1)上のオブジェクトの位置として、例えば、図４Aに示されるように、フレームn-2上のオブジェクトの位置P(x1,yc)と、フレームn-1上のオブジェクトの位置P(x2,yc)との中間位置P((x1+x2)/2,yc)を算出することはしない。
【００６３】
すなわち、例えば、補間処理部４３は、図４Bに示されるように、オブジェクトの加速度aに応じた位置を、補間フレーム上のオブジェクトの位置に決定する。
【００６４】
具体的には、例えば、補間処理部４３は、算出した初速度v0X及び加速度aXを、式（１）に適用して、補間フレームf(n-2,n-1)上のオブジェクトの変位量dxを算出する。
【００６５】
補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-2,n-1)上のオブジェクトのX軸方向の位置X1(=x0+dx)を算出する。
【００６６】
また、例えば、補間処理部４３は、算出した初速度v0y及び加速度ayを、式（２）に適用して、補間フレームf(n-2,n-1)上のオブジェクトの変位量dyを算出する。
【００６７】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-2,n-1)上のオブジェクトのY軸方向の位置yc(=y0+dy)を算出する。
【００６８】
そして、補間処理部４３は、算出したX軸方向の位置X1及びY軸方向の位置ycからなる位置P(X1,yc)を、補間フレームf(n-2,n-1)上のオブジェクトの位置に決定する。
【００６９】
補間処理部４３は、同様にして、補間フレームf(n-1,n)上のオブジェクトの位置P(X2,yc)、及び補間フレームf(n,n+1)上のオブジェクトの位置P(X3,yc)を決定する。
【００７０】
これにより、本実施の形態では、図４Aに示されるように、単純に、フレーム上のオブジェクトの位置を中間位置とする場合とは異なり、図４Bに示されるように、オブジェクトの位置が、オブジェクトの加速度aに応じた自然な位置とされる。つまり、フレーム上のオブジェクトの位置は、自然法則にしたがって移動するオブジェクトの位置とされる。
【００７１】
[画像処理装置２１の動作説明]
次に、図５のフローチャートを参照して、画像処理装置２１が行う補間処理について説明する。
【００７２】
この補間処理は、例えば、外部から画像処理装置２１に対して、動画像（を構成するフレーム）が入力されたときに開始される。
【００７３】
ステップＳ２１において、フレームメモリ４１は、外部からのフレームnを１フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００７４】
ステップＳ２２において、フレームメモリ４１は、外部からのフレームnを２フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００７５】
すなわち、例えば、動きベクトル検出部４２及び補間処理部４３に、外部からフレームnが供給される場合、ステップＳ２１及びステップＳ２２の処理において、フレームメモリ４１から動きベクトル検出部４２及び補間処理部４３に対して、フレームn-2及びフレームn-1が供給される。
【００７６】
ステップＳ２３において、動きベクトル検出部４２は、フレームメモリ４１からのフレームn-1及びフレームn-2に基づいて、ブロックマッチング等により、フレームn-2上のオブジェクトに対する、フレームn-1上のオブジェクトの動きを表す動きベクトルMV(n-2,n-1)を検出する。
【００７７】
また、動きベクトル検出部４２は、外部からのフレームn、及びフレームメモリ４１からのフレームn-1に基づいて、ブロックマッチング等により、フレームn-1上のオブジェクトに対する、フレームn上のオブジェクトの動きを表す動きベクトルMV(n-1,n)を検出する。
【００７８】
そして、動きベクトル検出部４２は、検出した動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)を、補間処理部４３に供給する。
【００７９】
ステップＳ２４において、補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)に基づいて、フレームn上のオブジェクトの初速度v0及び加速度aを算出する。
【００８０】
なお、初速度v0は、X成分であるv0xとY成分であるv0yとに分解される。また、加速度aは、X成分であるaxとY成分であるayとに分解される。
【００８１】
ステップＳ２５では、補間処理部４３は、算出した初速度v0x及び加速度axに式（１）を適用して、補間フレームf(n-1,n)上のオブジェクトの変位量dxを算出する。
【００８２】
そして、補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のx(=x0+dx)を算出する。
【００８３】
また、同様にして、補間処理部４３は、算出した初速度v0y及び加速度ayを、次式（２）に適用して、補間フレームf(n-1,n)上のオブジェクトの変位量dyを算出する。
【００８４】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のy(=y0+dy)を算出する。
【００８５】
ステップＳ２６では、補間処理部４３は、外部からのフレームnと、フレームメモリ４１からのフレームn-1に基づいて、式（１）及び式（２）により算出した位置（x,y）にオブジェクトが表示（描画）される補間フレームf(n-1,n)を生成する。そして、補間処理部４３は、生成した補間フレームf(n-1,n)を、フレームn-1とフレームnとの間に補間する。
【００８６】
なお、補間処理部４３は、ステップＳ２５及びステップＳ２６において、補間フレームf(n-1,n)を生成して補間した場合と同様にして、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、補間フレームf(n-2,n-1)を生成し、フレームn-2とフレームn-1との間に補間する。
【００８７】
補間処理部４３は、補間フレームを補間後の動画像を出力する。そして、補間処理部４３において、外部から入力された動画像を構成する各フレーム全てに対して処理が行われた後、補間処理は終了される。
【００８８】
以上説明したように、補間処理では、オブジェクトの加速度aに応じた位置を算出し、その位置にオブジェクトを表示する補間フレームを生成するようにした。
【００８９】
このため、補間処理では、オブジェクトの自然な動きを維持したまま、フレームレートを向上させることが可能となる。
【００９０】
次に、図６乃至図８を参照して、X軸方向及びY軸方向のいずれの位置も変化するオブジェクトを対象として、補間フレーム上のオブジェクトの位置を決定する場合について説明する。
【００９１】
図６は、X軸方向及びY軸方向のいずれの位置も変化するオブジェクトの一例を示している。図６において、位置P(x1,y1)は、フレームn-2上のオブジェクトの位置を、位置P(x2,y2)は、フレームn-1上のオブジェクトの位置を、位置P(x3,y3)は、フレームn上のオブジェクトの位置を、位置P(x4,y4)は、フレームn+1上のオブジェクトの位置をそれぞれ表している。
【００９２】
次に、図７及び図８を参照して、補間フレーム上のオブジェクトの位置を、単純に中間位置に決定した場合と、オブジェクトの加速度aに応じて決定した場合との違いを説明する。
【００９３】
図７は、従来のように、オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合の一例を示している。
【００９４】
図７Aには、動画像を構成する各フレーム上のオブジェクトの位置P(x1,y1),P(x2,y2),P(x3,y3),P(x4,y4)から算出される中間位置(図７Aにおいて点線で示される丸印)を、補間フレーム上のオブジェクトの位置に決定する様子の一例が示されている。
【００９５】
図７Bは、動画像を構成する各フレーム上のオブジェクトの位置P(x2,y2)と位置P(x3,y3)との中間位置P((x2+x3)/2,(y2+y3)/2)の一例を示している。
【００９６】
図８は、オブジェクトの加速度aに応じて、オブジェクトの位置を決定する場合の一例を示している。
【００９７】
図８Aには、式（１）及び式（２）等を用いて算出される位置(図８Aにおいて点線で示される丸印)を、補間フレーム上のオブジェクトの位置に決定する様子の一例が示されている。
【００９８】
図８Bは、動画像を構成する各フレーム上のオブジェクトの位置P(x2,y2)と位置P(x3,y3)との間の位置として、式（１）及び式（２）等を用いて算出される位置P(X,Y)の一例を示している。この位置P(X,Y)は、自然法則にしたがって放物線を描くオブジェクトの動きに応じた位置とされる。
【００９９】
図７に示されるように、オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合、オブジェクトの軌道が正しく補間されず、不自然なものとなる。
【０１００】
これに対して、図８に示されるように、オブジェクトの動きに応じて、オブジェクトの位置を決定する場合には、オブジェクトの軌道が、オブジェクトの加速度aに従って補間されるため、自然なものとなる。
【０１０１】
＜２．変形例＞
本実施の形態では、動きベクトル検出部４２は、１フレーム分だけ異なる２フレームを用いて、動きベクトルを検出するようにしたが、その他、例えば、複数のフレーム分だけ異なる２フレームを用いて、動きベクトルを検出するようにしてもよい。
【０１０２】
具体的には、例えば、動きベクトル検出部４２は、フレームn-2とフレームnとを用いて、動きベクトルMV(n-2,n)を算出し、フレームnとフレームn+2とを用いて、動きベクトルMV(n,n+2)を算出するようにしてもよい。
【０１０３】
この場合、補間処理部４３において、動きベクトルMV(n-2,n)と動きベクトルMV(n,n+2)とを用いて、初速度v0及び加速度aが算出され、算出された初速度v0及び加速度aに基づいて、補間フレーム上のオブジェクトの位置が決定される。
【０１０４】
本実施の形態では、補間処理部４３は、算出した初速度v0及び加速度aを、式（１）及び式（２）に適用するようにして、補間フレーム上のオブジェクトの位置を決定するようにした。しかしながら、その他、例えば、補間処理部４３は、予め決められた複数の補間曲線のうち、算出した加速度aに対応する補間曲線を用いて、補間フレーム上のオブジェクトの位置を決定するようにしてもよい。
【０１０５】
なお、複数の補間曲線は、異なる加速度毎に、例えば、補間処理部４３が内蔵する図示せぬメモリ等に予め保持されているものとする。
【０１０６】
[補間曲線の一例]
次に、図９乃至図１１を参照して、補間フレーム上のオブジェクトの位置を決定する際に用いる補間曲線の一例を示している。
【０１０７】
図９は、加速度a=0でX軸方向に等加速度運動（等速直線運動）をするオブジェクトの位置を表す補間曲線の一例を示している。
【０１０８】
なお、図９において、横軸はフレームが表示されるときの時刻を表し、縦軸はフレーム上のオブジェクトのX軸方向の位置を表す。
【０１０９】
補間曲線L(a=0)は、図９に示されるように、フレームAとフレームBとの間に補間される補間フレームf1,f2,f3,f4上のオブジェクトの位置P1,P2,P3,P4を示している。
【０１１０】
この位置P1,P2,P3,P4は、フレームA上のオブジェクトの位置P0と、フレームB上のオブジェクトの位置P5により相対的に決定されるものであり、加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を示している。
【０１１１】
補間曲線L(a=0)は、フレームAからフレームBまでの間において、オブジェクトの動きをより滑らかにするために、補間フレームf1乃至f4を補間する際に用いられる。
【０１１２】
補間曲線M(a=0)は、図９に示されるように、フレームAとフレームBとの間に補間される補間フレームf1,f2,f3,f4上のオブジェクトの位置P1',P2',P3',P4'を示している。
【０１１３】
この位置P1',P2',P3',P4'は、フレームA上のオブジェクトの位置P0と、フレームB上のオブジェクトの位置P5により相対的に決定されるものであり、加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を示している。
【０１１４】
補間曲線M(a=0)は、フレームAからフレームBまでの間において、オブジェクトの動きにジャダーを生じさせるようにして、補間フレームf1乃至f4を補間する際に用いられる。なお、補間曲線M(a=0)は、例えば、元のフレームA,Bに生じているジャダーを残すようにして、補間フレームを補間する場合に用いられる。
【０１１５】
次に、図１０は、加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線L(a≠0)の一例を示している。
【０１１６】
補間処理部４３は、図示せぬ内蔵のメモリ等に、例えば、図１０に示されるような複数の補間曲線を、異なる加速度aそれぞれに対応付けて保持している。
【０１１７】
なお、図１０では、右方向に記載の補間曲線Lほど、より大きな加速度aに対応付けられており、左方向に記載の補間曲線Lほど、より小さな加速度aに対応付けられているものとする。また、図１０において、補間曲線Lは、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示している。
【０１１８】
したがって、例えば、補間処理部４３は、算出した加速度aが大である程に、図中、右方向の補間曲線L(a>0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１１９】
また、例えば、補間処理部４３は、加速度aが小となる程に、図中、左方向の補間曲線L(a<0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置(x,y)を決定することとなる。
【０１２０】
なお、図１０では、補間曲線Lにおいて、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示すようにしている。しかしながら、その他、例えば、加速度ax毎に、加速度axに対応するオブジェクトの位置xを示す第１の補間曲線Lと、加速度ay毎に、加速度ayに対応するオブジェクトの位置yを示す第２の補間曲線Lとを用意するようにしてもよい。
【０１２１】
この場合、補間処理部４３は、X軸方向の加速度axを用いて、第１の補間曲線Lにより、オブジェクトの位置xを決定し、Y軸方向の加速度ayを用いて、第２の補間曲線Lにより、オブジェクトの位置yを決定することとなる。なお、このことは、後述する図１１においても同様のことが言える。
【０１２２】
次に、図１１は、加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線M(a≠0)の一例を示している。
【０１２３】
補間処理部４３は、図示せぬ内蔵のメモリ等に、例えば、図１１に示されるような複数の補間曲線を、異なる加速度aそれぞれに対応付けて保持している。
【０１２４】
なお、図１１では、右方向に記載の補間曲線Mほど、より大きな加速度aに対応付けられており、左方向に記載の補間曲線Mほど、より小さな加速度aに対応付けられているものとする。また、図１１において、補間曲線Mは、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示している。
【０１２５】
したがって、例えば、補間処理部４３は、算出した加速度aが大である程に、図中、右方向の補間曲線M(a>0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１２６】
また、例えば、補間処理部４３は、加速度aが小となる程に、図中、左方向の補間曲線M(a<0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１２７】
補間処理部４３は、図９乃至図１１を参照して説明したようにして、補間フレームf1乃至f4上のオブジェクトの位置を決定する場合には、式（１）及び式（２）等による計算をする必要がない。このため、より迅速に、補間フレームf1乃至f4上のオブジェクトの位置を決定することが可能となる。
【０１２８】
なお、画像処理装置２１は、例えば、テレビジョン受像機やハードディスクレコーダ等として機能させることができる。
【０１２９】
また、本技術は以下のような構成もとることができる。
（１）複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部とを含む画像処理装置。
（２）前記第２の算出部は、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出する前記（１）に記載の画像処理装置。
（３）前記第１の算出部は、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出し、前記第２の算出部は、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出する前記（１）に記載の画像処理装置。
（４）前記第１の算出部は、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出する前記（１）乃至（３）に記載の画像処理装置。
【０１３０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３１】
[コンピュータの構成例]
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３２】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１３３】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１３４】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インタネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１３５】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１３６】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１３７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１３８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
また、本開示は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４０】
２１ 画像処理装置， ４１ フレームメモリ， ４２ 動きベクトル検出部， ４３ 補間処理部， ４４ 制御部， ４５ 操作部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、画像上のオブジェクトの自然な動きを維持したまま、フレームレート（又はフィールドレート）を向上させるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のフレーム（又はフィールド）により構成される動画像に、新たなフレームを補間してフレームレートを向上させるフレーム補間処理が存在する（例えば、特許文献１参照）。
【０００３】
このフレーム補間処理では、例えば、動画像を構成する各フレームのうち、第１のフレーム上のオブジェクトに対する、第２のフレーム上のオブジェクトの動きを表す動きベクトルを検出する。なお、第２のフレームは、第１のフレームに連続する次のフレームを表す。
【０００４】
また、フレーム補間処理では、検出した動きベクトルに基づいて、図１に示されるように、第１のフレーム上のオブジェクトの位置P(x1,yc)と、第２のフレーム上のオブジェクトの位置P(x2,yc)との中間位置P((x1+x2)/2,yc)を算出する。
【０００５】
そして、算出した中間位置P((x1+x2)/2,yc)にオブジェクトを表示するフレームを、補間フレームとして、第１のフレームと第２のフレームとの間に補間し、フレームレートを向上させるようにしている。
【０００６】
なお、第２のフレームと、第２のフレームに連続する次のフレームを表す第３のフレームとの間には、中間位置P((x2+x3)/2,yc)にオブジェクトを表示する補間フレームが補間される。ここで、中間位置P((x2+x3)/2,yc)とは、第２のフレーム上のオブジェクトの位置P(x2,yc)と、第３のフレーム上のオブジェクトの位置P(x3,yc)との中間位置を表す。
【０００７】
また、第３のフレームと、第３のフレームに連続する次のフレームを表す第４のフレームとの間には、中間位置P((x3+x4)/2,yc)にオブジェクトを表示する補間フレームが補間される。ここで、中間位置P((x3+x4)/2,yc)とは、第３のフレーム上のオブジェクトの位置P(x3,yc)と、第４のフレーム上のオブジェクトの位置P(x4,yc)との中間位置を表す。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２８８６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述のフレーム補間処理では、オブジェクトの動きに拘らず、例えば、第１のフレームと第２のフレームとの間に補間される補間フレーム上のオブジェクトの位置を、単純に中間位置P((x1+x2)/2,yc)としている。
【００１０】
このため、例えば、オブジェクトが加速度a(≠0)で等加速度運動をしている場合には、実際にオブジェクトがあるべき自然法則上の位置と、フレーム補間処理において算出される補間フレーム上のオブジェクトの位置とが異なるものになる。
【００１１】
したがって、フレーム補間処理後の動画像において、画像上のオブジェクトの動きが非常に不自然なものとなってしまう。
【００１２】
本開示は、このような状況に鑑みてなされたものであり、画像上のオブジェクトの自然な動きを維持したまま、フレームレートを向上させるようにするものである。
【課題を解決するための手段】
【００１３】
本開示の一側面の画像処理装置は、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部とを含む画像処理装置である。
【００１４】
前記第２の算出部には、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出させることができる。
【００１５】
前記第１の算出部には、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出させ、前記第２の算出部には、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出させることができる。
【００１６】
前記第１の算出部には、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出させることができる。
【００１７】
本開示の一側面の画像処理方法は、時間方向に隣接する各画像の間に補間画像を補間する画像処理装置の画像処理方法であって、前記画像処理装置による、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出ステップと、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出ステップと、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出ステップと、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理ステップとを含む画像処理方法である。
【００１８】
本開示の一側面のプログラムは、コンピュータを、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部として機能させるためのプログラムである。
【００１９】
本開示によれば、複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルが検出され、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度が算出され、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置が算出され、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像が補間される。
【発明の効果】
【００２０】
本開示によれば、画像上のオブジェクトの自然な動きを維持したまま、フレームレートを向上させることが可能となる。
【図面の簡単な説明】
【００２１】
【図１】従来のフレーム補間処理を説明するための図である。
【図２】本開示における画像処理装置の構成例を示すブロック図である。
【図３】初速度及び加速度を算出する算出方法の一例を説明するための図である。
【図４】補間フレームに表示されるオブジェクトの位置を決定する決定方法の一例を示す図である。
【図５】画像処理装置が行う補間処理を説明するためのフローチャートである。
【図６】X軸方向及びY軸方向のいずれの位置も変化するオブジェクトの一例を示す図である。
【図７】オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合の一例を示す図である。
【図８】オブジェクトの動きに応じて、オブジェクトの位置を決定する場合の一例を示す図である。
【図９】加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線の一例を示す図である。
【図１０】加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線L(a≠0)の一例を示す図である。
【図１１】加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線M(a≠0)の一例を示す図である。
【図１２】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、本開示における実施の形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．本実施の形態（画像上のオブジェクトの加速度に応じて、補間される補間フレーム上のオブジェクトの位置を算出する場合の一例）
２．変形例
【００２３】
＜１．本実施の形態＞
[画像処理装置２１の構成例]
図２は、本開示における画像処理装置２１の構成例を示している。
【００２４】
なお、この画像処理装置２１は、例えば、画像上のオブジェクトの自然な動きを維持したままフレームレートを向上させるものである。
【００２５】
画像処理装置２１は、フレームメモリ４１、動きベクトル検出部４２、補間処理部４３、制御部４４、及び操作部４５から構成される。
【００２６】
画像処理装置２１には、外部から、複数のフレーム（又はフィールド）により構成される動画像が入力される。すなわち、フレームメモリ４１、動きベクトル検出部４２、及び補間処理部４３には、適宜、外部からn番目に入力されたフレームnが供給される。
【００２７】
フレームメモリ４１は、外部からのフレームnを、１フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。また、フレームメモリ４１は、外部からのフレームnを、２フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００２８】
すなわち、例えば、動きベクトル検出部４２及び補間処理部４３に対して、外部からのフレームnが供給されるときに、フレームメモリ４１は、フレームn-1及びフレームn-2を、動きベクトル検出部４２及び補間処理部４３に供給する。
【００２９】
動きベクトル検出部４２は、例えば、フレームメモリ４１からのフレームn-1及びフレームn-2に基づいて、ブロックマッチング等により、フレームn-2上のオブジェクトに対する、フレームn-1上のオブジェクトの動きを表す動きベクトルMV(n-2,n-1)を検出する。
【００３０】
また、例えば、動きベクトル検出部４２は、外部からのフレームn、及びフレームメモリ４１からのフレームn-1に基づいて、ブロックマッチング等により、フレームn-1上のオブジェクトに対する、フレームn上のオブジェクトの動きを表す動きベクトルMV(n-1,n)を検出する。
【００３１】
そして、動きベクトル検出部４２は、検出した動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)を、補間処理部４３に供給する。
【００３２】
補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)に基づいて、フレームn上のオブジェクトの初速度v0及び加速度aを算出する。
【００３３】
なお、フレームnにおいて、水平方向をX方向とし、垂直方向をY方向とした場合、初速度v0は、X成分としてのv0xと、Y成分としてのv0yとに分解される。また、加速度aは、X成分としてのaxと、Y成分としてのayとに分解される。
【００３４】
補間処理部４３は、算出した初速度v0x及び加速度axを、次式（１）に適用して、フレームn-1とフレームnとの間に補間されて時刻tで表示される補間フレームf(n-1,n)上のオブジェクトの変位量dxを算出する。
dx = v0x×t + ax/2×t2 ・・・（１）
【００３５】
ここで、変位量dxとは、例えば、時刻t=0におけるフレーム上のオブジェクトの位置(x0,y0)のx0を基準位置x0とした場合、基準位置x0に対する、補間フレームf(n-1,n)上のオブジェクトの位置(x,y)におけるxの変位量（変化量）をいう。
【００３６】
補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のx(=x0+dx)を算出する。
【００３７】
また、同様にして、補間処理部４３は、算出した初速度v0y及び加速度ayを、次式（２）に適用して、フレームn-1とフレームnとの間に補間されて時刻tで表示される補間フレームf(n-1,n)上のオブジェクトの変位量dyを算出する。
dy = v0y×t + ay/2×t2 ・・・（２）
【００３８】
ここで、変位量dyとは、例えば、時刻t=0におけるフレーム上のオブジェクトの位置(x0,y0)のy0を基準位置y0とした場合、基準位置y0に対する、補間フレームf(n-1,n)上のオブジェクトの位置(x,y)におけるyの変位量（変化量）をいう。
【００３９】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のy(=y0+dy)を算出する。
【００４０】
また、補間処理部４３は、外部からのフレームnと、フレームメモリ４１からのフレームn-1に基づいて、式（１）及び式（２）により算出した位置（x,y）にオブジェクトが表示（描画）される補間フレームf(n-1,n)を生成する。そして、補間処理部４３は、生成した補間フレームf(n-1,n)を、フレームn-1とフレームnとの間に補間する。
【００４１】
補間処理部４３は、補間フレームf(n-1,n)を生成した補間した場合と同様にして、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、補間フレームf(n-2,n-1)を生成し、フレームn-2とフレームn-1との間に補間する。
【００４２】
補間処理部４３は、補間フレームを補間後の動画像を出力する。
【００４３】
制御部４４は、例えば、操作部４５からの操作信号に応じて、フレームメモリ４１、動きベクトル検出部４２、及び補間処理部４３を制御する。
【００４４】
操作部４５は、例えば操作ボタン等からなり、ユーザに操作されたことに対応して、対応する操作信号を制御部４４に供給する。
【００４５】
[初速度v0及び加速度aの算出方法]
次に、図３を参照して、初速度v0及び加速度aを算出する算出方法の一例を説明する。
【００４６】
図３Aには、位置P(x1,yc)にオブジェクトが表示されるフレームn-2が示されている。なお、位置P(x1,yc)は、フレームn-2における左下の位置を原点(0,0)とし、水平方向をX軸とし、垂直方向をY軸としたXY軸により表される。このことは、図３B乃至図３D及び図４の他、後述する図６乃至図８についても同様である。
【００４７】
また、図３Aに示されるフレームn-2が表示される時刻tは、式（１）及び（２）において０とされる。すなわち、フレームn-2上のオブジェクトの位置P(x1,yc)が基準位置、つまり、X軸方向の基準位置x0=x1とされ、X軸方向の基準位置y0=ycとされる。
【００４８】
図３Bには、位置P(x2,yc)にオブジェクトが表示されるフレームn-1が示されている。図３Cには、位置P(x3,yc)にオブジェクトが表示されるフレームnが示されている。図３Dには、位置P(x4,yc)にオブジェクトが表示されるフレームn+1が示されている。
【００４９】
動きベクトル検出部４２は、図３A及び図３Bに示されるように、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、位置P(x1,yc)を始点とし、位置P(x2,yc)を終点とする動きベクトルMV(n-2,n-1)を検出して、補間処理部４３に供給する。
【００５０】
また、動きベクトル検出部４２は、図３B及び図３Cに示されるように、フレームメモリ４１からのフレームn-1、及び外部からのフレームnに基づいて、位置P(x2,yc)を始点とし、位置P(x3,yc)を終点とする動きベクトルMV(n-1,n)を検出して、補間処理部４３に供給する。
【００５１】
補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)に基づいて、始点としての位置P(x1,yc)から、終点としての位置P(x2,yc)までの距離として、例えば、X軸方向の距離Dx(n-2,n-1)(=|x1-x2|)及びY軸方向の距離Dy(n-2,n-1)(=|yc-yc|)を算出する。
【００５２】
そして、補間処理部４３は、算出した距離Dx(n-2,n-1)を、予め決められた時間Tで除算して、フレームn-1上のオブジェクトにおけるX軸方向の速度v0x(=Dx(n-2,n-1)/T)を、初速度v0のX成分として算出する。
【００５３】
ここで、時間Tとは、外部から入力される動画像において、フレーム（例えば、フレームn-2）を表示したときから次のフレーム（例えば、フレームn-1）を表示するまでに要する時間をいう。
【００５４】
また、補間処理部４３は、算出した距離Dy(n-2,n-1)を、予め決められた時間Tで除算して、フレームn-1上のオブジェクトにおけるY軸方向の速度v0y(=Dy(n-2,n-1)/T)を、初速度v0のY成分として算出する。
【００５５】
さらに、補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-1,n)に基づいて、始点としての位置P(x2,yc)から、終点としての位置P(x3,yc)までの距離として、例えば、X軸方向の距離Dx(n-1,n)(=|x2-x3|)及びY軸方向の距離Dy(n-1,n)(=|yc-yc|)を算出する。
【００５６】
そして、補間処理部４３は、同様にして、フレームn上のオブジェクトにおける速度v1として、X軸方向の速度v1x(=Dx(n-1,n)/T)及びY軸方向の速度v1y(=Dy(n-1,n)/T)を算出する。
【００５７】
補間処理部４３は、算出した速度v0及び速度v1と、予め決められた時間Tに基づいて、オブジェクトの加速度a(=(v1-v0)/T)を算出する。すなわち、例えば、補間処理部４３は、加速度aとして、X軸方向の加速度ax(=(v1x-v0x)/T)及びY軸方向の加速度ay(=(v1y-v0y)/T)を算出する。ここで、例えば、図３に示されるように、Y軸方向におけるオブジェクトの位置ycが一定である場合、補間フレーム上のオブジェクトにおけるY軸方向の位置は位置ycとなる。したがって、この場合、Y軸方向の位置はすでに決定されているので、例えば、補間処理部４３は、X軸方向の加速度ax(=(v1x-v0x)/T)のみを算出して、算出した加速度axから、X軸方向のオブジェクトの位置を決定するようにしてもよい。
【００５８】
なお、補間処理部４３は、上述のように、動きベクトル検出部４２からの動きベクトルMV(n-1,n)及び動きベクトルMV(n-2,n-1)に基づいて、初速度v0及び加速度aを算出するようにした。
【００５９】
しかしながら、その他、例えば、動きベクトル検出部４２において、図３Dに示されるようなフレームn+1も用いるようにして動きベクトルMV(n,n+1)を検出し、補間処理部４３において、動きベクトルMV(n,n+1)も用いるようにして、初速度v0及び加速度aの算出精度を向上させるようにしてもよい。
【００６０】
この場合、フレームメモリ４１は、外部からのフレームを、１フレーム分及び２フレーム分だけ遅延させる他、３フレーム分だけ遅延させて出力することとなる。
【００６１】
[オブジェクトの位置の決定方法]
次に、図４は、補間フレームf(n-1,n)に表示されるオブジェクトの位置を決定する決定方法の一例を示している。
【００６２】
補間処理部４３は、補間フレームf(n-2,n-1)上のオブジェクトの位置として、例えば、図４Aに示されるように、フレームn-2上のオブジェクトの位置P(x1,yc)と、フレームn-1上のオブジェクトの位置P(x2,yc)との中間位置P((x1+x2)/2,yc)を算出することはしない。
【００６３】
すなわち、例えば、補間処理部４３は、図４Bに示されるように、オブジェクトの加速度aに応じた位置を、補間フレーム上のオブジェクトの位置に決定する。
【００６４】
具体的には、例えば、補間処理部４３は、算出した初速度v0X及び加速度aXを、式（１）に適用して、補間フレームf(n-2,n-1)上のオブジェクトの変位量dxを算出する。
【００６５】
補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-2,n-1)上のオブジェクトのX軸方向の位置X1(=x0+dx)を算出する。
【００６６】
また、例えば、補間処理部４３は、算出した初速度v0y及び加速度ayを、式（２）に適用して、補間フレームf(n-2,n-1)上のオブジェクトの変位量dyを算出する。
【００６７】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-2,n-1)上のオブジェクトのY軸方向の位置yc(=y0+dy)を算出する。
【００６８】
そして、補間処理部４３は、算出したX軸方向の位置X1及びY軸方向の位置ycからなる位置P(X1,yc)を、補間フレームf(n-2,n-1)上のオブジェクトの位置に決定する。
【００６９】
補間処理部４３は、同様にして、補間フレームf(n-1,n)上のオブジェクトの位置P(X2,yc)、及び補間フレームf(n,n+1)上のオブジェクトの位置P(X3,yc)を決定する。
【００７０】
これにより、本実施の形態では、図４Aに示されるように、単純に、フレーム上のオブジェクトの位置を中間位置とする場合とは異なり、図４Bに示されるように、オブジェクトの位置が、オブジェクトの加速度aに応じた自然な位置とされる。つまり、フレーム上のオブジェクトの位置は、自然法則にしたがって移動するオブジェクトの位置とされる。
【００７１】
[画像処理装置２１の動作説明]
次に、図５のフローチャートを参照して、画像処理装置２１が行う補間処理について説明する。
【００７２】
この補間処理は、例えば、外部から画像処理装置２１に対して、動画像（を構成するフレーム）が入力されたときに開始される。
【００７３】
ステップＳ２１において、フレームメモリ４１は、外部からのフレームnを１フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００７４】
ステップＳ２２において、フレームメモリ４１は、外部からのフレームnを２フレーム分だけ遅延させて、動きベクトル検出部４２及び補間処理部４３に供給する。
【００７５】
すなわち、例えば、動きベクトル検出部４２及び補間処理部４３に、外部からフレームnが供給される場合、ステップＳ２１及びステップＳ２２の処理において、フレームメモリ４１から動きベクトル検出部４２及び補間処理部４３に対して、フレームn-2及びフレームn-1が供給される。
【００７６】
ステップＳ２３において、動きベクトル検出部４２は、フレームメモリ４１からのフレームn-1及びフレームn-2に基づいて、ブロックマッチング等により、フレームn-2上のオブジェクトに対する、フレームn-1上のオブジェクトの動きを表す動きベクトルMV(n-2,n-1)を検出する。
【００７７】
また、動きベクトル検出部４２は、外部からのフレームn、及びフレームメモリ４１からのフレームn-1に基づいて、ブロックマッチング等により、フレームn-1上のオブジェクトに対する、フレームn上のオブジェクトの動きを表す動きベクトルMV(n-1,n)を検出する。
【００７８】
そして、動きベクトル検出部４２は、検出した動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)を、補間処理部４３に供給する。
【００７９】
ステップＳ２４において、補間処理部４３は、動きベクトル検出部４２からの動きベクトルMV(n-2,n-1)及び動きベクトルMV(n-1,n)に基づいて、フレームn上のオブジェクトの初速度v0及び加速度aを算出する。
【００８０】
なお、初速度v0は、X成分であるv0xとY成分であるv0yとに分解される。また、加速度aは、X成分であるaxとY成分であるayとに分解される。
【００８１】
ステップＳ２５では、補間処理部４３は、算出した初速度v0x及び加速度axに式（１）を適用して、補間フレームf(n-1,n)上のオブジェクトの変位量dxを算出する。
【００８２】
そして、補間処理部４３は、式（１）を用いて算出される変位量dxと基準位置x0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のx(=x0+dx)を算出する。
【００８３】
また、同様にして、補間処理部４３は、算出した初速度v0y及び加速度ayを、次式（２）に適用して、補間フレームf(n-1,n)上のオブジェクトの変位量dyを算出する。
【００８４】
補間処理部４３は、式（２）を用いて算出される変位量dyと基準位置y0とに基づいて、補間フレームf(n-1,n)上のオブジェクトの位置（x,y）のy(=y0+dy)を算出する。
【００８５】
ステップＳ２６では、補間処理部４３は、外部からのフレームnと、フレームメモリ４１からのフレームn-1に基づいて、式（１）及び式（２）により算出した位置（x,y）にオブジェクトが表示（描画）される補間フレームf(n-1,n)を生成する。そして、補間処理部４３は、生成した補間フレームf(n-1,n)を、フレームn-1とフレームnとの間に補間する。
【００８６】
なお、補間処理部４３は、ステップＳ２５及びステップＳ２６において、補間フレームf(n-1,n)を生成して補間した場合と同様にして、フレームメモリ４１からのフレームn-2及びフレームn-1に基づいて、補間フレームf(n-2,n-1)を生成し、フレームn-2とフレームn-1との間に補間する。
【００８７】
補間処理部４３は、補間フレームを補間後の動画像を出力する。そして、補間処理部４３において、外部から入力された動画像を構成する各フレーム全てに対して処理が行われた後、補間処理は終了される。
【００８８】
以上説明したように、補間処理では、オブジェクトの加速度aに応じた位置を算出し、その位置にオブジェクトを表示する補間フレームを生成するようにした。
【００８９】
このため、補間処理では、オブジェクトの自然な動きを維持したまま、フレームレートを向上させることが可能となる。
【００９０】
次に、図６乃至図８を参照して、X軸方向及びY軸方向のいずれの位置も変化するオブジェクトを対象として、補間フレーム上のオブジェクトの位置を決定する場合について説明する。
【００９１】
図６は、X軸方向及びY軸方向のいずれの位置も変化するオブジェクトの一例を示している。図６において、位置P(x1,y1)は、フレームn-2上のオブジェクトの位置を、位置P(x2,y2)は、フレームn-1上のオブジェクトの位置を、位置P(x3,y3)は、フレームn上のオブジェクトの位置を、位置P(x4,y4)は、フレームn+1上のオブジェクトの位置をそれぞれ表している。
【００９２】
次に、図７及び図８を参照して、補間フレーム上のオブジェクトの位置を、単純に中間位置に決定した場合と、オブジェクトの加速度aに応じて決定した場合との違いを説明する。
【００９３】
図７は、従来のように、オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合の一例を示している。
【００９４】
図７Aには、動画像を構成する各フレーム上のオブジェクトの位置P(x1,y1),P(x2,y2),P(x3,y3),P(x4,y4)から算出される中間位置(図７Aにおいて点線で示される丸印)を、補間フレーム上のオブジェクトの位置に決定する様子の一例が示されている。
【００９５】
図７Bは、動画像を構成する各フレーム上のオブジェクトの位置P(x2,y2)と位置P(x3,y3)との中間位置P((x2+x3)/2,(y2+y3)/2)の一例を示している。
【００９６】
図８は、オブジェクトの加速度aに応じて、オブジェクトの位置を決定する場合の一例を示している。
【００９７】
図８Aには、式（１）及び式（２）等を用いて算出される位置(図８Aにおいて点線で示される丸印)を、補間フレーム上のオブジェクトの位置に決定する様子の一例が示されている。
【００９８】
図８Bは、動画像を構成する各フレーム上のオブジェクトの位置P(x2,y2)と位置P(x3,y3)との間の位置として、式（１）及び式（２）等を用いて算出される位置P(X,Y)の一例を示している。この位置P(X,Y)は、自然法則にしたがって放物線を描くオブジェクトの動きに応じた位置とされる。
【００９９】
図７に示されるように、オブジェクトの動きに拘わらず、オブジェクトの位置を中間位置に決定する場合、オブジェクトの軌道が正しく補間されず、不自然なものとなる。
【０１００】
これに対して、図８に示されるように、オブジェクトの動きに応じて、オブジェクトの位置を決定する場合には、オブジェクトの軌道が、オブジェクトの加速度aに従って補間されるため、自然なものとなる。
【０１０１】
＜２．変形例＞
本実施の形態では、動きベクトル検出部４２は、１フレーム分だけ異なる２フレームを用いて、動きベクトルを検出するようにしたが、その他、例えば、複数のフレーム分だけ異なる２フレームを用いて、動きベクトルを検出するようにしてもよい。
【０１０２】
具体的には、例えば、動きベクトル検出部４２は、フレームn-2とフレームnとを用いて、動きベクトルMV(n-2,n)を算出し、フレームnとフレームn+2とを用いて、動きベクトルMV(n,n+2)を算出するようにしてもよい。
【０１０３】
この場合、補間処理部４３において、動きベクトルMV(n-2,n)と動きベクトルMV(n,n+2)とを用いて、初速度v0及び加速度aが算出され、算出された初速度v0及び加速度aに基づいて、補間フレーム上のオブジェクトの位置が決定される。
【０１０４】
本実施の形態では、補間処理部４３は、算出した初速度v0及び加速度aを、式（１）及び式（２）に適用するようにして、補間フレーム上のオブジェクトの位置を決定するようにした。しかしながら、その他、例えば、補間処理部４３は、予め決められた複数の補間曲線のうち、算出した加速度aに対応する補間曲線を用いて、補間フレーム上のオブジェクトの位置を決定するようにしてもよい。
【０１０５】
なお、複数の補間曲線は、異なる加速度毎に、例えば、補間処理部４３が内蔵する図示せぬメモリ等に予め保持されているものとする。
【０１０６】
[補間曲線の一例]
次に、図９乃至図１１を参照して、補間フレーム上のオブジェクトの位置を決定する際に用いる補間曲線の一例を示している。
【０１０７】
図９は、加速度a=0でX軸方向に等加速度運動（等速直線運動）をするオブジェクトの位置を表す補間曲線の一例を示している。
【０１０８】
なお、図９において、横軸はフレームが表示されるときの時刻を表し、縦軸はフレーム上のオブジェクトのX軸方向の位置を表す。
【０１０９】
補間曲線L(a=0)は、図９に示されるように、フレームAとフレームBとの間に補間される補間フレームf1,f2,f3,f4上のオブジェクトの位置P1,P2,P3,P4を示している。
【０１１０】
この位置P1,P2,P3,P4は、フレームA上のオブジェクトの位置P0と、フレームB上のオブジェクトの位置P5により相対的に決定されるものであり、加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を示している。
【０１１１】
補間曲線L(a=0)は、フレームAからフレームBまでの間において、オブジェクトの動きをより滑らかにするために、補間フレームf1乃至f4を補間する際に用いられる。
【０１１２】
補間曲線M(a=0)は、図９に示されるように、フレームAとフレームBとの間に補間される補間フレームf1,f2,f3,f4上のオブジェクトの位置P1',P2',P3',P4'を示している。
【０１１３】
この位置P1',P2',P3',P4'は、フレームA上のオブジェクトの位置P0と、フレームB上のオブジェクトの位置P5により相対的に決定されるものであり、加速度a=0でX軸方向に等加速度運動をするオブジェクトの位置を示している。
【０１１４】
補間曲線M(a=0)は、フレームAからフレームBまでの間において、オブジェクトの動きにジャダーを生じさせるようにして、補間フレームf1乃至f4を補間する際に用いられる。なお、補間曲線M(a=0)は、例えば、元のフレームA,Bに生じているジャダーを残すようにして、補間フレームを補間する場合に用いられる。
【０１１５】
次に、図１０は、加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線L(a≠0)の一例を示している。
【０１１６】
補間処理部４３は、図示せぬ内蔵のメモリ等に、例えば、図１０に示されるような複数の補間曲線を、異なる加速度aそれぞれに対応付けて保持している。
【０１１７】
なお、図１０では、右方向に記載の補間曲線Lほど、より大きな加速度aに対応付けられており、左方向に記載の補間曲線Lほど、より小さな加速度aに対応付けられているものとする。また、図１０において、補間曲線Lは、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示している。
【０１１８】
したがって、例えば、補間処理部４３は、算出した加速度aが大である程に、図中、右方向の補間曲線L(a>0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１１９】
また、例えば、補間処理部４３は、加速度aが小となる程に、図中、左方向の補間曲線L(a<0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置(x,y)を決定することとなる。
【０１２０】
なお、図１０では、補間曲線Lにおいて、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示すようにしている。しかしながら、その他、例えば、加速度ax毎に、加速度axに対応するオブジェクトの位置xを示す第１の補間曲線Lと、加速度ay毎に、加速度ayに対応するオブジェクトの位置yを示す第２の補間曲線Lとを用意するようにしてもよい。
【０１２１】
この場合、補間処理部４３は、X軸方向の加速度axを用いて、第１の補間曲線Lにより、オブジェクトの位置xを決定し、Y軸方向の加速度ayを用いて、第２の補間曲線Lにより、オブジェクトの位置yを決定することとなる。なお、このことは、後述する図１１においても同様のことが言える。
【０１２２】
次に、図１１は、加速度a≠0でX軸方向に等加速度運動をするオブジェクトの位置を表す補間曲線M(a≠0)の一例を示している。
【０１２３】
補間処理部４３は、図示せぬ内蔵のメモリ等に、例えば、図１１に示されるような複数の補間曲線を、異なる加速度aそれぞれに対応付けて保持している。
【０１２４】
なお、図１１では、右方向に記載の補間曲線Mほど、より大きな加速度aに対応付けられており、左方向に記載の補間曲線Mほど、より小さな加速度aに対応付けられているものとする。また、図１１において、補間曲線Mは、異なる加速度a毎に、加速度aに対応するオブジェクトの位置（x,y）を示している。
【０１２５】
したがって、例えば、補間処理部４３は、算出した加速度aが大である程に、図中、右方向の補間曲線M(a>0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１２６】
また、例えば、補間処理部４３は、加速度aが小となる程に、図中、左方向の補間曲線M(a<0)を用いて、補間フレームf1乃至f4上のオブジェクトの位置を決定することとなる。
【０１２７】
補間処理部４３は、図９乃至図１１を参照して説明したようにして、補間フレームf1乃至f4上のオブジェクトの位置を決定する場合には、式（１）及び式（２）等による計算をする必要がない。このため、より迅速に、補間フレームf1乃至f4上のオブジェクトの位置を決定することが可能となる。
【０１２８】
なお、画像処理装置２１は、例えば、テレビジョン受像機やハードディスクレコーダ等として機能させることができる。
【０１２９】
また、本技術は以下のような構成もとることができる。
（１）複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部とを含む画像処理装置。
（２）前記第２の算出部は、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出する前記（１）に記載の画像処理装置。
（３）前記第１の算出部は、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出し、前記第２の算出部は、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出する前記（１）に記載の画像処理装置。
（４）前記第１の算出部は、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出する前記（１）乃至（３）に記載の画像処理装置。
【０１３０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３１】
[コンピュータの構成例]
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３２】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０１３３】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０１３４】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インタネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０１３５】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０１３６】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０１３７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１２に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０１３８】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
また、本開示は、上述した本実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４０】
２１ 画像処理装置， ４１ フレームメモリ， ４２ 動きベクトル検出部， ４３ 補間処理部， ４４ 制御部， ４５ 操作部
【特許請求の範囲】
【請求項１】
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部と
を含む画像処理装置。
【請求項２】
前記第２の算出部は、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の算出部は、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出し、
前記第２の算出部は、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記第１の算出部は、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出する
請求項１に記載の画像処理装置。
【請求項５】
時間方向に隣接する各画像の間に補間画像を補間する画像処理装置の画像処理方法において、
前記画像処理装置による、
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出ステップと、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出ステップと、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出ステップと、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理ステップと
を含む画像処理方法。
【請求項６】
コンピュータを、
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部と
して機能させるためのプログラム。
【請求項１】
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部と
を含む画像処理装置。
【請求項２】
前記第２の算出部は、前記補間画像上の前記オブジェクト位置をそれぞれ表す複数の補間曲線のうち、前記加速度に対応する補間曲線に基づいて、前記オブジェクト位置を算出する
請求項１に記載の画像処理装置。
【請求項３】
前記第１の算出部は、前記動きベクトルに基づいて、前記画像上のオブジェクトの初速度も算出し、
前記第２の算出部は、前記加速度及び前記初速度に基づいて、前記補間画像上の前記オブジェクト位置を算出する
請求項１に記載の画像処理装置。
【請求項４】
前記第１の算出部は、前記複数の動きベクトルに基づいて、水平方向又は垂直方向の少なくとも一方の前記加速度を算出する
請求項１に記載の画像処理装置。
【請求項５】
時間方向に隣接する各画像の間に補間画像を補間する画像処理装置の画像処理方法において、
前記画像処理装置による、
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出ステップと、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出ステップと、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出ステップと、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理ステップと
を含む画像処理方法。
【請求項６】
コンピュータを、
複数の画像のうち、第１の画像と、前記第１の画像とは異なる第２の画像に基づいて、前記第１の画像上のオブジェクトに対する、前記第２の画像上のオブジェクトの動きを表す動きベクトルを検出する動きベクトル検出部と、
複数の前記動きベクトルに基づいて、前記画像上のオブジェクトの加速度を算出する第１の算出部と、
前記加速度に基づいて、前記複数の画像のうち、時間方向に隣接する各画像の間に補間される補間画像上のオブジェクトの位置を表すオブジェクト位置を算出する第２の算出部と、
前記オブジェクト位置に前記オブジェクトが描画された前記補間画像を補間する補間処理部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２５３４９２（Ｐ２０１２−２５３４９２Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３３７１（Ｐ２０１１−１２３３７１）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]