説明

映像信号処理装置及び映像信号処理方法

【課題】補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる映像信号処理装置等を提供する。
【解決手段】記憶領域4a〜4cが3個分設けられた記憶部4と、記憶領域4a〜4cをフレームごとに巡回させて原映像信号を書き込むよう制御する書き込み制御部1と、3回に亘り連続した原映像信号が供給されるフレーム位相のうち3回目のフレーム位相である場合に、記憶領域4a〜4cの巡回を停止させる書き込み停止部2と、フェイズ信号を参照して、記憶領域4a〜4cから異なる2つの映像信号を読み出すよう制御する読み出し制御部3と、読み出し制御部3の制御に従って記憶部4の記憶領域4a〜4cから読み出された2つの映像信号を用いて、動きベクトルに基づいて2つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部5とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像信号に対して処理を施す映像信号処理装置及び映像信号処理方法に関する。
【背景技術】
【0002】
従来より、入力映像信号のフレーム間の動きベクトルに基づいて補間フレームを生成して、映像信号間に挿入するフレームレート変換技術が知られている。
【0003】
また、従来より、フレームレート24Hzで撮影されたフィルム映像を標準テレビジョン信号のフレームレート60Hzに変換するために、2−3プルダウン変換処理が行われることが知られている。
【0004】
これらの技術を用いたものとして、下記の特許文献1に記載の映像信号処理装置がある。この映像信号処理装置は、2−3プルダウンされた映像信号のシーケンス情報を基に、5フレーム単位で動きベクトルを推測する。そして、映像信号処理装置は、原フレームと動きベクトルとに基づいて生成した補間フレームを適切なシーケンスに並べ、フレームレートを2倍にして出力する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−28472号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
2−3プルダウンされた複数の映像信号は、2回に亘り同じ映像信号が供給され、その後、3回に亘り同じ映像信号が供給される。また、上述した特許文献1の映像信号処理装置によって補間フレームを生成する場合には、異なる原映像信号を用いることが望ましい。
【0007】
そのため、上述した特許文献1の映像信号処理装置は、2−3プルダウンされた複数の映像信号のうち、異なる原映像信号を記憶しておくためには、原映像信号を4枚に亘って記憶可能な記憶容量が必要となる。しかし、補間フレームの生成のための記憶容量を大きくすると、回路規模が大きくなり、高コストとなる。
【0008】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記の課題を解決する第1の発明に係る映像信号処理装置は、複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部(4)と、前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むよう制御する書き込み制御部(1)と、前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記書き込み制御部(1)による前記記憶領域の巡回を停止させる書き込み停止部(2)と、前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した2つの記憶領域より映像信号を出力するよう前記記憶部(4)を制御する読み出し制御部(3)と、前記2つの記憶領域より出力された映像信号に基づいて前記2つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部(5)と、を有することを特徴とする。
【0010】
第1の発明に係る映像信号処理装置であって、第2の発明は、前記書き込み停止部(2)は前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記書き込み制御部(1)による前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする。
【0011】
第1の発明に係る映像信号処理装置であって、第3の発明は、前記記憶部(4)は前記記憶領域を3つ備え、前記書き込み停止部(2)は、前記フェイズ信号が同一画像フレームが3回連続したことを示すと判定すると、前記書き込み制御部(1)による前記記憶領域の巡回を停止させることを特徴とする。
【0012】
第1の発明に係る映像信号処理装置であって、第4の発明は、前記記憶部は前記記憶領域を2つ備え、前記書き込み停止部(2)は、前記フェイズ信号が同一画像フレームが2回連続したことを示すと判定すると、前記書き込み制御部(1)による前記記憶領域の巡回を停止させることを特徴とする。
【0013】
上記の課題を解決する第5の発明に係る映像信号処理方法は、複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部(4)の記憶領域のうち前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むステップと、前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記記憶領域の巡回を停止させるステップと、前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した2つの記憶領域より映像信号を出力するよう前記記憶部(4)を制御するステップと、前記2つの記憶領域より出力された映像信号に基づいて前記2つの映像信号間に挿入される補間フレームを生成するステップと、を含むことを特徴とする。
【0014】
第5の発明に係る映像信号処理方法であって、第6の発明は、前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする。
【0015】
第5の発明に係る映像信号処理方法であって、第7の発明は、前記記憶部(4)は前記記憶領域を3つ備え、前記フェイズ信号が同一画像フレームが3回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする。
【0016】
第5の発明に係る映像信号処理方法であって、第7の発明は、前記記憶部(4)は前記記憶領域を2つ備え、前記フェイズ信号が同一画像フレームが2回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする。
【発明の効果】
【0017】
本発明によれば、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態として示す映像信号処理装置の構成を示すブロック図である。
【図2】(a)は2−3プルダウンされる前の映像信号であり、(b)は2−3プルダウンされた映像信号を示すシーケンス図である。
【図3】本発明の一実施形態として示す映像信号処理装置における記憶制御動作を示すシーケンス図である。
【図4】比較例としての記憶制御動作を示すシーケンス図である。
【図5】(a)は2−3プルダウンされた映像信号におけるフレーム位相ごとの物体位置を示し、(b)は出力映像信号におけるフレーム位相ごとの物体位置を示すシーケンス図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について図面を参照して説明する。
【0020】
[映像信号処理装置の構成]
本発明の実施形態として示す映像信号処理装置は、例えば図1に示すように構成される。この映像信号処理装置は、入力映像信号S1、フェイズ信号S2、動きベクトルS3が外部から供給される。
【0021】
映像信号処理装置は、書き込み制御部1、書き込み停止部2、読み出し制御部3、メモリ4、補間フレーム生成部5、及び、フレームレート変換部6を有する。
【0022】
この映像信号処理装置において、入力映像信号S1は、メモリ4及びフレームレート変換部6に供給される。
【0023】
入力映像信号S1は、2−3プルダウンされた原映像信号であって、60Hzのフレームレートで映像信号処理装置に供給される。
【0024】
図2(a)にフィルム映像などフレームレート24Hzの映像信号を示す。この映像信号は、1/24秒毎に画像フレームA、B、C、D…と時系列順に並ぶ。このようなフレームレート24Hzの映像信号は、観察時に映像の非連続性(ジャダー)が知覚される。
【0025】
2−3プルダウン変換処理によって、図2(a)に示すフレームレートが24Hzの映像信号を、図2(b)に示す標準テレビジョン信号など60Hzの映像信号(入力映像信号S1)に変換する。2−3プルダウンされた映像信号は、1/60秒毎にフレームA、A、A、B、B、C、C、C、D、D…という2−3プルダウンシーケンスに従って時系列順に並ぶ。この2−3プルダウン変換処理により、第1の画像フレームが3回連続する第1の画像フレーム群が入力映像信号S1として入力され、続いて第1の画像フレームと異なる第2の画像フレームが2回連続する第2の画像フレーム群が入力映像信号S1として入力される、という2−3プルダウンシーケンスが繰り返される。このような2−3プルダウンされた映像信号は、フレームの切り替わりという点ではフレームレートが高くなるわけではないので、ジャダーは改善されない。
【0026】
フェイズ信号S2は、書き込み停止部2、読み出し制御部3及びフレームレート変換部6に供給される。フェイズ信号S2は、入力映像信号S1のフレームが2−3プルダウンシーケンスのうちどのフレーム位相であるかを示す。
【0027】
フレーム位相は、図2(b)に示すように、ph1,ph2,ph3,ph4,ph5の5フレーム単位で表される。
【0028】
本実施形態では、フレーム位相ph2は、2回に亘り連続して入力される同一画像フレームのうち1回目のフレームであることを示す。フレーム位相ph3は、2回に亘り連続して入力される同一画像フレームのうち2回目のフレームであることを示す。フレーム位相ph4は、3回に亘り連続して入力される同一画像フレームのうち1回目のフレームであることを示す。フレーム位相ph5は、3回に亘り連続して入力される画像フレームのうち2回目のフレームであることを示す。フレーム位相ph1は、3回に亘り連続して入力される画像フレームのうち3回目のフレームであることを示す。
【0029】
動きベクトルS3は、補間フレーム生成部5に供給される。動きベクトルS3は、時間的に隣接したフレーム間における入力映像信号S1の動きを推定したベクトルである。この動きベクトルS3は、例えば、入力映像信号S1の時間的に隣接するフレーム間において、注目画素群がどの程度移動したかをブロックマッチングによって求め、注目画素群の移動量及び移動方向を求めることによって生成される。
【0030】
書き込み停止部2は、フェイズ信号S2を参照して、メモリ4に供給された入力映像信号S1が2−3プルダウンシーケンスのうち、特定のフレーム位相(本実施形態ではph1とする)であるかを判定する。書き込み停止部2は、フレーム位相が特定のフレーム位相(ph1)であると判定した場合に、停止信号S21を書き込み制御部1に供給する。これにより、書き込み停止部2は、停止信号S21が供給されたフレーム位相において、書き込み制御部1による書き込み先のメモリ領域4a〜4cの巡回を停止させる。
【0031】
また、書き込み停止部2は、フレーム位相が特定のフレーム位相(ph1)である場合に、書き込み制御部1によるメモリ領域4a〜4cの巡回を停止させると共に、メモリ4によるメモリ領域4a〜4cに対する書き込みを停止させることが望ましい。このため、書き込み停止部2は、メモリ4にも停止信号S21を供給する。これにより、メモリ4は、停止信号S21が供給されたフレーム位相が特定のフレーム位相(ph1)である時には、入力映像信号S1が供給されても、当該入力映像信号S1をメモリ領域4a〜4cには書き込まないよう制御される。
【0032】
なお、フレーム位相が特定のフレーム位相であるときにメモリ領域4a〜4cに入力映像信号S1を記憶しない動作として、フレーム位相が特定のフレーム位相の時には常に一定のロウアドレスに書き込んでも良い。
【0033】
書き込み制御部1は、入力映像信号S1の書き込み先となるメモリ領域4a〜4cをフレームレートに同期して巡回させて、入力映像信号S1を何れかのメモリ領域4a〜4cに書き込むよう制御する。この制御のために、書き込み制御部1は、メモリ4に対して入力映像信号S1をどのメモリ領域4a〜4cに書き込むかを示す書き込み巡回コマンドS11をフレーム毎に生成して、メモリ4に供給する。書き込み制御部1は、書き込み停止部2から停止信号S21が供給された場合に、書き込み巡回コマンドS11をメモリ4に供給する動作を停止する。
【0034】
書き込み制御部1は、例えば、フレーム位相ph2では第1メモリ領域4aに入力映像信号S1を書き込み、フレーム位相ph3では第2メモリ領域4bに入力映像信号S1を書き込み、フレーム位相ph4では第3メモリ領域4cに入力映像信号S1を書き込み、フレーム位相ph5では第1メモリ領域4aに入力映像信号S1を書き込むよう制御する。これは、メモリ4の追い越し対策に有効である。
【0035】
読み出し制御部3は、フェイズ信号S2を参照して、メモリ4が有する複数のメモリ領域のいずれか2つの領域から異なる2つの原映像信号S41及び原映像信号S42を読み出すよう制御する読み出しコマンドS31をメモリ4に供給する。原映像信号S41、S42は、メモリ領域に記憶された画像フレームである。読み出しコマンドS31は、フレーム毎に原映像信号S41及び原映像信号S42が読み出される2つのメモリ領域を示す。これにより、メモリ4は、フレーム毎に読み出しコマンドS31に示された2つのメモリ領域から2つの原映像信号S41及び原映像信号S42が読み出される。
【0036】
本実施形態のメモリ4は、原映像信号としての入力映像信号S1を記憶する記憶領域が3個分設けられている。すなわち、このメモリ4は、それぞれが1つの入力映像信号S1を記憶する容量に区分された第1メモリ領域4a、第2メモリ領域4b、及び、第3メモリ領域4cを含む。なお、以下の説明において第1メモリ領域4a、第2メモリ領域4b、第3メモリ領域4cを総称する場合には単に「メモリ領域4a〜4c」と呼ぶ。
【0037】
メモリ4は、フレームごとに入力映像信号S1が供給される。メモリ4は、書き込み制御部1から書き込み巡回コマンドS11が供給され、書き込み停止部2から停止信号S21が供給される。メモリ4は、書き込み巡回コマンドS11に従って何れかのメモリ領域4a〜4cに対して、入力映像信号S1を書き込む書き込みコマンドを発生させて、入力映像信号S1を書き込む。また、メモリ4は、停止信号S21が供給されたフレームにおいて、書き込みコマンドの発生を停止する。
【0038】
メモリ4は、読み出し制御部3から読み出しコマンドS31が供給される。メモリ4は、読み出しコマンドS31に従った2つのメモリ領域4a〜4cに格納されている入力映像信号S1を読み出し、原映像信号S41及び原映像信号S42を出力する。
【0039】
補間フレーム生成部5は、読み出し制御部3の制御に従ってメモリ4のメモリ領域4a〜4cから読み出された2つの原映像信号S41及び原映像信号S42を用いて、2つの原映像信号S41、原映像信号S42間に挿入される補間フレームS51を生成する。このとき、補間フレーム生成部5は、外部から供給される動きベクトルS3に基づいて2つの原映像信号S41と原映像信号S42とを混合して、補間フレームS51を生成する。この補間フレームS51は、フレームレート変換部6に供給される。
【0040】
フレームレート変換部6は、外部から入力映像信号S1が供給され、補間フレーム生成部5から補間フレームS51が供給される。フレームレート変換部6は、適切なシーケンスとなるよう入力映像信号S1間に補間フレームS51を挿入して、出力映像信号S61を生成する。フレームレート変換部6は、入力映像信号S1のフレームレートの60Hzに対して2倍のフレームレートの120Hzで出力映像信号S61を出力する。
【0041】
[映像信号処理装置の記憶制御動作]
つぎに、上述した映像信号処理装置におけるメモリ領域4a〜4cに対する記憶制御動作について説明する。
【0042】
図3に、メモリ4のメモリ領域4a〜4cに対する記憶状態の変化を示す。上述したように、メモリ4は、補間フレームを生成するために利用する原映像信号を3枚分記憶可能な容量を備えている。そして、メモリ4は、フレーム単位のメモリ領域であるメモリ領域4a〜4cに分けられている。メモリ4には、フレーム毎にメモリ領域4a〜4cの何れかが選択されて、入力映像信号S1が記憶される。
【0043】
メモリ領域4a〜4cの何れにも入力映像信号S1が記憶されていない状態において、映像信号処理装置に入力映像信号S1(画像フレームZ)が入力される。この時フレーム位相はph3であるとする。書き込み制御部1は、書き込み巡回コマンドS11をメモリ4に供給する。コマンドS11に応じ、メモリ4は、巡回順序が最初の第1メモリ領域4aに入力映像信号S1(Z)を書き込む書き込みコマンドを発行し、当該入力映像信号S1(Z)を第1メモリ領域4aに書き込む。書き込み停止部2は、フェイズ信号S2を参照してフレーム位相がph3であるので、停止信号S21を発行しない。
【0044】
次のフレーム位相ph4において、映像信号処理装置に入力映像信号S1(画像フレームA)が入力される。書き込み制御部1は、画像フレームAを書き込むメモリ領域を示す書き込み巡回コマンドS11をメモリ4に供給する。書き込み巡回コマンドS11は所定のメモリ領域4a〜4cの巡回順序に沿って更新される。ここではメモリ領域4a、メモリ領域4b、メモリ領域4cの順に書き込ませることとし、メモリ領域4cの次の書き込み先はメモリ領域4aとし、以降は同様に書き込み先を巡回させることとした。従って先の書き込みはメモリ領域4aに行われたので、ここでは書き込み巡回コマンドS11は次のメモリ領域4bに書き込むことを示す。コマンドS11に応じ、メモリ4は、次の巡回順序の第2メモリ領域4bに入力映像信号S1(A)を書き込む書き込みコマンドを発行し、当該入力映像信号S1(A)を第2メモリ領域4bに書き込む。書き込み停止部2は、フェイズ信号S2を参照してフレーム位相がph4であるので、停止信号S21を発行しない。このフレーム(フレーム位相ph4)において、メモリ4は、入力映像信号S1(Z)と入力映像信号S1(A)を取得できる。
【0045】
次のフレーム位相ph5において、映像信号処理装置に入力映像信号S1(A)が入力される。このフレームにおいて、書き込み制御部1は、次の巡回順序のメモリ領域4cに入力映像信号S1(A)を書き込むことを示す書き込み巡回コマンドS11をメモリ4に供給する。コマンドS11に応じ、メモリ4は、次の巡回順序の第3メモリ領域4cに入力映像信号S1(A)を書き込む書き込みコマンドを発行し、当該入力映像信号S1(A)を第3メモリ領域4cに書き込む。このフレーム(フレーム位相ph5)において、書き込み停止部2は、フェイズ信号S2を参照してフレーム位相がph5であるので停止信号S21を発行しない。読み出し制御部3は、メモリ4の2つのメモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出すよう読み出しコマンドS31をメモリ4に供給する。これに応じ、メモリ4は、指定されたメモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出して、補間フレーム生成部5に出力する。なお、原映像信号の読み出す領域は、入力映像信号S1(Z)と入力映像信号S1(A)が記憶された何れのメモリ領域4a〜4cであれば良い。図3に示すメモリ領域4a〜4cへの記憶状態であれば、フレームZが記憶されているメモリ領域4aから読み出した原映像信号S41と、フレームAが記憶されているメモリ領域4bまたはメモリ領域4cから読み出した原映像信号S42となる。
【0046】
補間フレーム生成部5は、原映像信号S41及び原映像信号S42を用いて、動きベクトルS3に基づく補間フレーム(ZA2、ZA3)を生成する。そして、フレームレート変換部6は、後述する図5に示すフレーム位相ph5のフレームレートを2倍に変換したフレーム位相ph51,ph52において、補間フレーム(ZA2)、補間フレーム(ZA3)の順で出力する。
【0047】
次のフレーム位相ph1において、映像信号処理装置に入力映像信号S1(A)が入力される。書き込み停止部2は、フェイズ信号S2を参照してフレーム位相がph1であることを認識する。書き込み停止部2は、書き込み制御部1及びメモリ4に停止信号S21を供給する。書き込み制御部1は、停止信号S21が供給されると、このフレームにおいては書き込み巡回コマンドS11を発行しない。また、メモリ4は、停止信号S21が供給されると、書き込みコマンドを発行しない。メモリ4は、フレーム位相ph1において入力された入力映像信号S1(A)を第1メモリ領域4aに書き込むことを回避する。更に、このフレームにおいて、読み出し制御部3は、メモリ4の2つのメモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出すよう読み出しコマンドS31をメモリ4に供給する。これに応じ、メモリ4は、メモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出して、補間フレーム生成部5に出力する。なお、原映像信号の読み出す領域は、入力映像信号S1(Z)と入力映像信号S1(A)が記憶された何れのメモリ領域4a〜4cであれば良い。
【0048】
メモリ領域4a〜4cからの読み出しは、フレーム位相ph5にて読み出したメモリ領域と同じ領域を読み出してもよいし、異なる領域を読み出してもよい。すなわち、フレーム位相ph5にてメモリ領域4bから原映像信号S42を読み出し、本フレーム位相(ph1)でもメモリ領域4bから原映像信号S42を読み出してもよいし、本フレーム位相ではメモリ領域4cから原映像信号S42を読み出してもよい。
【0049】
これにより、補間フレーム生成部5は、原映像信号S41及び原映像信号S42を用いて、動きベクトルS3に基づく補間フレーム(ZA4)を生成する。そして、フレームレート変換部6は、後述する図5に示すフレーム位相ph1のフレームレートを2倍に変換したフレーム位相ph11,ph12において、補間フレーム(ZA4)、原フレームとしての入力映像信号S1(A)の順で出力する。
【0050】
なお、このフレーム位相ph1においては、入力映像信号S1(A)を第3メモリ領域4cに再度書き込むようにしても良い。
【0051】
次のフレーム位相ph2において、映像信号処理装置に入力映像信号S1(B)が入力される。このフレームにおいて、書き込み制御部1は、次の巡回順序のメモリ領域4aに入力映像信号S1(B)を書き込むことを示す書き込み巡回コマンドS11をメモリ4に供給する。コマンドS11に応じ、メモリ4は、次の巡回順序の第1メモリ領域4aに入力映像信号S1(B)を書き込む書き込みコマンドを発行し、当該入力映像信号S1(B)を第1メモリ領域4aに書き込む。メモリ4は、前フレームにおいて書き込み巡回コマンドS11が発行されていないために、フレーム位相ph5から2フレーム後であっても、入力映像信号S1を第1メモリ領域4aに書き込むことができる。また、このフレームにおいて、書き込み停止部2は、フェイズ信号S2を参照してフレーム位相がph2であるので停止信号S21は発行しない。更に、このフレームにおいて、読み出し制御部3は、メモリ4の2つのメモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出すよう読み出しコマンドS31をメモリ4に供給する。これに応じ、メモリ4は、指定されたメモリ領域4a〜4cから原映像信号S41及び原映像信号S42を読み出して、補間フレーム生成部5に出力する。なお、原映像信号の読み出す領域は、入力映像信号S1(B)と入力映像信号S1(A)が記憶された何れのメモリ領域4a〜4cであれば良い。図3に示すメモリ領域4a〜4cへの記憶状態であれば、フレームZが記憶されているメモリ領域4aから読み出した原映像信号S41と、フレームAが記憶されているメモリ領域4bまたはメモリ領域4cから読み出した原映像信号S42となる。
【0052】
これにより、補間フレーム生成部5は、原映像信号S41及び原映像信号S42を用いて、動きベクトルS3に基づく補間フレーム(AB1、AB2)を生成する。そして、フレームレート変換部6は、フレーム位相がph21,ph22において、補間フレーム(AB1)、補間フレーム(AB2)の順で出力する。
【0053】
これ以降、映像信号処理装置には、フレーム位相がph3,ph4,ph5,ph1,ph2において、画像フレームB、C、C、C、Dの順で入力映像信号S1がそれぞれ入力されるが、上述した処理を行うこととなる。
【0054】
このような記憶制御動作を行う映像信号処理装置によれば、フレーム位相ph1において3回連続して同じ入力映像信号S1を書き込むことがなく、異なる2つの入力映像信号S1を読み出すことができる。これにより、映像信号処理装置によれば、メモリ4に3つのメモリ領域4a〜4cしか設けていなくても、同じ2つの入力映像信号S1を用いて補間フレームを生成することなく、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。
【0055】
上述した記憶制御動作の比較例として、図4の動作を説明する。
【0056】
比較例では、フレーム位相ph1においても書き込み制御部1が書き込み巡回コマンドS11をメモリ4に出力し、メモリ4は書き込みコマンドをメモリ領域4a〜4cに対して発行する。図4に示す比較例では入力映像信号S1(Z)が記憶されていた第1メモリ領域4aに入力映像信号S1(A)が記憶され、メモリ領域4a〜4cに全て同じ入力映像信号S1(A)が記憶されてしまう。そのため読み出し制御部3によって異なる2つのメモリ領域4a〜4cから原映像信号を読み出す読み出しコマンドS31が発行されても、メモリ4からは2つの同じ入力映像信号S1(A)が原映像信号S41及び原映像信号S42として補間フレーム生成部5に供給される。補間フレーム生成部5は、2つの同じ入力映像信号S1(A)から補間フレームを生成する。フレームレート変換部6では、フレーム位相ph11にて原フレーム(A)が出力される。その結果、出力映像信号S61は、フレーム位相ph11,ph12と連続して原フレーム(A)となり、観察時に映像の非連続性(ジャダー)が知覚される。同様の問題が、入力画像フレームCにおけるフレーム位相ph1においても生じる。
【0057】
以上詳細に説明したように、本発明を適用した実施形態に係る映像信号処理装置によれば、2−3プルダウンシーケンスで入力映像信号S1が供給され、メモリ4の容量が3フレーム分の入力映像信号S1しか記憶できなくても、異なる2つの入力映像信号S1を用いて補間フレーム生成できる。これにより、映像信号処理装置によれば、補間フレーム生成用の記憶容量を削減しても映像品質の低下を防ぐことができる。
【0058】
また、この映像信号処理装置によれば、所定のフレーム位相の場合、本実施形態であればフレーム位相がph1、メモリ領域4a〜4cに対する書き込みコマンドを発行させないことにより、メモリ4の調整回路がアイドル状態となる。これにより、メモリ4の動作負担の軽減、或いは他の処理を行う期間を増やすことが可能となる。
【0059】
[映像信号処理装置の補間フレーム生成動作]
つぎに、上述したように構成された映像信号処理装置の補間フレーム生成動作について説明する。
【0060】
図5(a)は、図2(b)に示す2−3プルダウンシーケンスの一部のフレームを示しており、フレームのある物体位置の動きに注目したものである。物体位置は、例えば、A、B、Cのように、水平に変化するとする。ここで、2−3プルダウンシーケンスのうち同じフレームが3回連続する3回目のフレーム(図中A)のフレーム位相をph1とし、異なるフレーム(図中B)に変化しそのフレームの1回目のフレーム位相をph2、2回目のフレーム位相をph3、異なるフレーム(図中C)に変化しそのフレームの1回目のフレーム位相をph4、2回目のフレーム位相をph5、3回目のフレーム位相をph1とし、ph1〜ph5の5フレーム単位でシーケンスを区切るものとする。なお、フェイズ信号S2は、入力映像信号S1のフレーム位相phを示す。
【0061】
この2−3プルダウンシーケンスにおいて、入力映像信号S1は、1/60秒ごとに入力される。この入力映像信号S1は、上述したようにフィルム映像などのフレームレートが24Hzの映像信号を2−3プルダウン処理したものである。したがって、フレーム位相がph2とph3の入力映像信号S1は同じであり、フレーム位相がph4、ph5、ph1の入力映像信号S1は同じである。また、物体位置は、フレーム位相ph1から次のフレーム位相ph1までにおける入力映像信号S1内でA,B,B,C,C,Cと移動する。このように、あるフレームが3回連続、次のフレームが2回連続、というシーケンスが繰り返されるため、注目画素は、1/24秒ごとにA、B、Cと時系列に移動するため、観察時に映像の非連続性(ジャダー)が知覚されてしまう。
【0062】
次に、フレームレート変換部6が出力する出力映像信号S61について説明する。図5(b)に、図5(a)に示す物体の動きを補間してフレームレート2倍の120Hzに変換した出力映像信号S61のシーケンスの一例を示す。図5(a)のフレーム位相ph1、ph2…をフレームレート2倍に変換したフレーム位相をph11、ph12、ph21、ph22…ph51、ph52とする。
【0063】
フレームレート変換部6は、1/120秒毎にフレーム位相ph11〜ph52のシーケンスのうちフレーム位相ph12に原フレームとしての入力映像信号S1、フレーム位相ph21〜ph32に補間フレーム、フレーム位相ph41に次の原フレームとしての入力映像信号S1、フレーム位相ph42〜ph52と次のシーケンスのフレーム位相ph11に補間フレームを出力する。
【0064】
このために、補間フレーム生成部5は、メモリ4から得られる2枚の原映像信号S41と原映像信号S42を用いて、物体の動きベクトルS3に基づいて各補間フレームを生成する。図5(a)に示したように物体位置が移動することを示す動きベクトルS3が入力される場合、フレーム位相ph2、ph3においてメモリ4から物体の画像内横位置がAの原映像信号S41とBの原映像信号S42が得られる。この原映像信号S41及び原映像信号S42を用いて、補間フレーム生成部5は、物体位置がAB1、AB2、AB3、AB4となる補間フレームを生成する。
【0065】
補間フレーム生成部5は、フレーム位相ph1とフレーム位相ph4に対する補間フレームの時間距離に応じて割合で原映像信号S41と原映像信号S42とを混合する。フレーム位相ph21に挿入される補間フレームは、フレーム位相ph12とph42との時間距離比が1:4であるので、物体位置がAの原映像信号S41と物体位置がBの原映像信号S42との混合比を4:1とする。これにより、フレーム位相ph21における補間フレーム内の物体の画像内横位置はAB1となる。フレーム位相ph22に挿入される補間フレームは、フレーム位相ph12とph42との時間距離比が2:3であるので、物体位置がAの原映像信号S41と物体位置がBの原映像信号S42との混合比を3:2とする。これにより、フレーム位相ph22における補間フレーム内の物体の画像内横位置はAB2となる。フレーム位相ph31に挿入される補間フレームは、フレーム位相ph12とph42との時間距離比が3:2であるので、物体位置がAの原映像信号S41と物体位置がBの原映像信号S42との混合比を2:3とする。これにより、フレーム位相ph31における補間フレーム内の物体の画像内横位置はAB3となる。フレーム位相ph32に挿入される補間フレームは、フレーム位相ph12とph42との時間距離比が4:1であるので、物体位置がAの原映像信号S41と物体位置がBの原映像信号S42との混合比を1:4とする。これにより、フレーム位相ph32における補間フレーム内の物体の画像内横位置はAB4となる。同様に、補間フレーム生成部5は、フレーム位相ph4と次のフレーム位相ph1に対する補間フレームの時間距離に応じて割合で原映像信号S41と原映像信号S42とを混合する。以上により、物体位置がBからCに移動しても、フレーム位相ph41とフレーム位相ph12との間のフレーム位相ph42,ph51,ph52,ph11に、物体位置がBC1,BC2,BC3,BC4の補間フレームを挿入できる。以上のように補間フレームを生成することで、図5(a)に示す入力映像信号S1に比べジャダーが改善され、物体の移動が滑らかに観察される出力映像信号S61を生成できる。
【0066】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【0067】
上述した映像信号処理装置は、3個のメモリ領域4a〜4cを備えた例を説明したが、メモリ4の記憶領域は2個であっても良い。メモリ領域を2個にした場合、上述した記憶制御動作を変更して、2つのメモリ領域に同じ画像フレームの入力映像信号S1が書き込まれないようメモリ4に書き込む。書き込み停止部2はフェイズ信号を基に同一画像フレームが2回連続したことを判定すると、停止信号S21を書き込み制御部1及びメモリ4に供給し、書き込み制御部1は書き込み巡回コマンドS11の出力を停止する。メモリ4の2つの記憶領域に、異なる2つの映像信号が記憶されるよう制御されるため、映像信号処理装置は、異なる2つの入力映像信号S41、S42を用いて補間フレームを生成できる。
【符号の説明】
【0068】
1 書き込み制御部
2 書き込み停止部
3 読み出し制御部
4 メモリ
4a〜4c メモリ領域
5 補間フレーム生成部
6 フレームレート変換部

【特許請求の範囲】
【請求項1】
複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部と、
前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むよう制御する書き込み制御部と、
前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記書き込み制御部による前記記憶領域の巡回を停止させる書き込み停止部と、
前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した2つの記憶領域より映像信号を出力するよう前記記憶部を制御する読み出し制御部と、前記2つの記憶領域より出力された映像信号に基づいて前記2つの映像信号間に挿入される補間フレームを生成する補間フレーム生成部と、
を有することを特徴とする映像信号処理装置。
【請求項2】
前記書き込み停止部は前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする請求項1に記載の映像信号処理装置。
【請求項3】
前記記憶部は前記記憶領域を3つ備え、
前記書き込み停止部は、前記フェイズ信号が同一画像フレームが3回連続したことを示すと判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させることを特徴とする請求項1に記載の映像信号処理装置。
【請求項4】
前記記憶部は前記記憶領域を2つ備え、
前記書き込み停止部は、前記フェイズ信号が同一画像フレームが2回連続したことを示すと判定すると、前記書き込み制御部による前記記憶領域の巡回を停止させることを特徴とする請求項1に記載の映像信号処理装置。
【請求項5】
複数の同一画像フレームを有する複数の画像フレーム群から構成される映像信号を記憶する記憶領域を複数備える記憶部の記憶領域のうち前記映像信号を記憶させる記憶領域を複数の記憶領域間でフレームごとに巡回させ前記複数の記憶領域のいずれか一つに前記映像信号を書き込むステップと、
前記複数の画像フレームのフレーム位相を示すフェイズ信号を基に前記記憶領域の巡回を停止させるステップと、
前記フェイズ信号を基に、前記複数の記憶領域のうち互いに異なる画像フレームの映像信号を記憶した2つの記憶領域より映像信号を出力するよう前記記憶部を制御するステップと、
前記2つの記憶領域より出力された映像信号に基づいて前記2つの映像信号間に挿入される補間フレームを生成するステップと、
を含むことを特徴とする映像信号処理方法。
【請求項6】
前記フェイズ信号が前記同一画像フレームが連続したことを示すことを判定すると、前記記憶領域の巡回を停止させると共に、前記記憶領域に対する書き込みを停止させることを特徴とする請求項5に記載の映像信号処理方法。
【請求項7】
前記記憶部は前記記憶領域を3つ備え、
前記フェイズ信号が同一画像フレームが3回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする請求項5に記載の映像信号処理方法。
【請求項8】
前記記憶部は前記記憶領域を2つ備え、
前記フェイズ信号が同一画像フレームが2回連続したことを示すと判定すると、前記記憶領域の巡回を停止させることを特徴とする請求項5に記載の映像信号処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−235419(P2012−235419A)
【公開日】平成24年11月29日(2012.11.29)
【国際特許分類】
【出願番号】特願2011−104268(P2011−104268)
【出願日】平成23年5月9日(2011.5.9)
【出願人】(308036402)株式会社JVCケンウッド (1,152)
【Fターム(参考)】