画像処理装置および画像処理方法、並びにプログラム
【課題】補間フレームのできるだけ多くの画素に動きベクトルを対応付ける。
【解決手段】初めに、補間フレームを挟む２フレームの組み合わせのうちでフレーム間距離が最も狭いフレームｎ−１，ｎにより動きベクトルを検出して補間フレームの画素に対応付ける。動きベクトルを対応付けることができない画素が残っている場合、先程の２フレームとは少なくとも一方が異なる２フレーム(例えば、フレーム間距離がより広いフレームｎ−２，ｎ＋１)により動きベクトルを検出して補間フレームの画素に対応付ける。まだ動きベクトルを対応付けることができない画素が残っている場合、さらに先程の２フレームとは少なくとも一方が異なる２フレーム(例えば、フレーム間距離がより広いフレームｎ−３，ｎ＋２)により動きベクトルを検出して補間フレームの画素に対応付ける。本発明は、フレームレート変換装置に適用することができる。
【解決手段】初めに、補間フレームを挟む２フレームの組み合わせのうちでフレーム間距離が最も狭いフレームｎ−１，ｎにより動きベクトルを検出して補間フレームの画素に対応付ける。動きベクトルを対応付けることができない画素が残っている場合、先程の２フレームとは少なくとも一方が異なる２フレーム(例えば、フレーム間距離がより広いフレームｎ−２，ｎ＋１)により動きベクトルを検出して補間フレームの画素に対応付ける。まだ動きベクトルを対応付けることができない画素が残っている場合、さらに先程の２フレームとは少なくとも一方が異なる２フレーム(例えば、フレーム間距離がより広いフレームｎ−３，ｎ＋２)により動きベクトルを検出して補間フレームの画素に対応付ける。本発明は、フレームレート変換装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて検出する動きベクトルを用い、前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。
【０００３】
２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。
【０００４】
【特許文献１】特開昭６０−１５８７８６号公報
【特許文献２】特開平８−１８６８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、図１に示すようにブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。
【０００６】
ところで図１から明らかなように、上述した方法では、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生することがある。このような場合、補間フレームの領域ａには最適な画素を決定することができないので、領域ａは動きベクトルを対応付けることができた画素からなる他の領域に比較して画質が劣化してしまう。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記動画像を構成する一連の複数の画像を保持する保持手段と、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段と、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段と、前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段とを含み、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける。
【０００９】
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像の少なくとも１画像を変更し、かつ、前回選択した前記２画像よりもフレーム間距離がより広い第１および第２の画像を選択するようにすることができる。
【００１０】
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域の補正用の動きベクトルを検出するようにすることができる。
【００１１】
本発明の一側面である画像処理装置は、前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出するようにすることができる。
【００１２】
本発明の一側面である画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段をさらに含むことができる。
【００１３】
前記保持手段は、さらに、前記生成手段によって生成された前記補正画像も保持し、前記選択手段は、保持されている前記補正画像を含む複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択するようにすることができる。
【００１４】
本発明の一側面である画像処理方法は、動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、前記補間画像を構成する画素に、検出された動きベクトルを対応付け、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付けるステップを含む。
【００１５】
本発明の一側面であるプログラムは、動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、前記補間画像を構成する画素に、検出された動きベクトルを対応付け、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付けるステップを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、保持されている前記複数の画像のうち、所定のフレーム間距離を有する第１および第２の画像が選択され、選択された第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルが検出され、補間画像を構成する画素に、検出された動きベクトルが対応付けられる。そして、動きベクトルが対応付けられなかった補間画像の前記画素が存在する場合、保持されている複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像が再び選択され、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルが検出され、動きベクトルが対応付けられなかった補間画像の画素に、検出された補正用の動きベクトルが対応付けられる。
【発明の効果】
【００１７】
本発明の一側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。また、本発明の一側面によれば、補間フレームの画質劣化を抑止することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
請求項１に記載の画像処理装置（例えば、図２のフレームレート変換装置１０）は、前記動画像を構成する一連の複数の画像を保持する保持手段（例えば、図２の記憶部１２）と、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段（例えば、図２の画像読み出し部１４）と、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段（例えば、図２の動きベクトル検出部１６）と、前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段（例えば、図２の動きベクトル補正部１７）とを含み、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける。
【００２０】
請求項４に記載の画像処理装置は、前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段（例えば、図７のエッジ検出部３１）をさらに含み、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出する。
【００２１】
請求項５に記載の画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段（例えば、図２の補間フレーム生成部１８）をさらに含む。
【００２２】
請求項７に記載の画像処理方法および請求項８に記載のプログラムは、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し（例えば、図４のステップＳ１）、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し（例えば、図４のステップＳ１）、前記補間画像を構成する画素に、検出された動きベクトルを対応付け（例えば、図４のステップＳ２）、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、（例えば、図４のステップＳ４）、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し（例えば、図４のステップＳ４）、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける（例えば、図４のステップＳ２）ステップを含む。
【００２３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２４】
図２は本発明の一実施の形態である、入力動画像データを構成する一連のフレームに補間フレームを内挿してフレームレートを変換するフレームレート変換装置の第１の構成例を示している。
【００２５】
このフレームレート変換装置１０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部１１、１フレーム分の動画像データを保持する複数のフレームメモリ１３からなり時間軸上に連続する複数のフレームを保持する記憶部１２、および、記憶部１２に保持されている複数のフレームの中から生成すべき補間フレームを挟む２枚のフレーム（以下、第１のフレームおよび第２のフレームと称する）を読み出す画像データ読み出し部１４から構成される。
【００２６】
さらに、フレームレート変換装置１０は、読み出された第１および第２のフレームの間のシーンチェンジを検出するシーンチェンジ検出部１５、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する動きベクトル検出部１６、検出された動きベクトルを補間フレームの画素に対応付ける動きベクトル補正部１７、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部１８、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部１９、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部２０から構成される。
【００２７】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００２８】
図２の構成例の場合、記憶部１２は６個のフレームメモリ１３−１乃至１３−６から構成される。各フレームメモリ１３は、前段から１フレーム分の動画像データが入力されることに対応し、保持している１フレーム分の動画像データを後段に出力する。したがって、記憶部１２は、動画像データを構成する一連のフレームのうち、連続する６フレーム（以下、フレームｎ＋２，ｎ＋１，ｎ，ｎ−１，ｎ−２，ｎ−３と称する）を保持することができる。なお、フレームメモリ１３の個数は任意であるが、記憶部１２に保持する一連のフレームの期間にシーンチェンジが存在しないことが前提となるので、現実的には最大でも２０程度とすることが望ましい。
【００２９】
画像データ読み出し部１４は、記憶部１２に保持されている６フレームｎ＋２乃至ｎ−３のうち、生成される補間フレームを挟む２枚のフレームを、フレーム間距離の狭い組み合わせから順に読み出す。
【００３０】
例えば図３に示すように、補間フレーム生成部１８においてフレームｎとフレームｎ−１の間に内挿すべき補間フレームが生成される場合、まずフレーム間距離が１フレームのフレームｎ，ｎ−１を読み出す。読み出したフレームｎ，ｎ−１を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、次に、フレーム間距離がより広いフレームｎ＋１，ｎ−２を読み出す。そして、読み出したフレームｎ＋１，ｎ−２を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、さらに、フレーム間距離がより広いフレームｎ＋２，ｎ−３を読み出すことになる。
【００３１】
なお、同時に読み出す第１および第２のフレームの組み合わせは上述した例に限るものではなく、後に読み出される２フレームのうち、少なくとも１フレームが変更されていればよい。また、読み出す２フレームのフレーム間距離については、前回読み出された２フレームのフレーム間距離と同じ以上であればよい。
【００３２】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間でシーンチェンジを検出し、検出結果と第１および第２のフレームを後段の動きベクトル検出部１６に供給する。また、シーンチェンジ検出部１５は、検出結果を保持しておき、次に読み出される２フレーム間のシーンチェンジ検出結果として流用するようにすることができる。例えば、フレームｎ，ｎ−１の間にシーンチェンジが検出された場合、次に読み出されるフレームｎ＋１，ｎ−２の間にもシーンチェンジが存在するので、この検出を省略するようにしてもよい。
【００３３】
動きベクトル検出部１６は、第１および第２のフレームの間にシーンチェンジが検出されていない場合のみ、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する。具体的には、供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。なお、入力される２フレームの一方が仮に前回と同じフレームであった場合、動きベクトルの精度を向上させるためには、同一のフレームを連続して基準画像としないことが望ましい。
【００３４】
動きベクトル補正部１７は、検出された動きベクトルを補間フレームの各画素に対応付ける。このとき、図１に示されたように、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生したならば、その旨を示す信号を、領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に出力する。この信号に対応し、画像データ読み出し部１４では前回と異なる第１および第２のフレームが読み出され、動きベクトル検出部１６では、新たに読み出された第１および第２のフレームの領域ａに対応する部分の動きベクトルが検出される。
【００３５】
次に、フレームレート変換装置１０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に、図４のフローチャートを参照して説明する。
【００３６】
フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、および遅延部１９に供給される。
【００３７】
そして、画像データ供給部１１を介して動画像データが１フレームずつ記憶部１２に供給される。そして、６フレーム分の動画像データが記憶部１２に保持される。
【００３８】
ステップＳ１において、画像データ読み出し部１４は、記憶部１２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００３９】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００４０】
動きベクトル検出部１６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００４１】
ステップＳ２において、動きベクトル補正部１７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００４２】
ステップＳ３において、動きベクトル補正部１７は、ステップＳ２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に通知され、処理はステップＳ４に進められ、前回読み出した２フレームとは少なくとも一方が異なる２フレームに基づいて動きベクトルが検出される。
【００４３】
具体的には、ステップＳ４において、画像データ読み出し部１４は、動きベクトル補正部１７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム(例えば図５に示すように、フレーム間距離がより広いフレームｎ＋１，ｎ−２)を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００４４】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。
【００４５】
動きベクトル検出部１６は、動きベクトル補正部１７からの領域ａを示す情報に対応し、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、参照画像に探索範囲を設けて領域ａを含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっているので、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００４６】
この後、処理はステップＳ２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ４に進められる。２回目のステップＳ４の処理では、前回読み出した２フレームとは少なくとも一方が異なる２フレーム(例えば図５に示すように、フレーム間距離がより広いフレームｎ＋２，ｎ−３)が読み出されて動きベクトルが検出される。
【００４７】
この後、再びステップＳ２に戻り、それ以降の処理が実行される。そして、ステップＳ３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しないと判定された場合、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給され、処理はステップＳ５に進められる。
【００４８】
なお、ステップＳ２乃至Ｓ４の処理を繰り返したことによって記憶部１２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給されて、処理はステップＳ５に進められる。
【００４９】
ステップＳ５において、補間フレーム生成部１８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。
【００５０】
例えば、補間フレームの画素のうち、フレームｎ，ｎ−１の動きベクトルが対応付けられているものは、フレームｎ，ｎ−１の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。また、フレームｎ＋１，ｎ−２の動きベクトルが対応付けられているものは、フレームｎ＋１，ｎ−２の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。さらに、フレームｎ＋２，ｎ−３の動きベクトルが対応付けられているものは、フレームｎ＋２，ｎ−３の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。
【００５１】
補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００５２】
以上で、フレームレート変換装置１０の動作の説明を終了する。
【００５３】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。例えば図６に示すように、初めにフレームｎ，ｎ−１を読み出し、次にフレームｎ＋１，ｎ−１を読み出し、その次にフレームｎ＋２，ｎ−１を読み出すようにしてもよい。この場合、２回目および３回目の読み出しでは、それぞれフレームｎ＋１またはフレームｎ＋２だけを読み出すようにすることもできる。
【００５４】
以上説明したフレームレート変換装置１０による動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【００５５】
ところで、補間フレームの画素に動きベクトルを対応付けることができないことに起因する画質の劣化は、画像内のエッジ部分において顕著である。換言すれば、補間フレームの画素に動きベクトルを対応付けることができなくても、その画素が画像内のエッジ部分でなければ、画質の劣化はそれほど目立たない。そこで、２回目以降の動きベクトルの検出をエッジ部分に限定することにより演算量を削減するようにしたフレームレート変換装置の第２の構成例を提案する。
【００５６】
図７は本発明の一実施の形態であるフレームレート変換装置の第２の構成例を示している。このフレームレート変換装置３０は、上述した第１の構成例であるフレームレート変換装置１０に対して、エッジ検出部３１を追加したものである。
【００５７】
エッジ検出部３１は、動きベクトル検出部１６から供給される第１または第２のフレーム上のエッジを検出し、検出結果を動きベクトル検出部１６に戻すようになされている。フレームレート変換装置３０のエッジ検出部３１以外の構成要素については、フレームレート変換装置１０の構成要素と同様であって同一の符号を付しているので、その説明は省略する。
【００５８】
次に、フレームレート変換装置３０の動作について、図８のフローチャートを参照して説明する。なお、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に説明する。
【００５９】
フレームレート変換装置３０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、および遅延部１９に供給される。
【００６０】
そして、画像データ供給部１１を介して動画像データが１フレームずつ記憶部１２に供給される。そして、６フレーム分の動画像データが記憶部１２に保持される。
【００６１】
ステップＳ１１において、画像データ読み出し部１４は、記憶部１２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００６２】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間でシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００６３】
動きベクトル検出部１６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００６４】
ステップＳ１２において、動きベクトル補正部１７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００６５】
ステップＳ１３において、動きベクトル補正部１７は、ステップＳ１２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に通知され、処理はステップＳ１４に進められる。
【００６６】
ステップＳ１４において、画像データ読み出し部１４は、動きベクトル補正部１７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１，ｎ−２）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００６７】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。
【００６８】
動きベクトル検出部１６は、前回の動きベクトル検出における参照画像をエッジ検出部３１に供給する。エッジ検出部３１は、前回の参照画像上のエッジ部分を検出して、この検出結果を動きベクトル検出部１６に戻す。なお、エッジ検出に要する演算量を削減する為、エッジ検出の範囲を、動きベクトルを対応付けることができなかった補間フレームの画素の周辺領域に限定してもよい。また、シーンチェンジ検出部１５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、今回の参照画像上にエッジ部分を検出するようにしてもよい。
【００６９】
ステップＳ１５において、エッジ部分の検出結果を取得した動きベクトル検出部１６は、シーンチェンジ検出部１５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、動きベクトル補正部１７から通知された領域ａを含み、かつ、エッジ部分を含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００７０】
この後、処理はステップＳ１２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ１３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ１４に進められる。２回目のステップＳ１４およびＳ１５の処理でも、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−３）が読み出されて動きベクトルが検出される。
【００７１】
この後、再びステップＳ１２に戻り、それ以降の処理が実行される。そして、ステップＳ１３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、その情報が補間フレーム生成部１８に供給されて、処理はステップＳ１６に進められる。
【００７２】
なお、ステップＳ１２乃至Ｓ１５の処理を繰り返したことによって記憶部１２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給されて、処理はステップＳ１６に進められる。
【００７３】
ステップＳ１６において、補間フレーム生成部１８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成し、生成した補間フレームを補間フレーム挿入部２０に出力する。
【００７４】
補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００７５】
以上で、フレームレート変換装置３０の動作の説明を終了する。
【００７６】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【００７７】
以上説明したフレームレート変換装置３０による動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。また、フレームレート変換装置１０に比較してエッジ検出の手間は増えるものの、動きベクトル検出に要する演算量を削減することができる。
【００７８】
次に、内挿するために生成した補間フレームを、それ以降の補間フレームを生成するために用いる動きベクトルの検出に利用するようにしたフレームレート変換装置の第３の構成例について説明する。
【００７９】
図９は本発明の一実施の形態であるフレームレート変換装置の第３の構成例を示している。
【００８０】
このフレームレート変換装置４０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部４１、１フレーム分の動画像データを保持する複数のフレームメモリ４３からなり時間軸上に連続する複数のフレームと生成される補間フレームを保持する記憶部４２、および、記憶部４２に保持されている複数のフレームの中から生成すべき補間フレームを挟む２枚のフレーム（以下、第１のフレームおよび第２のフレームと称する）を読み出す画像データ読み出し部４４から構成される。
【００８１】
さらに、フレームレート変換装置４０は、読み出された第１および第２のフレームの間のシーンチェンジを検出するシーンチェンジ検出部４５、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する動きベクトル検出部４６、検出された動きベクトルを補間フレームの画素に対応付ける動きベクトル補正部４７、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部４８、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部４９、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部５０から構成される。
【００８２】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００８３】
フレームメモリ４３の個数は任意であるが、記憶部４２に保持する一連のフレームの期間にシーンチェンジが存在しないことが前提となるので、現実的には最大でも２０程度とすることが望ましい。
【００８４】
図９の構成例の場合、記憶部４２は６個のフレームメモリ４３−１乃至４３−６から構成される。各フレームメモリ４３は、前段から１フレーム分の動画像データが入力されることに対応し、保持している１フレーム分の動画像データを後段に出力する。ただし、補間フレーム生成部４８によって生成された補間フレームが記憶部４２に入力された場合、その補間フレームが内挿されるべき位置に対応するフレームメモリ４３−１乃至４３−６のいずれかに保持されるようになされている。
【００８５】
したがって、例えば、フレームｎ−１とフレームｎ−２の間に内挿される補間フレーム（以下、補間フレームｎ−1.5とも称する）が既に生成されている場合、記憶部４２には、動画像データを構成する一連のフレームのうち、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されていることになる。
【００８６】
画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、生成される補間フレームを挟む２枚のフレームを、フレーム間距離の狭い組み合わせから順に読み出す。
【００８７】
例えば図１０に示すように、補間フレーム生成部４８においてフレームｎとフレームｎ−１の間に内挿すべき補間フレームが生成される場合、まずフレーム間距離が最短のフレームｎ，ｎ−１を読み出す。読み出したフレームｎ，ｎ−１を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、次に、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5を読み出す。そして、読み出したフレームｎ＋１と補間フレームｎ−1.5を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、さらに、フレーム間距離がより広いフレームｎ＋２，ｎ−２を読み出すことになる。
【００８８】
なお、同時に読み出す第１および第２のフレームの組み合わせは上述した例に限るものではなく、後に読み出される２フレームのうち、少なくとも１フレームが変更されていればよい。また、読み出す２フレームのフレーム間距離については、前回読み出された２フレームのフレーム間距離と同じ以上であればよい。
【００８９】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間でシーンチェンジを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。また、シーンチェンジ検出部４５は、検出結果を保持しておき、次に読み出される２フレーム間のシーンチェンジ検出結果として流用するようにすることができる。例えば、フレームｎ，ｎ−１の間にシーンチェンジが検出された場合、次に読み出されるフレームｎ＋１，ｎ−２の間にもシーンチェンジが存在するので、この検出を省略するようにしてもよい。
【００９０】
動きベクトル検出部４６は、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する。なお、入力される２フレームの一方が仮に前回と同じフレームであった場合、動きベクトルの精度を向上させるためには、同一のフレームを連続して基準画像としないことが望ましい。
【００９１】
動きベクトル補正部４７は、検出された動きベクトルを補間フレームの各画素に対応付ける。このとき、図１に示されたように、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生したならば、その旨を示す信号を、領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に出力する。この信号に対応し、画像データ読み出し部４４では前回読み出した２フレームとは少なくとも一方が異なる第１および第２のフレームが読み出され、動きベクトル検出部４６では、新たに読み出された第１および第２のフレームの領域ａに対応する部分の動きベクトルが検出される。
【００９２】
補間フレーム生成部４８は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを補間フレーム挿入部５０に出力する。また補間フレーム生成部４８は、生成した補間フレームを記憶部４２にも出力する。記憶部４２に出力された補間フレームは、これ以降の補間フレームを生成する時に利用される。
【００９３】
次に、フレームレート変換装置４０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームｎ−0.5を生成する場合を例に、図１１のフローチャートを参照して説明する。
【００９４】
なお、既にフレームｎ−１とフレームｎ−２の間に内挿すべき補間フレームｎ−1.5が生成されており、記憶部４２には、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されているものとする。
【００９５】
ステップＳ２１において、画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【００９６】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００９７】
動きベクトル検出部４６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【００９８】
ステップＳ２２において、動きベクトル補正部４７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００９９】
ステップＳ２３において、動きベクトル補正部４７は、ステップＳ２２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に通知され、処理はステップＳ２４に進められる。
【０１００】
ステップＳ２４において、画像データ読み出し部４４は、動きベクトル補正部４７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１０１】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。
【０１０２】
動きベクトル検出部４６は、動きベクトル補正部４７からの領域ａを示す情報に対応し、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、参照画像に探索範囲を設けて領域ａを含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲を先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１０３】
この後、処理はステップＳ２２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ２３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ２４に進められる。２回目のステップＳ２４の処理では、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−２）が読み出されて動きベクトルが検出される。
【０１０４】
この後、再びステップＳ２２に戻り、それ以降の処理が実行される。そして、ステップＳ２３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、処理はステップＳ２５に進められる。
【０１０５】
なお、ステップＳ２２乃至Ｓ２４の処理を繰り返したことによって記憶部４２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部４８に供給されて、処理はステップＳ２５に進められる。
【０１０６】
ステップＳ２５において、補間フレーム生成部４８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。
【０１０７】
例えば、補間フレームの画素のうち、フレームｎ，ｎ−１の動きベクトルが対応付けられているものは、フレームｎ，ｎ−１の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。また、フレームｎ＋１と補間フレームｎ−1.5の動きベクトルが対応付けられているものは、フレームｎ＋１と補間フレームｎ−1.5の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。さらに、フレームｎ＋２，ｎ−２の動きベクトルが対応付けられているものは、フレームｎ＋２，ｎ−２の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。
【０１０８】
ステップＳ２６において、補間フレーム生成部４８は、生成した補間フレームｎ−0.5を記憶部４２と補間フレーム挿入部５０に出力する。記憶部４２は、入力された補間フレームｎ−0.5をフレームｎとフレームｎ−１の間に保持することになる。一方、補間フレーム挿入部５０は、遅延部４９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１０９】
以上で、フレームレート変換装置１０の動作の説明を終了する。
【０１１０】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【０１１１】
以上説明したフレームレート変換装置３０の動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【０１１２】
また、既に生成済みの補間フレームを動きベクトルの検出に用いるので、上述した第１および第２の実施の形態に比較して、読み出す２フレームのフレーム間距離を狭くすることができる。したがって、ブロックマッチング法に際して参照画像に設ける探索範囲を上述した第１および第２の実施の形態に比較して狭くすることができるので、動き検出に要する演算量を第１および第２の実施の形態よりも減少させることができる。
【０１１３】
次に、２回目以降の動きベクトルの検出をエッジ部分に限定することにより演算量を削減するようにしたフレームレート変換装置の第４の構成例を提案する。
【０１１４】
図１２は本発明の一実施の形態であるフレームレート変換装置の第４の構成例を示している。このフレームレート変換装置６０は、上述した第３の構成例であるフレームレート変換装置４０に対して、エッジ検出部６１を追加したものである。
【０１１５】
エッジ検出部６１は、動きベクトル検出部４６から供給される第１または第２のフレーム上のエッジを検出し、検出結果を動きベクトル検出部４６に戻すようになされている。フレームレート変換装置６０のエッジ検出部６１以外の構成要素については、フレームレート変換装置４０の構成要素と同様であって同一の符号を付しているので、その説明は省略する。
【０１１６】
次に、フレームレート変換装置６０の動作について、図１３のフローチャートを参照して説明する。なお、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に説明する。
【０１１７】
次に、フレームレート変換装置６０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームｎ−0.5を生成する場合を例に、図１３のフローチャートを参照して説明する。
【０１１８】
なお、既にフレームｎ−１とフレームｎ−２の間に内挿すべき補間フレームｎ−1.5が生成されており、記憶部４２には、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されているものとする。
【０１１９】
ステップＳ３１において、画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１２０】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【０１２１】
動きベクトル検出部４６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１２２】
ステップＳ３２において、動きベクトル補正部４７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【０１２３】
ステップＳ３３において、動きベクトル補正部４７は、ステップＳ３２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に通知され、処理はステップＳ３４に進められる。
【０１２４】
ステップＳ３４において、画像データ読み出し部４４は、動きベクトル補正部４７からの信号に対応し、前回読み出した２フレームと少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１２５】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。
【０１２６】
動きベクトル検出部４６は、前回の動きベクトル検出における参照画像をエッジ検出部６１に供給する。エッジ検出部６１は、前回の参照画像上のエッジ部分を検出して、この検出結果を動きベクトル検出部４６に戻す。なお、エッジ検出に要する演算量を削減する為、エッジ検出の範囲を、動きベクトルを対応付けることができなかった補間フレームの画素の周辺領域に限定してもよい。また、シーンチェンジ検出部４５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、今回の参照画像上にエッジ部分を検出するようにしてもよい。
【０１２７】
ステップＳ３５において、エッジ部分の検出結果を取得した動きベクトル検出部４６は、シーンチェンジ検出部４５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、動きベクトル補正部４７から通知された領域ａを含み、かつ、エッジ部分を含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１２８】
この後、処理はステップＳ３２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ３３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ３４に進められる。２回目のステップＳ３４の処理でも、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−２）が読み出されて動きベクトルが検出される。
【０１２９】
この後、再びステップＳ３２に戻り、それ以降の処理が実行される。そして、ステップＳ３３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、その情報が補間フレーム生成部４８に供給されて、処理はステップＳ３６に進められる。
【０１３０】
なお、ステップＳ３２乃至Ｓ３５の処理を繰り返したことによって記憶部４２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部４８に供給されて、処理はステップＳ３６に進められる。
【０１３１】
ステップＳ３６において、補間フレーム生成部４８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。ステップＳ３７において、補間フレーム生成部４８は、生成した補間フレームｎ−0.5を記憶部４２と補間フレーム挿入部５０に出力する。記憶部４２は、入力された補間フレームｎ−0.5をフレームｎとフレームｎ−１の間に保持することになる。一方、補間フレーム挿入部５０は、遅延部４９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１３２】
以上で、フレームレート変換装置６０の動作の説明を終了する。
【０１３３】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【０１３４】
以上説明したフレームレート変換装置６０の動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【０１３５】
また、既に生成済みの補間フレームを動きベクトルの検出に用いるので、上述した第１および第２の実施の形態に比較して、読み出す２フレームのフレーム間距離を狭くすることができる。したがって、ブロックマッチング法に際しての探索範囲を上述した第１および第２の実施の形態に比較して狭くすることができるので、動き検出に要する演算量を第１および第２の実施の形態よりも減少させることができる。
【０１３６】
さらに、フレームレート変換装置４０に比較してエッジ検出の手間は増えるものの、動きベクトル検出に要する演算量を削減することができる。
【０１３７】
なお、上述したフレームレート変換装置１０，３０，４０および６０のいずれにおいても、２回目以降の動きベクトル検出を、前回の動きベクトル検出で検出された動きベクトルを対応付けすることができなかった補間フレームの画素付近に限定しているが、この限定を解除し、２回目以降の動きベクトル検出においても画像全域の動きベクトルを検出するようにしてもよい。
【０１３８】
また、上述した説明において、動きベクトルの検出にはブロックマッチング法を用いたが、その際、分割したブロックの画素を間引くなどして演算量を削減するようにしてもよい。また、ブロックマッチング法の代わりに、勾配法などの他の手法を用いて動きベクトルを検出してもよい。
【０１３９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１４０】
上述した一連の処理を実行させるソフトウェアは、記録媒体に格納された状態でパーソナルコンピュータに供給され、ドライブによって読み出されて内蔵されるハードディスクドライブなどにインストールされており、このインストールされているソフトウェアは、入力されるユーザからのコマンドに対応するCPUの指令によって、ハードディスクドライブからRAMにロードされて実行される。
【０１４１】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４３】
【図１】動きベクトルを対応付ける際の従来の問題点を説明するための図である。
【図２】本発明を適用したフレームレート変換装置の第１の構成例を示すブロック図である。
【図３】動きベクトルの検出に用いる２フレームの組み合わせを示す図である。
【図４】フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。
【図５】フレームレート変換装置の第１の構成例の動作を説明するための図である。
【図６】動きベクトルの検出に用いる２フレームの他の組み合わせを示す図である。
【図７】本発明を適用したフレームレート変換装置の第２の構成例を示すブロック図である。
【図８】フレームレート変換装置の第２の構成例の動作を説明するフローチャートである。
【図９】本発明を適用したフレームレート変換装置の第３の構成例を示すブロック図である。
【図１０】動きベクトルの検出に用いる補間フレームを含めた２フレームの組み合わせを示す図である。
【図１１】フレームレート変換装置の第３の構成例の動作を説明するフローチャートである。
【図１２】本発明を適用したフレームレート変換装置の第４の構成例を示すブロック図である。
【図１３】フレームレート変換装置の第４の構成例の動作を説明するフローチャートである。
【符号の説明】
【０１４４】
１０ フレームレート変換装置， １１ 画像データ供給部， １２ 記憶部， １３ フレームメモリ， １４ 画像データ読み出し部， １５ シーンチェンジ検出部， １６ 動きベクトル検出部， １７ 動きベクトル補正部， １８ 補間フレーム生成部， １９ 遅延部， ２０ 補間フレーム挿入部， ３１ エッジ検出部， ４０ フレームレート変換装置， ４１ 画像データ供給部， ４２ 記憶部， ４３ フレームメモリ， ４４ 画像データ読み出し部， ４５ シーンチェンジ検出部， ４６ 動きベクトル検出部， ４７ 動きベクトル補正部， ４８ 補間フレーム生成部， ４９ 遅延部， ５０ 補間フレーム挿入部， ６１ エッジ検出部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて検出する動きベクトルを用い、前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
動画像のフレームレート変換処理などにおいては、動画像を構成する時間軸方向に前後する２枚のフレームの間に内挿するための補間フレームが生成される。この補間フレームの生成には、当該２枚のフレームに基づいて動きベクトルが検出される。
【０００３】
２枚のフレームに基づいて動きベクトルを検出する方法としては、勾配法（例えば、特許文献１参照）やブロックマッチング法（例えば、特許文献２参照）が知られている。
【０００４】
【特許文献１】特開昭６０−１５８７８６号公報
【特許文献２】特開平８−１８６８２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
例えばブロックマッチング法では、前後する２枚のフレームｎ−１，ｎのうち、一方のフレーム（例えば、フレームｎ−１）を所定サイズのブロックに分割し、ブロック毎に他方のフレーム（例えば、フレームｎ）に設けた当該ブロックよりも広い探索範囲と比較して、図１に示すようにブロック単位で動きベクトルを検出する。そして、検出された動きベクトルを補間フレームの画素に対応付けることによって補間フレームの画素が決定される。
【０００６】
ところで図１から明らかなように、上述した方法では、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生することがある。このような場合、補間フレームの領域ａには最適な画素を決定することができないので、領域ａは動きベクトルを対応付けることができた画素からなる他の領域に比較して画質が劣化してしまう。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止できるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面である画像処理装置は、動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、前記動画像を構成する一連の複数の画像を保持する保持手段と、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段と、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段と、前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段とを含み、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける。
【０００９】
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像の少なくとも１画像を変更し、かつ、前回選択した前記２画像よりもフレーム間距離がより広い第１および第２の画像を選択するようにすることができる。
【００１０】
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域の補正用の動きベクトルを検出するようにすることができる。
【００１１】
本発明の一側面である画像処理装置は、前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段をさらに含むことができ、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出するようにすることができる。
【００１２】
本発明の一側面である画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段をさらに含むことができる。
【００１３】
前記保持手段は、さらに、前記生成手段によって生成された前記補正画像も保持し、前記選択手段は、保持されている前記補正画像を含む複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択するようにすることができる。
【００１４】
本発明の一側面である画像処理方法は、動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、前記補間画像を構成する画素に、検出された動きベクトルを対応付け、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付けるステップを含む。
【００１５】
本発明の一側面であるプログラムは、動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、前記補間画像を構成する画素に、検出された動きベクトルを対応付け、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付けるステップを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、保持されている前記複数の画像のうち、所定のフレーム間距離を有する第１および第２の画像が選択され、選択された第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルが検出され、補間画像を構成する画素に、検出された動きベクトルが対応付けられる。そして、動きベクトルが対応付けられなかった補間画像の前記画素が存在する場合、保持されている複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像が再び選択され、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルが検出され、動きベクトルが対応付けられなかった補間画像の画素に、検出された補正用の動きベクトルが対応付けられる。
【発明の効果】
【００１７】
本発明の一側面によれば、補間フレームのできるだけ多くの画素に動きベクトルを対応付けることができる。また、本発明の一側面によれば、補間フレームの画質劣化を抑止することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
請求項１に記載の画像処理装置（例えば、図２のフレームレート変換装置１０）は、前記動画像を構成する一連の複数の画像を保持する保持手段（例えば、図２の記憶部１２）と、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段（例えば、図２の画像読み出し部１４）と、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段（例えば、図２の動きベクトル検出部１６）と、前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段（例えば、図２の動きベクトル補正部１７）とを含み、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける。
【００２０】
請求項４に記載の画像処理装置は、前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段（例えば、図７のエッジ検出部３１）をさらに含み、前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出する。
【００２１】
請求項５に記載の画像処理装置は、前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段（例えば、図２の補間フレーム生成部１８）をさらに含む。
【００２２】
請求項７に記載の画像処理方法および請求項８に記載のプログラムは、保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し（例えば、図４のステップＳ１）、選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し（例えば、図４のステップＳ１）、前記補間画像を構成する画素に、検出された動きベクトルを対応付け（例えば、図４のステップＳ２）、前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、（例えば、図４のステップＳ４）、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し（例えば、図４のステップＳ４）、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける（例えば、図４のステップＳ２）ステップを含む。
【００２３】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２４】
図２は本発明の一実施の形態である、入力動画像データを構成する一連のフレームに補間フレームを内挿してフレームレートを変換するフレームレート変換装置の第１の構成例を示している。
【００２５】
このフレームレート変換装置１０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部１１、１フレーム分の動画像データを保持する複数のフレームメモリ１３からなり時間軸上に連続する複数のフレームを保持する記憶部１２、および、記憶部１２に保持されている複数のフレームの中から生成すべき補間フレームを挟む２枚のフレーム（以下、第１のフレームおよび第２のフレームと称する）を読み出す画像データ読み出し部１４から構成される。
【００２６】
さらに、フレームレート変換装置１０は、読み出された第１および第２のフレームの間のシーンチェンジを検出するシーンチェンジ検出部１５、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する動きベクトル検出部１６、検出された動きベクトルを補間フレームの画素に対応付ける動きベクトル補正部１７、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部１８、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部１９、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部２０から構成される。
【００２７】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００２８】
図２の構成例の場合、記憶部１２は６個のフレームメモリ１３−１乃至１３−６から構成される。各フレームメモリ１３は、前段から１フレーム分の動画像データが入力されることに対応し、保持している１フレーム分の動画像データを後段に出力する。したがって、記憶部１２は、動画像データを構成する一連のフレームのうち、連続する６フレーム（以下、フレームｎ＋２，ｎ＋１，ｎ，ｎ−１，ｎ−２，ｎ−３と称する）を保持することができる。なお、フレームメモリ１３の個数は任意であるが、記憶部１２に保持する一連のフレームの期間にシーンチェンジが存在しないことが前提となるので、現実的には最大でも２０程度とすることが望ましい。
【００２９】
画像データ読み出し部１４は、記憶部１２に保持されている６フレームｎ＋２乃至ｎ−３のうち、生成される補間フレームを挟む２枚のフレームを、フレーム間距離の狭い組み合わせから順に読み出す。
【００３０】
例えば図３に示すように、補間フレーム生成部１８においてフレームｎとフレームｎ−１の間に内挿すべき補間フレームが生成される場合、まずフレーム間距離が１フレームのフレームｎ，ｎ−１を読み出す。読み出したフレームｎ，ｎ−１を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、次に、フレーム間距離がより広いフレームｎ＋１，ｎ−２を読み出す。そして、読み出したフレームｎ＋１，ｎ−２を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、さらに、フレーム間距離がより広いフレームｎ＋２，ｎ−３を読み出すことになる。
【００３１】
なお、同時に読み出す第１および第２のフレームの組み合わせは上述した例に限るものではなく、後に読み出される２フレームのうち、少なくとも１フレームが変更されていればよい。また、読み出す２フレームのフレーム間距離については、前回読み出された２フレームのフレーム間距離と同じ以上であればよい。
【００３２】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間でシーンチェンジを検出し、検出結果と第１および第２のフレームを後段の動きベクトル検出部１６に供給する。また、シーンチェンジ検出部１５は、検出結果を保持しておき、次に読み出される２フレーム間のシーンチェンジ検出結果として流用するようにすることができる。例えば、フレームｎ，ｎ−１の間にシーンチェンジが検出された場合、次に読み出されるフレームｎ＋１，ｎ−２の間にもシーンチェンジが存在するので、この検出を省略するようにしてもよい。
【００３３】
動きベクトル検出部１６は、第１および第２のフレームの間にシーンチェンジが検出されていない場合のみ、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する。具体的には、供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。なお、入力される２フレームの一方が仮に前回と同じフレームであった場合、動きベクトルの精度を向上させるためには、同一のフレームを連続して基準画像としないことが望ましい。
【００３４】
動きベクトル補正部１７は、検出された動きベクトルを補間フレームの各画素に対応付ける。このとき、図１に示されたように、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生したならば、その旨を示す信号を、領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に出力する。この信号に対応し、画像データ読み出し部１４では前回と異なる第１および第２のフレームが読み出され、動きベクトル検出部１６では、新たに読み出された第１および第２のフレームの領域ａに対応する部分の動きベクトルが検出される。
【００３５】
次に、フレームレート変換装置１０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に、図４のフローチャートを参照して説明する。
【００３６】
フレームレート変換装置１０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、および遅延部１９に供給される。
【００３７】
そして、画像データ供給部１１を介して動画像データが１フレームずつ記憶部１２に供給される。そして、６フレーム分の動画像データが記憶部１２に保持される。
【００３８】
ステップＳ１において、画像データ読み出し部１４は、記憶部１２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００３９】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００４０】
動きベクトル検出部１６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００４１】
ステップＳ２において、動きベクトル補正部１７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００４２】
ステップＳ３において、動きベクトル補正部１７は、ステップＳ２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に通知され、処理はステップＳ４に進められ、前回読み出した２フレームとは少なくとも一方が異なる２フレームに基づいて動きベクトルが検出される。
【００４３】
具体的には、ステップＳ４において、画像データ読み出し部１４は、動きベクトル補正部１７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム(例えば図５に示すように、フレーム間距離がより広いフレームｎ＋１，ｎ−２)を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００４４】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。
【００４５】
動きベクトル検出部１６は、動きベクトル補正部１７からの領域ａを示す情報に対応し、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、参照画像に探索範囲を設けて領域ａを含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっているので、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００４６】
この後、処理はステップＳ２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ４に進められる。２回目のステップＳ４の処理では、前回読み出した２フレームとは少なくとも一方が異なる２フレーム(例えば図５に示すように、フレーム間距離がより広いフレームｎ＋２，ｎ−３)が読み出されて動きベクトルが検出される。
【００４７】
この後、再びステップＳ２に戻り、それ以降の処理が実行される。そして、ステップＳ３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しないと判定された場合、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給され、処理はステップＳ５に進められる。
【００４８】
なお、ステップＳ２乃至Ｓ４の処理を繰り返したことによって記憶部１２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給されて、処理はステップＳ５に進められる。
【００４９】
ステップＳ５において、補間フレーム生成部１８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。
【００５０】
例えば、補間フレームの画素のうち、フレームｎ，ｎ−１の動きベクトルが対応付けられているものは、フレームｎ，ｎ−１の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。また、フレームｎ＋１，ｎ−２の動きベクトルが対応付けられているものは、フレームｎ＋１，ｎ−２の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。さらに、フレームｎ＋２，ｎ−３の動きベクトルが対応付けられているものは、フレームｎ＋２，ｎ−３の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。そしてこの結果得られる補間フレームを補間フレーム挿入部２０に出力する。
【００５１】
補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００５２】
以上で、フレームレート変換装置１０の動作の説明を終了する。
【００５３】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。例えば図６に示すように、初めにフレームｎ，ｎ−１を読み出し、次にフレームｎ＋１，ｎ−１を読み出し、その次にフレームｎ＋２，ｎ−１を読み出すようにしてもよい。この場合、２回目および３回目の読み出しでは、それぞれフレームｎ＋１またはフレームｎ＋２だけを読み出すようにすることもできる。
【００５４】
以上説明したフレームレート変換装置１０による動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【００５５】
ところで、補間フレームの画素に動きベクトルを対応付けることができないことに起因する画質の劣化は、画像内のエッジ部分において顕著である。換言すれば、補間フレームの画素に動きベクトルを対応付けることができなくても、その画素が画像内のエッジ部分でなければ、画質の劣化はそれほど目立たない。そこで、２回目以降の動きベクトルの検出をエッジ部分に限定することにより演算量を削減するようにしたフレームレート変換装置の第２の構成例を提案する。
【００５６】
図７は本発明の一実施の形態であるフレームレート変換装置の第２の構成例を示している。このフレームレート変換装置３０は、上述した第１の構成例であるフレームレート変換装置１０に対して、エッジ検出部３１を追加したものである。
【００５７】
エッジ検出部３１は、動きベクトル検出部１６から供給される第１または第２のフレーム上のエッジを検出し、検出結果を動きベクトル検出部１６に戻すようになされている。フレームレート変換装置３０のエッジ検出部３１以外の構成要素については、フレームレート変換装置１０の構成要素と同様であって同一の符号を付しているので、その説明は省略する。
【００５８】
次に、フレームレート変換装置３０の動作について、図８のフローチャートを参照して説明する。なお、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に説明する。
【００５９】
フレームレート変換装置３０に対して前段から動画像データが入力されると、この入力動画像データは画像データ供給部１１、および遅延部１９に供給される。
【００６０】
そして、画像データ供給部１１を介して動画像データが１フレームずつ記憶部１２に供給される。そして、６フレーム分の動画像データが記憶部１２に保持される。
【００６１】
ステップＳ１１において、画像データ読み出し部１４は、記憶部１２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００６２】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間でシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００６３】
動きベクトル検出部１６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００６４】
ステップＳ１２において、動きベクトル補正部１７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００６５】
ステップＳ１３において、動きベクトル補正部１７は、ステップＳ１２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部１４および動きベクトル検出部１６に通知され、処理はステップＳ１４に進められる。
【００６６】
ステップＳ１４において、画像データ読み出し部１４は、動きベクトル補正部１７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１，ｎ−２）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部１５に出力する。
【００６７】
シーンチェンジ検出部１５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部１６に供給する。
【００６８】
動きベクトル検出部１６は、前回の動きベクトル検出における参照画像をエッジ検出部３１に供給する。エッジ検出部３１は、前回の参照画像上のエッジ部分を検出して、この検出結果を動きベクトル検出部１６に戻す。なお、エッジ検出に要する演算量を削減する為、エッジ検出の範囲を、動きベクトルを対応付けることができなかった補間フレームの画素の周辺領域に限定してもよい。また、シーンチェンジ検出部１５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、今回の参照画像上にエッジ部分を検出するようにしてもよい。
【００６９】
ステップＳ１５において、エッジ部分の検出結果を取得した動きベクトル検出部１６は、シーンチェンジ検出部１５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、動きベクトル補正部１７から通知された領域ａを含み、かつ、エッジ部分を含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部１７に供給される。
【００７０】
この後、処理はステップＳ１２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ１３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ１４に進められる。２回目のステップＳ１４およびＳ１５の処理でも、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−３）が読み出されて動きベクトルが検出される。
【００７１】
この後、再びステップＳ１２に戻り、それ以降の処理が実行される。そして、ステップＳ１３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、その情報が補間フレーム生成部１８に供給されて、処理はステップＳ１６に進められる。
【００７２】
なお、ステップＳ１２乃至Ｓ１５の処理を繰り返したことによって記憶部１２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部１８に供給されて、処理はステップＳ１６に進められる。
【００７３】
ステップＳ１６において、補間フレーム生成部１８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成し、生成した補間フレームを補間フレーム挿入部２０に出力する。
【００７４】
補間フレーム挿入部２０は、遅延部１９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【００７５】
以上で、フレームレート変換装置３０の動作の説明を終了する。
【００７６】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【００７７】
以上説明したフレームレート変換装置３０による動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。また、フレームレート変換装置１０に比較してエッジ検出の手間は増えるものの、動きベクトル検出に要する演算量を削減することができる。
【００７８】
次に、内挿するために生成した補間フレームを、それ以降の補間フレームを生成するために用いる動きベクトルの検出に利用するようにしたフレームレート変換装置の第３の構成例について説明する。
【００７９】
図９は本発明の一実施の形態であるフレームレート変換装置の第３の構成例を示している。
【００８０】
このフレームレート変換装置４０は、前段からの入力動画像データを１フレームずつ後段に出力する画像データ供給部４１、１フレーム分の動画像データを保持する複数のフレームメモリ４３からなり時間軸上に連続する複数のフレームと生成される補間フレームを保持する記憶部４２、および、記憶部４２に保持されている複数のフレームの中から生成すべき補間フレームを挟む２枚のフレーム（以下、第１のフレームおよび第２のフレームと称する）を読み出す画像データ読み出し部４４から構成される。
【００８１】
さらに、フレームレート変換装置４０は、読み出された第１および第２のフレームの間のシーンチェンジを検出するシーンチェンジ検出部４５、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する動きベクトル検出部４６、検出された動きベクトルを補間フレームの画素に対応付ける動きベクトル補正部４７、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成する補間フレーム生成部４８、前段からの入力動画像データを補間フレームが生成される時間だけ遅延させる遅延部４９、および、遅延された入力動画像データに補間フレームを内挿する補間フレーム挿入部５０から構成される。
【００８２】
なお、フレーム単位で処理される動画像データには、各画素の座標情報と画素値が含まれているものとする。
【００８３】
フレームメモリ４３の個数は任意であるが、記憶部４２に保持する一連のフレームの期間にシーンチェンジが存在しないことが前提となるので、現実的には最大でも２０程度とすることが望ましい。
【００８４】
図９の構成例の場合、記憶部４２は６個のフレームメモリ４３−１乃至４３−６から構成される。各フレームメモリ４３は、前段から１フレーム分の動画像データが入力されることに対応し、保持している１フレーム分の動画像データを後段に出力する。ただし、補間フレーム生成部４８によって生成された補間フレームが記憶部４２に入力された場合、その補間フレームが内挿されるべき位置に対応するフレームメモリ４３−１乃至４３−６のいずれかに保持されるようになされている。
【００８５】
したがって、例えば、フレームｎ−１とフレームｎ−２の間に内挿される補間フレーム（以下、補間フレームｎ−1.5とも称する）が既に生成されている場合、記憶部４２には、動画像データを構成する一連のフレームのうち、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されていることになる。
【００８６】
画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、生成される補間フレームを挟む２枚のフレームを、フレーム間距離の狭い組み合わせから順に読み出す。
【００８７】
例えば図１０に示すように、補間フレーム生成部４８においてフレームｎとフレームｎ−１の間に内挿すべき補間フレームが生成される場合、まずフレーム間距離が最短のフレームｎ，ｎ−１を読み出す。読み出したフレームｎ，ｎ−１を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、次に、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5を読み出す。そして、読み出したフレームｎ＋１と補間フレームｎ−1.5を第１および第２のフレームとして検出される動きベクトルだけでは補間フレームを生成できない場合、さらに、フレーム間距離がより広いフレームｎ＋２，ｎ−２を読み出すことになる。
【００８８】
なお、同時に読み出す第１および第２のフレームの組み合わせは上述した例に限るものではなく、後に読み出される２フレームのうち、少なくとも１フレームが変更されていればよい。また、読み出す２フレームのフレーム間距離については、前回読み出された２フレームのフレーム間距離と同じ以上であればよい。
【００８９】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間でシーンチェンジを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。また、シーンチェンジ検出部４５は、検出結果を保持しておき、次に読み出される２フレーム間のシーンチェンジ検出結果として流用するようにすることができる。例えば、フレームｎ，ｎ−１の間にシーンチェンジが検出された場合、次に読み出されるフレームｎ＋１，ｎ−２の間にもシーンチェンジが存在するので、この検出を省略するようにしてもよい。
【００９０】
動きベクトル検出部４６は、第１および第２のフレームにブロックマッチング法を適用して動きベクトルを検出する。なお、入力される２フレームの一方が仮に前回と同じフレームであった場合、動きベクトルの精度を向上させるためには、同一のフレームを連続して基準画像としないことが望ましい。
【００９１】
動きベクトル補正部４７は、検出された動きベクトルを補間フレームの各画素に対応付ける。このとき、図１に示されたように、動きベクトルを対応付けることができない補間フレームの画素（図１の領域ａ）が発生したならば、その旨を示す信号を、領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に出力する。この信号に対応し、画像データ読み出し部４４では前回読み出した２フレームとは少なくとも一方が異なる第１および第２のフレームが読み出され、動きベクトル検出部４６では、新たに読み出された第１および第２のフレームの領域ａに対応する部分の動きベクトルが検出される。
【００９２】
補間フレーム生成部４８は、補間フレームの各画素に対応付けられた動きベクトルに基づいて補間フレームを生成し、生成した補間フレームを補間フレーム挿入部５０に出力する。また補間フレーム生成部４８は、生成した補間フレームを記憶部４２にも出力する。記憶部４２に出力された補間フレームは、これ以降の補間フレームを生成する時に利用される。
【００９３】
次に、フレームレート変換装置４０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームｎ−0.5を生成する場合を例に、図１１のフローチャートを参照して説明する。
【００９４】
なお、既にフレームｎ−１とフレームｎ−２の間に内挿すべき補間フレームｎ−1.5が生成されており、記憶部４２には、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されているものとする。
【００９５】
ステップＳ２１において、画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【００９６】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【００９７】
動きベクトル検出部４６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【００９８】
ステップＳ２２において、動きベクトル補正部４７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【００９９】
ステップＳ２３において、動きベクトル補正部４７は、ステップＳ２２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に通知され、処理はステップＳ２４に進められる。
【０１００】
ステップＳ２４において、画像データ読み出し部４４は、動きベクトル補正部４７からの信号に対応し、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１０１】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。
【０１０２】
動きベクトル検出部４６は、動きベクトル補正部４７からの領域ａを示す情報に対応し、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、参照画像に探索範囲を設けて領域ａを含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲を先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１０３】
この後、処理はステップＳ２２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ２３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ２４に進められる。２回目のステップＳ２４の処理では、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−２）が読み出されて動きベクトルが検出される。
【０１０４】
この後、再びステップＳ２２に戻り、それ以降の処理が実行される。そして、ステップＳ２３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、処理はステップＳ２５に進められる。
【０１０５】
なお、ステップＳ２２乃至Ｓ２４の処理を繰り返したことによって記憶部４２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部４８に供給されて、処理はステップＳ２５に進められる。
【０１０６】
ステップＳ２５において、補間フレーム生成部４８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。
【０１０７】
例えば、補間フレームの画素のうち、フレームｎ，ｎ−１の動きベクトルが対応付けられているものは、フレームｎ，ｎ−１の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。また、フレームｎ＋１と補間フレームｎ−1.5の動きベクトルが対応付けられているものは、フレームｎ＋１と補間フレームｎ−1.5の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。さらに、フレームｎ＋２，ｎ−２の動きベクトルが対応付けられているものは、フレームｎ＋２，ｎ−２の基準画像とされた方の対応する画素を動きベクトルに基づいて移動することによって生成する。
【０１０８】
ステップＳ２６において、補間フレーム生成部４８は、生成した補間フレームｎ−0.5を記憶部４２と補間フレーム挿入部５０に出力する。記憶部４２は、入力された補間フレームｎ−0.5をフレームｎとフレームｎ−１の間に保持することになる。一方、補間フレーム挿入部５０は、遅延部４９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１０９】
以上で、フレームレート変換装置１０の動作の説明を終了する。
【０１１０】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【０１１１】
以上説明したフレームレート変換装置３０の動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【０１１２】
また、既に生成済みの補間フレームを動きベクトルの検出に用いるので、上述した第１および第２の実施の形態に比較して、読み出す２フレームのフレーム間距離を狭くすることができる。したがって、ブロックマッチング法に際して参照画像に設ける探索範囲を上述した第１および第２の実施の形態に比較して狭くすることができるので、動き検出に要する演算量を第１および第２の実施の形態よりも減少させることができる。
【０１１３】
次に、２回目以降の動きベクトルの検出をエッジ部分に限定することにより演算量を削減するようにしたフレームレート変換装置の第４の構成例を提案する。
【０１１４】
図１２は本発明の一実施の形態であるフレームレート変換装置の第４の構成例を示している。このフレームレート変換装置６０は、上述した第３の構成例であるフレームレート変換装置４０に対して、エッジ検出部６１を追加したものである。
【０１１５】
エッジ検出部６１は、動きベクトル検出部４６から供給される第１または第２のフレーム上のエッジを検出し、検出結果を動きベクトル検出部４６に戻すようになされている。フレームレート変換装置６０のエッジ検出部６１以外の構成要素については、フレームレート変換装置４０の構成要素と同様であって同一の符号を付しているので、その説明は省略する。
【０１１６】
次に、フレームレート変換装置６０の動作について、図１３のフローチャートを参照して説明する。なお、フレームｎとフレームｎ−１の間に内挿すべき補間フレームを生成する場合を例に説明する。
【０１１７】
次に、フレームレート変換装置６０の動作について、フレームｎとフレームｎ−１の間に内挿すべき補間フレームｎ−0.5を生成する場合を例に、図１３のフローチャートを参照して説明する。
【０１１８】
なお、既にフレームｎ−１とフレームｎ−２の間に内挿すべき補間フレームｎ−1.5が生成されており、記憶部４２には、連続する６フレーム（フレームｎ＋２，ｎ＋１，ｎ，ｎ−１、補間フレームｎ−1.5、フレームｎ−２）が保持されているものとする。
【０１１９】
ステップＳ３１において、画像データ読み出し部４４は、記憶部４２に保持されている６フレームのうち、フレームｎ，ｎ−１を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１２０】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。以下、第１および第２のフレームの間にシーンチェンジが検出されなかったものとして説明を継続する。
【０１２１】
動きベクトル検出部４６は、第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、ブロック毎に当該ブロックよりも広い探索範囲を参照画像に設けて比較し、ブロック毎に動きベクトルを検出する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１２２】
ステップＳ３２において、動きベクトル補正部４７は、検出された動きベクトルを補間フレームの画素に対応付ける。ただし、この処理で動きベクトルを対応付けることができない補間フレームの画素が存在してもよい。
【０１２３】
ステップＳ３３において、動きベクトル補正部４７は、ステップＳ３２の処理で動きベクトルを対応付けることができなかった補間フレームの画素（例えば、図５における領域ａの画素）が存在するか否かを判定する。動きベクトルを対応付けることができなかった補間フレームの画素が存在すると判定された場合、その旨を示す信号が領域ａを示す情報とともに画像データ読み出し部４４および動きベクトル検出部４６に通知され、処理はステップＳ３４に進められる。
【０１２４】
ステップＳ３４において、画像データ読み出し部４４は、動きベクトル補正部４７からの信号に対応し、前回読み出した２フレームと少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋１と補間フレームｎ−1.5）を読み出し、第１および第２のフレームとしてシーンチェンジ検出部４５に出力する。
【０１２５】
シーンチェンジ検出部４５は、読み出された第１および第２のフレームの間にシーンチェンジがあるか否かを検出し、検出結果とともに第１および第２のフレームを後段の動きベクトル検出部４６に供給する。
【０１２６】
動きベクトル検出部４６は、前回の動きベクトル検出における参照画像をエッジ検出部６１に供給する。エッジ検出部６１は、前回の参照画像上のエッジ部分を検出して、この検出結果を動きベクトル検出部４６に戻す。なお、エッジ検出に要する演算量を削減する為、エッジ検出の範囲を、動きベクトルを対応付けることができなかった補間フレームの画素の周辺領域に限定してもよい。また、シーンチェンジ検出部４５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、今回の参照画像上にエッジ部分を検出するようにしてもよい。
【０１２７】
ステップＳ３５において、エッジ部分の検出結果を取得した動きベクトル検出部４６は、シーンチェンジ検出部４５から今回供給された第１および第２のフレームのうち、一方を基準画像、他方を参照画像として、基準画像を所定サイズのブロックに分割し、動きベクトル補正部４７から通知された領域ａを含み、かつ、エッジ部分を含むブロックの動きベクトルを検出する。なお、第１および第２のフレームのフレーム間距離が先程よりも広くなっている場合、参照画像に設ける探索範囲も先程よりも広く設定する。検出された動きベクトルは動きベクトル補正部４７に供給される。
【０１２８】
この後、処理はステップＳ３２に戻り、それ以降の処理が実行される。そして、２回目のステップＳ３３の処理において、動きベクトルを対応付けることができなかった補間フレームの画素が未だ存在すると判定された場合、処理は再度ステップＳ３４に進められる。２回目のステップＳ３４の処理でも、前回読み出した２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ＋２，ｎ−２）が読み出されて動きベクトルが検出される。
【０１２９】
この後、再びステップＳ３２に戻り、それ以降の処理が実行される。そして、ステップＳ３３において、動きベクトルを対応付けることができなかった補間フレームの画素が存在しない、すなわち、補間フレームの全ての画素に対して動きベクトルが対応付けられたと判定された場合、その情報が補間フレーム生成部４８に供給されて、処理はステップＳ３６に進められる。
【０１３０】
なお、ステップＳ３２乃至Ｓ３５の処理を繰り返したことによって記憶部４２から２フレームの組み合わせを読み出し尽くした場合、あるいはシーンチェンジが検出された場合、動きベクトルを対応付けることができなかった補間フレームの画素が依然として存在することもあるが、当該画素に対しては近傍の画素に対応付けられている動きベクトルを平均するなどして対応付ける動きベクトルを決定し、補間フレームの各画素に対して対応付けられた動きベクトルを示す情報が補間フレーム生成部４８に供給されて、処理はステップＳ３６に進められる。
【０１３１】
ステップＳ３６において、補間フレーム生成部４８は、各画素に対応付けられている動きベクトルに基づいて画素値を決定することにより補間フレームを生成する。ステップＳ３７において、補間フレーム生成部４８は、生成した補間フレームｎ−0.5を記憶部４２と補間フレーム挿入部５０に出力する。記憶部４２は、入力された補間フレームｎ−0.5をフレームｎとフレームｎ−１の間に保持することになる。一方、補間フレーム挿入部５０は、遅延部４９から供給される動画像データに補間フレームを内挿し、その結果得られるフレームレートが変換された動画像データを後段に出力する。
【０１３２】
以上で、フレームレート変換装置６０の動作の説明を終了する。
【０１３３】
なお、順次読み出す第１および第２のフレームの組み合わせは上述した説明に限るものではない。
【０１３４】
以上説明したフレームレート変換装置６０の動作によれば、補間フレームのより多くの画素に動きベクトルを精度よく対応付けることができるので、補間フレームの画素値を正確に決定することができる。よって、補間フレームの画質劣化を抑止することができる。
【０１３５】
また、既に生成済みの補間フレームを動きベクトルの検出に用いるので、上述した第１および第２の実施の形態に比較して、読み出す２フレームのフレーム間距離を狭くすることができる。したがって、ブロックマッチング法に際しての探索範囲を上述した第１および第２の実施の形態に比較して狭くすることができるので、動き検出に要する演算量を第１および第２の実施の形態よりも減少させることができる。
【０１３６】
さらに、フレームレート変換装置４０に比較してエッジ検出の手間は増えるものの、動きベクトル検出に要する演算量を削減することができる。
【０１３７】
なお、上述したフレームレート変換装置１０，３０，４０および６０のいずれにおいても、２回目以降の動きベクトル検出を、前回の動きベクトル検出で検出された動きベクトルを対応付けすることができなかった補間フレームの画素付近に限定しているが、この限定を解除し、２回目以降の動きベクトル検出においても画像全域の動きベクトルを検出するようにしてもよい。
【０１３８】
また、上述した説明において、動きベクトルの検出にはブロックマッチング法を用いたが、その際、分割したブロックの画素を間引くなどして演算量を削減するようにしてもよい。また、ブロックマッチング法の代わりに、勾配法などの他の手法を用いて動きベクトルを検出してもよい。
【０１３９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０１４０】
上述した一連の処理を実行させるソフトウェアは、記録媒体に格納された状態でパーソナルコンピュータに供給され、ドライブによって読み出されて内蔵されるハードディスクドライブなどにインストールされており、このインストールされているソフトウェアは、入力されるユーザからのコマンドに対応するCPUの指令によって、ハードディスクドライブからRAMにロードされて実行される。
【０１４１】
なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４３】
【図１】動きベクトルを対応付ける際の従来の問題点を説明するための図である。
【図２】本発明を適用したフレームレート変換装置の第１の構成例を示すブロック図である。
【図３】動きベクトルの検出に用いる２フレームの組み合わせを示す図である。
【図４】フレームレート変換装置の第１の構成例の動作を説明するフローチャートである。
【図５】フレームレート変換装置の第１の構成例の動作を説明するための図である。
【図６】動きベクトルの検出に用いる２フレームの他の組み合わせを示す図である。
【図７】本発明を適用したフレームレート変換装置の第２の構成例を示すブロック図である。
【図８】フレームレート変換装置の第２の構成例の動作を説明するフローチャートである。
【図９】本発明を適用したフレームレート変換装置の第３の構成例を示すブロック図である。
【図１０】動きベクトルの検出に用いる補間フレームを含めた２フレームの組み合わせを示す図である。
【図１１】フレームレート変換装置の第３の構成例の動作を説明するフローチャートである。
【図１２】本発明を適用したフレームレート変換装置の第４の構成例を示すブロック図である。
【図１３】フレームレート変換装置の第４の構成例の動作を説明するフローチャートである。
【符号の説明】
【０１４４】
１０ フレームレート変換装置， １１ 画像データ供給部， １２ 記憶部， １３ フレームメモリ， １４ 画像データ読み出し部， １５ シーンチェンジ検出部， １６ 動きベクトル検出部， １７ 動きベクトル補正部， １８ 補間フレーム生成部， １９ 遅延部， ２０ 補間フレーム挿入部， ３１ エッジ検出部， ４０ フレームレート変換装置， ４１ 画像データ供給部， ４２ 記憶部， ４３ フレームメモリ， ４４ 画像データ読み出し部， ４５ シーンチェンジ検出部， ４６ 動きベクトル検出部， ４７ 動きベクトル補正部， ４８ 補間フレーム生成部， ４９ 遅延部， ５０ 補間フレーム挿入部， ６１ エッジ検出部
【特許請求の範囲】
【請求項１】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
前記動画像を構成する一連の複数の画像を保持する保持手段と、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段と、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段と、
前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段とを含み、
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
画像処理装置。
【請求項２】
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像の少なくとも１画像を変更し、かつ、前回選択した前記２画像よりもフレーム間距離がより広い第１および第２の画像を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域の補正用の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項４】
前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段をさらに含み、
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項５】
前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段を
さらに含む請求項１に記載の画像処理装置。
【請求項６】
前記保持手段は、さらに、前記生成手段によって生成された前記補正画像も保持し、
前記選択手段は、保持されている前記補正画像を含む複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する
請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、
前記補間画像を構成する画素に、検出された動きベクトルを対応付け、
前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
ステップを含む画像処理方法。
【請求項８】
動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、
前記補間画像を構成する画素に、検出された動きベクトルを対応付け、
前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
動画像を構成する一連の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置において、
前記動画像を構成する一連の複数の画像を保持する保持手段と、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する選択手段と、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出する動きベクトル検出手段と、
前記補間画像を構成する画素に、検出された動きベクトルを対応付ける対応付け手段とを含み、
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
前記対応付け手段は、動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
画像処理装置。
【請求項２】
前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
前記選択手段は、保持されている前記複数の画像のうち、前回選択した２画像の少なくとも１画像を変更し、かつ、前回選択した前記２画像よりもフレーム間距離がより広い第１および第２の画像を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域の補正用の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項４】
前記第１および第２の画像のうち、少なくとも一方の画像上のエッジ部分を検出するエッジ検出手段をさらに含み、
前記動きベクトル検出手段は、再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として、前記対応付け手段によって動きベクトルが対応付けられなかった前記補間画像の前記画素に対応する領域であって、且つ、検出されたエッジ部分に対応する領域の補正用の動きベクトルを検出する
請求項１に記載の画像処理装置。
【請求項５】
前記対応付け手段によって対応付けられた前記動きベクトルに基づき、前記補間画像を構成する前記画素の画素値を、前記第１の画像を構成する画素または第２の画像を構成する画素の少なくとも一方を用いて決定することにより、前記補間画像を生成する生成手段を
さらに含む請求項１に記載の画像処理装置。
【請求項６】
前記保持手段は、さらに、前記生成手段によって生成された前記補正画像も保持し、
前記選択手段は、保持されている前記補正画像を含む複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択する
請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の画像処理方法において、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、
前記補間画像を構成する画素に、検出された動きベクトルを対応付け、
前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
ステップを含む画像処理方法。
【請求項８】
動画像を構成する一連の複数の画像を保持し、前記複数の画像のうち、時間軸方向に前後する第１の画像および第２の画像に基づいて前記第１の画像と前記第２の画像の間に挿入すべき補間画像を生成する画像処理装置の制御用のプログラムであって、
保持されている前記複数の画像のうち、所定のフレーム間距離を有する前記第１および第２の画像を選択し、
選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として動きベクトルを検出し、
前記補間画像を構成する画素に、検出された動きベクトルを対応付け、
前記動きベクトルが対応付けられなかった前記補間画像の前記画素が存在する場合、
保持されている前記複数の画像のうち、前回選択した２画像のうちの少なくとも１画像を変更した第１および第２の画像を再び選択し、
再び選択された前記第１および第２の画像の一方を基準画像、他方を参照画像として補正用の動きベクトルを検出し、
動きベクトルが対応付けられなかった前記補間画像の前記画素に、検出された補正用の動きベクトルを対応付ける
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−２８８６８１（Ｐ２００７−２８８６８１Ａ）
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願番号】特願２００６−１１５８７６（Ｐ２００６−１１５８７６）
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願日】平成１８年４月１９日（２００６．４．１９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]