画像処理装置、画像処理方法、及びプログラム
【課題】編集用に作成された画像信号の画質を向上させる。
【解決手段】シーケンス判定部は、画像信号を構成する複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定し、フレーム補間部は、画像信号に対して、シーケンス判定部の判定結果に応じた画像処理を行う。本開示は、例えば、画像に対して画像処理を行う画像処理装置等に適用できる。
【解決手段】シーケンス判定部は、画像信号を構成する複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定し、フレーム補間部は、画像信号に対して、シーケンス判定部の判定結果に応じた画像処理を行う。本開示は、例えば、画像に対して画像処理を行う画像処理装置等に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、編集用に作成された画像信号の画質を向上させるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のフレーム（又はフィールド）により構成される動画像に、新たなフレームを補間してフレームレートを向上させるフレーム補間処理が存在する（例えば、特許文献１参照）。
【０００３】
このフレーム補間処理によれば、動画像を構成する各フレームの間に、新たなフレームを補間するため、各フレーム上のオブジェクトの動きを滑らかにすることができる。
【０００４】
ところで、動画像を表す画像信号としては、主に、表示用に作成された画像信号（以下、表示用の画像信号ともいう）と、編集用に作成された画像信号（以下、編集用の画像信号ともいう）が存在する。
【０００５】
表示用の画像信号としては、図１Aに示されるように、動画像を、それぞれ異なる複数のフレームにより構成したものが存在する。また、例えば、図１Bに示されるように、映画のフィルムのようなジャダー（がたつき）を生じさせるため、同一のフレームを連続して出現させるリピート回数として、３回と２回とを交互に繰り返すものが存在する。
【０００６】
フレーム補間処理によれば、図１Aに示されるような動画像に対して、フレームを補間した場合には、フレーム上のオブジェクトの動きを、より滑らかにすることができる。
【０００７】
また、例えば、図１Bに示されるような動画像に対して、フレームを補間した場合には、元々のジャダーを残しつつ、フレーム上のオブジェクトの動きを滑らかにすることができる。
【０００８】
なお、編集用の画像信号としては、図１Cに示されるように、リピート回数として、４回、２回、２回、２回というパターンを繰り返すものが存在する。また、例えば、図１Dに示されるように、リピート回数として、５回、３回、２回というパターンを繰り返すものが存在する。
【０００９】
その他、例えば、いわゆる３D用の動画像において、編集用の画像信号としては、ユーザの左眼に視認させるフレームのリピート回数として、２回、１回、１回、１回というパターンを繰り返し、ユーザの右眼に視認させるフレームのリピート回数として、２回、１回、１回、１回というパターンを繰り返すものが存在する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２８８６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
編集用の画像信号は、編集の利便性や、圧縮符号化の際の効率性等から、図１C乃至図１Eのように構成されており、画像信号に含まれるフレームの表示を考慮していない。
【００１２】
このため、編集用の画像信号に含まれるフレームを表示させるようにした場合、不規則な（不自然な）ジャダーが発生するものとなる。
【００１３】
したがって、一般的には、編集用の画像信号に対して編集などの作業を行い、編集後の画像信号を、表示用の画像信号に変換して放送等をすることが望ましい。
【００１４】
しかしながら、現状は、費用や工数等の理由により、表示用の画像信号に変換されず、編集用の画像信号のままで、放送等がされる場合も多い。
【００１５】
このため、例えば、放送される画像信号を受信するテレビジョン受像機等において、編集用の画像信号に対してフレーム補間処理が行われる場合、フレーム上のオブジェクトの動きを滑らかにするという効果が得られない。
【００１６】
また、編集用の画像信号に対してフレーム補間処理が行われることにより、不規則なジャダーが強調されてしまい、非常に見にくい動画像となってしまっていた。
【００１７】
さらに、例えば、表示用の画像信号を対象として行われるノイズリダクションやIP(interlace progressive)変換等を、編集用の画像信号に施した場合にも、フレーム補間処理の場合と同様にして、所望の効果を得ることができず、むしろ、非常に見にくい動画像となってしまう。
【００１８】
本開示は、このような状況に鑑みてなされたものであり、編集用に作成された画像信号の画質を向上させるようにするものである。
【課題を解決するための手段】
【００１９】
本開示の一側面の画像処理装置は、複数の画像により構成される画像信号に画像処理を行う画像処理装置であって、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部とを含む画像処理装置である。
【００２０】
前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに設けることができ、前記画像処理部には、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行わせることができる。
【００２１】
前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部とをさらに設けることができ、前記画像処理部には、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行わせることができる。
【００２２】
前記調整部には、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更させることができる。
【００２３】
前記変換部には、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換させることができる。
【００２４】
前記画像処理部には、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行わせることができる。
【００２５】
本開示の一側面の画像処理方法は、複数の画像により構成される画像信号に画像処理を行う画像処理装置の画像処理方法であって、前記画像処理装置による、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定ステップと、前記画像信号に対して、前記判定ステップの判定結果に応じた画像処理を行う画像処理ステップとを含む画像処理方法である。
【００２６】
本開示の一側面のプログラムは、複数の画像により構成される画像信号に画像処理を行う画像処理装置のコンピュータを、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部として機能させるためのプログラムである。
【００２７】
本開示によれば、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かが判定され、前記画像信号に対して、その判定結果に応じた画像処理が行われる。
【発明の効果】
【００２８】
本開示によれば、編集用に作成された画像信号の画質を向上させることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】表示用の画像信号と、編集用の画像信号の一例を示す図である。
【図２】第１の実施の形態である画像処理装置の構成例を示すブロック図である。
【図３】シーケンス判定部が行う処理の詳細を示す図である。
【図４】第１の画像処理を説明するためのフローチャートである。
【図５】図２の画像処理装置の他の構成例を示すブロック図である。
【図６】第２の実施の形態である画像処理装置の構成例を示すブロック図である。
【図７】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第１の図である。
【図８】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第２の図である。
【図９】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第３の図である。
【図１０】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第４の図である。
【図１１】第２の画像処理を説明するためのフローチャートである。
【図１２】第３の実施の形態である画像処理装置の一例を示すブロック図である。
【図１３】図１２の変換部及びフレーム補間部が行う処理の一例を示す図である。
【図１４】図１２の変換部及びフレーム補間部が行う処理により変化するジャダーの一例を示す図である。
【図１５】図１２の変換部及びフレーム補間部が行う処理の他の一例を示す図である。
【図１６】図１２の変換部及びフレーム補間部が行う処理のさらに他の一例を示す図である。
【図１７】第３の画像処理を説明するためのフローチャートである。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かに応じて画像処理を行うときの一例）
２．第２の実施の形態（イレギュラーシーケンスを、レギュラーシーケンスに変換するときの一例）
３．第３の実施の形態（ジャダーの生じている画像信号を、動きの滑らかな画像信号に補正するときの一例）
４．変形例
【００３１】
＜１．第１の実施の形態＞
[画像処理装置２１の構成例]
図２は、第１の実施の形態である画像処理装置２１の構成例を示している。
【００３２】
なお、この画像処理装置２１は、入力される画像信号を構成する複数のフレーム（又はフィールド）のうち、同一のフレームが連続する回数を表すリピート回数の出現する出現パターンを検出する。
【００３３】
また、画像処理装置２１は、検出した出現パターンが、表示用として予め決められた出現パターンを表すレギュラーシーケンスであるのか、編集用として予め決められた出現パターンを表すイレギュラーシーケンスであるのか判定するものである。
【００３４】
そして、画像処理装置２１は、入力される画像信号の出現パターンが、イレギュラーシーケンスであると判定した場合、入力される画像信号をそのまま出力する。
【００３５】
また、画像処理装置２１は、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、入力される画像信号に含まれる各フレームに対して、新たなフレームを補間した上で出力するものである。
【００３６】
画像処理装置２１は、フレームメモリ４１、差分算出部４２、シーケンス判定部４３、制御部４４、操作部４５、及びフレーム補間部４６から構成される。この画像処理装置２１には、画像信号として、外部からフレームnが入力される。なお、フレームnとは、n番目に入力されるフレームをいう。
【００３７】
フレームメモリ４１には、外部からフレームnが供給される。フレームメモリ４１は、外部からのフレームnを、外部から差分算出部４２に供給されるフレームnよりも１フレーム分だけ遅延させて、差分算出部４２に供給する。
【００３８】
すなわち、フレームメモリ４１は、差分算出部４２にフレームnが供給されるときに、差分算出部４２に１フレーム前のフレームn-1を供給する。
【００３９】
差分算出部４２は、外部からのフレームnと、フレームメモリ４１からのフレームn-1との差分D(n,n-1)を算出し、シーケンス判定部４３に供給する。
【００４０】
シーケンス判定部４３は、差分算出部４２からの差分D(n,n-1)に基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるのか、それともイレギュラーシーケンスであるのかを判定し、その判定結果を、制御部４４に供給する。
【００４１】
なお、シーケンス判定部４３が行う処理の詳細は、後述の図３を参照して詳述する。
【００４２】
制御部４４は、シーケンス判定部４３からの判定結果に基づいて、フレーム補間部４６を制御する。
【００４３】
すなわち、例えば、制御部４４は、入力される画像信号の出現パターンがレギュラーシーケンスであるとの判定結果が供給される場合、フレームの補間処理を実行させる。また、例えば、制御部４４は、入力される画像信号の出現パターンがイレギュラーシーケンスであるとの判定結果が供給される場合、フレームの補間処理を実行させないように制御する。
【００４４】
また、例えば、制御部４４は、操作部４５からの操作信号に応じて、フレームメモリ４１、差分算出部４２、シーケンス判定部４３、及びフレーム補間部４６を制御する。
【００４５】
操作部４５は、例えば操作ボタン等からなり、ユーザにより操作される。そして、操作部４５は、ユーザに操作されたことに対応して、対応する操作信号を制御部４４に供給する。
【００４６】
フレーム補間部４６には、外部からフレームnが入力される。フレーム補間部４６は、制御部４４からの制御にしたがって、例えば、入力されるフレームnとフレームn-1との間に新たなフレームを補間して出力する。また、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、入力されるフレームnを、そのまま出力する。
【００４７】
[シーケンス判定部４３が行う処理の詳細]
次に、図３は、シーケンス判定部４３が行う処理の詳細を示している。
【００４８】
図３には、同一のフレームAが連続して４枚、同一のフレームBが連続して２枚、同一のフレームCが連続して２枚、同一のフレームDが連続して２枚という出現パターンを表す4-2-2-2イレギュラーシーケンスの一例が示されている。
【００４９】
シーケンス判定部４３は、差分算出部４２からの差分D(n,n-1)（の絶対値）が、予め決められた閾値未満であるか否かに応じて、フレームnとフレームn-1とが同一のフレームであるか否かを検出する。
【００５０】
すなわち、例えば、フレームnとフレームn-1とがいずれも同一のフレームである場合、差分算出部４２からの差分D(n,n-1)は（殆ど）０となり、閾値未満となる。この場合、シーケンス判定部４３は、フレームnとフレームn-1とが同一のフレームであることを検出する。
【００５１】
また、例えば、フレームnとフレームn-1とが異なるフレームである場合、差分算出部４２からの差分D(n,n-1)は比較的大きな値となり、閾値以上となる。この場合、シーケンス判定部４３は、フレームnとフレームn-1とが異なるフレームであることを検出する。
【００５２】
シーケンス判定部４３は、差分算出部４２からの、異なる２フレームどうしの組み合わせにそれぞれ対応する複数の差分Dに応じて、画像処理装置２１に入力された画像信号の出現パターンを算出する。
【００５３】
そして、シーケンス判定部４３は、算出した出現パターンが、レギュラーシーケンスであるのか、イレギュラーシーケンスであるのかを判定し、その判定結果を、制御部４４に供給する。
【００５４】
[画像処理装置２１の動作説明]
次に、図４のフローチャートを参照して、画像処理装置２１が行う画像処理（以下、第１の画像処理という）について説明する。
【００５５】
なお、この第１の画像処理は、例えば、外部から画像処理装置２１に画像信号が入力されたときに開始される。
【００５６】
ステップＳ２１において、フレームメモリ４１は、外部からの画像信号に含まれるフレームnを、外部から差分算出部４２に供給されるフレームnよりも１フレーム分だけ遅延させて、差分算出部４２に供給する。
【００５７】
すなわち、フレームメモリ４１は、差分算出部４２にフレームnが供給されるときに、差分算出部４２に１フレーム前のフレームn-1を供給する。
【００５８】
ステップＳ２２において、差分算出部４２は、外部からのフレームnと、フレームメモリ４１からのフレームn-1との差分D(n,n-1)を算出し、シーケンス判定部４３に供給する。
【００５９】
ステップＳ２１及びステップＳ２２の処理により、差分算出部４２からシーケンス判定部４３に対して、異なる２フレームの組み合わせにそれぞれ対応する複数の差分Dが供給された場合、処理はステップＳ２３に進められる。
【００６０】
ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるのか、それともイレギュラーシーケンスであるのかを判定する。
【００６１】
そして、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、その判定結果を制御部４４に供給して、処理をステップＳ２４に進める。
【００６２】
ステップＳ２４では、制御部４４は、シーケンス判定部４３からの判定結果に応じて、フレーム補間部４６を制御して、レギュラーシーケンス用の画像処理を行わせる。
【００６３】
すなわち、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、外部からのフレームn-1とフレームnとの間に、新たなフレームを補間して出力する。
【００６４】
また、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、イレギュラーシーケンスであると判定した場合、その判定結果を制御部４４に供給して、処理をステップＳ２５に進める。
【００６５】
ステップＳ２５では、制御部４４は、シーケンス判定部４３からの判定結果に応じて、フレーム補間部４６を制御して、イレギュラーシーケンス用の画像処理を行わせる。
【００６６】
すなわち、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、外部からのフレームn-1とフレームnとの間に新たなフレームを補間することなく、外部からのフレームnを、そのまま出力する。なお、第１の画像処理は、例えば、画像処理装置２１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【００６７】
以上説明したように、第１の画像処理によれば、入力される画像信号の出現パターンが、レギュラーシーケンスである場合に、フレームの補間を行い、入力される画像信号の出現パターンが、イレギュラーシーケンスである場合、フレームの補間を行わないようにした。
【００６８】
このため、第１の画像処理では、例えば、画像信号の出現パターンが、イレギュラーシーケンスである場合に、フレームの補間が行われることにより、不自然なジャダーが強調されてしまう事態を防止できる。
【００６９】
また、例えば、画像信号の出現パターンが、レギュラーシーケンスである場合に、フレームの補間を行うようにしたので、画像信号の再生時におけるフレーム上のオブジェクトの動きを、より滑らかにすることが可能となる。
【００７０】
なお、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かを判定する判定処理を行うようにしている。
【００７１】
この判定処理では、判定に用いる差分Dの個数や、図３を参照して説明した差分Dと比較される閾値等を最適化するようにして、判定の精度を向上させたり、動作の安定化を図ることができる。
【００７２】
また、例えば、判定処理において、入力される画像信号の出現パターンがレギュラーシーケンスであると判別された判別回数が、所定の回数に達した場合に、最終的に、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定するようにしてもよい。
【００７３】
この場合についても、判定に用いる差分Dの個数や、図３を参照して説明した差分Dと比較される閾値等の他、所定の回数も最適化するようにして、判定の精度を向上させたり、動作の安定化を図るようにすることができる。
【００７４】
また、第１の実施の形態では、画像信号に対する画像処理として、フレームの補間を行うようにしたが、画像処理は、これに限定されない。
【００７５】
すなわち、例えば、図５に示される画像処理装置６１のように、フレーム補間部４６の他、IP変換部８１及び画像処理部８２等を設けるようにして、様々な処理を行うようにすることができる。
【００７６】
図５は、フレーム補間部４６の他、IP変換部８１及び画像処理部８２が設けられた画像処理装置６１の構成例を示している。
【００７７】
なお、図５において、図２の画像処理装置２１と同様に構成される部分については、同一の符号を付すようにしているため、それらの説明は、以下、適宜、省略する。
【００７８】
すなわち、この画像処理装置６１では、新たにIP変換部８１及び画像処理部８２が設けられている他は、図２の画像処理装置２１と同様に構成される。
【００７９】
IP変換部８１は、外部からの画像信号の出現パターンがレギュラーシーケンスである場合、制御部４４からの制御にしたがって、外部からの画像信号に対して、IP変換を施し、IP変換後の画像信号を画像処理部８２に供給する。
【００８０】
なお、IP変換とは、インタレース方式で表示されるインタレース画像（フィールド）を、プログレッシブ方式で表示されるプログレッシブ画像（フレーム）に変換する処理をいう。
【００８１】
したがって、IP変換部８１は、外部からの画像信号として、フィールドが入力された場合に、IP変換を行う。なお、IP変換部８１は、外部からの画像信号として、フレームが入力された場合、IP変換を行わずに、そのままフレームを、画像処理部８２に供給する。
【００８２】
また、IP変換部８１は、外部からの画像信号の出現パターンがイレギュラーシーケンスである（レギュラーシーケンスではない）場合、制御部４４からの制御にしたがって、外部からの画像信号に対して、櫛状ノイズの抑制が強化されたIP変換を施し、IP変換後の画像信号を画像処理部８２に供給する。これは、画像信号の出現パターンがイレギュラーシーケンスである場合に、画像信号に対してIP変換を施すと、櫛状のノイズが発生し易いことによる。
【００８３】
また、例えば、IP変換部８１は、画像信号の出現パターンがレギュラーシーケンスである場合に、各フィールドに基づき検出した動きベクトルを用いるIP変換を施し、画像信号の出現パターンがイレギュラーシーケンスである場合に、動きベクトルを用いないIP変換を施すようにすることができる。
【００８４】
これは、画像信号の出現パターンがイレギュラーシーケンスである場合、動きベクトルの検出精度が低下することによる。
【００８５】
その他、例えば、IP変換部８１では、IP変換に代えて、テレビ放送などで用いられる毎秒30フレーム(60フィールド)の第１の画像信号を、映画のフィルムなどのように毎秒24コマで記録された第２の画像信号に変換(プルダウン)するプルダウン処理を行うようにしてもよい。
【００８６】
この場合、例えば、IP変換部８１は、入力される画像信号の出現パターンがレギュラーシーケンスである場合に、上述のプルダウン処理を行うようにし、入力される画像信号の出現パターンがイレギュラーシーケンスである場合に、上述のプルダウン処理を行わないようにすることとなる。
【００８７】
また、例えば、IP変換部８１は、上述のプルダウン処理に代えて、第２の画像信号を第１の画像信号に逆変換する逆プルダウン処理を行うことができる。
【００８８】
この場合についても同様にして、IP変換部８１は、入力される画像信号の出現パターンがレギュラーシーケンスである場合に、逆プルダウン処理を行うようにし、入力される画像信号の出現パターンがイレギュラーシーケンスである場合に、逆プルダウン処理を行わないようにすることとなる。
【００８９】
画像処理部８２は、IP変換部８１からの画像信号に対して、ノイズを低減するためのノイズリダクション処理や、画像信号の解像度をより高解像度に変換する解像度創造処理等を行う。
【００９０】
すなわち、例えば、画像処理部８２は、外部からの画像信号の出現パターンがイレギュラーシーケンスであるか否かに応じて、異なるノイズ低減フィルタ等を用いたノイズリダクション処理を行う。
【００９１】
その他、例えば、画像処理部８２は、出現パターンにおけるリピート回数に応じて、動的にノイズ低減フィルタ等を切り替えるようにして、ノイズリダクション処理を行うようにしても良い。
【００９２】
また、例えば、画像処理部８２は、外部からの画像信号の出現パターンがイレギュラーシーケンスであるか否かに応じて、異なるパラメータを用いた解像度創造処理を行う。
【００９３】
画像処理部８２は、処理後の画像信号を、フレーム補間部４６に供給する。
【００９４】
なお、画像処理装置６１は、IP変換部８１によるIP変換処理、画像処理部８２によるノイズリダクション処理や解像度創造処理、及びフレーム補間部４６によるフレームの補間処理を行う他、例えば、画像処理部８２及びフレーム補間部４６を省いて、IP変換処理のみを行うように構成してもよい。
【００９５】
すなわち、例えば、画像処理装置６１は、IP変換処理、ノイズリダクション処理、解像度創造処理、又は補間処理の少なくとも１つを行うように構成することができる。なお、このことは、後述する第２及び第３の実施の形態でも同様である。
【００９６】
＜２．第２の実施の形態＞
[画像処理装置１０１の構成例]
次に、図６は、第２の実施の形態である画像処理装置１０１の構成例を示している。
【００９７】
なお、この画像処理装置１０１は、図２の画像処理装置２１と同様に構成される部分については、同一の符号をしているため、それらの説明は、以下、適宜省略する。
【００９８】
すなわち、画像処理装置１０１は、図２の制御部４４に代えて、制御部１２１が設けられているとともに、新たに変換部１２２が設けられている他は、図２の画像処理装置２１と同様に構成される。
【００９９】
制御部１２１は、シーケンス判定部４３からの判定結果に基づいて、変換部１２２を制御する。
【０１００】
すなわち、例えば、制御部１２１は、入力される画像信号の出現パターンがレギュラーシーケンスであるとの判定結果を得た場合、変換部１２２を制御して、そのまま画像信号を、フレーム補間部４６に供給させる。
【０１０１】
また、例えば、制御部１２１は、入力される画像信号の出現パターンがイレギュラーシーケンスであるとの判定結果を得た場合、変換部１２２を制御して、出現パターンがイレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換させて、フレーム補間部４６に供給させる。
【０１０２】
また、例えば、制御部１２１は、シーケンス判定部４３からの判定結果に拘らず、フレーム補間部４６を制御して、レギュラーシーケンス用の画像処理を行わせる。
【０１０３】
この場合、例えば、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からのレギュラーシーケンスの画像信号に対して、フレームの補間を行い、補間後の画像信号を出力する。
【０１０４】
変換部１２２は、入力される画像信号の出現パターンがイレギュラーシーケンスである場合、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に供給する。なお、変換部１２２が行う処理の詳細は、図７乃至図１０を参照して詳述する。
【０１０５】
ここで、図６の画像処理装置１０１では、例えば、変換部１２２の前に、IP変換部８１を設けるように構成し、IP変換部８１によるIP変換後の画像信号を、変換部１２２に供給させるようにすることができる。
【０１０６】
その他、例えば、変換部１２２による処理後の画像信号に対して、ノイズリダクション処理や解像度創造処理を行う画像処理部８２を、変換部１２２とフレーム補間部４６との間に設けるようにしてもよい。
【０１０７】
[変換部１２２が行う第１の変換方法]
次に、図７は、変換部１２２が、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して出力する第１の変換方法を示している。
【０１０８】
図７Aには、同一のフレームAが連続して５枚、同一のフレームBが連続して３枚、同一のフレームCが連続して２枚という出現パターン5-3-2を表す5-3-2イレギュラーシーケンスの画像信号が示されている。
【０１０９】
図７Bには、同一のフレームAが連続して４枚、同一のフレームBが連続して３枚、同一のフレームCが連続して３枚という出現パターン4-3-3を表す4-3-3レギュラーシーケンスの画像信号が示されている。
【０１１０】
変換部１２２は、制御部１２１からの制御にしたがって、図７Aに示されるように、外部からの画像信号を構成する複数のフレームのうち、１０フレーム（例えば、図７Aでは、５枚のフレームA、３枚のフレームB、２枚のフレームC）を、図示せぬ内蔵のメモリに保持させる。
【０１１１】
そして、変換部１２２は、図７Bに示されるように、保持した１０フレームの出現パターン5-3-2を、例えば、出現パターン4-3-3を表す4-3-3レギュラーシーケンスに変換し、変換後の１０フレームを、フレーム補間部４６に出力する。なお、出現パターンの変換方法は、例えば、図８を参照して後述する。
【０１１２】
このようにして、変換部１２２は、１０フレーム毎の出現パターン5-3-2を、出現パターン4-3-3に変換することとなる。
【０１１３】
なお、変換部１２２は、例えば、図７に示されるように、出現パターン5-3-2の画像信号を、出現パターン4-3-3の画像信号に変換するようにしている。
【０１１４】
すなわち、変換部１２２は、リピート回数の大小関係が、入力される画像信号の出現パターン5-3-2に類似する出現パターン4-3-3の画像信号に変換するようにしている。
【０１１５】
具体的には、例えば、入力される画像信号において、図７Aに示されるように、フレームAのリピート回数（いまの場合、５回）が、フレームBのリピート回数（いまの場合、３回）よりも多いものとなっている。
【０１１６】
したがって、変換部１２２は、入力される画像信号を、図７Bに示されるように、フレームAのリピート回数（いまの場合、４回）が、フレームBのリピート回数（いまの場合、３回）よりも多い画像信号に変換するようにしている。
【０１１７】
これにより、変換部１２２では、入力される画像の出現パターンを、類似する出現パターンに変換するようにしているので、変換時に要する時間を短縮することが可能となる。このことは、図１０を参照して詳述する。
【０１１８】
次に、図８は、変換部１２２が、5-3-2イレギュラーシーケンスの画像信号を、4-3-3レギュラーシーケンスの画像信号に変換する場合の一例を示している。
【０１１９】
変換部１２２は、図８Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図示せぬ内蔵のメモリに保持する。
【０１２０】
すなわち、例えば、変換部１２２は、図８Aに示される５枚のフレームA、３枚のフレームB、及び２枚のフレームCを、図示せぬ内蔵のメモリに保持する。
【０１２１】
そして、例えば、変換部１２２は、図８Bに示されるように、内蔵のメモリに保持済みの５枚のフレームA、３枚のフレームB、及び２枚のフレームCそれぞれから、先頭のフレームA、先頭のフレームB、先頭のフレームCを抽出する。
【０１２２】
変換部１２２は、図８Cに示されるように、抽出した先頭のフレームAに基づいて、４枚のフレームAを生成する。同様にして、変換部１２２は、抽出した先頭のフレームBに基づいて、３枚のフレームBを、抽出した先頭のフレームCに基づいて、２枚のフレームCを生成する。
【０１２３】
このようにして、変換部１２２は、図８Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図８Cに示されるような4-3-3レギュラーシーケンスの画像信号に変換する。そして、変換部１２２は、変換後の4-3-3レギュラーシーケンスの画像信号を、フレーム補間部４６に供給する。
【０１２４】
なお、変換部１２２は、5-3-2イレギュラーシーケンスの画像信号の他、異なる出現パターンのイレギュラーシーケンスの画像信号についても、レギュラーシーケンスの画像信号に変換することができる。
【０１２５】
すなわち、例えば、変換部１２２は、4-2-2-2イレギュラーシーケンスの画像信号を、3-2レギュラーシーケンスの画像信号に変換することができる。
【０１２６】
具体的には、例えば、変換部１２２は、図９Aに示されるような4-2-2-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図示せぬ内蔵のメモリに保持する。
【０１２７】
つまり、例えば、変換部１２２は、図９Aに示される４枚のフレームA、２枚のフレームB、２枚のフレームC、及び２枚のフレームDを、図示せぬ内蔵のメモリに保持する。
【０１２８】
そして、例えば、変換部１２２は、図９Bに示されるように、内蔵のメモリに保持済みの４枚のフレームA、２枚のフレームB、２枚のフレームC、及び２枚のフレームDそれぞれから、先頭のフレームA、先頭のフレームB、先頭のフレームC、先頭のフレームDを抽出する。
【０１２９】
変換部１２２は、図９Cに示されるように、抽出した先頭のフレームAに基づいて、３枚のフレームAを生成する。同様にして、変換部１２２は、抽出した先頭のフレームBに基づいて、２枚のフレームBを、抽出した先頭のフレームCに基づいて、３枚のフレームCを、抽出した先頭のフレームDに基づいて、２枚のフレームDを生成する。
【０１３０】
このようにして、変換部１２２は、図９Aに示されるような4-2-2-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図９Cに示されるような3-2レギュラーシーケンスの画像信号に変換する。
【０１３１】
なお、変換部１２２は、図７で説明した第１の変換方法に限定されず、その他、例えば、図１０を参照して説明する第２の変換方法で変換するようにしてもよい。
【０１３２】
[変換部１２２が行う第２の変換方法]
次に、図１０は、変換部１２２が、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して出力する第２の変換方法を示している。
【０１３３】
例えば、制御部１２１は、画像信号の出現パターンが、5-3-2イレギュラーシーケンスであるとの判定結果を、シーケンス判定部４３から得た場合、変換部１２２を制御して、5-3-2イレギュラーシーケンスに基づく変換規則による変換を行わせる。
【０１３４】
変換部１２２には、例えば、図１０Aに示されるような5-3-2イレギュラーシーケンスの画像信号が供給される。
【０１３５】
変換部１２２は、制御部１２１からの制御にしたがって、5-3-2イレギュラーシーケンスに基づく変換規則を用いて、外部から供給される5-3-2イレギュラーシーケンスの画像信号を、図１０Bに示されるような4-3-3レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に出力する。
【０１３６】
すなわち、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が５回であるフレーム（例えば、フレームD）のうち、先頭のフレームが供給された場合、変換規則にしたがって、図１０Bに示されるように、その先頭のフレームに代えて、１フレームだけ前に供給されたフレーム（例えば、フレームC）を、フレーム補間部４６に出力する。
【０１３７】
また、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が５回であるフレーム（例えば、フレームD）のうち、先頭のフレーム以外のフレームが供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１３８】
また、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が３回であるフレーム（例えば、フレームB）が供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１３９】
さらに、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が２回であるフレーム（例えば、フレームC）が供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１４０】
これにより、変換部１２２は、例えば、図７に示したように、１０フレームを保持するためのメモリを内蔵する必要がなくなり、フレームの変換による遅延を防止することが可能となる。
【０１４１】
また、変換部１２２では、入力される画像の出現パターンを、類似する出現パターンに変換するようにしているので、例えば、入力される画像の出現パターンに類似しない任意の出現パターンに変換する場合と比較して、より単純な変換規則で変換できる。このため、第２の変換方法によれば、変換時に要する時間をより短縮できる。
【０１４２】
したがって、変換部１２２は、例えば、入力される画像の出現パターンに類似しない出現パターンに変換する場合と比較して、フレームの変換による遅延を確実に防止することが可能となる。
【０１４３】
[画像処理装置１０１の動作説明]
次に、図１１のフローチャートを参照して、画像処理装置１０１が行う画像処理（以下、第２の画像処理という）について説明する。
【０１４４】
なお、この第２の画像処理は、例えば、外部から画像処理装置１０１に画像信号が入力されたときに開始される。
【０１４５】
ステップＳ４１乃至ステップＳ４３において、図４のステップＳ２１乃至ステップＳ２３と同様の処理が行われる。
【０１４６】
なお、ステップＳ４３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスではない（イレギュラーシーケンスである）と判定した場合、その判定結果を制御部１２１に供給する。
【０１４７】
制御部１２１は、シーケンス判定部４３からの判定結果に応じて、変換部１２２及びフレーム補間部４６を制御して、ステップＳ４４及びステップＳ４５の処理を実行させる。
【０１４８】
すなわち、ステップＳ４４では、変換部１２２は、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に供給する。
【０１４９】
ステップＳ４５では、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からの画像信号にフレームを補間する処理を行なう。
【０１５０】
また、ステップＳ４３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、その判定結果を制御部１２１に供給する。
【０１５１】
制御部１２１は、シーケンス判定部４３からの判定結果に応じて、変換部１２２及びフレーム補間部４６を制御する。変換部１２２は、制御部１２１からの制御にしたがって、レギュラーシーケンスの画像信号を、そのままフレーム補間部４６に供給する。
【０１５２】
また、ステップＳ４５では、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からのレギュラーシーケンスの画像信号に、フレームを補間する処理を行なう。なお、第２の画像処理は、例えば、画像処理装置１０１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【０１５３】
以上説明したように、第２の画像処理では、入力される画像信号の出現パターンがイレギュラーシーケンスである場合、入力される画像信号を、レギュラーシーケンスの画像信号に変換するようにした。このため、例えば、イレギュラーシーケンスの画像信号に対して、フレームの補間等が行われて、不自然なジャダーが強調されることを防止することが可能となる。
【０１５４】
＜３．第３の実施の形態＞
[画像処理装置１４１の構成例]
次に、図１２は、第３の実施の形態である画像処理装置１４１の構成例を示している。
【０１５５】
なお、この画像処理装置１４１は、図６の画像処理装置１０１と同様に構成される部分については、同一の符号をしているため、それらの説明は、以下、適宜省略する。
【０１５６】
すなわち、画像処理装置１４１は、図６の変換部１２２及びフレーム補間部４６に代えて、変換部１６１及びフレーム補間部１６２が設けられている他は、図６の画像処理装置１０１と同様に構成される。
【０１５７】
変換部１６１は、変換部１２２と同様の処理を行う。すなわち、例えば、変換部１６１は、外部からの画像信号の出現パターンが、イレギュラーシーケンスである場合、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部１６２に供給する。
【０１５８】
また、変換部１６１は、変換部１６１から出力する、レギュラーシーケンスの画像信号に基づいて、同一のフレームが連続して出現するタイミングを表すタイミング信号を検出する。
【０１５９】
すなわち、例えば、変換部１６１は、変換部１６１から出力する、レギュラーシーケンスの画像信号に基づいて、タイミング信号として、先頭フレーム位相信号を検出する。ここで、先頭フレーム位相信号とは、連続する同一のフレームのうち、先頭のフレーム（時間的に最も先に出現するフレーム）の出現するタイミングを表す。
【０１６０】
そして、変換部１６１は、検出した先頭フレーム位相信号を、フレーム補間部１６２に出力する画像信号に同期して、フレーム補間部１６２に供給する。
【０１６１】
なお、変換部１６１は、例えば、ハードウェア的にLVDS(low voltage differential signaling)等を用いるようにして、先頭フレーム位相信号を、フレーム補間部１６２に出力する画像信号に同期して、フレーム補間部１６２に供給している。
【０１６２】
フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号に基づいて、同じく変換部１６１からの画像信号から、その画像信号よりも高フレームレートの画像信号を生成して出力する。
【０１６３】
次に、図１３は、変換部１６１及びフレーム補間部１６２が行う処理の一例を示している。
【０１６４】
図１３Aは、画像処理装置１４１に入力される画像信号の一例として、5-3-2イレギュラーシーケンスの画像信号を示している。
【０１６５】
図１３Bは、変換部１２２による変換により得られる、4-3-3レギュラーシーケンスの画像信号を示している。
【０１６６】
図１３Cは、先頭フレーム位相信号に応じて生成される、4-3-3レギュラーシーケンスの画像信号よりも高フレームレートの画像信号を示している。
【０１６７】
例えば、変換部１６１は、外部から供給される、図１３Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、図１３Bに示されるような4-3-3レギュラーシーケンスの画像信号に変換して、フレーム補間部１６２に供給する。
【０１６８】
また、例えば、変換部１６１は、図１３Bに示されるように、変換により得られる4-3-3レギュラーシーケンスの画像信号に基づいて、先頭フレーム位相信号を検出し、4-3-3レギュラーシーケンスの画像信号に同期して、フレーム補間部１６２に供給する。
【０１６９】
フレーム補間部１６２は、図１３Cに示されるように、変換部１６１からの先頭フレーム位相信号を調整して、先頭フレーム位相信号が表す凸部分（図１３Bにおいて先頭のフレームの出現するタイミング）を等間隔に変更する。
【０１７０】
すなわち、例えば、フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号を調整して、図１３Bに示される4-3-3レギュラーシーケンスの画像信号の再生に要する再生時間の範囲内で、先頭フレーム位相信号が表す凸部分を等間隔に変更する。
【０１７１】
そして、フレーム補間部１６２は、調整後の先頭フレーム位相信号に基づいて、フレームの補間等により新たに生成する画像信号を構成する各フレーム上のオブジェクトの位置を決定する。
【０１７２】
すなわち、例えば、フレーム補間部１６２は、変更後の各凸部分でフレームが表示されたならば、そのフレーム上のオブジェクトの位置が、各凸部分に対応する先頭のフレームA,B,C,D,E,…それぞれに表示されるオブジェクトの位置となるような位置に決定する。
【０１７３】
フレーム補間部１６２は、決定した位置にオブジェクトが描画された各フレームにより構成される新たな画像信号を生成して出力する。
【０１７４】
次に、図１４は、図１３A乃至図１３Cに示される各画像信号に生じるジャダーの様子の一例を示している。
【０１７５】
図１３Aに示されるような画像信号の場合、図１４Aに示されるグラフ１８１のように、時間の経過に応じて、フレーム上のオブジェクトの位置が不規則に変化する。これは、図１３Aに示される画像信号の出現パターンが、イレギュラーシーケンスであることによる。
【０１７６】
図１３Bに示されるような画像信号の場合、図１４Bに示されるグラフ１８２のように、時間の経過に応じて、フレーム上のオブジェクトの位置が規則的に変化する。これは、図１３Bに示される画像信号の出現パターンが、レギュラーシーケンスであることによる。
【０１７７】
図１３Cに示されるような画像信号の場合、図１４Cに示されるグラフ１８３のように、時間の経過に応じて、フレーム上のオブジェクトの位置が滑らかに変化する。これは、図１３Cに示される画像信号が、それぞれ異なるフレームにより構成された、レギュラーシーケンスの画像信号であることによる。
【０１７８】
なお、上述した図１３では、外部からの画像信号の出現パターンが5-3-2イレギュラーシーケンスの場合について説明した。ところで、外部からの画像信号の出現パターンが、5-3-2イレギュラーシーケンスとは異なるイレギュラーシーケンスである場合についても、図１３で説明した場合と同様の処理が行われる。
【０１７９】
すなわち、例えば、図１５Aに示されるように、外部から変換部１６１に対して、4-2-2-2イレギュラーシーケンスの画像信号が供給される場合には、変換部１６１は、図１５Bに示されるようにして、3-2レギュラーシーケンスの画像信号に変換し、対応する先頭フレーム位相信号を検出する。
【０１８０】
そして、フレーム補間部１６２は、図１５Cに示されるようにして、変換部１６１からの先頭フレーム位相信号が表す各凸部分を等間隔に変更し、凸部分を変更後の先頭フレーム位相信号に基づいて、フレームの補間を行うこととなる。
【０１８１】
また、例えば、図１６Aに示されるように、外部から変換部１６１に対して、5-3-2イレギュラーシーケンスの画像信号が供給される場合には、変換部１６１は、図１６Bに示されるようにして、4-3-3レギュラーシーケンスの画像信号に変換し、対応する先頭フレーム位相信号を検出する。
【０１８２】
そして、フレーム補間部１６２は、図１６Cに示されるようにして、変換部１６１からの先頭フレーム位相信号が表す各凸部分を等間隔に変更し、凸部分を変更後の先頭フレーム位相信号に基づいて、フレームの補間を行うこととなる。
【０１８３】
[画像処理装置１４１の動作説明]
次に、図１７のフローチャートを参照して、画像処理装置１４１が行う画像処理（以下、第３の画像処理という）を説明する。
【０１８４】
なお、この第３の画像処理は、例えば、外部から画像処理装置１４１に画像信号が入力されたときに開始される。
【０１８５】
ステップＳ６１乃至ステップＳ６４において、図１１のステップＳ４１乃至ステップＳ４４と同様の処理が行われる。
【０１８６】
なお、ステップＳ６５は、ステップＳ６４の終了後、又はステップＳ６３において、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定された場合に行われる。
【０１８７】
ステップＳ６５では、変換部１６１は、変換部１６１から出力される画像信号に基づいて、先頭フレーム位相信号を検出し、ステップＳ６４の処理で得られたレギュラーシーケンスの画像信号、又は外部からのレギュラーシーケンスの画像信号に同期して、フレーム補間部１６２に供給する。
【０１８８】
ステップＳ６６では、フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号を調整して、先頭フレーム位相信号が表す各タイミング（凸部分）を等間隔に変更する。
【０１８９】
ステップＳ６７では、フレーム補間部１６２は、調整後の先頭フレーム位相信号に基づいて、フレームの補間等により新たに生成される画像信号を構成する各フレーム上のオブジェクトの位置を決定する。そして、フレーム補間部１６２は、決定した位置にオブジェクトが描画された各フレームにより構成される新たな画像信号を生成して出力する。
【０１９０】
なお、第３の画像処理は、例えば、画像処理装置１４１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【０１９１】
以上説明したように、第３の画像処理によれば、先頭フレーム位相信号が表す各タイミングが等間隔に変更された先頭フレーム位相信号に基づいて、フレームを補間するようにした。このため、画像信号に含まれる各フレーム上のオブジェクトの動きを、ジャダーのない滑らかな動きにすることが可能となる。
【０１９２】
＜４．変形例＞
第１乃至第３の実施の形態では、入力される画像信号の出現パターンが、イレギュラーシーケンスである場合には、イレギュラーシーケンス用の画像処理（例えば、第２の実施の形態では、イレギュラーシーケンスをレギュラーシーケンスに変換する等）を行うようにしている。
【０１９３】
しかしながら、例えば、出現パターンがイレギュラーシーケンスの画像信号を、いわゆるテストパターンとして入力する場合には、イレギュラーシーケンス用の画像処理を行う各機能を、一時的にオフすることが望ましい。
【０１９４】
したがって、画像処理装置２１，６１，１０１，１４１等に設けられた操作部４５において、各機能のオン又はオフを行えるように構成するようにしてもよい。
【０１９５】
具体的には、例えば、第１乃至第３の動作モードを用意し、操作部４５に対するユーザ操作に応じて、動作モードを切り替えるようにしてもよい。
【０１９６】
なお、第１の動作モードは、例えば、第１の実施の形態で説明した内容に相当し、入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かに応じて、IP変換、解像度創造処理、ノイズリダクション処理等を行う動作モードとされる。
【０１９７】
また、第２の動作モードは、例えば、第２の実施の形態で説明した内容に相当し、イレギュラーシーケンスの画像信号が入力された場合に、レギュラーシーケンスの画像信号に変換して、レギュラーシーケンス用の画像処理を行う動作モードとされる。
【０１９８】
さらに、第３の動作モードは、例えば、第３の実施の形態で説明した内容に相当し、第２の動作モードの内容に加えて、先頭フレーム位相信号に基づいて、高フレームレートの画像信号を生成する処理も画像処理に含まれる動作モードとされる。
【０１９９】
なお、画像処理装置２１，６１，１０１，１４１は、例えば、テレビジョン受像機やハードディスクレコーダ等として機能させることができる。
【０２００】
また、本技術は以下のような構成もとることができる。
（１）複数の画像により構成される画像信号に画像処理を行う画像処理装置において、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部とを含む画像処理装置。
（２）前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに含み、前記画像処理部は、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行う前記（１）に記載の画像処理装置。
（３）前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部とをさらに含み、前記画像処理部は、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行う前記（２）に記載の画像処理装置。
（４）前記調整部は、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更する前記（３）に記載の画像処理装置。
（５）前記変換部は、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換する前記（２）に記載の画像処理装置。
（６）前記画像処理部は、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行う前記（１）乃至（５）に記載の画像処理装置。
【０２０１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０２】
[コンピュータの構成例]
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０３】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０２０４】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２０５】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２０６】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２０７】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２０８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２０９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１０】
また、本開示の実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２１１】
２１ 画像処理装置， ４１ フレームメモリ， ４２ 差分算出部， ４３ シーケンス判定部， ４４ 制御部， ４５ 操作部， ４６ フレーム補間部， ６１ 画像処理装置， ８１ IP変換部， ８２ 画像処理部， １０１ 画像処理装置， １２１ 制御部， １２２ 変換部， １４１ 画像処理装置， １６１ 変換部， １６２ フレーム補間部
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、編集用に作成された画像信号の画質を向上させるようにした画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
複数のフレーム（又はフィールド）により構成される動画像に、新たなフレームを補間してフレームレートを向上させるフレーム補間処理が存在する（例えば、特許文献１参照）。
【０００３】
このフレーム補間処理によれば、動画像を構成する各フレームの間に、新たなフレームを補間するため、各フレーム上のオブジェクトの動きを滑らかにすることができる。
【０００４】
ところで、動画像を表す画像信号としては、主に、表示用に作成された画像信号（以下、表示用の画像信号ともいう）と、編集用に作成された画像信号（以下、編集用の画像信号ともいう）が存在する。
【０００５】
表示用の画像信号としては、図１Aに示されるように、動画像を、それぞれ異なる複数のフレームにより構成したものが存在する。また、例えば、図１Bに示されるように、映画のフィルムのようなジャダー（がたつき）を生じさせるため、同一のフレームを連続して出現させるリピート回数として、３回と２回とを交互に繰り返すものが存在する。
【０００６】
フレーム補間処理によれば、図１Aに示されるような動画像に対して、フレームを補間した場合には、フレーム上のオブジェクトの動きを、より滑らかにすることができる。
【０００７】
また、例えば、図１Bに示されるような動画像に対して、フレームを補間した場合には、元々のジャダーを残しつつ、フレーム上のオブジェクトの動きを滑らかにすることができる。
【０００８】
なお、編集用の画像信号としては、図１Cに示されるように、リピート回数として、４回、２回、２回、２回というパターンを繰り返すものが存在する。また、例えば、図１Dに示されるように、リピート回数として、５回、３回、２回というパターンを繰り返すものが存在する。
【０００９】
その他、例えば、いわゆる３D用の動画像において、編集用の画像信号としては、ユーザの左眼に視認させるフレームのリピート回数として、２回、１回、１回、１回というパターンを繰り返し、ユーザの右眼に視認させるフレームのリピート回数として、２回、１回、１回、１回というパターンを繰り返すものが存在する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−２８８６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
編集用の画像信号は、編集の利便性や、圧縮符号化の際の効率性等から、図１C乃至図１Eのように構成されており、画像信号に含まれるフレームの表示を考慮していない。
【００１２】
このため、編集用の画像信号に含まれるフレームを表示させるようにした場合、不規則な（不自然な）ジャダーが発生するものとなる。
【００１３】
したがって、一般的には、編集用の画像信号に対して編集などの作業を行い、編集後の画像信号を、表示用の画像信号に変換して放送等をすることが望ましい。
【００１４】
しかしながら、現状は、費用や工数等の理由により、表示用の画像信号に変換されず、編集用の画像信号のままで、放送等がされる場合も多い。
【００１５】
このため、例えば、放送される画像信号を受信するテレビジョン受像機等において、編集用の画像信号に対してフレーム補間処理が行われる場合、フレーム上のオブジェクトの動きを滑らかにするという効果が得られない。
【００１６】
また、編集用の画像信号に対してフレーム補間処理が行われることにより、不規則なジャダーが強調されてしまい、非常に見にくい動画像となってしまっていた。
【００１７】
さらに、例えば、表示用の画像信号を対象として行われるノイズリダクションやIP(interlace progressive)変換等を、編集用の画像信号に施した場合にも、フレーム補間処理の場合と同様にして、所望の効果を得ることができず、むしろ、非常に見にくい動画像となってしまう。
【００１８】
本開示は、このような状況に鑑みてなされたものであり、編集用に作成された画像信号の画質を向上させるようにするものである。
【課題を解決するための手段】
【００１９】
本開示の一側面の画像処理装置は、複数の画像により構成される画像信号に画像処理を行う画像処理装置であって、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部とを含む画像処理装置である。
【００２０】
前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに設けることができ、前記画像処理部には、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行わせることができる。
【００２１】
前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部とをさらに設けることができ、前記画像処理部には、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行わせることができる。
【００２２】
前記調整部には、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更させることができる。
【００２３】
前記変換部には、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換させることができる。
【００２４】
前記画像処理部には、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行わせることができる。
【００２５】
本開示の一側面の画像処理方法は、複数の画像により構成される画像信号に画像処理を行う画像処理装置の画像処理方法であって、前記画像処理装置による、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定ステップと、前記画像信号に対して、前記判定ステップの判定結果に応じた画像処理を行う画像処理ステップとを含む画像処理方法である。
【００２６】
本開示の一側面のプログラムは、複数の画像により構成される画像信号に画像処理を行う画像処理装置のコンピュータを、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部として機能させるためのプログラムである。
【００２７】
本開示によれば、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かが判定され、前記画像信号に対して、その判定結果に応じた画像処理が行われる。
【発明の効果】
【００２８】
本開示によれば、編集用に作成された画像信号の画質を向上させることが可能となる。
【図面の簡単な説明】
【００２９】
【図１】表示用の画像信号と、編集用の画像信号の一例を示す図である。
【図２】第１の実施の形態である画像処理装置の構成例を示すブロック図である。
【図３】シーケンス判定部が行う処理の詳細を示す図である。
【図４】第１の画像処理を説明するためのフローチャートである。
【図５】図２の画像処理装置の他の構成例を示すブロック図である。
【図６】第２の実施の形態である画像処理装置の構成例を示すブロック図である。
【図７】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第１の図である。
【図８】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第２の図である。
【図９】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第３の図である。
【図１０】レギュラーシーケンスをイレギュラーシーケンスに変換するための変換方法を説明するための第４の図である。
【図１１】第２の画像処理を説明するためのフローチャートである。
【図１２】第３の実施の形態である画像処理装置の一例を示すブロック図である。
【図１３】図１２の変換部及びフレーム補間部が行う処理の一例を示す図である。
【図１４】図１２の変換部及びフレーム補間部が行う処理により変化するジャダーの一例を示す図である。
【図１５】図１２の変換部及びフレーム補間部が行う処理の他の一例を示す図である。
【図１６】図１２の変換部及びフレーム補間部が行う処理のさらに他の一例を示す図である。
【図１７】第３の画像処理を説明するためのフローチャートである。
【図１８】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かに応じて画像処理を行うときの一例）
２．第２の実施の形態（イレギュラーシーケンスを、レギュラーシーケンスに変換するときの一例）
３．第３の実施の形態（ジャダーの生じている画像信号を、動きの滑らかな画像信号に補正するときの一例）
４．変形例
【００３１】
＜１．第１の実施の形態＞
[画像処理装置２１の構成例]
図２は、第１の実施の形態である画像処理装置２１の構成例を示している。
【００３２】
なお、この画像処理装置２１は、入力される画像信号を構成する複数のフレーム（又はフィールド）のうち、同一のフレームが連続する回数を表すリピート回数の出現する出現パターンを検出する。
【００３３】
また、画像処理装置２１は、検出した出現パターンが、表示用として予め決められた出現パターンを表すレギュラーシーケンスであるのか、編集用として予め決められた出現パターンを表すイレギュラーシーケンスであるのか判定するものである。
【００３４】
そして、画像処理装置２１は、入力される画像信号の出現パターンが、イレギュラーシーケンスであると判定した場合、入力される画像信号をそのまま出力する。
【００３５】
また、画像処理装置２１は、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、入力される画像信号に含まれる各フレームに対して、新たなフレームを補間した上で出力するものである。
【００３６】
画像処理装置２１は、フレームメモリ４１、差分算出部４２、シーケンス判定部４３、制御部４４、操作部４５、及びフレーム補間部４６から構成される。この画像処理装置２１には、画像信号として、外部からフレームnが入力される。なお、フレームnとは、n番目に入力されるフレームをいう。
【００３７】
フレームメモリ４１には、外部からフレームnが供給される。フレームメモリ４１は、外部からのフレームnを、外部から差分算出部４２に供給されるフレームnよりも１フレーム分だけ遅延させて、差分算出部４２に供給する。
【００３８】
すなわち、フレームメモリ４１は、差分算出部４２にフレームnが供給されるときに、差分算出部４２に１フレーム前のフレームn-1を供給する。
【００３９】
差分算出部４２は、外部からのフレームnと、フレームメモリ４１からのフレームn-1との差分D(n,n-1)を算出し、シーケンス判定部４３に供給する。
【００４０】
シーケンス判定部４３は、差分算出部４２からの差分D(n,n-1)に基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるのか、それともイレギュラーシーケンスであるのかを判定し、その判定結果を、制御部４４に供給する。
【００４１】
なお、シーケンス判定部４３が行う処理の詳細は、後述の図３を参照して詳述する。
【００４２】
制御部４４は、シーケンス判定部４３からの判定結果に基づいて、フレーム補間部４６を制御する。
【００４３】
すなわち、例えば、制御部４４は、入力される画像信号の出現パターンがレギュラーシーケンスであるとの判定結果が供給される場合、フレームの補間処理を実行させる。また、例えば、制御部４４は、入力される画像信号の出現パターンがイレギュラーシーケンスであるとの判定結果が供給される場合、フレームの補間処理を実行させないように制御する。
【００４４】
また、例えば、制御部４４は、操作部４５からの操作信号に応じて、フレームメモリ４１、差分算出部４２、シーケンス判定部４３、及びフレーム補間部４６を制御する。
【００４５】
操作部４５は、例えば操作ボタン等からなり、ユーザにより操作される。そして、操作部４５は、ユーザに操作されたことに対応して、対応する操作信号を制御部４４に供給する。
【００４６】
フレーム補間部４６には、外部からフレームnが入力される。フレーム補間部４６は、制御部４４からの制御にしたがって、例えば、入力されるフレームnとフレームn-1との間に新たなフレームを補間して出力する。また、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、入力されるフレームnを、そのまま出力する。
【００４７】
[シーケンス判定部４３が行う処理の詳細]
次に、図３は、シーケンス判定部４３が行う処理の詳細を示している。
【００４８】
図３には、同一のフレームAが連続して４枚、同一のフレームBが連続して２枚、同一のフレームCが連続して２枚、同一のフレームDが連続して２枚という出現パターンを表す4-2-2-2イレギュラーシーケンスの一例が示されている。
【００４９】
シーケンス判定部４３は、差分算出部４２からの差分D(n,n-1)（の絶対値）が、予め決められた閾値未満であるか否かに応じて、フレームnとフレームn-1とが同一のフレームであるか否かを検出する。
【００５０】
すなわち、例えば、フレームnとフレームn-1とがいずれも同一のフレームである場合、差分算出部４２からの差分D(n,n-1)は（殆ど）０となり、閾値未満となる。この場合、シーケンス判定部４３は、フレームnとフレームn-1とが同一のフレームであることを検出する。
【００５１】
また、例えば、フレームnとフレームn-1とが異なるフレームである場合、差分算出部４２からの差分D(n,n-1)は比較的大きな値となり、閾値以上となる。この場合、シーケンス判定部４３は、フレームnとフレームn-1とが異なるフレームであることを検出する。
【００５２】
シーケンス判定部４３は、差分算出部４２からの、異なる２フレームどうしの組み合わせにそれぞれ対応する複数の差分Dに応じて、画像処理装置２１に入力された画像信号の出現パターンを算出する。
【００５３】
そして、シーケンス判定部４３は、算出した出現パターンが、レギュラーシーケンスであるのか、イレギュラーシーケンスであるのかを判定し、その判定結果を、制御部４４に供給する。
【００５４】
[画像処理装置２１の動作説明]
次に、図４のフローチャートを参照して、画像処理装置２１が行う画像処理（以下、第１の画像処理という）について説明する。
【００５５】
なお、この第１の画像処理は、例えば、外部から画像処理装置２１に画像信号が入力されたときに開始される。
【００５６】
ステップＳ２１において、フレームメモリ４１は、外部からの画像信号に含まれるフレームnを、外部から差分算出部４２に供給されるフレームnよりも１フレーム分だけ遅延させて、差分算出部４２に供給する。
【００５７】
すなわち、フレームメモリ４１は、差分算出部４２にフレームnが供給されるときに、差分算出部４２に１フレーム前のフレームn-1を供給する。
【００５８】
ステップＳ２２において、差分算出部４２は、外部からのフレームnと、フレームメモリ４１からのフレームn-1との差分D(n,n-1)を算出し、シーケンス判定部４３に供給する。
【００５９】
ステップＳ２１及びステップＳ２２の処理により、差分算出部４２からシーケンス判定部４３に対して、異なる２フレームの組み合わせにそれぞれ対応する複数の差分Dが供給された場合、処理はステップＳ２３に進められる。
【００６０】
ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるのか、それともイレギュラーシーケンスであるのかを判定する。
【００６１】
そして、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、その判定結果を制御部４４に供給して、処理をステップＳ２４に進める。
【００６２】
ステップＳ２４では、制御部４４は、シーケンス判定部４３からの判定結果に応じて、フレーム補間部４６を制御して、レギュラーシーケンス用の画像処理を行わせる。
【００６３】
すなわち、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、外部からのフレームn-1とフレームnとの間に、新たなフレームを補間して出力する。
【００６４】
また、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、イレギュラーシーケンスであると判定した場合、その判定結果を制御部４４に供給して、処理をステップＳ２５に進める。
【００６５】
ステップＳ２５では、制御部４４は、シーケンス判定部４３からの判定結果に応じて、フレーム補間部４６を制御して、イレギュラーシーケンス用の画像処理を行わせる。
【００６６】
すなわち、例えば、フレーム補間部４６は、制御部４４からの制御にしたがって、外部からのフレームn-1とフレームnとの間に新たなフレームを補間することなく、外部からのフレームnを、そのまま出力する。なお、第１の画像処理は、例えば、画像処理装置２１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【００６７】
以上説明したように、第１の画像処理によれば、入力される画像信号の出現パターンが、レギュラーシーケンスである場合に、フレームの補間を行い、入力される画像信号の出現パターンが、イレギュラーシーケンスである場合、フレームの補間を行わないようにした。
【００６８】
このため、第１の画像処理では、例えば、画像信号の出現パターンが、イレギュラーシーケンスである場合に、フレームの補間が行われることにより、不自然なジャダーが強調されてしまう事態を防止できる。
【００６９】
また、例えば、画像信号の出現パターンが、レギュラーシーケンスである場合に、フレームの補間を行うようにしたので、画像信号の再生時におけるフレーム上のオブジェクトの動きを、より滑らかにすることが可能となる。
【００７０】
なお、ステップＳ２３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かを判定する判定処理を行うようにしている。
【００７１】
この判定処理では、判定に用いる差分Dの個数や、図３を参照して説明した差分Dと比較される閾値等を最適化するようにして、判定の精度を向上させたり、動作の安定化を図ることができる。
【００７２】
また、例えば、判定処理において、入力される画像信号の出現パターンがレギュラーシーケンスであると判別された判別回数が、所定の回数に達した場合に、最終的に、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定するようにしてもよい。
【００７３】
この場合についても、判定に用いる差分Dの個数や、図３を参照して説明した差分Dと比較される閾値等の他、所定の回数も最適化するようにして、判定の精度を向上させたり、動作の安定化を図るようにすることができる。
【００７４】
また、第１の実施の形態では、画像信号に対する画像処理として、フレームの補間を行うようにしたが、画像処理は、これに限定されない。
【００７５】
すなわち、例えば、図５に示される画像処理装置６１のように、フレーム補間部４６の他、IP変換部８１及び画像処理部８２等を設けるようにして、様々な処理を行うようにすることができる。
【００７６】
図５は、フレーム補間部４６の他、IP変換部８１及び画像処理部８２が設けられた画像処理装置６１の構成例を示している。
【００７７】
なお、図５において、図２の画像処理装置２１と同様に構成される部分については、同一の符号を付すようにしているため、それらの説明は、以下、適宜、省略する。
【００７８】
すなわち、この画像処理装置６１では、新たにIP変換部８１及び画像処理部８２が設けられている他は、図２の画像処理装置２１と同様に構成される。
【００７９】
IP変換部８１は、外部からの画像信号の出現パターンがレギュラーシーケンスである場合、制御部４４からの制御にしたがって、外部からの画像信号に対して、IP変換を施し、IP変換後の画像信号を画像処理部８２に供給する。
【００８０】
なお、IP変換とは、インタレース方式で表示されるインタレース画像（フィールド）を、プログレッシブ方式で表示されるプログレッシブ画像（フレーム）に変換する処理をいう。
【００８１】
したがって、IP変換部８１は、外部からの画像信号として、フィールドが入力された場合に、IP変換を行う。なお、IP変換部８１は、外部からの画像信号として、フレームが入力された場合、IP変換を行わずに、そのままフレームを、画像処理部８２に供給する。
【００８２】
また、IP変換部８１は、外部からの画像信号の出現パターンがイレギュラーシーケンスである（レギュラーシーケンスではない）場合、制御部４４からの制御にしたがって、外部からの画像信号に対して、櫛状ノイズの抑制が強化されたIP変換を施し、IP変換後の画像信号を画像処理部８２に供給する。これは、画像信号の出現パターンがイレギュラーシーケンスである場合に、画像信号に対してIP変換を施すと、櫛状のノイズが発生し易いことによる。
【００８３】
また、例えば、IP変換部８１は、画像信号の出現パターンがレギュラーシーケンスである場合に、各フィールドに基づき検出した動きベクトルを用いるIP変換を施し、画像信号の出現パターンがイレギュラーシーケンスである場合に、動きベクトルを用いないIP変換を施すようにすることができる。
【００８４】
これは、画像信号の出現パターンがイレギュラーシーケンスである場合、動きベクトルの検出精度が低下することによる。
【００８５】
その他、例えば、IP変換部８１では、IP変換に代えて、テレビ放送などで用いられる毎秒30フレーム(60フィールド)の第１の画像信号を、映画のフィルムなどのように毎秒24コマで記録された第２の画像信号に変換(プルダウン)するプルダウン処理を行うようにしてもよい。
【００８６】
この場合、例えば、IP変換部８１は、入力される画像信号の出現パターンがレギュラーシーケンスである場合に、上述のプルダウン処理を行うようにし、入力される画像信号の出現パターンがイレギュラーシーケンスである場合に、上述のプルダウン処理を行わないようにすることとなる。
【００８７】
また、例えば、IP変換部８１は、上述のプルダウン処理に代えて、第２の画像信号を第１の画像信号に逆変換する逆プルダウン処理を行うことができる。
【００８８】
この場合についても同様にして、IP変換部８１は、入力される画像信号の出現パターンがレギュラーシーケンスである場合に、逆プルダウン処理を行うようにし、入力される画像信号の出現パターンがイレギュラーシーケンスである場合に、逆プルダウン処理を行わないようにすることとなる。
【００８９】
画像処理部８２は、IP変換部８１からの画像信号に対して、ノイズを低減するためのノイズリダクション処理や、画像信号の解像度をより高解像度に変換する解像度創造処理等を行う。
【００９０】
すなわち、例えば、画像処理部８２は、外部からの画像信号の出現パターンがイレギュラーシーケンスであるか否かに応じて、異なるノイズ低減フィルタ等を用いたノイズリダクション処理を行う。
【００９１】
その他、例えば、画像処理部８２は、出現パターンにおけるリピート回数に応じて、動的にノイズ低減フィルタ等を切り替えるようにして、ノイズリダクション処理を行うようにしても良い。
【００９２】
また、例えば、画像処理部８２は、外部からの画像信号の出現パターンがイレギュラーシーケンスであるか否かに応じて、異なるパラメータを用いた解像度創造処理を行う。
【００９３】
画像処理部８２は、処理後の画像信号を、フレーム補間部４６に供給する。
【００９４】
なお、画像処理装置６１は、IP変換部８１によるIP変換処理、画像処理部８２によるノイズリダクション処理や解像度創造処理、及びフレーム補間部４６によるフレームの補間処理を行う他、例えば、画像処理部８２及びフレーム補間部４６を省いて、IP変換処理のみを行うように構成してもよい。
【００９５】
すなわち、例えば、画像処理装置６１は、IP変換処理、ノイズリダクション処理、解像度創造処理、又は補間処理の少なくとも１つを行うように構成することができる。なお、このことは、後述する第２及び第３の実施の形態でも同様である。
【００９６】
＜２．第２の実施の形態＞
[画像処理装置１０１の構成例]
次に、図６は、第２の実施の形態である画像処理装置１０１の構成例を示している。
【００９７】
なお、この画像処理装置１０１は、図２の画像処理装置２１と同様に構成される部分については、同一の符号をしているため、それらの説明は、以下、適宜省略する。
【００９８】
すなわち、画像処理装置１０１は、図２の制御部４４に代えて、制御部１２１が設けられているとともに、新たに変換部１２２が設けられている他は、図２の画像処理装置２１と同様に構成される。
【００９９】
制御部１２１は、シーケンス判定部４３からの判定結果に基づいて、変換部１２２を制御する。
【０１００】
すなわち、例えば、制御部１２１は、入力される画像信号の出現パターンがレギュラーシーケンスであるとの判定結果を得た場合、変換部１２２を制御して、そのまま画像信号を、フレーム補間部４６に供給させる。
【０１０１】
また、例えば、制御部１２１は、入力される画像信号の出現パターンがイレギュラーシーケンスであるとの判定結果を得た場合、変換部１２２を制御して、出現パターンがイレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換させて、フレーム補間部４６に供給させる。
【０１０２】
また、例えば、制御部１２１は、シーケンス判定部４３からの判定結果に拘らず、フレーム補間部４６を制御して、レギュラーシーケンス用の画像処理を行わせる。
【０１０３】
この場合、例えば、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からのレギュラーシーケンスの画像信号に対して、フレームの補間を行い、補間後の画像信号を出力する。
【０１０４】
変換部１２２は、入力される画像信号の出現パターンがイレギュラーシーケンスである場合、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に供給する。なお、変換部１２２が行う処理の詳細は、図７乃至図１０を参照して詳述する。
【０１０５】
ここで、図６の画像処理装置１０１では、例えば、変換部１２２の前に、IP変換部８１を設けるように構成し、IP変換部８１によるIP変換後の画像信号を、変換部１２２に供給させるようにすることができる。
【０１０６】
その他、例えば、変換部１２２による処理後の画像信号に対して、ノイズリダクション処理や解像度創造処理を行う画像処理部８２を、変換部１２２とフレーム補間部４６との間に設けるようにしてもよい。
【０１０７】
[変換部１２２が行う第１の変換方法]
次に、図７は、変換部１２２が、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して出力する第１の変換方法を示している。
【０１０８】
図７Aには、同一のフレームAが連続して５枚、同一のフレームBが連続して３枚、同一のフレームCが連続して２枚という出現パターン5-3-2を表す5-3-2イレギュラーシーケンスの画像信号が示されている。
【０１０９】
図７Bには、同一のフレームAが連続して４枚、同一のフレームBが連続して３枚、同一のフレームCが連続して３枚という出現パターン4-3-3を表す4-3-3レギュラーシーケンスの画像信号が示されている。
【０１１０】
変換部１２２は、制御部１２１からの制御にしたがって、図７Aに示されるように、外部からの画像信号を構成する複数のフレームのうち、１０フレーム（例えば、図７Aでは、５枚のフレームA、３枚のフレームB、２枚のフレームC）を、図示せぬ内蔵のメモリに保持させる。
【０１１１】
そして、変換部１２２は、図７Bに示されるように、保持した１０フレームの出現パターン5-3-2を、例えば、出現パターン4-3-3を表す4-3-3レギュラーシーケンスに変換し、変換後の１０フレームを、フレーム補間部４６に出力する。なお、出現パターンの変換方法は、例えば、図８を参照して後述する。
【０１１２】
このようにして、変換部１２２は、１０フレーム毎の出現パターン5-3-2を、出現パターン4-3-3に変換することとなる。
【０１１３】
なお、変換部１２２は、例えば、図７に示されるように、出現パターン5-3-2の画像信号を、出現パターン4-3-3の画像信号に変換するようにしている。
【０１１４】
すなわち、変換部１２２は、リピート回数の大小関係が、入力される画像信号の出現パターン5-3-2に類似する出現パターン4-3-3の画像信号に変換するようにしている。
【０１１５】
具体的には、例えば、入力される画像信号において、図７Aに示されるように、フレームAのリピート回数（いまの場合、５回）が、フレームBのリピート回数（いまの場合、３回）よりも多いものとなっている。
【０１１６】
したがって、変換部１２２は、入力される画像信号を、図７Bに示されるように、フレームAのリピート回数（いまの場合、４回）が、フレームBのリピート回数（いまの場合、３回）よりも多い画像信号に変換するようにしている。
【０１１７】
これにより、変換部１２２では、入力される画像の出現パターンを、類似する出現パターンに変換するようにしているので、変換時に要する時間を短縮することが可能となる。このことは、図１０を参照して詳述する。
【０１１８】
次に、図８は、変換部１２２が、5-3-2イレギュラーシーケンスの画像信号を、4-3-3レギュラーシーケンスの画像信号に変換する場合の一例を示している。
【０１１９】
変換部１２２は、図８Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図示せぬ内蔵のメモリに保持する。
【０１２０】
すなわち、例えば、変換部１２２は、図８Aに示される５枚のフレームA、３枚のフレームB、及び２枚のフレームCを、図示せぬ内蔵のメモリに保持する。
【０１２１】
そして、例えば、変換部１２２は、図８Bに示されるように、内蔵のメモリに保持済みの５枚のフレームA、３枚のフレームB、及び２枚のフレームCそれぞれから、先頭のフレームA、先頭のフレームB、先頭のフレームCを抽出する。
【０１２２】
変換部１２２は、図８Cに示されるように、抽出した先頭のフレームAに基づいて、４枚のフレームAを生成する。同様にして、変換部１２２は、抽出した先頭のフレームBに基づいて、３枚のフレームBを、抽出した先頭のフレームCに基づいて、２枚のフレームCを生成する。
【０１２３】
このようにして、変換部１２２は、図８Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図８Cに示されるような4-3-3レギュラーシーケンスの画像信号に変換する。そして、変換部１２２は、変換後の4-3-3レギュラーシーケンスの画像信号を、フレーム補間部４６に供給する。
【０１２４】
なお、変換部１２２は、5-3-2イレギュラーシーケンスの画像信号の他、異なる出現パターンのイレギュラーシーケンスの画像信号についても、レギュラーシーケンスの画像信号に変換することができる。
【０１２５】
すなわち、例えば、変換部１２２は、4-2-2-2イレギュラーシーケンスの画像信号を、3-2レギュラーシーケンスの画像信号に変換することができる。
【０１２６】
具体的には、例えば、変換部１２２は、図９Aに示されるような4-2-2-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図示せぬ内蔵のメモリに保持する。
【０１２７】
つまり、例えば、変換部１２２は、図９Aに示される４枚のフレームA、２枚のフレームB、２枚のフレームC、及び２枚のフレームDを、図示せぬ内蔵のメモリに保持する。
【０１２８】
そして、例えば、変換部１２２は、図９Bに示されるように、内蔵のメモリに保持済みの４枚のフレームA、２枚のフレームB、２枚のフレームC、及び２枚のフレームDそれぞれから、先頭のフレームA、先頭のフレームB、先頭のフレームC、先頭のフレームDを抽出する。
【０１２９】
変換部１２２は、図９Cに示されるように、抽出した先頭のフレームAに基づいて、３枚のフレームAを生成する。同様にして、変換部１２２は、抽出した先頭のフレームBに基づいて、２枚のフレームBを、抽出した先頭のフレームCに基づいて、３枚のフレームCを、抽出した先頭のフレームDに基づいて、２枚のフレームDを生成する。
【０１３０】
このようにして、変換部１２２は、図９Aに示されるような4-2-2-2イレギュラーシーケンスの画像信号を、１０フレーム単位で、図９Cに示されるような3-2レギュラーシーケンスの画像信号に変換する。
【０１３１】
なお、変換部１２２は、図７で説明した第１の変換方法に限定されず、その他、例えば、図１０を参照して説明する第２の変換方法で変換するようにしてもよい。
【０１３２】
[変換部１２２が行う第２の変換方法]
次に、図１０は、変換部１２２が、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して出力する第２の変換方法を示している。
【０１３３】
例えば、制御部１２１は、画像信号の出現パターンが、5-3-2イレギュラーシーケンスであるとの判定結果を、シーケンス判定部４３から得た場合、変換部１２２を制御して、5-3-2イレギュラーシーケンスに基づく変換規則による変換を行わせる。
【０１３４】
変換部１２２には、例えば、図１０Aに示されるような5-3-2イレギュラーシーケンスの画像信号が供給される。
【０１３５】
変換部１２２は、制御部１２１からの制御にしたがって、5-3-2イレギュラーシーケンスに基づく変換規則を用いて、外部から供給される5-3-2イレギュラーシーケンスの画像信号を、図１０Bに示されるような4-3-3レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に出力する。
【０１３６】
すなわち、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が５回であるフレーム（例えば、フレームD）のうち、先頭のフレームが供給された場合、変換規則にしたがって、図１０Bに示されるように、その先頭のフレームに代えて、１フレームだけ前に供給されたフレーム（例えば、フレームC）を、フレーム補間部４６に出力する。
【０１３７】
また、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が５回であるフレーム（例えば、フレームD）のうち、先頭のフレーム以外のフレームが供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１３８】
また、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が３回であるフレーム（例えば、フレームB）が供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１３９】
さらに、例えば、変換部１２２は、図１０Aに示されるように、リピート回数が２回であるフレーム（例えば、フレームC）が供給された場合、変換規則にしたがって、図１０Bに示されるように、そのままフレーム補間部４６に出力する。
【０１４０】
これにより、変換部１２２は、例えば、図７に示したように、１０フレームを保持するためのメモリを内蔵する必要がなくなり、フレームの変換による遅延を防止することが可能となる。
【０１４１】
また、変換部１２２では、入力される画像の出現パターンを、類似する出現パターンに変換するようにしているので、例えば、入力される画像の出現パターンに類似しない任意の出現パターンに変換する場合と比較して、より単純な変換規則で変換できる。このため、第２の変換方法によれば、変換時に要する時間をより短縮できる。
【０１４２】
したがって、変換部１２２は、例えば、入力される画像の出現パターンに類似しない出現パターンに変換する場合と比較して、フレームの変換による遅延を確実に防止することが可能となる。
【０１４３】
[画像処理装置１０１の動作説明]
次に、図１１のフローチャートを参照して、画像処理装置１０１が行う画像処理（以下、第２の画像処理という）について説明する。
【０１４４】
なお、この第２の画像処理は、例えば、外部から画像処理装置１０１に画像信号が入力されたときに開始される。
【０１４５】
ステップＳ４１乃至ステップＳ４３において、図４のステップＳ２１乃至ステップＳ２３と同様の処理が行われる。
【０１４６】
なお、ステップＳ４３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスではない（イレギュラーシーケンスである）と判定した場合、その判定結果を制御部１２１に供給する。
【０１４７】
制御部１２１は、シーケンス判定部４３からの判定結果に応じて、変換部１２２及びフレーム補間部４６を制御して、ステップＳ４４及びステップＳ４５の処理を実行させる。
【０１４８】
すなわち、ステップＳ４４では、変換部１２２は、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部４６に供給する。
【０１４９】
ステップＳ４５では、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からの画像信号にフレームを補間する処理を行なう。
【０１５０】
また、ステップＳ４３において、シーケンス判定部４３は、差分算出部４２からの複数の差分Dに基づいて、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定した場合、その判定結果を制御部１２１に供給する。
【０１５１】
制御部１２１は、シーケンス判定部４３からの判定結果に応じて、変換部１２２及びフレーム補間部４６を制御する。変換部１２２は、制御部１２１からの制御にしたがって、レギュラーシーケンスの画像信号を、そのままフレーム補間部４６に供給する。
【０１５２】
また、ステップＳ４５では、フレーム補間部４６は、制御部１２１からの制御にしたがって、変換部１２２からのレギュラーシーケンスの画像信号に、フレームを補間する処理を行なう。なお、第２の画像処理は、例えば、画像処理装置１０１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【０１５３】
以上説明したように、第２の画像処理では、入力される画像信号の出現パターンがイレギュラーシーケンスである場合、入力される画像信号を、レギュラーシーケンスの画像信号に変換するようにした。このため、例えば、イレギュラーシーケンスの画像信号に対して、フレームの補間等が行われて、不自然なジャダーが強調されることを防止することが可能となる。
【０１５４】
＜３．第３の実施の形態＞
[画像処理装置１４１の構成例]
次に、図１２は、第３の実施の形態である画像処理装置１４１の構成例を示している。
【０１５５】
なお、この画像処理装置１４１は、図６の画像処理装置１０１と同様に構成される部分については、同一の符号をしているため、それらの説明は、以下、適宜省略する。
【０１５６】
すなわち、画像処理装置１４１は、図６の変換部１２２及びフレーム補間部４６に代えて、変換部１６１及びフレーム補間部１６２が設けられている他は、図６の画像処理装置１０１と同様に構成される。
【０１５７】
変換部１６１は、変換部１２２と同様の処理を行う。すなわち、例えば、変換部１６１は、外部からの画像信号の出現パターンが、イレギュラーシーケンスである場合、制御部１２１からの制御にしたがって、イレギュラーシーケンスの画像信号を、レギュラーシーケンスの画像信号に変換して、フレーム補間部１６２に供給する。
【０１５８】
また、変換部１６１は、変換部１６１から出力する、レギュラーシーケンスの画像信号に基づいて、同一のフレームが連続して出現するタイミングを表すタイミング信号を検出する。
【０１５９】
すなわち、例えば、変換部１６１は、変換部１６１から出力する、レギュラーシーケンスの画像信号に基づいて、タイミング信号として、先頭フレーム位相信号を検出する。ここで、先頭フレーム位相信号とは、連続する同一のフレームのうち、先頭のフレーム（時間的に最も先に出現するフレーム）の出現するタイミングを表す。
【０１６０】
そして、変換部１６１は、検出した先頭フレーム位相信号を、フレーム補間部１６２に出力する画像信号に同期して、フレーム補間部１６２に供給する。
【０１６１】
なお、変換部１６１は、例えば、ハードウェア的にLVDS(low voltage differential signaling)等を用いるようにして、先頭フレーム位相信号を、フレーム補間部１６２に出力する画像信号に同期して、フレーム補間部１６２に供給している。
【０１６２】
フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号に基づいて、同じく変換部１６１からの画像信号から、その画像信号よりも高フレームレートの画像信号を生成して出力する。
【０１６３】
次に、図１３は、変換部１６１及びフレーム補間部１６２が行う処理の一例を示している。
【０１６４】
図１３Aは、画像処理装置１４１に入力される画像信号の一例として、5-3-2イレギュラーシーケンスの画像信号を示している。
【０１６５】
図１３Bは、変換部１２２による変換により得られる、4-3-3レギュラーシーケンスの画像信号を示している。
【０１６６】
図１３Cは、先頭フレーム位相信号に応じて生成される、4-3-3レギュラーシーケンスの画像信号よりも高フレームレートの画像信号を示している。
【０１６７】
例えば、変換部１６１は、外部から供給される、図１３Aに示されるような5-3-2イレギュラーシーケンスの画像信号を、図１３Bに示されるような4-3-3レギュラーシーケンスの画像信号に変換して、フレーム補間部１６２に供給する。
【０１６８】
また、例えば、変換部１６１は、図１３Bに示されるように、変換により得られる4-3-3レギュラーシーケンスの画像信号に基づいて、先頭フレーム位相信号を検出し、4-3-3レギュラーシーケンスの画像信号に同期して、フレーム補間部１６２に供給する。
【０１６９】
フレーム補間部１６２は、図１３Cに示されるように、変換部１６１からの先頭フレーム位相信号を調整して、先頭フレーム位相信号が表す凸部分（図１３Bにおいて先頭のフレームの出現するタイミング）を等間隔に変更する。
【０１７０】
すなわち、例えば、フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号を調整して、図１３Bに示される4-3-3レギュラーシーケンスの画像信号の再生に要する再生時間の範囲内で、先頭フレーム位相信号が表す凸部分を等間隔に変更する。
【０１７１】
そして、フレーム補間部１６２は、調整後の先頭フレーム位相信号に基づいて、フレームの補間等により新たに生成する画像信号を構成する各フレーム上のオブジェクトの位置を決定する。
【０１７２】
すなわち、例えば、フレーム補間部１６２は、変更後の各凸部分でフレームが表示されたならば、そのフレーム上のオブジェクトの位置が、各凸部分に対応する先頭のフレームA,B,C,D,E,…それぞれに表示されるオブジェクトの位置となるような位置に決定する。
【０１７３】
フレーム補間部１６２は、決定した位置にオブジェクトが描画された各フレームにより構成される新たな画像信号を生成して出力する。
【０１７４】
次に、図１４は、図１３A乃至図１３Cに示される各画像信号に生じるジャダーの様子の一例を示している。
【０１７５】
図１３Aに示されるような画像信号の場合、図１４Aに示されるグラフ１８１のように、時間の経過に応じて、フレーム上のオブジェクトの位置が不規則に変化する。これは、図１３Aに示される画像信号の出現パターンが、イレギュラーシーケンスであることによる。
【０１７６】
図１３Bに示されるような画像信号の場合、図１４Bに示されるグラフ１８２のように、時間の経過に応じて、フレーム上のオブジェクトの位置が規則的に変化する。これは、図１３Bに示される画像信号の出現パターンが、レギュラーシーケンスであることによる。
【０１７７】
図１３Cに示されるような画像信号の場合、図１４Cに示されるグラフ１８３のように、時間の経過に応じて、フレーム上のオブジェクトの位置が滑らかに変化する。これは、図１３Cに示される画像信号が、それぞれ異なるフレームにより構成された、レギュラーシーケンスの画像信号であることによる。
【０１７８】
なお、上述した図１３では、外部からの画像信号の出現パターンが5-3-2イレギュラーシーケンスの場合について説明した。ところで、外部からの画像信号の出現パターンが、5-3-2イレギュラーシーケンスとは異なるイレギュラーシーケンスである場合についても、図１３で説明した場合と同様の処理が行われる。
【０１７９】
すなわち、例えば、図１５Aに示されるように、外部から変換部１６１に対して、4-2-2-2イレギュラーシーケンスの画像信号が供給される場合には、変換部１６１は、図１５Bに示されるようにして、3-2レギュラーシーケンスの画像信号に変換し、対応する先頭フレーム位相信号を検出する。
【０１８０】
そして、フレーム補間部１６２は、図１５Cに示されるようにして、変換部１６１からの先頭フレーム位相信号が表す各凸部分を等間隔に変更し、凸部分を変更後の先頭フレーム位相信号に基づいて、フレームの補間を行うこととなる。
【０１８１】
また、例えば、図１６Aに示されるように、外部から変換部１６１に対して、5-3-2イレギュラーシーケンスの画像信号が供給される場合には、変換部１６１は、図１６Bに示されるようにして、4-3-3レギュラーシーケンスの画像信号に変換し、対応する先頭フレーム位相信号を検出する。
【０１８２】
そして、フレーム補間部１６２は、図１６Cに示されるようにして、変換部１６１からの先頭フレーム位相信号が表す各凸部分を等間隔に変更し、凸部分を変更後の先頭フレーム位相信号に基づいて、フレームの補間を行うこととなる。
【０１８３】
[画像処理装置１４１の動作説明]
次に、図１７のフローチャートを参照して、画像処理装置１４１が行う画像処理（以下、第３の画像処理という）を説明する。
【０１８４】
なお、この第３の画像処理は、例えば、外部から画像処理装置１４１に画像信号が入力されたときに開始される。
【０１８５】
ステップＳ６１乃至ステップＳ６４において、図１１のステップＳ４１乃至ステップＳ４４と同様の処理が行われる。
【０１８６】
なお、ステップＳ６５は、ステップＳ６４の終了後、又はステップＳ６３において、入力される画像信号の出現パターンが、レギュラーシーケンスであると判定された場合に行われる。
【０１８７】
ステップＳ６５では、変換部１６１は、変換部１６１から出力される画像信号に基づいて、先頭フレーム位相信号を検出し、ステップＳ６４の処理で得られたレギュラーシーケンスの画像信号、又は外部からのレギュラーシーケンスの画像信号に同期して、フレーム補間部１６２に供給する。
【０１８８】
ステップＳ６６では、フレーム補間部１６２は、変換部１６１からの先頭フレーム位相信号を調整して、先頭フレーム位相信号が表す各タイミング（凸部分）を等間隔に変更する。
【０１８９】
ステップＳ６７では、フレーム補間部１６２は、調整後の先頭フレーム位相信号に基づいて、フレームの補間等により新たに生成される画像信号を構成する各フレーム上のオブジェクトの位置を決定する。そして、フレーム補間部１６２は、決定した位置にオブジェクトが描画された各フレームにより構成される新たな画像信号を生成して出力する。
【０１９０】
なお、第３の画像処理は、例えば、画像処理装置１４１に入力される画像信号に対して画像処理が行われ、画像処理後の画像信号を構成する各フレームが全て出力されたときに終了される。
【０１９１】
以上説明したように、第３の画像処理によれば、先頭フレーム位相信号が表す各タイミングが等間隔に変更された先頭フレーム位相信号に基づいて、フレームを補間するようにした。このため、画像信号に含まれる各フレーム上のオブジェクトの動きを、ジャダーのない滑らかな動きにすることが可能となる。
【０１９２】
＜４．変形例＞
第１乃至第３の実施の形態では、入力される画像信号の出現パターンが、イレギュラーシーケンスである場合には、イレギュラーシーケンス用の画像処理（例えば、第２の実施の形態では、イレギュラーシーケンスをレギュラーシーケンスに変換する等）を行うようにしている。
【０１９３】
しかしながら、例えば、出現パターンがイレギュラーシーケンスの画像信号を、いわゆるテストパターンとして入力する場合には、イレギュラーシーケンス用の画像処理を行う各機能を、一時的にオフすることが望ましい。
【０１９４】
したがって、画像処理装置２１，６１，１０１，１４１等に設けられた操作部４５において、各機能のオン又はオフを行えるように構成するようにしてもよい。
【０１９５】
具体的には、例えば、第１乃至第３の動作モードを用意し、操作部４５に対するユーザ操作に応じて、動作モードを切り替えるようにしてもよい。
【０１９６】
なお、第１の動作モードは、例えば、第１の実施の形態で説明した内容に相当し、入力される画像信号の出現パターンが、レギュラーシーケンスであるか否かに応じて、IP変換、解像度創造処理、ノイズリダクション処理等を行う動作モードとされる。
【０１９７】
また、第２の動作モードは、例えば、第２の実施の形態で説明した内容に相当し、イレギュラーシーケンスの画像信号が入力された場合に、レギュラーシーケンスの画像信号に変換して、レギュラーシーケンス用の画像処理を行う動作モードとされる。
【０１９８】
さらに、第３の動作モードは、例えば、第３の実施の形態で説明した内容に相当し、第２の動作モードの内容に加えて、先頭フレーム位相信号に基づいて、高フレームレートの画像信号を生成する処理も画像処理に含まれる動作モードとされる。
【０１９９】
なお、画像処理装置２１，６１，１０１，１４１は、例えば、テレビジョン受像機やハードディスクレコーダ等として機能させることができる。
【０２００】
また、本技術は以下のような構成もとることができる。
（１）複数の画像により構成される画像信号に画像処理を行う画像処理装置において、前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部とを含む画像処理装置。
（２）前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに含み、前記画像処理部は、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行う前記（１）に記載の画像処理装置。
（３）前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部とをさらに含み、前記画像処理部は、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行う前記（２）に記載の画像処理装置。
（４）前記調整部は、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更する前記（３）に記載の画像処理装置。
（５）前記変換部は、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換する前記（２）に記載の画像処理装置。
（６）前記画像処理部は、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行う前記（１）乃至（５）に記載の画像処理装置。
【０２０１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０２０２】
[コンピュータの構成例]
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２０３】
CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２、又は記憶部２０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）２０３には、CPU２０１が実行するプログラムやデータ等が適宜記憶される。これらのCPU２０１、ROM２０２、及びRAM２０３は、バス２０４により相互に接続されている。
【０２０４】
CPU２０１にはまた、バス２０４を介して入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホン等よりなる入力部２０６、ディスプレイ、スピーカ等よりなる出力部２０７が接続されている。CPU２０１は、入力部２０６から入力される指令に対応して各種の処理を実行する。そして、CPU２０１は、処理の結果を出力部２０７に出力する。
【０２０５】
入出力インタフェース２０５に接続されている記憶部２０８は、例えばハードディスクからなり、CPU２０１が実行するプログラムや各種のデータを記憶する。通信部２０９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
【０２０６】
また、通信部２０９を介してプログラムを取得し、記憶部２０８に記憶してもよい。
【０２０７】
入出力インタフェース２０５に接続されているドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア２１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部２０８に転送され、記憶される。
【０２０８】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１８に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア２１１、又は、プログラムが一時的もしくは永続的に格納されるROM２０２や、記憶部２０８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部２０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
【０２０９】
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１０】
また、本開示の実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２１１】
２１ 画像処理装置， ４１ フレームメモリ， ４２ 差分算出部， ４３ シーケンス判定部， ４４ 制御部， ４５ 操作部， ４６ フレーム補間部， ６１ 画像処理装置， ８１ IP変換部， ８２ 画像処理部， １０１ 画像処理装置， １２１ 制御部， １２２ 変換部， １４１ 画像処理装置， １６１ 変換部， １６２ フレーム補間部
【特許請求の範囲】
【請求項１】
複数の画像により構成される画像信号に画像処理を行う画像処理装置において、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、
前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部と
を含む画像処理装置。
【請求項２】
前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに含み、
前記画像処理部は、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、
前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部と
をさらに含み、
前記画像処理部は、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行う
請求項２に記載の画像処理装置。
【請求項４】
前記調整部は、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更する
請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換する
請求項２に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行う
請求項１に記載の画像処理装置。
【請求項７】
複数の画像により構成される画像信号に画像処理を行う画像処理装置の画像処理方法において、
前記画像処理装置による、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定ステップと、
前記画像信号に対して、前記判定ステップの判定結果に応じた画像処理を行う画像処理ステップと
を含む画像処理方法。
【請求項８】
複数の画像により構成される画像信号に画像処理を行う画像処理装置のコンピュータを、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、
前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部と
して機能させるためのプログラム。
【請求項１】
複数の画像により構成される画像信号に画像処理を行う画像処理装置において、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、
前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部と
を含む画像処理装置。
【請求項２】
前記判定部により、前記出現パターンが前記レギュラーパターンではないと判定されたことに対応して、前記レギュラーパターンではない第１の画像信号を、前記レギュラーパターンの第２の画像信号に変換する変換部をさらに含み、
前記画像処理部は、前記第２の画像信号に対して、前記レギュラーパターン用の前記画像処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第２の画像信号を構成する複数の画像のうち、同一の画像が連続して出現するタイミングを表すタイミング信号を検出する検出部と、
前記タイミング信号を調整して、前記タイミングどうしの間隔を等間隔に変更する調整部と
をさらに含み、
前記画像処理部は、調整後の前記タイミング信号に基づいて、前記第２の画像信号から、異なる複数の画像により構成される第３の画像信号を生成する前記画像処理を行う
請求項２に記載の画像処理装置。
【請求項４】
前記調整部は、前記タイミング信号を調整して、前記第２の画像信号の再生に要する再生時間内に生じる前記タイミングどうしの間隔を等間隔に変更する
請求項３に記載の画像処理装置。
【請求項５】
前記変換部は、前記出現パターンに基づく変換規則にしたがって、前記第１の画像信号を、前記第２の画像信号に変換する
請求項２に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記画像処理として、インタレース画像をプログレッシブ画像に変換するIP変換処理、画像に生じているノイズを低減するノイズリダクション処理、画像の解像度をより高解像度に変換する解像度創造処理、又は前記画像信号に新たな画像を補間する補間処理の少なくとも１つを行う
請求項１に記載の画像処理装置。
【請求項７】
複数の画像により構成される画像信号に画像処理を行う画像処理装置の画像処理方法において、
前記画像処理装置による、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定ステップと、
前記画像信号に対して、前記判定ステップの判定結果に応じた画像処理を行う画像処理ステップと
を含む画像処理方法。
【請求項８】
複数の画像により構成される画像信号に画像処理を行う画像処理装置のコンピュータを、
前記画像信号を構成する前記複数の画像のうち、同一の画像が連続する回数を表すリピート回数の出現する出現パターンが、前記画像信号の表示用として予め決められたレギュラーパターンであるか否かを判定する判定部と、
前記画像信号に対して、前記判定部の判定結果に応じた画像処理を行う画像処理部と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−２５３６６７（Ｐ２０１２−２５３６６７Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２６４０４（Ｐ２０１１−１２６４０４）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]