画像処理装置及び画像処理装置の制御方法
【課題】フリッカを抑制すると共に、残像の低減効果を向上することができる画像処理装置を提供する。
【解決手段】入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、を有し、前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする画像処理装置を提供する。
【解決手段】入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、を有し、前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
近年、表示装置の大画面化に伴うフリッカを抑制するために、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行うようになってきている。
【０００３】
入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行う場合には、入力映像信号にないフレームを新たに生成して表示する必要があり、最も簡単な方法として、入力映像信号のフレームを繰り返して表示する方法がある。
【０００４】
このような方法においては、静止している物体を表示する場合には問題はないが、動いている物体を表示する場合には残像が見えてしまうという問題がある。図１０は、入力映像信号のフレームを繰り返して表示する場合に、残像が見える原理を説明するための図である。動いている物体を６０フレーム／秒で表示した場合を図１０（ａ）に、同じ画像を２回繰り返して表示して１２０フレーム／秒で表示した場合を図１０（ｂ）に示す。図１０（ａ）の場合には、観察者が物体の動きに追従して視線を動かすと、観察者には１つの物体の像しか知覚されない。一方、図１０（ｂ）の場合には、１回目に表示される物体の像に対して、２回目に表示される物体の像がずれた位置に知覚されて残像となってしまう。このとき、２回目に表示される物体の像のずれ量は、元の物体の入力フレーム間の動き量の半分となる。
【０００５】
このため、入力映像信号の連続するフレームに基づいて補間を行って、連続するフレーム間のフレーム、即ち、補間フレームを生成する方法が提案されている。但し、かかる方法では、補間処理を行うための大規模な処理回路が必要となってしまう。
【０００６】
そこで、動いている物体を表示する場合であっても、大規模な処理回路を用いることなく、残像の少ない表示を実現する技術が提案されている（特許文献１参照）。特許文献１では、入力映像信号をフレームメモリに蓄積し、これを入力よりも高いフレームレートで読み出して表示する際に、画像データの一部（動いている物体に相当する画像データ）をマスクすることで、残像を低減させている。
【特許文献１】特許第３８４１１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１には、好適な実施形態として、入力される１つのフレームに対して出力を２倍にする場合に、一方のフレームでマスクされたデータに置換される画素と、他方のフレームでマスクされたデータに置換される画素とを交互に配置することが開示されている。
【０００８】
このような表示を行った場合の画像の見え方を図１１に示す。図１１（ａ）は、入力されるフレーム（入力フレーム）Ｆｉｎ（Ｎ）乃至Ｆｉｎ（Ｎ＋３）を示しており、ここでは、黒色の背景に白色の文字「Ａ」が左から右に移動している。図１１（ｂ）は、出力されるフレーム（出力フレーム）を示している。図１１（ｃ）は、図１１（ｂ）に示す出力フレームを表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を示している。この場合、２つの出力フレームが同じ明るさ（輝度）の画像となるため、観察者には、同じ輝度の像であって、フレーム間の動きが半分ずれて重なった像が観察され、残像の低減効果が低い。
【０００９】
また、特許文献１には、一方のフレームではマスクをかけず（即ち、全ての画素についてマスクされたデータに置換せず）、他方のフレームでは全ての画素をマスクする（即ち、全ての画素をマスクされたデータに置換する）ことも開示されている。この場合、一方のフレームの輝度が他方のフレームの輝度よりも低くなるため、一方のフレームでマスクされたデータに置換される画素と、他方のフレームでマスクされたデータに置換される画素とを交互に配置する場合よりは残像の低減効果を高めることができる。但し、両方のフレームで全ての画素を表示しているため、やはり残像の低減効果は低いままである。
【００１０】
そこで、本発明は、このような従来技術の課題に鑑みて、フリッカを抑制すると共に、残像の低減効果を向上することができる画像処理装置及び画像処理装置の制御方法を提供することを例示的目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の側面としての画像処理装置は、入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、を有し、前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする。
【００１２】
本発明の第２の側面としての画像処理装置の制御方法は、入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納ステップと、前記格納ステップで格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成ステップと、前記生成ステップで生成された複数のフレームデータの画素値を変換する変換ステップと、前記変換ステップで変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示ステップと、を有し、前記変換ステップでは、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする。
【００１３】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１４】
本発明によれば、例えば、フリッカを抑制すると共に、残像の低減効果を向上する画像処理装置及び画像処理装置の制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
［第１の実施形態］
図１は、本発明の第１の実施形態における画像処理装置１の構成を示す概略ブロック図である。画像処理装置１は、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行う。画像処理装置１は、図１に示すように、書き込み制御部１０２と、フレームメモリ１０４と、読み出し制御部１０６と、乗算部１０８と、係数選択部１１０と、表示部１１２とを有する。
【００１６】
書き込み制御部１０２は、フレームメモリ１０４へのデータの書き込み（格納）を制御する。具体的には、書き込み制御部１０２は、画像処理装置１の外部から入力される入力映像信号をフレームメモリ１０４に書き込む（格納する）。
【００１７】
フレームメモリ１０４は、書き込み制御部１０２から入力される入力映像信号を、かかる入力映像信号に含まれる同期信号（入力フレームレート）に従って、フレームデータ（画像データ）として格納する。
【００１８】
読み出し制御部１０６は、フレームメモリ１０４に格納されたデータの読み出しを制御する。具体的には、読み出し制御部１０６は、フレームメモリ１０４に格納されたフレームデータを、入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する。本実施形態では、読み出し制御部１０６は、入力フレームレートの２倍のフレームレートでフレームデータを読み出して、かかるフレームデータを乗算部１０８に入力する。従って、フレームメモリ１０４から同一のフレームデータが２回読み出されて、乗算部１０８に入力される。
【００１９】
乗算部１０８は、読み出し制御部１０６から入力されるフレームデータの各画素の画素値に係数選択部１１０から入力される係数を乗算して、かかるフレームデータを表示部１１２に入力する。換言すれば、乗算部１０８は、読み出し制御部１０６から入力されるフレームデータを、係数選択部１１０から出力される係数でマスクして表示部１１２に入力する。
【００２０】
係数選択部１１０は、読み出し制御部１０６から乗算部１０８に入力されるフレームデータをマスクするために、かかるフレームデータの画素のアドレスに従って（即ち、画素ごとに）所定の係数を出力する。換言すれば、係数選択部１１０は、フレームデータの画素ごとに所定の係数を有する係数パターン（所謂、マスクデータ）を乗算部１０８に入力する。
【００２１】
表示部１１２は、乗算部１０８から入力されるフレームデータの画像を入力フレームレートよりも高いフレームレート（即ち、読み出し制御部１０６がフレームメモリ１０４からフレームデータを読み出しフレームレート）で表示する。従って、表示部１１２は、本実施形態では、入力映像信号の入力フレームレートの２倍のフレームレートで画像の表示を行う。表示部１１２は、例えば、表面伝導型放出素子を用いたＳＥＤ（Ｓｕｒｆａｃｅ ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ Ｅｍｉｔｔｅｒ Ｄｉｓｐｌａｙ）であって、入力されるフレームデータの大きさに比例した輝度が得られるような駆動を行う。但し、表示部１１２は、ＳＥＤに限定されず、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行うことができれば、どのようなディスプレイであってもよい。
【００２２】
本実施形態では、乗算部１０８及び係数選択部１１０は、上述したように、協同して、読み出し制御部１０６によって生成される複数のフレームデータのデータ変換を行う。具体的には、フレームメモリ１０４に格納されたフレームデータの画素値と同じ画素値で１回だけ表示される画素と、かかるフレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、データ変換を行う。
【００２３】
図２は、第１の実施形態における画像処理装置１の動作を説明するための図である。図２（ａ）は、書き込み制御部１０２に入力される（フレームメモリ１０４に格納される）フレームデータ（入力フレーム）Ｆｉｎ（Ｎ）乃至Ｆｉｎ（Ｎ＋２）を示しており、本実施形態の例では、黒色の背景に白地の文字「Ａ」が左から右に移動している。
【００２４】
読み出し制御部１０６は、フレームメモリ１０４に格納された入力フレームを２回読み出して複製し、図２（ｂ）に示すような読み出しフレームを生成する。具体的には、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ）から読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）を生成する。同様に、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ＋１）から読み出しフレームＦｏｕｔ１（Ｎ＋１）及びＦｏｕｔ２（Ｎ＋１）を生成する。同様に、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ＋２）から読み出しフレームＦｏｕｔ１（Ｎ＋２）及びＦｏｕｔ２（Ｎ＋２）を生成する。
【００２５】
乗算部１０８は、読み出し制御部１０６から入力される読み出しフレーム（の各画素の画素値）に係数選択部１１０から出力される係数パターンを乗算して、図２（ｃ）に示すような出力フレームに変換する。具体的には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）に対しては、図３（ａ）に示す係数パターンを出力し、読み出しフレームＦｏｕｔ２（Ｎ）に対しては、図３（ｂ）に示す係数パターンを出力する。図３（ａ）に示す係数パターンは、２×２の４画素を単位とし、対角上に１．０の係数と０．５の係数を有する。図３（ｂ）に示す係数パターンは、２×２の４画素を単位とし、図３（ａ）に示す係数パターンに対応して、対角上に０の係数と０．５の係数を有する。換言すれば、読み出しフレームＦｏｕｔ１（Ｎ）では係数が１であり、読み出しフレームＦｏｕｔ２（Ｎ）では係数が０である画素と、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれで係数が０．５である画素とが配置されている。乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）に乗算して、出力フレームＦｄ１（Ｎ）及びＦｄ２（Ｎ）に変換する。同様に、乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ＋１）及びＦｏｕｔ２（Ｎ＋１）に乗算して、出力フレームＦｄ１（Ｎ＋１）及びＦｄ２（Ｎ＋１）に変換する。同様に、乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ＋２）及びＦｏｕｔ２（Ｎ＋２）に乗算して、出力フレームＦｄ１（Ｎ＋２）及びＦｄ２（Ｎ＋２）に変換する。ここで、図３は、係数選択部１１０から出力される係数パターンの一例を示す図である。
【００２６】
表示部１１２は、乗算部１０８から入力される図３（ｃ）に示す出力フレームＦｄ１（Ｎ）乃至Ｆｄ２（Ｎ＋２）の画像を表示する（即ち、入力フレームレートの２倍のフレームレートで画像を表示する）。この際、表示部１１２には、１フレーム周期の間に、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素とが交互に配置されたフレームの画像が順次表示される。
【００２７】
図３に示す出力フレームＦｄ１（Ｎ）乃至Ｆｄ２（Ｎ＋２）を表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を図４に示す。図４を参照するに、２つの出力フレームが同じ明るさ（輝度）の画像ではないため、従来技術（図１１）と比較して、残像の範囲が少なくなっており、残像の低減効果が向上していることがわかる。また、１つの入力フレームに対して出力される２つのフレームには、それぞれ表示が行われる画素が存在するため、フリッカの抑制効果もある。
【００２８】
このように、画像処理装置１によれば、フリッカを抑制すると共に、残像の低減効果を向上することができる。
【００２９】
また、本実施形態では、係数選択部１１０から出力する係数パターンを２×２の４画素単位とし、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：１となるような例を示した。但し、係数パターンの単位は４画素に限定するものではなく、また、１回だけ表示される画素と２回表示される画素との比率も１：１に限定するものではない。例えば、係数パターンを３×３の９画素単位とし、入力映像信号の1フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率を４：５にしてもよい。この場合、残像の低減効果は低減するが、フリッカの抑制効果を向上させることができる。
［第２の実施形態］
図５は、本発明の第２の実施形態における画像処理装置１Ａの構成を示す概略ブロック図である。画像処理装置１Ａは、画像処理装置１の構成に加えて、判定部１２２を更に有する。
【００３０】
判定部１２２は、入力映像信号に含まれる制御信号に基づいて、入力映像信号（フレームデータ）が動画放送（動画主体の通常の放送）であるか静止画放送（静止画の比率が高いデータ放送）であるかを判定し、かかる判定結果を係数選択部１１０に出力する。なお、判定部１２２は、入力映像信号が動画放送から静止画放送に、或いは、静止画放送から動画放送に切り替わったことを検知して係数選択部１１０に出力してもよい。
【００３１】
係数選択部１１０は、判定部１２２の判定結果に基づいて、乗算部１０８に出力する係数パターンを変えて、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素との比率を変更する。
【００３２】
具体的には、判定部１２２によって入力映像信号が動画放送であると判定された場合には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれに対して図３（ａ）及び（ｂ）に示す係数パターンを出力する。図３（ａ）及び（ｂ）に示す係数パターンは、上述したように、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：１となる係数パターンである。
【００３３】
一方、判定部１２２によって入力映像信号が静止画放送であると判定された場合には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれに対して図６（ａ）及び（ｂ）に示す係数パターンを出力する。図６（ａ）及び（ｂ）に示す係数パターンは、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：３となる係数パターンである。図６は、係数選択部１１０から出力される係数パターンの一例を示す図である。
【００３４】
従って、画像処理装置１Ａによれば、入力映像信号が動画放送である場合には、残像の低減効果を向上させ、入力映像信号が静止画放送である場合には、フリッカの抑制効果を向上させることができ、入力映像信号に応じて最適な表示を行うことが可能となる。
【００３５】
また、本実施形態において係数選択部１１０から出力される係数パターンは、図３及び図６に示す係数パターンに限定するものではなく、要求される残像の低減効果やフリッカの抑制効果に応じて適切な係数パターンを出力することができる。
［第３の実施形態］
図７は、本発明の第３の実施形態における画像処理装置１Ｂの構成を示す概略ブロック図である。画像処理装置１Ｂは、画像処理装置１の構成に加えて、動き領域検出部１３２と、動きレベル決定部１３４とを更に有する。
【００３６】
動き領域検出部１３２は、書き込み制御部１０２がフレームメモリ１０４に書き込むフレームデータと読み出し制御部１０６がフレームメモリ１０４から読み出す１フレーム前のフレームデータから、フレームデータ間の動きを検出する。具体的には、動き領域検出部１３２は、フレームデータをｍ×ｎの画素を単位とする複数のブロックに分割し、かかる複数のブロックごとに、フレームデータ間の動きを検出する。なお、動き領域検出部１３２の検出結果は、動きレベル決定部１３４に入力される。
【００３７】
本実施形態では、動き領域検出部１３２は、フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、かかる差分の絶対値の和が閾値以上である場合には、そのブロックに関してフレームデータ間で動きがあると検出する。同様に、動き領域検出部１３２は、フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、かかる差分の絶対値の和が閾値未満である場合には、そのブロックに関してフレームデータ間で動きがないと検出する。
【００３８】
動きレベル決定部１３４は、動き領域検出部１３２の検出結果に基づいて、フレームデータの複数のブロックごとの動きの度合いを示す動きレベルを決定する。本実施形態では、動きレベル決定部１３４は、フレームデータ間で動きがあると検出されたブロックの動きレベルを１上げ、フレームデータ間で動きがないと検出されたブロックの動きレベルを１下げる。但し、動きレベルは、上限値及び下限値を有し、本実施形態では、上限値を１０、下限値を１としている。
従って、動きレベル決定部１３４は、動きレベルが上限値（本実施形態では、１０）に達しているブロックに対しては、フレームデータ間で動きがあると検出されても、動きレベルを変化させない（即ち、動きレベルを上げない）。同様に、動きレベル決定部１３４は、動きレベルが下限値（本実施形態では、１）に達しているブロックに対しては、フレームデータ間で動きがないと検出されても、動きレベルを変化させない（即ち、動きレベルを下げない）。
【００３９】
係数選択部１１０は、動きレベル決定部１３４によって決定された動きレベルに基づいて、フレームデータの複数のブロックごとに、乗算部１０８に出力する係数パターンを出力する。換言すれば、係数選択部１１０は、フレームデータの複数のブロックごとに、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素との比率を変更する。
【００４０】
係数選択部１１０は、本実施形態では、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれ（詳細には、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれのブロック）に対して、図８に示すような係数パターンを出力する。図８は、動きレベルに応じて、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれ（のブロック）に対して出力される係数パターンを示している。本実施形態では、６×６の３６画素を１ブロックとし、白で示される画素の係数を１、灰色で示される画素の係数を０．５、黒で示される画素の係数を０としている。
【００４１】
図８を参照するに、係数選択部１１０は、例えば、動きレベル１のブロックに対しては、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：３となる係数パターンを出力する。動きレベルが上がるにつれて、入力映像信号の１フレーム周期の間に２回表示される画素の比率を下げた係数パターンを出力し、動きレベル１０のブロックに対しては、１回だけ表示される画素と２回表示される画素の比率が１：１となる係数パターンを出力する。換言すれば、係数選択部１１０は、動きレベルが上がるにつれて、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率に近づくように、係数パターンを出力する。
【００４２】
図９は、第３の実施形態における画像処理装置１Ｂの動作を説明するための図である。本実施形態では、図９に示すように、入力フレームとして、物体が左から右へ移動する画像が入力される場合について説明する。
【００４３】
最初の入力フレームＦｉｎ（０）が入力された時点では、フレームデータ間の動きを検出するための前のフレーム（読み出しフレーム）が存在しないため、動き領域検出部１３２は、フレームデータ間の動きの検出を行わない。また、動きレベル決定部１３４は、全てのブロックの動きレベルを１に設定（決定）する。
【００４４】
次に、入力フレームＦｉｎ（１）が入力されると、動き領域検出部１３２は、入力フレームＦｉｎ（０）と入力フレームＦｉｎ（１）から、フレーム間の対応するブロックの動きを検出する。本実施形態では、入力フレームＦｉｎ（０）と入力フレームＦｉｎ（１）の対応する中央部のブロック内に存在する複数の画素のそれぞれの画素値の差分の絶対値の和が閾値以上となる。従って、動き領域検出部１３２は、中央部のブロックに動きがあると検出する。また、動きレベル決定部１３４は、動き領域検出部１３２によって動きがあると検出された中央部のブロックの動きレベルを１上げる。これにより、中央部のブロックの動きレベルは２となる。なお、中央部以外のブロックは、動き領域検出部１３２によって動きがないと検出されるが、全てのブロックの動きレベルが１（下限値）に設定されているため、動きレベル決定部１３４は、中央部以外のブロックの動きレベルを１下げることはしない。換言すれば、中央部以外のブロックの動きレベルは変化しない。
【００４５】
次に、入力フレームＦｉｎ（２）が入力されると、動き領域検出部１３２は、入力フレームＦｉｎ（１）と入力フレームＦｉｎ（２）から、フレーム間の対応するブロックの動きを検出する。本実施形態では、入力フレームＦｉｎ（１）と入力フレームＦｉｎ（２）の対応する中央部から右端のブロック内に存在する複数の画素のそれぞれの画素値の差分の絶対値の和が閾値以上となる。従って、動き領域検出部１３２は、中央部から右端のブロックに動きがあると検出する。また、動きレベル決定部１３４は、動き領域検出部１３２によって動きがあると検出された中央部から右端のブロックの動きレベルを１上げる。これにより、中央部のブロックの動きレベルは３となり、右端のブロックの動きレベルは２となる。但し、中央部のブロックのうち一部（左側）のブロックは、画素値の差分の絶対値の和が閾値が閾値未満となるため、動き領域検出部１３２によって動きがないと検出されるため、動きレベル決定部１３４は、かかるブロックの動きレベルを１下げる。これにより、中央部の左側のブロックの動きレベルは１となる。
【００４６】
係数選択部１１０は、動きレベル決定部１３４によって決定された動きレベルに基づいて、図８に示す係数パターンを出力する。これにより、動きレベルが高いブロックに関しては残像の低減効果を向上させ、動きレベルが低いブロックに関してはフリッカの抑制効果を向上させて、表示部１１２で画像を表示することができる。
【００４７】
画像処理装置１Ｂにおいては、動きがあると連続して検出されるブロックは動きレベルが徐々に上がって残像の少ない表示となり、動きがないと連続して検出されるブロックは動きレベルが徐々に下がってフリッカの少ない表示となる。なお、動きレベルを徐々に変化させている理由は、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が隣接するフレーム間で急激に変化すると、かかる変化が観察者に知覚され妨害となってしまうからである。
【００４８】
このように、画像処理装置１Ｂによれば、フレームデータ間の動きレベルに応じて、フレームデータの複数のブロックごとに、動きレベルに適した係数パターンを出力することができるため、フリッカを抑制すると共に、残像の低減効果を向上することができる。なお、本実施形態では、フレームデータを複数のブロックに分割して、複数のブロックごとにフレームデータ間で動きがあるかどうかを検出して動きレベルを決定している。但し、フレームデータの全体を１つのブロックとみなして、フレームデータ全体で動きがあるかどうかを検出して動きレベルを決定してもよい。
［その他の実施形態］
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給しても達成することができる。従って、かかるシステム又は装置のコンピュータ（ＣＰＵやＭＰＵ）が記録媒体に記録されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。
【００４９】
この場合、記録媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、かかるプログラムコードを記録した記録媒体は本発明を構成することになる。プログラムコードを記録（供給）するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。
【００５０】
また、コンピュータが読み出したプログラムコードを実行することによって、上述した実施形態の機能が実現される場合もある。但し、プログラムコードの指示に基づいて、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合もある。従って、プログラムコードの指示に基づいて、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施形態における画像表示装置の構成を示す概略ブロック図である。
【図２】第１の実施形態における画像処理装置の動作を説明するための図である。
【図３】第１の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図４】図３に示す出力フレームを表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を示す図である。
【図５】本発明の第２の実施形態における画像処理装置の構成を示す概略ブロック図である。
【図６】第２の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図７】本発明の第３の実施形態における画像処理装置の構成を示す概略ブロック図である。
【図８】第３の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図９】第３の実施形態における画像処理装置の動作を説明するための図である。
【図１０】入力映像信号のフレームを繰り返して表示する場合に、残像が見える原理を説明するための図である。
【図１１】従来技術（特許文献１）における画像の見え方を説明するための図である。
【符号の説明】
【００５４】
１ 画像処理装置
１０２ 書き込み制御部
１０４ フレームメモリ
１０６ 読み出し制御部
１０８ 乗算部
１１０ 係数選択部
１１２ 表示部
１Ａ 画像処理装置
１２２ 判定部
１Ｂ 画像処理装置
１３２ 動き領域検出部
１３４ 動きレベル決定部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理装置の制御方法に関する。
【背景技術】
【０００２】
近年、表示装置の大画面化に伴うフリッカを抑制するために、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行うようになってきている。
【０００３】
入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行う場合には、入力映像信号にないフレームを新たに生成して表示する必要があり、最も簡単な方法として、入力映像信号のフレームを繰り返して表示する方法がある。
【０００４】
このような方法においては、静止している物体を表示する場合には問題はないが、動いている物体を表示する場合には残像が見えてしまうという問題がある。図１０は、入力映像信号のフレームを繰り返して表示する場合に、残像が見える原理を説明するための図である。動いている物体を６０フレーム／秒で表示した場合を図１０（ａ）に、同じ画像を２回繰り返して表示して１２０フレーム／秒で表示した場合を図１０（ｂ）に示す。図１０（ａ）の場合には、観察者が物体の動きに追従して視線を動かすと、観察者には１つの物体の像しか知覚されない。一方、図１０（ｂ）の場合には、１回目に表示される物体の像に対して、２回目に表示される物体の像がずれた位置に知覚されて残像となってしまう。このとき、２回目に表示される物体の像のずれ量は、元の物体の入力フレーム間の動き量の半分となる。
【０００５】
このため、入力映像信号の連続するフレームに基づいて補間を行って、連続するフレーム間のフレーム、即ち、補間フレームを生成する方法が提案されている。但し、かかる方法では、補間処理を行うための大規模な処理回路が必要となってしまう。
【０００６】
そこで、動いている物体を表示する場合であっても、大規模な処理回路を用いることなく、残像の少ない表示を実現する技術が提案されている（特許文献１参照）。特許文献１では、入力映像信号をフレームメモリに蓄積し、これを入力よりも高いフレームレートで読み出して表示する際に、画像データの一部（動いている物体に相当する画像データ）をマスクすることで、残像を低減させている。
【特許文献１】特許第３８４１１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１には、好適な実施形態として、入力される１つのフレームに対して出力を２倍にする場合に、一方のフレームでマスクされたデータに置換される画素と、他方のフレームでマスクされたデータに置換される画素とを交互に配置することが開示されている。
【０００８】
このような表示を行った場合の画像の見え方を図１１に示す。図１１（ａ）は、入力されるフレーム（入力フレーム）Ｆｉｎ（Ｎ）乃至Ｆｉｎ（Ｎ＋３）を示しており、ここでは、黒色の背景に白色の文字「Ａ」が左から右に移動している。図１１（ｂ）は、出力されるフレーム（出力フレーム）を示している。図１１（ｃ）は、図１１（ｂ）に示す出力フレームを表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を示している。この場合、２つの出力フレームが同じ明るさ（輝度）の画像となるため、観察者には、同じ輝度の像であって、フレーム間の動きが半分ずれて重なった像が観察され、残像の低減効果が低い。
【０００９】
また、特許文献１には、一方のフレームではマスクをかけず（即ち、全ての画素についてマスクされたデータに置換せず）、他方のフレームでは全ての画素をマスクする（即ち、全ての画素をマスクされたデータに置換する）ことも開示されている。この場合、一方のフレームの輝度が他方のフレームの輝度よりも低くなるため、一方のフレームでマスクされたデータに置換される画素と、他方のフレームでマスクされたデータに置換される画素とを交互に配置する場合よりは残像の低減効果を高めることができる。但し、両方のフレームで全ての画素を表示しているため、やはり残像の低減効果は低いままである。
【００１０】
そこで、本発明は、このような従来技術の課題に鑑みて、フリッカを抑制すると共に、残像の低減効果を向上することができる画像処理装置及び画像処理装置の制御方法を提供することを例示的目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の側面としての画像処理装置は、入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、を有し、前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする。
【００１２】
本発明の第２の側面としての画像処理装置の制御方法は、入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納ステップと、前記格納ステップで格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成ステップと、前記生成ステップで生成された複数のフレームデータの画素値を変換する変換ステップと、前記変換ステップで変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示ステップと、を有し、前記変換ステップでは、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする。
【００１３】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【００１４】
本発明によれば、例えば、フリッカを抑制すると共に、残像の低減効果を向上する画像処理装置及び画像処理装置の制御方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
［第１の実施形態］
図１は、本発明の第１の実施形態における画像処理装置１の構成を示す概略ブロック図である。画像処理装置１は、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行う。画像処理装置１は、図１に示すように、書き込み制御部１０２と、フレームメモリ１０４と、読み出し制御部１０６と、乗算部１０８と、係数選択部１１０と、表示部１１２とを有する。
【００１６】
書き込み制御部１０２は、フレームメモリ１０４へのデータの書き込み（格納）を制御する。具体的には、書き込み制御部１０２は、画像処理装置１の外部から入力される入力映像信号をフレームメモリ１０４に書き込む（格納する）。
【００１７】
フレームメモリ１０４は、書き込み制御部１０２から入力される入力映像信号を、かかる入力映像信号に含まれる同期信号（入力フレームレート）に従って、フレームデータ（画像データ）として格納する。
【００１８】
読み出し制御部１０６は、フレームメモリ１０４に格納されたデータの読み出しを制御する。具体的には、読み出し制御部１０６は、フレームメモリ１０４に格納されたフレームデータを、入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する。本実施形態では、読み出し制御部１０６は、入力フレームレートの２倍のフレームレートでフレームデータを読み出して、かかるフレームデータを乗算部１０８に入力する。従って、フレームメモリ１０４から同一のフレームデータが２回読み出されて、乗算部１０８に入力される。
【００１９】
乗算部１０８は、読み出し制御部１０６から入力されるフレームデータの各画素の画素値に係数選択部１１０から入力される係数を乗算して、かかるフレームデータを表示部１１２に入力する。換言すれば、乗算部１０８は、読み出し制御部１０６から入力されるフレームデータを、係数選択部１１０から出力される係数でマスクして表示部１１２に入力する。
【００２０】
係数選択部１１０は、読み出し制御部１０６から乗算部１０８に入力されるフレームデータをマスクするために、かかるフレームデータの画素のアドレスに従って（即ち、画素ごとに）所定の係数を出力する。換言すれば、係数選択部１１０は、フレームデータの画素ごとに所定の係数を有する係数パターン（所謂、マスクデータ）を乗算部１０８に入力する。
【００２１】
表示部１１２は、乗算部１０８から入力されるフレームデータの画像を入力フレームレートよりも高いフレームレート（即ち、読み出し制御部１０６がフレームメモリ１０４からフレームデータを読み出しフレームレート）で表示する。従って、表示部１１２は、本実施形態では、入力映像信号の入力フレームレートの２倍のフレームレートで画像の表示を行う。表示部１１２は、例えば、表面伝導型放出素子を用いたＳＥＤ（Ｓｕｒｆａｃｅ ｃｏｎｄｕｃｔｉｏｎ ｅｌｅｃｔｒｏｎ Ｅｍｉｔｔｅｒ Ｄｉｓｐｌａｙ）であって、入力されるフレームデータの大きさに比例した輝度が得られるような駆動を行う。但し、表示部１１２は、ＳＥＤに限定されず、入力映像信号のフレームレートよりも高いフレームレートで画像の表示を行うことができれば、どのようなディスプレイであってもよい。
【００２２】
本実施形態では、乗算部１０８及び係数選択部１１０は、上述したように、協同して、読み出し制御部１０６によって生成される複数のフレームデータのデータ変換を行う。具体的には、フレームメモリ１０４に格納されたフレームデータの画素値と同じ画素値で１回だけ表示される画素と、かかるフレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、データ変換を行う。
【００２３】
図２は、第１の実施形態における画像処理装置１の動作を説明するための図である。図２（ａ）は、書き込み制御部１０２に入力される（フレームメモリ１０４に格納される）フレームデータ（入力フレーム）Ｆｉｎ（Ｎ）乃至Ｆｉｎ（Ｎ＋２）を示しており、本実施形態の例では、黒色の背景に白地の文字「Ａ」が左から右に移動している。
【００２４】
読み出し制御部１０６は、フレームメモリ１０４に格納された入力フレームを２回読み出して複製し、図２（ｂ）に示すような読み出しフレームを生成する。具体的には、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ）から読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）を生成する。同様に、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ＋１）から読み出しフレームＦｏｕｔ１（Ｎ＋１）及びＦｏｕｔ２（Ｎ＋１）を生成する。同様に、読み出し制御部１０６は、入力フレームＦｉｎ（Ｎ＋２）から読み出しフレームＦｏｕｔ１（Ｎ＋２）及びＦｏｕｔ２（Ｎ＋２）を生成する。
【００２５】
乗算部１０８は、読み出し制御部１０６から入力される読み出しフレーム（の各画素の画素値）に係数選択部１１０から出力される係数パターンを乗算して、図２（ｃ）に示すような出力フレームに変換する。具体的には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）に対しては、図３（ａ）に示す係数パターンを出力し、読み出しフレームＦｏｕｔ２（Ｎ）に対しては、図３（ｂ）に示す係数パターンを出力する。図３（ａ）に示す係数パターンは、２×２の４画素を単位とし、対角上に１．０の係数と０．５の係数を有する。図３（ｂ）に示す係数パターンは、２×２の４画素を単位とし、図３（ａ）に示す係数パターンに対応して、対角上に０の係数と０．５の係数を有する。換言すれば、読み出しフレームＦｏｕｔ１（Ｎ）では係数が１であり、読み出しフレームＦｏｕｔ２（Ｎ）では係数が０である画素と、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれで係数が０．５である画素とが配置されている。乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）に乗算して、出力フレームＦｄ１（Ｎ）及びＦｄ２（Ｎ）に変換する。同様に、乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ＋１）及びＦｏｕｔ２（Ｎ＋１）に乗算して、出力フレームＦｄ１（Ｎ＋１）及びＦｄ２（Ｎ＋１）に変換する。同様に、乗算部１０８は、係数選択部１１０から出力された図３（ａ）及び図３（ｂ）に示す係数パターンのそれぞれを読み出しフレームＦｏｕｔ１（Ｎ＋２）及びＦｏｕｔ２（Ｎ＋２）に乗算して、出力フレームＦｄ１（Ｎ＋２）及びＦｄ２（Ｎ＋２）に変換する。ここで、図３は、係数選択部１１０から出力される係数パターンの一例を示す図である。
【００２６】
表示部１１２は、乗算部１０８から入力される図３（ｃ）に示す出力フレームＦｄ１（Ｎ）乃至Ｆｄ２（Ｎ＋２）の画像を表示する（即ち、入力フレームレートの２倍のフレームレートで画像を表示する）。この際、表示部１１２には、１フレーム周期の間に、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素とが交互に配置されたフレームの画像が順次表示される。
【００２７】
図３に示す出力フレームＦｄ１（Ｎ）乃至Ｆｄ２（Ｎ＋２）を表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を図４に示す。図４を参照するに、２つの出力フレームが同じ明るさ（輝度）の画像ではないため、従来技術（図１１）と比較して、残像の範囲が少なくなっており、残像の低減効果が向上していることがわかる。また、１つの入力フレームに対して出力される２つのフレームには、それぞれ表示が行われる画素が存在するため、フリッカの抑制効果もある。
【００２８】
このように、画像処理装置１によれば、フリッカを抑制すると共に、残像の低減効果を向上することができる。
【００２９】
また、本実施形態では、係数選択部１１０から出力する係数パターンを２×２の４画素単位とし、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：１となるような例を示した。但し、係数パターンの単位は４画素に限定するものではなく、また、１回だけ表示される画素と２回表示される画素との比率も１：１に限定するものではない。例えば、係数パターンを３×３の９画素単位とし、入力映像信号の1フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率を４：５にしてもよい。この場合、残像の低減効果は低減するが、フリッカの抑制効果を向上させることができる。
［第２の実施形態］
図５は、本発明の第２の実施形態における画像処理装置１Ａの構成を示す概略ブロック図である。画像処理装置１Ａは、画像処理装置１の構成に加えて、判定部１２２を更に有する。
【００３０】
判定部１２２は、入力映像信号に含まれる制御信号に基づいて、入力映像信号（フレームデータ）が動画放送（動画主体の通常の放送）であるか静止画放送（静止画の比率が高いデータ放送）であるかを判定し、かかる判定結果を係数選択部１１０に出力する。なお、判定部１２２は、入力映像信号が動画放送から静止画放送に、或いは、静止画放送から動画放送に切り替わったことを検知して係数選択部１１０に出力してもよい。
【００３１】
係数選択部１１０は、判定部１２２の判定結果に基づいて、乗算部１０８に出力する係数パターンを変えて、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素との比率を変更する。
【００３２】
具体的には、判定部１２２によって入力映像信号が動画放送であると判定された場合には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれに対して図３（ａ）及び（ｂ）に示す係数パターンを出力する。図３（ａ）及び（ｂ）に示す係数パターンは、上述したように、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：１となる係数パターンである。
【００３３】
一方、判定部１２２によって入力映像信号が静止画放送であると判定された場合には、係数選択部１１０は、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれに対して図６（ａ）及び（ｂ）に示す係数パターンを出力する。図６（ａ）及び（ｂ）に示す係数パターンは、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：３となる係数パターンである。図６は、係数選択部１１０から出力される係数パターンの一例を示す図である。
【００３４】
従って、画像処理装置１Ａによれば、入力映像信号が動画放送である場合には、残像の低減効果を向上させ、入力映像信号が静止画放送である場合には、フリッカの抑制効果を向上させることができ、入力映像信号に応じて最適な表示を行うことが可能となる。
【００３５】
また、本実施形態において係数選択部１１０から出力される係数パターンは、図３及び図６に示す係数パターンに限定するものではなく、要求される残像の低減効果やフリッカの抑制効果に応じて適切な係数パターンを出力することができる。
［第３の実施形態］
図７は、本発明の第３の実施形態における画像処理装置１Ｂの構成を示す概略ブロック図である。画像処理装置１Ｂは、画像処理装置１の構成に加えて、動き領域検出部１３２と、動きレベル決定部１３４とを更に有する。
【００３６】
動き領域検出部１３２は、書き込み制御部１０２がフレームメモリ１０４に書き込むフレームデータと読み出し制御部１０６がフレームメモリ１０４から読み出す１フレーム前のフレームデータから、フレームデータ間の動きを検出する。具体的には、動き領域検出部１３２は、フレームデータをｍ×ｎの画素を単位とする複数のブロックに分割し、かかる複数のブロックごとに、フレームデータ間の動きを検出する。なお、動き領域検出部１３２の検出結果は、動きレベル決定部１３４に入力される。
【００３７】
本実施形態では、動き領域検出部１３２は、フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、かかる差分の絶対値の和が閾値以上である場合には、そのブロックに関してフレームデータ間で動きがあると検出する。同様に、動き領域検出部１３２は、フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、かかる差分の絶対値の和が閾値未満である場合には、そのブロックに関してフレームデータ間で動きがないと検出する。
【００３８】
動きレベル決定部１３４は、動き領域検出部１３２の検出結果に基づいて、フレームデータの複数のブロックごとの動きの度合いを示す動きレベルを決定する。本実施形態では、動きレベル決定部１３４は、フレームデータ間で動きがあると検出されたブロックの動きレベルを１上げ、フレームデータ間で動きがないと検出されたブロックの動きレベルを１下げる。但し、動きレベルは、上限値及び下限値を有し、本実施形態では、上限値を１０、下限値を１としている。
従って、動きレベル決定部１３４は、動きレベルが上限値（本実施形態では、１０）に達しているブロックに対しては、フレームデータ間で動きがあると検出されても、動きレベルを変化させない（即ち、動きレベルを上げない）。同様に、動きレベル決定部１３４は、動きレベルが下限値（本実施形態では、１）に達しているブロックに対しては、フレームデータ間で動きがないと検出されても、動きレベルを変化させない（即ち、動きレベルを下げない）。
【００３９】
係数選択部１１０は、動きレベル決定部１３４によって決定された動きレベルに基づいて、フレームデータの複数のブロックごとに、乗算部１０８に出力する係数パターンを出力する。換言すれば、係数選択部１１０は、フレームデータの複数のブロックごとに、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値の０．５の画素値で２回表示される画素との比率を変更する。
【００４０】
係数選択部１１０は、本実施形態では、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれ（詳細には、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれのブロック）に対して、図８に示すような係数パターンを出力する。図８は、動きレベルに応じて、読み出しフレームＦｏｕｔ１（Ｎ）及びＦｏｕｔ２（Ｎ）のそれぞれ（のブロック）に対して出力される係数パターンを示している。本実施形態では、６×６の３６画素を１ブロックとし、白で示される画素の係数を１、灰色で示される画素の係数を０．５、黒で示される画素の係数を０としている。
【００４１】
図８を参照するに、係数選択部１１０は、例えば、動きレベル１のブロックに対しては、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が１：３となる係数パターンを出力する。動きレベルが上がるにつれて、入力映像信号の１フレーム周期の間に２回表示される画素の比率を下げた係数パターンを出力し、動きレベル１０のブロックに対しては、１回だけ表示される画素と２回表示される画素の比率が１：１となる係数パターンを出力する。換言すれば、係数選択部１１０は、動きレベルが上がるにつれて、入力フレームの画素値と同じ画素値で１回だけ表示される画素と、入力フレームの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率に近づくように、係数パターンを出力する。
【００４２】
図９は、第３の実施形態における画像処理装置１Ｂの動作を説明するための図である。本実施形態では、図９に示すように、入力フレームとして、物体が左から右へ移動する画像が入力される場合について説明する。
【００４３】
最初の入力フレームＦｉｎ（０）が入力された時点では、フレームデータ間の動きを検出するための前のフレーム（読み出しフレーム）が存在しないため、動き領域検出部１３２は、フレームデータ間の動きの検出を行わない。また、動きレベル決定部１３４は、全てのブロックの動きレベルを１に設定（決定）する。
【００４４】
次に、入力フレームＦｉｎ（１）が入力されると、動き領域検出部１３２は、入力フレームＦｉｎ（０）と入力フレームＦｉｎ（１）から、フレーム間の対応するブロックの動きを検出する。本実施形態では、入力フレームＦｉｎ（０）と入力フレームＦｉｎ（１）の対応する中央部のブロック内に存在する複数の画素のそれぞれの画素値の差分の絶対値の和が閾値以上となる。従って、動き領域検出部１３２は、中央部のブロックに動きがあると検出する。また、動きレベル決定部１３４は、動き領域検出部１３２によって動きがあると検出された中央部のブロックの動きレベルを１上げる。これにより、中央部のブロックの動きレベルは２となる。なお、中央部以外のブロックは、動き領域検出部１３２によって動きがないと検出されるが、全てのブロックの動きレベルが１（下限値）に設定されているため、動きレベル決定部１３４は、中央部以外のブロックの動きレベルを１下げることはしない。換言すれば、中央部以外のブロックの動きレベルは変化しない。
【００４５】
次に、入力フレームＦｉｎ（２）が入力されると、動き領域検出部１３２は、入力フレームＦｉｎ（１）と入力フレームＦｉｎ（２）から、フレーム間の対応するブロックの動きを検出する。本実施形態では、入力フレームＦｉｎ（１）と入力フレームＦｉｎ（２）の対応する中央部から右端のブロック内に存在する複数の画素のそれぞれの画素値の差分の絶対値の和が閾値以上となる。従って、動き領域検出部１３２は、中央部から右端のブロックに動きがあると検出する。また、動きレベル決定部１３４は、動き領域検出部１３２によって動きがあると検出された中央部から右端のブロックの動きレベルを１上げる。これにより、中央部のブロックの動きレベルは３となり、右端のブロックの動きレベルは２となる。但し、中央部のブロックのうち一部（左側）のブロックは、画素値の差分の絶対値の和が閾値が閾値未満となるため、動き領域検出部１３２によって動きがないと検出されるため、動きレベル決定部１３４は、かかるブロックの動きレベルを１下げる。これにより、中央部の左側のブロックの動きレベルは１となる。
【００４６】
係数選択部１１０は、動きレベル決定部１３４によって決定された動きレベルに基づいて、図８に示す係数パターンを出力する。これにより、動きレベルが高いブロックに関しては残像の低減効果を向上させ、動きレベルが低いブロックに関してはフリッカの抑制効果を向上させて、表示部１１２で画像を表示することができる。
【００４７】
画像処理装置１Ｂにおいては、動きがあると連続して検出されるブロックは動きレベルが徐々に上がって残像の少ない表示となり、動きがないと連続して検出されるブロックは動きレベルが徐々に下がってフリッカの少ない表示となる。なお、動きレベルを徐々に変化させている理由は、入力映像信号の１フレーム周期の間において、１回だけ表示される画素と２回表示される画素との比率が隣接するフレーム間で急激に変化すると、かかる変化が観察者に知覚され妨害となってしまうからである。
【００４８】
このように、画像処理装置１Ｂによれば、フレームデータ間の動きレベルに応じて、フレームデータの複数のブロックごとに、動きレベルに適した係数パターンを出力することができるため、フリッカを抑制すると共に、残像の低減効果を向上することができる。なお、本実施形態では、フレームデータを複数のブロックに分割して、複数のブロックごとにフレームデータ間で動きがあるかどうかを検出して動きレベルを決定している。但し、フレームデータの全体を１つのブロックとみなして、フレームデータ全体で動きがあるかどうかを検出して動きレベルを決定してもよい。
［その他の実施形態］
本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給しても達成することができる。従って、かかるシステム又は装置のコンピュータ（ＣＰＵやＭＰＵ）が記録媒体に記録されたプログラムコードを読み出して実行することによっても達成されることは言うまでもない。
【００４９】
この場合、記録媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、かかるプログラムコードを記録した記録媒体は本発明を構成することになる。プログラムコードを記録（供給）するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。
【００５０】
また、コンピュータが読み出したプログラムコードを実行することによって、上述した実施形態の機能が実現される場合もある。但し、プログラムコードの指示に基づいて、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる場合もある。従って、プログラムコードの指示に基づいて、機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、かかる処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施形態における画像表示装置の構成を示す概略ブロック図である。
【図２】第１の実施形態における画像処理装置の動作を説明するための図である。
【図３】第１の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図４】図３に示す出力フレームを表示した場合に、観察者が文字「Ａ」の動きに視線を追従させた際に知覚される像を示す図である。
【図５】本発明の第２の実施形態における画像処理装置の構成を示す概略ブロック図である。
【図６】第２の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図７】本発明の第３の実施形態における画像処理装置の構成を示す概略ブロック図である。
【図８】第３の実施形態における画像処理装置の係数選択部から出力される係数パターンの一例を示す図である。
【図９】第３の実施形態における画像処理装置の動作を説明するための図である。
【図１０】入力映像信号のフレームを繰り返して表示する場合に、残像が見える原理を説明するための図である。
【図１１】従来技術（特許文献１）における画像の見え方を説明するための図である。
【符号の説明】
【００５４】
１ 画像処理装置
１０２ 書き込み制御部
１０４ フレームメモリ
１０６ 読み出し制御部
１０８ 乗算部
１１０ 係数選択部
１１２ 表示部
１Ａ 画像処理装置
１２２ 判定部
１Ｂ 画像処理装置
１３２ 動き領域検出部
１３４ 動きレベル決定部
【特許請求の範囲】
【請求項１】
入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、
前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、
前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、
前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、
を有し、
前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力映像信号が動画放送であるか静止画放送であるかを判定する判定手段を更に有し、
前記変換手段は、前記判定手段の判定結果に基づいて、前記所定の比率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変換手段は、
前記判定手段によって前記入力映像信号が動画放送であると判定された場合には、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率で含まれるように、前記複数のフレームデータの画素値を変換し、
前記判定手段によって前記入力映像信号が静止画放送であると判定された場合には、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素に対して前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素の比率が高くなるように、前記複数のフレームデータの画素値を変換することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記フレームデータを複数のブロックに分割する分割手段と、
前記分割手段によって分割された前記複数のブロックごとに、フレームデータ間の動きを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記複数のブロックごとの動きの度合いを示す動きレベルを決定する決定手段と、
を更に有し、
前記変換手段は、前記決定手段によって決定された動きレベルに基づいて、前記複数のブロックごとに、前記所定の比率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記検出手段は、前記フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、
前記差分の絶対値の和が閾値以上である場合には、前記フレームデータ間で動きがあると検出し、
前記差分の絶対値の和が閾値未満である場合には、前記フレームデータ間で動きがないと検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記検出手段によって前記フレームデータ間で動きがあると検出された場合には、前記動きレベルを１上げ、
前記検出手段によって前記フレームデータ間で動きがないと検出された場合には、前記動きレベルを１下げることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記動きレベルは、上限値及び下限値を有し、
前記決定手段は、
前記動きレベルが前記上限値に達している場合には、前記検出手段によって前記フレームデータ間で動きがあると検出されても前記動きレベルを変化させず、
前記動きレベルが前記下限値に達している場合には、前記検出手段によって前記フレームデータ間で動きがないと検出されても前記動きレベルを変化させないことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記変換手段は、前記動きレベルが上がるにつれて、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率に近づくように、前記所定の比率を変更することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
画像処理装置の制御方法であって、
入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納ステップと、
前記格納ステップで格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成ステップと、
前記生成ステップで生成された複数のフレームデータの画素値を変換する変換ステップと、
前記変換ステップで変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示ステップと、
を有し、
前記変換ステップでは、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする制御方法。
【請求項１】
入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納手段と、
前記格納手段に格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成手段と、
前記生成手段によって生成された複数のフレームデータの画素値を変換する変換手段と、
前記変換手段によって変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示手段と、
を有し、
前記変換手段は、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力映像信号が動画放送であるか静止画放送であるかを判定する判定手段を更に有し、
前記変換手段は、前記判定手段の判定結果に基づいて、前記所定の比率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変換手段は、
前記判定手段によって前記入力映像信号が動画放送であると判定された場合には、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率で含まれるように、前記複数のフレームデータの画素値を変換し、
前記判定手段によって前記入力映像信号が静止画放送であると判定された場合には、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素に対して前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素の比率が高くなるように、前記複数のフレームデータの画素値を変換することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記フレームデータを複数のブロックに分割する分割手段と、
前記分割手段によって分割された前記複数のブロックごとに、フレームデータ間の動きを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記複数のブロックごとの動きの度合いを示す動きレベルを決定する決定手段と、
を更に有し、
前記変換手段は、前記決定手段によって決定された動きレベルに基づいて、前記複数のブロックごとに、前記所定の比率を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記検出手段は、前記フレームデータ間の対応するブロック内に存在する複数の画素のそれぞれの画素値の差分を算出し、
前記差分の絶対値の和が閾値以上である場合には、前記フレームデータ間で動きがあると検出し、
前記差分の絶対値の和が閾値未満である場合には、前記フレームデータ間で動きがないと検出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記検出手段によって前記フレームデータ間で動きがあると検出された場合には、前記動きレベルを１上げ、
前記検出手段によって前記フレームデータ間で動きがないと検出された場合には、前記動きレベルを１下げることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記動きレベルは、上限値及び下限値を有し、
前記決定手段は、
前記動きレベルが前記上限値に達している場合には、前記検出手段によって前記フレームデータ間で動きがあると検出されても前記動きレベルを変化させず、
前記動きレベルが前記下限値に達している場合には、前記検出手段によって前記フレームデータ間で動きがないと検出されても前記動きレベルを変化させないことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記変換手段は、前記動きレベルが上がるにつれて、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが１：１の比率に近づくように、前記所定の比率を変更することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
画像処理装置の制御方法であって、
入力映像信号を入力フレームレートに従ってフレームデータとして格納する格納ステップと、
前記格納ステップで格納されたフレームデータを前記入力フレームレートよりも高いフレームレートで読み出して複製し、同一のフレームデータから複数のフレームデータを生成する生成ステップと、
前記生成ステップで生成された複数のフレームデータの画素値を変換する変換ステップと、
前記変換ステップで変換された複数のフレームデータを前記入力フレームレートよりも高いフレームレートで表示する表示ステップと、
を有し、
前記変換ステップでは、１フレーム周期の間において、前記フレームデータの画素値と同じ画素値で１回だけ表示される画素と、前記フレームデータの画素値を均等に分割した画素値で複数回表示される画素とが所定の比率で含まれるように、前記複数のフレームデータの画素値を変換することを特徴とする制御方法。
【図１】
【図３】
【図５】
【図６】
【図７】
【図１０】
【図２】
【図４】
【図８】
【図９】
【図１１】
【図３】
【図５】
【図６】
【図７】
【図１０】
【図２】
【図４】
【図８】
【図９】
【図１１】
【公開番号】特開２００９−２７１３８２（Ｐ２００９−２７１３８２Ａ）
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願番号】特願２００８−１２２７７７（Ｐ２００８−１２２７７７）
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年１１月１９日（２００９．１１．１９）
【国際特許分類】
【出願日】平成２０年５月８日（２００８．５．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]