画像処理装置およびその制御方法
【課題】映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供する。
【解決手段】動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と後続フレーム画像との差分に基づいて各領域について動きベクトルを導出する導出手段と、注目フレーム画像と後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、注目フレーム画像のＮ個の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、を備える。
【解決手段】動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と後続フレーム画像との差分に基づいて各領域について動きベクトルを導出する導出手段と、注目フレーム画像と後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、注目フレーム画像のＮ個の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換する技術に関するものである。
【背景技術】
【０００２】
一般的に、映画コンテンツは１秒間あたり２４個のフレームが含まれ（以下２４ｐと呼ぶ）、映画館では、１個のフレームを２回ずつ繰り返して表示することにより４８Ｈｚ表示を行っている。また、例えば、６０Ｈｚ表示のテレビで表示する場合には、フレーム毎に交互に２回および３回ずつ表示する２−３プルダウン処理により６０Ｈｚにフレームレートを変換し表示を行っている。しかし、同一のフレームを繰り返し表示した場合、映像の動きがガタガタして見える現象（ジャダー）が発生し、ユーザが感じる映像の解像度（視認解像度）も低下してしまう問題があった。
【０００３】
そこで、例えば特許文献１では、フレーム中の動きを検出し、動きに沿うように補間フレームを生成し挿入することによりジャダーを低減する技術が開示されている。さらに、特許文献２には、映画表示において環境光に応じてジャダーの強さを制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３３４６８号公報
【特許文献２】特開２００９−９４６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示される技術により補間フレームを生成しジャダーを低減した場合、結果的に映画らしさが失われてしまう問題があった。これは、繰り返し表示によって発生する動きの振動（ジャダー）が映画固有の脱現実感に繋がっているためであり、映像内の動きが必要以上に滑らかになると映画らしく無いと認識されるためである。また、特許文献２に開示される技術によりジャダーの強さを制御した場合、環境光が明るい場所にジャダーが目立ち不快になるという問題があった。そして、上述の２つの技術を組み合わせた場合、動き補償の誤補間が目立つ場合がある問題があった。
【０００６】
本発明は、上述の問題点に鑑みなされたものであり、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の１以上の問題点を解決するため本発明の画像処理装置は以下の構成を備える。すなわち、動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出手段と、前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】ディスプレイシステムにおける補正処理部のブロック図である。
【図２】第１実施形態に係るフレームレート変換処理部のブロック図である。
【図３】第１実施形態に係るフレームレート変換処理部のタイムチャートである。
【図４】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図５】出力サブフレームの見え方の例を示す図である。
【図６】第１実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図７】第２実施形態に係るフレームレート変換処理部のブロック図である。
【図８】第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。
【図９】出力制御係数決定部における入出力の関係を示す図である。
【図１０】第２実施形態に係るフレームレート変換処理部のタイムチャートである。
【図１１】第２実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１２】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図１３】出力サブフレームの見え方の例を示す図である。
【図１４】第３実施形態に係るフレームレート変換処理部のブロック図である。
【図１５】環境光取得部における入出力の関係を示す図である。
【図１６】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図１７】第３実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１８】第４実施形態に係るフレームレート変換処理部のブロック図である。
【図１９】第４実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２０】第５実施形態に係るフレームレート変換処理部のブロック図である。
【図２１】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図２２】第５実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２３】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図２４】第６実施形態に係るフレームレート変換処理部のブロック図である。
【図２５】出力制御係数決定部における入出力の関係を示す図である。
【図２６】第６実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２７】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、入力フレームを複数回繰り返すことによって動きに振動を付加する方法について説明する。
【００１２】
＜装置構成＞
図１は、ディスプレイシステムにおける補正処理部のブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。
【００１３】
なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出２４Ｐ変換、解像度変換の他、各種の色補正処理を含み得る。
【００１４】
フレームレート変換処理部１００は、入力される各フレーム画像に対してＭ個（Ｍは３以上の整数）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各入力フレーム画像に対して５個のサブフレーム画像を生成し１２０フレーム／秒（１２０Ｈｚ）の動画像を出力するの場合（つまり、Ｍ＝５）について説明する。ただし、７２Ｈｚ，９６Ｈｚ，２４０Ｈｚなどにも適用できるものである。さらに、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせて構成してもよい。なお、以下では、１個の入力フレームに対して生成されるＭ個のフレームの各々を、時系列順に第ｍサブフレーム（ｍ＝１，．．．，Ｍ）と呼ぶ。
【００１５】
図２は、第１実施形態のフレームレート変換処理部１００のブロック図である。フレームレート変換処理部１００には、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、フレームメモリ１０４が含まれている。そして、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３の各々には、各部で処理するフレーム画像／サブフレーム画像を制御するためのタイミング制御信号が供給されている。なお、タイミング制御信号は、フレームレート変換処理部１００内の不図示の制御部、または、補正回路１０００におけるフレームレート変換処理部１００より上流側の処理部から供給される。
【００１６】
以下の説明では、タイミング制御信号として、２つの信号（Ｎｃｏｕｎｔ，Ｆｌｇ＿１）を用いている。Ｎｃｏｕｎｔは、入力フレームに対するｎ枚目のフレームを生成する際にカウントするカウント値である。Ｆｌｇ＿１は、動きベクトル検出部１０１と補間画像生成部１０２とセレクタ１０３の動作切り替えを制御する。
【００１７】
動きベクトル検出部１０１は、注目するフレーム画像Ｆｒａｍｅｉｎ−１に後続するフレーム画像Ｆｒａｍｅｉｎが入力されると、フレーム画像の各領域の動きベクトルＶｅｃＤを検出する。具体的には、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの差分に基づいて動きベクトルを算出する。つまり、注目フレーム画像と当該注目フレーム画像に後続する後続フレーム画像との差分に基づいて動きベクトルを導出する。フレームメモリ１０４は、Ｆｒａｍｅｉｎ−１を格納している。そして、後続のフレーム画像Ｆｒａｍｅｉｎが入力されるたび、Ｆｒａｍｅｉｎ−１を動きベクトル検出部１０１とセレクタ１０３とに出力する。
【００１８】
補間画像生成部１０２は、動きベクトル検出部１０１から入力されるＶｅｃＤと、フレームメモリ１０４から入力されるフレーム画像Ｆｒａｍｅｉｎとに基づきｎ’個（ｎ’＜Ｍ）のフレームを生成する。なお、ｎ’は出力するＭ個のサブフレームに含まれる動き補償フレーム画像（補間フレームとも呼ぶ）の個数であり、ｎ’はおよそＭの半分程度に設定すると好適である。以下では、ｎ’＝２として説明する。
【００１９】
具体的には、補間画像生成部１０２は、動き補償画像を生成する際、検出ベクトルから補間ベクトルＶｅｃＩ＝ＶｅｃＤ×ｎ／Ｍ （ｎ＝Ｍ−ｎ’，．．，Ｍ−１）を導出する。そして、動き補償フレームＦｒａｍｅｍｃ［ｎ］を生成する。つまり、ｎ’＝２の場合、Ｆｒａｍｅｍｃ［３］およびＦｒａｍｅｍｃ［４］の２つの動き補償フレームを生成する。なお、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの間の時間をＭ等分した時間位置でのＭ個の動き補償フレーム画像を生成した後、ｎ’個を選択するよう構成しても良い。
【００２０】
セレクタ１０３は、出力するサブフレーム毎に、入力されたフレーム画像のコピーである複製フレーム画像または生成された動き補償フレーム画像を選択する。具体的には、Ｆｒａｍｅｉｎ−１のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する。つまり、ｎ’＝２の場合、Ｆｒａｍｅｉｎ−１の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像（Ｆｒａｍｅｍｃ［３］およびＦｒａｍｅｍｃ［４］）とを出力する。
【００２１】
なお、動きベクトルの検出および補間方法は一般的な方法でよく、例えば特開２００７−７４５８８号に記載された手法を用いるとよい。
【００２２】
図３は、第１実施形態に係るフレームレート変換処理部のタイムチャートである。上から、基準クロック、出力対象のサブフレーム画像、タイミング制御信号であるＮｃｏｕｎｔおよびＦｌｇ＿１、セレクタ１０３が選択するフレーム画像を示している。
【００２３】
上述したように、タイミング制御信号であるＮｃｏｕｎｔおよびＦｌｇ＿１は、フレームレート変換処理部１００内の各部で処理するフレーム画像／サブフレーム画像を制御している。動きベクトル検出部１０１は、Ｆｌｇ＿１＝１が入力された場合に動きベクトルを検出し、補間画像生成部１０２に検出したＶｅｃＤを出力する。補間画像生成部１０２は、Ｆｌｇ＿１＝１が入力された場合にｎ＝Ｎｃｏｕｎｔ−１として動き補償フレームＦｒａｍｅｍｃ［ｎ］を生成する。そして、セレクタ１０３は、Ｆｌｇ＿１＝０の場合、入力フレームＦｒａｍｅｉｎ−１の複製フレーム画像を出力し、Ｆｌｇ＿１＝１の場合、生成された動き補償フレームＦｒａｍｅｍｃ［ｎ］を出力する。
【００２４】
＜装置の動作＞
図６は、第１実施形態に係るフレームレート変換処理部の動作フローチャートである。なお、図６は１個の入力フレーム画像に対する処理を示しており、連続して入力される各フレームに対して同様の処理が行われる。
【００２５】
ステップｆ１０１では、フレームレート変換処理部１００に、連続する複数のフレーム画像が順次入力される。そして、サブフレームのカウント値Ｃｏｕｎｔを０に初期化（Ｃｏｕｎｔ＝０）する。なお、Ｃｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応する。
【００２６】
ステップｆ１０２では、動きベクトル検出部１０１は、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの差分に基づいてフレーム画像の各領域の動きベクトルＶｅｃＤを検出する。なお、動きベクトルは、フレーム画像内の各領域ｉに対してベクトルＶｅｃＤ［ｉ］として検出される。（ｉはフレーム画像を領域分割した際の各領域番号を表す。）
ステップｆ１０３では、Ｃｏｕｎｔが所定閾値（Ｎ／２）より大きいか否かを判定する。そして、Ｃｏｕｎｔ＞Ｎ／２である場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。つまり、ここでは、第１〜第３サブフレーム画像として入力フレーム画像の複製フレーム画像が選択され、第４および第５サブフレーム画像として動き補償フレーム画像が選択されるように構成している。なお、所定閾値はＮ／２に限定されるものではない。
【００２７】
ステップｆ１０４では、動きベクトル検出部１０１は、補間ベクトルをＶｅｃＩ＝ＶｅｃＤ×Ｃｏｕｎｔ／Ｎとして算出する。
【００２８】
ステップｆ１０５では、補間画像生成部１０２は、動き補償フレーム画像を生成し、ステップｆ１０６では、生成した動き補償フレーム画像を出力する。具体的には、動きベクトル検出部１０１から入力されたＶｅｃＩとフレームメモリ１０４から入力された入力フレーム画像から動き補償フレーム画像を生成する。一方、ステップｆ１０８では、入力フレーム画像の複製である複製フレーム画像を出力する。
【００２９】
ステップｆ１０７では、カウント値Ｃｏｕｎｔをインクリメントする。そして、ステップｆ１０９では、Ｃｏｕｎｔ≧Ｎである場合は処理を終了し、そうでない場合はｆ１０３に移行する。
【００３０】
上述のステップｆ１０３〜ｆ１０９のループにより、１個の入力フレーム画像に対し５個のサブフレーム画像を出力する。
【００３１】
＜効果＞
図４は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。これは、画像のエッジが右方向に移動している動画像の各フレーム画像が入力された場合におけるサブフレーム画像を時系列順に縦軸方向に並べたものである。
【００３２】
図４においてエッジ部に黒丸が付加されたフレームが入力フレーム画像を示している。つまり、ここでは、画像のエッジが右方向に１５画素／入力フレーム画像で移動している例を示している。そして、１個の入力フレーム画像に対して５個のサブフレーム画像が出力する場合を示している。図４では、上述の説明に沿って、入力フレーム画像の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像とを出力している。そして、３個のサブフレーム画像（ｎ＝１，４，５）における画像のエッジは視線方向に沿っており、残りの２個のサブフレーム画像（ｎ＝２，３）における画像のエッジは視線方向から少し外れた位置にあることがわかる。
【００３３】
ジャダー振幅は、視線の動きに沿った画像のエッジの幅により規定される。そのため、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅は図４に示されるように約６画素以下となっている。一方、単純に各入力フレーム画像の複製フレーム画像を５個出力した場合、図４ジャダー振幅は約１２画素となるため、第１実施形態のフレームレート変換処理部１００によりジャダー振幅が大幅に低減されていることがわかる。そのため、視認解像度（動解像度とも呼ぶ）を向上することが出来る。
【００３４】
図５は、表示装置における実際の動画像の見え方を例示的に示す図である。図５（ａ）は、フレームレート変換処理部１００に入力されるフレーム画像を示している。図５（ｂ）は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像の見え方を示している。さらに、図５（ｃ）は、２−３プルダウン処理により出力されるサブフレーム画像の見え方を示している。
【００３５】
つまり、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像において発生するジャダーの振幅は、従来手法である２−３プルダウンに対しては小さく視認解像度は向上する。しかし、図４に示したように、視線方向から外れた位置にあるサブフレーム画像を少なくとも１個出力することによりジャダーをある程度残し、映画らしさを維持している。
【００３６】
以上説明したように、第１実施形態にかかる画像処理装置によれば、ジャダーの低減と動解像度の向上、映画らしさを維持することが可能となる。さらに、また、出力するサブフレーム画像に含まれる動き補償フレームの個数が少なくなるため、特許文献２の技術と比較した場合に、動き補償の誤補間が目立ちにくいという効果もある。
【００３７】
（第２実施形態）
第２実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、ジャダーの振幅を入力フレーム単位で制御する。
【００３８】
ジャダーは、表示されているオブジェクト画像の動きやオブジェクト画像の空間周波数によって視認のされ方が異なる。例えば、同じオブジェクト画像であっても動きが速いとジャダーは目立つ。そこで、第２実施形態では、動きが速いオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。
【００３９】
また、ジャダーは表示されているオブジェクト画像における高い空間周波数成分（高周波画像成分）が多いほど強く知覚される。そこで、高い空間周波数成分を有するオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。
【００４０】
＜装置構成＞
図７は、第２実施形態に係るフレームレート変換処理部のブロック図である。
【００４１】
第２実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２、エッジ検出部２０２、出力制御係数決定部２０３、セレクタ２０１で構成される。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２は第１実施形態とほぼ同様であるため、動作が第１実施形態と異なる部分についてのみ説明する。
【００４２】
エッジ検出部２０２は、フレームメモリ１０４から入力されたフレーム画像Ｆｒａｍｅｉｎ−１の各領域の高空間周波数成分の量（高周波成分量）を検出し、出力制御係数決定部２０３に出力する。出力制御係数決定部２０３は、エッジ検出部２０２から入力された各領域の高周波成分量と、動きベクトル検出部１０１から入力された動きベクトルとに応じて制御係数αを決定する。ここでは、制御係数αは、セレクタ２０１で出力する複製フレーム画像の個数であり、制御係数αは補間画像生成部１０２およびセレクタ２０１に出力される。
【００４３】
図８は、第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。図８（ｂ）は動きベクトル検出部とエッジ検出部に入力されるフレームＦｒａｍｅｉｎ−１である。
【００４４】
動きベクトル検出部１０１は、入力されたフレーム画像の各領域において動きベクトルＶｅｃＤ［ｉ］を検出する（図８（ｃ））。ここで、ｉはフレーム画像を領域分割した際の各領域番号を表す。エッジ検出部２０２は、フレーム画像Ｆｒａｍｅｉｎに対して、以下の数式に従ってハイパスフィルタ（ＨＰＦ）処理を行い、図８（ｄ）で示されるようなエッジ抽出フレームＦｒａｍｅＨを算出する。
【００４５】
ＦｒａｍｅＨ＝ＨＰＦ（Ｆｒａｍｅｉｎ）
なお、ハイパスフィルタ（ＨＰＦ）としては、図８（ａ）に示すような３×３構成のＨＰＦを利用することが出来る。なお、中央の太枠部分は注目画素を示している。
【００４６】
そしてＦｒａｍｅＨの各領域ｉにおける画素値合計をＨｉｇｈ［ｉ］とし、出力制御係数決定部２０３に出力する。つまり、Ｈｉｇｈ［ｉ］は各領域の高周波成分量を示すパラメータとなる。出力制御係数決定部２０３は、以下の数式に従って、各領域ｉにおける動きベクトルＶｅｃＤ［ｉ］と高周波成分量Ｈｉｇｈ［ｉ］との積の総和をパラメータ値Ｐａｒａｍとして算出する。これにより、各領域の動き速度と高周波成分量を表したパタメータ値Ｐａｒａｍが入力フレームの代表値として算出される。
【００４７】
Ｐａｒａｍ＝Σ（ＶｅｃＤ［ｉ］×Ｈｉｇｈ［ｉ］）
出力制御係数決定部２０３は、次に、Ｐａｒａｍの値に基づいてセレクタ２０１に出力する制御係数αを算出する。制御係数αは、上述したとおり、セレクタ２０１で出力する複製フレーム画像の個数であり、例えば、図９に示されるようにＰａｒａｍの値が大きくなるほど制御係数αが小さくなるよう設定される。つまり、入力されたフレーム画像における動きベクトルが大きいほど、また、高周波成分量が多いほど、制御係数αはより小さくなりジャダー振幅をより低減するよう制御する。
【００４８】
補間画像生成部１０２は、入力された制御係数αに応じて、動き補償フレーム画像を生成するタイミングと生成するフレーム画像の個数とを制御する。セレクタ２０１は、入力された制御係数αに応じて、Ｆｒａｍｅｉｎ−１のα個の複製フレーム画像と（Ｍ−α）個の動き補償フレーム画像とを出力する。
【００４９】
図１０は、第２実施形態に係るフレームレート変換処理部のタイムチャートである。第１実施形態の場合（図３）とほぼ同様であるが、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてＦｌｇ＿１の値を制御し、サブフレーム画像を生成する。つまり、Ｐａｒａｍの値が大きくα＝２となる場合は、複製フレーム画像が２枚となるよう制御し（図１０（ａ））、Ｐａｒａｍの値が小さくα＝４となる場合は、複製フレーム画像が４枚となるよう制御する（図１０（ｂ））。
【００５０】
＜装置の動作＞
図１１は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０４〜ｆ１０９は第１実施形態と同じであるため説明を省略する。
【００５１】
ステップｆ２０１では、エッジ検出部２０２は、入力されたフレーム画像にハイパスフィルタ処理を行いＦｒａｍｅＨを生成し、各領域ｉについて高周波成分の合計Ｈｉｇｈ［ｉ］を算出する。
【００５２】
ステップｆ２０２では、出力制御係数決定部２０３は、各領域ｉにおいてｐａｒａｍ［ｉ］＝｜ＶｅｃＤ［ｉ］｜×Ｈｉｇｈ［ｉ］を算出する。
【００５３】
ステップｆ２０３では、出力制御係数決定部２０３は、入力されたフレーム画像の特徴パラメータをＰａｒａｍ＝Σｐａｒａｍ［ｉ］として算出する。
【００５４】
ステップｆ２０４では、出力制御係数決定部２０３は、予め定めたＬＵＴに基づき、α＝ＬＵＴ（Ｐａｒａｍ）を算出する。なお、ＬＵＴは図９に示されるような単調減少のＬＵＴである。
【００５５】
ステップｆ２０５では、Ｃｏｕｎｔがαより大きいか否かを判定する。そして、Ｃｏｕｎｔ＞αである場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。
【００５６】
＜効果＞
図１２は、出力サブフレームにおけるジャダー振幅を説明する概念図である。図１２（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝３とした場合の概念図である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝３程度のジャダーは許容範囲であり解像度向上の効果がある。
【００５７】
図１２（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図１２（ａ）の場合と同様にα＝３とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。図１３（ａ）は、図５（ａ）に示すフレーム画像が入力され、かつα＝３の場合の出力を視認した画像である。ジャダー振幅が大きいため視認解像度が低くなってしまっている。
【００５８】
図１２（ｃ）は、第２実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを小さく（α＝２）している。α＝２の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。図１３（ｂ）は図５（ａ）に示すフレーム画像が入力され、かつα＝２の場合の出力を視認した画像である。α＝３に固定した場合（図１３（ａ））に比較し解像度が向上していることがわかる。しかし、ジャダーは視聴者に知覚される程度に残るため、映画らしさも維持される。
【００５９】
以上説明したように、第２実施形態にかかる画像処理装置によれば、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００６０】
（第３実施形態）
第３実施形態では視聴環境光に応じてジャダーの振幅を制御する方法を説明する。ジャダーの視認量は、視聴環境における視聴環境光によっても異なる。具体的には、視聴環境が明るいとジャダーが強く見え、周辺が暗いとジャダーを感じにくくなる傾向にある。そこで、第３実施形態では、表示装置周辺における環境光の情報に応じてサブフレーム画像の出力を制御する。
【００６１】
＜装置構成＞
図１４は、第３実施形態に係るフレームレート変換処理部のブロック図である。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第２実施形態とほぼ同様であるため、動作が第２実施形態と異なる部分についてのみ説明する。
【００６２】
環境光取得部３０１は、補正回路１０００から出力されたサブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）周辺の環境光の明るさＬを取得する。そして、図１５に示されるように、環境光の明るさＬが高くなるにつれて制御係数αが小さくなるように設定する。
【００６３】
具体的には、環境光の明るさＬが低い時は図１６（ａ）のようにα＝４に設定し、環境光の明るさＬが高い時は図１６（ｂ）のようにα＝２に設定する。このように制御することにより、暗い環境おいて映画らしさ（ジャダー）を知覚可能な程度に残存させると共に、明るい環境においては過度のジャダーを低減することができ、動解像度を向上することが出来る。
【００６４】
＜装置の動作＞
図１７は、第３実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。
【００６５】
ステップｆ３０１、ｆ３０２では、ＬＵＴに基づきα＝ＬＵＴ（Ｌ）を算出する。上述したようにＬＵＴは例えば図１５に示されるように、環境光の明るさＬに対してαが単調減少になるよう設定されている。
【００６６】
以上説明したように、第３実施形態にかかる画像処理装置によれば、視聴環境周辺の環境光の明るさＬに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。特に、特許文献２の技術と比較した場合に、明るい環境下で視聴する場合により見やすい映像を提供することが出来る。
【００６７】
（第４実施形態）
第４実施形態では、ユーザ入力によってジャダーの振幅を制御する方法を説明する。
【００６８】
＜装置構成＞
図１８は、第４実施形態に係るフレームレート変換処理部のブロック図である。動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第３実施形態と同様であるので説明を省略する。
【００６９】
ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付けるキーボード・マウスなどの入力装置である。なお、サブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）を視聴しているユーザからインタラクティブに制御係数αの入力を受け付けるよう構成しても良い。
【００７０】
＜装置の動作＞
図１９は、第４実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。
【００７１】
ステップｆ４０１では、ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付ける。そして、ステップｆ２０５以降の処理ループでのサブフレーム画像の生成および出力を制御する。
【００７２】
以上説明したように、第４実施形態にかかる画像処理装置によれば、ユーザから入力された制御係数αに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００７３】
（第５実施形態）
第５実施形態では、サブフレーム毎の動きベクトルに所定のゲインを加算・乗算し動き補償フレーム画像を出力することにより画像オブジェクトに少量の振動を付加する。
【００７４】
＜装置構成＞
図２０は、第５実施形態に係るフレームレート変換処理部のブロック図である。
【００７５】
第５実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、動きベクトル補正部５０１、補間画像生成部５０２、セレクタ２０１で構成される。動きベクトル補正部５０１は、動きベクトル検出部１０１で検出された動きベクトルに基づいてサブフレーム毎の部分動きベクトルである補間ベクトルＶｅｃＩを算出する機能部である。そして、補間画像生成部５０２は、フレーム画像Ｆｒａｍｅｉｎ−１と動きベクトル補正部５０１から入力された補間ベクトルＶｅｃＩとに基づいて動き補償フレーム画像を生成する機能部である。
【００７６】
振動の付加するためのサブフレーム毎のＶｅｃＩを算出方法として４つの方法を説明する。なお以下の説明における制御係数αは補間ベクトルに加算又は乗算するゲインを意味しており、上述の実施形態における制御係数αとは異なる。
【００７７】
＜１．ゲイン積算手法＞
以下の数式に従って、各サブフレームに対応する補間ベクトルにゲインα（０≦α≦１）をかける方法である。
【００７８】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×α
＜２．周期パターン付加手法＞
補間ベクトルに周期的な加減算を行って見た目の動きに振動を付加する方法である。荒い波線で示されるように、補間フレームＦｒａｍｅｍｃ［ｎ］（Ｎ＝１，．．．Ｎ−１）の動きに周期的な変動がある。これは、補間ベクトルＶｅｃＩを算出する際に、検出ベクトルＶｅｃＤに周期的に加減算を行っているからである。
【００７９】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）＋α／２×ｓｉｎ（２π×ｎ／Ｎ）
なお、加減算ではなく以下の数式のように周期的にゲインをかけることでも同等の出力結果が得られる。
【００８０】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×（１＋α×ｓｉｎ（２π×ｎ／Ｎ） ＜３．ランダム付加手法＞
以下の数式に従って、補間ベクトルに乱雑に加減算を行って見た目の動きに振動を付加する方法である。
【００８１】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）±α×Ｒａｎｄｏｍ
（ここで、Ｒａｎｄｏｍは０≦Ｒａｎｄｏｍ≦１の乱数）
なお、加減算でなくても、ランダムなゲインの積算でも同等の出力を得られる。
【００８２】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×α×Ｒａｎｄｏｍ
＜４．ベクトル順序置換手法＞
出力する第２サブフレームから第Ｎサブフレームの出力順序を入れ替えても類似の効果が得られる（以下、ベクトル順序置換手法とする）。振動を付加せずに補間ベクトルを設定する場合は、サブフレームの番号ｎに合わせてＶｅｃＩ＝ＶｅｃＤ×ｎ／Ｎとする。しかし、以下の数式のように補間ベクトルを他のサブフレームと入れ替えることで、少なくとも１つの隣接サブフレーム画像間の補間動きベクトルの方向が他の隣接サブフレーム画像間の動きベクトルの方向と逆となるように振動を付加する。
【００８３】
ＶｅｃＩ＝ＶｅｃＤ×ｎ’／Ｎ
（ここで、Ｎはフレームレートの変換倍率、ｎ’は補間フレーム位置）
＜装置の動作＞
図２２は、第５実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同じであるので説明を省略する。
【００８４】
ステップｆ５０１では、動きベクトル補正部５０１は、Ｃｏｕｎｔ＝０の場合はｆ５０２に進み、そうでない場合はｆ１０８に進む。上述したようにＣｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応するため、当該ステップでは、第１サブフレーム画像か否かを判定している。
【００８５】
ステップｆ５０２では、動きベクトル補正部５０１は、補間ベクトルを算出する。なお、上述の４つの手法の何れを用いても良い。
【００８６】
＜効果＞
図２１は、第５実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。
【００８７】
図２１（ａ）はゲイン積算手法の出力結果を示しており、補間フレームに０．５のゲインがかけられている。これにより、視線に沿った方向（直線）に対して所定のズレて出力されていることが分かる。このズレが破線で示されており、ジャダー振幅となる。α＝０．５の場合、ジャダー振幅は従来の２−３プルダウンよりも小さいため、ジャダーは低減され解像度も向上する。しかし、ジャダーが少量残存することになるため映画らしさも維持されることになる。なお、図２１（ｂ）は周期パターン付加手法の出力結果、図２１（ｃ）はランダム付加手法の出力結果をそれぞれ示している。
【００８８】
また、図２１（ｄ）はベクトル順序置換手法の出力結果を表している。
【００８９】
第１サブフレームを、入力されたフレーム画像の複製フレーム画像、そして、第２〜第５のサブフレーム画像をそれぞれ、ｎ’＝３，２，４，５とした結果を示している。このように、サブフレーム画像を入れ替えることによっても振動を付加することが可能であることが分かる
以上説明したように、第５実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加することによって、見た目の動きに振動を付加する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。なお、第１実施形態と第５実施形態の組み合わせとして、図２３に示されるようなサブフレーム画像を生成しても良い。
【００９０】
（第６実施形態）
第６実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、サブフレーム画像に付加する振動の大きさを制御する。
【００９１】
図２４は、第６実施形態に係るフレームレート変換処理部のブロック図である。
【００９２】
動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、エッジ検出部２０２は第１及び第２実施形態とほぼ同様であるため説明を省略する。なお、算出された高周波成分量Ｈｉｇｈ［ｉ］は出力制御係数決定部６０２に入力される。
【００９３】
動きベクトル補正部６０１は、出力制御係数決定部６０２から入力された制御係数αに応じて補間ベクトルを補正する。また、出力制御係数決定部６０２は、Ｐａｒａｍからαを算出する際に例えば図２５に示すＬＵＴを用いる。ただし、動きベクトル補正部６０１においてベクトルを補正する係数に直接使用するため０≦α≦１となっている。
【００９４】
図２６は、第６実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同様であり、ステップｆ２０１〜２０４は第２実施形態と同様であり、ステップｆ５０１，５０２は第５実施形態と同様である。なお、図２６では周期パターン付加手法を用いた例を示しているが、第５実施形態で説明した他の手法も用いてもよい。
【００９５】
図２７は、出力サブフレームにおけるジャダー振幅を説明する概念図である。なお、ここではゲイン積算手法の出力結果を示している。図２７（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝０．５とした場合の出力結果である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝０．５程度のジャダーは許容範囲であり解像度向上の効果がある。
【００９６】
図２７（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図２７（ａ）の場合と同様にα＝０．５とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。
【００９７】
図２７（ｃ）は、第６実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを大きく（α＝０．８）している。α＝０．８の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。
【００９８】
以上説明したように、第６実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加する。その際に入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてズレの大きさを制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００９９】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換する技術に関するものである。
【背景技術】
【０００２】
一般的に、映画コンテンツは１秒間あたり２４個のフレームが含まれ（以下２４ｐと呼ぶ）、映画館では、１個のフレームを２回ずつ繰り返して表示することにより４８Ｈｚ表示を行っている。また、例えば、６０Ｈｚ表示のテレビで表示する場合には、フレーム毎に交互に２回および３回ずつ表示する２−３プルダウン処理により６０Ｈｚにフレームレートを変換し表示を行っている。しかし、同一のフレームを繰り返し表示した場合、映像の動きがガタガタして見える現象（ジャダー）が発生し、ユーザが感じる映像の解像度（視認解像度）も低下してしまう問題があった。
【０００３】
そこで、例えば特許文献１では、フレーム中の動きを検出し、動きに沿うように補間フレームを生成し挿入することによりジャダーを低減する技術が開示されている。さらに、特許文献２には、映画表示において環境光に応じてジャダーの強さを制御する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３３４６８号公報
【特許文献２】特開２００９−９４６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示される技術により補間フレームを生成しジャダーを低減した場合、結果的に映画らしさが失われてしまう問題があった。これは、繰り返し表示によって発生する動きの振動（ジャダー）が映画固有の脱現実感に繋がっているためであり、映像内の動きが必要以上に滑らかになると映画らしく無いと認識されるためである。また、特許文献２に開示される技術によりジャダーの強さを制御した場合、環境光が明るい場所にジャダーが目立ち不快になるという問題があった。そして、上述の２つの技術を組み合わせた場合、動き補償の誤補間が目立つ場合がある問題があった。
【０００６】
本発明は、上述の問題点に鑑みなされたものであり、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の１以上の問題点を解決するため本発明の画像処理装置は以下の構成を備える。すなわち、動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出手段と、前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】ディスプレイシステムにおける補正処理部のブロック図である。
【図２】第１実施形態に係るフレームレート変換処理部のブロック図である。
【図３】第１実施形態に係るフレームレート変換処理部のタイムチャートである。
【図４】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図５】出力サブフレームの見え方の例を示す図である。
【図６】第１実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図７】第２実施形態に係るフレームレート変換処理部のブロック図である。
【図８】第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。
【図９】出力制御係数決定部における入出力の関係を示す図である。
【図１０】第２実施形態に係るフレームレート変換処理部のタイムチャートである。
【図１１】第２実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１２】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図１３】出力サブフレームの見え方の例を示す図である。
【図１４】第３実施形態に係るフレームレート変換処理部のブロック図である。
【図１５】環境光取得部における入出力の関係を示す図である。
【図１６】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図１７】第３実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図１８】第４実施形態に係るフレームレート変換処理部のブロック図である。
【図１９】第４実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２０】第５実施形態に係るフレームレート変換処理部のブロック図である。
【図２１】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図２２】第５実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２３】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【図２４】第６実施形態に係るフレームレート変換処理部のブロック図である。
【図２５】出力制御係数決定部における入出力の関係を示す図である。
【図２６】第６実施形態に係るフレームレート変換処理部の動作フローチャートである。
【図２７】出力サブフレームにおけるジャダー振幅を説明する概念図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、入力フレームを複数回繰り返すことによって動きに振動を付加する方法について説明する。
【００１２】
＜装置構成＞
図１は、ディスプレイシステムにおける補正処理部のブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。
【００１３】
なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出２４Ｐ変換、解像度変換の他、各種の色補正処理を含み得る。
【００１４】
フレームレート変換処理部１００は、入力される各フレーム画像に対してＭ個（Ｍは３以上の整数）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各入力フレーム画像に対して５個のサブフレーム画像を生成し１２０フレーム／秒（１２０Ｈｚ）の動画像を出力するの場合（つまり、Ｍ＝５）について説明する。ただし、７２Ｈｚ，９６Ｈｚ，２４０Ｈｚなどにも適用できるものである。さらに、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせて構成してもよい。なお、以下では、１個の入力フレームに対して生成されるＭ個のフレームの各々を、時系列順に第ｍサブフレーム（ｍ＝１，．．．，Ｍ）と呼ぶ。
【００１５】
図２は、第１実施形態のフレームレート変換処理部１００のブロック図である。フレームレート変換処理部１００には、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、フレームメモリ１０４が含まれている。そして、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３の各々には、各部で処理するフレーム画像／サブフレーム画像を制御するためのタイミング制御信号が供給されている。なお、タイミング制御信号は、フレームレート変換処理部１００内の不図示の制御部、または、補正回路１０００におけるフレームレート変換処理部１００より上流側の処理部から供給される。
【００１６】
以下の説明では、タイミング制御信号として、２つの信号（Ｎｃｏｕｎｔ，Ｆｌｇ＿１）を用いている。Ｎｃｏｕｎｔは、入力フレームに対するｎ枚目のフレームを生成する際にカウントするカウント値である。Ｆｌｇ＿１は、動きベクトル検出部１０１と補間画像生成部１０２とセレクタ１０３の動作切り替えを制御する。
【００１７】
動きベクトル検出部１０１は、注目するフレーム画像Ｆｒａｍｅｉｎ−１に後続するフレーム画像Ｆｒａｍｅｉｎが入力されると、フレーム画像の各領域の動きベクトルＶｅｃＤを検出する。具体的には、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの差分に基づいて動きベクトルを算出する。つまり、注目フレーム画像と当該注目フレーム画像に後続する後続フレーム画像との差分に基づいて動きベクトルを導出する。フレームメモリ１０４は、Ｆｒａｍｅｉｎ−１を格納している。そして、後続のフレーム画像Ｆｒａｍｅｉｎが入力されるたび、Ｆｒａｍｅｉｎ−１を動きベクトル検出部１０１とセレクタ１０３とに出力する。
【００１８】
補間画像生成部１０２は、動きベクトル検出部１０１から入力されるＶｅｃＤと、フレームメモリ１０４から入力されるフレーム画像Ｆｒａｍｅｉｎとに基づきｎ’個（ｎ’＜Ｍ）のフレームを生成する。なお、ｎ’は出力するＭ個のサブフレームに含まれる動き補償フレーム画像（補間フレームとも呼ぶ）の個数であり、ｎ’はおよそＭの半分程度に設定すると好適である。以下では、ｎ’＝２として説明する。
【００１９】
具体的には、補間画像生成部１０２は、動き補償画像を生成する際、検出ベクトルから補間ベクトルＶｅｃＩ＝ＶｅｃＤ×ｎ／Ｍ （ｎ＝Ｍ−ｎ’，．．，Ｍ−１）を導出する。そして、動き補償フレームＦｒａｍｅｍｃ［ｎ］を生成する。つまり、ｎ’＝２の場合、Ｆｒａｍｅｍｃ［３］およびＦｒａｍｅｍｃ［４］の２つの動き補償フレームを生成する。なお、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの間の時間をＭ等分した時間位置でのＭ個の動き補償フレーム画像を生成した後、ｎ’個を選択するよう構成しても良い。
【００２０】
セレクタ１０３は、出力するサブフレーム毎に、入力されたフレーム画像のコピーである複製フレーム画像または生成された動き補償フレーム画像を選択する。具体的には、Ｆｒａｍｅｉｎ−１のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する。つまり、ｎ’＝２の場合、Ｆｒａｍｅｉｎ−１の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像（Ｆｒａｍｅｍｃ［３］およびＦｒａｍｅｍｃ［４］）とを出力する。
【００２１】
なお、動きベクトルの検出および補間方法は一般的な方法でよく、例えば特開２００７−７４５８８号に記載された手法を用いるとよい。
【００２２】
図３は、第１実施形態に係るフレームレート変換処理部のタイムチャートである。上から、基準クロック、出力対象のサブフレーム画像、タイミング制御信号であるＮｃｏｕｎｔおよびＦｌｇ＿１、セレクタ１０３が選択するフレーム画像を示している。
【００２３】
上述したように、タイミング制御信号であるＮｃｏｕｎｔおよびＦｌｇ＿１は、フレームレート変換処理部１００内の各部で処理するフレーム画像／サブフレーム画像を制御している。動きベクトル検出部１０１は、Ｆｌｇ＿１＝１が入力された場合に動きベクトルを検出し、補間画像生成部１０２に検出したＶｅｃＤを出力する。補間画像生成部１０２は、Ｆｌｇ＿１＝１が入力された場合にｎ＝Ｎｃｏｕｎｔ−１として動き補償フレームＦｒａｍｅｍｃ［ｎ］を生成する。そして、セレクタ１０３は、Ｆｌｇ＿１＝０の場合、入力フレームＦｒａｍｅｉｎ−１の複製フレーム画像を出力し、Ｆｌｇ＿１＝１の場合、生成された動き補償フレームＦｒａｍｅｍｃ［ｎ］を出力する。
【００２４】
＜装置の動作＞
図６は、第１実施形態に係るフレームレート変換処理部の動作フローチャートである。なお、図６は１個の入力フレーム画像に対する処理を示しており、連続して入力される各フレームに対して同様の処理が行われる。
【００２５】
ステップｆ１０１では、フレームレート変換処理部１００に、連続する複数のフレーム画像が順次入力される。そして、サブフレームのカウント値Ｃｏｕｎｔを０に初期化（Ｃｏｕｎｔ＝０）する。なお、Ｃｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応する。
【００２６】
ステップｆ１０２では、動きベクトル検出部１０１は、Ｆｒａｍｅｉｎ−１とＦｒａｍｅｉｎとの差分に基づいてフレーム画像の各領域の動きベクトルＶｅｃＤを検出する。なお、動きベクトルは、フレーム画像内の各領域ｉに対してベクトルＶｅｃＤ［ｉ］として検出される。（ｉはフレーム画像を領域分割した際の各領域番号を表す。）
ステップｆ１０３では、Ｃｏｕｎｔが所定閾値（Ｎ／２）より大きいか否かを判定する。そして、Ｃｏｕｎｔ＞Ｎ／２である場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。つまり、ここでは、第１〜第３サブフレーム画像として入力フレーム画像の複製フレーム画像が選択され、第４および第５サブフレーム画像として動き補償フレーム画像が選択されるように構成している。なお、所定閾値はＮ／２に限定されるものではない。
【００２７】
ステップｆ１０４では、動きベクトル検出部１０１は、補間ベクトルをＶｅｃＩ＝ＶｅｃＤ×Ｃｏｕｎｔ／Ｎとして算出する。
【００２８】
ステップｆ１０５では、補間画像生成部１０２は、動き補償フレーム画像を生成し、ステップｆ１０６では、生成した動き補償フレーム画像を出力する。具体的には、動きベクトル検出部１０１から入力されたＶｅｃＩとフレームメモリ１０４から入力された入力フレーム画像から動き補償フレーム画像を生成する。一方、ステップｆ１０８では、入力フレーム画像の複製である複製フレーム画像を出力する。
【００２９】
ステップｆ１０７では、カウント値Ｃｏｕｎｔをインクリメントする。そして、ステップｆ１０９では、Ｃｏｕｎｔ≧Ｎである場合は処理を終了し、そうでない場合はｆ１０３に移行する。
【００３０】
上述のステップｆ１０３〜ｆ１０９のループにより、１個の入力フレーム画像に対し５個のサブフレーム画像を出力する。
【００３１】
＜効果＞
図４は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。これは、画像のエッジが右方向に移動している動画像の各フレーム画像が入力された場合におけるサブフレーム画像を時系列順に縦軸方向に並べたものである。
【００３２】
図４においてエッジ部に黒丸が付加されたフレームが入力フレーム画像を示している。つまり、ここでは、画像のエッジが右方向に１５画素／入力フレーム画像で移動している例を示している。そして、１個の入力フレーム画像に対して５個のサブフレーム画像が出力する場合を示している。図４では、上述の説明に沿って、入力フレーム画像の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像とを出力している。そして、３個のサブフレーム画像（ｎ＝１，４，５）における画像のエッジは視線方向に沿っており、残りの２個のサブフレーム画像（ｎ＝２，３）における画像のエッジは視線方向から少し外れた位置にあることがわかる。
【００３３】
ジャダー振幅は、視線の動きに沿った画像のエッジの幅により規定される。そのため、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅は図４に示されるように約６画素以下となっている。一方、単純に各入力フレーム画像の複製フレーム画像を５個出力した場合、図４ジャダー振幅は約１２画素となるため、第１実施形態のフレームレート変換処理部１００によりジャダー振幅が大幅に低減されていることがわかる。そのため、視認解像度（動解像度とも呼ぶ）を向上することが出来る。
【００３４】
図５は、表示装置における実際の動画像の見え方を例示的に示す図である。図５（ａ）は、フレームレート変換処理部１００に入力されるフレーム画像を示している。図５（ｂ）は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像の見え方を示している。さらに、図５（ｃ）は、２−３プルダウン処理により出力されるサブフレーム画像の見え方を示している。
【００３５】
つまり、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像において発生するジャダーの振幅は、従来手法である２−３プルダウンに対しては小さく視認解像度は向上する。しかし、図４に示したように、視線方向から外れた位置にあるサブフレーム画像を少なくとも１個出力することによりジャダーをある程度残し、映画らしさを維持している。
【００３６】
以上説明したように、第１実施形態にかかる画像処理装置によれば、ジャダーの低減と動解像度の向上、映画らしさを維持することが可能となる。さらに、また、出力するサブフレーム画像に含まれる動き補償フレームの個数が少なくなるため、特許文献２の技術と比較した場合に、動き補償の誤補間が目立ちにくいという効果もある。
【００３７】
（第２実施形態）
第２実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、ジャダーの振幅を入力フレーム単位で制御する。
【００３８】
ジャダーは、表示されているオブジェクト画像の動きやオブジェクト画像の空間周波数によって視認のされ方が異なる。例えば、同じオブジェクト画像であっても動きが速いとジャダーは目立つ。そこで、第２実施形態では、動きが速いオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。
【００３９】
また、ジャダーは表示されているオブジェクト画像における高い空間周波数成分（高周波画像成分）が多いほど強く知覚される。そこで、高い空間周波数成分を有するオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。
【００４０】
＜装置構成＞
図７は、第２実施形態に係るフレームレート変換処理部のブロック図である。
【００４１】
第２実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２、エッジ検出部２０２、出力制御係数決定部２０３、セレクタ２０１で構成される。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２は第１実施形態とほぼ同様であるため、動作が第１実施形態と異なる部分についてのみ説明する。
【００４２】
エッジ検出部２０２は、フレームメモリ１０４から入力されたフレーム画像Ｆｒａｍｅｉｎ−１の各領域の高空間周波数成分の量（高周波成分量）を検出し、出力制御係数決定部２０３に出力する。出力制御係数決定部２０３は、エッジ検出部２０２から入力された各領域の高周波成分量と、動きベクトル検出部１０１から入力された動きベクトルとに応じて制御係数αを決定する。ここでは、制御係数αは、セレクタ２０１で出力する複製フレーム画像の個数であり、制御係数αは補間画像生成部１０２およびセレクタ２０１に出力される。
【００４３】
図８は、第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。図８（ｂ）は動きベクトル検出部とエッジ検出部に入力されるフレームＦｒａｍｅｉｎ−１である。
【００４４】
動きベクトル検出部１０１は、入力されたフレーム画像の各領域において動きベクトルＶｅｃＤ［ｉ］を検出する（図８（ｃ））。ここで、ｉはフレーム画像を領域分割した際の各領域番号を表す。エッジ検出部２０２は、フレーム画像Ｆｒａｍｅｉｎに対して、以下の数式に従ってハイパスフィルタ（ＨＰＦ）処理を行い、図８（ｄ）で示されるようなエッジ抽出フレームＦｒａｍｅＨを算出する。
【００４５】
ＦｒａｍｅＨ＝ＨＰＦ（Ｆｒａｍｅｉｎ）
なお、ハイパスフィルタ（ＨＰＦ）としては、図８（ａ）に示すような３×３構成のＨＰＦを利用することが出来る。なお、中央の太枠部分は注目画素を示している。
【００４６】
そしてＦｒａｍｅＨの各領域ｉにおける画素値合計をＨｉｇｈ［ｉ］とし、出力制御係数決定部２０３に出力する。つまり、Ｈｉｇｈ［ｉ］は各領域の高周波成分量を示すパラメータとなる。出力制御係数決定部２０３は、以下の数式に従って、各領域ｉにおける動きベクトルＶｅｃＤ［ｉ］と高周波成分量Ｈｉｇｈ［ｉ］との積の総和をパラメータ値Ｐａｒａｍとして算出する。これにより、各領域の動き速度と高周波成分量を表したパタメータ値Ｐａｒａｍが入力フレームの代表値として算出される。
【００４７】
Ｐａｒａｍ＝Σ（ＶｅｃＤ［ｉ］×Ｈｉｇｈ［ｉ］）
出力制御係数決定部２０３は、次に、Ｐａｒａｍの値に基づいてセレクタ２０１に出力する制御係数αを算出する。制御係数αは、上述したとおり、セレクタ２０１で出力する複製フレーム画像の個数であり、例えば、図９に示されるようにＰａｒａｍの値が大きくなるほど制御係数αが小さくなるよう設定される。つまり、入力されたフレーム画像における動きベクトルが大きいほど、また、高周波成分量が多いほど、制御係数αはより小さくなりジャダー振幅をより低減するよう制御する。
【００４８】
補間画像生成部１０２は、入力された制御係数αに応じて、動き補償フレーム画像を生成するタイミングと生成するフレーム画像の個数とを制御する。セレクタ２０１は、入力された制御係数αに応じて、Ｆｒａｍｅｉｎ−１のα個の複製フレーム画像と（Ｍ−α）個の動き補償フレーム画像とを出力する。
【００４９】
図１０は、第２実施形態に係るフレームレート変換処理部のタイムチャートである。第１実施形態の場合（図３）とほぼ同様であるが、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてＦｌｇ＿１の値を制御し、サブフレーム画像を生成する。つまり、Ｐａｒａｍの値が大きくα＝２となる場合は、複製フレーム画像が２枚となるよう制御し（図１０（ａ））、Ｐａｒａｍの値が小さくα＝４となる場合は、複製フレーム画像が４枚となるよう制御する（図１０（ｂ））。
【００５０】
＜装置の動作＞
図１１は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０４〜ｆ１０９は第１実施形態と同じであるため説明を省略する。
【００５１】
ステップｆ２０１では、エッジ検出部２０２は、入力されたフレーム画像にハイパスフィルタ処理を行いＦｒａｍｅＨを生成し、各領域ｉについて高周波成分の合計Ｈｉｇｈ［ｉ］を算出する。
【００５２】
ステップｆ２０２では、出力制御係数決定部２０３は、各領域ｉにおいてｐａｒａｍ［ｉ］＝｜ＶｅｃＤ［ｉ］｜×Ｈｉｇｈ［ｉ］を算出する。
【００５３】
ステップｆ２０３では、出力制御係数決定部２０３は、入力されたフレーム画像の特徴パラメータをＰａｒａｍ＝Σｐａｒａｍ［ｉ］として算出する。
【００５４】
ステップｆ２０４では、出力制御係数決定部２０３は、予め定めたＬＵＴに基づき、α＝ＬＵＴ（Ｐａｒａｍ）を算出する。なお、ＬＵＴは図９に示されるような単調減少のＬＵＴである。
【００５５】
ステップｆ２０５では、Ｃｏｕｎｔがαより大きいか否かを判定する。そして、Ｃｏｕｎｔ＞αである場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。
【００５６】
＜効果＞
図１２は、出力サブフレームにおけるジャダー振幅を説明する概念図である。図１２（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝３とした場合の概念図である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝３程度のジャダーは許容範囲であり解像度向上の効果がある。
【００５７】
図１２（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図１２（ａ）の場合と同様にα＝３とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。図１３（ａ）は、図５（ａ）に示すフレーム画像が入力され、かつα＝３の場合の出力を視認した画像である。ジャダー振幅が大きいため視認解像度が低くなってしまっている。
【００５８】
図１２（ｃ）は、第２実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを小さく（α＝２）している。α＝２の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。図１３（ｂ）は図５（ａ）に示すフレーム画像が入力され、かつα＝２の場合の出力を視認した画像である。α＝３に固定した場合（図１３（ａ））に比較し解像度が向上していることがわかる。しかし、ジャダーは視聴者に知覚される程度に残るため、映画らしさも維持される。
【００５９】
以上説明したように、第２実施形態にかかる画像処理装置によれば、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００６０】
（第３実施形態）
第３実施形態では視聴環境光に応じてジャダーの振幅を制御する方法を説明する。ジャダーの視認量は、視聴環境における視聴環境光によっても異なる。具体的には、視聴環境が明るいとジャダーが強く見え、周辺が暗いとジャダーを感じにくくなる傾向にある。そこで、第３実施形態では、表示装置周辺における環境光の情報に応じてサブフレーム画像の出力を制御する。
【００６１】
＜装置構成＞
図１４は、第３実施形態に係るフレームレート変換処理部のブロック図である。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第２実施形態とほぼ同様であるため、動作が第２実施形態と異なる部分についてのみ説明する。
【００６２】
環境光取得部３０１は、補正回路１０００から出力されたサブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）周辺の環境光の明るさＬを取得する。そして、図１５に示されるように、環境光の明るさＬが高くなるにつれて制御係数αが小さくなるように設定する。
【００６３】
具体的には、環境光の明るさＬが低い時は図１６（ａ）のようにα＝４に設定し、環境光の明るさＬが高い時は図１６（ｂ）のようにα＝２に設定する。このように制御することにより、暗い環境おいて映画らしさ（ジャダー）を知覚可能な程度に残存させると共に、明るい環境においては過度のジャダーを低減することができ、動解像度を向上することが出来る。
【００６４】
＜装置の動作＞
図１７は、第３実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。
【００６５】
ステップｆ３０１、ｆ３０２では、ＬＵＴに基づきα＝ＬＵＴ（Ｌ）を算出する。上述したようにＬＵＴは例えば図１５に示されるように、環境光の明るさＬに対してαが単調減少になるよう設定されている。
【００６６】
以上説明したように、第３実施形態にかかる画像処理装置によれば、視聴環境周辺の環境光の明るさＬに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。特に、特許文献２の技術と比較した場合に、明るい環境下で視聴する場合により見やすい映像を提供することが出来る。
【００６７】
（第４実施形態）
第４実施形態では、ユーザ入力によってジャダーの振幅を制御する方法を説明する。
【００６８】
＜装置構成＞
図１８は、第４実施形態に係るフレームレート変換処理部のブロック図である。動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第３実施形態と同様であるので説明を省略する。
【００６９】
ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付けるキーボード・マウスなどの入力装置である。なお、サブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）を視聴しているユーザからインタラクティブに制御係数αの入力を受け付けるよう構成しても良い。
【００７０】
＜装置の動作＞
図１９は、第４実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。
【００７１】
ステップｆ４０１では、ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付ける。そして、ステップｆ２０５以降の処理ループでのサブフレーム画像の生成および出力を制御する。
【００７２】
以上説明したように、第４実施形態にかかる画像処理装置によれば、ユーザから入力された制御係数αに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００７３】
（第５実施形態）
第５実施形態では、サブフレーム毎の動きベクトルに所定のゲインを加算・乗算し動き補償フレーム画像を出力することにより画像オブジェクトに少量の振動を付加する。
【００７４】
＜装置構成＞
図２０は、第５実施形態に係るフレームレート変換処理部のブロック図である。
【００７５】
第５実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、動きベクトル補正部５０１、補間画像生成部５０２、セレクタ２０１で構成される。動きベクトル補正部５０１は、動きベクトル検出部１０１で検出された動きベクトルに基づいてサブフレーム毎の部分動きベクトルである補間ベクトルＶｅｃＩを算出する機能部である。そして、補間画像生成部５０２は、フレーム画像Ｆｒａｍｅｉｎ−１と動きベクトル補正部５０１から入力された補間ベクトルＶｅｃＩとに基づいて動き補償フレーム画像を生成する機能部である。
【００７６】
振動の付加するためのサブフレーム毎のＶｅｃＩを算出方法として４つの方法を説明する。なお以下の説明における制御係数αは補間ベクトルに加算又は乗算するゲインを意味しており、上述の実施形態における制御係数αとは異なる。
【００７７】
＜１．ゲイン積算手法＞
以下の数式に従って、各サブフレームに対応する補間ベクトルにゲインα（０≦α≦１）をかける方法である。
【００７８】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×α
＜２．周期パターン付加手法＞
補間ベクトルに周期的な加減算を行って見た目の動きに振動を付加する方法である。荒い波線で示されるように、補間フレームＦｒａｍｅｍｃ［ｎ］（Ｎ＝１，．．．Ｎ−１）の動きに周期的な変動がある。これは、補間ベクトルＶｅｃＩを算出する際に、検出ベクトルＶｅｃＤに周期的に加減算を行っているからである。
【００７９】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）＋α／２×ｓｉｎ（２π×ｎ／Ｎ）
なお、加減算ではなく以下の数式のように周期的にゲインをかけることでも同等の出力結果が得られる。
【００８０】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×（１＋α×ｓｉｎ（２π×ｎ／Ｎ） ＜３．ランダム付加手法＞
以下の数式に従って、補間ベクトルに乱雑に加減算を行って見た目の動きに振動を付加する方法である。
【００８１】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）±α×Ｒａｎｄｏｍ
（ここで、Ｒａｎｄｏｍは０≦Ｒａｎｄｏｍ≦１の乱数）
なお、加減算でなくても、ランダムなゲインの積算でも同等の出力を得られる。
【００８２】
ＶｅｃＩ＝ＶｅｃＤ×（（ｎ−１）／Ｎ）×α×Ｒａｎｄｏｍ
＜４．ベクトル順序置換手法＞
出力する第２サブフレームから第Ｎサブフレームの出力順序を入れ替えても類似の効果が得られる（以下、ベクトル順序置換手法とする）。振動を付加せずに補間ベクトルを設定する場合は、サブフレームの番号ｎに合わせてＶｅｃＩ＝ＶｅｃＤ×ｎ／Ｎとする。しかし、以下の数式のように補間ベクトルを他のサブフレームと入れ替えることで、少なくとも１つの隣接サブフレーム画像間の補間動きベクトルの方向が他の隣接サブフレーム画像間の動きベクトルの方向と逆となるように振動を付加する。
【００８３】
ＶｅｃＩ＝ＶｅｃＤ×ｎ’／Ｎ
（ここで、Ｎはフレームレートの変換倍率、ｎ’は補間フレーム位置）
＜装置の動作＞
図２２は、第５実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同じであるので説明を省略する。
【００８４】
ステップｆ５０１では、動きベクトル補正部５０１は、Ｃｏｕｎｔ＝０の場合はｆ５０２に進み、そうでない場合はｆ１０８に進む。上述したようにＣｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応するため、当該ステップでは、第１サブフレーム画像か否かを判定している。
【００８５】
ステップｆ５０２では、動きベクトル補正部５０１は、補間ベクトルを算出する。なお、上述の４つの手法の何れを用いても良い。
【００８６】
＜効果＞
図２１は、第５実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。
【００８７】
図２１（ａ）はゲイン積算手法の出力結果を示しており、補間フレームに０．５のゲインがかけられている。これにより、視線に沿った方向（直線）に対して所定のズレて出力されていることが分かる。このズレが破線で示されており、ジャダー振幅となる。α＝０．５の場合、ジャダー振幅は従来の２−３プルダウンよりも小さいため、ジャダーは低減され解像度も向上する。しかし、ジャダーが少量残存することになるため映画らしさも維持されることになる。なお、図２１（ｂ）は周期パターン付加手法の出力結果、図２１（ｃ）はランダム付加手法の出力結果をそれぞれ示している。
【００８８】
また、図２１（ｄ）はベクトル順序置換手法の出力結果を表している。
【００８９】
第１サブフレームを、入力されたフレーム画像の複製フレーム画像、そして、第２〜第５のサブフレーム画像をそれぞれ、ｎ’＝３，２，４，５とした結果を示している。このように、サブフレーム画像を入れ替えることによっても振動を付加することが可能であることが分かる
以上説明したように、第５実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加することによって、見た目の動きに振動を付加する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。なお、第１実施形態と第５実施形態の組み合わせとして、図２３に示されるようなサブフレーム画像を生成しても良い。
【００９０】
（第６実施形態）
第６実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、サブフレーム画像に付加する振動の大きさを制御する。
【００９１】
図２４は、第６実施形態に係るフレームレート変換処理部のブロック図である。
【００９２】
動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、エッジ検出部２０２は第１及び第２実施形態とほぼ同様であるため説明を省略する。なお、算出された高周波成分量Ｈｉｇｈ［ｉ］は出力制御係数決定部６０２に入力される。
【００９３】
動きベクトル補正部６０１は、出力制御係数決定部６０２から入力された制御係数αに応じて補間ベクトルを補正する。また、出力制御係数決定部６０２は、Ｐａｒａｍからαを算出する際に例えば図２５に示すＬＵＴを用いる。ただし、動きベクトル補正部６０１においてベクトルを補正する係数に直接使用するため０≦α≦１となっている。
【００９４】
図２６は、第６実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同様であり、ステップｆ２０１〜２０４は第２実施形態と同様であり、ステップｆ５０１，５０２は第５実施形態と同様である。なお、図２６では周期パターン付加手法を用いた例を示しているが、第５実施形態で説明した他の手法も用いてもよい。
【００９５】
図２７は、出力サブフレームにおけるジャダー振幅を説明する概念図である。なお、ここではゲイン積算手法の出力結果を示している。図２７（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝０．５とした場合の出力結果である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝０．５程度のジャダーは許容範囲であり解像度向上の効果がある。
【００９６】
図２７（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図２７（ａ）の場合と同様にα＝０．５とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。
【００９７】
図２７（ｃ）は、第６実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを大きく（α＝０．８）している。α＝０．８の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。
【００９８】
以上説明したように、第６実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加する。その際に入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてズレの大きさを制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。
【００９９】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置であって、
注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出手段と、
前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、
前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力手段は、前記注目フレーム画像の各領域について動きベクトルを所定の重みで乗じた値の総和に基づいて前記Ｎの値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の重みは、前記注目フレーム画像の各領域における高周波画像成分の量に基づいて決定されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段により出力される前記Ｍ個のサブフレーム画像を表示する表示装置周辺における環境光の情報を取得する取得手段を更に備え、
前記出力手段は、前記取得手段により取得された環境光の明るさに基づいて前記Ｎの値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、前記動きベクトルに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置でのＭ個の部分動きベクトルを生成し、Ｍ個の部分動きベクトルの各々に所定のゲインを付加し、当該ゲインが付加されたＭ個の部分動きベクトルと前記注目フレーム画像とに基づいて、前記動き補償フレーム画像を生成することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記Ｍ個のサブフレーム画像において少なくとも１つの隣接サブフレーム画像間の動きベクトルの方向が他の隣接サブフレーム画像間の動きベクトルの方向と逆であるように前記ゲインを設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置の制御方法であって、
注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出工程と、
前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成工程と、
前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置であって、
注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出手段と、
前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成手段と、
前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記出力手段は、前記注目フレーム画像の各領域について動きベクトルを所定の重みで乗じた値の総和に基づいて前記Ｎの値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の重みは、前記注目フレーム画像の各領域における高周波画像成分の量に基づいて決定されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記出力手段により出力される前記Ｍ個のサブフレーム画像を表示する表示装置周辺における環境光の情報を取得する取得手段を更に備え、
前記出力手段は、前記取得手段により取得された環境光の明るさに基づいて前記Ｎの値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記生成手段は、前記動きベクトルに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置でのＭ個の部分動きベクトルを生成し、Ｍ個の部分動きベクトルの各々に所定のゲインを付加し、当該ゲインが付加されたＭ個の部分動きベクトルと前記注目フレーム画像とに基づいて、前記動き補償フレーム画像を生成することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記Ｍ個のサブフレーム画像において少なくとも１つの隣接サブフレーム画像間の動きベクトルの方向が他の隣接サブフレーム画像間の動きベクトルの方向と逆であるように前記ゲインを設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画像を構成する各フレーム画像からＭ個（Ｍは３以上の整数）のサブフレーム画像を生成し出力することによりフレームレート変換を行なう画像処理装置の制御方法であって、
注目フレーム画像と該注目フレーム画像に後続する後続フレーム画像との差分に基づいて、前記注目フレーム画像の各領域について動きベクトルを導出する導出工程と、
前記注目フレーム画像と前記動きベクトルとに基づいて、前記注目フレーム画像と前記後続フレーム画像との間の時間をＭ等分した時間位置での動き補償フレーム画像を生成する生成工程と、
前記Ｍ個のサブフレーム画像として、前記注目フレーム画像のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する出力工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図５】
【図８】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図５】
【図８】
【公開番号】特開２０１１−１８８３００（Ｐ２０１１−１８８３００Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５２１９４（Ｐ２０１０−５２１９４）
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月９日（２０１０．３．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]