画像処理装置およびその制御方法
【課題】 入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることが可能な画像処理装置およびその制御方法を提供する。
【解決手段】 本発明の画像処理装置１００において、補間フレーム生成部１０５は、フェードシーンが検出されない期間は、動きベクトル検出部１０４により検出された動きベクトルを用いて補間フレームを生成する。一方、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とする。輝度補正部１０６は、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する。
【解決手段】 本発明の画像処理装置１００において、補間フレーム生成部１０５は、フェードシーンが検出されない期間は、動きベクトル検出部１０４により検出された動きベクトルを用いて補間フレームを生成する。一方、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とする。輝度補正部１０６は、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像のフレームレートを変換する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
従来から、液晶ディスプレイは応答速度が遅いことによる残像感が課題とされてきた。近年では、入力映像のフレーム数を２倍や４倍に増やして液晶パネルを高速駆動することによりフレームレートを変換し、残像感を低減する技術の開発が進められている。
【０００３】
入力映像のフレームレートを変換するために、入力映像から動きベクトルを検出して補間フレームを作成する方法がある（特許文献１参照）。入力映像のフレーム間の画素値を比較することにより、ブロック単位で動きベクトルを検出する。そして、検出した動きベクトルを用いて、フレーム間に挿入する補間フレームを生成することで、動物体の移動を滑らかにして残像感を低減する。
【０００４】
ところで、入力映像のシーンの転換時などに、画像全体を徐々に暗くする特殊効果（フェードアウト）や、暗い画面から画像を徐々に浮かび上がらせる特殊効果（フェードイン）では、フレーム間で画素値のレベル差が発生する。このようなフェードシーンでは、フェードシーンの輝度変化に伴い動きベクトルを誤検出してしまい、誤検出した動きベクトルを用いて補間フレームを生成すると、フレームレート変換後の出力映像が乱れてしまうという問題がある。
【０００５】
そこで、フェードイン、フェードアウトを検出して、動きベクトルの値をゼロに補正することで、動きベクトルの誤検出を防ぐ技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０６９９６１号公報
【特許文献２】特開２００７−２４３６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２のようにフェードシーンの動きベクトルの値をゼロに補正すると、挿入する補間フレームの前フレーム（または後フレーム）の画像と同じ画像が、補間フレームの画像として生成される。このため、補間フレームを生成した際に、フェードシーンに輝度変化の段差が発生してしまうという課題があった。
【０００８】
そこで、本発明は、入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることが可能な画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る画像処理装置は、入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置であって、入力映像から動きベクトルを検出する動きベクトル検出手段と、入力映像を構成する各フレームの輝度情報を取得する取得手段と、取得手段により取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出手段と、フェードシーンが検出されない期間は、動きベクトル検出手段により検出された動きベクトルを用いて補間フレームを生成し、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成手段と、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する輝度補正手段と、を備える。
【００１０】
また、本発明に係る画像処理装置の制御方法は、入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置の制御方法であって、入力映像から動きベクトルを検出する動きベクトル検出ステップと、入力映像を構成する各フレームの輝度情報を取得する取得ステップと、取得ステップで取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出ステップと、フェードシーンが検出されない期間は、動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームを生成し、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成ステップと、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する輝度補正ステップと、を有する。
【発明の効果】
【００１１】
本発明によれば、入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】入力映像のフレームレートが２倍に変換される様子を示す図である。
【図３】図１に示した輝度情報取得部とフェード検出部の動作について説明するためのフローチャートである。
【図４】入力映像のＮ−３フレームからＮ＋３フレームまでの輝度変化の一例を示す図である。
【図５】図１に示した動きベクトル補正部と、補間フレーム生成部と、輝度補正部の動作について説明するためのフローチャートである。
【図６】フェードシーンにおける輝度補正部による輝度補正の処理について説明するための図である。
【図７】入力映像のフレームレートが４倍に変換される様子を示す図である。
【図８】入力映像のフレームレートを４倍に変換する際のフェードシーンにおける輝度補正の処理について説明するための図である。
【発明を実施するための形態】
【００１３】
（実施の形態１）
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図２は、入力映像のフレームレートが２倍に変換される様子を示す図である。この実施の形態１では、入力映像のフレームレートを２倍に変換して出力する場合を例に挙げて説明する。
【００１４】
画像処理装置１００は、動きベクトル検出部１０１と、輝度情報取得部１０２と、フェード検出部１０３と、動きベクトル補正部１０４と、補間フレーム生成部１０５と、輝度補正部１０６と、フレームレート設定部１０７とを備える。なお、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのシステム制御部が、画像処理装置１００内の各構成要素を統括的に制御する。
【００１５】
動きベクトル検出部１０１は、入力映像信号から動きベクトルを検出し、動きベクトル補正部１０４に出力する。例えば、ブロックマッチング法などを用いて、入力映像のフレーム間で画素値を比較することにより、ブロック単位で動きベクトルを検出する。輝度情報取得部１０２は、入力映像を構成する各フレームの輝度情報を取得する。例えば、各フレームの画像内の画素の輝度値の合計を、画像全体の画素数で割ることで、平均輝度を算出する。ただし、各フレームの輝度ヒストグラムを輝度情報として取得してもよい。
【００１６】
フェード検出部１０３は、輝度情報取得部１０２により取得された輝度情報に基づいて、入力映像を構成するフレームの輝度が徐々に増加または減少するフェードシーンを検出する。具体的には、３つ以上の連続するフレームの輝度情報を比較し、フレーム間の輝度差が連続して同じ大きさとなっている期間をフェードシーンとして検出する。
【００１７】
動きベクトル補正部１０４は、フェード検出部１０３によりフェードシーンが検出されない期間は、動きベクトル検出部１０１により検出された動きベクトルを補正せずに出力する。一方、フェード検出部１０３によりフェードシーンが検出された期間は、フェードシーンの期間に対応するフレームの動きベクトルをゼロに補正して出力する。具体的には、フェードシーンの期間に対応するフレーム内の全ブロックの動きベクトルをゼロに補正する。
【００１８】
補間フレーム生成部１０５は、動きベクトル補正部１０４から出力される動きベクトルを用いて、入力映像を構成するフレーム間に挿入する補間フレームを生成する。動きベクトル補正部１０４から出力される動きベクトルがゼロの場合は、挿入する補間フレームの前フレーム（または後フレーム）の画像と同じ画像が、補間フレームの画像として生成される。フレームレート設定部１０７は、ユーザの指示に従い出力映像のフレームレート（出力フレームレート）を設定する。ただし、動きの多い映像のシーンが検出された期間はフレームレートを２倍にするなど、所定の条件に従って自動的に出力フレームレートを設定変更するものであってもよい。補間フレーム生成部１０５は、フレームレート設定部１０７で設定された出力フレームレートになるように、入力映像を構成するフレーム間に挿入する補間フレームを生成する。輝度補正部１０６は、フェード検出部１０３によりフェードシーンが検出された期間は、補間フレーム生成部１０５により生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、補間フレームの輝度を補正する。
【００１９】
図３は、輝度情報取得部１０２とフェード検出部１０３の動作について説明するためのフローチャートである。ステップＳ１０１で、輝度情報取得部１０２は、連続する所定数（例えば３つ）のフレームの輝度情報を取得する。この輝度情報取得部１０２は、取得した複数のフレームの輝度情報をメモリに一時的に保持する。
【００２０】
次に、ステップＳ１０２で、フェード検出部１０３は、輝度情報取得部１０２が取得した所定数の連続するフレームの輝度情報から、フレーム間の輝度差を算出する。続いて、ステップＳ１０３で、フレーム間の輝度差が連続して同じ大きさとなっているか否かを判定する。ここで、フレーム間の輝度差が連続して同じ大きさとなっている場合は、ステップＳ１０３からステップＳ１０４に進み、その期間をフェードシーン（フェードインまたはフェードアウトの期間）と判断する。一方、フレーム間の輝度差が連続して同じ大きさとなっていない場合は、ステップＳ１０３からステップＳ１０５に進み、その期間をフェードシーンではないと判断する。このようにして、フェード検出部１０３は、フェードシーンの期間を検出する。
【００２１】
図４（ａ）〜図４（ｃ）は、入力映像のＮ−３フレームからＮ＋３フレームまでの輝度変化の一例を示す図である。図４（ａ）は、Ｎ―１フレームを基準とし、Ｎ−２フレームからＮフレームまでの連続する３つのフレームの輝度情報が取得された場合を示す。この場合、Ｎ−２フレームとＮ―１フレームの輝度差｛Ｙ（Ｎ−２）−Ｙ（Ｎ―１）｝＝０と、Ｎ―１フレームとＮフレームの輝度差｛Ｙ（Ｎ―１）−Ｙ（Ｎ）｝とは異なる。このため、Ｎ−２フレームからＮ―１フレームまでの期間は、フェードシーンではないと判断される。そして、Ｎ−１フレームからＮフレームまでの期間は、フェードシーンであるか否かの判断は保留にされる。
【００２２】
続けて、図４（ｂ）に示すように、Ｎフレームを基準とし、Ｎ−１フレームからＮ＋１フレームまでの連続する３つのフレームの輝度情報が取得され、同様の処理が行われる。Ｎ−１フレームとＮフレームの輝度差｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝と、ＮフレームとＮ＋１フレームの輝度差｛Ｙ（Ｎ）−Ｙ（Ｎ＋１）｝とは同じであるため、Ｎ−１フレームからＮ＋１フレームまでの期間はフェードシーンとして検出される。
【００２３】
続けて、図４（ｃ）に示すように、Ｎ＋１フレームを基準とし、ＮフレームからＮ＋２フレームまでの連続する３つのフレームの輝度情報を取得して、同様の処理が行われる。ＮフレームとＮ＋１フレームの輝度差｛Ｙ（Ｎ）−Ｙ（Ｎ＋１）｝と、Ｎ＋１フレームとＮ＋２フレームの輝度差｛Ｙ（Ｎ＋１）−Ｙ（Ｎ＋２）｝と、は同じであるため、ＮフレームからＮ＋２フレームまでの期間はフェードシーンとして検出される。
【００２４】
図５は、動きベクトル補正部１０４と、補間フレーム生成部１０５と、輝度補正部１０６の動作について説明するためのフローチャートである。動きベクトル補正部１０４は、フェード検出部１０３からフェードシーンの検出結果を受け、対象フレームがフェードシーンの期間に含まれない場合は、ステップＳ２０１からステップＳ２０７に進む。一方、対象フレームがフェードシーンの期間に含まれる場合は、ステップＳ２０１からステップＳ２０２に進む。例えば、図４（ａ）に示したように、Ｎ−２フレームは、フェードシーンの期間に含まれないため、ステップＳ２０７の処理が行われる。また、Ｎ−１，Ｎ，Ｎ＋１，・・・は、フェードシーンの期間に含まれるため、ステップＳ２０２の処理が行われる。
【００２５】
ステップＳ２０７に進んだ場合は、動きベクトル補正部１０４は、対象フレームのブロック単位の動きベクトルを補正せずに出力する。続いて、ステップＳ２０８で、補間フレーム生成部１０５は、対象フレームの動きベクトルを用いて、対象フレームの後に挿入する補間フレームを生成する。例えば、Ｎ−２フレームの動きベクトルを用いて、Ｎ−２フレームの後（Ｎ−２フレームとＮ−１フレームとの間）に挿入する補間フレームを生成する。
【００２６】
一方、ステップＳ２０２に進んだ場合は、動きベクトル補正部１０４は、対象フレームの全ブロックの動きベクトルをゼロに補正して出力する。続いて、ステップＳ２０３で、補間フレーム生成部１０５は、動きベクトル補正部１０４から出力される動きベクトルがゼロなので、対象フレームの画像と同じ画像を、対象フレームの後に挿入する補間フレームの画像として生成する。図２に示したように、Ｎ−１フレームの画像と同じ画像を、Ｎ−１フレームの後（Ｎ−１フレームとＮフレームとの間）に挿入する補間フレーム（Ｉ（Ｎ−１）フレーム）の画像として生成する。このように、フェードシーンの輝度変化に伴い誤検出した動きベクトルを用いることなく、ゼロに補正された動きベクトルを用いて補間フレームを生成する。したがって、補間フレームを生成して入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制することができる。
【００２７】
次に、ステップＳ２０４で、輝度補正部１０６は、フレームレート設定部１０７から出力フレームレートの情報を取得する。続いて、ステップＳ２０５で、補間フレーム生成部１０５により生成された補間フレームの前フレームおよび後フレームの輝度情報を輝度情報取得部１０２から取得する。次に、ステップＳ２０６で、輝度補正部１０６は、フェード検出部１０３によりフェードシーンが検出された期間に挿入される補間フレームの前フレームおよび後フレームの輝度情報を用いて、補間フレームの輝度を補正する。
【００２８】
図６は、フェードシーンにおける輝度補正部１０６による輝度補正の処理について説明するための図である。補間フレームＩ（Ｎ−１）の輝度値Ｙ（Ｉ（Ｎ−１））は、その前フレームＮ−１の輝度値Ｙ（Ｎ−１）と後フレームＮの輝度値Ｙ（Ｎ）の平均値｛Ｙ（Ｎ−１）＋Ｙ（Ｎ）｝／２に補正される。補間フレームＩ（Ｎ）の輝度値Ｙ（Ｉ（Ｎ））は、その前フレームＮの輝度値Ｙ（Ｎ）と後フレームＮ＋１の輝度値Ｙ（Ｎ＋１）の平均値｛Ｙ（Ｎ）＋Ｙ（Ｎ＋１）｝／２に補正される。
【００２９】
これにより、図２に示すように、補間フレームを生成して入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることができる。
【００３０】
なお、本実施の形態では、フェード検出部１０３は、入力映像を構成するフレームの輝度が単調に増加または減少するフェードシーンを検出するものとして説明したが、これに限定されない。具体的には、入力映像を構成するフレームの輝度の増加率または減少率が時間経過とともに大きくなるシーンや、時間経過とともに小さくなるシーンも、フェードシーンとして検出するようにしてもよい。その場合、輝度補正部１０６は、入力映像を構成するフレームの輝度の増加率または減少率の変化に合わせて、補間フレームの輝度を算出して補正する。
【００３１】
（変更例）
次に、実施の形態１の変更例について説明する。実施の形態１では、入力映像のフレームレートを２倍に変換して出力する場合について説明したが、この変更例では、フレームレートを４倍に変換する場合について説明する。なお、２倍、４倍に限らず、補間フレームを生成してフレームレートを増やす場合には、本発明を適用することが可能である。例えば、シネマ映像を２−３プルダウンする場合にも適用できる。
【００３２】
図７は、入力映像のフレームレートが４倍に変換される様子を示す図である。図８は、入力映像のフレームレートを４倍に変換する際のフェードシーンにおける輝度補正の処理について説明するための図である。
【００３３】
補間フレーム生成部１０５は、Ｎ−１フレームの画像と同じ画像を、Ｎ−１フレームの後（Ｎ−１フレームとＮフレームとの間）に挿入する補間フレーム（ＩＡ（Ｎ−１）〜ＩＣ（Ｎ−１）フレーム）の画像として生成する。
【００３４】
輝度補正部１０６は、ＩＡ（Ｎ−１）〜ＩＣ（Ｎ−１）フレームの輝度値ＹＡ（Ｉ（Ｎ−１））〜ＹＣ（Ｉ（Ｎ−１））を、以下の数式（数１）〜（数３）を用いて算出される値に補正する。
ＹＡ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数１）
ＹＢ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−２×｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数２）
ＹＣ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−３×｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数３）
このように、フェードシーンにおける出力映像の輝度変化が線形になるように、補間フレームの輝度が補正される。
【００３５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３６】
１００ 画像処理装置
１０１ 動きベクトル検出部
１０２ 輝度情報取得部
１０３ フェード検出部
１０４ 動きベクトル補正部
１０５ 補間フレーム生成部
１０６ 輝度補正部
１０７ フレームレート設定部
【技術分野】
【０００１】
本発明は、入力映像のフレームレートを変換する画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
従来から、液晶ディスプレイは応答速度が遅いことによる残像感が課題とされてきた。近年では、入力映像のフレーム数を２倍や４倍に増やして液晶パネルを高速駆動することによりフレームレートを変換し、残像感を低減する技術の開発が進められている。
【０００３】
入力映像のフレームレートを変換するために、入力映像から動きベクトルを検出して補間フレームを作成する方法がある（特許文献１参照）。入力映像のフレーム間の画素値を比較することにより、ブロック単位で動きベクトルを検出する。そして、検出した動きベクトルを用いて、フレーム間に挿入する補間フレームを生成することで、動物体の移動を滑らかにして残像感を低減する。
【０００４】
ところで、入力映像のシーンの転換時などに、画像全体を徐々に暗くする特殊効果（フェードアウト）や、暗い画面から画像を徐々に浮かび上がらせる特殊効果（フェードイン）では、フレーム間で画素値のレベル差が発生する。このようなフェードシーンでは、フェードシーンの輝度変化に伴い動きベクトルを誤検出してしまい、誤検出した動きベクトルを用いて補間フレームを生成すると、フレームレート変換後の出力映像が乱れてしまうという問題がある。
【０００５】
そこで、フェードイン、フェードアウトを検出して、動きベクトルの値をゼロに補正することで、動きベクトルの誤検出を防ぐ技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０６９９６１号公報
【特許文献２】特開２００７−２４３６２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２のようにフェードシーンの動きベクトルの値をゼロに補正すると、挿入する補間フレームの前フレーム（または後フレーム）の画像と同じ画像が、補間フレームの画像として生成される。このため、補間フレームを生成した際に、フェードシーンに輝度変化の段差が発生してしまうという課題があった。
【０００８】
そこで、本発明は、入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることが可能な画像処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る画像処理装置は、入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置であって、入力映像から動きベクトルを検出する動きベクトル検出手段と、入力映像を構成する各フレームの輝度情報を取得する取得手段と、取得手段により取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出手段と、フェードシーンが検出されない期間は、動きベクトル検出手段により検出された動きベクトルを用いて補間フレームを生成し、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成手段と、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する輝度補正手段と、を備える。
【００１０】
また、本発明に係る画像処理装置の制御方法は、入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置の制御方法であって、入力映像から動きベクトルを検出する動きベクトル検出ステップと、入力映像を構成する各フレームの輝度情報を取得する取得ステップと、取得ステップで取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出ステップと、フェードシーンが検出されない期間は、動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームを生成し、フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成ステップと、フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、生成された補間フレームの輝度を補正する輝度補正ステップと、を有する。
【発明の効果】
【００１１】
本発明によれば、入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。
【図２】入力映像のフレームレートが２倍に変換される様子を示す図である。
【図３】図１に示した輝度情報取得部とフェード検出部の動作について説明するためのフローチャートである。
【図４】入力映像のＮ−３フレームからＮ＋３フレームまでの輝度変化の一例を示す図である。
【図５】図１に示した動きベクトル補正部と、補間フレーム生成部と、輝度補正部の動作について説明するためのフローチャートである。
【図６】フェードシーンにおける輝度補正部による輝度補正の処理について説明するための図である。
【図７】入力映像のフレームレートが４倍に変換される様子を示す図である。
【図８】入力映像のフレームレートを４倍に変換する際のフェードシーンにおける輝度補正の処理について説明するための図である。
【発明を実施するための形態】
【００１３】
（実施の形態１）
以下、図面を用いて本発明の実施の形態について説明する。図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図２は、入力映像のフレームレートが２倍に変換される様子を示す図である。この実施の形態１では、入力映像のフレームレートを２倍に変換して出力する場合を例に挙げて説明する。
【００１４】
画像処理装置１００は、動きベクトル検出部１０１と、輝度情報取得部１０２と、フェード検出部１０３と、動きベクトル補正部１０４と、補間フレーム生成部１０５と、輝度補正部１０６と、フレームレート設定部１０７とを備える。なお、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのシステム制御部が、画像処理装置１００内の各構成要素を統括的に制御する。
【００１５】
動きベクトル検出部１０１は、入力映像信号から動きベクトルを検出し、動きベクトル補正部１０４に出力する。例えば、ブロックマッチング法などを用いて、入力映像のフレーム間で画素値を比較することにより、ブロック単位で動きベクトルを検出する。輝度情報取得部１０２は、入力映像を構成する各フレームの輝度情報を取得する。例えば、各フレームの画像内の画素の輝度値の合計を、画像全体の画素数で割ることで、平均輝度を算出する。ただし、各フレームの輝度ヒストグラムを輝度情報として取得してもよい。
【００１６】
フェード検出部１０３は、輝度情報取得部１０２により取得された輝度情報に基づいて、入力映像を構成するフレームの輝度が徐々に増加または減少するフェードシーンを検出する。具体的には、３つ以上の連続するフレームの輝度情報を比較し、フレーム間の輝度差が連続して同じ大きさとなっている期間をフェードシーンとして検出する。
【００１７】
動きベクトル補正部１０４は、フェード検出部１０３によりフェードシーンが検出されない期間は、動きベクトル検出部１０１により検出された動きベクトルを補正せずに出力する。一方、フェード検出部１０３によりフェードシーンが検出された期間は、フェードシーンの期間に対応するフレームの動きベクトルをゼロに補正して出力する。具体的には、フェードシーンの期間に対応するフレーム内の全ブロックの動きベクトルをゼロに補正する。
【００１８】
補間フレーム生成部１０５は、動きベクトル補正部１０４から出力される動きベクトルを用いて、入力映像を構成するフレーム間に挿入する補間フレームを生成する。動きベクトル補正部１０４から出力される動きベクトルがゼロの場合は、挿入する補間フレームの前フレーム（または後フレーム）の画像と同じ画像が、補間フレームの画像として生成される。フレームレート設定部１０７は、ユーザの指示に従い出力映像のフレームレート（出力フレームレート）を設定する。ただし、動きの多い映像のシーンが検出された期間はフレームレートを２倍にするなど、所定の条件に従って自動的に出力フレームレートを設定変更するものであってもよい。補間フレーム生成部１０５は、フレームレート設定部１０７で設定された出力フレームレートになるように、入力映像を構成するフレーム間に挿入する補間フレームを生成する。輝度補正部１０６は、フェード検出部１０３によりフェードシーンが検出された期間は、補間フレーム生成部１０５により生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、補間フレームの輝度を補正する。
【００１９】
図３は、輝度情報取得部１０２とフェード検出部１０３の動作について説明するためのフローチャートである。ステップＳ１０１で、輝度情報取得部１０２は、連続する所定数（例えば３つ）のフレームの輝度情報を取得する。この輝度情報取得部１０２は、取得した複数のフレームの輝度情報をメモリに一時的に保持する。
【００２０】
次に、ステップＳ１０２で、フェード検出部１０３は、輝度情報取得部１０２が取得した所定数の連続するフレームの輝度情報から、フレーム間の輝度差を算出する。続いて、ステップＳ１０３で、フレーム間の輝度差が連続して同じ大きさとなっているか否かを判定する。ここで、フレーム間の輝度差が連続して同じ大きさとなっている場合は、ステップＳ１０３からステップＳ１０４に進み、その期間をフェードシーン（フェードインまたはフェードアウトの期間）と判断する。一方、フレーム間の輝度差が連続して同じ大きさとなっていない場合は、ステップＳ１０３からステップＳ１０５に進み、その期間をフェードシーンではないと判断する。このようにして、フェード検出部１０３は、フェードシーンの期間を検出する。
【００２１】
図４（ａ）〜図４（ｃ）は、入力映像のＮ−３フレームからＮ＋３フレームまでの輝度変化の一例を示す図である。図４（ａ）は、Ｎ―１フレームを基準とし、Ｎ−２フレームからＮフレームまでの連続する３つのフレームの輝度情報が取得された場合を示す。この場合、Ｎ−２フレームとＮ―１フレームの輝度差｛Ｙ（Ｎ−２）−Ｙ（Ｎ―１）｝＝０と、Ｎ―１フレームとＮフレームの輝度差｛Ｙ（Ｎ―１）−Ｙ（Ｎ）｝とは異なる。このため、Ｎ−２フレームからＮ―１フレームまでの期間は、フェードシーンではないと判断される。そして、Ｎ−１フレームからＮフレームまでの期間は、フェードシーンであるか否かの判断は保留にされる。
【００２２】
続けて、図４（ｂ）に示すように、Ｎフレームを基準とし、Ｎ−１フレームからＮ＋１フレームまでの連続する３つのフレームの輝度情報が取得され、同様の処理が行われる。Ｎ−１フレームとＮフレームの輝度差｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝と、ＮフレームとＮ＋１フレームの輝度差｛Ｙ（Ｎ）−Ｙ（Ｎ＋１）｝とは同じであるため、Ｎ−１フレームからＮ＋１フレームまでの期間はフェードシーンとして検出される。
【００２３】
続けて、図４（ｃ）に示すように、Ｎ＋１フレームを基準とし、ＮフレームからＮ＋２フレームまでの連続する３つのフレームの輝度情報を取得して、同様の処理が行われる。ＮフレームとＮ＋１フレームの輝度差｛Ｙ（Ｎ）−Ｙ（Ｎ＋１）｝と、Ｎ＋１フレームとＮ＋２フレームの輝度差｛Ｙ（Ｎ＋１）−Ｙ（Ｎ＋２）｝と、は同じであるため、ＮフレームからＮ＋２フレームまでの期間はフェードシーンとして検出される。
【００２４】
図５は、動きベクトル補正部１０４と、補間フレーム生成部１０５と、輝度補正部１０６の動作について説明するためのフローチャートである。動きベクトル補正部１０４は、フェード検出部１０３からフェードシーンの検出結果を受け、対象フレームがフェードシーンの期間に含まれない場合は、ステップＳ２０１からステップＳ２０７に進む。一方、対象フレームがフェードシーンの期間に含まれる場合は、ステップＳ２０１からステップＳ２０２に進む。例えば、図４（ａ）に示したように、Ｎ−２フレームは、フェードシーンの期間に含まれないため、ステップＳ２０７の処理が行われる。また、Ｎ−１，Ｎ，Ｎ＋１，・・・は、フェードシーンの期間に含まれるため、ステップＳ２０２の処理が行われる。
【００２５】
ステップＳ２０７に進んだ場合は、動きベクトル補正部１０４は、対象フレームのブロック単位の動きベクトルを補正せずに出力する。続いて、ステップＳ２０８で、補間フレーム生成部１０５は、対象フレームの動きベクトルを用いて、対象フレームの後に挿入する補間フレームを生成する。例えば、Ｎ−２フレームの動きベクトルを用いて、Ｎ−２フレームの後（Ｎ−２フレームとＮ−１フレームとの間）に挿入する補間フレームを生成する。
【００２６】
一方、ステップＳ２０２に進んだ場合は、動きベクトル補正部１０４は、対象フレームの全ブロックの動きベクトルをゼロに補正して出力する。続いて、ステップＳ２０３で、補間フレーム生成部１０５は、動きベクトル補正部１０４から出力される動きベクトルがゼロなので、対象フレームの画像と同じ画像を、対象フレームの後に挿入する補間フレームの画像として生成する。図２に示したように、Ｎ−１フレームの画像と同じ画像を、Ｎ−１フレームの後（Ｎ−１フレームとＮフレームとの間）に挿入する補間フレーム（Ｉ（Ｎ−１）フレーム）の画像として生成する。このように、フェードシーンの輝度変化に伴い誤検出した動きベクトルを用いることなく、ゼロに補正された動きベクトルを用いて補間フレームを生成する。したがって、補間フレームを生成して入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制することができる。
【００２７】
次に、ステップＳ２０４で、輝度補正部１０６は、フレームレート設定部１０７から出力フレームレートの情報を取得する。続いて、ステップＳ２０５で、補間フレーム生成部１０５により生成された補間フレームの前フレームおよび後フレームの輝度情報を輝度情報取得部１０２から取得する。次に、ステップＳ２０６で、輝度補正部１０６は、フェード検出部１０３によりフェードシーンが検出された期間に挿入される補間フレームの前フレームおよび後フレームの輝度情報を用いて、補間フレームの輝度を補正する。
【００２８】
図６は、フェードシーンにおける輝度補正部１０６による輝度補正の処理について説明するための図である。補間フレームＩ（Ｎ−１）の輝度値Ｙ（Ｉ（Ｎ−１））は、その前フレームＮ−１の輝度値Ｙ（Ｎ−１）と後フレームＮの輝度値Ｙ（Ｎ）の平均値｛Ｙ（Ｎ−１）＋Ｙ（Ｎ）｝／２に補正される。補間フレームＩ（Ｎ）の輝度値Ｙ（Ｉ（Ｎ））は、その前フレームＮの輝度値Ｙ（Ｎ）と後フレームＮ＋１の輝度値Ｙ（Ｎ＋１）の平均値｛Ｙ（Ｎ）＋Ｙ（Ｎ＋１）｝／２に補正される。
【００２９】
これにより、図２に示すように、補間フレームを生成して入力映像のフレームレートを変換する際に、フェードシーンにおける動きベクトルの誤検出に伴う出力映像の乱れを抑制し、かつフェードシーンにおける出力映像の輝度変化を滑らかにすることができる。
【００３０】
なお、本実施の形態では、フェード検出部１０３は、入力映像を構成するフレームの輝度が単調に増加または減少するフェードシーンを検出するものとして説明したが、これに限定されない。具体的には、入力映像を構成するフレームの輝度の増加率または減少率が時間経過とともに大きくなるシーンや、時間経過とともに小さくなるシーンも、フェードシーンとして検出するようにしてもよい。その場合、輝度補正部１０６は、入力映像を構成するフレームの輝度の増加率または減少率の変化に合わせて、補間フレームの輝度を算出して補正する。
【００３１】
（変更例）
次に、実施の形態１の変更例について説明する。実施の形態１では、入力映像のフレームレートを２倍に変換して出力する場合について説明したが、この変更例では、フレームレートを４倍に変換する場合について説明する。なお、２倍、４倍に限らず、補間フレームを生成してフレームレートを増やす場合には、本発明を適用することが可能である。例えば、シネマ映像を２−３プルダウンする場合にも適用できる。
【００３２】
図７は、入力映像のフレームレートが４倍に変換される様子を示す図である。図８は、入力映像のフレームレートを４倍に変換する際のフェードシーンにおける輝度補正の処理について説明するための図である。
【００３３】
補間フレーム生成部１０５は、Ｎ−１フレームの画像と同じ画像を、Ｎ−１フレームの後（Ｎ−１フレームとＮフレームとの間）に挿入する補間フレーム（ＩＡ（Ｎ−１）〜ＩＣ（Ｎ−１）フレーム）の画像として生成する。
【００３４】
輝度補正部１０６は、ＩＡ（Ｎ−１）〜ＩＣ（Ｎ−１）フレームの輝度値ＹＡ（Ｉ（Ｎ−１））〜ＹＣ（Ｉ（Ｎ−１））を、以下の数式（数１）〜（数３）を用いて算出される値に補正する。
ＹＡ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数１）
ＹＢ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−２×｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数２）
ＹＣ（Ｉ（Ｎ−１））＝Ｙ（Ｎ−１）−３×｛Ｙ（Ｎ−１）−Ｙ（Ｎ）｝／４ （数３）
このように、フェードシーンにおける出力映像の輝度変化が線形になるように、補間フレームの輝度が補正される。
【００３５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３６】
１００ 画像処理装置
１０１ 動きベクトル検出部
１０２ 輝度情報取得部
１０３ フェード検出部
１０４ 動きベクトル補正部
１０５ 補間フレーム生成部
１０６ 輝度補正部
１０７ フレームレート設定部
【特許請求の範囲】
【請求項１】
入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置であって、
前記入力映像から動きベクトルを検出する動きベクトル検出手段と、
前記入力映像を構成する各フレームの輝度情報を取得する取得手段と、
前記取得手段により取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出手段と、
前記フェードシーンが検出されない期間は、前記動きベクトル検出手段により検出された動きベクトルを用いて補間フレームを生成し、前記フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成手段と、
前記フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、前記生成された補間フレームの輝度を補正する輝度補正手段と、を備える画像処理装置。
【請求項２】
前記輝度補正手段は、前記生成された補間フレームの前フレームから後フレームまでの期間の輝度変化が線形になるように、当該補間フレームの輝度を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フェード検出手段は、前記入力映像を構成するフレーム間の輝度差が連続して同じ大きさとなっている期間をフェードシーンとして検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置の制御方法であって、
前記入力映像から動きベクトルを検出する動きベクトル検出ステップと、
前記入力映像を構成する各フレームの輝度情報を取得する取得ステップと、
前記取得ステップで取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出ステップと、
前記フェードシーンが検出されない期間は、前記動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームを生成し、前記フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成ステップと、
前記フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、前記生成された補間フレームの輝度を補正する輝度補正ステップと、を有する画像処理装置の制御方法。
【請求項１】
入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置であって、
前記入力映像から動きベクトルを検出する動きベクトル検出手段と、
前記入力映像を構成する各フレームの輝度情報を取得する取得手段と、
前記取得手段により取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出手段と、
前記フェードシーンが検出されない期間は、前記動きベクトル検出手段により検出された動きベクトルを用いて補間フレームを生成し、前記フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成手段と、
前記フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、前記生成された補間フレームの輝度を補正する輝度補正手段と、を備える画像処理装置。
【請求項２】
前記輝度補正手段は、前記生成された補間フレームの前フレームから後フレームまでの期間の輝度変化が線形になるように、当該補間フレームの輝度を補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フェード検出手段は、前記入力映像を構成するフレーム間の輝度差が連続して同じ大きさとなっている期間をフェードシーンとして検出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
入力映像を構成するフレーム間に補間フレームを挿入して、入力映像のフレームレートを変換する画像処理装置の制御方法であって、
前記入力映像から動きベクトルを検出する動きベクトル検出ステップと、
前記入力映像を構成する各フレームの輝度情報を取得する取得ステップと、
前記取得ステップで取得された輝度情報に基づいて、フレームの輝度が徐々に増加または減少するフェードシーンを検出するフェード検出ステップと、
前記フェードシーンが検出されない期間は、前記動きベクトル検出ステップで検出された動きベクトルを用いて補間フレームを生成し、前記フェードシーンが検出された期間は、挿入する補間フレームの前フレームまたは後フレームの画像と同じ画像を補間フレームの画像とすることにより補間フレームを生成する補間フレーム生成ステップと、
前記フェードシーンが検出された期間は、生成された補間フレームの前フレームおよび後フレームの輝度情報を用いて、前記生成された補間フレームの輝度を補正する輝度補正ステップと、を有する画像処理装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２５０１０２（Ｐ２０１１−２５０１０２Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２０７４３（Ｐ２０１０−１２０７４３）
【出願日】平成２２年５月２６日（２０１０．５．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２６日（２０１０．５．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]