フレームレート変換装置及びその制御方法
【課題】動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができ、ひいては画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することのできる技術を提供する。
【解決手段】本発明のフレームレート変換装置は、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、合成動画像のフレーム間に挿入する補間フレームの注目画素が、ブレンド領域内の画素であるか否かを判定する判定手段と、判定結果に応じて、補間フレームの注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有する。
【解決手段】本発明のフレームレート変換装置は、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、合成動画像のフレーム間に挿入する補間フレームの注目画素が、ブレンド領域内の画素であるか否かを判定する判定手段と、判定結果に応じて、補間フレームの注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレート変換装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、動画像と静止画像が合成された映像（合成動画像）のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換する技術がある。そのような技術では、補間フレームを生成する際に、補間フレームの画像が劣化してしまうという問題がある。そのような問題を解決するための方法として、例えば、合成動画像の動画像部分に対して動きベクトルの検出を伴うフレームレート変換を行い、静止画像部分に対して動きベクトルの検出を伴わないフレームレート変換を行う方法がある（特許文献１，２）。特許文献１，２に開示の技術では、上記方法により、静止画像部分の劣化の抑制を図っている。しかしながら、合成動画像から動きベクトルが検出されるため、動きベクトルを誤検出する虞がある。また、検出された動きベクトルが静止画像部分の画素位置を指し示した場合に、補間フレームの画像が乱れる（劣化する）虞がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０５９１号公報
【特許文献２】特開２００８−２２８２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができ、ひいては画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換するフレームレート変換装置であって、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、合成手段により生成された合成動画像のフレーム間に挿入する補間フレームの注目画素が、ブレンド領域内の画素であるか否かを判定する判定手段と、補間フレームの注目画素がブレンド領域内の画素であると判定された場合は、補間フレームの前または後の合成動画像のフレームにおける注目画素と同じ位置の画素値を注目画素の画素値として決定し、補間フレームの注目画素がブレンド領域内の画素でないと判定された場合は、補間フレームの前および後の合成動画像のフレームの少なくとも一方における、注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有することを特徴とするフレームレート変換装置である。
【０００６】
本発明の第２の態様は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換するフレームレート変換装置であって、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、不透明度が所定の閾値より大きいか否かを判定する判定手段と、不透明度が所定の閾値より大きいと判定された場合は
、補間フレームの前または後の合成動画像のフレームの各画素値を補間フレームの各画素値として決定し、不透明度が所定の閾値以下であると判定された場合は、補間フレームの前および後の合成動画像のフレームの少なくとも一方における、補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有することを特徴とするフレームレート変換装置である。
【発明の効果】
【０００７】
本発明によれば、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができ、ひいては画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することのできる技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施例に係るフレームレート変換装置の機能構成を示すブロック図。
【図２】ブレンド領域信号生成処理の一例を示すフローチャート。
【図３】フレームの画像の一例を示す図。
【図４】実施例１の最終補間フレームの生成処理の一例を示すフローチャート。
【図５】動きベクトル検出処理を説明する図。
【図６】合成映像データから補間フレームデータが生成される例を示す図。
【図７】実施例２の最終補間フレームの生成処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
＜実施例１＞
以下、本発明の実施例１に係るフレームレート変換装置及びその制御方法について説明する。本実施例に係るフレームレート変換装置は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換する。
【００１０】
（構成）
図１は本実施例に係るフレームレート変換装置の機能構成を示すブロック図である。
映像入力部１０１は、フレームレート変換装置に入力された入力映像データ（静止画像が合成されていない動画像）をフレームメモリ１０２に書き込む。
動きベクトル検出部１０８は、入力映像データから、各画素位置での映像の動きを検出して動き情報を生成する。具体的には、入力映像データからフレーム間の動きベクトルを画素位置毎に検出し、検出結果を動きベクトルデータとして出力する。
【００１１】
合成部１０４は、入力映像データ（動画像）の一部の領域（ブレンド領域）にグラフィックデータを所定のブレンド率（不透明度）で合成し、合成映像データ（静止画像が合成された合成動画像）を生成する。グラフィックデータは、例えば、ＧＵＩなどに用いられる図形・文字・絵柄などの静止画像であり、グラフィックメモリ１０５に蓄積されている。また、合成部１０４で生成された合成映像データはフレームメモリ１１０へ書き込まれる。
合成映像出力部１１２は、フレームメモリ１１０から合成映像データを読み出す。
【００１２】
ブレンド領域信号生成部１０７は、合成映像データの各フレームについて、画素毎に、ブレンド領域内の画素か否かを判定し、判定結果をブレンド領域信号として出力する。ブレンド領域とは、合成動画像において静止画像が合成されている領域のことである。閾値設定部１０６で予め設定されたブレンド率の閾値を用いて、ブレンド領域内の画素か否かが判定される。
動き補間フレーム生成部１１１は、動き情報（動きベクトルデータ）に基づいて、合成
映像データから補間フレームデータ（補間フレーム）を生成する。
【００１３】
最終補間フレーム出力部１１３は、フレームレートが変換された合成映像データを出力映像データとして映像出力部１１４へ出力する。具体的には、最終補間フレーム出力部１１３は、最終補間フレームの各画素の画素値として、合成映像データと補間フレームデータのいずれか一方の画素値を選択する。なお、本実施例では、最終補間フレーム出力部１１３は、（後述する）画素判定部１０９での判定結果を用いて最終的な補間フレームデータ（最終補間フレームデータ）を生成し、出力する（詳細は後述する）。
【００１４】
画素判定部１０９は、動きベクトルデータとブレンド領域信号を用いて、最終補間フレームの各画素に対して割り当てる画素値を動き補間フレーム生成部１１１と合成映像出力部１１２のどちらから読み出すべきかを判定する。そして、その判定結果を最終補間フレーム出力部１１３へ出力する。
映像出力部１１４は、フレームメモリ１１０から読み出された合成動画像の各フレームの間に、最終補間フレーム出力部１１３から出力された最終補間フレームを挿入して、フレームレート変換する。そして、フレームレート変換された映像データを後段の映像処理装置、表示装置、メモリなどの蓄積部に出力する。
なお、図１のフレームメモリ１０２、グラフィックメモリ１０５、フレームメモリ１１０としては、例えば、ハードディスクなどの磁気記録媒体や、揮発性メモリや不揮発性メモリなどの誘電体メモリが適用可能である。
【００１５】
（ブレンド領域信号の生成）
図２のフローチャートを用いて、ブレンド領域信号が生成されるまでの処理の流れについて説明する。
まず、合成部１０４が、合成映像データとブレンド率の情報（ブレンド率情報）をブレンド領域信号生成部１０７へ出力する（Ｓ２０１）。動画像の画素値をＡ、静止画像の画素値をＢ、ブレンド率をα（０≦α≦１）とすると、合成動画像の画素値Ｃは、例えば、以下の式１で表される。
Ｃ＝（１−α）×Ａ＋α×Ｂ （式１）
なお、α＝０のときは、静止画像が合成されていないことを意味する。
【００１６】
そして、ブレンド領域信号生成部１０７が、合成映像データの各フレームについて、画素毎に、対応するブレンド率αが閾値設定部１０６で設定された閾値より大きいか否かを判定する（Ｓ２０２）。ブレンド率αが閾値より大きい場合には（Ｓ２０２：ＹＥＳ）、ブレンド領域信号生成部１０７は、その画素がブレンド領域内の画素であると判定し、ブレンド領域信号をイネーブルに設定する（Ｓ２０３）。ブレンド率αが閾値以下である場合には（Ｓ２０２：ＮＯ）、ブレンド領域信号生成部１０７は、その画素がブレンド領域外の画素であると判定し、ブレンド領域信号をディセーブルに設定する（Ｓ２０４）。閾値は、例えば、動画像の方が静止画像よりも目立つブレンド率の最大値である。なお、閾値は、固定値であってもよいし、フレーム毎に画像の種類（特徴）に応じて設定されるものであってもよい。ユーザやメーカによって設定されてもよい。
【００１７】
図３はブレンド領域とそうでない領域の一例を示す。図３において領域７０２は、ブレンド率αが閾値以下である領域（ブレンド領域ではない領域）を示している。領域７０４は、ブレンド率αが閾値よりも大きい領域（ブレンド領域）を示している。
【００１８】
（最終補間フレームの生成）
図４のフローチャートを用いて、本実施例に係るフレームレート変換装置の最終補間フレームの生成処理について説明する。
まず、入力映像出力部１０３と合成部１０４が、フレームメモリ１０２から入力映像デ
ータを読み出す（Ｓ４０１）。そして、合成部１０４は、グラフィックメモリ１０５からグラフィックデータを読み出す（Ｓ４０２）。次に、合成部１０４は、読み出した入力映像データとグラフィックデータとを所定のブレンド率αで合成する（Ｓ４０３）。
【００１９】
そして、合成部１０４は、合成映像データを動き補間フレーム生成部１１１へ出力すると共に、合成映像データとブレンド率情報をブレンド領域信号生成部１０７へ出力する。また、入力映像出力部１０３が、それと同期して入力映像データを動きベクトル検出部１０８へ出力する（Ｓ４０４）。
次に、動きベクトル検出部１０８が、入力映像データからフレーム間の動きベクトルを検出し、検出結果を動きベクトルデータとして動き補間フレーム生成部１１１と画素判定部１０９へ出力する（Ｓ４０５）。本実施例では、合成映像データ（静止画像が合成された後の合成動画像）ではなく、入力映像データ（静止画像が合成される前の動画像）から動きベクトルを検出することにより、動きベクトルの誤検出や検出漏れを抑制することができる。図５を用いて詳しく説明する。なお、以下では或る時刻のフレームの画素に対応する画素を当該フレームの後のフレームから検出する場合について説明する。
【００２０】
図５（ａ）は、合成映像データから動きベクトルを検出する場合の従来例を示す図である。この場合には、動きベクトルの誤検出や検出漏れが生じることがある。例えば、或る時刻のフレーム５０１の画素５１１（ブレンド領域外の画素）がその直後のフレーム５０２の画素５１２（ブレンド領域内の画素）に対応する場合に誤検出や検出漏れが生じる虞がある。具体的には、画素５１２は、静止画像がブレンドされていることにより、入力時の画素値（入力映像データの画素値）とは異なる画素値を有する。そのため、動きベクトル検出部１０８は、画素５１１に対応する画素として画素５１２を検出することができないことがある（検出漏れ）。更に、画素５１１に対応する画素として画素５１２とは異なる画素（例えば、図５（ａ）の画素５１３）を検出してしまう虞がある（誤検出）。
また、或る時刻のフレーム５０３の画素５１４（ブレンド領域外の画素）がその直後のフレーム５０４の画素５１５（ブレンド領域外の画素）に対応する場合に誤検出が生じる虞がある。具体的には、静止画像がブレンドされることにより、フレーム５０４のブレンド領域内の画素値が、画素５１４の画素値と近い値となることがある。そのため、動きベクトル検出部１０８は、画素５１４に対応する画素として、画素５１５ではなく、フレーム５０４のブレンド領域内の画素（例えば、図５（ａ）の画素５１６）を検出してしまうことがある（誤検出）。
或る時刻のフレームの画素がブレンド領域内の画素である場合にも同様の理由から誤検出や検出漏れが生じる虞がある。
このような映像の動きの検出漏れや誤検出は、補間フレームの画像の乱れの原因となる。
一方、図５（ｂ）に示すように、本実施例では、入力映像データ（静止画像が合成される前の動画像）から映像の動きが検出されるため、上述したような誤検出や検出漏れが生じることはない。
【００２１】
なお、図４では省略しているが、上述したように、動き補間フレーム生成部１１１は、動きベクトルデータに基づいて、合成映像データから補間フレームデータを生成する。具体的には、動き情報（動きベクトルデータ）に基づいて位置が特定される対応画素（補間フレームの画素に対応する対応画素）を補間フレームの後のフレーム（合成動画像のフレーム；後フレーム）から検出して補間フレームデータを生成する。
図６（ａ）〜図６（ｃ）は、動き補間フレーム生成部１１１によって、動きベクトルデータに基づいて、合成映像データから補間フレームデータが生成される例を示す図である。図６（ａ）を参照して、補間フレームＦ（ｉ）の画素６０２は、合成映像データの前フレームＦ（ｉ−１）の画素６０１と、後フレームＦ（ｉ＋１）の画素６０３とを結ぶ動きベクトルの中間に位置する。画素６０１の画素値と画素６０３の画素値の平均値が算出さ
れ、画素６０２の画素値とされる。画素６０１〜６０３の画素位置は全てフレンド領域外であるため、補間フレームＦ（ｉ）のブレンド領域外の画素６０２の画素値は、ブレンド領域の静止画像の影響を受けない。
図６（ｂ）を参照して、補間フレームＦ（ｉ）の画素６１２は、合成映像データの前フレームＦ（ｉ−１）の画素６１１と、後フレームＦ（ｉ＋１）の画素６１３とを結ぶ動きベクトルの中間に位置する。画素６１１の画素値と画素６１３の画素値の平均値が算出され、画素６１２の画素値とされる。画素６１１，６１２の画素位置はフレンド領域外、画素６１３の画素位置はブレンド領域内である。このため、補間フレームＦ（ｉ）のブレンド領域外の画素６１２の画素値に対して、後フレームＦ（ｉ＋１）のブレンド領域内の画素６１３の画素値が加味されてしまう。
図６（ｃ）を参照して、補間フレームＦ（ｉ）の画素６２２は、合成映像データの前フレームＦ（ｉ−１）の画素６２１と、後フレームＦ（ｉ＋１）の画素６２３とを結ぶ動きベクトルの中間に位置する。画素６２１の画素値と画素６２３の画素値の平均値が算出され、画素６２２の画素値とされる。画素６２１の画素位置はフレンド領域外、画素６２２，６２３の画素位置はブレンド領域内である。このため、補間フレームＦ（ｉ）のブレンド領域内の画素６２２の画素値に対して、前フレームＦ（ｉ−１）のブレンド領域外の画素６２１の画素値が加味されてしまう。
【００２２】
（Ｓ４０５の）次に、ブレンド領域信号生成部１０７が、合成映像データの各フレームについて、画素毎に、ブレンド領域内の画素か否かを判定し、判定結果をブレンド領域信号として画素判定部１０９へ出力する（Ｓ４０６）。なお、合成画像データのフレーム内の各画素の画素位置と補間フレームの内の各画素の画素位置はズレがなく、同じであるものとする。つまり、ブレンド領域信号生成部１０７による合成映像データの各フレーム内の各画素についての判定結果は、補間フレーム（最終補間フレーム）内の各画素についての判定結果に置き換えられる。そして、画素判定部１０９が、動きベクトルデータとブレンド領域信号を用いて、最終補間フレームの画素値を動き補間フレーム生成部１１１と合成映像出力部１１２のどちらから読み出すべきかを判定し、その判定結果を最終補間フレーム出力部１１３へ出力する。
【００２３】
具体的には、Ｓ４０７で、画素判定部１０９が、最終補間フレームの注目画素（処理対象の画素）がブレンド領域内の画素か否かを判定する。図６（ｃ）に示すように、ブレンド領域内の画素に対し動きベクトルデータに基づいて決定した画素値を割り当てると、ブレンド領域内の画像（静止画像）が乱れる虞がある。そのため、最終補間フレームの処理対象の注目画素がブレンド領域内の画素である場合には（Ｓ４０７：ＹＥＳ）、画素判定部１０９は、その画素に対して割り当てる画素値は合成映像出力部１１２から読み出すべきであると判定し、Ｓ４０９へ進む。処理対象の注目画素がブレンド領域内の画素でない場合には（Ｓ４０７：ＮＯ）、Ｓ４０８へ進む。
【００２４】
Ｓ４０８では、画素判定部１０９が、最終補間フレームの処理対象の注目画素に対応する対応画素がブレンド領域内の画素か否かを判定する。具体的には、最終補間フレームの処理対象の注目画素に対応する動きベクトルが指す画素（最終補間フレームの後のフレームの画素）がブレンド領域内の画素であるか否かを判定する。図６（ｂ）に示すように、対応画素がブレンド領域内の画素である注目画素に対し動きベクトルデータに基づいて決定した画素値を割り当てると、ブレンド領域ではない位置に動画像と静止画像がブレンドされた画素が存在することとなるため、画像が乱れる虞がある。そのため、最終補間フレームの処理対象の注目画素の対応画素がブレンド領域内の画素である場合には（Ｓ４０８：ＹＥＳ）、画素判定部１０９は、その画素に対して割り当てる画素値は合成映像出力部１１２から読み出すべきであると判定し、Ｓ４０９へ進む。最終補間フレームの処理対象の注目画素の対応画素がブレンド領域内の画素でない場合には（Ｓ４０８：ＮＯ）、画素判定部１０９は、その画素に対して割り当てる画素値は動き補間フレーム生成部１１１か
ら読み出すべきであると判定し、Ｓ４１０へ進む。なお、画素判定部１０９は、前フレームＦ（ｉ−１）の画素６１１と後フレームＦ（ｉ＋１）の画素６１３とを結ぶ動きベクトルを、補間フレームＦ（ｉ）の画素６１２に対応付けられた動きベクトルと判別するものとする。
【００２５】
Ｓ４０９では、最終補間フレーム出力部１１３が、最終補間フレームの処理対象の注目画素に対して、最終補間フレームの前のフレーム（合成動画像のフレーム；前フレーム）における同じ位置（処理対象の画素と同じ位置）の画素値を割り当てる。
Ｓ４１０では、最終補間フレーム出力部１１３が、最終補間フレームの処理対象の注目画素の画素位置に対して、動き補間フレーム生成部１１１で生成された補間フレームにおける同じ位置の画素値を割り当てる。
上記処理を最終補間フレームの画素毎に行うことにより、最終補間フレームが生成される。
【００２６】
図３を用いて、最終補間フレームの画像について説明する。図３において、領域７０４は、ブレンド領域であり、前フレームの画素値が割り当てられた領域である。領域７０２は、ブレンド領域ではない領域であり、動き補間フレーム生成部１１１で生成された補間フレームの画素値が割り当てられた領域である。画素７０１は、対応する動きベクトル７０３が後フレームのブレンド領域内の画素を指す画素であり、前フレームの画素値が割り当てられた画素である。
【００２７】
このように、本実施例によれば、静止画像が合成される前の動画像から映像の動きが検出されるため、動きの誤検出や検出漏れを低減することができる。
また、本実施例によれば、ブレンド領域内の画素、及び、対応画素がブレンド領域内の画素である画素に対して前フレームにおける同じ位置の画素値が割り当てられる。そして、その他の画素に対しては、動き情報に基づいた画素値が割り当てられる。それにより、（最終）補間フレームの画像の劣化を抑制することができる。
なお、図４のＳ４０８の処理は本発明に必須ではなく、Ｓ４０８の処理は省略してもよい。つまり、最終補間フレームの処理対象の注目画素がブレンド領域内の画素でない場合には（Ｓ４０７：ＮＯ）、Ｓ４１０に進むようにしてもよい。
また、本実施例では、図４のＳ４０８でＹＥＳの場合（最終補間フレームの処理対象の注目画素がブレンド領域外の画素であり、かつ処理対象の注目画素に対応する動きベクトルが指す後フレームの画素がブレンド領域内の画素である場合）に、４０９に進むものとして説明したが、その他の例外処理を行ってもよい。具体的には、図６（ｂ）を参照して、補間フレームＦ（ｉ）の画素６１２の画素値を、合成映像データの前フレームＦ（ｉ−１）の画素６１１の画素値と同じ値にしてもよい。つまり、最終補間フレームの処理対象の注目画素の画素値として、その処理対象の注目画素に対応する動きベクトルにより特定される前フレームの対応画素の画素値を割り当てる。このようにすれば、補間フレームＦ（ｉ）のブレンド領域外の画素６１２の画素値は、後フレームＦ（ｉ＋１）のブレンド領域内の対応画素６１３の画素値の影響を受けずにすむ。
また、同様に、最終補間フレームの処理対象の注目画素がブレンド領域外の画素であり、かつ処理対象の注目画素に対応する動きベクトルにより特定される前フレームの画素がブレンド領域内の画素である場合も、例外処理を行ってもよい。具体的には、最終補間フレームの処理対象の注目画素の画素値として、その処理対象の注目画素に対応する動きベクトルにより特定される後フレームの対応画素の画素値を割り当てる。このようにすれば、最終補間フレームの前フレームにおけるブレンド領域内の対応画素の画素値の影響を受けずにすむ。
【００２８】
なお、本実施例では、ブレンド領域内の画素、及び、対応画素がブレンド領域内の画素である画素に対して前フレームにおける同じ位置の画素値を割り当てるものとしたが、そ
のような画素に対して後フレームにおける同じ位置の画素値を割り当ててもよい。
また、動き補間フレーム生成部１１１で生成された補間フレームを最終補間フレームとしてもよい。本実施例では、動きベクトルの誤検出や検出漏れが低減されるため、動き補間フレーム生成部１１１では、そのような誤検出や検出漏れによる画像の劣化が抑制された補間フレームを生成することができる。なお、本実施例では、後フレームから対応画素を検出するとしたが、前フレームから対応画素を検出してもよいし、前フレームと後フレームの両方から対応画素を検出してもよい。
【００２９】
なお、閾値設定部１０６で設定される閾値は０であってもよい。即ち、ブレンド率αが０より大きい領域をブレンド領域としてもよい。但し、ブレンド率が小さい場合には動画像の方が静止画像より目立つ。そのため、そのようなブレンド率で静止画像が動画像に合成されている場合には、静止画像が合成されている領域内の画素に対して、動き情報に基づいた画素値を割り当てることが好ましい。動画像の方が静止画像よりも目立つブレンド率の最大値を閾値とすれば、静止画像が合成されている領域内の画素に対して、適切な画素値を割り当てることができる。
【００３０】
＜実施例２＞
以下、本発明の実施例２に係るフレームレート変換装置及びその制御方法について説明する。本実施例では、合成動画像がブレンド領域を含む場合に、前フレームを最終補間フレームとする。なお、本実施例に係るフレームレート変換装置の構成及びブレンド領域信号の生成処理は、実施例１（図１，２）と同様のため説明は省略する。
【００３１】
（最終補間フレームの生成）
図７のフローチャートを用いて、本実施例に係るフレームレート変換装置の最終補間フレームの生成処理について説明する。
Ｓ１１０１〜Ｓ１１０６の処理は実施例１（図４のＳ４０１〜Ｓ４０６の処理）と同様のため、説明は省略する。
（Ｓ１１０６の）次に、画素判定部１０９が、ブレンド領域信号から、合成映像データがブレンド領域を含むか否かを判定する（Ｓ１１０７）。なお、実施例１で説明したように、ブレンド領域信号生成部１０７は、閾値設定１０６で予め設定されたブレンド率の閾値を用いて、合成映像データの各フレームについて、画素毎にブレンド領域内の画素か否かを判定する。そして、ブレンド領域信号生成部１０７は、その判定結果をブレンド領域信号として出力する。合成映像データがブレンド領域を含む場合には（Ｓ１１０７：ＹＥＳ）、最終補間フレーム出力部１１３が、最終補間フレームの各画素に対して、それぞれ、前フレームにおける同じ位置の画素値を割り当てる（Ｓ１１０８）。即ち、前フレームが最終補間フレームとされる（最終補間フレームの各画素値が、前フレームの各画素値と同じ値にされる）。合成映像データがブレンド領域を含まない場合には（Ｓ１１０７：ＮＯ）、最終補間フレーム出力部１１３が、動き補間フレーム生成部１１１で生成された補間フレームを最終補間フレームとする（Ｓ１１０９）。
【００３２】
このように、本実施例によれば、合成動画像がブレンド領域を含む場合（補間フレームの画像が乱れる虞がある場合）には、前フレームが最終補間フレームとされる。それにより、補間フレームの画像の劣化を抑制することができる。また、合成動画像がブレンド領域を含まない場合（補間フレームの画像が乱れる虞がない場合）には、動き情報に基づいて生成された補間フレームが最終補間フレームとされ、動きを滑らかに表現することができる。
なお、本実施例では、合成動画像がブレンド領域を含む場合に、前フレームを最終補間フレームとしたが、後フレームを最終補間フレームとしてもよい。
また、画素判定部１０９が、画素毎にブレンド領域内の画素か否かの判定結果を出力するのではなく、合成映像データがブレンド領域を含むか否かの判定結果を出力してもよい
。画素判定部１０９は、合成映像データがブレンド領域を含む場合に、補間フレームの各画素が全てブレンド領域内の画素であると判定し、該判定結果を出力してもよい。画素判定部１０９は、合成映像データがブレンド領域を含まない場合に、補間フレームの各画素が全てブレンド領域内の画素でないと判定し、該判定結果を出力してもよい。
【００３３】
以上述べたように、上記実施例１，２によれば、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができる。その結果、画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することが可能となる。
【符号の説明】
【００３４】
１０４…合成部，１０８…動きベクトル検出部，１０９…画素判定部，１１１…動き補間フレーム生成部
【技術分野】
【０００１】
本発明は、フレームレート変換装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、動画像と静止画像が合成された映像（合成動画像）のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換する技術がある。そのような技術では、補間フレームを生成する際に、補間フレームの画像が劣化してしまうという問題がある。そのような問題を解決するための方法として、例えば、合成動画像の動画像部分に対して動きベクトルの検出を伴うフレームレート変換を行い、静止画像部分に対して動きベクトルの検出を伴わないフレームレート変換を行う方法がある（特許文献１，２）。特許文献１，２に開示の技術では、上記方法により、静止画像部分の劣化の抑制を図っている。しかしながら、合成動画像から動きベクトルが検出されるため、動きベクトルを誤検出する虞がある。また、検出された動きベクトルが静止画像部分の画素位置を指し示した場合に、補間フレームの画像が乱れる（劣化する）虞がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０５９１号公報
【特許文献２】特開２００８−２２８２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができ、ひいては画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の第１の態様は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換するフレームレート変換装置であって、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、合成手段により生成された合成動画像のフレーム間に挿入する補間フレームの注目画素が、ブレンド領域内の画素であるか否かを判定する判定手段と、補間フレームの注目画素がブレンド領域内の画素であると判定された場合は、補間フレームの前または後の合成動画像のフレームにおける注目画素と同じ位置の画素値を注目画素の画素値として決定し、補間フレームの注目画素がブレンド領域内の画素でないと判定された場合は、補間フレームの前および後の合成動画像のフレームの少なくとも一方における、注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有することを特徴とするフレームレート変換装置である。
【０００６】
本発明の第２の態様は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換するフレームレート変換装置であって、静止画像が合成されていない動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、動画像の一部のブレンド領域に静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、不透明度が所定の閾値より大きいか否かを判定する判定手段と、不透明度が所定の閾値より大きいと判定された場合は
、補間フレームの前または後の合成動画像のフレームの各画素値を補間フレームの各画素値として決定し、不透明度が所定の閾値以下であると判定された場合は、補間フレームの前および後の合成動画像のフレームの少なくとも一方における、補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて注目画素の画素値を決定して、補間フレームを生成する生成手段と、を有することを特徴とするフレームレート変換装置である。
【発明の効果】
【０００７】
本発明によれば、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができ、ひいては画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することのできる技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施例に係るフレームレート変換装置の機能構成を示すブロック図。
【図２】ブレンド領域信号生成処理の一例を示すフローチャート。
【図３】フレームの画像の一例を示す図。
【図４】実施例１の最終補間フレームの生成処理の一例を示すフローチャート。
【図５】動きベクトル検出処理を説明する図。
【図６】合成映像データから補間フレームデータが生成される例を示す図。
【図７】実施例２の最終補間フレームの生成処理の一例を示すフローチャート。
【発明を実施するための形態】
【０００９】
＜実施例１＞
以下、本発明の実施例１に係るフレームレート変換装置及びその制御方法について説明する。本実施例に係るフレームレート変換装置は、動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、合成動画像のフレームレートを変換する。
【００１０】
（構成）
図１は本実施例に係るフレームレート変換装置の機能構成を示すブロック図である。
映像入力部１０１は、フレームレート変換装置に入力された入力映像データ（静止画像が合成されていない動画像）をフレームメモリ１０２に書き込む。
動きベクトル検出部１０８は、入力映像データから、各画素位置での映像の動きを検出して動き情報を生成する。具体的には、入力映像データからフレーム間の動きベクトルを画素位置毎に検出し、検出結果を動きベクトルデータとして出力する。
【００１１】
合成部１０４は、入力映像データ（動画像）の一部の領域（ブレンド領域）にグラフィックデータを所定のブレンド率（不透明度）で合成し、合成映像データ（静止画像が合成された合成動画像）を生成する。グラフィックデータは、例えば、ＧＵＩなどに用いられる図形・文字・絵柄などの静止画像であり、グラフィックメモリ１０５に蓄積されている。また、合成部１０４で生成された合成映像データはフレームメモリ１１０へ書き込まれる。
合成映像出力部１１２は、フレームメモリ１１０から合成映像データを読み出す。
【００１２】
ブレンド領域信号生成部１０７は、合成映像データの各フレームについて、画素毎に、ブレンド領域内の画素か否かを判定し、判定結果をブレンド領域信号として出力する。ブレンド領域とは、合成動画像において静止画像が合成されている領域のことである。閾値設定部１０６で予め設定されたブレンド率の閾値を用いて、ブレンド領域内の画素か否かが判定される。
動き補間フレーム生成部１１１は、動き情報（動きベクトルデータ）に基づいて、合成
映像データから補間フレームデータ（補間フレーム）を生成する。
【００１３】
最終補間フレーム出力部１１３は、フレームレートが変換された合成映像データを出力映像データとして映像出力部１１４へ出力する。具体的には、最終補間フレーム出力部１１３は、最終補間フレームの各画素の画素値として、合成映像データと補間フレームデータのいずれか一方の画素値を選択する。なお、本実施例では、最終補間フレーム出力部１１３は、（後述する）画素判定部１０９での判定結果を用いて最終的な補間フレームデータ（最終補間フレームデータ）を生成し、出力する（詳細は後述する）。
【００１４】
画素判定部１０９は、動きベクトルデータとブレンド領域信号を用いて、最終補間フレームの各画素に対して割り当てる画素値を動き補間フレーム生成部１１１と合成映像出力部１１２のどちらから読み出すべきかを判定する。そして、その判定結果を最終補間フレーム出力部１１３へ出力する。
映像出力部１１４は、フレームメモリ１１０から読み出された合成動画像の各フレームの間に、最終補間フレーム出力部１１３から出力された最終補間フレームを挿入して、フレームレート変換する。そして、フレームレート変換された映像データを後段の映像処理装置、表示装置、メモリなどの蓄積部に出力する。
なお、図１のフレームメモリ１０２、グラフィックメモリ１０５、フレームメモリ１１０としては、例えば、ハードディスクなどの磁気記録媒体や、揮発性メモリや不揮発性メモリなどの誘電体メモリが適用可能である。
【００１５】
（ブレンド領域信号の生成）
図２のフローチャートを用いて、ブレンド領域信号が生成されるまでの処理の流れについて説明する。
まず、合成部１０４が、合成映像データとブレンド率の情報（ブレンド率情報）をブレンド領域信号生成部１０７へ出力する（Ｓ２０１）。動画像の画素値をＡ、静止画像の画素値をＢ、ブレンド率をα（０≦α≦１）とすると、合成動画像の画素値Ｃは、例えば、以下の式１で表される。
Ｃ＝（１−α）×Ａ＋α×Ｂ （式１）
なお、α＝０のときは、静止画像が合成されていないことを意味する。
【００１６】
そして、ブレンド領域信号生成部１０７が、合成映像データの各フレームについて、画素毎に、対応するブレンド率αが閾値設定部１０６で設定された閾値より大きいか否かを判定する（Ｓ２０２）。ブレンド率αが閾値より大きい場合には（Ｓ２０２：ＹＥＳ）、ブレンド領域信号生成部１０７は、その画素がブレンド領域内の画素であると判定し、ブレンド領域信号をイネーブルに設定する（Ｓ２０３）。ブレンド率αが閾値以下である場合には（Ｓ２０２：ＮＯ）、ブレンド領域信号生成部１０７は、その画素がブレンド領域外の画素であると判定し、ブレンド領域信号をディセーブルに設定する（Ｓ２０４）。閾値は、例えば、動画像の方が静止画像よりも目立つブレンド率の最大値である。なお、閾値は、固定値であってもよいし、フレーム毎に画像の種類（特徴）に応じて設定されるものであってもよい。ユーザやメーカによって設定されてもよい。
【００１７】
図３はブレンド領域とそうでない領域の一例を示す。図３において領域７０２は、ブレンド率αが閾値以下である領域（ブレンド領域ではない領域）を示している。領域７０４は、ブレンド率αが閾値よりも大きい領域（ブレンド領域）を示している。
【００１８】
（最終補間フレームの生成）
図４のフローチャートを用いて、本実施例に係るフレームレート変換装置の最終補間フレームの生成処理について説明する。
まず、入力映像出力部１０３と合成部１０４が、フレームメモリ１０２から入力映像デ
ータを読み出す（Ｓ４０１）。そして、合成部１０４は、グラフィックメモリ１０５からグラフィックデータを読み出す（Ｓ４０２）。次に、合成部１０４は、読み出した入力映像データとグラフィックデータとを所定のブレンド率αで合成する（Ｓ４０３）。
【００１９】
そして、合成部１０４は、合成映像データを動き補間フレーム生成部１１１へ出力すると共に、合成映像データとブレンド率情報をブレンド領域信号生成部１０７へ出力する。また、入力映像出力部１０３が、それと同期して入力映像データを動きベクトル検出部１０８へ出力する（Ｓ４０４）。
次に、動きベクトル検出部１０８が、入力映像データからフレーム間の動きベクトルを検出し、検出結果を動きベクトルデータとして動き補間フレーム生成部１１１と画素判定部１０９へ出力する（Ｓ４０５）。本実施例では、合成映像データ（静止画像が合成された後の合成動画像）ではなく、入力映像データ（静止画像が合成される前の動画像）から動きベクトルを検出することにより、動きベクトルの誤検出や検出漏れを抑制することができる。図５を用いて詳しく説明する。なお、以下では或る時刻のフレームの画素に対応する画素を当該フレームの後のフレームから検出する場合について説明する。
【００２０】
図５（ａ）は、合成映像データから動きベクトルを検出する場合の従来例を示す図である。この場合には、動きベクトルの誤検出や検出漏れが生じることがある。例えば、或る時刻のフレーム５０１の画素５１１（ブレンド領域外の画素）がその直後のフレーム５０２の画素５１２（ブレンド領域内の画素）に対応する場合に誤検出や検出漏れが生じる虞がある。具体的には、画素５１２は、静止画像がブレンドされていることにより、入力時の画素値（入力映像データの画素値）とは異なる画素値を有する。そのため、動きベクトル検出部１０８は、画素５１１に対応する画素として画素５１２を検出することができないことがある（検出漏れ）。更に、画素５１１に対応する画素として画素５１２とは異なる画素（例えば、図５（ａ）の画素５１３）を検出してしまう虞がある（誤検出）。
また、或る時刻のフレーム５０３の画素５１４（ブレンド領域外の画素）がその直後のフレーム５０４の画素５１５（ブレンド領域外の画素）に対応する場合に誤検出が生じる虞がある。具体的には、静止画像がブレンドされることにより、フレーム５０４のブレンド領域内の画素値が、画素５１４の画素値と近い値となることがある。そのため、動きベクトル検出部１０８は、画素５１４に対応する画素として、画素５１５ではなく、フレーム５０４のブレンド領域内の画素（例えば、図５（ａ）の画素５１６）を検出してしまうことがある（誤検出）。
或る時刻のフレームの画素がブレンド領域内の画素である場合にも同様の理由から誤検出や検出漏れが生じる虞がある。
このような映像の動きの検出漏れや誤検出は、補間フレームの画像の乱れの原因となる。
一方、図５（ｂ）に示すように、本実施例では、入力映像データ（静止画像が合成される前の動画像）から映像の動きが検出されるため、上述したような誤検出や検出漏れが生じることはない。
【００２１】
なお、図４では省略しているが、上述したように、動き補間フレーム生成部１１１は、動きベクトルデータに基づいて、合成映像データから補間フレームデータを生成する。具体的には、動き情報（動きベクトルデータ）に基づいて位置が特定される対応画素（補間フレームの画素に対応する対応画素）を補間フレームの後のフレーム（合成動画像のフレーム；後フレーム）から検出して補間フレームデータを生成する。
図６（ａ）〜図６（ｃ）は、動き補間フレーム生成部１１１によって、動きベクトルデータに基づいて、合成映像データから補間フレームデータが生成される例を示す図である。図６（ａ）を参照して、補間フレームＦ（ｉ）の画素６０２は、合成映像データの前フレームＦ（ｉ−１）の画素６０１と、後フレームＦ（ｉ＋１）の画素６０３とを結ぶ動きベクトルの中間に位置する。画素６０１の画素値と画素６０３の画素値の平均値が算出さ
れ、画素６０２の画素値とされる。画素６０１〜６０３の画素位置は全てフレンド領域外であるため、補間フレームＦ（ｉ）のブレンド領域外の画素６０２の画素値は、ブレンド領域の静止画像の影響を受けない。
図６（ｂ）を参照して、補間フレームＦ（ｉ）の画素６１２は、合成映像データの前フレームＦ（ｉ−１）の画素６１１と、後フレームＦ（ｉ＋１）の画素６１３とを結ぶ動きベクトルの中間に位置する。画素６１１の画素値と画素６１３の画素値の平均値が算出され、画素６１２の画素値とされる。画素６１１，６１２の画素位置はフレンド領域外、画素６１３の画素位置はブレンド領域内である。このため、補間フレームＦ（ｉ）のブレンド領域外の画素６１２の画素値に対して、後フレームＦ（ｉ＋１）のブレンド領域内の画素６１３の画素値が加味されてしまう。
図６（ｃ）を参照して、補間フレームＦ（ｉ）の画素６２２は、合成映像データの前フレームＦ（ｉ−１）の画素６２１と、後フレームＦ（ｉ＋１）の画素６２３とを結ぶ動きベクトルの中間に位置する。画素６２１の画素値と画素６２３の画素値の平均値が算出され、画素６２２の画素値とされる。画素６２１の画素位置はフレンド領域外、画素６２２，６２３の画素位置はブレンド領域内である。このため、補間フレームＦ（ｉ）のブレンド領域内の画素６２２の画素値に対して、前フレームＦ（ｉ−１）のブレンド領域外の画素６２１の画素値が加味されてしまう。
【００２２】
（Ｓ４０５の）次に、ブレンド領域信号生成部１０７が、合成映像データの各フレームについて、画素毎に、ブレンド領域内の画素か否かを判定し、判定結果をブレンド領域信号として画素判定部１０９へ出力する（Ｓ４０６）。なお、合成画像データのフレーム内の各画素の画素位置と補間フレームの内の各画素の画素位置はズレがなく、同じであるものとする。つまり、ブレンド領域信号生成部１０７による合成映像データの各フレーム内の各画素についての判定結果は、補間フレーム（最終補間フレーム）内の各画素についての判定結果に置き換えられる。そして、画素判定部１０９が、動きベクトルデータとブレンド領域信号を用いて、最終補間フレームの画素値を動き補間フレーム生成部１１１と合成映像出力部１１２のどちらから読み出すべきかを判定し、その判定結果を最終補間フレーム出力部１１３へ出力する。
【００２３】
具体的には、Ｓ４０７で、画素判定部１０９が、最終補間フレームの注目画素（処理対象の画素）がブレンド領域内の画素か否かを判定する。図６（ｃ）に示すように、ブレンド領域内の画素に対し動きベクトルデータに基づいて決定した画素値を割り当てると、ブレンド領域内の画像（静止画像）が乱れる虞がある。そのため、最終補間フレームの処理対象の注目画素がブレンド領域内の画素である場合には（Ｓ４０７：ＹＥＳ）、画素判定部１０９は、その画素に対して割り当てる画素値は合成映像出力部１１２から読み出すべきであると判定し、Ｓ４０９へ進む。処理対象の注目画素がブレンド領域内の画素でない場合には（Ｓ４０７：ＮＯ）、Ｓ４０８へ進む。
【００２４】
Ｓ４０８では、画素判定部１０９が、最終補間フレームの処理対象の注目画素に対応する対応画素がブレンド領域内の画素か否かを判定する。具体的には、最終補間フレームの処理対象の注目画素に対応する動きベクトルが指す画素（最終補間フレームの後のフレームの画素）がブレンド領域内の画素であるか否かを判定する。図６（ｂ）に示すように、対応画素がブレンド領域内の画素である注目画素に対し動きベクトルデータに基づいて決定した画素値を割り当てると、ブレンド領域ではない位置に動画像と静止画像がブレンドされた画素が存在することとなるため、画像が乱れる虞がある。そのため、最終補間フレームの処理対象の注目画素の対応画素がブレンド領域内の画素である場合には（Ｓ４０８：ＹＥＳ）、画素判定部１０９は、その画素に対して割り当てる画素値は合成映像出力部１１２から読み出すべきであると判定し、Ｓ４０９へ進む。最終補間フレームの処理対象の注目画素の対応画素がブレンド領域内の画素でない場合には（Ｓ４０８：ＮＯ）、画素判定部１０９は、その画素に対して割り当てる画素値は動き補間フレーム生成部１１１か
ら読み出すべきであると判定し、Ｓ４１０へ進む。なお、画素判定部１０９は、前フレームＦ（ｉ−１）の画素６１１と後フレームＦ（ｉ＋１）の画素６１３とを結ぶ動きベクトルを、補間フレームＦ（ｉ）の画素６１２に対応付けられた動きベクトルと判別するものとする。
【００２５】
Ｓ４０９では、最終補間フレーム出力部１１３が、最終補間フレームの処理対象の注目画素に対して、最終補間フレームの前のフレーム（合成動画像のフレーム；前フレーム）における同じ位置（処理対象の画素と同じ位置）の画素値を割り当てる。
Ｓ４１０では、最終補間フレーム出力部１１３が、最終補間フレームの処理対象の注目画素の画素位置に対して、動き補間フレーム生成部１１１で生成された補間フレームにおける同じ位置の画素値を割り当てる。
上記処理を最終補間フレームの画素毎に行うことにより、最終補間フレームが生成される。
【００２６】
図３を用いて、最終補間フレームの画像について説明する。図３において、領域７０４は、ブレンド領域であり、前フレームの画素値が割り当てられた領域である。領域７０２は、ブレンド領域ではない領域であり、動き補間フレーム生成部１１１で生成された補間フレームの画素値が割り当てられた領域である。画素７０１は、対応する動きベクトル７０３が後フレームのブレンド領域内の画素を指す画素であり、前フレームの画素値が割り当てられた画素である。
【００２７】
このように、本実施例によれば、静止画像が合成される前の動画像から映像の動きが検出されるため、動きの誤検出や検出漏れを低減することができる。
また、本実施例によれば、ブレンド領域内の画素、及び、対応画素がブレンド領域内の画素である画素に対して前フレームにおける同じ位置の画素値が割り当てられる。そして、その他の画素に対しては、動き情報に基づいた画素値が割り当てられる。それにより、（最終）補間フレームの画像の劣化を抑制することができる。
なお、図４のＳ４０８の処理は本発明に必須ではなく、Ｓ４０８の処理は省略してもよい。つまり、最終補間フレームの処理対象の注目画素がブレンド領域内の画素でない場合には（Ｓ４０７：ＮＯ）、Ｓ４１０に進むようにしてもよい。
また、本実施例では、図４のＳ４０８でＹＥＳの場合（最終補間フレームの処理対象の注目画素がブレンド領域外の画素であり、かつ処理対象の注目画素に対応する動きベクトルが指す後フレームの画素がブレンド領域内の画素である場合）に、４０９に進むものとして説明したが、その他の例外処理を行ってもよい。具体的には、図６（ｂ）を参照して、補間フレームＦ（ｉ）の画素６１２の画素値を、合成映像データの前フレームＦ（ｉ−１）の画素６１１の画素値と同じ値にしてもよい。つまり、最終補間フレームの処理対象の注目画素の画素値として、その処理対象の注目画素に対応する動きベクトルにより特定される前フレームの対応画素の画素値を割り当てる。このようにすれば、補間フレームＦ（ｉ）のブレンド領域外の画素６１２の画素値は、後フレームＦ（ｉ＋１）のブレンド領域内の対応画素６１３の画素値の影響を受けずにすむ。
また、同様に、最終補間フレームの処理対象の注目画素がブレンド領域外の画素であり、かつ処理対象の注目画素に対応する動きベクトルにより特定される前フレームの画素がブレンド領域内の画素である場合も、例外処理を行ってもよい。具体的には、最終補間フレームの処理対象の注目画素の画素値として、その処理対象の注目画素に対応する動きベクトルにより特定される後フレームの対応画素の画素値を割り当てる。このようにすれば、最終補間フレームの前フレームにおけるブレンド領域内の対応画素の画素値の影響を受けずにすむ。
【００２８】
なお、本実施例では、ブレンド領域内の画素、及び、対応画素がブレンド領域内の画素である画素に対して前フレームにおける同じ位置の画素値を割り当てるものとしたが、そ
のような画素に対して後フレームにおける同じ位置の画素値を割り当ててもよい。
また、動き補間フレーム生成部１１１で生成された補間フレームを最終補間フレームとしてもよい。本実施例では、動きベクトルの誤検出や検出漏れが低減されるため、動き補間フレーム生成部１１１では、そのような誤検出や検出漏れによる画像の劣化が抑制された補間フレームを生成することができる。なお、本実施例では、後フレームから対応画素を検出するとしたが、前フレームから対応画素を検出してもよいし、前フレームと後フレームの両方から対応画素を検出してもよい。
【００２９】
なお、閾値設定部１０６で設定される閾値は０であってもよい。即ち、ブレンド率αが０より大きい領域をブレンド領域としてもよい。但し、ブレンド率が小さい場合には動画像の方が静止画像より目立つ。そのため、そのようなブレンド率で静止画像が動画像に合成されている場合には、静止画像が合成されている領域内の画素に対して、動き情報に基づいた画素値を割り当てることが好ましい。動画像の方が静止画像よりも目立つブレンド率の最大値を閾値とすれば、静止画像が合成されている領域内の画素に対して、適切な画素値を割り当てることができる。
【００３０】
＜実施例２＞
以下、本発明の実施例２に係るフレームレート変換装置及びその制御方法について説明する。本実施例では、合成動画像がブレンド領域を含む場合に、前フレームを最終補間フレームとする。なお、本実施例に係るフレームレート変換装置の構成及びブレンド領域信号の生成処理は、実施例１（図１，２）と同様のため説明は省略する。
【００３１】
（最終補間フレームの生成）
図７のフローチャートを用いて、本実施例に係るフレームレート変換装置の最終補間フレームの生成処理について説明する。
Ｓ１１０１〜Ｓ１１０６の処理は実施例１（図４のＳ４０１〜Ｓ４０６の処理）と同様のため、説明は省略する。
（Ｓ１１０６の）次に、画素判定部１０９が、ブレンド領域信号から、合成映像データがブレンド領域を含むか否かを判定する（Ｓ１１０７）。なお、実施例１で説明したように、ブレンド領域信号生成部１０７は、閾値設定１０６で予め設定されたブレンド率の閾値を用いて、合成映像データの各フレームについて、画素毎にブレンド領域内の画素か否かを判定する。そして、ブレンド領域信号生成部１０７は、その判定結果をブレンド領域信号として出力する。合成映像データがブレンド領域を含む場合には（Ｓ１１０７：ＹＥＳ）、最終補間フレーム出力部１１３が、最終補間フレームの各画素に対して、それぞれ、前フレームにおける同じ位置の画素値を割り当てる（Ｓ１１０８）。即ち、前フレームが最終補間フレームとされる（最終補間フレームの各画素値が、前フレームの各画素値と同じ値にされる）。合成映像データがブレンド領域を含まない場合には（Ｓ１１０７：ＮＯ）、最終補間フレーム出力部１１３が、動き補間フレーム生成部１１１で生成された補間フレームを最終補間フレームとする（Ｓ１１０９）。
【００３２】
このように、本実施例によれば、合成動画像がブレンド領域を含む場合（補間フレームの画像が乱れる虞がある場合）には、前フレームが最終補間フレームとされる。それにより、補間フレームの画像の劣化を抑制することができる。また、合成動画像がブレンド領域を含まない場合（補間フレームの画像が乱れる虞がない場合）には、動き情報に基づいて生成された補間フレームが最終補間フレームとされ、動きを滑らかに表現することができる。
なお、本実施例では、合成動画像がブレンド領域を含む場合に、前フレームを最終補間フレームとしたが、後フレームを最終補間フレームとしてもよい。
また、画素判定部１０９が、画素毎にブレンド領域内の画素か否かの判定結果を出力するのではなく、合成映像データがブレンド領域を含むか否かの判定結果を出力してもよい
。画素判定部１０９は、合成映像データがブレンド領域を含む場合に、補間フレームの各画素が全てブレンド領域内の画素であると判定し、該判定結果を出力してもよい。画素判定部１０９は、合成映像データがブレンド領域を含まない場合に、補間フレームの各画素が全てブレンド領域内の画素でないと判定し、該判定結果を出力してもよい。
【００３３】
以上述べたように、上記実施例１，２によれば、動画像と静止画像が合成された合成動画像に対し、映像の動きを精度良く検出することができる。その結果、画像の劣化が抑制された補間フレームを生成して合成動画像のフレームレートを変換することが可能となる。
【符号の説明】
【００３４】
１０４…合成部，１０８…動きベクトル検出部，１０９…画素判定部，１１１…動き補間フレーム生成部
【特許請求の範囲】
【請求項１】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、
前記合成手段により生成された前記合成動画像のフレーム間に挿入する補間フレームの注目画素が、前記ブレンド領域内の画素であるか否かを判定する判定手段と、
前記補間フレームの注目画素が前記ブレンド領域内の画素であると判定された場合は、前記補間フレームの前または後の合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定し、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成手段と、
を有することを特徴とするフレームレート変換装置。
【請求項２】
前記判定手段は、前記不透明度が所定の閾値以下である場合は、前記補間フレームの各画素が全て前記ブレンド領域内の画素でないと判定する
ことを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記判定手段は、前記注目画素に対応する動き情報に基づいて、前記補間フレームの前または後の前記合成動画像のフレームにおける前記対応画素の位置を特定して、前記対応画素が前記ブレンド領域内の画素であるか否かを判定し、
前記判定手段により、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定され、かつ前記対応画素が前記ブレンド領域内の画素であると判定された場合は、前記注目画素に対応する動き情報を用いずに、前記補間フレームの前または後の前記合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定する
ことを特徴とする請求項１に記載のフレームレート変換装置。
【請求項４】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、
前記不透明度が所定の閾値より大きいか否かを判定する判定手段と、
前記不透明度が所定の閾値より大きいと判定された場合は、前記補間フレームの前または後の合成動画像のフレームの各画素値を前記補間フレームの各画素値として決定し、前記不透明度が所定の閾値以下であると判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成手段と、
を有することを特徴とするフレームレート変換装置。
【請求項５】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置の制御方法
であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出ステップと、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成ステップと、
前記合成ステップにより生成された前記合成動画像のフレーム間に挿入する補間フレームの注目画素が、前記ブレンド領域内の画素であるか否かを判定する判定ステップと、
前記補間フレームの注目画素が前記ブレンド領域内の画素であると判定された場合は、前記補間フレームの前または後の合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定し、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成ステップと、
を有することを特徴とするフレームレート変換装置の制御方法。
【請求項６】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置の制御方法であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出ステップと、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成ステップと、
前記不透明度が所定の閾値より大きいか否かを判定する判定ステップと、
前記不透明度が所定の閾値より大きいと判定された場合は、前記補間フレームの前または後の合成動画像のフレームの各画素値を前記補間フレームの各画素値として決定し、前記不透明度が所定の閾値以下であると判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成ステップと、
を有することを特徴とするフレームレート変換装置の制御方法。
【請求項１】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、
前記合成手段により生成された前記合成動画像のフレーム間に挿入する補間フレームの注目画素が、前記ブレンド領域内の画素であるか否かを判定する判定手段と、
前記補間フレームの注目画素が前記ブレンド領域内の画素であると判定された場合は、前記補間フレームの前または後の合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定し、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成手段と、
を有することを特徴とするフレームレート変換装置。
【請求項２】
前記判定手段は、前記不透明度が所定の閾値以下である場合は、前記補間フレームの各画素が全て前記ブレンド領域内の画素でないと判定する
ことを特徴とする請求項１に記載のフレームレート変換装置。
【請求項３】
前記判定手段は、前記注目画素に対応する動き情報に基づいて、前記補間フレームの前または後の前記合成動画像のフレームにおける前記対応画素の位置を特定して、前記対応画素が前記ブレンド領域内の画素であるか否かを判定し、
前記判定手段により、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定され、かつ前記対応画素が前記ブレンド領域内の画素であると判定された場合は、前記注目画素に対応する動き情報を用いずに、前記補間フレームの前または後の前記合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定する
ことを特徴とする請求項１に記載のフレームレート変換装置。
【請求項４】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出手段と、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成手段と、
前記不透明度が所定の閾値より大きいか否かを判定する判定手段と、
前記不透明度が所定の閾値より大きいと判定された場合は、前記補間フレームの前または後の合成動画像のフレームの各画素値を前記補間フレームの各画素値として決定し、前記不透明度が所定の閾値以下であると判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成手段と、
を有することを特徴とするフレームレート変換装置。
【請求項５】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置の制御方法
であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出ステップと、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成ステップと、
前記合成ステップにより生成された前記合成動画像のフレーム間に挿入する補間フレームの注目画素が、前記ブレンド領域内の画素であるか否かを判定する判定ステップと、
前記補間フレームの注目画素が前記ブレンド領域内の画素であると判定された場合は、前記補間フレームの前または後の合成動画像のフレームにおける前記注目画素と同じ位置の画素値を前記注目画素の画素値として決定し、前記補間フレームの注目画素が前記ブレンド領域内の画素でないと判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成ステップと、
を有することを特徴とするフレームレート変換装置の制御方法。
【請求項６】
動画像に静止画像が合成された合成動画像のフレーム間に補間フレームを挿入することにより、前記合成動画像のフレームレートを変換するフレームレート変換装置の制御方法であって、
前記静止画像が合成されていない前記動画像から、各画素位置での映像の動きを検出して動き情報を生成する検出ステップと、
前記動画像の一部のブレンド領域に前記静止画像を所定の不透明度で合成して合成動画像を生成する合成ステップと、
前記不透明度が所定の閾値より大きいか否かを判定する判定ステップと、
前記不透明度が所定の閾値より大きいと判定された場合は、前記補間フレームの前または後の合成動画像のフレームの各画素値を前記補間フレームの各画素値として決定し、前記不透明度が所定の閾値以下であると判定された場合は、前記補間フレームの前および後の合成動画像のフレームの少なくとも一方における、前記補間フレームの注目画素に対応する動き情報により特定される位置の対応画素の画素値に基づいて前記注目画素の画素値を決定して、前記補間フレームを生成する生成ステップと、
を有することを特徴とするフレームレート変換装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１９２０７（Ｐ２０１１−１９２０７Ａ）
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願番号】特願２０１０−５３６４１（Ｐ２０１０−５３６４１）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１月２７日（２０１１．１．２７）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]