映像処理装置及び映像処理方法
【課題】簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができる映像処理装置及び映像処理方法を提供する。
【解決手段】動きベクトル検出部１は、入力された映像信号から画像の特徴量を検出し、補間位相算出部２１は、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相から補間位相係数を生成し、補間位相マッピング部２２は、生成された補間位相係数を補正し、投影処理部２６、２７及びマージ部２８は、検出された動き量と補正された補間位相係数とを用いて、入力フレーム画像から補間位相と異なる位相の中間フレーム画像を生成する。
【解決手段】動きベクトル検出部１は、入力された映像信号から画像の特徴量を検出し、補間位相算出部２１は、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相から補間位相係数を生成し、補間位相マッピング部２２は、生成された補間位相係数を補正し、投影処理部２６、２７及びマージ部２８は、検出された動き量と補正された補間位相係数とを用いて、入力フレーム画像から補間位相と異なる位相の中間フレーム画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号のフレームレートを変換するフレームレート変換処理を行う映像処理装置及び映像処理方法に関し、特に、シネマ映像のデジャダ処理を行う映像処理装置及び映像処理方法に関するものである。
【背景技術】
【０００２】
従来、シネマ映像のような２４Ｈｚの映像を、６０Ｈｚの映像を表示する表示装置でそのまま表示することができないため、映画フィルムなど毎秒２４コマで記録された映像を、テレビジョン放送などで用いられる毎秒３０フレーム（６０フィールド）の映像信号に変換するフレームレート変換処理が行われる。
【０００３】
上記のようなフレームレート変換処理の一例として、例えば、特許文献１には、初めに、補間フレームを挟む２フレームの組み合わせのうちでフレーム間距離が最も狭いフレームｎ−１、ｎにより動きベクトルを検出して補間フレームの画素に対応付け、動きベクトルを対応付けることができない画素が残っている場合、先程の２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ−２、ｎ＋１）により動きベクトルを検出して補間フレームの画素に対応付け、まだ動きベクトルを対応付けることができない画素が残っている場合、さらに先程の２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ−３、ｎ＋２）により動きベクトルを検出して補間フレームの画素に対応付ける画像処理装置が開示されている。この画像処理装置では、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止することができる。
【０００４】
また、他のフレームレート変換処理の一例として、特許文献２に開示される映像信号の方式変換装置がある。特許文献２に代表される従来の映像処理装置は、動きベクトル検出部及び動きベクトル処理部を用いてフレームレート変換を行う。以下、この従来の映像処理装置が入力フレーム周波数２４Ｈｚの所謂シネマ映像を出力フレーム周波数６０Ｈｚの映像に変換する処理について具体的に説明する。
【０００５】
図６は、フレームレート変換を行う従来の映像処理装置の構成を示すブロック図であり、図７は、図６に示す動きベクトル処理部の構成を示すブロック図である。
【０００６】
図６に示す従来の映像処理装置では、動きベクトル検出部１０１及び動きベクトル処理部１０２を用いてフレームレート変換処理が実行される。具体的には、動きベクトル検出部１０１は、連続する入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて、これらのフレーム間の動き量を検出し、画素毎に又はブロック毎に動きベクトルＶを検出する。動きベクトル処理部１０２は、動きベクトルＶ、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて中間フレームｎ＋Ｋ（ここで、Ｋは補間位相係数を表し、０≦Ｋ＜１）の画像データを生成する。
【０００７】
図７に示すように、動きベクトル処理部１０２は、補間位相算出部１０３、乗算器１０４、１０５、減算器１０６、投影処理部１０７、１０８、及びマージ部１０９を備える。まず、補間位相算出部１０３は、入力フレーム周波数／出力フレーム周波数（＝２４／６０＝０．４）を処理毎に加算し、その小数部を補間位相係数Ｋとして算出する。
【０００８】
ここでは、初期値０．０から始めて０．４を順次加算し、加算結果が０．０、０．４、０．８、１．２、１．６、２．０、…となり、小数部である補間位相係数Ｋは、０．０、０．４、０．８、０．２、０．６、０．０となり、この５パターンの繰り返しとなる。また、上記加算結果の整数部が変化するタイミングで、入力フレーム画像も順次切り替わるように制御される。
【０００９】
動きベクトル検出部１０１により検出された動きベクトルＶは、そのフレーム間距離が１．０である場合に相当するため、入力フレームｎの画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに補間位相係数Ｋを乗じてゲイン処理を行う必要がある。同様に、入力フレームｎ＋１の画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに−（１−Ｋ）＝Ｋ−１を乗じてゲイン処理を行う必要がある。なお、この場合に符号が変わるのは、入力フレームｎ＋１から時間を遡行する方向に投影するためである。
【００１０】
上述したように、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを各々、投影処理部１０７、１０８にて投影処理し、各々の中間フレーム映像が生成される。これらの中間フレーム映像は、マージ部１０９にて適宜マージされ、最終的に中間フレームｎ＋Ｋの画像データが出力される。
【００１１】
具体的には、フレームレートを２４Ｈｚから６０Ｈｚへ変換する場合、入力されるフレーム画像の時間軸上のサンプル位相をフレーム順に０．０、１．０、２．０、３．０、…とすると、出力されるフレーム画像の時間軸上の位相である補間位相は、０．０、０．４、０．８、１．２、１．６、２．０、…となる。この位相間隔は０．４であり、入力フレーム周波数／出力フレーム周波数で決定され、この例では、２４／６０である。動きベクトル処理部１０２は、動きベクトルＶに補間位相の小数部（０．０、０．４、０．８、０．２、０．６、…）を補間位相係数Ｋとし、動きベクトルＶに補間位相係数Ｋを乗じて入力フレームの各画素データを補間位相上に投影し、中間フレームの各画素データを生成する。
【００１２】
上記のフレームレート変換処理は、所謂シネマスムース処理（シネマ映像のデジャダ処理）と称され、２４Ｈｚの映像（シネマ映像）の動きのカクカク感（ジャダ）を違和感の無い滑らかな動きに変換する効果があり、昨今のＴＶ装置に搭載されはじめている。この従来のシネマスムース処理は、比較的ゆっくりとした動きの映像や、画面全体が同一方向に動く映像に対して効果がある。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２８８６８１号公報
【特許文献２】特許第４０８３２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記の従来のシネマスムース処理では、画面上の複数の物体がそれぞれ別方向に比較的早く移動している映像に対しては、種々の原因により、生成した中間フレームの映像が破綻する場合がある。この映像破綻は、物体の境界付近での動きベクトルの検出エラー、高速で移動する物体の動きベクトルの検出エラーなどいくつかの動きベクトルの検出エラーが表面化したものである。これらの原因である動きベクトルの検出エラーを完全に取り除くことは極めて難しく、またリソースも消費する。
【００１５】
本発明の目的は、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができる映像処理装置及び映像処理方法を提供することである。
【課題を解決するための手段】
【００１６】
映像信号のフレームレートを変換する映像処理装置であって、入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号にＯＳＤが表示されているかのいずれかの特徴を検出する特徴検出部と、前記特徴検出部により検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する画像生成部とを備え、前記画像生成部は、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理装置である。
【００１７】
この映像処理装置においては、入力された映像信号の特徴を検出し、検出した特徴を用いて、入力フレーム画像の位相と異なる位相の中間フレーム画像が生成される。このとき、中間フレーム画像の位相が入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動されるので、中間フレーム画像の位相を補間位相とは異なる整数に近い位相にすることができる。
【発明の効果】
【００１８】
上述した構成により、本映像処理装置においては、出力フレーム画像として生成される中間フレーム画像の破綻がユーザに検知されにくくなるので、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができるものである。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態による映像処理装置の構成を示すブロック図
【図２】図１に示す動きベクトル処理部の構成を示すブロック図
【図３】図１に示す動きベクトル処理部の構成を示すブロック図
【図４】α＝０．６２５の場合における補間位相対比図
【図５】入力フレームｎの画像データ又は入力フレームｎ＋１の画像データアから中間フレームｎ＋Ｋの画像データを生成する投影処理を模式的に示す図。
【図６】フレームレート変換を行う従来の映像処理装置の構成を示すブロック図
【図７】図６に示す動きベクトル処理部の構成を示すブロック図
【図８】フィルム検出結果と、α値との関係を示す図
【図９】図１に示す動きベクトル処理部の構成を示すブロック図
【発明を実施するための形態】
【００２０】
（実施例１）以下、本発明の一実施の形態による映像処理装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による映像処理装置の構成を示すブロック図であり、図２は、図１に示す動きベクトル処理部の構成を示すブロック図である。
【００２１】
図１に示すように、本実施の形態の映像処理装置は、動きベクトル検出部１１及び動きベクトル処理部１２を備え、図２に示すように、動きベクトル処理部１２は、補間位相算出部２１、補間位相マッピング部２２、乗算器２３、２４、減算器２５、投影処理部２６、２７、マージ部２８、および映像特徴検出部２９を備える。
【００２２】
図１に示す映像処理装置は、液晶表示装置、プラズマ表示装置、有機ＥＬ表示装置等の種々の画像表示装置、ＶＴＲ、ＤＶＤレコーダ、ブルーレイディスクレコーダ等の映像記録／再生装置等に使用され、例えば、６０Ｈｚの入力映像信号を、動きベクトル情報を用いたフレーム内装処理により、１２０Ｈｚの映像信号に変換して出力するフレームレート変換処理、あるいはもともとはフレーム周波数２４Ｈｚの所謂シネマ映像を、６０Ｈｚの映像信号にプルダウンした映像信号を入力とし、動きベクトル情報を用いたフレーム内装処理により出力フレーム周波数１２０Ｈｚ、あるいは６０Ｈｚの映像に変換するシネマ映像のデジャダ処理を行う。
【００２３】
動きベクトル検出部１１には、外部又は内部の所定の回路から、時間的に連続する２つの入力フレーム画像、例えば、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データが入力され、これらのフレーム間の動き量を検出し、画素毎に又はブロック毎に動きベクトルＶを検出する。この動きベクトル検出方法としては、公知の動きベクトル検出方法が用いられ、例えば、ブロック毎のマッチング処理による検出方法が用いられる。なお、本発明に用いられる画像の動き量は、上記の動きベクトルに特に限定されず、時間的に前後する少なくとも２つ以上の入力フレーム画像を用いて検出された画像の動き量であれば、種々の動き量を用いることができ、画面全体のパン方向の移動量等を用いてもよい。
【００２４】
動きベクトル処理部１２は、動きベクトルＶ、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相とは異なる位相の中間フレームｎ＋Ｋ（ここで、Ｋは補間位相係数を表し、０≦Ｋ＜１）の画像データを生成する。
ここで、中間フレームｎ＋Ｋの位相は、整数に近い位相である場合、ベクトル情報の検出エラー等に起因する映像の破綻がユーザの目には検知されにくいことが本願発明者の実験結果により判明した。すなわち、中間フレームの位相が整数に近い位相である場合、換言すれば、補間位相係数Ｋ（０≦Ｋ＜１）が０．５からなるべく遠ければ、中間フレーム映像の破綻が検知されにくい。
【００２５】
補間位相算出部２１は、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相の小数部を論理補間位相係数Ｋとして生成する。補間位相マッピング部２２は、補間位相を整数位相に近づけるようにマッピング演算を行い、中間フレームｎ＋Ｋの位相が入力フレームｎ又は入力フレームｎ＋１のいずれかの位相に近づくように、映像特徴検出部２９が検出する入力映像の特徴に応じて、補間位相算出部２１により生成された論理補間位相係数Ｋを補正し、補正後の補間位相係数Ｋｍを生成する。
【００２６】
乗算器２３は、動きベクトルＶと補正後の補間位相係数Ｋｍとを乗算し、投影処理部２６は、Ｖ×Ｋｍを用いて入力フレームｎの画像データを投影処理して中間フレームの画像データを生成する。また、減算器２５は、補正後の補間位相係数Ｋｍから１を減算し、乗算器２４は、動きベクトルＶと（Ｋｍ−１）とを乗算し、投影処理部２７は、Ｖ×（Ｋｍ−１）を用いてフレームｎ＋１の画像データを投影処理して中間フレームの画像データを生成する。マージ部２８は、これらの中間フレームの画像データを適宜マージし、最終的に中間フレームｎ＋Ｋの画像データを出力する。
【００２７】
中間フレームｎ＋Ｋの位相を整数値に完全に整数位相に丸めてしまうと、中間フレーム映像の破綻は全く無いが、フレームレート変換に伴う動きの滑らかさの改善効果や、シネマスムースの効果もなくなってしまう。このため、中間フレームｎ＋Ｋの位相をどの程度整数位相に近づけるかは、表示している映像の特性に適応して制御することが好ましい。
映像の特徴としては、（１）映像がフィルム素材であるか否か、（２）ＯＳＤが表示されているか否か、といった情報が考えられる。
【００２８】
なお、ここで、ＯＳＤは、本発明の文字情報が表示されているか否かにおける一例であって、文字情報としては、この映像処理装置内において合成されるＯＳＤ情報（例えば、ユーザーメニュー等）の他、映像処理装置に接続された接続機器において生成されたＯＳＤ情報（例えば、録画機器のユーザーメニュー、録画した番組一覧、録画予約情報等）、映像信号に予め重畳されている文字情報（例えば、スポーツ番組における得点情報、歌番組の歌詞、映画の字幕）、放送局のロゴ、記録媒体に記録されたメニュー表示（例えば、ＤＶＤに記録されたチャプター選択情報、音声切換情報等）、緊急情報（例えば、地震情報、臨時ニュース等）であっても良い。つまり、文字情報とは、画面において、動きのある人物や物体以外に表示される、静止した文字情報であり、ある程度の大きさ（面積）を有しているもの全般をいうものである。
【００２９】
なお、静止した文字情報を対象とした場合には、本発明の位相制御により、より文字のぼけがなく、表示が明確にすることが可能になるが、本発明は、これに限定されるものではなく、例えば、一定方向に移動するテロップ等においても適用することは可能である。
こうした特徴に適応して補正後の補間位相係数Ｋｍを定め、補正後の補間位相係数Ｋｍを動きベクトルＶに乗じ、その算出した乗算値を用いて入力フレーム画像の該当画素を投影して中間フレーム画像を生成する。
【００３０】
具体的に（１）映像がフィルム素材であるか否か、の判定に基づく制御について述べる。
図３は、図２の映像特徴検出部２９を、フィルム検出部３９とした場合のベクトル処理部の構成を示すブロック図である。
従来、もともと２４Ｈｚのフィルム映像が６０Ｈｚ、５０Ｈｚのテレビ用映像信号となる場合、３、２プルダウン、２、２プルダウンという処理により、同じコマが重複されて使用される。また昨今、フィルム素材の忠実な再生を行うために、再生機からの映像出力が２４Ｈｚそのまま場合がある。いずれにしても、通常の映像信号とは異なり、単位時間当たりのコマ数が少なく、これに伴い動きベクトル情報の精度が悪くなるとともに、少ないコマから多くのフレームを生成する必要があり、動きベクトルの検出エラーに伴う中間フレームの映像破綻が顕著になる。
よって、入力画像がフィルム素材である場合、そうでない場合と比較して、補間位相を整数位相に近づけることにより、破綻を目立たなくすることが見た目の違和感を低減することになる。
図３のフィルム検出部３９は、入力フレームｎ、ｎ＋１の映像信号を入力し、二つの映像信号のフレーム周波数、および二つの映像信号の差分が発生する周期から、入力映像信号がフィルム素材か否かを判定する。このフィルム判定処理自体は公知の技術であるので、詳細は割愛する。
例えば、入力フレーム周波数が２４Ｈｚ、出力フレーム周波数が６０Ｈｚの場合には、動きベクトル処理部２において、先ず、補間位相算出部２１は、補間位相算出を行い、具体的には、入力フレーム周波数／出力フレーム周波数（＝２４／６０＝０．４）を処理毎に加算し、その小数部を論理補間位相係数Ｋとして算出する。
【００３１】
ここでは、初期値０から始めて０．４を順次加算し、加算結果が０．０、０．４、０．８、１．２、１．６、２．０、…となり、小数部である論理補間位相係数Ｋは、０．０、０．４、０．８、０．２、０．６、０．０となり、この５パターンの繰り返しとなる。
【００３２】
次に、補間位相マッピング部２２は、論理補間位相係数Ｋが０．５からより遠くなるように、マッピング後の補間位相係数Ｋｍを生成する。例えば、マッピング後の補間位相係数Ｋｍの算出方法としては、変換係数をαとすると、Ｋ≦０．５のとき、Ｋｍ＝Ｋ×α、Ｋ＞０．５のとき、Ｋｍ＝１−（１−Ｋ）×α＝１−α＋Ｋ×αが演算される。これらの式から明らかなように、αの値をパラメータとして０．５からの距離を可変することができる。
【００３３】
ここで、変換係数αは、前記フィルム検出部３９が検出する結果によって決定されるパラメータであり、例えば、入力映像信号がフィルム素材の場合に、フィルム素材でない場合と比較して小さい値とし、補間位相が原画位相に近くなるようにする。テレビ放送においては、映像信号がフィルム素材である状態と、フィルム素材でない状態が頻繁に切り替わることも珍しくないので、前記αの値は、２値しかとりえないものではなく、状態の変化時に、多段階で遷移する特性を持たせることが望ましい。
図８に、フィルム検出結果と、αとの関係の一例を示す。図８の時刻ｔ１以前、ｔ３以降がともにフィルム素材の映像信号の入力期間とする。一般にフィルム検出処理では、検出の遅れが伴うが、簡単のため、ここではその検出おくれは考慮しない。
【００３４】
時刻ｔ１以前のα値であるα１は相対的に小さい値とし、それによってＫ≦０．５のときのＫｍの値は小さく、Ｋ＞０．５のときのＫｍの値は大きくなる。このＫｍを用いて生成される中間フレーム画像は、相対的に原画位相に近い位置に生成されることになる。時刻ｔ１において、入力映像信号がフィルム映像から非フィルム映像に変化するが、時刻ｔ１において、非フィルム映像の場合に使用されるα値であるα２（α１＜α２）に切り替えると、生成される中間フレームの画質や位相に急峻な変化が生じるために、見た目の違和感が大きくなる。よって、所定の時間、図８においては、ｔ１からｔ２、をかけて緩やかにα値をα１からα２に変化されるのが望ましい。同様に、入力信号が非フィルム映像からフィルム映像に変化する時刻ｔ３に関しても、ｔ３からｔ４までに時間をおいて、α値をα２からα１に緩やかに変化されるのが望ましい。ここで、ｔ１からｔ２の時間と、ｔ３からｔ４の時間を必ずしも同じ値にする必要はない。また、α2の値を必ずしも１にする必要もない。
α＝０．６２５の場合の例を図４に示す。図４は、α＝０．６２５の場合における補間位相対比図である。前述したように、補間位相が２．０以上となる場合、繰り返しとなるため、図４では割愛している。また、視覚的な理解の助けのため、破綻が検知されやすい中間距離の補間位相（０．５付近の位相範囲）をハッチングで示している。
【００３５】
図４に示す○は入力フレームの位相を示し、△は従来の出力フレーム（中間フレーム）の位相を示し、□は本実施の形態の出力フレーム（中間フレーム）の位相を示し、図４の横軸には論理的な補間位相（入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相）の小数部＝Ｋの間隔を示し、縦軸には本実施の形態の補正された補間位相の小数部＝Ｋｍの間隔を示している。
【００３６】
図に示す出力フレームの論理的な補間位相係数Ｋは、０．４の幅の等間隔にあり、本実施の形態のマッピング後の補間位相係数Ｋｍは、等間隔ではなく、０．２５、０．６２５、０．２５、０．６２５、０．２５の間隔になっており、順に出力フレームの位相を挙げると、０．０、０．２５、０．８７５、１．１２５、１．７５、２．０、…となり、本来の補間位相である０．０、０．４、０．８、１．２、１．６、２．０、…と比して、何れも整数値に近づいていることがわかる。このように、補間位相係数Ｋｍを整数値に近づけることによって、生成する中間フレームの時間軸の位相を入力フレームの時間軸の位相に近づけることができる。
【００３７】
また、図に示すハッチング領域は、中間フレーム映像の破綻が検知されやすい領域であり、従来の出力フレーム（中間フレーム）の位相△は、このハッチング領域内に位置しているが、本実施の形態の出力フレーム（中間フレーム）の位相□はすべてハッチング領域外にあり、本実施の形態では、中間フレーム映像の破綻が検知されにくいことがわかる。
【００３８】
なお、上記の説明では、α値の特性は直線としているが、このような線形特性に特に限定されず、前述したように、官能的な調査に基づいて予め設定されるものであり、２次関数、３次以上の関数、指数関数、多変数関数、これらの組み合わせ等の複雑な特性を用いてもよい。また、本実施の形態では、入力映像信号がもともとフィルム素材か否かに応じて変換係数αの大きさを変化させたが、これに拠らず、例えば、入力映像信号にＯＳＤ表示が含まれているか否か、テロップ表示が含まれているか否か、といった別の特徴に依存して変換後の補間位相係数Ｋｍを算出してもよく、この場合も、相応の効果が得られる。さらに、補間位相マッピング部２２における算術式も、上述のような線形計算に特に限定されず、種々の算術式を用いることができる。
【００３９】
図５は、入力フレームｎの画像データ又は入力フレームｎ＋１の画像データから中間フレームｎ＋Ｋの画像データを生成する投影処理を模式的に示す図である。図５に示すように、動きベクトル検出部１で検出された動きベクトルＶは、そのフレーム間距離が１．０である場合に相当するため、入力フレームｎの画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに補正後の補間位相係数Ｋｍを乗じてゲイン処理を行う必要がある。同様に、入力フレームｎ＋１の画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに−（１−Ｋｍ）＝Ｋｍ−１を乗じてゲイン処理を行う必要がある。なお、この場合に符号が変わるのは、入力フレームｎ＋１から時間を遡行する方向に投影するためである。
【００４０】
上記のように、投影処理部２６は、Ｖ×Ｋｍを用いて入力フレームｎの画像データを投影処理して中間フレームの画像データを生成し、投影処理部２７は、Ｖ×（Ｋｍ−１）を用いて入力フレームｎ＋１の画像データを投影処理して中間フレームの画像データを生成する。マージ部２８は、これらの中間フレームの画像データを適宜マージし、最終的に中間フレームｎ＋Ｋの画像データを出力フレームの画像データとして出力フレーム周波数６０Ｈｚで出力する。なお、投影処理部２６、２７及びマージ部２８による中間フレーム画像の作成方法としては、公知の種々の方法を用いることができるので、詳細な説明は省略する。
【００４１】
上記のように構成された映像処理装置を用いて、中間フレームの位相を中間位相（０．５）からどの程度整数位相に近づけると、フィルム素材の映像信号に対するシネマスムースの効果が感じられなくなるのかを評価した。画像の動きの大きさや画像の鮮明さなどの種々の要因により評価値は変化するが、中間位相（０．５）を０．２５以下又は０．７５以上に整数位相に近づけると、シネマスムースの効果はほとんど感じられなかった。このため、前述した変換係数αの値は０．５以上であることが好ましい。
【００４２】
なお、別の映像の特徴として、図９に示すように、ＯＳＤ検出部４９を備え、（２）ＯＳＤが表示されているか否か、という情報が考えられる。（２）のＯＳＤが表示されている状態においては、静止画として表示されているＯＳＤ表示部分が動きベクトル情報の影響で破綻し、視認性が低下するのを回避するために、α値を相対的に大きな値にすることが望ましい。
【００４３】
上記のように、本実施の形態では、６０Ｈｚの入力映像信号を、１２０Ｈｚの映像信号に変換して出力するフレームレート変換処理を行う際、あるいはもともとはフレーム周波数２４Ｈｚの所謂シネマ映像を、６０Ｈｚの映像信号にプルダウンした映像信号を入力とし、出力フレーム周波数１２０Ｈｚ、あるいは６０Ｈｚの映像に変換するシネマ映像のデジャダ処理を行う際、時間的に連続する２つの入力フレーム画像を用いて動きベクトルが検出され、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相から論理補間位相係数Ｋが生成され、生成された補間位相係数Ｋが入力映像信号の特徴に応じて決定される変換係数αを用いて補間位相係数Ｋｍに変換され、検出された動きベクトルＶと変換後の補間位相係数Ｋｍとを用いて、入力フレーム画像を投影処理して中間フレーム画像が生成される。この結果、中間フレーム画像の位相を補間位相とは異なる整数に近い位相にすることができるので、出力フレーム画像として生成される中間フレーム画像の破綻がユーザに検知されにくくなり、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを防止することができる。
【００４４】
なお、昨今の液晶ＴＶ等においては、表示周波数が６０Ｈｚではなく、１２０Ｈｚ、２４０Ｈｚなど多種のものが登場してきているが、これらの表示周波数においても、本発明を適用できることは明らかである。
【産業上の利用可能性】
【００４５】
本発明に係る映像処理装置は、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができるので、シネマ映像のデジャダ処理を行う映像処理装置等として有用である。
【符号の説明】
【００４６】
１ 動きベクトル検出部
２ 動きベクトル処理部
２１ 補間位相算出部
２２ 補間位相マッピング部
２３、２４ 乗算器
２５ 減算器
２６、２７ 投影処理部
２８ マージ部
２９ 特徴検出部
３９ フィルム検出部
４９ ＯＳＤ検出部
【技術分野】
【０００１】
本発明は、映像信号のフレームレートを変換するフレームレート変換処理を行う映像処理装置及び映像処理方法に関し、特に、シネマ映像のデジャダ処理を行う映像処理装置及び映像処理方法に関するものである。
【背景技術】
【０００２】
従来、シネマ映像のような２４Ｈｚの映像を、６０Ｈｚの映像を表示する表示装置でそのまま表示することができないため、映画フィルムなど毎秒２４コマで記録された映像を、テレビジョン放送などで用いられる毎秒３０フレーム（６０フィールド）の映像信号に変換するフレームレート変換処理が行われる。
【０００３】
上記のようなフレームレート変換処理の一例として、例えば、特許文献１には、初めに、補間フレームを挟む２フレームの組み合わせのうちでフレーム間距離が最も狭いフレームｎ−１、ｎにより動きベクトルを検出して補間フレームの画素に対応付け、動きベクトルを対応付けることができない画素が残っている場合、先程の２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ−２、ｎ＋１）により動きベクトルを検出して補間フレームの画素に対応付け、まだ動きベクトルを対応付けることができない画素が残っている場合、さらに先程の２フレームとは少なくとも一方が異なる２フレーム（例えば、フレーム間距離がより広いフレームｎ−３、ｎ＋２）により動きベクトルを検出して補間フレームの画素に対応付ける画像処理装置が開示されている。この画像処理装置では、補間フレームのできるだけ多くの画素に動きベクトルを対応付けて、補間フレームの画質劣化を抑止することができる。
【０００４】
また、他のフレームレート変換処理の一例として、特許文献２に開示される映像信号の方式変換装置がある。特許文献２に代表される従来の映像処理装置は、動きベクトル検出部及び動きベクトル処理部を用いてフレームレート変換を行う。以下、この従来の映像処理装置が入力フレーム周波数２４Ｈｚの所謂シネマ映像を出力フレーム周波数６０Ｈｚの映像に変換する処理について具体的に説明する。
【０００５】
図６は、フレームレート変換を行う従来の映像処理装置の構成を示すブロック図であり、図７は、図６に示す動きベクトル処理部の構成を示すブロック図である。
【０００６】
図６に示す従来の映像処理装置では、動きベクトル検出部１０１及び動きベクトル処理部１０２を用いてフレームレート変換処理が実行される。具体的には、動きベクトル検出部１０１は、連続する入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて、これらのフレーム間の動き量を検出し、画素毎に又はブロック毎に動きベクトルＶを検出する。動きベクトル処理部１０２は、動きベクトルＶ、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて中間フレームｎ＋Ｋ（ここで、Ｋは補間位相係数を表し、０≦Ｋ＜１）の画像データを生成する。
【０００７】
図７に示すように、動きベクトル処理部１０２は、補間位相算出部１０３、乗算器１０４、１０５、減算器１０６、投影処理部１０７、１０８、及びマージ部１０９を備える。まず、補間位相算出部１０３は、入力フレーム周波数／出力フレーム周波数（＝２４／６０＝０．４）を処理毎に加算し、その小数部を補間位相係数Ｋとして算出する。
【０００８】
ここでは、初期値０．０から始めて０．４を順次加算し、加算結果が０．０、０．４、０．８、１．２、１．６、２．０、…となり、小数部である補間位相係数Ｋは、０．０、０．４、０．８、０．２、０．６、０．０となり、この５パターンの繰り返しとなる。また、上記加算結果の整数部が変化するタイミングで、入力フレーム画像も順次切り替わるように制御される。
【０００９】
動きベクトル検出部１０１により検出された動きベクトルＶは、そのフレーム間距離が１．０である場合に相当するため、入力フレームｎの画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに補間位相係数Ｋを乗じてゲイン処理を行う必要がある。同様に、入力フレームｎ＋１の画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに−（１−Ｋ）＝Ｋ−１を乗じてゲイン処理を行う必要がある。なお、この場合に符号が変わるのは、入力フレームｎ＋１から時間を遡行する方向に投影するためである。
【００１０】
上述したように、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを各々、投影処理部１０７、１０８にて投影処理し、各々の中間フレーム映像が生成される。これらの中間フレーム映像は、マージ部１０９にて適宜マージされ、最終的に中間フレームｎ＋Ｋの画像データが出力される。
【００１１】
具体的には、フレームレートを２４Ｈｚから６０Ｈｚへ変換する場合、入力されるフレーム画像の時間軸上のサンプル位相をフレーム順に０．０、１．０、２．０、３．０、…とすると、出力されるフレーム画像の時間軸上の位相である補間位相は、０．０、０．４、０．８、１．２、１．６、２．０、…となる。この位相間隔は０．４であり、入力フレーム周波数／出力フレーム周波数で決定され、この例では、２４／６０である。動きベクトル処理部１０２は、動きベクトルＶに補間位相の小数部（０．０、０．４、０．８、０．２、０．６、…）を補間位相係数Ｋとし、動きベクトルＶに補間位相係数Ｋを乗じて入力フレームの各画素データを補間位相上に投影し、中間フレームの各画素データを生成する。
【００１２】
上記のフレームレート変換処理は、所謂シネマスムース処理（シネマ映像のデジャダ処理）と称され、２４Ｈｚの映像（シネマ映像）の動きのカクカク感（ジャダ）を違和感の無い滑らかな動きに変換する効果があり、昨今のＴＶ装置に搭載されはじめている。この従来のシネマスムース処理は、比較的ゆっくりとした動きの映像や、画面全体が同一方向に動く映像に対して効果がある。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００７−２８８６８１号公報
【特許文献２】特許第４０８３２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記の従来のシネマスムース処理では、画面上の複数の物体がそれぞれ別方向に比較的早く移動している映像に対しては、種々の原因により、生成した中間フレームの映像が破綻する場合がある。この映像破綻は、物体の境界付近での動きベクトルの検出エラー、高速で移動する物体の動きベクトルの検出エラーなどいくつかの動きベクトルの検出エラーが表面化したものである。これらの原因である動きベクトルの検出エラーを完全に取り除くことは極めて難しく、またリソースも消費する。
【００１５】
本発明の目的は、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができる映像処理装置及び映像処理方法を提供することである。
【課題を解決するための手段】
【００１６】
映像信号のフレームレートを変換する映像処理装置であって、入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号にＯＳＤが表示されているかのいずれかの特徴を検出する特徴検出部と、前記特徴検出部により検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する画像生成部とを備え、前記画像生成部は、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理装置である。
【００１７】
この映像処理装置においては、入力された映像信号の特徴を検出し、検出した特徴を用いて、入力フレーム画像の位相と異なる位相の中間フレーム画像が生成される。このとき、中間フレーム画像の位相が入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動されるので、中間フレーム画像の位相を補間位相とは異なる整数に近い位相にすることができる。
【発明の効果】
【００１８】
上述した構成により、本映像処理装置においては、出力フレーム画像として生成される中間フレーム画像の破綻がユーザに検知されにくくなるので、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができるものである。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態による映像処理装置の構成を示すブロック図
【図２】図１に示す動きベクトル処理部の構成を示すブロック図
【図３】図１に示す動きベクトル処理部の構成を示すブロック図
【図４】α＝０．６２５の場合における補間位相対比図
【図５】入力フレームｎの画像データ又は入力フレームｎ＋１の画像データアから中間フレームｎ＋Ｋの画像データを生成する投影処理を模式的に示す図。
【図６】フレームレート変換を行う従来の映像処理装置の構成を示すブロック図
【図７】図６に示す動きベクトル処理部の構成を示すブロック図
【図８】フィルム検出結果と、α値との関係を示す図
【図９】図１に示す動きベクトル処理部の構成を示すブロック図
【発明を実施するための形態】
【００２０】
（実施例１）以下、本発明の一実施の形態による映像処理装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による映像処理装置の構成を示すブロック図であり、図２は、図１に示す動きベクトル処理部の構成を示すブロック図である。
【００２１】
図１に示すように、本実施の形態の映像処理装置は、動きベクトル検出部１１及び動きベクトル処理部１２を備え、図２に示すように、動きベクトル処理部１２は、補間位相算出部２１、補間位相マッピング部２２、乗算器２３、２４、減算器２５、投影処理部２６、２７、マージ部２８、および映像特徴検出部２９を備える。
【００２２】
図１に示す映像処理装置は、液晶表示装置、プラズマ表示装置、有機ＥＬ表示装置等の種々の画像表示装置、ＶＴＲ、ＤＶＤレコーダ、ブルーレイディスクレコーダ等の映像記録／再生装置等に使用され、例えば、６０Ｈｚの入力映像信号を、動きベクトル情報を用いたフレーム内装処理により、１２０Ｈｚの映像信号に変換して出力するフレームレート変換処理、あるいはもともとはフレーム周波数２４Ｈｚの所謂シネマ映像を、６０Ｈｚの映像信号にプルダウンした映像信号を入力とし、動きベクトル情報を用いたフレーム内装処理により出力フレーム周波数１２０Ｈｚ、あるいは６０Ｈｚの映像に変換するシネマ映像のデジャダ処理を行う。
【００２３】
動きベクトル検出部１１には、外部又は内部の所定の回路から、時間的に連続する２つの入力フレーム画像、例えば、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データが入力され、これらのフレーム間の動き量を検出し、画素毎に又はブロック毎に動きベクトルＶを検出する。この動きベクトル検出方法としては、公知の動きベクトル検出方法が用いられ、例えば、ブロック毎のマッチング処理による検出方法が用いられる。なお、本発明に用いられる画像の動き量は、上記の動きベクトルに特に限定されず、時間的に前後する少なくとも２つ以上の入力フレーム画像を用いて検出された画像の動き量であれば、種々の動き量を用いることができ、画面全体のパン方向の移動量等を用いてもよい。
【００２４】
動きベクトル処理部１２は、動きベクトルＶ、入力フレームｎの画像データ及び入力フレームｎ＋１の画像データを用いて、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相とは異なる位相の中間フレームｎ＋Ｋ（ここで、Ｋは補間位相係数を表し、０≦Ｋ＜１）の画像データを生成する。
ここで、中間フレームｎ＋Ｋの位相は、整数に近い位相である場合、ベクトル情報の検出エラー等に起因する映像の破綻がユーザの目には検知されにくいことが本願発明者の実験結果により判明した。すなわち、中間フレームの位相が整数に近い位相である場合、換言すれば、補間位相係数Ｋ（０≦Ｋ＜１）が０．５からなるべく遠ければ、中間フレーム映像の破綻が検知されにくい。
【００２５】
補間位相算出部２１は、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相の小数部を論理補間位相係数Ｋとして生成する。補間位相マッピング部２２は、補間位相を整数位相に近づけるようにマッピング演算を行い、中間フレームｎ＋Ｋの位相が入力フレームｎ又は入力フレームｎ＋１のいずれかの位相に近づくように、映像特徴検出部２９が検出する入力映像の特徴に応じて、補間位相算出部２１により生成された論理補間位相係数Ｋを補正し、補正後の補間位相係数Ｋｍを生成する。
【００２６】
乗算器２３は、動きベクトルＶと補正後の補間位相係数Ｋｍとを乗算し、投影処理部２６は、Ｖ×Ｋｍを用いて入力フレームｎの画像データを投影処理して中間フレームの画像データを生成する。また、減算器２５は、補正後の補間位相係数Ｋｍから１を減算し、乗算器２４は、動きベクトルＶと（Ｋｍ−１）とを乗算し、投影処理部２７は、Ｖ×（Ｋｍ−１）を用いてフレームｎ＋１の画像データを投影処理して中間フレームの画像データを生成する。マージ部２８は、これらの中間フレームの画像データを適宜マージし、最終的に中間フレームｎ＋Ｋの画像データを出力する。
【００２７】
中間フレームｎ＋Ｋの位相を整数値に完全に整数位相に丸めてしまうと、中間フレーム映像の破綻は全く無いが、フレームレート変換に伴う動きの滑らかさの改善効果や、シネマスムースの効果もなくなってしまう。このため、中間フレームｎ＋Ｋの位相をどの程度整数位相に近づけるかは、表示している映像の特性に適応して制御することが好ましい。
映像の特徴としては、（１）映像がフィルム素材であるか否か、（２）ＯＳＤが表示されているか否か、といった情報が考えられる。
【００２８】
なお、ここで、ＯＳＤは、本発明の文字情報が表示されているか否かにおける一例であって、文字情報としては、この映像処理装置内において合成されるＯＳＤ情報（例えば、ユーザーメニュー等）の他、映像処理装置に接続された接続機器において生成されたＯＳＤ情報（例えば、録画機器のユーザーメニュー、録画した番組一覧、録画予約情報等）、映像信号に予め重畳されている文字情報（例えば、スポーツ番組における得点情報、歌番組の歌詞、映画の字幕）、放送局のロゴ、記録媒体に記録されたメニュー表示（例えば、ＤＶＤに記録されたチャプター選択情報、音声切換情報等）、緊急情報（例えば、地震情報、臨時ニュース等）であっても良い。つまり、文字情報とは、画面において、動きのある人物や物体以外に表示される、静止した文字情報であり、ある程度の大きさ（面積）を有しているもの全般をいうものである。
【００２９】
なお、静止した文字情報を対象とした場合には、本発明の位相制御により、より文字のぼけがなく、表示が明確にすることが可能になるが、本発明は、これに限定されるものではなく、例えば、一定方向に移動するテロップ等においても適用することは可能である。
こうした特徴に適応して補正後の補間位相係数Ｋｍを定め、補正後の補間位相係数Ｋｍを動きベクトルＶに乗じ、その算出した乗算値を用いて入力フレーム画像の該当画素を投影して中間フレーム画像を生成する。
【００３０】
具体的に（１）映像がフィルム素材であるか否か、の判定に基づく制御について述べる。
図３は、図２の映像特徴検出部２９を、フィルム検出部３９とした場合のベクトル処理部の構成を示すブロック図である。
従来、もともと２４Ｈｚのフィルム映像が６０Ｈｚ、５０Ｈｚのテレビ用映像信号となる場合、３、２プルダウン、２、２プルダウンという処理により、同じコマが重複されて使用される。また昨今、フィルム素材の忠実な再生を行うために、再生機からの映像出力が２４Ｈｚそのまま場合がある。いずれにしても、通常の映像信号とは異なり、単位時間当たりのコマ数が少なく、これに伴い動きベクトル情報の精度が悪くなるとともに、少ないコマから多くのフレームを生成する必要があり、動きベクトルの検出エラーに伴う中間フレームの映像破綻が顕著になる。
よって、入力画像がフィルム素材である場合、そうでない場合と比較して、補間位相を整数位相に近づけることにより、破綻を目立たなくすることが見た目の違和感を低減することになる。
図３のフィルム検出部３９は、入力フレームｎ、ｎ＋１の映像信号を入力し、二つの映像信号のフレーム周波数、および二つの映像信号の差分が発生する周期から、入力映像信号がフィルム素材か否かを判定する。このフィルム判定処理自体は公知の技術であるので、詳細は割愛する。
例えば、入力フレーム周波数が２４Ｈｚ、出力フレーム周波数が６０Ｈｚの場合には、動きベクトル処理部２において、先ず、補間位相算出部２１は、補間位相算出を行い、具体的には、入力フレーム周波数／出力フレーム周波数（＝２４／６０＝０．４）を処理毎に加算し、その小数部を論理補間位相係数Ｋとして算出する。
【００３１】
ここでは、初期値０から始めて０．４を順次加算し、加算結果が０．０、０．４、０．８、１．２、１．６、２．０、…となり、小数部である論理補間位相係数Ｋは、０．０、０．４、０．８、０．２、０．６、０．０となり、この５パターンの繰り返しとなる。
【００３２】
次に、補間位相マッピング部２２は、論理補間位相係数Ｋが０．５からより遠くなるように、マッピング後の補間位相係数Ｋｍを生成する。例えば、マッピング後の補間位相係数Ｋｍの算出方法としては、変換係数をαとすると、Ｋ≦０．５のとき、Ｋｍ＝Ｋ×α、Ｋ＞０．５のとき、Ｋｍ＝１−（１−Ｋ）×α＝１−α＋Ｋ×αが演算される。これらの式から明らかなように、αの値をパラメータとして０．５からの距離を可変することができる。
【００３３】
ここで、変換係数αは、前記フィルム検出部３９が検出する結果によって決定されるパラメータであり、例えば、入力映像信号がフィルム素材の場合に、フィルム素材でない場合と比較して小さい値とし、補間位相が原画位相に近くなるようにする。テレビ放送においては、映像信号がフィルム素材である状態と、フィルム素材でない状態が頻繁に切り替わることも珍しくないので、前記αの値は、２値しかとりえないものではなく、状態の変化時に、多段階で遷移する特性を持たせることが望ましい。
図８に、フィルム検出結果と、αとの関係の一例を示す。図８の時刻ｔ１以前、ｔ３以降がともにフィルム素材の映像信号の入力期間とする。一般にフィルム検出処理では、検出の遅れが伴うが、簡単のため、ここではその検出おくれは考慮しない。
【００３４】
時刻ｔ１以前のα値であるα１は相対的に小さい値とし、それによってＫ≦０．５のときのＫｍの値は小さく、Ｋ＞０．５のときのＫｍの値は大きくなる。このＫｍを用いて生成される中間フレーム画像は、相対的に原画位相に近い位置に生成されることになる。時刻ｔ１において、入力映像信号がフィルム映像から非フィルム映像に変化するが、時刻ｔ１において、非フィルム映像の場合に使用されるα値であるα２（α１＜α２）に切り替えると、生成される中間フレームの画質や位相に急峻な変化が生じるために、見た目の違和感が大きくなる。よって、所定の時間、図８においては、ｔ１からｔ２、をかけて緩やかにα値をα１からα２に変化されるのが望ましい。同様に、入力信号が非フィルム映像からフィルム映像に変化する時刻ｔ３に関しても、ｔ３からｔ４までに時間をおいて、α値をα２からα１に緩やかに変化されるのが望ましい。ここで、ｔ１からｔ２の時間と、ｔ３からｔ４の時間を必ずしも同じ値にする必要はない。また、α2の値を必ずしも１にする必要もない。
α＝０．６２５の場合の例を図４に示す。図４は、α＝０．６２５の場合における補間位相対比図である。前述したように、補間位相が２．０以上となる場合、繰り返しとなるため、図４では割愛している。また、視覚的な理解の助けのため、破綻が検知されやすい中間距離の補間位相（０．５付近の位相範囲）をハッチングで示している。
【００３５】
図４に示す○は入力フレームの位相を示し、△は従来の出力フレーム（中間フレーム）の位相を示し、□は本実施の形態の出力フレーム（中間フレーム）の位相を示し、図４の横軸には論理的な補間位相（入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相）の小数部＝Ｋの間隔を示し、縦軸には本実施の形態の補正された補間位相の小数部＝Ｋｍの間隔を示している。
【００３６】
図に示す出力フレームの論理的な補間位相係数Ｋは、０．４の幅の等間隔にあり、本実施の形態のマッピング後の補間位相係数Ｋｍは、等間隔ではなく、０．２５、０．６２５、０．２５、０．６２５、０．２５の間隔になっており、順に出力フレームの位相を挙げると、０．０、０．２５、０．８７５、１．１２５、１．７５、２．０、…となり、本来の補間位相である０．０、０．４、０．８、１．２、１．６、２．０、…と比して、何れも整数値に近づいていることがわかる。このように、補間位相係数Ｋｍを整数値に近づけることによって、生成する中間フレームの時間軸の位相を入力フレームの時間軸の位相に近づけることができる。
【００３７】
また、図に示すハッチング領域は、中間フレーム映像の破綻が検知されやすい領域であり、従来の出力フレーム（中間フレーム）の位相△は、このハッチング領域内に位置しているが、本実施の形態の出力フレーム（中間フレーム）の位相□はすべてハッチング領域外にあり、本実施の形態では、中間フレーム映像の破綻が検知されにくいことがわかる。
【００３８】
なお、上記の説明では、α値の特性は直線としているが、このような線形特性に特に限定されず、前述したように、官能的な調査に基づいて予め設定されるものであり、２次関数、３次以上の関数、指数関数、多変数関数、これらの組み合わせ等の複雑な特性を用いてもよい。また、本実施の形態では、入力映像信号がもともとフィルム素材か否かに応じて変換係数αの大きさを変化させたが、これに拠らず、例えば、入力映像信号にＯＳＤ表示が含まれているか否か、テロップ表示が含まれているか否か、といった別の特徴に依存して変換後の補間位相係数Ｋｍを算出してもよく、この場合も、相応の効果が得られる。さらに、補間位相マッピング部２２における算術式も、上述のような線形計算に特に限定されず、種々の算術式を用いることができる。
【００３９】
図５は、入力フレームｎの画像データ又は入力フレームｎ＋１の画像データから中間フレームｎ＋Ｋの画像データを生成する投影処理を模式的に示す図である。図５に示すように、動きベクトル検出部１で検出された動きベクトルＶは、そのフレーム間距離が１．０である場合に相当するため、入力フレームｎの画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに補正後の補間位相係数Ｋｍを乗じてゲイン処理を行う必要がある。同様に、入力フレームｎ＋１の画像データからの投影処理によって中間フレームｎ＋Ｋの画像データを生成する際には、この動きベクトルＶに−（１−Ｋｍ）＝Ｋｍ−１を乗じてゲイン処理を行う必要がある。なお、この場合に符号が変わるのは、入力フレームｎ＋１から時間を遡行する方向に投影するためである。
【００４０】
上記のように、投影処理部２６は、Ｖ×Ｋｍを用いて入力フレームｎの画像データを投影処理して中間フレームの画像データを生成し、投影処理部２７は、Ｖ×（Ｋｍ−１）を用いて入力フレームｎ＋１の画像データを投影処理して中間フレームの画像データを生成する。マージ部２８は、これらの中間フレームの画像データを適宜マージし、最終的に中間フレームｎ＋Ｋの画像データを出力フレームの画像データとして出力フレーム周波数６０Ｈｚで出力する。なお、投影処理部２６、２７及びマージ部２８による中間フレーム画像の作成方法としては、公知の種々の方法を用いることができるので、詳細な説明は省略する。
【００４１】
上記のように構成された映像処理装置を用いて、中間フレームの位相を中間位相（０．５）からどの程度整数位相に近づけると、フィルム素材の映像信号に対するシネマスムースの効果が感じられなくなるのかを評価した。画像の動きの大きさや画像の鮮明さなどの種々の要因により評価値は変化するが、中間位相（０．５）を０．２５以下又は０．７５以上に整数位相に近づけると、シネマスムースの効果はほとんど感じられなかった。このため、前述した変換係数αの値は０．５以上であることが好ましい。
【００４２】
なお、別の映像の特徴として、図９に示すように、ＯＳＤ検出部４９を備え、（２）ＯＳＤが表示されているか否か、という情報が考えられる。（２）のＯＳＤが表示されている状態においては、静止画として表示されているＯＳＤ表示部分が動きベクトル情報の影響で破綻し、視認性が低下するのを回避するために、α値を相対的に大きな値にすることが望ましい。
【００４３】
上記のように、本実施の形態では、６０Ｈｚの入力映像信号を、１２０Ｈｚの映像信号に変換して出力するフレームレート変換処理を行う際、あるいはもともとはフレーム周波数２４Ｈｚの所謂シネマ映像を、６０Ｈｚの映像信号にプルダウンした映像信号を入力とし、出力フレーム周波数１２０Ｈｚ、あるいは６０Ｈｚの映像に変換するシネマ映像のデジャダ処理を行う際、時間的に連続する２つの入力フレーム画像を用いて動きベクトルが検出され、入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される論理補間位相から論理補間位相係数Ｋが生成され、生成された補間位相係数Ｋが入力映像信号の特徴に応じて決定される変換係数αを用いて補間位相係数Ｋｍに変換され、検出された動きベクトルＶと変換後の補間位相係数Ｋｍとを用いて、入力フレーム画像を投影処理して中間フレーム画像が生成される。この結果、中間フレーム画像の位相を補間位相とは異なる整数に近い位相にすることができるので、出力フレーム画像として生成される中間フレーム画像の破綻がユーザに検知されにくくなり、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを防止することができる。
【００４４】
なお、昨今の液晶ＴＶ等においては、表示周波数が６０Ｈｚではなく、１２０Ｈｚ、２４０Ｈｚなど多種のものが登場してきているが、これらの表示周波数においても、本発明を適用できることは明らかである。
【産業上の利用可能性】
【００４５】
本発明に係る映像処理装置は、簡略な構成でフレームレート変換後の中間フレームの映像が破綻することを抑制することができるので、シネマ映像のデジャダ処理を行う映像処理装置等として有用である。
【符号の説明】
【００４６】
１ 動きベクトル検出部
２ 動きベクトル処理部
２１ 補間位相算出部
２２ 補間位相マッピング部
２３、２４ 乗算器
２５ 減算器
２６、２７ 投影処理部
２８ マージ部
２９ 特徴検出部
３９ フィルム検出部
４９ ＯＳＤ検出部
【特許請求の範囲】
【請求項１】
映像信号のフレームレートを変換する映像処理装置であって、
入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号に文字情報が表示されているかのいずれかの特徴を検出する特徴検出部と、
前記特徴検出部により検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する画像生成部とを備え、
前記画像生成部は、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理装置。
【請求項２】
前記画像生成部は、
入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相から補間位相係数を生成する係数生成部と、
前記係数生成部により生成された補間位相係数を補正する係数補正部と、
前記特徴検出部により検出された特徴と、前記係数補正部により補正された補間位相係数とを用いて、前記入力フレーム画像から前記補間位相と異なる位相の中間フレーム画像を生成する画像生成部とを備えることを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記係数補正部は、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記特徴検出部に検出された特徴に応じて前記補間位相係数を補正することを特徴とする請求項２記載の映像処理装置。
【請求項４】
前記係数補正部は、前記特徴検出部において映像信号がフィルム素材である場合、又は、文字情報の表示がなされている場合に、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記補間位相係数を補正することを特徴とする請求項３記載の映像処理装置。
【請求項５】
前記特徴量検出部は、前記映像信号がフィルム素材から非フィルム素材への切り替わり及び切り替わり後の時間を検出し、
前記係数補正部は、切り替わり時間の経過にともなって、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記補間位相係数を補正することを特徴とする請求項２記載の映像処理装置。
【請求項６】
映像信号のフレームレートを変換する映像処理方法であって、
入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号に文字情報が表示されているかのいずれかの特徴を検出する第１のステップと、
前記第１のステップにおいて検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する第２のステップとを含み、
前記第２のステップは、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理方法。
【請求項１】
映像信号のフレームレートを変換する映像処理装置であって、
入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号に文字情報が表示されているかのいずれかの特徴を検出する特徴検出部と、
前記特徴検出部により検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する画像生成部とを備え、
前記画像生成部は、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理装置。
【請求項２】
前記画像生成部は、
入力フレーム周波数を出力フレーム周波数で除算した位相間隔から決定される補間位相から補間位相係数を生成する係数生成部と、
前記係数生成部により生成された補間位相係数を補正する係数補正部と、
前記特徴検出部により検出された特徴と、前記係数補正部により補正された補間位相係数とを用いて、前記入力フレーム画像から前記補間位相と異なる位相の中間フレーム画像を生成する画像生成部とを備えることを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記係数補正部は、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記特徴検出部に検出された特徴に応じて前記補間位相係数を補正することを特徴とする請求項２記載の映像処理装置。
【請求項４】
前記係数補正部は、前記特徴検出部において映像信号がフィルム素材である場合、又は、文字情報の表示がなされている場合に、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記補間位相係数を補正することを特徴とする請求項３記載の映像処理装置。
【請求項５】
前記特徴量検出部は、前記映像信号がフィルム素材から非フィルム素材への切り替わり及び切り替わり後の時間を検出し、
前記係数補正部は、切り替わり時間の経過にともなって、前記中間フレーム画像の位相が前記入力フレーム画像の位相に近づくように、前記補間位相係数を補正することを特徴とする請求項２記載の映像処理装置。
【請求項６】
映像信号のフレームレートを変換する映像処理方法であって、
入力された映像信号のうち、少なくとも、映像信号がフィルム素材であるか否か、映像信号に文字情報が表示されているかのいずれかの特徴を検出する第１のステップと、
前記第１のステップにおいて検出された特徴を用いて、前記入力フレーム画像の位相と異なる位相の中間フレーム画像を生成する第２のステップとを含み、
前記第２のステップは、前記中間フレーム画像の位相を入力フレーム周波数と出力フレーム周波数とを基に決定される補間位相と異なる位相に移動させることを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１３８６４６（Ｐ２０１２−１３８６４６Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２００９−１０４９５８（Ｐ２００９−１０４９５８）
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２１年４月２３日（２００９．４．２３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]