画像処理装置、画像処理方法

【課題】表示側のフレームレートが入力映像と一致していなくても、出力映像を、品質を劣化させることなく提示するための技術を提供すること。
【解決手段】着目画素の画素値に対するデューティー比と、次のフレームの画像中の着目画素と同位置の画素の画素値に対するデューティー比と、を（ｍ／ｎ）の小数部を用いて合成して、次に供給する着目画素のパルス信号のデューティー比として決定する。着目フレームの次のフレームの画像中の着目画素と同位置の画素の画素値に対するデューティー比を、（ｍ／ｎ）の小数部を用いて加工した結果を、次に供給する着目画素のパルス信号の位相シフト量として決定する。決定したデューティー比及び位相シフト量によって規定されるパルス信号を表示装置に供給する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像のフレームレート変換技術に関するものである。
【背景技術】
【０００２】
従来より、入力映像信号のフレームレートが出力デバイスのフレームレートと異なる場合、フレームレート変換処理を施すことで映像を表示している。例えば、２４コマ／秒のフィルム映像信号を、垂直同期信号が６０Ｈｚのテレビ信号に変換する場合、２−３プルダウンといったフレームレート変換処理が用いられる。このような２−３プルダウンで処理された入力映像信号を表示する際、同一フレームが２枚、次のフレームが３枚連続するパターンが繰り返される。このように、入力映像のフレームレートと出力機器のフレームレートが整数倍になっていない場合、出力時のフレームの表示時間が均一にならない。このようなフレームレート変換を行うと、入力映像本来のシネマジャダー感が失われ、不自然なジャダーが生じるといった画質劣化が生じる。また、映像編集などを行う際に、複数の異なるフレームレートからなる映像を一画面内に同時に表示する場合にも問題となる。
【０００３】
この問題を解決するために、従来では以下のような方法がとられていた。特許文献１では、映像の動きベクトルを用いて中間フレームを生成し、補間することで対処している。また、特許文献２では、バックライト等の光源を有する液晶テレビなどの出力機器において、出力機器のフレームレートは変えずに、フレームの表示時間が均一となるようにバックライトを制御することで対処している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−７７１３号公報
【特許文献２】特開２００７−２９８６６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１による方法では、中間画像の生成に誤りが生じた場合には、かえって映像を劣化させてしまうという問題があった。特許文献２による方法では、映像本来のジャダー感をそのまま再現できるが、フレームレートによってはバックライト点灯の周波数が小さくなり、フリッカが知覚されやすくなるという課題がある。また、特許文献２では、複数の異なるフレームレートからなる映像を一画面内に同時に表示する場合には、バックライトの点滅を領域ごとに制御する必要があり、コストが大きくなるといった課題もある。
【０００６】
本発明はこのような問題に鑑みてなされたものであり、表示側のフレームレートが入力映像と一致していなくても、出力映像を、品質を劣化させることなく提示するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、ｎ（ｎは２以上の整数）フレーム／秒のフレームレートを第１のフレームレート、ｍ（ｍはｎよりも大きくｎの倍数ではない整数）フレーム／秒のフレームレートを第２のフレームレートとし、前記第１のフレームレートの動画像を前記第２のフレームレートで表示装置に表示させるための処理を行う画像処理装置であって、前記動画像の各フレームの画像を格納するためのメモリから前記第１のフレームレートで各フレームの画像を読み出す読み出し手段と、前記読み出し手段が読み出した着目フレームの画像を構成する画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号であって該画素の画素値に対応する該パルス信号を前記表示装置に供給する動作を、（ｍ／ｎ）よりも大きい最小の整数をｘとすると、前記第２のフレームレートで（ｘ−１）回繰り返して行い、前記動作を（ｘ−１）回行った後、前記着目フレームの画像中の各画素を着目画素とし、前記着目画素の画素値に予め関連づけられているパルス信号のデューティー比と、前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比と、を（ｍ／ｎ）の小数部を用いて合成し、該合成によって得られるデューティー比を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号のデューティー比として決定し、前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比を、（ｍ／ｎ）の小数部を用いて加工した結果を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号の位相シフト量として決定し、前記決定したデューティー比及び前記決定した位相シフト量によって規定されるパルス信号を、前記着目画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号として、前記表示装置に供給する供給手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、表示側のフレームレートが入力映像と一致していなくても、出力映像を、品質を劣化させることなく提示することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の機能構成例を示すブロック図。
【図２】表示装置１０８の表示画面例を示す図。
【図３】画像処理部１０６の機能構成例を示すブロック図。
【図４】信号処理の流れを示す図。
【図５】パルス信号生成部３０５の機能構成例を示すブロック図。
【図６】デューティー比ｄと位相のシフト量ｐとの関係を示す図。
【図７】パルス信号を説明する図。
【図８】パルス信号を説明する図。
【図９】パルス信号生成部３０５の機能構成例を示すブロック図。
【図１０】パルスコードを説明する図。
【図１１】パルス発生部９０３の機能構成例を示すブロック図。
【図１２】サブフレームを説明する図。
【図１３】パルス信号の一例を示す図。
【図１４】パルス信号の出力例を示す図。
【図１５】パルス信号とｍとの関係を示す図。
【図１６】パルス信号の一例を示す図。
【図１７】パルス信号生成部３０５の機能構成例を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。
【００１１】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係る画像処理装置１００は、表示装置１０８に接続されており、端子１０１や端子１０２を介して受信した映像信号に基づく動画像を、この表示装置１０８に表示するための処理を行う。
【００１２】
本実施形態では、端子１０１に入力される６０ｆｐｓ（フレーム／秒）のデジタル放送信号と、端子１０２に入力される２４ｆｐｓのデジタル映像信号と、を同時に表示装置１０８に表示する。即ち、表示装置１０８の表示画面では、図２に示す如く、６０ｆｐｓのデジタル放送信号に基づく動画像をデジタル放送入力表示部に表示し、２４ｆｐｓのデジタル映像信号に基づく動画像をデジタル外部入力表示部に表示する。しかし、以下の説明はこの表示に限ったものではない。
【００１３】
本実施形態では、この表示装置１０８の駆動周波数は６０Ｈｚとする。また、表示装置１０８の階調制御方法は、PDPやDLPなどのように時間積分型の階調表現であり、画素の点灯時間を制御することで階調を表現する。
【００１４】
次に、画像処理装置１００について説明する。
【００１５】
端子１０１は、地上デジタル放送、衛星デジタル放送などの６０ｆｐｓのデジタル放送信号を入力するための端子である。端子１０１を介して入力されたデジタル放送信号は、後段のデジタルチューナ１０３に入力される。
【００１６】
端子１０２は、HDMIなどの２４ｆｐｓのデジタル映像信号を入力するための端子である。端子１０２を介して入力されたデジタル映像信号は、後段の画像処理部１０６に入力される。
【００１７】
デジタルチューナ１０３は、端子１０１から受けたデジタル放送信号を映像信号に変換するための装置であり、端子１０１から受けたデジタル放送信号から所望のチャンネルの信号を選局して復調する。そしてデジタルチューナ１０３は、この復調した映像信号を、後段のデコーダ１０４に送出する。
【００１８】
デコーダ１０４は、デジタルチューナ１０３から受けた映像信号（MPEGなどの符号化方式で符号化された映像信号）を復号し、復号した映像信号を後段の画像処理部１０５に送出する。
【００１９】
画像処理部１０５は、デコーダ１０４から受けた映像信号、即ち、各フレームの画像に対して縮小処理（必須ではない）を施した後、時間積分型階調表現の表示装置１０８を駆動するパルス信号に変換する。このパルス信号に応じた画像は図２のデジタル放送入力表示部に表示される。
【００２０】
画像処理部１０６は、端子１０２から受けた映像信号、即ち、各フレームの画像に対して縮小処理（必須ではない）を施した後、時間積分型階調表現の表示装置１０８を駆動するパルス信号に変換する。このパルス信号に応じた画像は図２のデジタル外部入力表示部に表示される。その際、画像処理部１０６は、端子１０２から受けた映像信号のフレームレート（２４ｆｐｓ）と表示装置１０８の駆動周波数（６０Ｈｚ）とのずれを補正するように、パルス信号を加工する。具体的には、入力映像のフレームの切り替わりを、出力映像の１フレーム内で近似的に表示するよう、パルス信号のパルス幅および位相を制御する。これにより、２−３プルダウン等のフレーム表示期間が不均一なフレームレート変換処理に特有の不自然なジャダーを生じさせず、映像本来のジャダーを再現することができる。画像処理部１０６の詳細については後述する。
【００２１】
パネル駆動部１０７は、画像処理部１０５や画像処理部１０６から受けたパルス信号を用いて表示装置１０８を駆動する。
【００２２】
ＣＰＵ１０９は、ＲＯＭ１１０やＲＡＭ１１１に格納されているコンピュータプログラムやデータを用いて、画像処理装置１００を構成する各部の動作制御を行う。
【００２３】
ＲＯＭ１１０には、ＣＰＵ１０９が行うものとして説明する各処理をＣＰＵ１０９に実行させるためのコンピュータプログラムやデータ、画像処理装置１００の設定データなどが格納されている。
【００２４】
ＲＡＭ１１１は、ＣＰＵ１０９やその他の各部が各種の処理を実行する際に用いるワークエリアを提供することができる。また、ＲＡＭ１１１は、ＲＯＭ１１０やＨＤＤ（ハードディスクドライブ）１１２からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアも提供することができる。即ち、ＲＡＭ１１１は、このような各種のエリアを適宜提供することができる。
【００２５】
ＨＤＤ１１２は、ＯＳ（オペレーティングシステム）や、ＣＰＵ１０９が行うものとして説明する各処理をＣＰＵ１０９に実行させるためのコンピュータプログラムやデータ、画像処理装置１００の設定データなどが格納されている。
【００２６】
操作部１１３は、ボタンやタッチパネルなどにより構成されており、ユーザが操作することで、各種の指示をＣＰＵ１０９に対して入力することができる。
【００２７】
リモコン受光センサ１１４は、リモコン１１６から発せられたリモコン信号を受光し、受光したリモコン信号が示す指示をＣＰＵ１０９に対して入力する。リモコン１１６は、ユーザが操作することで、各種の指示を入力することができ、入力された指示に応じたリモコン信号を発する。
【００２８】
次に、画像処理部１０６の機能構成例について、図３のブロック図を用いて説明する。なお、端子１０１に６０ｆｐｓ以外のフレームレートの映像信号を入力することも可能であるため、その場合には、画像処理部１０５にも図３の構成を適用すればよい。
【００２９】
画質変換補正部３０１は、入力された映像信号、即ち、各フレームの画像に対して、解像度変換などの各種補正及び変換処理を施し、順次フレームメモリ３０２に格納する。なお、画質変換補正部３０１による処理が施された各フレームの画像はフレーム遅延部３０３にも入力され、フレーム遅延部３０３は、入力されたフレームから１フレーム分遅延したフレームの画像をフレームメモリ３０２に格納する。なお、画質変換補正部３０１は以下の処理において必須の構成ではないため、適宜省いてもよい。
【００３０】
サブフレーム比取得部３０４は、画質変換補正部３０１に入力された映像信号のフレームレートからどのようなフレームレートに変換するのかを示す情報（変換モード信号）が入力される。この情報は、例えば、「画質変換補正部３０１に入力される映像信号のフレームレートを表示装置１０８の駆動周波数に変換する」旨の情報である。
【００３１】
サブフレーム比取得部３０４の動作に係る説明として、２４ｆｐｓのフレームレートの動画像を６０ｆｐｓで表示装置１０８に表示するための信号処理の流れについて、図４を用いて説明する。
【００３２】
２４ｆｐｓの動画像を構成する各フレームは、１／２４秒毎にフレームが切り替わる。（ａ）では、時刻ｔ１にフレーム（In_frame1）に切り替わり、その１／２４秒後の時刻ｔ２にフレーム（In_frame2）に切り替わり、その１／２４秒後の時刻ｔ３にフレーム（In_frame3）に切り替わる。
【００３３】
然るに（ｂ）に示す如く、フレーム（In_frame1）用の期間（フレーム（In_frame2）に切り替わる迄の期間）内にフレーム（Out_frame1、Out_frame2、Out_frame3）の出力タイミングを確保することができる。然るに、フレーム（In_frame1）を１／６０秒毎に、フレーム（Out_frame1）、（Out_frame2）、（Out_frame3）として表示装置１０８に出力することになる。
【００３４】
ここで、フレーム（In_frame1）用の期間内に出力されるフレーム（Out_frame1）、（Out_frame2）は何れも、フレーム（In_frame1）をそのまま（１００％）使用したものである。そのため、サブフレーム比取得部３０４は、フレーム（In_frame1）に対するフレーム（Out_frame1）、（Out_frame2）のサブフレーム比として「１」を出力する。
【００３５】
一方、フレーム（Out_frame3）の前半期間（１／１２０秒間）はフレーム（In_frame1）用の期間に含まれる。また、後半期間（１／１２０秒間）は、フレーム（In_frame2）用の期間（フレーム（In_frame3）に切り替わるまでの期間）に含まれる。そのため、サブフレーム比取得部３０４は、フレーム（In_frame1）に対するフレーム（Out_frame3）のサブフレーム比として「０．５」を出力する。
【００３６】
本実施形態では、フレーム（Out_frame3）として出力するフレームを生成する為に先ず、フレーム（In_frame1）とフレーム（In_frame2）とをこのサブフレーム比「０．５」に従って合成した合成フレームを生成する。この合成フレームは（ｃ）に示す如く、画素値（Ｆ１＋Ｆ２）／２を有する。この合成フレームをそのままフレーム（Out_frame3）として出力しても、次のフレーム（Out_frame4）の出力タイミングが時刻ｔ２から１／１２０秒だけ遅れてしまう。これでは、本来の映像にはない時間周波数成分が含まれる不自然なジャダーが発生し、画質が劣化してしまう。
【００３７】
そこで本実施形態では更に、この合成フレームのパルス信号の位相をシフトし、このシフト後のパルス信号をフレーム（Out_frame3）として出力する。これにより、出力映像の輝度及びジャダーの周波数が入力映像のそれと近い映像を出力できる。フレーム（Out_frame3）において、前半期間のパルス信号が画素値Ｆ１に相当するデューティ比をもち、後半期間のパルス信号が画素値Ｆ２に相当するデューティ比を持つように、パルス信号の位相をシフトしている。これにより、画素値Ｆ１と画素値Ｆ２の切り替わりタイミングが入力映像と一致した映像を出力できる。
【００３８】
更に、サブフレーム比取得部３０４の動作について、より詳細に説明する。上記の通り、サブフレーム比取得部３０４には、フレームレートｎをフレームレートｍに変換する旨を示す情報が入力される。するとサブフレーム比取得部３０４は、（ｍ／ｎ）よりも大きい最小の整数をｘとすると、サブフレーム比ｃｎとして「１」を１／ｍ秒ごとに（ｘ−１）回繰り返して出力し、その１／ｍ後にサブフレーム比ｃｎとして（ｍ／ｎ）の小数部を１回だけ出力する。このようにサブフレーム比取得部３０４によるサブフレーム比ｃｎの出力は１／ｍ秒ごとに行われる。
【００３９】
即ち、ｎ（ｎは２以上の整数）フレーム／秒のフレームレートを、ｍ（ｍはｎよりも大きくｎの倍数ではない整数）フレーム／秒のフレームレートに変換する場合を想定する。この場合、サブフレーム比ｃｎとして「１」を１／ｍ秒ごとに（ｘ−１）回繰り返して出力し、その１／ｍ後にサブフレーム比ｃｎとして（ｍ／ｎ）の小数部を１回だけ出力する。
【００４０】
ｘの値や（ｍ／ｎ）の小数部の値は、ｍ、ｎが決まれば一意に求めることができるため、サブフレーム比取得部３０４は、ｍ、ｎからｘや（ｍ／ｎ）の小数部の値を求めてもよい。また、様々なｍ、ｎの組み合わせに対応するｘや（ｍ／ｎ）の小数部の値を予め計算して登録したデータベースをＨＤＤ１１２等に格納しておき、変換モード信号に含まれているｎ、ｍに対応するｘや（ｍ／ｎ）の小数部の値をデータベースから取得してもよい。ｎ＝２４、ｍ＝６０の場合、ｌ＝１，２，…とすると、ｃｎは以下の式を満たす。
【００４１】
【数１】

【００４２】
図３に戻って、パルス信号生成部３０５は、フレームメモリ３０２から各フレームの画像を２４ｆｐｓのフレームレートで読み出す。そしてパルス信号生成部３０５は、読み出したフレームの画像に基づく出力画像を構成する画素を表示装置１０８に表示させるために表示装置１０８に供給するパルス信号であって該画素の画素値に対応する該パルス信号を生成する。そしてパルス信号生成部３０５は、この生成したパルス信号を、図１のパネル駆動部１０７に対して送出する。
【００４３】
パルス信号生成部３０５の機能構成例について、図５のブロック図を用いて説明する。ＰＬＬ５０１には、ＣＰＵ１０９などから、表示装置１０８の駆動周波数と同期した出力周期信号が入力される。然るにＰＬＬ５０１は、この出力周期信号と周波数が等しく、かつ位相が同期した信号をＰＷＮ回路５０３に入力する。
【００４４】
ＰＷＮ制御部５０２には、サブフレーム比取得部３０４から送出されたサブフレーム比ｃｎと、フレームメモリ３０２から２４ｆｐｓのフレームレートで読み出した画像と、が入力される。そしてＰＷＮ制御部５０２は、このサブフレーム比ｃｎと、読み出した画像とを用いて、出力画像を構成する画素を表示装置１０８に表示させるために表示装置１０８に供給するパルス信号であって該画素の画素値に対応する該パルス信号を確定する。より具体的には、出力画像を構成する画素を表示装置１０８に表示させるために表示装置１０８に供給するパルス信号であって該画素の画素値に対応する該パルス信号のデューティー比ｄと位相のシフト量ｐとを決定する。そしてＰＷＮ制御部５０２は、この決定したデューティー比ｄと位相のシフト量ｐとを、ＰＷＮ回路５０３に対して送出する。
【００４５】
ＰＷＮ回路５０３は、ＰＬＬ５０１からの信号に同期して（表示装置１０８の表示タイミングに同期して）、このデューティー比ｄ及び位相のシフト量ｐとによって決まるパルス信号を生成して、図１のパネル駆動部１０７に対して送出する。
【００４６】
次に、ＰＷＮ制御部５０２の動作について、より詳細に説明する。ＰＷＮ制御部５０２は、現フレームの画像（以下、画像Ｉａと呼称する）と、現フレームよりも１フレーム過去のフレームの画像（以下、画像Ｉｂと呼称する）と、をフレームメモリ３０２から読み出す。例えば図４の場合、現時刻がｔ２とｔ３との間であれば、画像Ｉａとしてフレーム（In_frame2）、画像Ｉｂとしてフレーム（In_frame1）をフレームメモリ３０２から読み出す。更にＰＷＮ制御部５０２は、サブフレーム比取得部３０４から送出されたサブフレーム比ｃｎを受け取る。
【００４７】
そしてＰＷＮ制御部５０２は、画像Ｉｂ中の各画素について以下の処理を行うことで、該画素を表示装置１０８に表示させる為に表示装置１０８に供給するパルス信号であって該画素の画素値に対応する該パルス信号のデューティー比ｄ、シフト量ｐを出力する。以下の説明では、画像Ｉｂ中の着目画素に対する処理について説明するが、画像Ｉｂ中の他の画素についても同様の処理を行う。
【００４８】
先ずＰＷＮ制御部５０２は、画像Ｉｂ中の着目画素の画素値に対して予めＨＤＤ１１２等に格納されているデューティー比Ｄｂを読み出す。更にＰＷＮ制御部５０２は、画像Ｉａにおいて上記着目画素と同位置の画素の画素値に対して予めＨＤＤ１１２等に格納されているデューティー比Ｄａを読み出す。
【００４９】
ここで、表示装置１０８の駆動周波数がｆｐ［Ｈｚ］であるときの、パルス信号のデューティー比ｄ及び位相のシフト量ｐの関係を図６に示す。図６において横軸は時間[sec]であり、パルス信号の開始時刻を原点にとってある。このとき、パルス信号の立ち上がり時刻は（１−ｐ−ｄ）／ｆｐ[sec]となり、立下り時刻が（１−ｆｐ）［ｓｅｃ］となる。
【００５０】
この状態において、サブフレーム比ｃｎを加味すると、ＰＷＮ回路５０３が出力すべきパルス信号は、図７に示すようなパルス信号となる必要がある。図７ではｃｎ＝ｃである。即ち、フレームの始まりからｃ／ｆｐ[sec]までの期間のデューティ比がＤｂとなっており、ｃ／ｆｐ[sec]から１／ｆｐまでの期間のデューティ比がＤａとなっている必要がある。
【００５１】
このとき、Ｄａ及びＤｂは以下の式を満たすことになる。
【００５２】
【数２】

【００５３】
この式ではｃｎ＝ｃである。然るに、この式からｄ、ｐは以下の式に従って求めることができる。
【００５４】
【数３】

【００５５】
この式ではｃｎ＝ｃである。即ち、デューティー比Ｄａと、デューティー比Ｄｂと、をサブフレーム比ｃｎを用いて合成したデューティー比を、着目画素を表示するためのパルス信号のデューティー比ｄとして決定する。合成方法は、式３に示した合成方法に限るものではない。
【００５６】
また、デューティー比Ｄａを、サブフレーム比ｃｎを用いて加工した結果を、着目画素を表示するためのパルス信号の位相のシフト量ｐとして決定する。この加工方法は、式３に示した加工方法に限るものではない。
【００５７】
ｎ＝２４、ｍ＝６０、画像Ｉｂ中の着目画素の画素値＝５６、画像Ｉａにおいてこの着目画素と同位置の画素の画素値＝２００、である場合に、画像Ｉｂ中の着目画素を表示装置１０８に表示させる為のパルス信号を図８に示す。
【００５８】
上記の実施形態の構成は、以下のような構成に等価である。即ち、画像処理装置１００は、ｎ（ｎは２以上の整数）フレーム／秒のフレームレート（第１のフレームレート）の動画像をｍ（ｍはｎよりも大きくｎの倍数ではない整数）フレーム／秒のフレームレート（第２のフレームレート）で表示装置に表示させる。
【００５９】
そのためには先ず、動画像の各フレームの画像を格納するためのメモリから、第１のフレームレートで各フレームの画像を読み出す。そして、読み出した着目フレームの画像を構成する画素を表示装置に表示させるために該表示装置に供給するパルス信号であって該画素の画素値に対応する該パルス信号を該表示装置に供給する動作を、第２のフレームレートで（ｘ−１）回繰り返して行う。ｘは上記の通り、（ｍ／ｎ）よりも大きい最小の整数である。そして、この動作を（ｘ−１）回行った後、着目フレームの画像中の各画素を着目画素として次のような処理を行う。
【００６０】
着目画素の画素値に予め関連づけられているパルス信号のデューティー比と、着目フレームの次のフレームの画像中の着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比と、を（ｍ／ｎ）の小数部を用いて合成する。そして、この合成によって得られるデューティー比を、（ｘ−１）回目の上記動作の次に表示装置に供給する着目画素のパルス信号のデューティー比として決定する。
【００６１】
一方、着目フレームの次のフレームの画像中の着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比を、（ｍ／ｎ）の小数部を用いて加工する。この加工結果を、（ｘ−１）回目の上記動作の次に表示装置に供給する着目画素のパルス信号の位相シフト量として決定する。
【００６２】
そして、この決定したデューティー比及び位相シフト量によって規定されるパルス信号を、着目画素を表示装置に表示させるために表示装置に供給するパルス信号として、表示装置に供給する。
【００６３】
［第２の実施形態］
第１の実施形態に係る構成では、２４ｆｐｓ映像を６０Ｈｚ駆動の表示装置で映像本来のジャダー感を再現できるが、パルス信号を分周しておらず、フリッカが知覚されやすくなっていた。また、パルス信号の幅と位相の両方を制御する必要があり、計算量及び回路規模が大きくなるという問題もあった。
【００６４】
そこで本実施形態では、一つの階調に対して、分周された複数のパルス信号をあらかじめ用意しておき、その中から本来の映像のパルス信号を近似しているものを選択する。これにより、少ない回路規模で、フレームレート変換処理による不自然なジャダー感及びフリッカの劣化が少ない映像表示が可能となる。以下では、第１の実施形態との差分のみについて説明する。
【００６５】
本実施形態に係るパルス信号生成部３０５の機能構成例について、図９のブロック図を用いて説明する。
【００６６】
階調決定部９０１は、ＰＷＮ制御部５０２と同様に、現フレームの画像（以下、画像Ｉａと呼称する）と、現フレームよりも１フレーム過去のフレームの画像（以下、画像Ｉｂと呼称する）と、をフレームメモリ３０２から読み出す。更に階調決定部９０１は、サブフレーム比取得部３０４から送出されたサブフレーム比ｃｎを受け取る。
【００６７】
そして階調決定部９０１は、画像Ｉｂ中の各画素について以下の処理を行う。以下の説明では、画像Ｉｂ中の着目画素に対する処理について説明するが、画像Ｉｂ中の他の画素についても同様の処理を行う。階調決定部９０１は、画像Ｉｂ中の着目画素の画素値Ｐｂと、画像Ｉａにおいて着目画素と同位置の画素の画素値Ｐａと、サブフレーム比ｃｎと、を用いて、階調ｇを以下の式に従って計算する。
【００６８】
ｇ＝Ｐｂ×ｃ＋Ｐａ×（１−ｃ）
次に、パルスコード決定部９０２は、階調ｇを表現する４つのパルス信号から、最適なパルス信号を選択し、選択したパルス信号を示すパルスコードを出力する。ここで、このパルスコードについて、図１０を用いて説明する。
【００６９】
パルスコードは図１０（ａ）に示す如く、１０ビットから成るビット列で構成され、上位２ビットはパルス信号の種類、下位８ビットは該パルス信号が表す階調を示す。上位２ビットは００，０１，１０，１１、下位８ビットは００００００００〜１１１１１１１１の値を取り得るため、パルスコードは、以下の４種類に区分される。
【００７０】
・上位２ビットが００である場合にパルスコードが取り得る値の集合（第１のパルスコード）
・上位２ビットが０１である場合にパルスコードが取り得る値の集合（第２のパルスコード）
・上位２ビットが１０である場合にパルスコードが取り得る値の集合（第３のパルスコード）
・上位２ビットが１１である場合にパルスコードが取り得る値の集合（第４のパルスコード）
即ち、第１のパルスコードは、上位２ビットが００である場合における、階調０〜２５５を表すパルスコードである。また、第２のパルスコードは、上位２ビットが０１である場合における、階調０〜２５５を表すパルスコードである。また、第３のパルスコードは、上位２ビットが１０である場合における、階調０〜２５５を表すパルスコードである。また、第４のパルスコードは、上位２ビットが１１である場合における、階調０〜２５５を表すパルスコードである。
【００７１】
然るに、階調ｇを表すパルスコードは、第１〜４のパルスコードのそれぞれに１つ含まれている。例えば、パルスコード３２（２進数で００００１０００００）、２８８（２進数で０１００１０００００）、５４４（２進数で１０００１０００００）、８００（２進数で１１００１０００００）はそれぞれ階調３２を表している。しかし、後述するように、上位２ビットがそれぞれ異なるため、それぞれパルス信号の形状は異なる。
【００７２】
パルスコード決定部９０２は、階調ｇを表すパルスコードを、第１〜４のパルスコードのそれぞれから１つずつ選択する。そして後述する処理により、選択した４つのパルスコードのうち、最適なパルスコードを出力する。
【００７３】
パルス発生部９０３は、パルスコード決定部９０２から出力されたパルスコードを用いてパルス信号を生成して出力する。先ず、説明の都合上、パルス発生部９０３の詳細について先に説明し、次にパルスコード決定部９０２の詳細について説明する。
【００７４】
パルス発生部９０３の機能構成例について、図１１のブロック図を用いて説明する。ＰＬＬ１１０２は、ＰＬＬ５０１と同様に動作するものである。即ち、ＰＬＬ１１０２には、ＣＰＵ１０９などから、表示装置１０８の駆動周波数と同期した出力周期信号が入力される。然るにＰＬＬ５０１は、この出力周期信号と周波数が等しく、かつ位相が同期した信号を出力する。分周器１１０１は、ＰＬＬ１１０２から出力された信号を所定の分周比に分周する。以下の説明では、分周比を１／８とする。
【００７５】
一方、パルスコード解釈部１１０３は、パルスコード決定部９０２から出力されたパルスコードを受けると、このパルスコードの上位２ビットを選択信号ｓとしてパルス信号選択部１１１１に送出する。また、パルスコード解釈部１１０３は、パルスコードの下位８ビットを階調ｇとして、ＰＷＮ回路１１０７及びビットシフト部１１０４〜１１０６に送出する。
【００７６】
ビットシフト部１１０４〜１１０６はそれぞれ、入力された階調ｇ（８ビットのビット列）をビットシフトしてＰＷＮ回路１１０８〜１１１０に送出する。これにより、ＰＷＮ回路１１０７〜１１１０のそれぞれは、同じ階調で異なるパルス形状のパルス信号を出力することになる。
【００７７】
パルス信号選択部１１１１は、ＰＷＮ回路１１０７〜１１１０のそれぞれから受けたパルス信号のうち、選択信号ｓによって指定されたＰＷＮ回路からのパルス信号を選択して出力する。具体的には、選択信号ｓ＝００の場合には、ＰＷＮ回路１１０７からのパルス信号を選択して出力する。選択信号ｓ＝０１の場合には、ＰＷＮ回路１１０８からのパルス信号を選択して出力する。選択信号ｓ＝１０の場合には、ＰＷＮ回路１１０９からのパルス信号を選択して出力する。選択信号ｓ＝１１の場合には、ＰＷＮ回路１１１０からのパルス信号を選択して出力する。
【００７８】
次に、ＰＷＮ回路１１０７〜１１１０の動作について説明する。本実施形態では、図１２に示す如く、表示装置１０８の駆動周波数６０［Ｈｚ］によって決まる１フレーム分の期間は８つのサブフレームＳＦ０〜ＳＦ８に分割されている。各サブフレームはそれぞれ、どの画素を発光させるのかを指定選択するアドレス期間と、選択された画素を所定の輝度比に応じた時間で発光させる発光期間と、で構成されている。また、各サブフレームの発光期間の比率は１：２：４：１６：６４：１２８となっており、すべてのサブフレームを発光させないことを示す「０」から、すべて発光させる「２５５」までの２５６階調が表現可能である。また、階調決定部９０１から出力される階調ｇは、各ビットがそのままサブフレームの点滅を制御するビットとして割り当てることで、階調表現を実現する。階調ｇ＝１５２＝０００１１００１の場合のパルス信号の例を図１３に示す。ＳＦ４、ＳＦ５及びＳＦ８のみを発光させ、それ以外は発光させないことで、階調１５２の輝度を表現している。
【００７９】
このような環境において、ＰＷＮ回路１１０８〜１１１０は、階調ｇをビットシフトさせたビット列に対応してサブフレームＳＦ１〜ＳＦ８の発光期間を設定することで、ＰＷＮ回路１１０７とは異なるパルス信号を出力する。図１４を用いて、階調ｇ＝１５２が入力された場合の、ＰＷＮ回路１１０７〜１１１０によるパルス信号の出力例を説明する。
【００８０】
図１４（ａ）〜（ｄ）はそれぞれ、ＰＷＮ回路１１０７，１１０８，１１０９，１１１０によるパルス信号の生成過程を示したものである。図１４（ａ）に示した生成過程により生成されるパルス信号は、図１３に示したものと同様である。
【００８１】
図１４（ｂ）では、ビットシフト部１１０４により、階調ｇを示す８ビットのビット列が２ビットだけ上位方向に論理シフトされる。これにより、ＰＷＮ回路１１０８には、０１１００１００が入力されることになる。このビットシフトに対応して、ＰＷＮ回路１１０８では、サブフレームの発光期間の輝度比が、ＳＦ１：ＳＦ２：ＳＦ３：ＳＦ４：ＳＦ５：ＳＦ６：ＳＦ７：ＳＦ８＝４：８：１６：３２：６４：１２８：１：２となっている。したがって、ビットシフトされた階調ｇをＰＷＮ回路１１０８に入力することで、ＰＷＮ回路１１０７とは異なったパルス信号が発生される。同様に、図１４（ｃ）では階調ｇを示す８ビットのビット列が４ビットだけ上位方向に論理シフトされ、図１４（ｄ）では階調ｇを示す８ビットのビット列が６ビットだけ上位方向に論理シフトされ、それぞれ異なるパルス信号が出力される。
【００８２】
次に、パルスコード決定部９０２について、より詳細に説明する。まず、フレームの始まりからｃ／ｆｐ［sec］までの期間のデューティ比Ｄａ、ｃ／ｆｐ［ｓｅｃ］から１／ｆｐ［ｓｅｃ］までの期間のデューティ比Ｄｂを算出する。フレームの切り替わりが行われるサブフレームのインデックスをmとすると、パルス信号とmの関係は図１５の様になる。ここで、表示装置１０８の駆動周波数をｆｐ［Ｈｚ］、サブフレーム比をｃ、サブフレームｉにおける発光時間をＬ（ｉ）としており、ｍは、ｍ≦８ｃを満たす最大の整数として表される。従って、図１５より、Ｄａ、Ｄｂは以下の式に従って求めることができる。
【００８３】
【数４】

【００８４】
次に、映像本来のパルス信号におけるフレームの始まりからｃ／ｆｐ［sec］までの期間のデューティ比Ｄａｒｅｆ、ｃ／ｆｐ［ｓｅｃ］から１／ｆｐ［ｓｅｃ］までの期間のデューティー比Ｄｂｒｅｆ、のそれぞれとＤａ、Ｄｂとの誤差Ｅを求める。具体的には、Ｅ＝｜Ｄａ−Ｄａｒｅｆ｜＋｜Ｄｂ−Ｄｂｒｅｆ｜を計算する。もちろん、誤差Ｅを計算する式はこれに限るものではない。この誤差Ｅを、４つのパルス信号のそれぞれについて求め、最小の誤差Ｅを与えるパルス信号のパルスコードを出力する。
【００８５】
［第３の実施形態］
上記の各実施形態では、入力フレームの輝度を、出力映像１フレームごとに近似することを前提としていた。しかしながらこの方法では、出力映像１フレームにおいて入力映像を近似しきれずに誤差が生じた場合、入力映像と出力映像とで輝度の違いが発生する。
【００８６】
そこで本実施形態では、入力映像のフレーム表示時間と同一の期間の複数の出力フレームで入力フレームの輝度を近似する。具体的には、出力映像の１フレームで入力映像との誤差が生じた場合、その誤差を残りのフレームに分配する。これにより、出力映像１フレームにおいて、入力フレームの輝度と誤差が生じた場合でも、入力フレームの表示期間トータルでは入力映像の輝度を高い精度で再現できる。
【００８７】
本実施形態において出力されるパルス信号の一例を図１６に示す。図１６において図４と同じ用語については、上記の説明の通りである。図１６では、フレーム（In_frame1）における画像の画素の画素値が１００、フレーム（In_frame2）における画像の画素の画素値が１２４である。また、図１６でも、２４ｆｐｓのフレームレートの動画像を６０ｆｐｓで表示装置１０８に表示するための信号処理の流れを示している。
【００８８】
入力映像のフレーム切り替わりタイミングは出力映像の３フレーム目、Out_frame3の表示期間内にある。このため、３フレーム目の画素値として、入力映像の輝度値を近似するように、画素値１１２が選択される。また、そのパルス信号は、前半期間（１／１２０秒間）の画素値が９６、後半期間（１／１２０秒間）の画素値１２８に相当する。
【００８９】
次に、第２の実施形態とは異なり、Out_frame3のパルス信号で生じてしまった誤差を、他のフレームに割り当てる。つまり、Out_frame1及びOut_frame2の画素値を１０１に、Out_frame3及びOut_frame 4の画素値を１２３に設定する。これにより、入力映像の１フレーム目のフレーム表示期間と同一の出力フレームにおいて画素値１００相当のパルスが、入力映像の２フレーム目のフレーム表示期間と同一の出力フレームにおいて画素値１２４相当のパルス信号が出力される。以下では、第１，２の実施形態との差分のみについて説明する。
【００９０】
先ず、パルス信号生成部３０５の機能構成例について、図１７のブロック図を用いて説明する。階調決定部１７０１は、サブフレーム比、フレームメモリ３０２からの画像、後述する誤差、を用いて階調ｇを決定する。階調決定部１７０１の詳細については後述する。
【００９１】
パルスコード決定部１７０２は、第２の実施形態と同様にして、階調がｇである複数のパルス信号のうち、最適なパルス信号のパルスコードを出力する。パルス発生部１７０４は、第２の実施形態と同様にして、パルスコード決定部１７０２からのパルスコードに応じてパルス信号を生成して出力する。
【００９２】
誤差算出部１７０３は、パルスコード決定部１７０２が選択したパルスコードに対応するパルス信号と、入力映像と、の誤差を算出し、算出した誤差を階調決定部１７０１に供給する。誤差算出部１７０３の詳細については後述する。
【００９３】
先ず、階調決定部１７０１の詳細について説明する。階調決定部１７０１は、ＰＷＮ制御部５０２と同様に、現フレームの画像（以下、画像Ｉａと呼称する）と、現フレームよりも１フレーム過去のフレームの画像（以下、画像Ｉｂと呼称する）と、をフレームメモリ３０２から読み出す。更に階調決定部１７０１は、サブフレーム比取得部３０４から送出されたサブフレーム比ｃｎを受け取ると共に、誤差算出部１７０３から送出された誤差Ｅを受け取る。
【００９４】
そして階調決定部１７０１は、画像Ｉｂ中の各画素について以下の処理を行う。以下の説明では、画像Ｉｂ中の着目画素に対する処理について説明するが、画像Ｉｂ中の他の画素についても同様の処理を行う。階調決定部１７０１は、画像Ｉｂ中の着目画素の画素値Ｐｂと、画像Ｉａにおいて着目画素と同位置の画素の画素値Ｐａと、サブフレーム比ｃｎ及び誤差Ｅ、を用いて、階調ｇを以下の式に従って計算する。
【００９５】
ｇ＝Ｐｂ×ｃ＋Ｐａ×（１−ｃ）−Ｅ
次に、誤差算出部１７０３の詳細について説明する。先ず、第２の実施形態と同様にして、フレームの始まりからｃ／ｆｐ［sec］までの期間のデューティ比Ｄａ、ｃ／ｆｐ［ｓｅｃ］から１／ｆｐ［ｓｅｃ］までの期間のデューティ比Ｄｂを算出する。誤差をフィードバックする出力フレームがフレームの切り替わりタイミングより前ならば、｜Ｄｂ−Ｄｂｒｅｆ｜を、後ならば｜Ｄａ−Ｄａｒｅｆ｜を誤差Ｅとして出力する。Ｄａｒｅｆ、Ｄｂｒｅｆのそれぞれは第２の実施形態で説明したものである。
【００９６】
以上の各実施形態によれば、表示側のフレームレートが入力映像と一致していなくても、入力映像のフレームの切り替わりも含めて入力映像の輝度を近似するように、出力パルスを制御する。このため、入力映像の本来のジャダー感が再現できる。
【００９７】
また、特許文献１とは異なり、中間画像を生成する必要がなく、映像の劣化が発生しない。また、特許文献２とは異なり、映像が表示されない期間が存在しないので、フリッカが知覚されにくい。さらに、複数の異なるフレームレートからなる映像を一画面内に同時に表示する場合においても、パルス幅を画素ごとに制御することで対処可能である。
【００９８】
また、上記の各実施形態で取り上げた個数などの数値は一例であり、この数値を任意に変化させた実施形態は当業者であれば、容易になし得るものであるため、それらに対する説明は省略する。
【００９９】
また、上記の各実施形態で使用したブロック図に示した各部は何れもハードウェアで構成してもよいが、１以上をソフトウェア（コンピュータプログラム）として実装してもよい。この場合、このコンピュータプログラムは、ＨＤＤ１１２などに保存しておき、必要に応じてＲＡＭ１１１にロードしてＣＰＵ１０９がこれを実行すればよい。
【０１００】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項１】
ｎ（ｎは２以上の整数）フレーム／秒のフレームレートを第１のフレームレート、ｍ（ｍはｎよりも大きくｎの倍数ではない整数）フレーム／秒のフレームレートを第２のフレームレートとし、前記第１のフレームレートの動画像を前記第２のフレームレートで表示装置に表示させるための処理を行う画像処理装置であって、
前記動画像の各フレームの画像を格納するためのメモリから前記第１のフレームレートで各フレームの画像を読み出す読み出し手段と、
前記読み出し手段が読み出した着目フレームの画像を構成する画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号であって該画素の画素値に対応する該パルス信号を前記表示装置に供給する動作を、（ｍ／ｎ）よりも大きい最小の整数をｘとすると、前記第２のフレームレートで（ｘ−１）回繰り返して行い、
前記動作を（ｘ−１）回行った後、前記着目フレームの画像中の各画素を着目画素とし、
前記着目画素の画素値に予め関連づけられているパルス信号のデューティー比と、前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比と、を（ｍ／ｎ）の小数部を用いて合成し、該合成によって得られるデューティー比を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号のデューティー比として決定し、
前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比を、（ｍ／ｎ）の小数部を用いて加工した結果を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号の位相シフト量として決定し、
前記決定したデューティー比及び前記決定した位相シフト量によって規定されるパルス信号を、前記着目画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号として、前記表示装置に供給する供給手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記供給手段は、
前記着目画素の画素値に予め関連づけられているパルス信号のデューティー比をＤｂ、前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比をＤａ、（ｍ／ｎ）の小数部をｃ、とすると、ｃ×Ｄｂ＋（１−ｃ）×Ｄａを、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号のデューティー比として決定し、
（１−ｃ）×（１−Ｄａ）を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号の位相シフト量として決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ｎ（ｎは２以上の整数）フレーム／秒のフレームレートを第１のフレームレート、ｍ（ｍはｎよりも大きくｎの倍数ではない整数）フレーム／秒のフレームレートを第２のフレームレートとし、前記第１のフレームレートの動画像を前記第２のフレームレートで表示装置に表示させるための処理を行う画像処理装置が行う画像処理方法であって、
前記画像処理装置の読み出し手段が、前記動画像の各フレームの画像を格納するためのメモリから前記第１のフレームレートで各フレームの画像を読み出す読み出し工程と、
前記画像処理装置の供給手段が、前記読み出し工程で読み出した着目フレームの画像を構成する画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号であって該画素の画素値に対応する該パルス信号を前記表示装置に供給する動作を、（ｍ／ｎ）よりも大きい最小の整数をｘとすると、前記第２のフレームレートで（ｘ−１）回繰り返して行い、
前記動作を（ｘ−１）回行った後、前記着目フレームの画像中の各画素を着目画素とし、
前記着目画素の画素値に予め関連づけられているパルス信号のデューティー比と、前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比と、を（ｍ／ｎ）の小数部を用いて合成し、該合成によって得られるデューティー比を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号のデューティー比として決定し、
前記着目フレームの次のフレームの画像中の前記着目画素と同位置の画素の画素値に予め関連づけられているパルス信号のデューティー比を、（ｍ／ｎ）の小数部を用いて加工した結果を、（ｘ−１）回目の前記動作の次に前記表示装置に供給する前記着目画素のパルス信号の位相シフト量として決定し、
前記決定したデューティー比及び前記決定した位相シフト量によって規定されるパルス信号を、前記着目画素を前記表示装置に表示させるために前記表示装置に供給するパルス信号として、前記表示装置に供給する供給工程と
を備えることを特徴とする画像処理方法。
【請求項４】
コンピュータを、請求項１又は２に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

【図１】