フレームレート変換処理装置
【課題】 本発明は、フレームレート変換処理後の映像が視覚的に不自然のないようにすることを目的とする。
【解決手段】 第１フレーム列のフレーム数を変化させて第２フレーム列を生成するフレームレート変換処理システムであって、前記第１フレーム列におけるフレームの全領域又は一部領域の輝度変化に基づいて前記第１フレーム列の輝度変化値を算出し、算出した輝度変化値と所定の値とを比較する輝度変化検出部と、輝度変化検出部の比較結果に応じて前記第２フレーム列に含まれるフレームの全領域又は一部領域の輝度を補正する補正部とを有する。
【解決手段】 第１フレーム列のフレーム数を変化させて第２フレーム列を生成するフレームレート変換処理システムであって、前記第１フレーム列におけるフレームの全領域又は一部領域の輝度変化に基づいて前記第１フレーム列の輝度変化値を算出し、算出した輝度変化値と所定の値とを比較する輝度変化検出部と、輝度変化検出部の比較結果に応じて前記第２フレーム列に含まれるフレームの全領域又は一部領域の輝度を補正する補正部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は第１の画像信号からフレーム数を変化させて第２の画像信号を生成するフレームレート変換処理装置に関する。
【背景技術】
【０００２】
従来、映像のフレームレートの変換を行う場合に、変換後の映像が視覚的に不自然とならないようにするための技術が提案されている。
【０００３】
例えばフレームレート変換処理を行う際に、変換前後のフレームレートとフレームについての動きベクトルとに基づいて予測フレームデータを生成して変換前映像のフレーム間に挿入し、映像中の被写体の動きを補完する技術が知られている（例えば、特許文献１）。
【０００４】
また近年、高フレームレートの映像を撮影する撮影装置が普及し始めているが、テレビ等の出力装置はこの様な高フレームレートで撮像された映像の表示に対応しておらず、入力された映像のフレームレートを下げるように変換して表示することが必要なものも多い。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−０６９９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
こうした状況から、高フレームレートで撮影された映像のフレームレートを下げて表示する場合、フレームレート変換処理後の映像が視覚的に不自然となる場合がある。
【０００７】
すなわち、輝度変化の時間周波数が非常に高く、人間の視覚には定常的に光を発していると認識される物体の映像のフレームレートを変換すると、変換後の映像では人間の視覚を通じてその物体の輝度が変化していると認識される映像になってしまう場合がある。
【０００８】
図１６を用いて具体例を示す。図１６（ａ）上図は、例として、蛍光灯を５０Ｈｚの周波数の電源で用いた場合の輝度変化を示している。蛍光灯は上図のように電源の周波数の倍である１００Ｈｚの周波数で輝度変化する。これを１秒間に３００フレーム撮影した結果得られるフレームを撮影された順に並べたもの（以下、フレーム列）を図１６（ａ）の下図に示す。このフレーム列に示されるとおり、蛍光灯の明かりは１／１００秒に１回暗く撮影される。このフレーム列を３００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で再生すると、蛍光灯の明かりは１００Ｈｚで輝度変化する。しかし、人間の視覚上、輝度の時間変化が検知されなくなる時間周波数は６０Ｈｚ以上と言われており、人間には蛍光灯の発する光は常に一定の明るさを保っている光（以下、定常光）として認識される。
【０００９】
図１６（ａ）下図及び（ｂ）を用いて、上述のようにして撮影されたフレーム列から１／６０秒に１回の割合でフレームを抜き出して新たなフレーム列とすることにより、３００Ｈｚから６０Ｈｚにフレームレート変換する場合について説明する。図１６（ａ）下図はフレームレート変換する前のフレーム列を表し、図１６（ｂ）はフレームレート変換処理を行った後のフレーム列を表している。図１６（ｂ）のようなフレーム列を６０ｆｐｓで再生する場合、図１６（ｂ）に表されているとおり映像中の蛍光灯の輝度は２０Ｈｚで変化する（１／２０秒に１回輝度が変化する）ので、蛍光灯の輝度が変化していることが人間の視覚を通しても認識されてしまう。
【００１０】
従来技術のように、動きを補完するための予測フレームを生成してフレーム間に挿入しても、上記のように、本来視覚上では定常光として認識されるべき物体が、フレームレート変換後の映像では輝度変化をしているように認識されてしまうという課題がある。
【００１１】
そこで本発明は、上記課題を解決し、フレームレート変換処理後の映像が視覚的に不自然のないようにすることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を鑑みて、本発明にかかる第１のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数を取得する取得手段と、前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間変化周波数であるか判断するために前記取得手段により取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手段と、前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段とを有することを特徴とする。
【００１３】
また、本発明にかかる第２のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手段と、前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手段と、前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手段と、前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較手段と、前記比較手段において前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手段とを有することを特徴とする。
【００１４】
さらに、本発明にかかる第３のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手段と、前記入力画像信号の輝度の時間変化周波数が前記フィルタリング手段によってフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手段と、前記補正手段によって補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換手段とを有することを特徴とする。
【発明の効果】
【００１５】
以上の構成により、フレームレート変換において、変換後のフレーム列の輝度変化が視覚的に不自然さを与えることのないようにフレームレート変換することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１におけるフレームレート変換処理装置の構成を示すブロック図。
【図２】実施例１のフレームレート変換における入力画像信号とフレームレート変換画像信号の時間的関係図。
【図３】実施例１の輝度変化検出処理についてのフローチャート図。
【図４】実施例１の入力画像信号とフレームレート変換画像信号、実際の見えについて輝度の時間的変化を示す図。
【図５】実施例１の入力画像信号と実際の見え、補正目標値の輝度の時間変化を示す図。
【図６】実施例１における入力画像信号とフレームレート変換画像信号、補正目標値について輝度の時間的変化を示す図。
【図７】実施例２におけるフレームレート変換処理装置の構成を示すブロック図。
【図８】実施例２における、視知覚応答特性の図。
【図９】実施例２の輝度変化検出処理のフローチャート図。
【図１０】実施例２の入力画像信号とフレームレート変換画像信号についての、輝度の時間周波数スペクトルを示す図。
【図１１】実施例２の入力画像信号とフレームレート変換画像信号についての、視覚上の輝度の正規化した時間周波数スペクトルを示す図。
【図１２】実施例２の入力画像信号とフレームレート変換画像信号での、視覚上の輝度の正規化した時間的変化を示す図。
【図１３】実施例３におけるフレームレート変換処理装置の構成を示すブロック図。
【図１４】実施例３の輝度変化検出処理のフローチャート図。
【図１５】実施例４におけるフレームレート変換処理装置を有する撮像装置での画像処理装置のブロック図。
【図１６】被写体の輝度変化がフレーム列に記録される様子、及び、フレームレート変換前後のフレーム列を示した図。
【発明を実施するための形態】
【００１７】
＜実施例１＞
まず、本発明の実施例１にかかるフレームレート変換処理装置１１０の構成例を、図１（ａ）を用いて説明する。
【００１８】
フレームレート変換処理装置１１０は入力された画像信号（以下、入力画像信号）のフレームレートを変換し、フレームレート変換後の画像信号に対して後述の補正処理を行い、補正処理を行った画像信号（以下、出力画像信号）を出力する。
【００１９】
画像バッファ部１１６は、入力画像信号をフレーム単位で一時記憶する。そして、画像バッファ部１１６は一時記憶した入力画像信号をフレームレート変換処理部１１７および輝度変化検出部１１８の読み出し指令に従って送出する。
【００２０】
フレームレート変換処理部１１７は、画像バッファ部１１６から読み出した入力画像信号のフレームレートが、出力画像信号のフレームレートとなるように、画像バッファ部１１６から読み出した入力画像信号におけるフレームの間引きや補完処理を行う。
【００２１】
輝度変化検出部１１８は、画像バッファ部１１６から読み出した入力画像信号の輝度の時間変化周波数を算出して取得する。また輝度変化検出部１１８は、フレームレート変換処理部１１７から受信したフレームレート変換後の画像信号（以下、フレームレート変換画像信号）から輝度の時間変化周波数を算出して取得する。そして、輝度変化検出部１１８は取得した輝度の時間変化周波数と所定の輝度の時間変化周波数とを比較して、比較結果に応じてフレームレート変換画像信号の補正目標値を決定し、補正部１１９に補正処理を実行させる。
【００２２】
輝度変化検出部１１８の機能ブロック図を図１（ｂ）に示す。図示した各ブロックの機能は輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより実現される。輝度変化検出部１１８が内蔵するプロセッサは、コンピュータであり、輝度変化検出部１１８が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部１１８が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。
【００２３】
画像信号読み出し部２００は画像バッファ部１１６から入力画像信号の読み出しを行う。また、画像信号読み出し部２００はフレームレート変換処理部１１７からフレームレート変換画像信号を受信する。
【００２４】
輝度値算出部２０１は画像信号読み出し部２００で読み出した入力信号および受信したフレームレート変換画像信号におけるフレームごとの輝度値を算出する。
【００２５】
フレーム数カウント部２０２は画像信号読み出し部２００で読み出した入力画像信号とフレームレート変換画像信号のフレーム数をカウントする。カウント処理については後述する。
【００２６】
フレーム番号付与部２０３はフレーム数カウント部２０２でのカウント数に基づいて、読み出した入力信号におけるフレームとフレームレート変換画像信号におけるフレームとにそれぞれフレーム番号を付与する。フレーム番号付与の詳細な方法については後述する。
【００２７】
輝度時間変化算出部２０４は輝度値算出部で算出した入力画像信号及びフレームレート変換画像信号におけるフレームごとの輝度値とフレーム番号付与部２０３で付与した各フレームのフレーム番号とに基づいてそれぞれの画像信号の輝度の時間変化を算出する。
【００２８】
輝度時間変化周波数取得部２０５は輝度時間変化算出部２０４において算出した入力画像信号の輝度の時間変化に基づいて、入力画像信号の輝度の時間変化を算出し、取得する。
【００２９】
比較部２０６は輝度時間変化周波数取得部２０５で取得した入力画像信号の輝度の時間変化周波数と所定の輝度の時間変化周波数とを比較する。
【００３０】
目標値算出部２０７は比較部２０６における比較結果に応じて、フレームレート変換装置１１０が生成する出力画像信号における各フレームの輝度の目標値を決定する。
【００３１】
目標値送出部２０８は目標値算出部２０７で算出した目標値を補正部１１９に送出する。
【００３２】
本実施例では、輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより上述の各機能ブロックを実現することとしたが、各機能ブロックはそれぞれハードウエアによって実現されてもよい。
【００３３】
補正部１１９は、フレームレート変換画像信号のうち、輝度変化検出部１１８で補正処理が必要と判断されたフレームに対して補正処理を行い、輝度変化の不自然さを補正する。
【００３４】
入力フレームレート取得部１２０は、第１のフレームレートとしての入力画像信号のフレームレートを入力画像信号から取得し、入力フレームレートの値をフレームレート変換処理部１１７と輝度変化検出部１１８に送出する。
【００３５】
出力フレームレート記憶部１２１は、第２のフレームレートとしての出力フレームレートの値を記憶して、フレームレート変換処理部１１７と輝度変化検出部１１８に送出する。
【００３６】
続いて、上述の構成からなる装置全体の動作について説明する。本実施例では、ある時間周波数で輝度が変化する被写体を入力フレームレート３００Ｈｚで撮像した入力画像信号をフレームレート変換処理装置１１０に入力する。そして、フレームレート変換処理部１１７においてフレームレート変換処理を行って出力フレームレートが６０Ｈｚの画像信号に変換し、補正部１１９においてフレームレート変換画像信号の補正を行って生成した出力画像信号をフレームレート変換処理装置１１０から出力する場合について説明する。なお、本実施例で用いる入力フレームレート及び出力フレームレートの値は一例にすぎず、適宜それぞれの値を設定することができる。
【００３７】
まず、フレームレート変換処理装置１１０に入力された入力画像信号は、画像バッファ部１１６に入力される。画像バッファ部１１６は入力された画像信号をフレーム単位で一時記憶しておき、フレームレート変換処理部１１７や輝度変化検出部１１８からの読み出し指令に従って送出する。画像バッファ部１１６は、数フレーム、又は数百フレーム分の画像の記憶が可能な容量とする。
【００３８】
入力フレームレート取得部１２０は、例えば、入力画像信号のＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報やＭＰＥＧ形式のストリームから入力画像信号のフレームレートを取得する。入力フレームレート取得部１２０は取得した入力フレームレートをフレームレート変換処理部１１７と輝度変化検出部１１８からの読み出し指令に従って送出する。本実施例では入力フレームレートは３００Ｈｚである。
【００３９】
次に、出力フレームレート記憶部１２１は、記憶している第２のフレームレートとしての出力フレームレートをフレームレート変換処理部１１７と輝度変化検出部１１８からの読み出し指令に従って送出する。本実施例では出力フレームレートは６０Ｈｚである。出力フレームレートはあらかじめ設定され、出力フレームレート記憶部に記憶されていても良い。あるいは、外部に操作部を設けて操作部によってユーザが指定した値を出力フレームレートとしてフレームレート変換処理部１１７と輝度変化検出部１１８へ送出する構成としてもよい。
【００４０】
フレームレート変換処理部１１７は、画像バッファ部１１６から入力された入力画像信号のフレームレートを出力画像信号のフレームレートに変換して、補正部１１９に送出する。より詳細には、以下のようにしてフレームレートを変換する。
【００４１】
まず、フレームレート変換処理部１１７は画像バッファ部１１６から入力された画像信号のフレーム数、およびフレームレート変換処理部１１７から出力すべき画像信号のフレーム数をそれぞれカウントする。カウントは入力フレームレート取得部１２０と出力フレームレート記憶部１２１から得られる入力フレームレート及び、出力フレームレートに応じて行われる。本実施例の場合、入力フレームレートは３００Ｈｚなので、入力された画像信号について１秒間に３００フレームだけカウントを行う。一方、出力フレームレートは６０Ｈｚなので、出力すべき画像信号について１秒間に６０フレームだけカウントを行う。次に、これらのカウントに応じてフレームレート変換を実行する。ここで実行されるフレームレート変換は公知の手法でよく、例えば入力のフレームレートが３００Ｈｚ、出力のフレームレートが６０Ｈｚの場合は、入力のフレームを５フレームごとに、周期的に１フレームずつ出力のフレームとして送出すればよい。フレームを送出する周期は、例えば、入力フレームレートと出力フレームレートとの商から求めることができる。フレームレート変換の方法は上記以外にも様々な方法が考えられる。５フレームの輝度の平均値を出力する１フレームの輝度値として算出するといった方法を用いることもできる。上記した具体的数値は一例であり、本フレームレート変換処理装置に接続されるパネルや画像の種類などにより適宜設定することができる。
【００４２】
図２は、フレームレート変換処理部１１７に入力された入力画像信号と、フレームレート変換処理部１１７から出力されるフレームレート変換画像信号の対応関係を、フレーム番号を付して示した図である。ここでは、フレームレート変換において、フレームを周期的に間引く場合について例として説明する。入力画像信号に対しフレームレート変換画像信号は、所定の時間だけ遅延して出力されるが、簡単のために対応するフレームを同位置に合わせて表示している。入力画像信号にフレーム番号を１から順にふるとする。入力フレームレートが３００Ｈｚで出力フレームレートが６０Ｈｚの場合は、入力画像信号から５フレームごとにフレームを選択して、フレームレート変換画像信号とすればよい。フレームレート変換画像信号は、入力画像信号からフレーム番号に該当する１フレーム目、６フレーム目、１１フレーム目、１６フレーム目…と選択して生成される。こうして入力画像信号のフレームレートを出力フレームレートに変換したフレームレート変換画像信号を補正部１１９に送出する。
【００４３】
輝度変化検出部１１８は、画像バッファ部１１６から送出された入力画像信号の輝度の時間変化を算出し、取得する。輝度変化検出部１１８が内蔵するプロセッサに実行させるためのプログラムを図３に示す。図１（ｂ）に示した各機能ブロックをハードウエアによって実現する場合には図３は輝度変化検出部１１８における処理フローを示す。
【００４４】
以下、図３のフローチャートをもとに、輝度変化検出部１１８における入力画像信号の輝度の時間変化の算出、取得について説明する。ステップＳ３０１において、輝度変化検出部１１８の画像信号読み出し部２００は画像バッファ部１１６に読み出し指令を出し、入力画像信号からｎフレーム、フレームレート変換画像信号からｍフレーム得る。ただし、ｎとｍは１以上の任意の値である。また、ｍフレームは入力画像信号ｎフレーム内のフレームレート変換画像信号のフレーム数である。本実施例では例えばｎ＝３１のとき、３１フレームから５フレームごとに１フレーム選択してフレーム変換画像とするので、ｍ＝７となる。
【００４５】
ステップＳ３０２において、輝度変化検出部１１８の輝度値算出部２０１は入力画像信号とフレームレート変換画像信号の各フレームの輝度値を算出する。ここでは輝度値は１フレーム全画面のＲＧＢ画素値の平均とする。つまり、あるフレームにおける輝度値Ｌは下記の式から算出する。
【００４６】
【数１】
【００４７】
ただし、ｘ、ｙはそれぞれフレームのｘ軸とｙ軸の長さを示し、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はフレームの各画素値である。
【００４８】
ステップＳ３０３において、輝度変化検出部１１８のフレーム数カウント部２０２は、画像バッファ部１１６から読み出した入力画像信号とフレームレート変換画像信号のフレーム数をカウントする。カウントの処理はフレームレート変換処理部１１７と同一なので説明を省略する。
【００４９】
ステップＳ３０４において、輝度変化検出部１１８のフレーム番号付与部２０３は入力フレームレートと出力フレームレートからフレーム番号ｆを算出する。そして、入力画像信号とフレームレート変換画像信号の各フレームに図２を用いて説明したように各フレーム番号ｆを付与する。このとき、入力フレームレートと出力フレームレートは、入力フレームレート取得部１２０と出力フレームレート記憶部１２１から取得した値である。フレーム番号付与部２０３は、まず、ステップＳ３０３で入力画像信号のフレームをカウントするごとにカウント数を入力画像信号の各フレームのフレーム番号ｆとして順次付与する。次に、フレームレート変換画像信号のカウント数に応じたフレーム番号ｆを下記の式から算出する。
【００５０】
【数２】
【００５１】
ただしｋはフレームレート変換画像信号の最初のフレーム番号である。本実施例では最初に１フレーム目を選択しているので、ｋ＝１となる。よって、出力順１番目はフレーム番号１、出力順２番目はフレーム番号６・・・となる。式（２）から得られたフレーム番号をフレームレート変換画像信号の各フレームに付与する。
【００５２】
ステップＳ３０５において、輝度変化検出部１１８の輝度時間変化算出部２０４はフレーム番号ｆと各フレームの輝度値から、入力画像信号とフレームレート変換画像信号の輝度の時間変化を算出する。ステップＳ３０２で算出した入力画像信号の各フレームの輝度値ＬをステップＳ３０４で取得したフレーム番号の順に並べた配列を、入力画像信号の輝度値Ｌの時間的変化Ｓ（ｆ）とする。また、同様の処理をフレームレート変換画像信号に行い、フレームレート変換画像信号の輝度値Ｌの時間的変化Ｓｆｒｃ（ｆ）とする。ただし、Ｓｆｒｃ（ｆ）は後述のステップＳ３０９において算出されることとしても良い。
【００５３】
入力画像信号の輝度値の時間変化Ｓ（ｆ）、フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）を図にすると、図４のようになる。このとき、被写体の輝度変化は１００Ｈｚの高周波であるとすると、視覚的には被写体は定常光に見える。ここで、定常光とは、視覚を通して常に一定の明るさを保っていると認識される光のことをいう。太陽光などの自然光のほかに蛍光灯や白熱電球などの人工照明による光などを指す。入力画像信号の輝度の時間変化Ｓ（ｆ）の実際の見えを図４に図示する。フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）では、実際の見えが再現できていないことが分かる。このとき、実際の見えはＴａｌｂｏｔの法則から、入力画像信号の輝度値Ｌの時間的変化Ｓ（ｆ）の平均値とする。下記式から実際の見えを算出する。
【００５４】
【数３】
【００５５】
ただし、被写体の輝度の時間変化周波数Ｆの算出方法はステップＳ３０６で後述する。式（３）はＦｉｎ／Ｆフレームの平均値を取ることで、被写体輝度変化の１周期の平均値を求めている。また、実際の見えは１周期の平均値ではなく、輝度変化検出部１１８に入力されたフレーム全てのＳ（ｆ）の平均値としてもよい。
【００５６】
ステップＳ３０６において、輝度変化検出部１１８の輝度時間変化周波数取得部２０５はステップＳ３０５で求めた被写体の輝度の時間変化Ｓ（ｆ）から、入力画像信号の輝度の時間変化周波数Ｆを算出し、取得する。被写体の輝度の時間変化周波数Ｆは、入力されたｎフレームのうち、入力画像信号の輝度最大値Ｌｍａｘと輝度最小値Ｌｍｉｎから平均輝度値Ｌｔｈを算出し、１からｎフレーム目までに入力画像信号の輝度が何回Ｌｔｈを通ったかカウントすることで求められる。なお、平均輝度値Ｌｔｈ算出例を下記に示す。
【００５７】
【数４】
【００５８】
図４の場合では、１からｎフレーム目までにＳ（ｆ）はＬｔｈをｐ回通っているとする。よって、輝度の時間変化が正弦波状と仮定すると、入力画像信号の輝度の時間変化周波数Ｆは、下記の式（５）から算出される。
【００５９】
【数５】
【００６０】
図４の場合、ｎ＝３１、ｐ＝２０であるので、式（５）に値を代入すると、被写体の輝度変化の時間変化周波数Ｆは約１００Ｈｚと算出できる。このようにして、輝度時間変化周波数取得部２０５は入力画像信号の輝度の時間変化周波数を取得する。本実施例では入力画像信号の輝度の時間変化周波数の算出をフレームレート変換処理装置１１０内で行う場合について説明したが、フレームレート変換処理装置１１０の外部に設けられた算出部でこの算出処理を行っても良い。その場合、輝度時間変化周波数取得部２０５は当該算出処理を行った算出部から算出された時間変化周波数を取得する。
【００６１】
ステップＳ３０７において、輝度変化検出部１１８の比較部２０６は時間変化周波数Ｆの大きさを輝度変化値として、フレームレート変換画像信号の補正方法を判断する。具体的には、比較部２０６は時間変化周波数Ｆの大きさから被写体の輝度変化を（Ｉ）定常光に見える状態、（ＩＩ）輝度変化が検知できる状態、の２段階に区分し、補正方法を判断する。（Ｉ）と判断した場合ステップＳ３０８に、（ＩＩ）と判断した場合ステップＳ３０９に進む。
【００６２】
ステップＳ３０７における判断方法について説明する。（Ｉ）の定常光に見える状態とは、輝度の時間変化周波数が非常に早く、人間の網膜上では各フレームで発光された光が加算されるために輝度の時間変化が検知されない状態である。人間の視覚上、輝度の時間変化が検知されなくなる輝度の時間変化周波数は６０Ｈｚ以上と言われており、これを閾値Ｘ１とする。６０Ｈｚ以上の時間変化周波数の画像とは、例えば蛍光灯に照らされた画像などである。被写体の輝度の時間変化周波数Ｆが、閾値Ｘ１（＝６０Ｈｚ）を超えた時間変化周波数である場合、（Ｉ）に分類する。Ｆは約１００Ｈｚであるため、輝度の時間変化は感じられず、入力画像信号のｎフレームは（Ｉ）に分類される。
【００６３】
（ＩＩ）の輝度変化が検知できる状態とは、Ｘ１の時間変化周波数未満の輝度の周波数であるため、視覚的に輝度の時間変化が検知され、画面がちらつくように見える状態である。被写体の輝度の時間変化周波数ＦがＸ１未満の場合、（ＩＩ）に分類する。
【００６４】
上記した具体的数値は一例であり、本フレームレート変換処理装置に接続されるパネルや画像の種類により適宜設定することができる。例えば、本フレームレート変換処理装置に接続されるパネルの発光時間がインパルスである場合、Ｘ１は６０Ｈｚでも視覚上で輝度の時間変化が検知できるため、より周波数の高い７０Ｈｚとしてもよい。また、入力画像信号の輝度の時間変化周波数がＸ１を超える場合であっても、輝度振幅が大きいと視覚的にちらつきが感じられることがある。そこで、入力画像信号の輝度の振幅が平均輝度値Ｌｔｈのｑ％以上となった場合には、輝度の時間変化周波数がＸ１以上であっても（ＩＩ）の輝度の時間変化が人間の視覚によって検知できる状態であると判断することもできる。ただし、ｑは任意の値である。こうして、比較部２０６は入力画像信号の輝度の時間周波数と、所定の輝度の時間変化周波数を比較して補正方法を判断する。
【００６５】
ステップＳ３０８では、輝度変化検出部１１８の目標値算出部２０７はフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）が定常光に近くなるように、フレームレート変換画像信号の補正目標値Ｌｄ（ｆ）を算出する。まず、入力フレームレートと出力フレームレートを入力フレームレート取得部１２０と出力フレームレート記憶部１２１から取得する。すると、入力フレームレート３００Ｈｚに対して、出力フレームレートは６０Ｈｚなので、フレームレート変換画像信号が１フレーム表示される間に入力画像信号は５フレーム表示されることになる。そこで、入力画像信号５フレーム分の輝度を平均して、定常光に近づける。入力画像信号の１から５フレーム目、６から１０フレーム目、１１から１５フレーム目と、５フレームごとのＲＧＢ各画素値の平均値を算出し、フレームレート変換画像信号各フレームの画素値とする。すると、図５のＬｄ（ｆ）となり、被写体の実際の見えに輝度変化が近づいていることがわかる。図５では簡単のために、フレーム全画面の画素平均値を輝度値として入力画像信号の輝度変化Ｓ（ｆ）と補正目標値Ｌｄ（ｆ）、被写体の実際の見えを示している。
【００６６】
あるフレーム番号ｆにおける画素値をＬｄ（ｆ）とすると、Ｌｄ（ｆ）の算出式は下記のようになる。ただし、フレーム番号ｆは出力フレームレートから算出される、フレームレート変換画像信号があるフレームの番号である。
【００６７】
【数６】
【００６８】
Ｌｄ（ｆ）はフレームレート変換画像信号に対する補正目標値となる。ただし、Ｌｉｎ（ｆ）は、ある座標における入力画像信号のＲＧＢ画素値、ｋは任意のフレーム番号である。また、Ｌｄ（ｆ）はＲＧＢごとに算出する。ここでは、Ｌｉｎ（ｆ）は１フレームの各画素を示しているので、５フレームごとの画素の平均値とは、各画素の位置に対応した５フレームの画素を加算して平均値を算出した値である。これにより、入力画像信号を、実際の見えの輝度変化に近づけたフレームレート変換処理が可能となる。
【００６９】
また、上記実施例では、定常光に近い見た目の輝度変化に補正するため、５フレームごとのＲＧＢ画素値の平均でフレームレート変換画像信号の輝度値を算出したが、これに限定されるものではない。補正方法はこれ以外にも様々な方法が考えられる。入力画像信号の輝度の時間変化周波数は約１００Ｈｚ、入力画像信号のフレームレートは３００Ｈｚなので、被写体の輝度の時間変化１周期分を３フレームで示している。よって、３の倍数のフレーム数ごとに画素平均値をとれば、より輝度変動の少ない、定常光に近い目標画素値Ｌｄが得られる。例えば６フレームごとに平均値を求めれば、輝度値は５フレームごとの見えに近く、且つ５フレームごとの平均値よりも輝度変動が少ない補正目標値Ｌｄを得ることができる。
【００７０】
ステップＳ３０９では、輝度変化検出部１１８の目標値算出部２０７はフレームレート変換画像信号の輝度変化が入力の輝度変化と等しくなるような補正目標値Ｌｄ（ｆ）を算出する。例えば、入力画像信号における被写体の輝度の時間変化周波数Ｆが３０Ｈｚであるとすると、入力画像信号の輝度の時間変化Ｓ（ｆ）とフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）は図６のように示される。図６から分かるように、Ｓｆｒｃ（ｆ）はＳ（ｆ）の輝度振幅を再現できていない。そこで、フレームレート変換画像信号の輝度振幅が入力の輝度振幅に近づくようにフレームレート変換画像信号を補正する。
【００７１】
具体的には、あるフレーム番号ｆでの補正の目標のＲＧＢ各画素値Ｌｄ（ｆ）は下記の式で求める。
【００７２】
【数７】
【００７３】
ただし、Ｌｆｒｃ（ｆ）はフレームレート変換画像信号の輝度の時間変化を式（１）で算出したものである。また、Ｌｍａｘ、Ｌｍｉｎは入力画像信号ｎフレーム分の、Ｌ’ｍａｘ、Ｌ’ｍｉｎはフレームレート変換画像信号のｍフレーム分の最大画素値と最小画素値である。すると、補正目標値Ｌ（ｄ）の輝度の時間変化は図６のようになり、Ｓｆｒｃ（ｆ）に比べて輝度振幅が入力の輝度変化に近づく。
【００７４】
上記した手法は一例であり、補正目標値Ｌ（ｄ）の算出方法はこれのみに限らない。入力画像信号におけるｆの前後のフレームの画素値の平均としてもよい。
【００７５】
ステップＳ３１０において、輝度変化検出部１１８の目標値送出部２０８はステップＳ３０８、ステップＳ３０９で得られた補正目標値Ｌｄ（ｆ）を、ステップＳ３０３のカウントに応じて補正部１１９に送出する。
【００７６】
補正部１１９は、輝度変化検出部１１８から得られる補正目標値Ｌｄ（ｆ）を用いて、フレーム番号ｆに該当する出力順のフレームレート変換画像信号のフレームを生成し、出力画像としてフレームレート変換処理装置１１０より出力する。これにより、出力画像の輝度変化を実際の見えに近づけることができる。補正処理を具体的に説明すると、ＲＧＢの画素値ごとに補正目標値Ｌｄ（ｆ）を該当フレームの代わりに送出する。また、補正の方法は上記の方法に限定されるものではない。目標となるＬｄ（ｆ）に近い輝度値Ｌのフレームを、フレーム番号ｆに該当する入力の画像信号のフレームと、その前後数フレームから探索し、これをフレームレート変換画像信号の該当フレームの代わりに送出してもよい。以上説明した処理制御を行うことで、フレームレート変換した画像の輝度変化を実際の見えに近づけることが可能となる。また、説明してきた処理制御は通常は行わず、操作部においてユーザがフレームレート変換補正処理装置を実行したときに、上記の処理を実行することとしてもよい。
【００７７】
本実施例では、入力フレームレート３００Ｈｚを出力フレームレート６０Ｈｚにフレームレート変換する際の補正処理について述べたが、これ以外の変換にも適用できる。既に述べたように、人間の視覚上、輝度の時間変化が検知されなくなる時間変化周波数はおよそ６０Ｈｚ以上である。従って６０Ｈｚ以上の輝度の時間変化が記録可能なフレームレート（およそ１２０Ｈｚ以上）の画像信号を、よりフレームレートの低い画像信号にフレームレート変換する場合に特に適用できる。例えば、フレームレートを２４０Ｈｚから４８Ｈｚへ、あるいは３００Ｈｚから２４Ｈｚへ変換する場合でも有効である。
【００７８】
本実施例にかかるフレームレート変換処理装置は、入力画像信号の輝度の時間変化周波数が所定の輝度の時間変化周波数を超えている場合に、出力画像において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する。すなわち、入力画像信号中の被写体が定常光を発していると判断した場合に、フレームレート変換後の被写体の輝度変化が定常光に近づくように補正して出力画像を生成する。従って、本来定常光を発していると認識される物体が、フレーム変換処理後の映像において輝度変化しているように見えてしまうことを防ぐことができる。また、本実施例にかかる発明は、入力画像信号中の被写体の輝度が変化していると判断された場合に、フレームレート変換後の被写体の輝度変化が入力画像信号の被写体の輝度変化に近づくように補正することができる。このようにして、本実施例にかかる発明はフレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【００７９】
＜実施例２＞
本実施例においては、輝度変化検出において人間の視覚における輝度の時間周波数応答特性（以下、視知覚応答特性）を用いて補正する例について説明する。まず装置の構成について説明する。実施例２におけるフレームレート変換処理に関わるフレームレート変換処理装置の構成例を示すブロック図を図７（ａ）に示す。画像バッファ部１１６、フレームレート変換処理部１１７、補正部１１９、入力フレームレート取得部１２０、出力フレームレート記憶部１２１は実施例１と同一であるため説明を省略する。
【００８０】
視知覚応答特性記憶部７０１は、視知覚応答特性を記憶して、輝度変化検出部３００に送出する。
【００８１】
輝度変化検出部３００は、画像バッファ部１１６から読み出した入力画像信号の輝度の時間変化周波数を算出して取得する。また輝度変化検出部１１８は、フレームレート変換処理部１１７から受信したフレームレート変換後の画像信号（以下、フレームレート変換画像信号）から輝度の時間変化周波数を算出して取得する。そして、視知覚応答特性記憶部７０１から入力された視知覚応答特性を用いて入力画像信号の評価値とフレームレート変換画像信号の評価値を取得する。そして、入力画像信号の評価値と出力画像信号の評価値との差が所定の値との比較結果に応じてフレームレート変換画像信号の補正目標値を決定し、補正部１１９に補正処理を実行させる。
【００８２】
輝度変化検出部３００の機能ブロック図を図７（ｂ）に示す。図示した各ブロックの機能は輝度変化検出部３００の内部に内蔵されたプロセッサ及びメモリがプログラムを実行することによって実現される。輝度変化検出部３００が内蔵するプロセッサは、コンピュータであり、輝度変化検出部３００が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部３００が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。
【００８３】
画像信号読み出し部２００、輝度値算出部２０１、フレーム数カウント部２０２、フレーム番号付与部２０３、輝度時間変化算出部２０４、輝度時間変化周波数取得部２０５の機能は実施例１で説明したものと同一なので説明を省略する。輝度変化検出部３００のフィルタリング部３０１は視知覚応答特性記憶部７０１から視知覚応答特性を読み出す。そしてフィルタリング部３０１は、輝度時間変化算出部２０４において算出した入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングする。そして、視覚的輝度変化取得部３０２はフィルタリング後の輝度の時間変化周波数を取得する。さらに、輝度変化検出部３００の評価値取得部３０３は、取得したフィルタリング後の輝度の時間変化周波数に基づいて入力画像についての評価値を算出して取得する。加えて、輝度変化検出部３００の比較部３０４はフレームレート変換画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいてフレームレート変換画像信号についての評価値を算出して取得する。さらに、輝度変化検出部３００の比較部３０４は取得した入力画像信号についての評価値とフレームレート変換画像信号についての評価値の差と所定の値とを比較する。そして、輝度変化検出部３００の目標値算出部２０７は比較の結果に基づいてフレームレート変換画像信号の補正の補正目標値を算出して、目標値送出部２０８から補正部１１９に送出する。
【００８４】
本実施例では、輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより上述の各機能ブロックを実現することとしたが、各機能ブロックはそれぞれハードウエアによって実現されてもよい。
【００８５】
補正部１１９は輝度変化検出部３００から送出された補正目標値を用いてフレームレート変換画像信号を補正して出力信号を生成する。
【００８６】
次に、装置全体の動作について説明する。本実施例では、ある時間周波数で輝度が変化する被写体を入力フレームレート３００Ｈｚで撮像した画像信号を入力画像信号として入力する。そして、フレームレート変換処理部１１７においてフレームレート変換処理を行い、出力フレームレートが６０Ｈｚのフレームレート変換画像信号に変換する。その後、補正部１１９においてフレームレート変換画像信号の補正処理を行い、補正した画像信号をフレームレート変換処理装置１１０から出力画像信号として出力する場合について説明する。
【００８７】
視知覚応答特性記憶部７０１は、記憶している視知覚応答特性と閾値Ｃｔｈを輝度変化検出部３００の読み出し指令に従って送出する。視知覚応答特性ＶＴＦは、図８に例を示すように、輝度が時間変化するときの時間周波数に対するレスポンス関数である。視知覚応答特性ＶＴＦは、下記の式から求められ、帯域通過型のフィルタとして扱われる。
【００８８】
【数８】
【００８９】
なお、式（８）は視知覚応答特性をモデル化したものである（例えば、松井利一、“マルチチャネル構造時空間視覚モデルの定式化とフリッカー画像知覚特性の再現”、「電子情報通信学会論文誌 Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ Ｎｏ．１０」、日本、電子情報通信学会、１９９４年１０月、２１０６頁参照）。視知覚応答特性記憶部７０１は、輝度の大きさや色度、画面の空間周波数に応じて、視知覚応答特性を複数保持していてもよい。その場合、読み出し指令に対応した視知覚応答特性を送出する。
【００９０】
輝度変化検出部３００は、視覚上の輝度変化評価値を算出して、フレームレート変換画像信号の輝度変化が実際の見えに近づくような補正量を算出する。輝度変化検出部３００が内蔵するプロセッサに実行させるプログラムを図９に示す。図７（ｂ）に示した各機能ブロックをハードウエアによって実現する場合には、図９は輝度変化検出部３００の処理フローを示す。 以下、図９のフローチャートを元に説明する。ステップＳ９０１からステップＳ９０５までの処理は図３のステップＳ３０１からステップＳ３０５までの処理と同一であるため説明を省略する。
【００９１】
ステップＳ９０６において、輝度変化検出部３００の輝度時間変化周波数取得部２０５は入力画像信号の輝度の時間変化Ｓ（ｆ）とフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）に対してフーリエ変換をかける。その結果、輝度時間変化周波数取得部２０５は入力画像信号とフレームレート変換画像信号の輝度の時間変化周波数を取得する。
【００９２】
ステップＳ９０５で算出した輝度の時間変化Ｓ（ｆ）とＳｆｒｃ（ｆ）が図４のようであるとする。Ｓ（ｆ）の周期をＮとし、Ｓ（ｆ）＝Ｓ（ｆ＋Ｎ）が成り立つと仮定すると、輝度時間変化周波数取得部２０５は下記の式からフーリエ変換を行い、輝度の時間変化周波数Ｓ＿ＦＴ（ｆｔ）を算出する。
【００９３】
【数９】
【００９４】
このとき、周期Ｎは、Ｓ（ｆ）＝Ｓ（ｆ＋ｎ）且つｆからｎフレーム目までに入力画像信号の輝度値Ｌ（ｆ）が平均輝度値Ｌｔｈを２回以上通過したフレームｎの整数倍と定義して輝度変化検出部３００は周期Ｎを算出する。上記と同様にしてフレームレート変換画像信号の輝度の時間変化周波数Ｓｆｒｃ＿ＦＴ（ｆｔ）を算出する。
【００９５】
このとき、各周波数スペクトルのパワー成分を正規化したものを図１０に図示する。横軸は時間変化周波数で縦軸はスペクトルの振幅である。入力画像信号の輝度の時間変化Ｓ＿ＦＴ（ｆｔ）は１００Ｈｚ付近でスペクトルが立ち、フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ＿ＦＴ（ｆｔ）は２０Ｈｚ付近でスペクトルが立っていることが分かる。
【００９６】
ステップＳ９０７において、輝度変化検出部３００のフィルタリング部３０１は入力画像信号とフレームレート変換画像信号の輝度の時間変化周波数に視覚の時間周波数特性を乗算し、視覚上の輝度の時間変化周波数を算出する。具体的には、ステップＳ９０６で求めたＳ＿ＦＴ（ｆｔ）とＳｆｒｃ＿ＦＴ（ｆｔ）に式（８）のＶＴＦ（ｆｔ）を下記の式のようにフィルタリングして算出する。
【００９７】
【数１０】
【００９８】
ただし、平均輝度を示す直流成分はフィルタリングせず保存する。視覚上の輝度変化における周波数特性Ｓ＿ＶＴＦ（ｆｔ）とＳｆｒｃ＿ＶＴＦ（ｆｔ）のパワー成分を正規化したものを図１１に示す。ＶＴＦ（ｆｔ）は図８に示されるように、高周波の感度が低いため、ＶＴＦ（ｆｔ）によるフィルタリング前と比べて高周波側のスペクトルが減衰していることが分かる。
【００９９】
ステップＳ９０８において、輝度変化検出部３００の視覚的輝度変化取得部３０２は視覚上の輝度の時間変化周波数に対して逆フーリエ変換をかけ、入力画像信号とフレームレート変換画像信号の視覚上の輝度の時間変化を算出する。下記の式から入力画像信号とフレームレート変換画像信号の視覚上の輝度の時間変化Ｓ’（ｆ）とＳｆｒｃ’（ｆ）を求める。
【０１００】
【数１１】
【０１０１】
Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）を横軸フレーム番号、縦軸輝度で図示すると、図１２のようになる。こうして、輝度変化検出部３００の視覚的輝度変化取得部３０２は入力信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングした後の輝度の時間周波数Ｓ’（ｆ）を取得する第３取得手段として機能する。
【０１０２】
ステップＳ９０９において、輝度変化検出部３００の評価値取得部３０３は入力画像信号についての評価値である輝度変化評価値Ｃと、フレームレート変換画像信号についての評価値である輝度変化評価値Ｃｆｒｃを算出して取得する。Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）から、視覚上の入力画像信号の輝度変化評価値Ｃとフレームレート変換画像信号の輝度変化評価値Ｃｆｒｃを算出する。輝度変化評価値を輝度変化の最大値と最小値の差分とすると、Ｃ、Ｃｆｒｃは下記の式で求まる。
【０１０３】
【数１２】
【０１０４】
上記式（１２）を用いて、入力画像信号ｎフレーム分とフレームレート変換画像信号６０フレーム分それぞれの輝度変化評価値を算出する。
【０１０５】
上記した輝度変化評価値の算出手法はこれに限定されるものではない。輝度の最大値も考慮するために、輝度変化の最大値を輝度変化評価値としてもよい。また、下記の式のように、平均輝度値に対する輝度の振幅とすれば、画面の輝度に対する輝度変化を評価値とすることができる。
【０１０６】
【数１３】
【０１０７】
このようにして、輝度変化検出部３００の評価値取得部３０３は入力画像信号についての評価値である輝度変化評価値Ｃを取得する第１取得手段、及び、フレームレート変換画像信号についての評価値である輝度変化評価値Ｃｆｒｃを取得する第２取得手段として機能する。本実施例では輝度変化評価値Ｃと輝度変化評価値Ｃｆｒｃとの算出をフレームレート変換処理装置１１０内で行う場合について説明したが、フレームレート変換処理装置１１０の外に設けられた算出部でこの算出処理を行っても良い。その場合、評価値取得部３０３は当該算出処理を行った算出部から算出された時間変化周波数を取得する。
【０１０８】
ステップＳ９１０において、輝度変化検出部３００の比較部３０４はステップＳ９０８で取得したＣとＣｆｒｃの輝度変化評価値に基づいて補正目標値Ｌｄを算出するかどうかを判定する。比較部３０４は、図１２のように、Ｓ’（ｆ）とＳｆｒｃ’（ｆ）の波形が大きく異なり、ＣとＣｆｒｃの差分の絶対値が閾値Ｃｔｈ以上の場合、入力されているフレームレート変換画像信号６０フレームは実際の見えと大きく異なっていると判断する。すると、輝度変化検出部３００はステップＳ９１１へ進む。
【０１０９】
また比較部３０４は、ＣとＣｆｒｃの差分の絶対値が閾値Ｃｔｈより小さい場合、Ｓ’（ｆ）とＳｆｒｃ’（ｆ）の波形は近い形状にあり、フレームレート変換画像信号は実際の見えに近いと判断する。そして、輝度変化検出部３００はステップＳ９１２に進む。なお、閾値Ｃｔｈは視覚上において検知される輝度差で、視知覚応答特性記憶部７０１から取得する。また、閾値Ｃｔｈは任意の値でよく、外部に操作部を設けて操作部によってユーザが指定してもよい。
【０１１０】
ステップＳ９１１において、輝度変化検出部３００の目標値算出部２０７はフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）が実際の見えＳ’（ｆ）に近くなるように、あるフレーム番号ｆにおける補正目標値Ｌｄ（ｆ）を下記の式で求める。ただし、フレーム番号ｆは出力フレームレートから算出される、フレームレート変換画像信号があるフレームの番号である。
【０１１１】
【数１４】
【０１１２】
このとき、実際の見えＳ’（ｆ）は、ステップＳ９０８で視覚的輝度変化取得部３０２が算出した値であり、各フレーム全画面のＲＧＢ画素平均値である。
【０１１３】
ステップＳ９１２において、輝度変化検出部３００の目標値送出部２０８は補正禁止信号を補正部１１９に送出する。ここで輝度変化検出部３００の目標値算出部２０７は、ステップＳ９０３においてカウントしたフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正禁止とする。目標値送出部２０８はステップＳ９１３において、ステップＳ９０６で得られた補正目標値Ｌｄ（ｆ）を、補正部１１９に送出する。ここで輝度変化検出部３００はステップＳ９０３において得たフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正目標値Ｌｄ（ｆ）を送出する。補正部１１９は、輝度変化検出部３００から得られる補正目標値Ｌｄ（ｆ）を用いて、フレーム番号ｆに該当する出力順のフレームレート変換画像信号のフレームを補正し、出力画像信号として送出する。また、輝度変化検出部３００から補正禁止信号を受け取った場合、該当するフレームレート変換画像信号のフレームは補正を行わず、そのまま出力画像として送出する。これにより、出力画像信号の輝度変化を実際の見えに近づけることができる。
【０１１４】
補正処理を具体的に説明すると、まず、補正を行う入力画像信号のフレームと、その前後数フレームでの輝度値Ｌを式（１）から算出する。このうち、Ｌｄ（ｆ）とＬの差分の絶対値が最も小さいフレームを、本来送出するフレームレート変換画像信号のフレームの代わりに送出する。また、補正禁止信号を受け取った場合、補正禁止信号のカウントに応じた出力順のフレームを補正せずにそのまま出力画像信号として送出する。
【０１１５】
なお、補正の方法は上記の方法に限定されるものではない。探索をしないで、Ｌｄ（ｆ）の信号値を生成して、該当フレームの代わりに送出してもよい。上記実施例の具体的な数値は一例であり、画像の種類やユーザの操作などによって適宜設定することができる。
【０１１６】
以上で説明した構成では、図９に示したフローのステップＳ９０９において入力画像信号とフレームレート変換画像信号の評価値Ｃ、Ｃｆｒｃを算出し、ステップＳ９１０においてＣとＣｆｒｃとの差と所定の値とを比較することにより補正方法を決定する。しかし、本発明にかかるフレームレート変換処理はこれに限られず、評価値の算出および補正方法の選択を行わないでフレームレート変換及びフレームレート変換画像信号の補正を行うこととしても良い。すなわち、Ｓ９０８において算出した、入力画像信号の視覚上の輝度の時間変化Ｓ´（ｆ）を補正目標値Ｌｄ（ｆ）とし、入力画像信号の輝度の時間変化Ｓ（ｆ）＝Ｓ´（ｆ）となるように入力画像信号を補正した後、フレームレート変換を行ってもよい。これにより、入力画像信号に視覚上認識できない時間周波数の輝度変化が記録されていても、図１２のＳ´（ｆ）に示すように輝度の時間変化を平滑化してからフレームレート変換するので、フレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【０１１７】
以上説明した処理制御を行うことで、フレームレート変換後の画像の見えを実際の見えに近づけるような補正が可能となる。従って、本来定常光を発していると認識される物体が、フレーム変換処理後の映像において輝度変化しているように見えてしまうことを防ぐことができる。また、本来輝度が変化しているように認識される物体が、フレーム変換処理後の映像において定常光を発しているように見えてしまうことを防ぐことができる。さらに、本実施例では実際の見えとフレームレート変換画像信号で輝度変化が異なる場合について説明したが、実際の見えに対してフレームレート変換画像信号が暗すぎたり明るすぎたりする場合も、上記処理で補正することができる。このようにして、本実施例にかかる発明はフレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【０１１８】
＜実施例３＞
本実施例においては、輝度変化検出において領域検出を行い、フレーム内の一部に輝度変化がある場合について補正を行う例について説明する。本実施例では、実施例２で述べたフレームレート変換処理装置について、入力画像信号中のフレームの一部を補正する例について説明する。
【０１１９】
本実施例にかかるフレームレート変換処理装置１１０の構成例を示すブロック図を図１３（ａ）に示す。フレームレート変換処理部１１７、補正部１１９、入力フレームレート取得部１２０、出力フレームレート記憶部１２１は実施例１と同一であるため説明を省略する。
【０１２０】
領域分割処理部１３０１は、入力画像信号のフレームを、１２８×１２８ピクセルのようなブロックに、全てのフレームを分割する。本実施例では、入力画像信号における１フレームは、解像度５１２×３８４ピクセルとし、４×３のブロックに分割される場合について説明する。そして領域分割処理部１３０１は、分割した入力画像信号のフレームを画像バッファ部１１６に送出する。こうして領域分割処理部１３０１は入力信号における各フレームを複数の領域に分割する領域分割手段として機能する。画像バッファ部１１６は、領域分割処理部１３０１から入力された画像信号をフレーム単位で一時記憶しておき、フレームレート変換処理部１１７と輝度変化検出部３００の読み出し指令に従って送出する。
【０１２１】
輝度変化検出部３００はバッファ部１１６から受信した入力画像信号の輝度の時間変化に基づいて、出力画像信号の輝度の時間変化の目標値を算出し補正部１１９に出力する。
【０１２２】
輝度変化検出部３００の機能ブロック図を図１３（ｂ）に図示する。画像信号読み出し部２００から輝度時間変化周波数取得部２０５まで、フィルタリング部３０１から比較部３０４まで、および、目標値算出部２０７の構成は実施例２において説明したものと同一なので説明を省略する。判定部４００はフレームレート変換画像信号中のフレームにおける４×３のブロックが全て、比較部３０４の判定処理を終了しているか判定する。判定部４００においてフレームレート変換画像信号中のフレームにおけるブロックが全て判定処理を終了していると判断した場合はそのフレームについての目標値を目標値送出部２０８に送る。そして、目標値送出部２０８は入力された目標値を補正部１１９に出力する。
【０１２３】
次に装置全体の動作について説明する。フレームレート変換処理装置１１０に入力画像信号が入力されると領域分割処理部１１０１は入力信号のフレームを分割する。続いて画像バッファ部１１６はフレームを分割されたブロック単位で一時記憶する。そして、画像バッファ部１１６は一時記憶した入力画像信号をフレームレート変換処理部１１７および輝度変化検出部３００の読み出し指令に従って送出する。
【０１２４】
フレームレート変換処理部１１７は、画像バッファ部１１６から読み出した入力画像信号のフレームレートが、出力画像信号のフレームレートとなるように、画像バッファ部１１６から読み出した入力画像信号におけるフレームの間引きや補完処理を行う。
【０１２５】
輝度変化検出部３００は、画像バッファ部１１６から受け取った入力画像信号の輝度変化を輝度変化検出部３００内の輝度時間変化算出部２０４において検出し、フレームレート変換画像信号の補正目標値Ｌｄ（ｆ）を算出する。処理は実施例２と同様に輝度変化検出部３００に内蔵されているプロセッサ及びメモリがプログラムを実行することにより行われる。輝度変化検出部３００が内蔵するプロセッサは、コンピュータであり、輝度変化検出部３００が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部３００が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。あるいは図１３（ｂ）に示した各機能ブロックをハードウエアが実現することとしても良い。
【０１２６】
輝度変化検出部３００の処理フローを図１４にフローチャート図で示す。ステップＳ１４０１において、輝度変化検出部３００の画像信号読み出し部２００は画像バッファ部１１６とフレームレート変換処理部１１７に読み出し指令を出す。そして、輝度変化検出部３００はそれぞれ４×３ブロックに領域分割された入力の画像信号をｎフレーム、フレームレート変換処理された画像信号ｍフレームを得る。ただし、ｎとｍは１以上の任意の値である。また、ｍフレームはｎフレーム内のフレームレート変換画像信号のフレーム数である。
【０１２７】
ステップＳ１４０２からステップＳ１４０９までの処理は、実施例２のステップＳ９０２からステップＳ９０９と同一なので説明を省略する。ただし、輝度の時間変化Ｓ（ｆ）、Ｓｆｒｃ（ｆ）と、視覚上の輝度変化Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）と、輝度変化評価値Ｃ、Ｃｆｒｃは４×３のブロックごとに算出する。
【０１２８】
ステップＳ１４１０において、輝度変化検出部３００の比較部３０４は入力されているフレームレート変換画像信号ｍフレームにおける、任意のブロックについて、ＣとＣｆｒｃの輝度変化評価値に基づいて補正目標値Ｌｄを算出するかどうかを判定する。判定処理はステップＳ９１０と同一で、ＣとＣｆｒｃの差分の絶対値がＣｔｈ以上の場合、ステップＳ１４１１に進む。ＣとＣｆｒｃの差分の絶対値がＣｔｈより小さい場合、ステップＳ１４１２に進む。
【０１２９】
ステップＳ１４１１において、輝度変化検出部３００の目標値算出部２０７は該当するブロックのフレームごとの補正目標値Ｌｄ（ｆ）を算出する。算出方法についてはステップＳ９１１と同一なので説明を省略する。また、ステップＳ１４１２において輝度変化検出部３００の目標値算出部２０７は、該当するブロックのフレームごとの補正目標値Ｌｄ（ｆ）を、補正禁止信号とする。
【０１３０】
ステップＳ１４１３において、輝度変化検出部３００の判定部４００はフレームレート変換画像信号ｍフレームにおける４×３のブロックが全て、ステップＳ１４１０での判定処理を終了しているか判定する。全てのブロックで処理が終了していない場合、ステップＳ１４１４に進み、終了している場合、ステップＳ１４１５に進む。ステップＳ１４１４において、輝度変化検出部３００の比較部３０４および目標値算出部２０７はブロックを、ステップＳ１４１０の判定処理を受けていない、次のブロックへと移動し、補正方法の判定及び補正目標値Ｌｄ（ｆ）の算出を行う。ステップＳ１４１５において、輝度変化検出部３００の目標値送出部２０８はフレームレート変換画像信号のｍフレームにおける４×３ブロック全ての補正目標値Ｌｄ（ｆ）を補正部１１９へ送出する。ここで、輝度変化検出部３００はステップＳ１４０３において得たフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正目標値Ｌｄ（ｆ）を送出する。本実施例ではブロックごとにＬｄ（ｆ）を求める場合について説明したが、上述の処理と同様にして、画素ごとにＬｄ（ｆ）を算出することもできる。
【０１３１】
そして図１３の補正部１１９は、輝度変化検出部３００から取得した補正目標値Ｌｄ（ｆ）を用いて、フレームレート変換画像信号を補正し、出力画像信号として輝度変化判定部１３０２に送出する。まず補正部１１９は、ブロックに対して補正目標値Ｌｄ（ｆ）に値がある場合、該当ブロックのフレームレート変換画像信号ｍフレームにおいて、フレーム番号ｆに該当するフレームレート変換画像信号のフレームを補正し、出力画像信号として出力する。また、補正目標値Ｌｄ（ｆ）が補正禁止信号の場合、該当ブロックのフレームレート変換画像信号ｍフレームは補正を行わずに、そのまま出力画像信号として輝度変化判定部１３０２に送出する。補正処理の具体的な説明は実施例２の補正部１１９と同一なので省略する。
【０１３２】
図１３の輝度変化判定部１３０２は補正部１１９によって補正処理されたフレームレート変換画像信号における輝度変化評価値を算出し、適切に補正が行われたか判定する。
【０１３３】
具体的には、補正処理されたフレームレート変換画像信号の、あるブロックでの時間変化Ｓｆｒｃ２（ｆ）から、式（９）から式（１１）を用いて視覚上の輝度の時間変化Ｓｆｒｃ２’（ｆ）を算出し、式（１２）を用いて輝度変化評価値Ｃｆｒｃ２を算出する。次に、ステップＳ９１０で用いた輝度変化の閾値ＣｔｈとＣｆｒｃ２を比較する。４×３ブロック全てのＣｆｒｃ２がＣｔｈ以下であれば、補正されたフレームレート変換画像信号は出力画像信号として出力する。
【０１３４】
比較の結果、Ｃｆｒｃ２がＣｔｈより大きいブロックがある場合、補正されたフレームレート変換画像信号のフレーム全てのＳｆｒｃ２（ｆ）は輝度変化検出部３００にＳｆｒｃ（ｆ）として送出され、再度補正目標値Ｌｄ（ｆ）を求める。再度Ｌｄ（ｆ）を求める際は、４×３のブロックを適宜組み合わせて、例えば２×３のブロックにするなど領域を広く取る。ただし、再度、輝度変化検出部３００において処理を実行する方法はこれに限らず、Ｓｆｒｃ２は使わずに、入力画像信号をｎフレームからｎ＋ｎ’フレームなど、フレーム数を増やして再度処理を実行してもよい。ただし、ｎ’は任意の値とする。なお、輝度変化の閾値Ｃｔｈ２は任意の値でよく、出力フレームレートの値に応じて視知覚応答特性記憶部７０１から取得してもよい。このようにして輝度変化判定部１３０２において適切に補正を行われたか判定を行うことにより、満遍なく被写体の視覚上の輝度変化を再現するように出力画像信号を生成することができる。輝度変化判定部１３０２は本発明に必須の構成要件ではなく、補正部１１９から出力される画像信号を出力画像信号としてフレームレート変換処理装置１１０から出力することとしても良い。
【０１３５】
上記の実施形態以外にも、実施例１で説明したように、入力画像信号の輝度の時間変化周波数を計算して所定の周波数と比較し、比較結果に応じて補正を行う場合にも、フレームを分割し、分割したフレームごとに周波数の比較及び補正を行うことができる。
【０１３６】
以上説明した処理制御を行うことで、フレーム内の一部の輝度変化に対しても視覚的に再現することが可能となる。また、領域ごとに輝度変化を補正するため、上記処理制御を行うことで、動いている物体の輝度変化もより自然に視覚上の輝度変化を再現することが可能となる。
【０１３７】
＜実施例４＞
本発明にかかるフレームレート変換処理装置は画像表示装置又は記憶装置などに適用することができる。本実施例ではまず、本発明にかかるフレームレート変換処理装置を画像表示装置に適用する場合について図１５（ａ）を用いて説明する。図１５（ａ）において、アナログ放送入力１５０１は、地上アナログ放送、衛星アナログ放送などのアナログ放送信号を入力するための端子である。アナログ外部入力端子１５０２は、Ｄ端子などのアナログ映像信号を入力するための端子である。デジタル放送入力端子１５０３は、地上デジタル放送、衛星デジタル放送などのデジタル放送信号を入力するための端子である。デジタル外部入力１５０４は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などのデジタル映像信号を入力するための端子である。これらの入力端子は入力画像信号を入力するための入力手段として機能する。
【０１３８】
アナログチューナ１５０５は、アナログ放送入力１５０１から入力されたアナログ放送信号を映像信号に変換し、後述のＡ／Ｄコンバータ１５０７に出力する。また、デジタルチューナ１５０６は、デジタル放送入力端子１５０３から入力されたデジタル放送信号を映像信号に変換し、後述のデコーダ１５０８へ出力する。
【０１３９】
Ａ／Ｄコンバータ１５０７は、アナログチューナ１５０５から受信したアナログ映像信号又はアナログ外部入力端子１５０２から入力されたアナログ映像信号をデジタル映像信号に変換する。デコーダ１５０８は、デジタルチューナ１５０６から映像信号を受信し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化された映像信号を復号化する。
【０１４０】
セレクタ１５０９は、Ａ／Ｄコンバータ１５０７においてＡ／Ｄ変換された映像信号、デコーダ１５０８においてデコードされた映像信号、デジタル外部入力１５０４から入力されたデジタル映像信号のいずれかを選択して高画質変換補正処理部１５１０に送出する。
【０１４１】
高画質変換補正処理部１５１０は、映像信号に対して、与えられたパラメータを基に高画質化、補正を行う。実施例１、実施例２又は実施例３において説明したフレームレート変換処理装置１１０がこの高画質変換補正処理部１５１０内に内蔵されている。
【０１４２】
ＣＰＵ１５１１は、上述した一連の処理についての演算、制御を行う。ＲＯＭ１５１２とＲＡＭ１５１３は、ＣＰＵが処理を実行するために必要なプログラム、データを蓄積し、また、作業領域をＣＰＵ１５１１に提供する。操作部１５１４は、ディスプレイ本体でユーザからの指示を入力する装置であり、ボタンやタッチパネルなどが該当する。パネル１５１５は高画質変換補正処理部１５１０から出力された出力画像信号を表示する画像表示装置である。
【０１４３】
高画質変換補正処理部１５１０内のフレームレート変換処理装置１１０では実施例１、実施例２又は実施例３において述べたフレームレート変換処理が実行される。あるいは、フレームレート変換処理装置１１０がパネル１５１５の駆動周波数を取得し、入力画像信号のフレームレートをパネル１５１５の駆動周波数に変換することとしてもよい。ここでいう駆動周波数はパネル１５１５の垂直同期周波数やフレームレートと同義である。パネル１５１５の駆動周波数は、パネル１５１５のある表示位置に装着されている不図示のパネル駆動電圧検出センサを用いて取得する。パネル駆動電圧検出センサは、外部から駆動電圧を取得する端子を保持しており、パネル１５１５の駆動電圧から時間間隔を取得し、駆動周波数を算出する。パネル駆動電圧検出センサは、駆動電圧が閾値Ｔｈを越える時間間隔ｔ１を取得する。この時間間隔ｔ１はパネル１５１５の駆動周期となるので下記の式から駆動周波数Ｆｐを算出することができる。
【０１４４】
【数１５】
【０１４５】
ただし、ｔ１の単位は秒である。
【０１４６】
時間間隔を取得する方法は上記の方法に限られない。例えば、駆動電圧の時間変化が閾値Ｔｈを越える時間間隔を複数取得される場合、その中で最も短い時間間隔をパネル１５１５の駆動周期として、式（１５）から駆動周波数Ｆｐを算出してもよい。
【０１４７】
また、パネル駆動電圧検出センサはパネル１５１５内に複数あってもよい。さらに、駆動周波数取得のための手法は上記に限られない。パネル駆動電圧検出センサは、駆動電圧を検出する変わりにパネル１５１５の発光を検出するフォトセンサであってもよいし、ユーザが操作部１５１４から入力するという方法であってもよい。また、ＲＯＭ１５１２が記憶しているパネル１５１５の駆動周波数を取得してもよい。このようにしてパネル駆動電圧検出センサは出力画像信号を表示する表示手段の駆動周波数を取得する駆動周波数取得手段として機能する。
【０１４８】
以上のようにして得られた駆動周波数Ｆｐをフレームレート変換画像信号のフレームレートとして出力フレームレート記憶部１２１に記憶する。以降、実施例１、実施例２又は実施例３で説明したのと同様にしてフレームレート変換処理を行うことにより、パネル１５１５の駆動周波数とフレームレート変換画像信号のフレームレートを一致させ、フレーム変換処理後の映像が視覚的に不自然のないようにすることができる。なお本実施例では、輝度値はＲＧＢ画素値としているが、パネル１５１５が保持するプロファイルから、ＲＧＢ画素値に対応したＸＹＺ値のＹ値を輝度値として用いて実現しても同様の効果を得ることができる。
【０１４９】
また、本発明にかかるフレームレート変換処理装置を記録装置に適用する場合について説明する。図１５（ｂ）は本発明にかかるフレームレート変換処理装置を有する撮像装置における画像処理装置の一実施形態である。前記実施形態において、撮像部１６０１は、被写体の光を検知するための装置である。撮像部１６０１は、例えば、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成される。
【０１５０】
Ａ／Ｄ変換部１６０２は被写体の光の検知量をデジタル値に変換するための装置である。信号処理部１６０３は、上記デジタル値に信号処理し、デジタル画像を生成するための装置であり、例えば、デモザイキング処理、ホワイトバランス処理、ガンマ処理等を行う。
【０１５１】
フレームレート変換補正処理部１６０４は、入力画像信号のフレームレート変換を行い、輝度変化が実際の見えに近づくような補正処理を行う。フレームレート変換補正処理部１６０４の内部の構成は、図１、図７、図１３と同一であるため説明を省略する。エンコーダ部１６０５は、上記デジタル画像にデータ圧縮を行うための装置であり、例えばＪＰＥＧに圧縮するなどの処理を行う。メディアインターフェース部１６０６は、メモリーカードその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
【０１５２】
ＣＰＵ１６０７は、ＣＰＵであり上述した各構成の一連の処理について演算、制御を行う。ＲＯＭ１６０８とＲＡＭ１６０９はその処理に必要なプログラム、データ、作業領域などをＣＰＵ１６０７に提供する。また、後述する処理に必要な制御プログラムがＲＯＭ１６０８に格納されている場合には、一旦ＲＡＭ１６０９に読み込まれてから実行される。
【０１５３】
操作部１６１０は、ユーザからの指示を入力する装置であり、例えば、ボタンやモードダイヤル等が該当する。装置構成については、上記のものに限られない。本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成される装置に適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
【０１５４】
上記の装置によれば、撮像装置で撮像した画像をフレームレート変換した後に輝度の時間変化を補正してメモリーカードに記録することが可能となる。
【０１５５】
本実施例の装置によりフレームレート変換して記録したメモリーカードは、前述の実施例の画像表示装置を用いることによりフレームレート変換して読み出すことが可能である。
【０１５６】
上記実施例は、記録媒体としてメモリーカードを用いる場合を説明したが、これに限定されず、光ディスクや磁気記録媒体など任意の媒体に適用できる。
【０１５７】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１５８】
１１０ フレームレート変換処理装置
１１７ フレームレート変換処理部
１１８ 輝度変化検出部
１１９ 補正部
【技術分野】
【０００１】
本発明は第１の画像信号からフレーム数を変化させて第２の画像信号を生成するフレームレート変換処理装置に関する。
【背景技術】
【０００２】
従来、映像のフレームレートの変換を行う場合に、変換後の映像が視覚的に不自然とならないようにするための技術が提案されている。
【０００３】
例えばフレームレート変換処理を行う際に、変換前後のフレームレートとフレームについての動きベクトルとに基づいて予測フレームデータを生成して変換前映像のフレーム間に挿入し、映像中の被写体の動きを補完する技術が知られている（例えば、特許文献１）。
【０００４】
また近年、高フレームレートの映像を撮影する撮影装置が普及し始めているが、テレビ等の出力装置はこの様な高フレームレートで撮像された映像の表示に対応しておらず、入力された映像のフレームレートを下げるように変換して表示することが必要なものも多い。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−０６９９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
こうした状況から、高フレームレートで撮影された映像のフレームレートを下げて表示する場合、フレームレート変換処理後の映像が視覚的に不自然となる場合がある。
【０００７】
すなわち、輝度変化の時間周波数が非常に高く、人間の視覚には定常的に光を発していると認識される物体の映像のフレームレートを変換すると、変換後の映像では人間の視覚を通じてその物体の輝度が変化していると認識される映像になってしまう場合がある。
【０００８】
図１６を用いて具体例を示す。図１６（ａ）上図は、例として、蛍光灯を５０Ｈｚの周波数の電源で用いた場合の輝度変化を示している。蛍光灯は上図のように電源の周波数の倍である１００Ｈｚの周波数で輝度変化する。これを１秒間に３００フレーム撮影した結果得られるフレームを撮影された順に並べたもの（以下、フレーム列）を図１６（ａ）の下図に示す。このフレーム列に示されるとおり、蛍光灯の明かりは１／１００秒に１回暗く撮影される。このフレーム列を３００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で再生すると、蛍光灯の明かりは１００Ｈｚで輝度変化する。しかし、人間の視覚上、輝度の時間変化が検知されなくなる時間周波数は６０Ｈｚ以上と言われており、人間には蛍光灯の発する光は常に一定の明るさを保っている光（以下、定常光）として認識される。
【０００９】
図１６（ａ）下図及び（ｂ）を用いて、上述のようにして撮影されたフレーム列から１／６０秒に１回の割合でフレームを抜き出して新たなフレーム列とすることにより、３００Ｈｚから６０Ｈｚにフレームレート変換する場合について説明する。図１６（ａ）下図はフレームレート変換する前のフレーム列を表し、図１６（ｂ）はフレームレート変換処理を行った後のフレーム列を表している。図１６（ｂ）のようなフレーム列を６０ｆｐｓで再生する場合、図１６（ｂ）に表されているとおり映像中の蛍光灯の輝度は２０Ｈｚで変化する（１／２０秒に１回輝度が変化する）ので、蛍光灯の輝度が変化していることが人間の視覚を通しても認識されてしまう。
【００１０】
従来技術のように、動きを補完するための予測フレームを生成してフレーム間に挿入しても、上記のように、本来視覚上では定常光として認識されるべき物体が、フレームレート変換後の映像では輝度変化をしているように認識されてしまうという課題がある。
【００１１】
そこで本発明は、上記課題を解決し、フレームレート変換処理後の映像が視覚的に不自然のないようにすることを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を鑑みて、本発明にかかる第１のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数を取得する取得手段と、前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間変化周波数であるか判断するために前記取得手段により取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手段と、前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段とを有することを特徴とする。
【００１３】
また、本発明にかかる第２のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手段と、前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手段と、前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手段と、前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較手段と、前記比較手段において前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手段とを有することを特徴とする。
【００１４】
さらに、本発明にかかる第３のフレームレート変換処理装置は、第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手段と、前記入力画像信号の輝度の時間変化周波数が前記フィルタリング手段によってフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手段と、前記補正手段によって補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換手段とを有することを特徴とする。
【発明の効果】
【００１５】
以上の構成により、フレームレート変換において、変換後のフレーム列の輝度変化が視覚的に不自然さを与えることのないようにフレームレート変換することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１におけるフレームレート変換処理装置の構成を示すブロック図。
【図２】実施例１のフレームレート変換における入力画像信号とフレームレート変換画像信号の時間的関係図。
【図３】実施例１の輝度変化検出処理についてのフローチャート図。
【図４】実施例１の入力画像信号とフレームレート変換画像信号、実際の見えについて輝度の時間的変化を示す図。
【図５】実施例１の入力画像信号と実際の見え、補正目標値の輝度の時間変化を示す図。
【図６】実施例１における入力画像信号とフレームレート変換画像信号、補正目標値について輝度の時間的変化を示す図。
【図７】実施例２におけるフレームレート変換処理装置の構成を示すブロック図。
【図８】実施例２における、視知覚応答特性の図。
【図９】実施例２の輝度変化検出処理のフローチャート図。
【図１０】実施例２の入力画像信号とフレームレート変換画像信号についての、輝度の時間周波数スペクトルを示す図。
【図１１】実施例２の入力画像信号とフレームレート変換画像信号についての、視覚上の輝度の正規化した時間周波数スペクトルを示す図。
【図１２】実施例２の入力画像信号とフレームレート変換画像信号での、視覚上の輝度の正規化した時間的変化を示す図。
【図１３】実施例３におけるフレームレート変換処理装置の構成を示すブロック図。
【図１４】実施例３の輝度変化検出処理のフローチャート図。
【図１５】実施例４におけるフレームレート変換処理装置を有する撮像装置での画像処理装置のブロック図。
【図１６】被写体の輝度変化がフレーム列に記録される様子、及び、フレームレート変換前後のフレーム列を示した図。
【発明を実施するための形態】
【００１７】
＜実施例１＞
まず、本発明の実施例１にかかるフレームレート変換処理装置１１０の構成例を、図１（ａ）を用いて説明する。
【００１８】
フレームレート変換処理装置１１０は入力された画像信号（以下、入力画像信号）のフレームレートを変換し、フレームレート変換後の画像信号に対して後述の補正処理を行い、補正処理を行った画像信号（以下、出力画像信号）を出力する。
【００１９】
画像バッファ部１１６は、入力画像信号をフレーム単位で一時記憶する。そして、画像バッファ部１１６は一時記憶した入力画像信号をフレームレート変換処理部１１７および輝度変化検出部１１８の読み出し指令に従って送出する。
【００２０】
フレームレート変換処理部１１７は、画像バッファ部１１６から読み出した入力画像信号のフレームレートが、出力画像信号のフレームレートとなるように、画像バッファ部１１６から読み出した入力画像信号におけるフレームの間引きや補完処理を行う。
【００２１】
輝度変化検出部１１８は、画像バッファ部１１６から読み出した入力画像信号の輝度の時間変化周波数を算出して取得する。また輝度変化検出部１１８は、フレームレート変換処理部１１７から受信したフレームレート変換後の画像信号（以下、フレームレート変換画像信号）から輝度の時間変化周波数を算出して取得する。そして、輝度変化検出部１１８は取得した輝度の時間変化周波数と所定の輝度の時間変化周波数とを比較して、比較結果に応じてフレームレート変換画像信号の補正目標値を決定し、補正部１１９に補正処理を実行させる。
【００２２】
輝度変化検出部１１８の機能ブロック図を図１（ｂ）に示す。図示した各ブロックの機能は輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより実現される。輝度変化検出部１１８が内蔵するプロセッサは、コンピュータであり、輝度変化検出部１１８が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部１１８が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。
【００２３】
画像信号読み出し部２００は画像バッファ部１１６から入力画像信号の読み出しを行う。また、画像信号読み出し部２００はフレームレート変換処理部１１７からフレームレート変換画像信号を受信する。
【００２４】
輝度値算出部２０１は画像信号読み出し部２００で読み出した入力信号および受信したフレームレート変換画像信号におけるフレームごとの輝度値を算出する。
【００２５】
フレーム数カウント部２０２は画像信号読み出し部２００で読み出した入力画像信号とフレームレート変換画像信号のフレーム数をカウントする。カウント処理については後述する。
【００２６】
フレーム番号付与部２０３はフレーム数カウント部２０２でのカウント数に基づいて、読み出した入力信号におけるフレームとフレームレート変換画像信号におけるフレームとにそれぞれフレーム番号を付与する。フレーム番号付与の詳細な方法については後述する。
【００２７】
輝度時間変化算出部２０４は輝度値算出部で算出した入力画像信号及びフレームレート変換画像信号におけるフレームごとの輝度値とフレーム番号付与部２０３で付与した各フレームのフレーム番号とに基づいてそれぞれの画像信号の輝度の時間変化を算出する。
【００２８】
輝度時間変化周波数取得部２０５は輝度時間変化算出部２０４において算出した入力画像信号の輝度の時間変化に基づいて、入力画像信号の輝度の時間変化を算出し、取得する。
【００２９】
比較部２０６は輝度時間変化周波数取得部２０５で取得した入力画像信号の輝度の時間変化周波数と所定の輝度の時間変化周波数とを比較する。
【００３０】
目標値算出部２０７は比較部２０６における比較結果に応じて、フレームレート変換装置１１０が生成する出力画像信号における各フレームの輝度の目標値を決定する。
【００３１】
目標値送出部２０８は目標値算出部２０７で算出した目標値を補正部１１９に送出する。
【００３２】
本実施例では、輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより上述の各機能ブロックを実現することとしたが、各機能ブロックはそれぞれハードウエアによって実現されてもよい。
【００３３】
補正部１１９は、フレームレート変換画像信号のうち、輝度変化検出部１１８で補正処理が必要と判断されたフレームに対して補正処理を行い、輝度変化の不自然さを補正する。
【００３４】
入力フレームレート取得部１２０は、第１のフレームレートとしての入力画像信号のフレームレートを入力画像信号から取得し、入力フレームレートの値をフレームレート変換処理部１１７と輝度変化検出部１１８に送出する。
【００３５】
出力フレームレート記憶部１２１は、第２のフレームレートとしての出力フレームレートの値を記憶して、フレームレート変換処理部１１７と輝度変化検出部１１８に送出する。
【００３６】
続いて、上述の構成からなる装置全体の動作について説明する。本実施例では、ある時間周波数で輝度が変化する被写体を入力フレームレート３００Ｈｚで撮像した入力画像信号をフレームレート変換処理装置１１０に入力する。そして、フレームレート変換処理部１１７においてフレームレート変換処理を行って出力フレームレートが６０Ｈｚの画像信号に変換し、補正部１１９においてフレームレート変換画像信号の補正を行って生成した出力画像信号をフレームレート変換処理装置１１０から出力する場合について説明する。なお、本実施例で用いる入力フレームレート及び出力フレームレートの値は一例にすぎず、適宜それぞれの値を設定することができる。
【００３７】
まず、フレームレート変換処理装置１１０に入力された入力画像信号は、画像バッファ部１１６に入力される。画像バッファ部１１６は入力された画像信号をフレーム単位で一時記憶しておき、フレームレート変換処理部１１７や輝度変化検出部１１８からの読み出し指令に従って送出する。画像バッファ部１１６は、数フレーム、又は数百フレーム分の画像の記憶が可能な容量とする。
【００３８】
入力フレームレート取得部１２０は、例えば、入力画像信号のＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報やＭＰＥＧ形式のストリームから入力画像信号のフレームレートを取得する。入力フレームレート取得部１２０は取得した入力フレームレートをフレームレート変換処理部１１７と輝度変化検出部１１８からの読み出し指令に従って送出する。本実施例では入力フレームレートは３００Ｈｚである。
【００３９】
次に、出力フレームレート記憶部１２１は、記憶している第２のフレームレートとしての出力フレームレートをフレームレート変換処理部１１７と輝度変化検出部１１８からの読み出し指令に従って送出する。本実施例では出力フレームレートは６０Ｈｚである。出力フレームレートはあらかじめ設定され、出力フレームレート記憶部に記憶されていても良い。あるいは、外部に操作部を設けて操作部によってユーザが指定した値を出力フレームレートとしてフレームレート変換処理部１１７と輝度変化検出部１１８へ送出する構成としてもよい。
【００４０】
フレームレート変換処理部１１７は、画像バッファ部１１６から入力された入力画像信号のフレームレートを出力画像信号のフレームレートに変換して、補正部１１９に送出する。より詳細には、以下のようにしてフレームレートを変換する。
【００４１】
まず、フレームレート変換処理部１１７は画像バッファ部１１６から入力された画像信号のフレーム数、およびフレームレート変換処理部１１７から出力すべき画像信号のフレーム数をそれぞれカウントする。カウントは入力フレームレート取得部１２０と出力フレームレート記憶部１２１から得られる入力フレームレート及び、出力フレームレートに応じて行われる。本実施例の場合、入力フレームレートは３００Ｈｚなので、入力された画像信号について１秒間に３００フレームだけカウントを行う。一方、出力フレームレートは６０Ｈｚなので、出力すべき画像信号について１秒間に６０フレームだけカウントを行う。次に、これらのカウントに応じてフレームレート変換を実行する。ここで実行されるフレームレート変換は公知の手法でよく、例えば入力のフレームレートが３００Ｈｚ、出力のフレームレートが６０Ｈｚの場合は、入力のフレームを５フレームごとに、周期的に１フレームずつ出力のフレームとして送出すればよい。フレームを送出する周期は、例えば、入力フレームレートと出力フレームレートとの商から求めることができる。フレームレート変換の方法は上記以外にも様々な方法が考えられる。５フレームの輝度の平均値を出力する１フレームの輝度値として算出するといった方法を用いることもできる。上記した具体的数値は一例であり、本フレームレート変換処理装置に接続されるパネルや画像の種類などにより適宜設定することができる。
【００４２】
図２は、フレームレート変換処理部１１７に入力された入力画像信号と、フレームレート変換処理部１１７から出力されるフレームレート変換画像信号の対応関係を、フレーム番号を付して示した図である。ここでは、フレームレート変換において、フレームを周期的に間引く場合について例として説明する。入力画像信号に対しフレームレート変換画像信号は、所定の時間だけ遅延して出力されるが、簡単のために対応するフレームを同位置に合わせて表示している。入力画像信号にフレーム番号を１から順にふるとする。入力フレームレートが３００Ｈｚで出力フレームレートが６０Ｈｚの場合は、入力画像信号から５フレームごとにフレームを選択して、フレームレート変換画像信号とすればよい。フレームレート変換画像信号は、入力画像信号からフレーム番号に該当する１フレーム目、６フレーム目、１１フレーム目、１６フレーム目…と選択して生成される。こうして入力画像信号のフレームレートを出力フレームレートに変換したフレームレート変換画像信号を補正部１１９に送出する。
【００４３】
輝度変化検出部１１８は、画像バッファ部１１６から送出された入力画像信号の輝度の時間変化を算出し、取得する。輝度変化検出部１１８が内蔵するプロセッサに実行させるためのプログラムを図３に示す。図１（ｂ）に示した各機能ブロックをハードウエアによって実現する場合には図３は輝度変化検出部１１８における処理フローを示す。
【００４４】
以下、図３のフローチャートをもとに、輝度変化検出部１１８における入力画像信号の輝度の時間変化の算出、取得について説明する。ステップＳ３０１において、輝度変化検出部１１８の画像信号読み出し部２００は画像バッファ部１１６に読み出し指令を出し、入力画像信号からｎフレーム、フレームレート変換画像信号からｍフレーム得る。ただし、ｎとｍは１以上の任意の値である。また、ｍフレームは入力画像信号ｎフレーム内のフレームレート変換画像信号のフレーム数である。本実施例では例えばｎ＝３１のとき、３１フレームから５フレームごとに１フレーム選択してフレーム変換画像とするので、ｍ＝７となる。
【００４５】
ステップＳ３０２において、輝度変化検出部１１８の輝度値算出部２０１は入力画像信号とフレームレート変換画像信号の各フレームの輝度値を算出する。ここでは輝度値は１フレーム全画面のＲＧＢ画素値の平均とする。つまり、あるフレームにおける輝度値Ｌは下記の式から算出する。
【００４６】
【数１】
【００４７】
ただし、ｘ、ｙはそれぞれフレームのｘ軸とｙ軸の長さを示し、Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）はフレームの各画素値である。
【００４８】
ステップＳ３０３において、輝度変化検出部１１８のフレーム数カウント部２０２は、画像バッファ部１１６から読み出した入力画像信号とフレームレート変換画像信号のフレーム数をカウントする。カウントの処理はフレームレート変換処理部１１７と同一なので説明を省略する。
【００４９】
ステップＳ３０４において、輝度変化検出部１１８のフレーム番号付与部２０３は入力フレームレートと出力フレームレートからフレーム番号ｆを算出する。そして、入力画像信号とフレームレート変換画像信号の各フレームに図２を用いて説明したように各フレーム番号ｆを付与する。このとき、入力フレームレートと出力フレームレートは、入力フレームレート取得部１２０と出力フレームレート記憶部１２１から取得した値である。フレーム番号付与部２０３は、まず、ステップＳ３０３で入力画像信号のフレームをカウントするごとにカウント数を入力画像信号の各フレームのフレーム番号ｆとして順次付与する。次に、フレームレート変換画像信号のカウント数に応じたフレーム番号ｆを下記の式から算出する。
【００５０】
【数２】
【００５１】
ただしｋはフレームレート変換画像信号の最初のフレーム番号である。本実施例では最初に１フレーム目を選択しているので、ｋ＝１となる。よって、出力順１番目はフレーム番号１、出力順２番目はフレーム番号６・・・となる。式（２）から得られたフレーム番号をフレームレート変換画像信号の各フレームに付与する。
【００５２】
ステップＳ３０５において、輝度変化検出部１１８の輝度時間変化算出部２０４はフレーム番号ｆと各フレームの輝度値から、入力画像信号とフレームレート変換画像信号の輝度の時間変化を算出する。ステップＳ３０２で算出した入力画像信号の各フレームの輝度値ＬをステップＳ３０４で取得したフレーム番号の順に並べた配列を、入力画像信号の輝度値Ｌの時間的変化Ｓ（ｆ）とする。また、同様の処理をフレームレート変換画像信号に行い、フレームレート変換画像信号の輝度値Ｌの時間的変化Ｓｆｒｃ（ｆ）とする。ただし、Ｓｆｒｃ（ｆ）は後述のステップＳ３０９において算出されることとしても良い。
【００５３】
入力画像信号の輝度値の時間変化Ｓ（ｆ）、フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）を図にすると、図４のようになる。このとき、被写体の輝度変化は１００Ｈｚの高周波であるとすると、視覚的には被写体は定常光に見える。ここで、定常光とは、視覚を通して常に一定の明るさを保っていると認識される光のことをいう。太陽光などの自然光のほかに蛍光灯や白熱電球などの人工照明による光などを指す。入力画像信号の輝度の時間変化Ｓ（ｆ）の実際の見えを図４に図示する。フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）では、実際の見えが再現できていないことが分かる。このとき、実際の見えはＴａｌｂｏｔの法則から、入力画像信号の輝度値Ｌの時間的変化Ｓ（ｆ）の平均値とする。下記式から実際の見えを算出する。
【００５４】
【数３】
【００５５】
ただし、被写体の輝度の時間変化周波数Ｆの算出方法はステップＳ３０６で後述する。式（３）はＦｉｎ／Ｆフレームの平均値を取ることで、被写体輝度変化の１周期の平均値を求めている。また、実際の見えは１周期の平均値ではなく、輝度変化検出部１１８に入力されたフレーム全てのＳ（ｆ）の平均値としてもよい。
【００５６】
ステップＳ３０６において、輝度変化検出部１１８の輝度時間変化周波数取得部２０５はステップＳ３０５で求めた被写体の輝度の時間変化Ｓ（ｆ）から、入力画像信号の輝度の時間変化周波数Ｆを算出し、取得する。被写体の輝度の時間変化周波数Ｆは、入力されたｎフレームのうち、入力画像信号の輝度最大値Ｌｍａｘと輝度最小値Ｌｍｉｎから平均輝度値Ｌｔｈを算出し、１からｎフレーム目までに入力画像信号の輝度が何回Ｌｔｈを通ったかカウントすることで求められる。なお、平均輝度値Ｌｔｈ算出例を下記に示す。
【００５７】
【数４】
【００５８】
図４の場合では、１からｎフレーム目までにＳ（ｆ）はＬｔｈをｐ回通っているとする。よって、輝度の時間変化が正弦波状と仮定すると、入力画像信号の輝度の時間変化周波数Ｆは、下記の式（５）から算出される。
【００５９】
【数５】
【００６０】
図４の場合、ｎ＝３１、ｐ＝２０であるので、式（５）に値を代入すると、被写体の輝度変化の時間変化周波数Ｆは約１００Ｈｚと算出できる。このようにして、輝度時間変化周波数取得部２０５は入力画像信号の輝度の時間変化周波数を取得する。本実施例では入力画像信号の輝度の時間変化周波数の算出をフレームレート変換処理装置１１０内で行う場合について説明したが、フレームレート変換処理装置１１０の外部に設けられた算出部でこの算出処理を行っても良い。その場合、輝度時間変化周波数取得部２０５は当該算出処理を行った算出部から算出された時間変化周波数を取得する。
【００６１】
ステップＳ３０７において、輝度変化検出部１１８の比較部２０６は時間変化周波数Ｆの大きさを輝度変化値として、フレームレート変換画像信号の補正方法を判断する。具体的には、比較部２０６は時間変化周波数Ｆの大きさから被写体の輝度変化を（Ｉ）定常光に見える状態、（ＩＩ）輝度変化が検知できる状態、の２段階に区分し、補正方法を判断する。（Ｉ）と判断した場合ステップＳ３０８に、（ＩＩ）と判断した場合ステップＳ３０９に進む。
【００６２】
ステップＳ３０７における判断方法について説明する。（Ｉ）の定常光に見える状態とは、輝度の時間変化周波数が非常に早く、人間の網膜上では各フレームで発光された光が加算されるために輝度の時間変化が検知されない状態である。人間の視覚上、輝度の時間変化が検知されなくなる輝度の時間変化周波数は６０Ｈｚ以上と言われており、これを閾値Ｘ１とする。６０Ｈｚ以上の時間変化周波数の画像とは、例えば蛍光灯に照らされた画像などである。被写体の輝度の時間変化周波数Ｆが、閾値Ｘ１（＝６０Ｈｚ）を超えた時間変化周波数である場合、（Ｉ）に分類する。Ｆは約１００Ｈｚであるため、輝度の時間変化は感じられず、入力画像信号のｎフレームは（Ｉ）に分類される。
【００６３】
（ＩＩ）の輝度変化が検知できる状態とは、Ｘ１の時間変化周波数未満の輝度の周波数であるため、視覚的に輝度の時間変化が検知され、画面がちらつくように見える状態である。被写体の輝度の時間変化周波数ＦがＸ１未満の場合、（ＩＩ）に分類する。
【００６４】
上記した具体的数値は一例であり、本フレームレート変換処理装置に接続されるパネルや画像の種類により適宜設定することができる。例えば、本フレームレート変換処理装置に接続されるパネルの発光時間がインパルスである場合、Ｘ１は６０Ｈｚでも視覚上で輝度の時間変化が検知できるため、より周波数の高い７０Ｈｚとしてもよい。また、入力画像信号の輝度の時間変化周波数がＸ１を超える場合であっても、輝度振幅が大きいと視覚的にちらつきが感じられることがある。そこで、入力画像信号の輝度の振幅が平均輝度値Ｌｔｈのｑ％以上となった場合には、輝度の時間変化周波数がＸ１以上であっても（ＩＩ）の輝度の時間変化が人間の視覚によって検知できる状態であると判断することもできる。ただし、ｑは任意の値である。こうして、比較部２０６は入力画像信号の輝度の時間周波数と、所定の輝度の時間変化周波数を比較して補正方法を判断する。
【００６５】
ステップＳ３０８では、輝度変化検出部１１８の目標値算出部２０７はフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）が定常光に近くなるように、フレームレート変換画像信号の補正目標値Ｌｄ（ｆ）を算出する。まず、入力フレームレートと出力フレームレートを入力フレームレート取得部１２０と出力フレームレート記憶部１２１から取得する。すると、入力フレームレート３００Ｈｚに対して、出力フレームレートは６０Ｈｚなので、フレームレート変換画像信号が１フレーム表示される間に入力画像信号は５フレーム表示されることになる。そこで、入力画像信号５フレーム分の輝度を平均して、定常光に近づける。入力画像信号の１から５フレーム目、６から１０フレーム目、１１から１５フレーム目と、５フレームごとのＲＧＢ各画素値の平均値を算出し、フレームレート変換画像信号各フレームの画素値とする。すると、図５のＬｄ（ｆ）となり、被写体の実際の見えに輝度変化が近づいていることがわかる。図５では簡単のために、フレーム全画面の画素平均値を輝度値として入力画像信号の輝度変化Ｓ（ｆ）と補正目標値Ｌｄ（ｆ）、被写体の実際の見えを示している。
【００６６】
あるフレーム番号ｆにおける画素値をＬｄ（ｆ）とすると、Ｌｄ（ｆ）の算出式は下記のようになる。ただし、フレーム番号ｆは出力フレームレートから算出される、フレームレート変換画像信号があるフレームの番号である。
【００６７】
【数６】
【００６８】
Ｌｄ（ｆ）はフレームレート変換画像信号に対する補正目標値となる。ただし、Ｌｉｎ（ｆ）は、ある座標における入力画像信号のＲＧＢ画素値、ｋは任意のフレーム番号である。また、Ｌｄ（ｆ）はＲＧＢごとに算出する。ここでは、Ｌｉｎ（ｆ）は１フレームの各画素を示しているので、５フレームごとの画素の平均値とは、各画素の位置に対応した５フレームの画素を加算して平均値を算出した値である。これにより、入力画像信号を、実際の見えの輝度変化に近づけたフレームレート変換処理が可能となる。
【００６９】
また、上記実施例では、定常光に近い見た目の輝度変化に補正するため、５フレームごとのＲＧＢ画素値の平均でフレームレート変換画像信号の輝度値を算出したが、これに限定されるものではない。補正方法はこれ以外にも様々な方法が考えられる。入力画像信号の輝度の時間変化周波数は約１００Ｈｚ、入力画像信号のフレームレートは３００Ｈｚなので、被写体の輝度の時間変化１周期分を３フレームで示している。よって、３の倍数のフレーム数ごとに画素平均値をとれば、より輝度変動の少ない、定常光に近い目標画素値Ｌｄが得られる。例えば６フレームごとに平均値を求めれば、輝度値は５フレームごとの見えに近く、且つ５フレームごとの平均値よりも輝度変動が少ない補正目標値Ｌｄを得ることができる。
【００７０】
ステップＳ３０９では、輝度変化検出部１１８の目標値算出部２０７はフレームレート変換画像信号の輝度変化が入力の輝度変化と等しくなるような補正目標値Ｌｄ（ｆ）を算出する。例えば、入力画像信号における被写体の輝度の時間変化周波数Ｆが３０Ｈｚであるとすると、入力画像信号の輝度の時間変化Ｓ（ｆ）とフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）は図６のように示される。図６から分かるように、Ｓｆｒｃ（ｆ）はＳ（ｆ）の輝度振幅を再現できていない。そこで、フレームレート変換画像信号の輝度振幅が入力の輝度振幅に近づくようにフレームレート変換画像信号を補正する。
【００７１】
具体的には、あるフレーム番号ｆでの補正の目標のＲＧＢ各画素値Ｌｄ（ｆ）は下記の式で求める。
【００７２】
【数７】
【００７３】
ただし、Ｌｆｒｃ（ｆ）はフレームレート変換画像信号の輝度の時間変化を式（１）で算出したものである。また、Ｌｍａｘ、Ｌｍｉｎは入力画像信号ｎフレーム分の、Ｌ’ｍａｘ、Ｌ’ｍｉｎはフレームレート変換画像信号のｍフレーム分の最大画素値と最小画素値である。すると、補正目標値Ｌ（ｄ）の輝度の時間変化は図６のようになり、Ｓｆｒｃ（ｆ）に比べて輝度振幅が入力の輝度変化に近づく。
【００７４】
上記した手法は一例であり、補正目標値Ｌ（ｄ）の算出方法はこれのみに限らない。入力画像信号におけるｆの前後のフレームの画素値の平均としてもよい。
【００７５】
ステップＳ３１０において、輝度変化検出部１１８の目標値送出部２０８はステップＳ３０８、ステップＳ３０９で得られた補正目標値Ｌｄ（ｆ）を、ステップＳ３０３のカウントに応じて補正部１１９に送出する。
【００７６】
補正部１１９は、輝度変化検出部１１８から得られる補正目標値Ｌｄ（ｆ）を用いて、フレーム番号ｆに該当する出力順のフレームレート変換画像信号のフレームを生成し、出力画像としてフレームレート変換処理装置１１０より出力する。これにより、出力画像の輝度変化を実際の見えに近づけることができる。補正処理を具体的に説明すると、ＲＧＢの画素値ごとに補正目標値Ｌｄ（ｆ）を該当フレームの代わりに送出する。また、補正の方法は上記の方法に限定されるものではない。目標となるＬｄ（ｆ）に近い輝度値Ｌのフレームを、フレーム番号ｆに該当する入力の画像信号のフレームと、その前後数フレームから探索し、これをフレームレート変換画像信号の該当フレームの代わりに送出してもよい。以上説明した処理制御を行うことで、フレームレート変換した画像の輝度変化を実際の見えに近づけることが可能となる。また、説明してきた処理制御は通常は行わず、操作部においてユーザがフレームレート変換補正処理装置を実行したときに、上記の処理を実行することとしてもよい。
【００７７】
本実施例では、入力フレームレート３００Ｈｚを出力フレームレート６０Ｈｚにフレームレート変換する際の補正処理について述べたが、これ以外の変換にも適用できる。既に述べたように、人間の視覚上、輝度の時間変化が検知されなくなる時間変化周波数はおよそ６０Ｈｚ以上である。従って６０Ｈｚ以上の輝度の時間変化が記録可能なフレームレート（およそ１２０Ｈｚ以上）の画像信号を、よりフレームレートの低い画像信号にフレームレート変換する場合に特に適用できる。例えば、フレームレートを２４０Ｈｚから４８Ｈｚへ、あるいは３００Ｈｚから２４Ｈｚへ変換する場合でも有効である。
【００７８】
本実施例にかかるフレームレート変換処理装置は、入力画像信号の輝度の時間変化周波数が所定の輝度の時間変化周波数を超えている場合に、出力画像において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する。すなわち、入力画像信号中の被写体が定常光を発していると判断した場合に、フレームレート変換後の被写体の輝度変化が定常光に近づくように補正して出力画像を生成する。従って、本来定常光を発していると認識される物体が、フレーム変換処理後の映像において輝度変化しているように見えてしまうことを防ぐことができる。また、本実施例にかかる発明は、入力画像信号中の被写体の輝度が変化していると判断された場合に、フレームレート変換後の被写体の輝度変化が入力画像信号の被写体の輝度変化に近づくように補正することができる。このようにして、本実施例にかかる発明はフレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【００７９】
＜実施例２＞
本実施例においては、輝度変化検出において人間の視覚における輝度の時間周波数応答特性（以下、視知覚応答特性）を用いて補正する例について説明する。まず装置の構成について説明する。実施例２におけるフレームレート変換処理に関わるフレームレート変換処理装置の構成例を示すブロック図を図７（ａ）に示す。画像バッファ部１１６、フレームレート変換処理部１１７、補正部１１９、入力フレームレート取得部１２０、出力フレームレート記憶部１２１は実施例１と同一であるため説明を省略する。
【００８０】
視知覚応答特性記憶部７０１は、視知覚応答特性を記憶して、輝度変化検出部３００に送出する。
【００８１】
輝度変化検出部３００は、画像バッファ部１１６から読み出した入力画像信号の輝度の時間変化周波数を算出して取得する。また輝度変化検出部１１８は、フレームレート変換処理部１１７から受信したフレームレート変換後の画像信号（以下、フレームレート変換画像信号）から輝度の時間変化周波数を算出して取得する。そして、視知覚応答特性記憶部７０１から入力された視知覚応答特性を用いて入力画像信号の評価値とフレームレート変換画像信号の評価値を取得する。そして、入力画像信号の評価値と出力画像信号の評価値との差が所定の値との比較結果に応じてフレームレート変換画像信号の補正目標値を決定し、補正部１１９に補正処理を実行させる。
【００８２】
輝度変化検出部３００の機能ブロック図を図７（ｂ）に示す。図示した各ブロックの機能は輝度変化検出部３００の内部に内蔵されたプロセッサ及びメモリがプログラムを実行することによって実現される。輝度変化検出部３００が内蔵するプロセッサは、コンピュータであり、輝度変化検出部３００が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部３００が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。
【００８３】
画像信号読み出し部２００、輝度値算出部２０１、フレーム数カウント部２０２、フレーム番号付与部２０３、輝度時間変化算出部２０４、輝度時間変化周波数取得部２０５の機能は実施例１で説明したものと同一なので説明を省略する。輝度変化検出部３００のフィルタリング部３０１は視知覚応答特性記憶部７０１から視知覚応答特性を読み出す。そしてフィルタリング部３０１は、輝度時間変化算出部２０４において算出した入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングする。そして、視覚的輝度変化取得部３０２はフィルタリング後の輝度の時間変化周波数を取得する。さらに、輝度変化検出部３００の評価値取得部３０３は、取得したフィルタリング後の輝度の時間変化周波数に基づいて入力画像についての評価値を算出して取得する。加えて、輝度変化検出部３００の比較部３０４はフレームレート変換画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいてフレームレート変換画像信号についての評価値を算出して取得する。さらに、輝度変化検出部３００の比較部３０４は取得した入力画像信号についての評価値とフレームレート変換画像信号についての評価値の差と所定の値とを比較する。そして、輝度変化検出部３００の目標値算出部２０７は比較の結果に基づいてフレームレート変換画像信号の補正の補正目標値を算出して、目標値送出部２０８から補正部１１９に送出する。
【００８４】
本実施例では、輝度変化検出部１１８に内蔵されたプロセッサ及びメモリがプログラムを実行することにより上述の各機能ブロックを実現することとしたが、各機能ブロックはそれぞれハードウエアによって実現されてもよい。
【００８５】
補正部１１９は輝度変化検出部３００から送出された補正目標値を用いてフレームレート変換画像信号を補正して出力信号を生成する。
【００８６】
次に、装置全体の動作について説明する。本実施例では、ある時間周波数で輝度が変化する被写体を入力フレームレート３００Ｈｚで撮像した画像信号を入力画像信号として入力する。そして、フレームレート変換処理部１１７においてフレームレート変換処理を行い、出力フレームレートが６０Ｈｚのフレームレート変換画像信号に変換する。その後、補正部１１９においてフレームレート変換画像信号の補正処理を行い、補正した画像信号をフレームレート変換処理装置１１０から出力画像信号として出力する場合について説明する。
【００８７】
視知覚応答特性記憶部７０１は、記憶している視知覚応答特性と閾値Ｃｔｈを輝度変化検出部３００の読み出し指令に従って送出する。視知覚応答特性ＶＴＦは、図８に例を示すように、輝度が時間変化するときの時間周波数に対するレスポンス関数である。視知覚応答特性ＶＴＦは、下記の式から求められ、帯域通過型のフィルタとして扱われる。
【００８８】
【数８】
【００８９】
なお、式（８）は視知覚応答特性をモデル化したものである（例えば、松井利一、“マルチチャネル構造時空間視覚モデルの定式化とフリッカー画像知覚特性の再現”、「電子情報通信学会論文誌 Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ Ｎｏ．１０」、日本、電子情報通信学会、１９９４年１０月、２１０６頁参照）。視知覚応答特性記憶部７０１は、輝度の大きさや色度、画面の空間周波数に応じて、視知覚応答特性を複数保持していてもよい。その場合、読み出し指令に対応した視知覚応答特性を送出する。
【００９０】
輝度変化検出部３００は、視覚上の輝度変化評価値を算出して、フレームレート変換画像信号の輝度変化が実際の見えに近づくような補正量を算出する。輝度変化検出部３００が内蔵するプロセッサに実行させるプログラムを図９に示す。図７（ｂ）に示した各機能ブロックをハードウエアによって実現する場合には、図９は輝度変化検出部３００の処理フローを示す。 以下、図９のフローチャートを元に説明する。ステップＳ９０１からステップＳ９０５までの処理は図３のステップＳ３０１からステップＳ３０５までの処理と同一であるため説明を省略する。
【００９１】
ステップＳ９０６において、輝度変化検出部３００の輝度時間変化周波数取得部２０５は入力画像信号の輝度の時間変化Ｓ（ｆ）とフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）に対してフーリエ変換をかける。その結果、輝度時間変化周波数取得部２０５は入力画像信号とフレームレート変換画像信号の輝度の時間変化周波数を取得する。
【００９２】
ステップＳ９０５で算出した輝度の時間変化Ｓ（ｆ）とＳｆｒｃ（ｆ）が図４のようであるとする。Ｓ（ｆ）の周期をＮとし、Ｓ（ｆ）＝Ｓ（ｆ＋Ｎ）が成り立つと仮定すると、輝度時間変化周波数取得部２０５は下記の式からフーリエ変換を行い、輝度の時間変化周波数Ｓ＿ＦＴ（ｆｔ）を算出する。
【００９３】
【数９】
【００９４】
このとき、周期Ｎは、Ｓ（ｆ）＝Ｓ（ｆ＋ｎ）且つｆからｎフレーム目までに入力画像信号の輝度値Ｌ（ｆ）が平均輝度値Ｌｔｈを２回以上通過したフレームｎの整数倍と定義して輝度変化検出部３００は周期Ｎを算出する。上記と同様にしてフレームレート変換画像信号の輝度の時間変化周波数Ｓｆｒｃ＿ＦＴ（ｆｔ）を算出する。
【００９５】
このとき、各周波数スペクトルのパワー成分を正規化したものを図１０に図示する。横軸は時間変化周波数で縦軸はスペクトルの振幅である。入力画像信号の輝度の時間変化Ｓ＿ＦＴ（ｆｔ）は１００Ｈｚ付近でスペクトルが立ち、フレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ＿ＦＴ（ｆｔ）は２０Ｈｚ付近でスペクトルが立っていることが分かる。
【００９６】
ステップＳ９０７において、輝度変化検出部３００のフィルタリング部３０１は入力画像信号とフレームレート変換画像信号の輝度の時間変化周波数に視覚の時間周波数特性を乗算し、視覚上の輝度の時間変化周波数を算出する。具体的には、ステップＳ９０６で求めたＳ＿ＦＴ（ｆｔ）とＳｆｒｃ＿ＦＴ（ｆｔ）に式（８）のＶＴＦ（ｆｔ）を下記の式のようにフィルタリングして算出する。
【００９７】
【数１０】
【００９８】
ただし、平均輝度を示す直流成分はフィルタリングせず保存する。視覚上の輝度変化における周波数特性Ｓ＿ＶＴＦ（ｆｔ）とＳｆｒｃ＿ＶＴＦ（ｆｔ）のパワー成分を正規化したものを図１１に示す。ＶＴＦ（ｆｔ）は図８に示されるように、高周波の感度が低いため、ＶＴＦ（ｆｔ）によるフィルタリング前と比べて高周波側のスペクトルが減衰していることが分かる。
【００９９】
ステップＳ９０８において、輝度変化検出部３００の視覚的輝度変化取得部３０２は視覚上の輝度の時間変化周波数に対して逆フーリエ変換をかけ、入力画像信号とフレームレート変換画像信号の視覚上の輝度の時間変化を算出する。下記の式から入力画像信号とフレームレート変換画像信号の視覚上の輝度の時間変化Ｓ’（ｆ）とＳｆｒｃ’（ｆ）を求める。
【０１００】
【数１１】
【０１０１】
Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）を横軸フレーム番号、縦軸輝度で図示すると、図１２のようになる。こうして、輝度変化検出部３００の視覚的輝度変化取得部３０２は入力信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングした後の輝度の時間周波数Ｓ’（ｆ）を取得する第３取得手段として機能する。
【０１０２】
ステップＳ９０９において、輝度変化検出部３００の評価値取得部３０３は入力画像信号についての評価値である輝度変化評価値Ｃと、フレームレート変換画像信号についての評価値である輝度変化評価値Ｃｆｒｃを算出して取得する。Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）から、視覚上の入力画像信号の輝度変化評価値Ｃとフレームレート変換画像信号の輝度変化評価値Ｃｆｒｃを算出する。輝度変化評価値を輝度変化の最大値と最小値の差分とすると、Ｃ、Ｃｆｒｃは下記の式で求まる。
【０１０３】
【数１２】
【０１０４】
上記式（１２）を用いて、入力画像信号ｎフレーム分とフレームレート変換画像信号６０フレーム分それぞれの輝度変化評価値を算出する。
【０１０５】
上記した輝度変化評価値の算出手法はこれに限定されるものではない。輝度の最大値も考慮するために、輝度変化の最大値を輝度変化評価値としてもよい。また、下記の式のように、平均輝度値に対する輝度の振幅とすれば、画面の輝度に対する輝度変化を評価値とすることができる。
【０１０６】
【数１３】
【０１０７】
このようにして、輝度変化検出部３００の評価値取得部３０３は入力画像信号についての評価値である輝度変化評価値Ｃを取得する第１取得手段、及び、フレームレート変換画像信号についての評価値である輝度変化評価値Ｃｆｒｃを取得する第２取得手段として機能する。本実施例では輝度変化評価値Ｃと輝度変化評価値Ｃｆｒｃとの算出をフレームレート変換処理装置１１０内で行う場合について説明したが、フレームレート変換処理装置１１０の外に設けられた算出部でこの算出処理を行っても良い。その場合、評価値取得部３０３は当該算出処理を行った算出部から算出された時間変化周波数を取得する。
【０１０８】
ステップＳ９１０において、輝度変化検出部３００の比較部３０４はステップＳ９０８で取得したＣとＣｆｒｃの輝度変化評価値に基づいて補正目標値Ｌｄを算出するかどうかを判定する。比較部３０４は、図１２のように、Ｓ’（ｆ）とＳｆｒｃ’（ｆ）の波形が大きく異なり、ＣとＣｆｒｃの差分の絶対値が閾値Ｃｔｈ以上の場合、入力されているフレームレート変換画像信号６０フレームは実際の見えと大きく異なっていると判断する。すると、輝度変化検出部３００はステップＳ９１１へ進む。
【０１０９】
また比較部３０４は、ＣとＣｆｒｃの差分の絶対値が閾値Ｃｔｈより小さい場合、Ｓ’（ｆ）とＳｆｒｃ’（ｆ）の波形は近い形状にあり、フレームレート変換画像信号は実際の見えに近いと判断する。そして、輝度変化検出部３００はステップＳ９１２に進む。なお、閾値Ｃｔｈは視覚上において検知される輝度差で、視知覚応答特性記憶部７０１から取得する。また、閾値Ｃｔｈは任意の値でよく、外部に操作部を設けて操作部によってユーザが指定してもよい。
【０１１０】
ステップＳ９１１において、輝度変化検出部３００の目標値算出部２０７はフレームレート変換画像信号の輝度の時間変化Ｓｆｒｃ（ｆ）が実際の見えＳ’（ｆ）に近くなるように、あるフレーム番号ｆにおける補正目標値Ｌｄ（ｆ）を下記の式で求める。ただし、フレーム番号ｆは出力フレームレートから算出される、フレームレート変換画像信号があるフレームの番号である。
【０１１１】
【数１４】
【０１１２】
このとき、実際の見えＳ’（ｆ）は、ステップＳ９０８で視覚的輝度変化取得部３０２が算出した値であり、各フレーム全画面のＲＧＢ画素平均値である。
【０１１３】
ステップＳ９１２において、輝度変化検出部３００の目標値送出部２０８は補正禁止信号を補正部１１９に送出する。ここで輝度変化検出部３００の目標値算出部２０７は、ステップＳ９０３においてカウントしたフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正禁止とする。目標値送出部２０８はステップＳ９１３において、ステップＳ９０６で得られた補正目標値Ｌｄ（ｆ）を、補正部１１９に送出する。ここで輝度変化検出部３００はステップＳ９０３において得たフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正目標値Ｌｄ（ｆ）を送出する。補正部１１９は、輝度変化検出部３００から得られる補正目標値Ｌｄ（ｆ）を用いて、フレーム番号ｆに該当する出力順のフレームレート変換画像信号のフレームを補正し、出力画像信号として送出する。また、輝度変化検出部３００から補正禁止信号を受け取った場合、該当するフレームレート変換画像信号のフレームは補正を行わず、そのまま出力画像として送出する。これにより、出力画像信号の輝度変化を実際の見えに近づけることができる。
【０１１４】
補正処理を具体的に説明すると、まず、補正を行う入力画像信号のフレームと、その前後数フレームでの輝度値Ｌを式（１）から算出する。このうち、Ｌｄ（ｆ）とＬの差分の絶対値が最も小さいフレームを、本来送出するフレームレート変換画像信号のフレームの代わりに送出する。また、補正禁止信号を受け取った場合、補正禁止信号のカウントに応じた出力順のフレームを補正せずにそのまま出力画像信号として送出する。
【０１１５】
なお、補正の方法は上記の方法に限定されるものではない。探索をしないで、Ｌｄ（ｆ）の信号値を生成して、該当フレームの代わりに送出してもよい。上記実施例の具体的な数値は一例であり、画像の種類やユーザの操作などによって適宜設定することができる。
【０１１６】
以上で説明した構成では、図９に示したフローのステップＳ９０９において入力画像信号とフレームレート変換画像信号の評価値Ｃ、Ｃｆｒｃを算出し、ステップＳ９１０においてＣとＣｆｒｃとの差と所定の値とを比較することにより補正方法を決定する。しかし、本発明にかかるフレームレート変換処理はこれに限られず、評価値の算出および補正方法の選択を行わないでフレームレート変換及びフレームレート変換画像信号の補正を行うこととしても良い。すなわち、Ｓ９０８において算出した、入力画像信号の視覚上の輝度の時間変化Ｓ´（ｆ）を補正目標値Ｌｄ（ｆ）とし、入力画像信号の輝度の時間変化Ｓ（ｆ）＝Ｓ´（ｆ）となるように入力画像信号を補正した後、フレームレート変換を行ってもよい。これにより、入力画像信号に視覚上認識できない時間周波数の輝度変化が記録されていても、図１２のＳ´（ｆ）に示すように輝度の時間変化を平滑化してからフレームレート変換するので、フレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【０１１７】
以上説明した処理制御を行うことで、フレームレート変換後の画像の見えを実際の見えに近づけるような補正が可能となる。従って、本来定常光を発していると認識される物体が、フレーム変換処理後の映像において輝度変化しているように見えてしまうことを防ぐことができる。また、本来輝度が変化しているように認識される物体が、フレーム変換処理後の映像において定常光を発しているように見えてしまうことを防ぐことができる。さらに、本実施例では実際の見えとフレームレート変換画像信号で輝度変化が異なる場合について説明したが、実際の見えに対してフレームレート変換画像信号が暗すぎたり明るすぎたりする場合も、上記処理で補正することができる。このようにして、本実施例にかかる発明はフレーム変換処理後の映像が視覚的に不自然のないようにすることができる。
【０１１８】
＜実施例３＞
本実施例においては、輝度変化検出において領域検出を行い、フレーム内の一部に輝度変化がある場合について補正を行う例について説明する。本実施例では、実施例２で述べたフレームレート変換処理装置について、入力画像信号中のフレームの一部を補正する例について説明する。
【０１１９】
本実施例にかかるフレームレート変換処理装置１１０の構成例を示すブロック図を図１３（ａ）に示す。フレームレート変換処理部１１７、補正部１１９、入力フレームレート取得部１２０、出力フレームレート記憶部１２１は実施例１と同一であるため説明を省略する。
【０１２０】
領域分割処理部１３０１は、入力画像信号のフレームを、１２８×１２８ピクセルのようなブロックに、全てのフレームを分割する。本実施例では、入力画像信号における１フレームは、解像度５１２×３８４ピクセルとし、４×３のブロックに分割される場合について説明する。そして領域分割処理部１３０１は、分割した入力画像信号のフレームを画像バッファ部１１６に送出する。こうして領域分割処理部１３０１は入力信号における各フレームを複数の領域に分割する領域分割手段として機能する。画像バッファ部１１６は、領域分割処理部１３０１から入力された画像信号をフレーム単位で一時記憶しておき、フレームレート変換処理部１１７と輝度変化検出部３００の読み出し指令に従って送出する。
【０１２１】
輝度変化検出部３００はバッファ部１１６から受信した入力画像信号の輝度の時間変化に基づいて、出力画像信号の輝度の時間変化の目標値を算出し補正部１１９に出力する。
【０１２２】
輝度変化検出部３００の機能ブロック図を図１３（ｂ）に図示する。画像信号読み出し部２００から輝度時間変化周波数取得部２０５まで、フィルタリング部３０１から比較部３０４まで、および、目標値算出部２０７の構成は実施例２において説明したものと同一なので説明を省略する。判定部４００はフレームレート変換画像信号中のフレームにおける４×３のブロックが全て、比較部３０４の判定処理を終了しているか判定する。判定部４００においてフレームレート変換画像信号中のフレームにおけるブロックが全て判定処理を終了していると判断した場合はそのフレームについての目標値を目標値送出部２０８に送る。そして、目標値送出部２０８は入力された目標値を補正部１１９に出力する。
【０１２３】
次に装置全体の動作について説明する。フレームレート変換処理装置１１０に入力画像信号が入力されると領域分割処理部１１０１は入力信号のフレームを分割する。続いて画像バッファ部１１６はフレームを分割されたブロック単位で一時記憶する。そして、画像バッファ部１１６は一時記憶した入力画像信号をフレームレート変換処理部１１７および輝度変化検出部３００の読み出し指令に従って送出する。
【０１２４】
フレームレート変換処理部１１７は、画像バッファ部１１６から読み出した入力画像信号のフレームレートが、出力画像信号のフレームレートとなるように、画像バッファ部１１６から読み出した入力画像信号におけるフレームの間引きや補完処理を行う。
【０１２５】
輝度変化検出部３００は、画像バッファ部１１６から受け取った入力画像信号の輝度変化を輝度変化検出部３００内の輝度時間変化算出部２０４において検出し、フレームレート変換画像信号の補正目標値Ｌｄ（ｆ）を算出する。処理は実施例２と同様に輝度変化検出部３００に内蔵されているプロセッサ及びメモリがプログラムを実行することにより行われる。輝度変化検出部３００が内蔵するプロセッサは、コンピュータであり、輝度変化検出部３００が内蔵するメモリから読み出したプログラムを実行する。輝度変化検出部３００が内蔵するメモリは、このプロセッサが読み出すことができるようにプログラムを記録した記録媒体である。あるいは図１３（ｂ）に示した各機能ブロックをハードウエアが実現することとしても良い。
【０１２６】
輝度変化検出部３００の処理フローを図１４にフローチャート図で示す。ステップＳ１４０１において、輝度変化検出部３００の画像信号読み出し部２００は画像バッファ部１１６とフレームレート変換処理部１１７に読み出し指令を出す。そして、輝度変化検出部３００はそれぞれ４×３ブロックに領域分割された入力の画像信号をｎフレーム、フレームレート変換処理された画像信号ｍフレームを得る。ただし、ｎとｍは１以上の任意の値である。また、ｍフレームはｎフレーム内のフレームレート変換画像信号のフレーム数である。
【０１２７】
ステップＳ１４０２からステップＳ１４０９までの処理は、実施例２のステップＳ９０２からステップＳ９０９と同一なので説明を省略する。ただし、輝度の時間変化Ｓ（ｆ）、Ｓｆｒｃ（ｆ）と、視覚上の輝度変化Ｓ’（ｆ）、Ｓｆｒｃ’（ｆ）と、輝度変化評価値Ｃ、Ｃｆｒｃは４×３のブロックごとに算出する。
【０１２８】
ステップＳ１４１０において、輝度変化検出部３００の比較部３０４は入力されているフレームレート変換画像信号ｍフレームにおける、任意のブロックについて、ＣとＣｆｒｃの輝度変化評価値に基づいて補正目標値Ｌｄを算出するかどうかを判定する。判定処理はステップＳ９１０と同一で、ＣとＣｆｒｃの差分の絶対値がＣｔｈ以上の場合、ステップＳ１４１１に進む。ＣとＣｆｒｃの差分の絶対値がＣｔｈより小さい場合、ステップＳ１４１２に進む。
【０１２９】
ステップＳ１４１１において、輝度変化検出部３００の目標値算出部２０７は該当するブロックのフレームごとの補正目標値Ｌｄ（ｆ）を算出する。算出方法についてはステップＳ９１１と同一なので説明を省略する。また、ステップＳ１４１２において輝度変化検出部３００の目標値算出部２０７は、該当するブロックのフレームごとの補正目標値Ｌｄ（ｆ）を、補正禁止信号とする。
【０１３０】
ステップＳ１４１３において、輝度変化検出部３００の判定部４００はフレームレート変換画像信号ｍフレームにおける４×３のブロックが全て、ステップＳ１４１０での判定処理を終了しているか判定する。全てのブロックで処理が終了していない場合、ステップＳ１４１４に進み、終了している場合、ステップＳ１４１５に進む。ステップＳ１４１４において、輝度変化検出部３００の比較部３０４および目標値算出部２０７はブロックを、ステップＳ１４１０の判定処理を受けていない、次のブロックへと移動し、補正方法の判定及び補正目標値Ｌｄ（ｆ）の算出を行う。ステップＳ１４１５において、輝度変化検出部３００の目標値送出部２０８はフレームレート変換画像信号のｍフレームにおける４×３ブロック全ての補正目標値Ｌｄ（ｆ）を補正部１１９へ送出する。ここで、輝度変化検出部３００はステップＳ１４０３において得たフレームレート変換画像信号のフレーム数と等しい枚数のフレームについて補正目標値Ｌｄ（ｆ）を送出する。本実施例ではブロックごとにＬｄ（ｆ）を求める場合について説明したが、上述の処理と同様にして、画素ごとにＬｄ（ｆ）を算出することもできる。
【０１３１】
そして図１３の補正部１１９は、輝度変化検出部３００から取得した補正目標値Ｌｄ（ｆ）を用いて、フレームレート変換画像信号を補正し、出力画像信号として輝度変化判定部１３０２に送出する。まず補正部１１９は、ブロックに対して補正目標値Ｌｄ（ｆ）に値がある場合、該当ブロックのフレームレート変換画像信号ｍフレームにおいて、フレーム番号ｆに該当するフレームレート変換画像信号のフレームを補正し、出力画像信号として出力する。また、補正目標値Ｌｄ（ｆ）が補正禁止信号の場合、該当ブロックのフレームレート変換画像信号ｍフレームは補正を行わずに、そのまま出力画像信号として輝度変化判定部１３０２に送出する。補正処理の具体的な説明は実施例２の補正部１１９と同一なので省略する。
【０１３２】
図１３の輝度変化判定部１３０２は補正部１１９によって補正処理されたフレームレート変換画像信号における輝度変化評価値を算出し、適切に補正が行われたか判定する。
【０１３３】
具体的には、補正処理されたフレームレート変換画像信号の、あるブロックでの時間変化Ｓｆｒｃ２（ｆ）から、式（９）から式（１１）を用いて視覚上の輝度の時間変化Ｓｆｒｃ２’（ｆ）を算出し、式（１２）を用いて輝度変化評価値Ｃｆｒｃ２を算出する。次に、ステップＳ９１０で用いた輝度変化の閾値ＣｔｈとＣｆｒｃ２を比較する。４×３ブロック全てのＣｆｒｃ２がＣｔｈ以下であれば、補正されたフレームレート変換画像信号は出力画像信号として出力する。
【０１３４】
比較の結果、Ｃｆｒｃ２がＣｔｈより大きいブロックがある場合、補正されたフレームレート変換画像信号のフレーム全てのＳｆｒｃ２（ｆ）は輝度変化検出部３００にＳｆｒｃ（ｆ）として送出され、再度補正目標値Ｌｄ（ｆ）を求める。再度Ｌｄ（ｆ）を求める際は、４×３のブロックを適宜組み合わせて、例えば２×３のブロックにするなど領域を広く取る。ただし、再度、輝度変化検出部３００において処理を実行する方法はこれに限らず、Ｓｆｒｃ２は使わずに、入力画像信号をｎフレームからｎ＋ｎ’フレームなど、フレーム数を増やして再度処理を実行してもよい。ただし、ｎ’は任意の値とする。なお、輝度変化の閾値Ｃｔｈ２は任意の値でよく、出力フレームレートの値に応じて視知覚応答特性記憶部７０１から取得してもよい。このようにして輝度変化判定部１３０２において適切に補正を行われたか判定を行うことにより、満遍なく被写体の視覚上の輝度変化を再現するように出力画像信号を生成することができる。輝度変化判定部１３０２は本発明に必須の構成要件ではなく、補正部１１９から出力される画像信号を出力画像信号としてフレームレート変換処理装置１１０から出力することとしても良い。
【０１３５】
上記の実施形態以外にも、実施例１で説明したように、入力画像信号の輝度の時間変化周波数を計算して所定の周波数と比較し、比較結果に応じて補正を行う場合にも、フレームを分割し、分割したフレームごとに周波数の比較及び補正を行うことができる。
【０１３６】
以上説明した処理制御を行うことで、フレーム内の一部の輝度変化に対しても視覚的に再現することが可能となる。また、領域ごとに輝度変化を補正するため、上記処理制御を行うことで、動いている物体の輝度変化もより自然に視覚上の輝度変化を再現することが可能となる。
【０１３７】
＜実施例４＞
本発明にかかるフレームレート変換処理装置は画像表示装置又は記憶装置などに適用することができる。本実施例ではまず、本発明にかかるフレームレート変換処理装置を画像表示装置に適用する場合について図１５（ａ）を用いて説明する。図１５（ａ）において、アナログ放送入力１５０１は、地上アナログ放送、衛星アナログ放送などのアナログ放送信号を入力するための端子である。アナログ外部入力端子１５０２は、Ｄ端子などのアナログ映像信号を入力するための端子である。デジタル放送入力端子１５０３は、地上デジタル放送、衛星デジタル放送などのデジタル放送信号を入力するための端子である。デジタル外部入力１５０４は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などのデジタル映像信号を入力するための端子である。これらの入力端子は入力画像信号を入力するための入力手段として機能する。
【０１３８】
アナログチューナ１５０５は、アナログ放送入力１５０１から入力されたアナログ放送信号を映像信号に変換し、後述のＡ／Ｄコンバータ１５０７に出力する。また、デジタルチューナ１５０６は、デジタル放送入力端子１５０３から入力されたデジタル放送信号を映像信号に変換し、後述のデコーダ１５０８へ出力する。
【０１３９】
Ａ／Ｄコンバータ１５０７は、アナログチューナ１５０５から受信したアナログ映像信号又はアナログ外部入力端子１５０２から入力されたアナログ映像信号をデジタル映像信号に変換する。デコーダ１５０８は、デジタルチューナ１５０６から映像信号を受信し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化された映像信号を復号化する。
【０１４０】
セレクタ１５０９は、Ａ／Ｄコンバータ１５０７においてＡ／Ｄ変換された映像信号、デコーダ１５０８においてデコードされた映像信号、デジタル外部入力１５０４から入力されたデジタル映像信号のいずれかを選択して高画質変換補正処理部１５１０に送出する。
【０１４１】
高画質変換補正処理部１５１０は、映像信号に対して、与えられたパラメータを基に高画質化、補正を行う。実施例１、実施例２又は実施例３において説明したフレームレート変換処理装置１１０がこの高画質変換補正処理部１５１０内に内蔵されている。
【０１４２】
ＣＰＵ１５１１は、上述した一連の処理についての演算、制御を行う。ＲＯＭ１５１２とＲＡＭ１５１３は、ＣＰＵが処理を実行するために必要なプログラム、データを蓄積し、また、作業領域をＣＰＵ１５１１に提供する。操作部１５１４は、ディスプレイ本体でユーザからの指示を入力する装置であり、ボタンやタッチパネルなどが該当する。パネル１５１５は高画質変換補正処理部１５１０から出力された出力画像信号を表示する画像表示装置である。
【０１４３】
高画質変換補正処理部１５１０内のフレームレート変換処理装置１１０では実施例１、実施例２又は実施例３において述べたフレームレート変換処理が実行される。あるいは、フレームレート変換処理装置１１０がパネル１５１５の駆動周波数を取得し、入力画像信号のフレームレートをパネル１５１５の駆動周波数に変換することとしてもよい。ここでいう駆動周波数はパネル１５１５の垂直同期周波数やフレームレートと同義である。パネル１５１５の駆動周波数は、パネル１５１５のある表示位置に装着されている不図示のパネル駆動電圧検出センサを用いて取得する。パネル駆動電圧検出センサは、外部から駆動電圧を取得する端子を保持しており、パネル１５１５の駆動電圧から時間間隔を取得し、駆動周波数を算出する。パネル駆動電圧検出センサは、駆動電圧が閾値Ｔｈを越える時間間隔ｔ１を取得する。この時間間隔ｔ１はパネル１５１５の駆動周期となるので下記の式から駆動周波数Ｆｐを算出することができる。
【０１４４】
【数１５】
【０１４５】
ただし、ｔ１の単位は秒である。
【０１４６】
時間間隔を取得する方法は上記の方法に限られない。例えば、駆動電圧の時間変化が閾値Ｔｈを越える時間間隔を複数取得される場合、その中で最も短い時間間隔をパネル１５１５の駆動周期として、式（１５）から駆動周波数Ｆｐを算出してもよい。
【０１４７】
また、パネル駆動電圧検出センサはパネル１５１５内に複数あってもよい。さらに、駆動周波数取得のための手法は上記に限られない。パネル駆動電圧検出センサは、駆動電圧を検出する変わりにパネル１５１５の発光を検出するフォトセンサであってもよいし、ユーザが操作部１５１４から入力するという方法であってもよい。また、ＲＯＭ１５１２が記憶しているパネル１５１５の駆動周波数を取得してもよい。このようにしてパネル駆動電圧検出センサは出力画像信号を表示する表示手段の駆動周波数を取得する駆動周波数取得手段として機能する。
【０１４８】
以上のようにして得られた駆動周波数Ｆｐをフレームレート変換画像信号のフレームレートとして出力フレームレート記憶部１２１に記憶する。以降、実施例１、実施例２又は実施例３で説明したのと同様にしてフレームレート変換処理を行うことにより、パネル１５１５の駆動周波数とフレームレート変換画像信号のフレームレートを一致させ、フレーム変換処理後の映像が視覚的に不自然のないようにすることができる。なお本実施例では、輝度値はＲＧＢ画素値としているが、パネル１５１５が保持するプロファイルから、ＲＧＢ画素値に対応したＸＹＺ値のＹ値を輝度値として用いて実現しても同様の効果を得ることができる。
【０１４９】
また、本発明にかかるフレームレート変換処理装置を記録装置に適用する場合について説明する。図１５（ｂ）は本発明にかかるフレームレート変換処理装置を有する撮像装置における画像処理装置の一実施形態である。前記実施形態において、撮像部１６０１は、被写体の光を検知するための装置である。撮像部１６０１は、例えば、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成される。
【０１５０】
Ａ／Ｄ変換部１６０２は被写体の光の検知量をデジタル値に変換するための装置である。信号処理部１６０３は、上記デジタル値に信号処理し、デジタル画像を生成するための装置であり、例えば、デモザイキング処理、ホワイトバランス処理、ガンマ処理等を行う。
【０１５１】
フレームレート変換補正処理部１６０４は、入力画像信号のフレームレート変換を行い、輝度変化が実際の見えに近づくような補正処理を行う。フレームレート変換補正処理部１６０４の内部の構成は、図１、図７、図１３と同一であるため説明を省略する。エンコーダ部１６０５は、上記デジタル画像にデータ圧縮を行うための装置であり、例えばＪＰＥＧに圧縮するなどの処理を行う。メディアインターフェース部１６０６は、メモリーカードその他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
【０１５２】
ＣＰＵ１６０７は、ＣＰＵであり上述した各構成の一連の処理について演算、制御を行う。ＲＯＭ１６０８とＲＡＭ１６０９はその処理に必要なプログラム、データ、作業領域などをＣＰＵ１６０７に提供する。また、後述する処理に必要な制御プログラムがＲＯＭ１６０８に格納されている場合には、一旦ＲＡＭ１６０９に読み込まれてから実行される。
【０１５３】
操作部１６１０は、ユーザからの指示を入力する装置であり、例えば、ボタンやモードダイヤル等が該当する。装置構成については、上記のものに限られない。本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成される装置に適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用しても良い。
【０１５４】
上記の装置によれば、撮像装置で撮像した画像をフレームレート変換した後に輝度の時間変化を補正してメモリーカードに記録することが可能となる。
【０１５５】
本実施例の装置によりフレームレート変換して記録したメモリーカードは、前述の実施例の画像表示装置を用いることによりフレームレート変換して読み出すことが可能である。
【０１５６】
上記実施例は、記録媒体としてメモリーカードを用いる場合を説明したが、これに限定されず、光ディスクや磁気記録媒体など任意の媒体に適用できる。
【０１５７】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１５８】
１１０ フレームレート変換処理装置
１１７ フレームレート変換処理部
１１８ 輝度変化検出部
１１９ 補正部
【特許請求の範囲】
【請求項１】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数を取得する取得手段と、
前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間変化周波数であるか判断するために前記取得手段により取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手段と、
前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段とを有することを特徴とするフレームレート変換処理装置。
【請求項２】
前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数未満である場合に、前記出力画像信号の輝度が前記入力画像信号の輝度の時間変化に応じて時間変化するように前記出力画像信号を生成することを特徴とする請求項１に記載のフレームレート変換処理装置。
【請求項３】
前記入力画像信号の輝度の時間変化周波数および前記入力画像信号の輝度の時間変化周波数の振幅を取得する取得手段と、
前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数であって、かつ、前記入力画像信号の輝度の時間変化周波数の振幅が所定の大きさ未満である場合に、前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段と有することを特徴とする請求項１又は２に記載のフレームレート変換処理装置。
【請求項４】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手段と、
前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手段と、
前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手段と、
前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較手段と、
前記比較手段において前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手段とを有することを特徴とするフレームレート変換処理装置。
【請求項５】
前記入力画像信号の輝度の時間変化周波数及び前記フレームレート変換画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングするフィルタリング手段を有し、
前記第１取得手段は、前記フィルタリング手段によって前記入力画像信号の輝度の時間変化周波数をフィルタリングした後の時間変化周波数の振幅を前記評価値として取得し、前記第２取得手段は、前記フィルタリング手段によって前記フレームレート変換画像信号の輝度の時間変化周波数をフィルタリングした後の時間変化周波数の振幅を前記評価値として取得することを特徴とする請求項４に記載のフレームレート変換処理装置。
【請求項６】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手段と、
前記入力画像信号の輝度の時間変化周波数が前記フィルタリング手段によってフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手段と、
前記補正手段によって補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換手段とを有することを特徴とするフレームレート変換処理装置。
【請求項７】
前記入力画像信号における各フレームを複数の領域に分割する領域分割手段を有し、
前記領域分割手段によって分割された領域ごとにフレームレート変換処理を行うことを特徴とする請求項１、請求項４、又は請求項６のいずれかに記載のフレームレート変換処理装置。
【請求項８】
前記出力画像信号を表示する表示手段の駆動周波数を取得する駆動周波数取得手段を有し、
前記駆動周波数取得手段によって取得された駆動周波数と前記出力画像信号のフレームレートが一致するようにフレームレート変換を行うことを特徴とする請求項１、請求項４又は請求項６のいずれかに記載のフレームレート変換処理装置。
【請求項９】
前記入力画像信号を入力するための入力手段と、
前記出力画像信号を表示する表示手段と、
請求項８に記載のフレームレート変換処理装置とを有することを特徴とする画像表示装置。
【請求項１０】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理方法であって、
取得手段が、前記入力画像信号の輝度の時間変化周波数を取得する取得ステップと、
比較手段が、前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間周波数であるか判断するために前記取得ステップにより取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較ステップと、
生成手段が、前記比較ステップにおいて前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１１】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理方法であって、
第１取得手段が、前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得ステップと、
第２取得手段が、前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得ステップと、
第３取得手段が、前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得ステップと、
比較手段が、前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較ステップと、
補正手段が、前記比較ステップにおいて前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１２】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理方法であって、
フィルタリング手段が、前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリングステップと、
補正手段が、前記輝度の時間変化周波数が前記フィルタリングステップにおいてフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号を補正する補正ステップと、
変換手段が、前記補正ステップにおいて補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１３】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するコンピュータに、
前記入力画像信号の輝度の時間変化周波数を取得する取得手順と、
前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間周波数であるか判断するために前記取得手順において取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手順と、
前記比較手順において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手順とを実行させるためのプログラム。
【請求項１４】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するコンピュータに、
前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手順と、
前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手順と、
前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手順と、
前記第１取得手順において取得された評価値と前記第２取得手順において取得された評価値との差と所定の値とを比較する比較手順と、
前記比較手順において前記差が前記所定の値を超えた値である場合に、前記第３取得手順において取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手順とを実行させるためのプログラム。
【請求項１５】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するコンピュータに、
前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手順と、
前記輝度の時間変化周波数が前記フィルタリング手順においてフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手順と、
前記補正手順において補正された前記入力画像信号を前記第２のフレームレートを有する前記出力画像信号に変換する変換手順とを実行させるためのプログラム。
【請求項１】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数を取得する取得手段と、
前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間変化周波数であるか判断するために前記取得手段により取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手段と、
前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段とを有することを特徴とするフレームレート変換処理装置。
【請求項２】
前記比較手段において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数未満である場合に、前記出力画像信号の輝度が前記入力画像信号の輝度の時間変化に応じて時間変化するように前記出力画像信号を生成することを特徴とする請求項１に記載のフレームレート変換処理装置。
【請求項３】
前記入力画像信号の輝度の時間変化周波数および前記入力画像信号の輝度の時間変化周波数の振幅を取得する取得手段と、
前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間変化周波数であって、かつ、前記入力画像信号の輝度の時間変化周波数の振幅が所定の大きさ未満である場合に、前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手段と有することを特徴とする請求項１又は２に記載のフレームレート変換処理装置。
【請求項４】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手段と、
前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手段と、
前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手段と、
前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較手段と、
前記比較手段において前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手段とを有することを特徴とするフレームレート変換処理装置。
【請求項５】
前記入力画像信号の輝度の時間変化周波数及び前記フレームレート変換画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングするフィルタリング手段を有し、
前記第１取得手段は、前記フィルタリング手段によって前記入力画像信号の輝度の時間変化周波数をフィルタリングした後の時間変化周波数の振幅を前記評価値として取得し、前記第２取得手段は、前記フィルタリング手段によって前記フレームレート変換画像信号の輝度の時間変化周波数をフィルタリングした後の時間変化周波数の振幅を前記評価値として取得することを特徴とする請求項４に記載のフレームレート変換処理装置。
【請求項６】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理装置であって、
前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手段と、
前記入力画像信号の輝度の時間変化周波数が前記フィルタリング手段によってフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手段と、
前記補正手段によって補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換手段とを有することを特徴とするフレームレート変換処理装置。
【請求項７】
前記入力画像信号における各フレームを複数の領域に分割する領域分割手段を有し、
前記領域分割手段によって分割された領域ごとにフレームレート変換処理を行うことを特徴とする請求項１、請求項４、又は請求項６のいずれかに記載のフレームレート変換処理装置。
【請求項８】
前記出力画像信号を表示する表示手段の駆動周波数を取得する駆動周波数取得手段を有し、
前記駆動周波数取得手段によって取得された駆動周波数と前記出力画像信号のフレームレートが一致するようにフレームレート変換を行うことを特徴とする請求項１、請求項４又は請求項６のいずれかに記載のフレームレート変換処理装置。
【請求項９】
前記入力画像信号を入力するための入力手段と、
前記出力画像信号を表示する表示手段と、
請求項８に記載のフレームレート変換処理装置とを有することを特徴とする画像表示装置。
【請求項１０】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理方法であって、
取得手段が、前記入力画像信号の輝度の時間変化周波数を取得する取得ステップと、
比較手段が、前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間周波数であるか判断するために前記取得ステップにより取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較ステップと、
生成手段が、前記比較ステップにおいて前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１１】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するフレームレート変換処理方法であって、
第１取得手段が、前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得ステップと、
第２取得手段が、前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得ステップと、
第３取得手段が、前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得ステップと、
比較手段が、前記第１取得手段により取得された評価値と前記第２取得手段により取得された評価値との差と所定の値とを比較する比較ステップと、
補正手段が、前記比較ステップにおいて前記差が前記所定の値を超えた値である場合に、前記第３取得手段により取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１２】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するフレームレート変換処理方法であって、
フィルタリング手段が、前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリングステップと、
補正手段が、前記輝度の時間変化周波数が前記フィルタリングステップにおいてフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号を補正する補正ステップと、
変換手段が、前記補正ステップにおいて補正された前記入力画像信号を前記第２のフレームレートを有する出力画像信号に変換する変換ステップとを有することを特徴とするフレームレート変換処理方法。
【請求項１３】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するコンピュータに、
前記入力画像信号の輝度の時間変化周波数を取得する取得手順と、
前記入力画像信号の輝度の時間変化周波数が人間に知覚される所定の輝度の時間変化周波数を超えた時間周波数であるか判断するために前記取得手順において取得された前記入力画像信号の輝度の時間変化周波数と前記所定の輝度の時間変化周波数とを比較する比較手順と、
前記比較手順において前記入力画像信号の輝度の時間変化周波数が前記所定の輝度の時間変化周波数を超えた時間周波数である場合に前記出力画像信号において人間に知覚される輝度の時間変化がないように前記入力画像信号に基づいて前記出力画像信号を生成する生成手順とを実行させるためのプログラム。
【請求項１４】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートのフレームレート変換画像信号に変換した後、前記フレームレート変換画像信号に基づいて第２のフレームレートの出力画像信号を生成するコンピュータに、
前記入力画像信号の輝度の時間変化周波数と視知覚応答特性とに基づいて算出される前記入力画像信号についての評価値を取得する第１取得手順と、
前記フレームレート変換画像信号の輝度の時間変化周波数と前記視知覚応答特性とに基づいて算出される前記フレームレート変換画像信号についての評価値を取得する第２取得手順と、
前記入力画像信号の輝度の時間変化周波数を前記視知覚応答特性を用いてフィルタリングした後の輝度の時間変化周波数を取得する第３取得手順と、
前記第１取得手順において取得された評価値と前記第２取得手順において取得された評価値との差と所定の値とを比較する比較手順と、
前記比較手順において前記差が前記所定の値を超えた値である場合に、前記第３取得手順において取得された前記フィルタリングした後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記フレームレート変換画像信号を補正して前記出力画像信号を生成する生成手順とを実行させるためのプログラム。
【請求項１５】
第１のフレームレートの入力画像信号をフレームレートが前記入力画像信号より低い第２のフレームレートの出力画像信号に変換するコンピュータに、
前記入力画像信号の輝度の時間変化周波数を視知覚応答特性を用いてフィルタリングするフィルタリング手順と、
前記輝度の時間変化周波数が前記フィルタリング手順においてフィルタリングされた後の輝度の時間変化周波数を輝度の時間変化周波数の補正目標値として用いて前記入力画像信号の輝度を補正する補正手順と、
前記補正手順において補正された前記入力画像信号を前記第２のフレームレートを有する前記出力画像信号に変換する変換手順とを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１８８１０１（Ｐ２０１１−１８８１０１Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９３１４（Ｐ２０１０−４９３１４）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]