画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
【課題】低コストでジャダーによる画質の劣化を低減させることが可能な画像補間装置を実現する。
【解決手段】画像補間装置１は、原画像ｆ（０）と原画像ｆ（ｔ）との間に、時刻ｔｉ（ｉ＝１〜ｎ，ｎは２以上の偶数）において内挿画像を内挿する。内挿ベクトル決定部４は、原画像ｆ（０）と原画像ｆ（ｔ）とから算出される動きベクトルＶから、時刻ｔ２ｋ−１（ｋ＝１〜ｎ／２の整数）と時刻ｔ２ｋとの中間の時刻に対応する動きベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋに内挿する内挿画像の内挿ベクトルとして関連付ける。そして、内挿画像生成部５は、時刻ｔｉにおける内挿画像を、上記内挿ベクトル決定手段において関連付けられた上記内挿ベクトルから生成する。
【解決手段】画像補間装置１は、原画像ｆ（０）と原画像ｆ（ｔ）との間に、時刻ｔｉ（ｉ＝１〜ｎ，ｎは２以上の偶数）において内挿画像を内挿する。内挿ベクトル決定部４は、原画像ｆ（０）と原画像ｆ（ｔ）とから算出される動きベクトルＶから、時刻ｔ２ｋ−１（ｋ＝１〜ｎ／２の整数）と時刻ｔ２ｋとの中間の時刻に対応する動きベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋに内挿する内挿画像の内挿ベクトルとして関連付ける。そして、内挿画像生成部５は、時刻ｔｉにおける内挿画像を、上記内挿ベクトル決定手段において関連付けられた上記内挿ベクトルから生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像から生成される内挿画像によってフレーム周波数を変換する画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。
【０００３】
図６は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像６０と時間ｔにおける原画像６１を用いて、時間的にちょうど半分（中間）の時刻において内挿画像６２を作成して出力することにより、フレームレートを増やしている。
【０００４】
ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図６における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。以下では、ｆ（ｔ−１）を基準画像とした場合について説明する。
【０００５】
図７は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図７に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図７における個所７０のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック７１を定義している。
【０００６】
次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。
【０００７】
次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図７に示す例では、基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。
【０００８】
内挿座標へのベクトルの割付について、簡略化のため、水平方向の１次元処理として図８を用いて説明する。図８は、内挿座標へのベクトルの割付の例を示す図である。基準原画像ｆ（ｔ−１）の座標ｘについて、矢印８０で示す動きベクトルＶｘが求まったとすると、時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。
【０００９】
このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域との相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。
【００１０】
最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。
【００１１】
また、特許文献１には、動き補正の信号処理により内挿フレームを生成して、画像信号のフレーム数を変換するのに好適な画像信号の方式変換装置が開示されている。特許文献１に記載の方式変換装置は、ＩＰ変換部と１フレーム遅延部とＢＶ探索部と動き検出部とＰＶ生成部と動き補正内挿フレーム生成部とを備えている。
【００１２】
ＩＰ変換部は、飛び越し走査の入力画像信号Ｓ１を入力し、飛び越し−順次の走査変換を行い、順次走査の信号系列Ｓ２を出力する。また、１フレーム遅延部と動き検出部４とブロック単位動きベクトル探索部と画素単位単位動きベクトル生成部と動き補正内挿フレーム生成部とは、動き補正フレーム数変換部を構成し、動き補正処理で内挿フレームの信号系列を生成することによって、ＩＰ変換部より得られた順次走査の信号系列Ｓ２を、フレーム周波数がより高い周波数の順次走査の画像信号系列Ｓ４に変換して出力する。
【００１３】
なお、特許文献１に記載の構成では、２つのフレームから内挿画像を生成する構成が示されているが、３枚以上のフレームから内挿画像を生成する構成であってもよい。例えば、特許文献２には、４枚の画像を利用して内挿画像を生成する方法が開示されている。特許文献２に記載の内挿画像生成装置１では、動きベクトル検出部が、フレームメモリからｎ−１、ｎ、ｎ＋１、ｎ＋２フレームの画像信号を読み出して動きベクトルＶｎ―１、Ｖｎ、Ｖｎ＋２を検出し、動きベクトル確度判定部において判定された確度判定結果に基づいて、内挿フレーム作成部１３が内挿フレームの画像信号を生成する。
【特許文献１】特開平１１−１７７９４０（１９９９年７月２日）
【特許文献２】特開２００６−３３２９５０（２００６年１２月７日）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上述した内挿画像を生成する一般的なプロセスの説明では、２枚の原画像から内挿画像を１枚生成する場合を例に説明したが、例えば、２４Ｈｚのフィルム素材を１２０Ｈｚに変換する場合、２枚の原画像から４枚の内挿画像を生成する必要がある。
【００１５】
図９は２４Ｈｚの映像信号を１２０Ｈｚの映像信号に変換する場合の処理のシーケンスを表す図である。図９に示すとおり、２４Ｈｚの入力信号に対して、１２０Ｈｚの出力信号を得るためには、１／１２０秒ごとに１枚の内挿画像を生成する演算能力が必要となるが、回路の動作周波数が早くなりすぎて、回路化が難しくなる等の問題から通常は１／６０秒ごとに２枚の内挿ベクトルを並列処理で算出し、一旦メモリに格納しておいたのち、最適なタイミングでそのベクトルと、内挿画像生成に利用する原画像を読み出すことで、出力信号を生成している。
【００１６】
図１０は、２枚の原画像の動きベクトルから予測される４枚の内挿画像であって、それぞれ個別に算出された内挿画像を、原画像の間に内挿した場合の様子を示す図である。図１０に示す例では、時刻０における原画像ｆ（０）と時刻ｔにおける原画像ｆ（ｔ）との動きベクトルから、０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔの各時刻において予測される内挿画像１０１、１０２、１０３、１０４に対応して割り付けられるベクトル（以下では、内挿ベクトルと呼ぶ）をそれぞれ個別に算出し、算出された内挿ベクトルに基づいて内挿画像１０１、１０２、１０３、１０４の映像信号を生成して、原画像ｆ（０）と原画像ｆ（ｔ）との間に内挿する。
【００１７】
つまり、各内挿画像に対応する内挿ベクトルは、それぞれ個別の演算処理を実行することによって算出されるため、内挿画像によって動物体の動きが不連続になることなく最適に補間され、ジャダー（すなわち、残像）が発生せず、画質の劣化が抑制される。
【００１８】
しかしながら、図１０に示す例の場合、４枚分の内挿ベクトルを計算し、その結果をメモリに格納する必要があるため、図９の処理シーケンスとともに考えると、１／６０秒ごとに２枚の内挿ベクトルを算出し、メモリに格納するための演算回路とメモリ容量、メモリのバンド幅が必要となる。したがって、回路構成が複雑になり、コストが高くなってしまうという問題が生じる。
【００１９】
一方、動きベクトルを用いることなく簡単に内挿画像を生成する方法として、単純に原画像を繰り返し出力する方法が考えられる。
【００２０】
図１１は、原画像のみを用いて画像を補間した場合の様子を示す図である。図１１に示す例では、時刻０．２ｔおよび０．４ｔにおける内挿画像１１１および１１２として原画ｆ（０）を内挿し、時刻０．６ｔおよび０．８ｔにおける内挿画像１１３および１１４として原画ｆ（ｔ）を内挿している。
【００２１】
このため、図１０に示す例と異なって、原画ｆ（０）または原画ｆ（ｔ）の映像信号を繰り返し出力しているため、内挿ベクトルを算出して内挿画像を生成するための演算回路や内挿ベクトルを格納するメモリを備える必要がないため、回路構成が簡素になり、コストを低減することが可能となる。
【００２２】
しかしながら、この場合、図１１に示すとおり、動物体の動きが不連続になるため、残像がジャダーとなって発生、画質劣化を招くことになる。
【００２３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低コストでジャダーによる画質の劣化を低減させることが可能な画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００２４】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００２５】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する。例えば、ｎ＝４の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４（ｔ１＜ｔ２＜ｔ３＜ｔ４）の各時刻における内挿画像が生成される。
【００２６】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する。
【００２７】
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、ｔ１、ｔ２の中間の時刻（ｔ１＋ｔ２）／２における内挿ベクトル、および、ｔ３、ｔ４の中間の時刻（ｔ３＋ｔ４）／２における内挿ベクトルを決定する。
【００２８】
また、上記の構成によれば、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて同一の内挿画像が生成され、内挿画像生成手段は、その内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する。
【００２９】
例えば、内挿画像生成手段は、ｔ１、ｔ２の時刻において生成される同一の内挿画像を、時刻（ｔ１＋ｔ２）／２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出し、ｔ３、ｔ４の時刻において生成される同一の内挿画像を、時刻（ｔ３＋ｔ４）／２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出すことによって生成する。
【００３０】
なお、時刻τｋに対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚以上の原画像を用いて算出されてもよく、特に限定はされない。
【００３１】
つまり、本発明に係る画像補間装置では、偶数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、時刻ｔ２ｋ−１および時刻ｔ２ｋの組み合わせごとに、それらの中間の時刻において内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして用いる。
【００３２】
これにより、本発明に係る画像補間装置では、偶数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２となる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２になると共に、メモリへの書き込みアクセスも１／２となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００３３】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００３４】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
【００３５】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００３６】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから算出された動きベクトルから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００３７】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を内挿する。例えば、ｎ＝５の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５（ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５）の各時刻における内挿画像が生成される。
【００３８】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋに対応する内挿ベクトルを決定する。
【００３９】
例えば、内挿ベクトル決定手段は、原画像の内挿ベクトルから、ｔ２およびｔ４における内挿ベクトルを決定する。
【００４０】
また、上記の構成によれば、内挿画像生成手段は、第１の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおける内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する。
【００４１】
例えば、内挿画像生成手段は、ｔ１において内挿される内挿画像として第１の原画像を生成する。また、内挿画像生成手段は、ｔ２、ｔ３の時刻において内挿される同一の内挿画像を、時刻ｔ２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、ｔ４、ｔ５時刻において内挿される同一の内挿画像を、時刻ｔ４における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
【００４２】
なお、時刻ｔ２ｋ対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚以上の原画像を用いて算出されてもよく、特に限定はされない。
【００４３】
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も早い時刻に内挿される内挿画像以外については、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１の組み合わせごとに、時刻ｔ２ｋにおいて内挿画像を内挿すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１における内挿画像の内挿ベクトルとして用いる。
【００４４】
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２以下になると共に、メモリへの書き込みアクセスも１／２以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００４５】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００４６】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とすることを特徴としている。
【００４７】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００４８】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００４９】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を内挿する。例えば、ｎ＝５の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５（ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５）の各時刻における内挿画像が内挿される。
【００５０】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋに対応する内挿ベクトルを決定する。
【００５１】
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、ｔ２およびｔ４における内挿ベクトルを決定する。
【００５２】
また、上記の構成によれば、内挿画像生成手段は、第２の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおける内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する。
【００５３】
例えば、内挿画像生成手段は、ｔ５において内挿される内挿画像として第２の原画像を生成する。また、内挿画像生成手段は、ｔ１、ｔ２の時刻において内挿される同一の内挿画像を、時刻ｔ２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、ｔ３、ｔ４時刻において内挿される同一の内挿画像を、時刻ｔ４における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
【００５４】
なお、時刻ｔ２ｋ対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚の原画像を用いて算出されてもよく、特に限定はされない。
【００５５】
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も遅い時刻に内挿される内挿画像以外については、時刻ｔ２ｋ−１および時刻ｔ２ｋの組み合わせごとに、時刻ｔ２ｋにおいて内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして用いる。
【００５６】
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２以下になると共に、メモリへの書き込みアクセスも１／２以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００５７】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００５８】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔｎにおける内挿画像として上記第２の原画像と同じ画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
【００５９】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００６０】
本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。
【００６１】
本発明に係る映像再生装置は、画像補間装置を備えていることが好ましい。
【００６２】
なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００６３】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６４】
また、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６５】
また、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する動きベクトルを決定する内挿ベクトル決定手段と、時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６６】
それゆえ、本発明に係る画像補間装置によれば、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【発明を実施するための最良の形態】
【００６７】
〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延回路２と動きベクトル検出部３と内挿ベクトル決定部（内挿ベクトル決定手段）４と内挿画像生成部（内挿画像生成手段）５と内挿ベクトル保存用メモリ６とを備えている。
【００６８】
画像補間装置１は、入力される映像信号について、原画像から内挿画像を生成し、原画像の間に内挿することによって、周波数を変換して出力することが可能である。例えば、２４Ｈｚの映像信号が入力された場合、１２０Ｈｚの映像信号に変換して出力することができる。以下に、画像補間装置１における処理について、より詳細に説明する。
【００６９】
画像補間装置１に入力される外部からの映像信号は、遅延回路２と動きベクトル検出部３とに入力される。遅延回路２は、複数の原画像から成る映像信号を遅延させて動きベクトル検出部３に出力する。映像信号に含まれる原画像の時間間隔をｔとして、時刻０において入力される原画像をｆ（０）と表し、時間的にｆ（０）より１つ後の原画像をｆ（ｔ）と表すと、動きベクトル検出部３には、原画像ｆ（０）およびｆ（ｔ）の２枚の原画像が入力される。
【００７０】
動きベクトル検出部３は、ｆ（０）を基準画像として、ｆ（０）とｆ（ｔ）とから、動きベクトルＶを検出する。このとき、動きベクトル検出部３は、図７に示すように、原画像を、複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部３は、ブロックマッチングや勾配法によって動きベクトルを算出するが、他の方法によって算出されてもよく、特に限定はされない。
【００７１】
そして、動きベクトル検出部３は、基準画像の各ブロックの動きベクトルＶのデータを、内挿ベクトル決定部４に出力する。なお、上述のとおり、原画像の動きベクトルＶはブロックごとに算出されるが、以下では、原画像の各ブロックの動きベクトルを総称して、動きベクトルＶと呼ぶ。
【００７２】
内挿ベクトル決定部４は、動きベクトルＶから、内挿画像の各座標について、内挿ベクトルを決定する。本実施の形態では、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、内挿ベクトルを算出する場合、内挿ベクトル決定部４は、内挿画像を内挿する時間的位置（すなわち時刻）をメモリから読み出す。なお、内挿画像を内挿する時間的位置として、内挿する内挿画像の枚数と時間間隔とを図示しないメモリに記憶する構成であってもよい。また、メモリに記憶されている内挿画像を内挿する時刻は、ユーザによる設定変更が可能な構成であってもよい。内挿ベクトル決定部４は、原画像の間に内挿する内挿画像の内挿ベクトルを決定した後、決定した内挿ベクトルのデータを内挿ベクトル保存用メモリ６に書き込む。
【００７３】
従来、内挿ベクトルとしては、内挿する時刻に対応する内挿画像の１ピクセル以上からなる特定領域の座標に関して、動きベクトルＶを対応させることで算出される。例えば、等速直線運動をする動物体の原画像ｆ（０）およびｆ（ｔ）の間において、時刻０と時刻ｔとの中間の時刻に内挿画像を内挿する場合、原画像から算出された動きベクトルＶが示す原画上の座標をｘとするとＮ（ｘ）＝ｘ＋Ｖ／２の計算式で算出される内挿座標について、動きベクトルＶが割付けられる。そして、内挿画像を複数枚生成する場合は、内挿する内挿画像の枚数分、個別に内挿ベクトルを算出する演算処理が必要となる。
【００７４】
図１２および図１３に内挿ベクトルの算出方法を示す。図１２に示す内挿ベクトルの算出方法では、まず、図１２（ａ）に示すように原画像間の動きベクトルを算出し、次に、図１２（ｂ）に示すように各内挿座標に対応する動きベクトルが内挿ベクトルとして割り付けられる。なお、割り付かない座標は、ゼロベクトルなどで代表する。また、図１３に示す内挿ベクトルの算出方法では、内挿座標を中心に全ての内挿座標について内挿ベクトルを直接算出する。そして、本発明に係る画像補間装置１は、図１２および図１３に示すいずれの方法によって内挿ベクトルを生成してもよく、特に限定はされない。
【００７５】
これに対して、本発明に係る画像補間装置１では、内挿ベクトル決定部４において、内挿画像を内挿する時刻ごとに、個別の内挿ベクトルを算出する演算処理は行われない。本発明に係る画像補間装置１において内挿ベクトルを算出する方法についての詳細は後述する。また、本発明に係る画像補間装置１では、２枚の原画像の間に内挿する内挿画像の枚数が、偶数か奇数かによって、内挿ベクトルの算出方法が異なる。
【００７６】
内挿画像生成部５は、内挿ベクトル保存用メモリ６から、内挿ベクトルのデータを読み出す。また、内挿画像生成部５には、原画像ｆ（０）およびｆ（ｔ）の映像信号が入力されている。そして、内挿画像生成部５は、読み出した内挿ベクトルと原画像の映像信号に基づいて、内挿画像を表す映像信号を生成する。つまり、内挿画像生成部５は、内挿する内挿画像における各画素の映像信号として、内挿画像の各座標に対応する内挿ベクトルを用いて、原画像において対応する画素の映像信号を読み出して出力する。
【００７７】
（内挿画像の枚数が偶数の場合）
以下では、本発明に係る画像補間装置１において、２枚の原画像の間に内挿する内挿画像の枚数が、偶数の場合の処理について説明する。なお、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部４における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部４における処理の違いについて説明する。
【００７８】
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、偶数枚の内挿画像を内挿する場合には、内挿する時刻を表す偶数個のデータが格納されている。そして、内挿ベクトル決定部４は、内挿する時刻を表す偶数個のデータをメモリから読み出す。
【００７９】
次に、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは２以上の偶数）の場合、時刻ｔ２ｋ−１および時刻ｔ２ｋ（ｋ＝１〜ｎ／２の整数）の組み合わせごとに、それらの中間の時刻（すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２）において内挿画像を内挿すると仮定した場合の内挿座標に対して、動きベクトルＶを割付けていく。そして、内挿ベクトル決定部４は、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２の各内挿座標に割付けられた動きベクトルＶを内挿ベクトル保存用メモリ６に記憶させる。
【００８０】
この場合、２枚の内挿画像に対応する内挿ベクトルとして、２枚の内挿画像の中間の時刻における内挿座標に対して動きベクトルを割付ており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
【００８１】
（内挿画像が４枚の場合）
以下に、内挿画像の枚数が偶数の場合の具体的な例として、４枚の内挿画像を生成する場合について説明する。図２は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像２０）と時刻ｔにおける原画像ｆ（ｔ）（原画像２７）との２枚の原画像の間に４枚の内挿画像を内挿する場合の様子を示す図である。図２では、時刻０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔの各時刻において内挿画像２１、２３、２４、２６が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図２は、動物体がＸ軸（横軸）方向にのみ移動する１次元の例を示している。この場合、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【００８２】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔ）を読み出す。そして、内挿ベクトル決定部４は、０．２ｔと０．４ｔとの中間の時刻（すなわち、時刻０．３ｔ）および０．６ｔと０．８ｔとの中間の時刻（すなわち、時刻０．７ｔ）における内挿座標に対して動きベクトルＶを割付けることで、内挿ベクトルを算出する。つまり、内挿ベクトル決定部４は、時刻０．３ｔの各内挿座標に対して、動きベクトルＶを割付ける処理と、時刻０．７ｔの各内挿座標に対して、動きベクトルＶを割付ける処理を行う。なお、本発明に係る画像補間装置１では、内挿ベクトル決定部４は、一般的な方法によって各内挿座標における内挿ベクトルを算出する構成であり、特に限定はされない。
【００８３】
さらに、内挿ベクトル決定部４は、時刻０．３ｔの内挿座標に割付けられた動きベクトルＶを、時刻０．２ｔおよび時刻０．４ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻０．７ｔの内挿座標に割付けられた動きベクトルＶを時刻０．６ｔおよび時刻０．８ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【００８４】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
【００８５】
つまり、内挿画像生成部５は、時刻０．２ｔおよび時刻０．４ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．３ｔにおける内挿ベクトルを読み出し、内挿画像２１および２３を生成する。また、内挿画像生成部５は、時刻０．６ｔおよび時刻０．８ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．７ｔにおける内挿ベクトルを読み出し、内挿画像２４および２６を生成する。
【００８６】
なお、図２において、内挿画像生成部５によって生成される内挿画像２１、２３、２４、２６は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【００８７】
以上の説明のとおり、本発明に係る画像補間装置１では、４枚の内挿画像を生成する場合、４枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、２枚の画像の各座標に割付けられた動きベクトルＶを、４枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の１／２の演算能力で処理することが可能となり、４枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。図９の例で言えば、Ａ−１、Ａ−２と２枚分の内挿ベクトルを算出する部分が、１枚の内挿ベクトルを算出する演算能力で実現可能となり、Ａ−３、Ａ−４と２枚分の内挿ベクトルを算出する部分が、１枚の内挿ベクトルを算出する演算能力で実現可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが４枚の内挿画像を生成する場合の１／２ですむことになる。したがって、画像補間装置１の回路構成を簡素化し、コストを低減することが可能となる。
【００８８】
（ジャダーについて）
図３は、原画像ｆ（０）とｆ（ｔ）との２枚の原画像の間に４枚の内挿画像を内挿する場合の一例を示す図である。図３に示す例においても、４枚の内挿画像を生成する場合において、２枚の画像に対応する内挿ベクトルのみが生成される。
【００８９】
より詳細に説明すれば、図３に示す例では、時刻０．４ｔにおいて内挿する内挿画像３２と時刻０．６ｔにおいて内挿する内挿画像３３とについては、それぞれ、原画像の動きベクトルＶをそれぞれの時刻における内挿座標に割付けることで算出する演算処理が実行される。一方、時刻０．２ｔにおいて内挿する内挿画像３１および時刻０．８ｔにおいて内挿する内挿画像３４については、それぞれ、原画像ｆ（０）（画像３０）と原画像ｆ（ｔ）（画像３５）が用いられており、内挿ベクトルを算出する演算処理は実行されない。
【００９０】
したがって、図２に示す場合と同様、演算回路の構成、メモリへの書き込みアクセス、およびメモリにおいて必要となる記憶容量は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して１／２となり、回路構成を簡素化して、コストを低減することが可能である。
【００９１】
なお、図３においても、内挿画像３１、３２、３３、３４は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【００９２】
ここで、図３に示すＤＪ、すなわち、理想的な内挿画像に対してはみ出している部分の位置ずれの幅をジャダー幅ＤＪと呼ぶ。また、図３に示すＴＪ、ジャダー幅の中で内挿画像の位置ずれが周期的に変化する間隔をジャダー間隔ＴＪとする。この場合、ジャダー幅ＤＪが短いほど、ジャダー感を低減することが可能となる。
【００９３】
さらに、ジャダー間隔ＴＪについて考えた場合、ジャダー部分がフリッカーとして人間の目に捉えられる間隔がジャダー間隔ＴＪということになり、ジャダー間隔ＴＪが短いほど、ジャダーが残像のように人間の目に蓄積される量が少なくなる。
【００９４】
そのため、４枚の内挿画像を内挿する場合において、２枚の画像に対応する内挿ベクトルのみを算出する構成において、最もジャダー感を少なくするためには、ジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となるように、算出する内挿ベクトルを決定する必要がある。
【００９５】
そして、原画像ｆ（０）と原画像ｆ（ｔ）との間において４枚の内挿画像を生成する場合であって、時刻０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔにおいて内挿画像を内挿する場合、図２に示すように、時刻０．３ｔの内挿座標に対して割付けられた内挿ベクトルを時刻０．２ｔおよび０．４ｔの内挿ベクトルとし、時刻０．７ｔの内挿座標に対して割付けられた内挿ベクトルを時刻０．６ｔおよび０．８ｔの内挿ベクトルとした場合、ジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となり、ジャダー感が最も低減される。
【００９６】
これに対して、図３のジャダー幅ＤＪおよびジャダー間隔ＴＪは、図２のジャダー幅ＤＪおよびジャダー間隔ＴＪと比較して大きい。つまり、図３に示すように内挿画像を内挿した場合、回路構成を簡素にし、コストを低減することは可能であるが、ジャダーが増大するため、ユーザにとって快適な視聴環境を提供することができない。
【００９７】
したがって、本発明に係る画像補間装置１では、上述したとおり、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２における内挿座標に割付けられる内挿ベクトルを用いることによって、回路構成を簡素化して、システムコストを低減するだけでなく、ジャダーを抑制し、ユーザにとって快適な視聴環境を実現することが可能である。
【００９８】
（内挿画像が６枚の場合）
以下に、内挿画像の枚数が偶数の場合の具体的な例として、６枚の内挿画像を内挿する場合について説明する。図４は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像４０）と時刻ｔにおける原画像ｆ（ｔ）（原画像４７）との２枚の原画像の間に６枚の内挿画像を内挿する場合の様子を示す図である。図４では、時刻ｔ／７、２ｔ／７、３ｔ／７、４ｔ／７、５ｔ／７、６ｔ／７の各時刻において内挿画像４１、４２、４３、４４、４５、４６が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図２の説明と同様、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【００９９】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、時刻ｔ／７、２ｔ／７、３ｔ／７、４ｔ／７、５ｔ／７、６ｔ／７）を読み出す。そして、内挿ベクトル決定部４は、時刻ｔ／７と２ｔ／７との中間の時刻（すなわち、３ｔ／１４）における内挿座標に割付けられる内挿ベクトルと、時刻３ｔ／７と４ｔ／７との中間の時刻（すなわち、７ｔ／１４）における内挿座標に割付けられる内挿ベクトルと、時刻５ｔ／７と６ｔ／７との中間の時刻（すなわち、１１ｔ／１４）における内挿座標に割付けられる内挿ベクトルとを算出する。
【０１００】
さらに、内挿ベクトル決定部４は、時刻３ｔ／１４における内挿座標に割付けられる内挿ベクトルを、時刻ｔ／７および時刻２ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻７ｔ／１４における内挿座標に割付けられる内挿ベクトルを時刻３ｔ／７および時刻４ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。さらに、内挿ベクトル決定部４は、時刻１１ｔ／１４における内挿座標に割付けられる内挿ベクトルを時刻５ｔ／７および時刻６ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【０１０１】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
【０１０２】
なお、図４において、内挿画像生成部５によって生成される内挿画像４１〜４６は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【０１０３】
以上の説明のとおり、本発明に係る画像補間装置１では、６枚の内挿画像を生成する場合、６枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、３枚の画像に対応する内挿座標に割付けられた内挿ベクトルを、６枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の１／２の演算能力で処理することが可能となり、６枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが６枚の内挿画像を生成する場合の１／２ですむことになる。従って回路構成を簡素化し、コストを低減することが可能である。
【０１０４】
しかも、上述したとおり、本発明に係る画像補間装置１によれば、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２における内挿座標に割付けられる内挿ベクトルを用いているため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
【０１０５】
（内挿画像の枚数が奇数の場合）
以下では、本発明に係る画像補間装置１において、２枚の原画像の間に内挿する内挿画像の枚数が、奇数の場合の処理について説明する。上述のとおり、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部４における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部４における処理の違いについて説明する。
【０１０６】
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、奇数枚の内挿画像を内挿する場合には、内挿する時刻を表す奇数個のデータが格納されている。そして、内挿ベクトル決定部４は、内挿する時刻を表す奇数個のデータをメモリから読み出す。
【０１０７】
次に、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは３以上の奇数）の場合、時刻ｔ２ｋ（ｋ＝１〜（ｎ−１）／２の整数）における内挿座標に割付けられる内挿ベクトルを算出し、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１において内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ６に記憶させる。なお、時刻ｔ１における内挿画像としては、内挿画像生成部５において、原画像ｆ（０）と同じ画像が生成される。
【０１０８】
あるいは、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは３以上の奇数）の場合、時刻ｔ２ｋ（ｋ＝１〜（ｎ−１）／２の整数）における内挿座標に割付けられる内挿ベクトルを算出して、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ６に記憶させる構成であってもよい。なお、時刻ｔｎにおける内挿画像としては、内挿画像生成部５において、原画像ｆ（ｔ）と同じ画像が生成される。
【０１０９】
つまり、２枚の内挿画像に対応する内挿ベクトルとして、２枚の内挿画像のうち一方の内挿座標に割付けられる内挿ベクトルを算出しており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
【０１１０】
（内挿画像が７枚の場合）
以下に、内挿画像の枚数が奇数の場合の具体的な例として、７枚の内挿画像を生成する場合について説明する。図５は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像５１）と時刻ｔにおける原画像ｆ（ｔ）（原画像５９）との２枚の原画像の間に７枚の内挿画像５２〜５８を内挿する場合の様子を示す図である。図５（ａ）は内挿画像の１枚として原画ｆ（０）を用いる場合を示す図であり、図５（ｂ）は内挿画像の１枚として原画ｆ（ｔ）を用いる場合を示す図である。
【０１１１】
図５（ａ）では、時刻０．１２５ｔ、０．２５ｔ、０．３７５ｔ、０．５ｔ、０．６２５ｔ、０．７５ｔ、０．８７５ｔの各時刻において内挿画像５２ａ〜５８ａが内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図５は、動物体がＸ軸（横軸）方向にのみ移動する１次元の例を示している。この場合、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【０１１２】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、時刻０．１２５ｔ、０．２５ｔ、０．３７５ｔ、０．５ｔ、０．６２５ｔ、０．７５ｔ、０．８７５ｔ）を読み出す。そして、内挿ベクトル決定部４は、時刻０．２５ｔ、０．５ｔ、０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを算出する。
【０１１３】
さらに、内挿ベクトル決定部４は、時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．２５ｔおよび時刻０．３７５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻０．５ｔにおける内挿座標に割付けられる内挿ベクトルを時刻０．５ｔおよび時刻０．６２５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。さらに、内挿ベクトル決定部４は、時刻０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを時刻０．７５ｔおよび時刻０．８７５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【０１１４】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。また、時刻０．１２５ｔにおける内挿画像としては、内挿画像生成部５において、原画像ｆ（０）と同じ画像が生成される。
【０１１５】
つまり、内挿画像生成部５は、時刻０．２５ｔおよび０．３７５ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを読み出し、内挿画像５３および５４を生成する。また、０．５ｔおよび０．６２５ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．５ｔにおける内挿画像を生成する。さらに、０．７５ｔおよび０．８７５ｔにおいて内挿する画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．７５ｔにおける内挿画像を生成する。
【０１１６】
なお、時刻０．１２５ｔにおける内挿画像として原画像ｆ（０）を用いることを表す情報が図示しないメモリに予め記憶されており、当該情報に基づいて、内挿画像生成部５は、時刻０．１２５ｔにおける内挿画像として原画像ｆ（ｔ）を生成する。
【０１１７】
また、図５（ａ）において、内挿画像生成部５によって生成される内挿画像５２ａ〜５８ａは、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【０１１８】
なお、図５（ｂ）に示すとおり、内挿ベクトル決定部４において、時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．１２５ｔおよび時刻０．２５ｔにおける内挿ベクトルとして決定し、時刻０．５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．３７５ｔおよび時刻０．５ｔにおける内挿ベクトルとして決定し、時刻０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．６２５ｔおよび時刻０．７５ｔにおける内挿ベクトルとして決定し、それぞれ、内挿ベクトル保存用メモリ６に記憶させる構成であってもよい。
【０１１９】
内挿画像生成部５は、内挿ベクトル保存用メモリ６から内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿画像を生成する。より具体的には、内挿画像生成部５は、時刻０．２５ｔに対応する内挿ベクトルから、時刻０．１２５ｔおよび時刻０．２５ｔにおける内挿画像を生成する。また、内挿画像生成部５は、時刻０．５ｔに対応する内挿ベクトルから、時刻０．３７５ｔおよび０．５ｔにおける内挿画像を生成する。また、内層画像生成部５は、時刻０．７５ｔに対応する内挿ベクトルから、時刻０．６２５ｔおよび０．７５ｔにおける内挿画像を生成する。そして、この場合、時刻０．８７５ｔにおける内挿画像として原画像ｆ（ｔ）を用いることを表す情報が図示しないメモリに記憶されており、当該情報に基づいて、内挿画像生成部５は、時刻０．８７５ｔにおける内挿画像として原画像ｆ（ｔ）を生成する。
【０１２０】
以上の説明のとおり、本発明に係る画像補間装置１では、７枚の内挿画像を生成する場合、７枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われない。そして、７枚の内挿画像のうち、３枚の内挿画像に対応する内挿ベクトルを、６枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、７枚の内挿画像を生成するために内挿ベクトルを個別に算出する場合に対して、従来の１／２以下の演算能力で処理することが可能となり、７枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減したりすることが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが７枚の内挿画像を生成する場合の１／２以下ですむことになる。したがって、画像補間装置１の回路構成を簡素化し、コストを低減することが可能となる。
【０１２１】
しかも、本発明に係る画像補間装置１によれば、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１において内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを用いる構成、あるいは、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを用いる構成であるため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
【０１２２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１２３】
最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１２４】
すなわち、画像補間装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１２５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１２６】
また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１２７】
本発明に係る画像補間装置は、映像信号に含まれる原画像から内挿画像を生成し、内挿することによって、映像信号のフレームレートを変換することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。
【図面の簡単な説明】
【０１２８】
【図１】本発明に係る画像補間装置の構成を示すブロック図である。
【図２】本実施の形態に係る画像補間装置において、２枚の原画像の間に４枚の内挿画像を内挿する場合の様子を示す図である。
【図３】２枚の原画像の間に４枚の内挿画像を内挿する場合の一例を示す図である。
【図４】本実施の形態に係る画像補間装置において、２枚の原画像の間に６枚の内挿画像を内挿する場合の様子を示す図である。
【図５】本実施の形態に係る画像補間装置において、２枚の原画像の間に７枚の内挿画像を内挿する場合の様子を示す図であり、（ａ）は内挿画像の１枚として原画ｆ（０）を用いる場合を示す図であり、（ｂ）は内挿画像の１枚として原画ｆ（ｔ）を用いる場合を示す図である。
【図６】入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。
【図７】ベクトルを算出するために基準画像をブロックに分割する例を示す図である。
【図８】内挿座標へのベクトルの割付の例を示す図である。
【図９】２４Ｈｚの映像信号を１２０Ｈｚの変換する場合の処理のシーケンスを表す図である。
【図１０】２枚の原画像の動きベクトルから予測される、それぞれ個別の演算によって算出された４枚の内挿画像を、原画像の間に内挿した場合の様子を示す図である。
【図１１】原画像のみを用いて画像を補間した場合の様子を示す図である。
【図１２】内挿ベクトルの算出方法を説明するための図であり、（ａ）は原画像間の動きベクトルを示す図であり、（ｂ）は動きベクトルを内挿画像に割り付ける様子を示す図である。
【図１３】内挿ベクトルの算出方法を説明するための図であり、すべての内挿座標について内挿ベクトルを算出する様子を示す図である。
【符号の説明】
【０１２９】
１ 画像補間装置
２ 遅延回路
３ 動きベクトル検出部
４ 内挿ベクトル決定部（内挿ベクトル決定手段）
５ 内挿画像生成部（内挿画像生成手段）
６ 内挿ベクトル保存用メモリ
【技術分野】
【０００１】
本発明は、原画像から生成される内挿画像によってフレーム周波数を変換する画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。
【０００３】
図６は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像６０と時間ｔにおける原画像６１を用いて、時間的にちょうど半分（中間）の時刻において内挿画像６２を作成して出力することにより、フレームレートを増やしている。
【０００４】
ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図６における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。以下では、ｆ（ｔ−１）を基準画像とした場合について説明する。
【０００５】
図７は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図７に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図７における個所７０のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック７１を定義している。
【０００６】
次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。
【０００７】
次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図７に示す例では、基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。
【０００８】
内挿座標へのベクトルの割付について、簡略化のため、水平方向の１次元処理として図８を用いて説明する。図８は、内挿座標へのベクトルの割付の例を示す図である。基準原画像ｆ（ｔ−１）の座標ｘについて、矢印８０で示す動きベクトルＶｘが求まったとすると、時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。
【０００９】
このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域との相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。
【００１０】
最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。
【００１１】
また、特許文献１には、動き補正の信号処理により内挿フレームを生成して、画像信号のフレーム数を変換するのに好適な画像信号の方式変換装置が開示されている。特許文献１に記載の方式変換装置は、ＩＰ変換部と１フレーム遅延部とＢＶ探索部と動き検出部とＰＶ生成部と動き補正内挿フレーム生成部とを備えている。
【００１２】
ＩＰ変換部は、飛び越し走査の入力画像信号Ｓ１を入力し、飛び越し−順次の走査変換を行い、順次走査の信号系列Ｓ２を出力する。また、１フレーム遅延部と動き検出部４とブロック単位動きベクトル探索部と画素単位単位動きベクトル生成部と動き補正内挿フレーム生成部とは、動き補正フレーム数変換部を構成し、動き補正処理で内挿フレームの信号系列を生成することによって、ＩＰ変換部より得られた順次走査の信号系列Ｓ２を、フレーム周波数がより高い周波数の順次走査の画像信号系列Ｓ４に変換して出力する。
【００１３】
なお、特許文献１に記載の構成では、２つのフレームから内挿画像を生成する構成が示されているが、３枚以上のフレームから内挿画像を生成する構成であってもよい。例えば、特許文献２には、４枚の画像を利用して内挿画像を生成する方法が開示されている。特許文献２に記載の内挿画像生成装置１では、動きベクトル検出部が、フレームメモリからｎ−１、ｎ、ｎ＋１、ｎ＋２フレームの画像信号を読み出して動きベクトルＶｎ―１、Ｖｎ、Ｖｎ＋２を検出し、動きベクトル確度判定部において判定された確度判定結果に基づいて、内挿フレーム作成部１３が内挿フレームの画像信号を生成する。
【特許文献１】特開平１１−１７７９４０（１９９９年７月２日）
【特許文献２】特開２００６−３３２９５０（２００６年１２月７日）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上述した内挿画像を生成する一般的なプロセスの説明では、２枚の原画像から内挿画像を１枚生成する場合を例に説明したが、例えば、２４Ｈｚのフィルム素材を１２０Ｈｚに変換する場合、２枚の原画像から４枚の内挿画像を生成する必要がある。
【００１５】
図９は２４Ｈｚの映像信号を１２０Ｈｚの映像信号に変換する場合の処理のシーケンスを表す図である。図９に示すとおり、２４Ｈｚの入力信号に対して、１２０Ｈｚの出力信号を得るためには、１／１２０秒ごとに１枚の内挿画像を生成する演算能力が必要となるが、回路の動作周波数が早くなりすぎて、回路化が難しくなる等の問題から通常は１／６０秒ごとに２枚の内挿ベクトルを並列処理で算出し、一旦メモリに格納しておいたのち、最適なタイミングでそのベクトルと、内挿画像生成に利用する原画像を読み出すことで、出力信号を生成している。
【００１６】
図１０は、２枚の原画像の動きベクトルから予測される４枚の内挿画像であって、それぞれ個別に算出された内挿画像を、原画像の間に内挿した場合の様子を示す図である。図１０に示す例では、時刻０における原画像ｆ（０）と時刻ｔにおける原画像ｆ（ｔ）との動きベクトルから、０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔの各時刻において予測される内挿画像１０１、１０２、１０３、１０４に対応して割り付けられるベクトル（以下では、内挿ベクトルと呼ぶ）をそれぞれ個別に算出し、算出された内挿ベクトルに基づいて内挿画像１０１、１０２、１０３、１０４の映像信号を生成して、原画像ｆ（０）と原画像ｆ（ｔ）との間に内挿する。
【００１７】
つまり、各内挿画像に対応する内挿ベクトルは、それぞれ個別の演算処理を実行することによって算出されるため、内挿画像によって動物体の動きが不連続になることなく最適に補間され、ジャダー（すなわち、残像）が発生せず、画質の劣化が抑制される。
【００１８】
しかしながら、図１０に示す例の場合、４枚分の内挿ベクトルを計算し、その結果をメモリに格納する必要があるため、図９の処理シーケンスとともに考えると、１／６０秒ごとに２枚の内挿ベクトルを算出し、メモリに格納するための演算回路とメモリ容量、メモリのバンド幅が必要となる。したがって、回路構成が複雑になり、コストが高くなってしまうという問題が生じる。
【００１９】
一方、動きベクトルを用いることなく簡単に内挿画像を生成する方法として、単純に原画像を繰り返し出力する方法が考えられる。
【００２０】
図１１は、原画像のみを用いて画像を補間した場合の様子を示す図である。図１１に示す例では、時刻０．２ｔおよび０．４ｔにおける内挿画像１１１および１１２として原画ｆ（０）を内挿し、時刻０．６ｔおよび０．８ｔにおける内挿画像１１３および１１４として原画ｆ（ｔ）を内挿している。
【００２１】
このため、図１０に示す例と異なって、原画ｆ（０）または原画ｆ（ｔ）の映像信号を繰り返し出力しているため、内挿ベクトルを算出して内挿画像を生成するための演算回路や内挿ベクトルを格納するメモリを備える必要がないため、回路構成が簡素になり、コストを低減することが可能となる。
【００２２】
しかしながら、この場合、図１１に示すとおり、動物体の動きが不連続になるため、残像がジャダーとなって発生、画質劣化を招くことになる。
【００２３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低コストでジャダーによる画質の劣化を低減させることが可能な画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００２４】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００２５】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する。例えば、ｎ＝４の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４（ｔ１＜ｔ２＜ｔ３＜ｔ４）の各時刻における内挿画像が生成される。
【００２６】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する。
【００２７】
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、ｔ１、ｔ２の中間の時刻（ｔ１＋ｔ２）／２における内挿ベクトル、および、ｔ３、ｔ４の中間の時刻（ｔ３＋ｔ４）／２における内挿ベクトルを決定する。
【００２８】
また、上記の構成によれば、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて同一の内挿画像が生成され、内挿画像生成手段は、その内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する。
【００２９】
例えば、内挿画像生成手段は、ｔ１、ｔ２の時刻において生成される同一の内挿画像を、時刻（ｔ１＋ｔ２）／２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出し、ｔ３、ｔ４の時刻において生成される同一の内挿画像を、時刻（ｔ３＋ｔ４）／２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出すことによって生成する。
【００３０】
なお、時刻τｋに対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚以上の原画像を用いて算出されてもよく、特に限定はされない。
【００３１】
つまり、本発明に係る画像補間装置では、偶数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、時刻ｔ２ｋ−１および時刻ｔ２ｋの組み合わせごとに、それらの中間の時刻において内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして用いる。
【００３２】
これにより、本発明に係る画像補間装置では、偶数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２となる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２になると共に、メモリへの書き込みアクセスも１／２となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００３３】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００３４】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
【００３５】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００３６】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから算出された動きベクトルから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００３７】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を内挿する。例えば、ｎ＝５の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５（ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５）の各時刻における内挿画像が生成される。
【００３８】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋに対応する内挿ベクトルを決定する。
【００３９】
例えば、内挿ベクトル決定手段は、原画像の内挿ベクトルから、ｔ２およびｔ４における内挿ベクトルを決定する。
【００４０】
また、上記の構成によれば、内挿画像生成手段は、第１の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおける内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する。
【００４１】
例えば、内挿画像生成手段は、ｔ１において内挿される内挿画像として第１の原画像を生成する。また、内挿画像生成手段は、ｔ２、ｔ３の時刻において内挿される同一の内挿画像を、時刻ｔ２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、ｔ４、ｔ５時刻において内挿される同一の内挿画像を、時刻ｔ４における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
【００４２】
なお、時刻ｔ２ｋ対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚以上の原画像を用いて算出されてもよく、特に限定はされない。
【００４３】
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も早い時刻に内挿される内挿画像以外については、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１の組み合わせごとに、時刻ｔ２ｋにおいて内挿画像を内挿すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１における内挿画像の内挿ベクトルとして用いる。
【００４４】
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２以下になると共に、メモリへの書き込みアクセスも１／２以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００４５】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００４６】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とすることを特徴としている。
【００４７】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００４８】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００４９】
上記の構成によれば、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を内挿する。例えば、ｎ＝５の場合、第１の時刻と第２の時刻との間において、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５（ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５）の各時刻における内挿画像が内挿される。
【００５０】
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋに対応する内挿ベクトルを決定する。
【００５１】
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、ｔ２およびｔ４における内挿ベクトルを決定する。
【００５２】
また、上記の構成によれば、内挿画像生成手段は、第２の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおける内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する。
【００５３】
例えば、内挿画像生成手段は、ｔ５において内挿される内挿画像として第２の原画像を生成する。また、内挿画像生成手段は、ｔ１、ｔ２の時刻において内挿される同一の内挿画像を、時刻ｔ２における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、ｔ３、ｔ４時刻において内挿される同一の内挿画像を、時刻ｔ４における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
【００５４】
なお、時刻ｔ２ｋ対応する内挿ベクトルは、第１の原画像および第２の原画像に他の原画像を加えて、例えば３枚の原画像を用いて算出されてもよく、特に限定はされない。
【００５５】
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も遅い時刻に内挿される内挿画像以外については、時刻ｔ２ｋ−１および時刻ｔ２ｋの組み合わせごとに、時刻ｔ２ｋにおいて内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして用いる。
【００５６】
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が１／２以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が１／２以下になると共に、メモリへの書き込みアクセスも１／２以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
【００５７】
しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【００５８】
本発明に係る画像補間方法は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻ｔｎにおける内挿画像として上記第２の原画像と同じ画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
【００５９】
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
【００６０】
本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。
【００６１】
本発明に係る映像再生装置は、画像補間装置を備えていることが好ましい。
【００６２】
なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００６３】
本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６４】
また、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６５】
また、本発明に係る画像補間装置は、第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する動きベクトルを決定する内挿ベクトル決定手段と、時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
【００６６】
それゆえ、本発明に係る画像補間装置によれば、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。しかも、後述するジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
【発明を実施するための最良の形態】
【００６７】
〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延回路２と動きベクトル検出部３と内挿ベクトル決定部（内挿ベクトル決定手段）４と内挿画像生成部（内挿画像生成手段）５と内挿ベクトル保存用メモリ６とを備えている。
【００６８】
画像補間装置１は、入力される映像信号について、原画像から内挿画像を生成し、原画像の間に内挿することによって、周波数を変換して出力することが可能である。例えば、２４Ｈｚの映像信号が入力された場合、１２０Ｈｚの映像信号に変換して出力することができる。以下に、画像補間装置１における処理について、より詳細に説明する。
【００６９】
画像補間装置１に入力される外部からの映像信号は、遅延回路２と動きベクトル検出部３とに入力される。遅延回路２は、複数の原画像から成る映像信号を遅延させて動きベクトル検出部３に出力する。映像信号に含まれる原画像の時間間隔をｔとして、時刻０において入力される原画像をｆ（０）と表し、時間的にｆ（０）より１つ後の原画像をｆ（ｔ）と表すと、動きベクトル検出部３には、原画像ｆ（０）およびｆ（ｔ）の２枚の原画像が入力される。
【００７０】
動きベクトル検出部３は、ｆ（０）を基準画像として、ｆ（０）とｆ（ｔ）とから、動きベクトルＶを検出する。このとき、動きベクトル検出部３は、図７に示すように、原画像を、複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部３は、ブロックマッチングや勾配法によって動きベクトルを算出するが、他の方法によって算出されてもよく、特に限定はされない。
【００７１】
そして、動きベクトル検出部３は、基準画像の各ブロックの動きベクトルＶのデータを、内挿ベクトル決定部４に出力する。なお、上述のとおり、原画像の動きベクトルＶはブロックごとに算出されるが、以下では、原画像の各ブロックの動きベクトルを総称して、動きベクトルＶと呼ぶ。
【００７２】
内挿ベクトル決定部４は、動きベクトルＶから、内挿画像の各座標について、内挿ベクトルを決定する。本実施の形態では、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、内挿ベクトルを算出する場合、内挿ベクトル決定部４は、内挿画像を内挿する時間的位置（すなわち時刻）をメモリから読み出す。なお、内挿画像を内挿する時間的位置として、内挿する内挿画像の枚数と時間間隔とを図示しないメモリに記憶する構成であってもよい。また、メモリに記憶されている内挿画像を内挿する時刻は、ユーザによる設定変更が可能な構成であってもよい。内挿ベクトル決定部４は、原画像の間に内挿する内挿画像の内挿ベクトルを決定した後、決定した内挿ベクトルのデータを内挿ベクトル保存用メモリ６に書き込む。
【００７３】
従来、内挿ベクトルとしては、内挿する時刻に対応する内挿画像の１ピクセル以上からなる特定領域の座標に関して、動きベクトルＶを対応させることで算出される。例えば、等速直線運動をする動物体の原画像ｆ（０）およびｆ（ｔ）の間において、時刻０と時刻ｔとの中間の時刻に内挿画像を内挿する場合、原画像から算出された動きベクトルＶが示す原画上の座標をｘとするとＮ（ｘ）＝ｘ＋Ｖ／２の計算式で算出される内挿座標について、動きベクトルＶが割付けられる。そして、内挿画像を複数枚生成する場合は、内挿する内挿画像の枚数分、個別に内挿ベクトルを算出する演算処理が必要となる。
【００７４】
図１２および図１３に内挿ベクトルの算出方法を示す。図１２に示す内挿ベクトルの算出方法では、まず、図１２（ａ）に示すように原画像間の動きベクトルを算出し、次に、図１２（ｂ）に示すように各内挿座標に対応する動きベクトルが内挿ベクトルとして割り付けられる。なお、割り付かない座標は、ゼロベクトルなどで代表する。また、図１３に示す内挿ベクトルの算出方法では、内挿座標を中心に全ての内挿座標について内挿ベクトルを直接算出する。そして、本発明に係る画像補間装置１は、図１２および図１３に示すいずれの方法によって内挿ベクトルを生成してもよく、特に限定はされない。
【００７５】
これに対して、本発明に係る画像補間装置１では、内挿ベクトル決定部４において、内挿画像を内挿する時刻ごとに、個別の内挿ベクトルを算出する演算処理は行われない。本発明に係る画像補間装置１において内挿ベクトルを算出する方法についての詳細は後述する。また、本発明に係る画像補間装置１では、２枚の原画像の間に内挿する内挿画像の枚数が、偶数か奇数かによって、内挿ベクトルの算出方法が異なる。
【００７６】
内挿画像生成部５は、内挿ベクトル保存用メモリ６から、内挿ベクトルのデータを読み出す。また、内挿画像生成部５には、原画像ｆ（０）およびｆ（ｔ）の映像信号が入力されている。そして、内挿画像生成部５は、読み出した内挿ベクトルと原画像の映像信号に基づいて、内挿画像を表す映像信号を生成する。つまり、内挿画像生成部５は、内挿する内挿画像における各画素の映像信号として、内挿画像の各座標に対応する内挿ベクトルを用いて、原画像において対応する画素の映像信号を読み出して出力する。
【００７７】
（内挿画像の枚数が偶数の場合）
以下では、本発明に係る画像補間装置１において、２枚の原画像の間に内挿する内挿画像の枚数が、偶数の場合の処理について説明する。なお、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部４における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部４における処理の違いについて説明する。
【００７８】
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、偶数枚の内挿画像を内挿する場合には、内挿する時刻を表す偶数個のデータが格納されている。そして、内挿ベクトル決定部４は、内挿する時刻を表す偶数個のデータをメモリから読み出す。
【００７９】
次に、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは２以上の偶数）の場合、時刻ｔ２ｋ−１および時刻ｔ２ｋ（ｋ＝１〜ｎ／２の整数）の組み合わせごとに、それらの中間の時刻（すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２）において内挿画像を内挿すると仮定した場合の内挿座標に対して、動きベクトルＶを割付けていく。そして、内挿ベクトル決定部４は、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２の各内挿座標に割付けられた動きベクトルＶを内挿ベクトル保存用メモリ６に記憶させる。
【００８０】
この場合、２枚の内挿画像に対応する内挿ベクトルとして、２枚の内挿画像の中間の時刻における内挿座標に対して動きベクトルを割付ており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
【００８１】
（内挿画像が４枚の場合）
以下に、内挿画像の枚数が偶数の場合の具体的な例として、４枚の内挿画像を生成する場合について説明する。図２は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像２０）と時刻ｔにおける原画像ｆ（ｔ）（原画像２７）との２枚の原画像の間に４枚の内挿画像を内挿する場合の様子を示す図である。図２では、時刻０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔの各時刻において内挿画像２１、２３、２４、２６が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図２は、動物体がＸ軸（横軸）方向にのみ移動する１次元の例を示している。この場合、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【００８２】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔ）を読み出す。そして、内挿ベクトル決定部４は、０．２ｔと０．４ｔとの中間の時刻（すなわち、時刻０．３ｔ）および０．６ｔと０．８ｔとの中間の時刻（すなわち、時刻０．７ｔ）における内挿座標に対して動きベクトルＶを割付けることで、内挿ベクトルを算出する。つまり、内挿ベクトル決定部４は、時刻０．３ｔの各内挿座標に対して、動きベクトルＶを割付ける処理と、時刻０．７ｔの各内挿座標に対して、動きベクトルＶを割付ける処理を行う。なお、本発明に係る画像補間装置１では、内挿ベクトル決定部４は、一般的な方法によって各内挿座標における内挿ベクトルを算出する構成であり、特に限定はされない。
【００８３】
さらに、内挿ベクトル決定部４は、時刻０．３ｔの内挿座標に割付けられた動きベクトルＶを、時刻０．２ｔおよび時刻０．４ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻０．７ｔの内挿座標に割付けられた動きベクトルＶを時刻０．６ｔおよび時刻０．８ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【００８４】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
【００８５】
つまり、内挿画像生成部５は、時刻０．２ｔおよび時刻０．４ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．３ｔにおける内挿ベクトルを読み出し、内挿画像２１および２３を生成する。また、内挿画像生成部５は、時刻０．６ｔおよび時刻０．８ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．７ｔにおける内挿ベクトルを読み出し、内挿画像２４および２６を生成する。
【００８６】
なお、図２において、内挿画像生成部５によって生成される内挿画像２１、２３、２４、２６は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【００８７】
以上の説明のとおり、本発明に係る画像補間装置１では、４枚の内挿画像を生成する場合、４枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、２枚の画像の各座標に割付けられた動きベクトルＶを、４枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の１／２の演算能力で処理することが可能となり、４枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。図９の例で言えば、Ａ−１、Ａ−２と２枚分の内挿ベクトルを算出する部分が、１枚の内挿ベクトルを算出する演算能力で実現可能となり、Ａ−３、Ａ−４と２枚分の内挿ベクトルを算出する部分が、１枚の内挿ベクトルを算出する演算能力で実現可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが４枚の内挿画像を生成する場合の１／２ですむことになる。したがって、画像補間装置１の回路構成を簡素化し、コストを低減することが可能となる。
【００８８】
（ジャダーについて）
図３は、原画像ｆ（０）とｆ（ｔ）との２枚の原画像の間に４枚の内挿画像を内挿する場合の一例を示す図である。図３に示す例においても、４枚の内挿画像を生成する場合において、２枚の画像に対応する内挿ベクトルのみが生成される。
【００８９】
より詳細に説明すれば、図３に示す例では、時刻０．４ｔにおいて内挿する内挿画像３２と時刻０．６ｔにおいて内挿する内挿画像３３とについては、それぞれ、原画像の動きベクトルＶをそれぞれの時刻における内挿座標に割付けることで算出する演算処理が実行される。一方、時刻０．２ｔにおいて内挿する内挿画像３１および時刻０．８ｔにおいて内挿する内挿画像３４については、それぞれ、原画像ｆ（０）（画像３０）と原画像ｆ（ｔ）（画像３５）が用いられており、内挿ベクトルを算出する演算処理は実行されない。
【００９０】
したがって、図２に示す場合と同様、演算回路の構成、メモリへの書き込みアクセス、およびメモリにおいて必要となる記憶容量は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して１／２となり、回路構成を簡素化して、コストを低減することが可能である。
【００９１】
なお、図３においても、内挿画像３１、３２、３３、３４は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【００９２】
ここで、図３に示すＤＪ、すなわち、理想的な内挿画像に対してはみ出している部分の位置ずれの幅をジャダー幅ＤＪと呼ぶ。また、図３に示すＴＪ、ジャダー幅の中で内挿画像の位置ずれが周期的に変化する間隔をジャダー間隔ＴＪとする。この場合、ジャダー幅ＤＪが短いほど、ジャダー感を低減することが可能となる。
【００９３】
さらに、ジャダー間隔ＴＪについて考えた場合、ジャダー部分がフリッカーとして人間の目に捉えられる間隔がジャダー間隔ＴＪということになり、ジャダー間隔ＴＪが短いほど、ジャダーが残像のように人間の目に蓄積される量が少なくなる。
【００９４】
そのため、４枚の内挿画像を内挿する場合において、２枚の画像に対応する内挿ベクトルのみを算出する構成において、最もジャダー感を少なくするためには、ジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となるように、算出する内挿ベクトルを決定する必要がある。
【００９５】
そして、原画像ｆ（０）と原画像ｆ（ｔ）との間において４枚の内挿画像を生成する場合であって、時刻０．２ｔ、０．４ｔ、０．６ｔ、０．８ｔにおいて内挿画像を内挿する場合、図２に示すように、時刻０．３ｔの内挿座標に対して割付けられた内挿ベクトルを時刻０．２ｔおよび０．４ｔの内挿ベクトルとし、時刻０．７ｔの内挿座標に対して割付けられた内挿ベクトルを時刻０．６ｔおよび０．８ｔの内挿ベクトルとした場合、ジャダー幅ＤＪおよびジャダー間隔ＴＪが最小となり、ジャダー感が最も低減される。
【００９６】
これに対して、図３のジャダー幅ＤＪおよびジャダー間隔ＴＪは、図２のジャダー幅ＤＪおよびジャダー間隔ＴＪと比較して大きい。つまり、図３に示すように内挿画像を内挿した場合、回路構成を簡素にし、コストを低減することは可能であるが、ジャダーが増大するため、ユーザにとって快適な視聴環境を提供することができない。
【００９７】
したがって、本発明に係る画像補間装置１では、上述したとおり、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２における内挿座標に割付けられる内挿ベクトルを用いることによって、回路構成を簡素化して、システムコストを低減するだけでなく、ジャダーを抑制し、ユーザにとって快適な視聴環境を実現することが可能である。
【００９８】
（内挿画像が６枚の場合）
以下に、内挿画像の枚数が偶数の場合の具体的な例として、６枚の内挿画像を内挿する場合について説明する。図４は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像４０）と時刻ｔにおける原画像ｆ（ｔ）（原画像４７）との２枚の原画像の間に６枚の内挿画像を内挿する場合の様子を示す図である。図４では、時刻ｔ／７、２ｔ／７、３ｔ／７、４ｔ／７、５ｔ／７、６ｔ／７の各時刻において内挿画像４１、４２、４３、４４、４５、４６が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図２の説明と同様、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【００９９】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、時刻ｔ／７、２ｔ／７、３ｔ／７、４ｔ／７、５ｔ／７、６ｔ／７）を読み出す。そして、内挿ベクトル決定部４は、時刻ｔ／７と２ｔ／７との中間の時刻（すなわち、３ｔ／１４）における内挿座標に割付けられる内挿ベクトルと、時刻３ｔ／７と４ｔ／７との中間の時刻（すなわち、７ｔ／１４）における内挿座標に割付けられる内挿ベクトルと、時刻５ｔ／７と６ｔ／７との中間の時刻（すなわち、１１ｔ／１４）における内挿座標に割付けられる内挿ベクトルとを算出する。
【０１００】
さらに、内挿ベクトル決定部４は、時刻３ｔ／１４における内挿座標に割付けられる内挿ベクトルを、時刻ｔ／７および時刻２ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻７ｔ／１４における内挿座標に割付けられる内挿ベクトルを時刻３ｔ／７および時刻４ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。さらに、内挿ベクトル決定部４は、時刻１１ｔ／１４における内挿座標に割付けられる内挿ベクトルを時刻５ｔ／７および時刻６ｔ／７における内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【０１０１】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
【０１０２】
なお、図４において、内挿画像生成部５によって生成される内挿画像４１〜４６は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【０１０３】
以上の説明のとおり、本発明に係る画像補間装置１では、６枚の内挿画像を生成する場合、６枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、３枚の画像に対応する内挿座標に割付けられた内挿ベクトルを、６枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の１／２の演算能力で処理することが可能となり、６枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが６枚の内挿画像を生成する場合の１／２ですむことになる。従って回路構成を簡素化し、コストを低減することが可能である。
【０１０４】
しかも、上述したとおり、本発明に係る画像補間装置１によれば、時刻ｔ２ｋ−１および時刻ｔ２ｋにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻（ｔ２ｋ−１＋ｔ２ｋ）／２における内挿座標に割付けられる内挿ベクトルを用いているため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
【０１０５】
（内挿画像の枚数が奇数の場合）
以下では、本発明に係る画像補間装置１において、２枚の原画像の間に内挿する内挿画像の枚数が、奇数の場合の処理について説明する。上述のとおり、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部４における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部４における処理の違いについて説明する。
【０１０６】
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、奇数枚の内挿画像を内挿する場合には、内挿する時刻を表す奇数個のデータが格納されている。そして、内挿ベクトル決定部４は、内挿する時刻を表す奇数個のデータをメモリから読み出す。
【０１０７】
次に、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは３以上の奇数）の場合、時刻ｔ２ｋ（ｋ＝１〜（ｎ−１）／２の整数）における内挿座標に割付けられる内挿ベクトルを算出し、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１において内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ６に記憶させる。なお、時刻ｔ１における内挿画像としては、内挿画像生成部５において、原画像ｆ（０）と同じ画像が生成される。
【０１０８】
あるいは、内挿ベクトル決定部４は、内挿する時刻がｔｉ（ｉ＝１〜ｎ，ｎは３以上の奇数）の場合、時刻ｔ２ｋ（ｋ＝１〜（ｎ−１）／２の整数）における内挿座標に割付けられる内挿ベクトルを算出して、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ６に記憶させる構成であってもよい。なお、時刻ｔｎにおける内挿画像としては、内挿画像生成部５において、原画像ｆ（ｔ）と同じ画像が生成される。
【０１０９】
つまり、２枚の内挿画像に対応する内挿ベクトルとして、２枚の内挿画像のうち一方の内挿座標に割付けられる内挿ベクトルを算出しており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
【０１１０】
（内挿画像が７枚の場合）
以下に、内挿画像の枚数が奇数の場合の具体的な例として、７枚の内挿画像を生成する場合について説明する。図５は、本実施の形態に係る画像補間装置１において、時刻０における原画像ｆ（０）（原画像５１）と時刻ｔにおける原画像ｆ（ｔ）（原画像５９）との２枚の原画像の間に７枚の内挿画像５２〜５８を内挿する場合の様子を示す図である。図５（ａ）は内挿画像の１枚として原画ｆ（０）を用いる場合を示す図であり、図５（ｂ）は内挿画像の１枚として原画ｆ（ｔ）を用いる場合を示す図である。
【０１１１】
図５（ａ）では、時刻０．１２５ｔ、０．２５ｔ、０．３７５ｔ、０．５ｔ、０．６２５ｔ、０．７５ｔ、０．８７５ｔの各時刻において内挿画像５２ａ〜５８ａが内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部３において原画像ｆ（０）およびｆ（ｔ）の動きベクトルＶが検出されている。図５は、動物体がＸ軸（横軸）方向にのみ移動する１次元の例を示している。この場合、動きベクトルＶの方向は、Ｘ軸に平行であり、その大きさは、Ｘ軸方向における原画像ｆ（０）とｆ（ｔ）との距離に等しい。
【０１１２】
内挿ベクトル決定部４は、図示しないメモリから、内挿画像を内挿する時刻（すなわち、時刻０．１２５ｔ、０．２５ｔ、０．３７５ｔ、０．５ｔ、０．６２５ｔ、０．７５ｔ、０．８７５ｔ）を読み出す。そして、内挿ベクトル決定部４は、時刻０．２５ｔ、０．５ｔ、０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを算出する。
【０１１３】
さらに、内挿ベクトル決定部４は、時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．２５ｔおよび時刻０．３７５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。また、内挿ベクトル決定部４は、時刻０．５ｔにおける内挿座標に割付けられる内挿ベクトルを時刻０．５ｔおよび時刻０．６２５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。さらに、内挿ベクトル決定部４は、時刻０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを時刻０．７５ｔおよび時刻０．８７５ｔにおける内挿ベクトルとして、内挿ベクトル保存用メモリ６に記憶させる。
【０１１４】
その後、内挿画像生成部５は、内挿ベクトル保存用メモリ６から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。また、時刻０．１２５ｔにおける内挿画像としては、内挿画像生成部５において、原画像ｆ（０）と同じ画像が生成される。
【０１１５】
つまり、内挿画像生成部５は、時刻０．２５ｔおよび０．３７５ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを読み出し、内挿画像５３および５４を生成する。また、０．５ｔおよび０．６２５ｔにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．５ｔにおける内挿画像を生成する。さらに、０．７５ｔおよび０．８７５ｔにおいて内挿する画像を生成する場合、内挿ベクトル保存用メモリ６から時刻０．７５ｔにおける内挿画像を生成する。
【０１１６】
なお、時刻０．１２５ｔにおける内挿画像として原画像ｆ（０）を用いることを表す情報が図示しないメモリに予め記憶されており、当該情報に基づいて、内挿画像生成部５は、時刻０．１２５ｔにおける内挿画像として原画像ｆ（ｔ）を生成する。
【０１１７】
また、図５（ａ）において、内挿画像生成部５によって生成される内挿画像５２ａ〜５８ａは、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
【０１１８】
なお、図５（ｂ）に示すとおり、内挿ベクトル決定部４において、時刻０．２５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．１２５ｔおよび時刻０．２５ｔにおける内挿ベクトルとして決定し、時刻０．５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．３７５ｔおよび時刻０．５ｔにおける内挿ベクトルとして決定し、時刻０．７５ｔにおける内挿座標に割付けられる内挿ベクトルを、時刻０．６２５ｔおよび時刻０．７５ｔにおける内挿ベクトルとして決定し、それぞれ、内挿ベクトル保存用メモリ６に記憶させる構成であってもよい。
【０１１９】
内挿画像生成部５は、内挿ベクトル保存用メモリ６から内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿画像を生成する。より具体的には、内挿画像生成部５は、時刻０．２５ｔに対応する内挿ベクトルから、時刻０．１２５ｔおよび時刻０．２５ｔにおける内挿画像を生成する。また、内挿画像生成部５は、時刻０．５ｔに対応する内挿ベクトルから、時刻０．３７５ｔおよび０．５ｔにおける内挿画像を生成する。また、内層画像生成部５は、時刻０．７５ｔに対応する内挿ベクトルから、時刻０．６２５ｔおよび０．７５ｔにおける内挿画像を生成する。そして、この場合、時刻０．８７５ｔにおける内挿画像として原画像ｆ（ｔ）を用いることを表す情報が図示しないメモリに記憶されており、当該情報に基づいて、内挿画像生成部５は、時刻０．８７５ｔにおける内挿画像として原画像ｆ（ｔ）を生成する。
【０１２０】
以上の説明のとおり、本発明に係る画像補間装置１では、７枚の内挿画像を生成する場合、７枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われない。そして、７枚の内挿画像のうち、３枚の内挿画像に対応する内挿ベクトルを、６枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、７枚の内挿画像を生成するために内挿ベクトルを個別に算出する場合に対して、従来の１／２以下の演算能力で処理することが可能となり、７枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減したりすることが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが７枚の内挿画像を生成する場合の１／２以下ですむことになる。したがって、画像補間装置１の回路構成を簡素化し、コストを低減することが可能となる。
【０１２１】
しかも、本発明に係る画像補間装置１によれば、時刻ｔ２ｋおよび時刻ｔ２ｋ＋１において内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを用いる構成、あるいは、時刻ｔ２ｋ−１および時刻ｔ２ｋにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻ｔ２ｋにおける内挿座標に割付けられる内挿ベクトルを用いる構成であるため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
【０１２２】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１２３】
最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１２４】
すなわち、画像補間装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１２５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１２６】
また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１２７】
本発明に係る画像補間装置は、映像信号に含まれる原画像から内挿画像を生成し、内挿することによって、映像信号のフレームレートを変換することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。
【図面の簡単な説明】
【０１２８】
【図１】本発明に係る画像補間装置の構成を示すブロック図である。
【図２】本実施の形態に係る画像補間装置において、２枚の原画像の間に４枚の内挿画像を内挿する場合の様子を示す図である。
【図３】２枚の原画像の間に４枚の内挿画像を内挿する場合の一例を示す図である。
【図４】本実施の形態に係る画像補間装置において、２枚の原画像の間に６枚の内挿画像を内挿する場合の様子を示す図である。
【図５】本実施の形態に係る画像補間装置において、２枚の原画像の間に７枚の内挿画像を内挿する場合の様子を示す図であり、（ａ）は内挿画像の１枚として原画ｆ（０）を用いる場合を示す図であり、（ｂ）は内挿画像の１枚として原画ｆ（ｔ）を用いる場合を示す図である。
【図６】入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。
【図７】ベクトルを算出するために基準画像をブロックに分割する例を示す図である。
【図８】内挿座標へのベクトルの割付の例を示す図である。
【図９】２４Ｈｚの映像信号を１２０Ｈｚの変換する場合の処理のシーケンスを表す図である。
【図１０】２枚の原画像の動きベクトルから予測される、それぞれ個別の演算によって算出された４枚の内挿画像を、原画像の間に内挿した場合の様子を示す図である。
【図１１】原画像のみを用いて画像を補間した場合の様子を示す図である。
【図１２】内挿ベクトルの算出方法を説明するための図であり、（ａ）は原画像間の動きベクトルを示す図であり、（ｂ）は動きベクトルを内挿画像に割り付ける様子を示す図である。
【図１３】内挿ベクトルの算出方法を説明するための図であり、すべての内挿座標について内挿ベクトルを算出する様子を示す図である。
【符号の説明】
【０１２９】
１ 画像補間装置
２ 遅延回路
３ 動きベクトル検出部
４ 内挿ベクトル決定部（内挿ベクトル決定手段）
５ 内挿画像生成部（内挿画像生成手段）
６ 内挿ベクトル保存用メモリ
【特許請求の範囲】
【請求項１】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項２】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項３】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項４】
請求項１から３までのいずれか１項に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
【請求項５】
請求項１から３までのいずれか１項に記載の画像補間装置を備えていることを特徴とする映像再生装置。
【請求項６】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項７】
（請求項２対応の方法クレーム）
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項８】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項９】
請求項１から３までのいずれか１項に記載の画像補間装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項２】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項３】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間装置であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、
時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項４】
請求項１から３までのいずれか１項に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
【請求項５】
請求項１から３までのいずれか１項に記載の画像補間装置を備えていることを特徴とする映像再生装置。
【請求項６】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔ１、ｔ２、…、ｔｎ（ｎは２以上の偶数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ−１（ｋは１以上ｎ／２以下の整数）と時刻ｔ２ｋとの中間の時刻τｋに対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻τｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項７】
（請求項２対応の方法クレーム）
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔ１における内挿画像として上記第１の原画像と同一の画像を生成すると共に、時刻ｔ２ｋと時刻ｔ２ｋ＋１とにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項８】
第１の時刻における第１の原画像と第１の時刻より後の第２の時刻における第２の原画像との間に、時刻ｔｉ（ｎは３以上の奇数であり、ｔ１、ｔ２、…、ｔｎはｔ１＜ｔ２＜…＜ｔｎを満たす）における内挿画像を生成する画像補間方法であって、
少なくとも上記第１の原画像と上記第２の原画像とから、時刻ｔ２ｋ（ｋは１以上（ｎ−１）／２以下の整数）に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、
時刻ｔｎにおける内挿画像として上記第２の原画像と同一の画像を生成すると共に、時刻ｔ２ｋ−１と時刻ｔ２ｋとにおいて内挿する同一の内挿画像を、上記時刻ｔ２ｋに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とする画像補間方法。
【請求項９】
請求項１から３までのいずれか１項に記載の画像補間装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２５３６２６（Ｐ２００９−２５３６２６Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９８５１７（Ｐ２００８−９８５１７）
【出願日】平成２０年４月４日（２００８．４．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月４日（２００８．４．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]