動画像データ処理装置、撮像装置および動画像再生装置
【課題】フレーム数の少ない動画像データから高画質な動画像を生成する動画像データ処理装置を提供する。
【解決手段】動画像データのフレームを複数のブロックに分割し、前記動画像データの基準フレームと参照フレームとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、前記信頼度生成部で生成されたブロックごとの信頼度に基づいて、適切な補間処理方法を選択するための補間処理フラグを算出し、生成する信頼度判定部と、前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備える。
【解決手段】動画像データのフレームを複数のブロックに分割し、前記動画像データの基準フレームと参照フレームとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、前記信頼度生成部で生成されたブロックごとの信頼度に基づいて、適切な補間処理方法を選択するための補間処理フラグを算出し、生成する信頼度判定部と、前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム数の少ない動画像データから高画質の動画像を生成する動画像データ処理装置、当該動画像データ処理装置を備えた撮像装置および動画像再生装置に関する。
【背景技術】
【０００２】
ブラウン管テレビやプラズマテレビは、映像を表現する光を瞬間的に点滅させながら映像を表現（インパルス表示という）するが、液晶テレビは、フレーム表示期間中は同じ映像を保持し続ける（ホールド表示という）ので、物体を追随する人の視点と表示される物体との位置がずれてぼけた画像（動画像ボケという）が視認されるという問題点がある。
【０００３】
したがって、特に、フレーム数の少ない動画像を液晶テレビのような表示装置に表示した場合、動画像ボケが生じ高画質感が得られないという結果となる。
この問題点に対して、液晶テレビでは、例えば、フレームレートを上げて１フレーム当たりのホールド表示時間を短くして、動画像ボケを改善している。
【０００４】
この補間フレームを生成する従来の方法としては、次のような方法がある。
（１）間接推定による補間フレーム生成方法：
図１５は、従来の補間フレームの生成方法を説明するための図である。ここでは、補間フレームに対し時間的に後に位置するフレームを基準フレーム、時間的に前に位置するフレームを参照フレームとする。
【０００５】
まず、基準フレームをブロック分割し、各ブロックと参照フレームの間でブロックマッチングを行い、動きベクトルｍｖ（実線矢印）を算出する。このような、補間フレームを用いない動きベクトル推定方法を間接推定という。
【０００６】
ここで算出した動きベクトルｍｖの値は、基準フレーム上の処理対象となるブロック(対象ブロック)の物体の、参照フレーム上での変位を表す。したがって、時間的に基準フレームと参照フレームの中間に位置する補間フレームでは、同ブロックはｍｖ／２変位した位置にあると推定できる。
そこで、参照フレーム上のブロック（参照ブロック）に相当する領域をｍｖ／２変位させて補間フレームを生成することで、動き補償（破線矢印）を行うことができる。
【０００７】
上記の処理を基準フレームの全てのブロックに対して適用した場合、補間フレーム上に生成されたブロックが重複する領域（オーバラップ領域）と、前記ブロックでカバーされない領域（アンカバード領域）が生じることがある。その場合は、オーバーラップ領域では、重複したブロックの画素値を平均する。また、アンカバード領域では、参照フレームの画素値をコピーすることで、補間フレームを生成する。
【０００８】
（２）直接推定による補間フレーム生成方法：
図１６のように補間フレームの位置を基準フレームとし、時間的に前に位置するフレームを参照フレームとする従来手法もある。このとき、補間フレーム（基準フレーム）をブロック分割し、対象ブロックに対応する２つの参照フレームの位置を動きベクトルｍｖ（実線矢印）として算出する。このように、補間フレームを基準フレームとし動きベクトルを推定する方法を直接推定という。そして、参照フレーム上の参照ブロックに相当する領域をｍｖ変位させて補間フレームを生成することで、動き補償（破線矢印）を行うことができる。
【０００９】
特許文献１の動画像補間装置では、フレーム間相関が大きい高フレームレートの動画像(高フレームレート映像)を用いて検出した動きベクトル(高フレームレート動きベクトル)を送出し、伝送された動きベクトルとフレーム画像とから適切な補間フレームを内挿している。高フレームレート映像では、フレーム間の物体の動きを等速直線運動で近似できる可能性が高まるため、当該技術により主観画質を向上できる。
【００１０】
また、特許文献２の画像信号復号化装置では、送信側で送出する予定の動きベクトルを用いて補間フレームを生成し、それと対応する原画像を比較し、残差が大きい領域については動きベクトルではなく原画像の画素値を送る。この方法では、等速直線運動の仮定が成立しない領域に対しては、原画像の画素値を送るため、補間フレームの破綻を避けることができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１０−２７１５０８号公報
【特許文献２】特開平１０−５６６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、特許文献１の技術では、等速直線運動による物体の移動を仮定しているため、物体が曲線運動や円運動、非等速運動を行うような複雑な動きに対しては、正しい補間ができず、物体の動きがぎこちなくなるなどの主観画質の劣化が生じる。
また、特許文献２の技術では、物体が複雑な動きに対しては原画像を送出するため、符号化データの符号量が大きくなることが問題となる。
【００１３】
本発明は、上記のような実情を考慮してなされたものであって、フレーム数の少ない動画像データから高画質な動画像を生成する動画像データ処理装置、当該動画像データ処理装置を備えた撮像装置および動画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の動画像データ処理装置は、動画像データのフレームデータを複数のブロックに分割し、前記動画像データの基準フレームデータと参照フレームデータとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、を備え、前記動画像データの基準フレームデータ、並びに、前記動きベクトルおよび信頼度を出力する。
【００１５】
前記信頼度生成部は、次のいずれかによって信頼度を生成する。
（１）前記予測誤差を量子化した値により信頼度を生成する。
（２）前記動き検出部で検出した動きベクトルにより関連付けられる参照ブロックと対象ブロックから得られる、前記動き検出に使った成分とは異なる色成分における予測誤差を量子化した値を少なくとも用いて信頼度を生成する。
（３）各ブロックの複雑さを示すアクティビティと前記予測誤差との比により信頼度を生成する。
【００１６】
また、上記の動画像データ処理装置は、動画像データを、フレーム毎に基準フレームと参照フレームに切り替えて出力するフレーム切替部を備え、前記動き検出部は、前記フレーム切替部から出力される基準フレームデータと参照フレームデータから動きベクトルと予測誤差を生成し、前記信頼度生成部は、前記動き検出部で生成した動きベクトルと予測誤差に基づいて、前記信頼度を生成するように構成してもよい。
【００１７】
さらに、上記の動画像データ処理装置は、前記信頼度生成部で生成された信頼度に基づいて、適切な補間処理方法を選択するための補間処理フラグを生成する信頼度判定部と、前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備えている。
【００１８】
ここで、前記補間処理フラグの値には、信頼度が高いことを示す第一の値、信頼度が低い場合を示す第二の値、信頼度が極端に低い場合を示す第三の値が少なくとも含まれており、前記補間フレーム生成部は、前記補間処理フラグが前記第一の値を示す場合には通常のフレーム補間処理を適用し、前記補間フラグが前記第二の値を示す場合には補間時に画質劣化が発生する領域の画素値を修正する補間処理を適用し、前記補間フラグが前記第三の値を示す場合には、動きベクトルの値を修正する補間処理を適用する。
【００１９】
さらにまた、撮像装置を、撮影した動画像データを出力する撮像素子と、上記の動画像データ処理装置とを備えたものとしてもよく、また、この撮像装置に、前記撮像素子が出力する動画像データを符号化した動画像符号化データを出力するエンコーダと、前記動き検出部で生成された動きベクトルおよび前記信頼度生成部で生成された信頼度をそれぞれ符号化して多重化した付加情報を出力する付加情報符号化部と、を備えるものとしてもよい。
【００２０】
また、動画像再生装置を上記の動画像データ処理装置を備えるものとしてもよく、また、この動画像再生装置に、入力された動画像符号化データを復号するデコーダと、入力された付加情報を逆多重化して復号し、動きベクトルおよび信頼度を出力する付加情報復号部と、を備えさせ、前記信頼度判定部は、前記付加情報復号部で復号された信頼度から前記補間処理フラグを生成し、前記補間フレーム生成部は、前記前記デコーダで復号された動画像データと、前記付加情報復号部で復号された動きベクトルと、前記信頼度判定部で生成された補間処理フラグに基づいて、適切な補間処理方法を選択して補間フレームを生成するようにしてもよい。
【発明の効果】
【００２１】
本発明によれば、フレーム数の少ない動画像データから高画質な動画像を生成することができる。
また、本発明の動画像データ処理装置を撮像装置および動画像再生装置に搭載することによって、液晶表示装置に動画像ボケを抑制した動画像を表示することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第一の実施形態におけるフレーム補間処理の概略を説明するための図である。
【図２】本発明の第一の実施形態に係る撮像装置の構成を示すブロック図である。
【図３】本発明の第一の実施形態に係る動き検出部の詳細な構成を示すブロック図である。
【図４】本発明のフレーム補間処理における各用語を説明するための図である。
【図５】本発明の第一の実施形態に係る動き検出部の動作を説明するためのフローチャートである。
【図６】本発明の第一の実施形態に係る信頼度生成部の動作を説明するためのフローチャートである。
【図７】本発明の第一の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図８】本発明の第一の実施形態に係る信頼度判定部の動作を説明するためのフローチャートである。
【図９】本発明の第二の実施形態に係る撮像装置の構成を示すブロック図である。
【図１０】本発明の第二の実施形態に係る付加情報符号化部の構成を示すブロック図である。
【図１１】本発明の第二の実施形態における動画像再生装置の構成を示すブロック図である。
【図１２】本発明の第二の実施形態に係る付加情報復号部の構成を示すブロック図である。
【図１３】本発明の第三の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】本発明の第三の実施形態におけるフレーム補間処理の概略を説明するための図である。
【図１５】従来技術におけるフレーム補間処理（間接推定）の概要を説明するための図である。
【図１６】従来技術におけるフレーム補間処理（直接推定）の概要を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の動画像データ処理装置、撮像装置および動画像再生装置に係る実施形態について説明する。
【００２４】
＜第一の実施形態＞
本実施形態におけるフレーム補間処理の概略を説明する。
図１は、動きベクトルの検出とフレーム補間の処理の概略を説明するための図であり、時間方向に各フレームを示したものである。
図１（Ａ）のように、撮像装置は、撮影した動画像データを入力フレームとして順次処理し、各入力フレームに相当する動きベクトルを検出し、動画像データ、動きベクトル、信頼度を生成し、出力する。この動きベクトルおよび信頼度は、フレームを分割した各ブロックのフレーム間の動きベクトルおよび信頼度の集合を表し、それぞれブロックと対応付けられている。尚、動きベクトルは、前述した間接推定により検出するが、直接推定を用いても同様に適用することができる。
【００２５】
図１（Ｂ）のように、動画像再生装置は、入力された動画像データを入力フレームとし、入力フレーム、動きベクトルおよび信頼度に基づいて、時間的に２枚の入力フレームの中間に位置する補間フレームを生成する。
【００２６】
（撮像装置の構成）
まず、本実施形態に係る撮像装置の構成について説明する。
図２は、本実施形態に係る撮像装置の構成を示すブロック図であり、同図において、撮像装置３０は、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成されている。尚、撮像装置３０より出力される動画像データ、動きベクトル、信頼度に対して符号化処理を行うが、この符号化処理については第二の実施形態にて説明する。
【００２７】
撮像素子３０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、入力された光学的な情報を電気信号に変換し、動画像を得る素子である。撮像素子３０１から得られる動画像(入力動画像)の色成分は、ＲＧＢ、ＹＣｂＣｒなど、複数の色成分から構成されることが一般的であるが、以下の説明では、ＹＣｂＣｒ成分であるとして説明する。また、撮像素子３０１では、ベイヤ配列のような色成分ごとに空間的に間引かれた光電信号から、必要な色成分、解像度に変換するデモザイキングおよび色変換処理を行っても良い。
【００２８】
フレームメモリ３０２は、複数枚のフレームを蓄積可能であり、少なくとも動きベクトルを推定する際に必要なフレーム数（２フレーム）を蓄積する。また、フレームメモリ３０２に蓄積されるフレームは、動き検出部３０３で基準フレーム、参照フレームとして利用され、さらに、動画像データとして出力するためのフレームとしても利用される。
【００２９】
動き検出部３０３は、詳細は後述するが、基準フレームをブロックに分割し、動きベクトルをブロック単位で検出し出力する。この動き検出部３０３で使用する色成分は、輝度成分とし、間接推定で動きベクトルを検出する。また、同時に検出した動きベクトルにおけるブロックマッチング時の残差を求め、予測誤差として出力する。
【００３０】
信頼度生成部３０４は、詳細は後述するが、基準フレーム、動きベクトルおよび予測誤差を入力し、信頼度を生成する。信頼度は、基準フレーム上の各ブロックに対応した値として出力される。信頼度は、動きベクトルの確からしさを定量化した値であり、例えば、以下のいずれかにより算出できる。
【００３１】
（信頼度Ａ）
信頼度Ａは、動き検出の際に使用する輝度成分の残差の量子化値である。この輝度成分の残差は、信頼度生成部３０４に入力される予測誤差である。
残差は、検出した動きが確からしければ小さくなり、逆に検出した動きが確からしくなければ大きくなるため、信頼度として用いることができる。また、量子化を行うことにより、信頼度の符号量を削減することが可能である。
【００３２】
（信頼度Ｂ）
信頼度Ｂは、動き検出部３０３での動き探索に用いた輝度成分とは異なる色成分、本実施形態では色差成分に対し、検出した動きベクトルから抽出される参照ブロックと対象ブロックの残差の量子化値である。
補間フレームを生成した際に、あるブロックにおいて色差成分の残差が大きければ、各色成分の画素位置のずれ（色ずれ）による画質劣化が懸念される。
したがって、色差成分の残差が大きければ信頼度が低く、小さければ信頼度が高いとして扱うことが可能である。
【００３３】
尚、色差成分は、ＣｂとＣｒの２つが存在するが、いずれかの色成分のみを用いることもできるし、２つの成分の組み合わせ（例えば平均値）を用いてもよい。
また、輝度成分と色成分の両方を用いると、よりノイズに頑健になるため好適である。例えば、輝度成分と色差成分の残差を足して量子化したものを信頼度としてもよい。
一般に、色差成分の残差は、輝度成分の残差よりも小さいものとなるため、色差成分の寄与を強めるために、重みをつけて（例えば、４倍）足し合わせてもよい。また、輝度成分の残差と色差成分の残差の大きい方の値を量子化したものを信頼度としてもよい。この際も、色差成分の残差には重みをつけることが適当である。
【００３４】
（信頼度Ｃ）
信頼度Ｃは、対象ブロックのアクティビティと輝度成分の残差（予測誤差）との比である。即ち、対象ブロックの比は以下の（式１）で表わされる。
【００３５】
（比）＝（アクティビティ）／（輝度成分の残差（予測誤差）） …（式１）
【００３６】
ここで、対象ブロックのアクティビティは、ブロック内の画素値の分散（標準偏差）とするが、ブロック内隣接画素の絶対差分和、周波数変換した場合のＡＣ係数のエネルギーなどによっても求めることができる。
【００３７】
上記の比が信頼度となり得る理由は以下の通りである。
平坦領域を含むブロックではアクティビティ（画素値の分散値）は低くなり、ブロック内に特徴点が存在しないため、動きベクトルの誤推定を招きやすい。
一方、非平坦領域のブロックではアクティビティ（画素値の分散値）は高くなり、ブロック内に特徴点が存在するため、正確な動きベクトルを検出しやすい。
【００３８】
よって、輝度成分の残差が小さく、アクティビティが高いブロックであるほど、つまり輝度成分の残差に対して、アクティビティが大きいブロックでは信頼度は高くなり、一方、輝度成分の残差が高く、アクティビティが小さいブロックであるほど、つまり、輝度成分の残差に対してアクティビティが低いブロックでは信頼度は低いといえるため、輝度成分の残差とアクティビティの関係(比)を信頼度として扱うことが可能となる。
【００３９】
これらの信頼度の生成方法は、上記の方法に限定されるものではなく、その他の手法を用いても良い。また、信頼度の種類は上記の３種類に限らず、何種類でも良い。
【００４０】
（撮像装置３０の動作）
次に、本実施形態に係る撮像装置３０の動作について説明する。
まず、撮像素子３０１により撮影された入力動画像は、動き検出部３０３および信頼度生成部３０４に入力されるとともに、フレームメモリ３０２に蓄積される。
【００４１】
次に、動き検出部３０３は、フレームメモリ３０２から基準フレームおよび参照フレームに相当するフレームを読み取り、それらを用いて動きベクトルを検出する。例えば、伝送路へ出力するために動きベクトルを符号化するためのエンコーダへ出力するとともに信頼度生成部３０４に出力する。
また、動きベクトルを導出する際に、算出された予測誤差を信頼度生成部３０４に出力する。
【００４２】
次に、信頼度生成部３０４は、動き検出部３０３が出力した動きベクトルおよび予測誤差に基づいて信頼度を生成して、例えば伝送路へ出力するために信頼度を符号化するためのエンコーダへ出力する。
【００４３】
信頼度生成部３０４の入力及び出力の単位は、ブロック、複数ブロック単位、フレームのいずれでも構わない。ブロック単位とする場合には、動き検出部３０３と信頼度生成部３０４で同じ基準フレームの画素値、参照フレームの画素値を用いることができるため、フレームメモリ３０２と各部間のデータ転送量を削減することができる。
複数ブロック単位もしくはフレーム単位とする場合には、図示しない動きベクトル格納部、予測誤差格納部を撮像装置３０に備え、動き検出部３０３が出力した動きベクトルおよび予測誤差を必要な単位だけ格納しておく。
【００４４】
以上、説明した通り、撮像装置３０を用いることで、撮像素子３０１で撮影した入力動画像から、動きベクトルおよび信頼度を生成し、出力できる。
【００４５】
（動き検出部３０３の構成）
次に、動き検出部３０３の詳細な構成について説明する。
図３は、動き検出部３０３の構成を示すブロック図であり、同図において、動き検出部３０３は、対象ブロック抽出部３０３１、参照領域抽出部３０３２、残差算出部３０３３、動きベクトル決定部３０３４から構成されている。
【００４６】
対象ブロック抽出部３０３１は、入力された基準フレームを所定形状のブロックに分割した対象ブロックを残差算出部３０３３に順次出力するとともに、対象ブロックの左上の画素位置（対象ブロック位置情報という）を参照領域抽出部３０３２に順次出力する（図４参照）。
【００４７】
尚、ブロックのサイズは、一般的な動画像符号化におけるマクロブロックサイズの１６×１６画素が好ましい。但し、画像サイズに対して動領域が小さい映像では、８×８や４×４が好ましい。また、ブロックのサイズおよびブロックの形状は、一様である必要はなく、入力動画像の形状に応じて異なるサイズ、形状を用いても良い。尚、以下の説明では、対象ブロックは、入力動画像の輝度成分（Ｙ）のみから構成されるものとして説明する。
【００４８】
参照領域抽出部３０３２は、入力された対象ブロック位置情報に応じた参照フレーム上の参照領域を、フレームメモリ３０２から読み出して残差算出部３０３３に出力する。
この参照領域は、入力された対象ブロックに対して、対象ブロック位置情報に相当する位置を中心として、動きベクトル決定部３０３４で用いる動きベクトルの探索範囲（サーチレンジ）で探索する際に必要な参照フレーム内の領域をいう。探索範囲（サーチレンジ）のサイズには、予め決められた固定値を使用するが、フレーム毎や、ブロック毎に適応的に切り替えてもよい。
【００４９】
図４に示した通り、探索範囲（サーチレンジ）のサイズが８画素の場合は、探索範囲（サーチレンジ）は、対象ブロック位置情報を中心とした参照フレーム上の±８画素の領域であり、参照領域は破線で囲まれた領域となる。
【００５０】
残差算出部３０３３は、入力された対象ブロックと参照領域に基づいて残差を算出し、残差の集合である残差マップを生成して動きベクトル決定部３０３４に出力する。残差の算出は、差分絶対値和ＳＡＤ（Sum of Absolute Differences）を用いて行うが、差分自乗和ＳＳＤ（Sum of Squared Differences）、変換後差分絶対値和ＳＡＴＤ（Sum of Absolute Transformed Differences）等の他の算出式を用いてもよい。残差マップの要素数は、探索範囲の大きさになる。探索範囲内の各参照ブロック（サイズと形状は対象ブロックと同じ）と対象ブロックとの残差が探索範囲上の位置と対応して記録される。
【００５１】
動きベクトル決定部３０３４は、入力した残差マップ中の最小の残差の位置と対象ブロック位置情報とから動きベクトルを決定し出力する。
また、残差マップ内の最小値を予測誤差として出力する。
動きベクトル検出部３０３は、ブロック単位で動きベクトルおよび予測誤差を算出し出力しても構わないし、各対象ブロックに対して生成した動きベクトルおよび予測誤差を対象ブロックと対応付けて、図示しない動きベクトル格納部および予測誤差格納部に順次格納し、ブロックを組にした単位やフレーム単位など所定の単位で出力しても構わない。
【００５２】
（動き検出部３０３の動作）
次に、動き検出部３０３が、入力された基準フレームおよびフレームメモリ上に記録されている参照フレームに基づいて、予測誤差ならびに動きベクトルを導出する動作を図５のフローチャートを用いて説明する。
【００５３】
（ステップＳ１）入力された基準フレームを予め定められたブロックサイズによりブロック分割を行い、ステップＳ２に進む。
（ステップＳ２）基準フレーム上の左上のブロックから順に対象ブロックとして抽出し、同時に対象ブロックの座標位置を対象ブロック位置情報として抽出し、ステップＳ３に進む。基準フレーム内の各対象ブロックに対して、以降のステップＳ３〜ステップＳ１２の処理が実行される。
【００５４】
（ステップＳ３）対象ブロック位置情報および探索範囲のパラメータ（例えば、探索範囲のサイズ等）に基づいて、探索範囲を決定し、参照フレーム上の参照領域を抽出し、ステップＳ４に進む。探索範囲内の各探索点に対して、以降のステップＳ４〜ステップＳ６の処理が実行される。
【００５５】
（ステップＳ４）探索範囲内の各探索点に対応する参照フレーム上の参照ブロックを抽出し、ステップＳ５に進む。
（ステップＳ５）対象ブロックと参照ブロック間の残差を算出し、探索点に対応付けて残差マップへ格納し、ステップＳ６に進む。
（ステップＳ６）最後の探索点であれば、ステップＳ７へ進み、次の対象ブロックに対する処理を行い、そうでなければ、ステップＳ４に戻る。
【００５６】
（ステップＳ７）残差マップの最小値の位置を動きベクトルとして抽出し、動きベクトルの情報を図示しない動きベクトル格納部に格納し、ステップＳ８へ進む。
（ステップＳ８）残差マップの最小値を予測誤差として抽出し、予測誤差を図示しない予測誤差格納部に格納し、ステップＳ９へ進む。
（ステップＳ９）現在のブロックが所定の単位の最後のブロックであれば、ステップＳ１０へ進み、そうでなければ、ステップＳ２へ戻り、次の対象ブロックに対する処理を行う。
【００５７】
（ステップＳ１０）格納された動きベクトルを出力し、ステップＳ１１へ進む。尚、出力の単位は、ブロック、複数ブロック、フレームのいずれでも構わない。
（ステップＳ１１）格納された予測誤差を出力し、ステップＳ１２へ進む。出力の単位は、ステップＳ１０と同じ単位で出力する。
（ステップＳ１２）基準フレームが最後のフレームであれば、処理を終了し、そうでなければステップＳ１へ戻り、次の基準フレームに対する処理を行う。
【００５８】
（信頼度生成部３０４の動作）
次に、入力された予測誤差および動きベクトルに基づいて、信頼度を導出する信頼度生成部３０４の動作を図６のフローチャートを用いて説明する。
【００５９】
（ステップＳ２１）生成する信頼度の種類を選択し、ステップＳ２２に進む。
ここで、信頼度の種類は、撮像装置３０の処理能力もしくは画像の種類によって決定するか、これらを考慮して撮像装置３０内に予め記憶させておいてもよい。
例えば、信頼度Ａの生成処理は量子化のみであるため処理量が少ないので、処理能力の低い撮像装置のときに使える。一方、信頼度Ｂや信頼度Ｃは多少の処理量が必要となるため、処理能力が中程度以上の撮像装置のときに使える。また、輝度成分のみを用いた動き推定では、色成分の間違いが生じやすい画像に対しては信頼度Ｂが有効である。また、平坦領域と非平坦領域が混在する画像においては、信頼度Ｃが有効である。
【００６０】
（ステップＳ２２）信頼度の種類が信頼度Ａであれば、ステップＳ２３へ進み、信頼度の種類が信頼度Ｂであれば、ステップＳ２４へ進み、信頼度の種類が信頼度Ｃであれば、ステップＳ２７へ進む。
【００６１】
（ステップＳ２３）入力された予測誤差に対して量子化を行い、信頼度を生成し、ステップＳ３０へ進む。
【００６２】
（ステップＳ２４）入力された動きベクトルに対応する参照フレーム上の参照ブロックを抽出し、ステップＳ２５に進む。
（ステップＳ２５）対象ブロックおよび参照ブロックの色差成分を抽出し、両ブロック間の残差を算出し、ステップＳ２６に進む。色差成分が複数ある場合は、複数抽出し、それらの平均をとる。
（ステップＳ２６）ステップＳ２５で算出した残差に対して量子化を行い、ステップＳ３０へ進む。
【００６３】
（ステップＳ２７）対象ブロックの輝度成分を抽出し、ステップＳ２８に進む。
（ステップＳ２８）対象ブロックの画素値の分散からアクティビティを算出し、ステップＳ２９へ進む。
（ステップＳ２９）対象ブロックに対応する残差（予測誤差）を用いて、残差とアクティビティとの比を（式１）を使って信頼度を算出し、ステップＳ３０へ進む。
【００６４】
（ステップＳ３０）算出された信頼度を対象ブロックと対応付けて図示しない信頼度格納部へ格納し、ステップＳ３１へ進む。
（ステップＳ３１）現在の対象ブロックが最後のブロックであれば、ステップＳ３２へ進み、そうでなければ、ステップＳ２２へ戻り、次の対象ブロックに対する処理を行う。
（ステップＳ３２）格納された信頼度を出力し、ステップＳ３３へ進む。尚、出力の単位は、ブロック、複数ブロック、フレームのいずれでも構わないが、図５のステップＳ１０で出力する単位と同様とする。
（ステップＳ３３）基準フレームが最後のフレームであれば、処理を終了し、そうでなければステップＳ２１へ戻り、次の基準フレームに対する処理を行う。
【００６５】
尚、（信頼度Ａ）、（信頼度Ｂ）における上記の量子化は、量子化ステップ幅が固定値である一様量子化とするが、非線形量子化を用いてもよい。また、信頼度は、符号量の関係から、１ブロック当たり４程度(２ビット)の値となるように量子化することが望ましく、この場合、残差のダイナミックレンジを４等分するステップ幅を算出し、量子化を行うようにする。
【００６６】
また、上記の信頼度の種類が（信頼度Ａ）〜（信頼度Ｃ）のいずれかに決定されている場合には、上記処理も決定されている信頼度についての処理だけとしてもよい。
【００６７】
（動画像再生装置の構成）
次に、本実施形態に係る動画像再生装置の構成について説明する。
図７は、本実施形態に係る動画像再生装置の構成を示すブロック図であり、同図において、動画像再生装置６０は、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成される。尚、撮像装置３０より出力された動画像データ、動きベクトル、信頼度に対しては、符号化が行われているが、これらの復号処理については第二の実施形態にて説明する。
【００６８】
データ同期部６０１は、入力された動画像データと、それに対応する動きベクトルと、信頼度との同期をとって、動画像データとそれに対応する動きベクトルを補間フレーム生成部６０３に出力するとともに、信頼度を信頼度判定部６０２に出力する。
【００６９】
信頼度判定部６０２は、入力された信頼度の大きさを判定し、所定の複数の補間処理方法候補の中から、信頼度に応じた適切な補間処理方法を選択するための補間処理フラグを生成して、補間フレーム生成部６０３に出力する。
補間処理フラグの値は、本実施形態においては、信頼度が高い場合に３、信頼度がやや低い場合に２または１、極端に低い場合に０として設定するが、これに限定されるものではない。
【００７０】
上記の補間処理フラグは、ブロック毎もしくはフレーム毎で切り替えてもよい。ブロック毎に補間処理フラグが異なる場合は、ブロック単位で補間処理フラグを生成する。また、フレーム毎に補間処理方法が異なる場合は、フレーム単位で補間処理フラグを生成する。
【００７１】
次に、信頼度判定部６０２の動作について、図８のフローチャートを用いて説明する。
尚、下記に示した閾値は、ＴＨ１＜ＴＨ２＜ＴＨ３の関係であり、これらの閾値は予め実験等で設定しておく。
【００７２】
（ステップＳ４１）基準フレーム上の左上のブロックから順に対象ブロックとし、対象ブロックに対応する信頼度を抽出し、この信頼度と閾値ＴＨ１との比較を行い、閾値ＴＨ１以下であれば、ステップＳ４２に進み、そうでなければステップＳ４３に進む。
（ステップＳ４２）この信頼度が極端に低いと判断され、補間処理フラグ０が割り当てられステップＳ４８に進む。
【００７３】
（ステップＳ４３）対象ブロックの信頼度と閾値ＴＨ２との比較を行い、閾値ＴＨ２以下であれば、ステップＳ４４に進み、そうでなければステップＳ４５に進む。
（ステップＳ４４）この信頼度がやや低いと判断され、補間処理フラグ１が割り当てられステップＳ４８に進む。
【００７４】
（ステップＳ４５）対象ブロックの信頼度と閾値ＴＨ３との比較を行い、閾値ＴＨ３以下であれば、ステップＳ４６に進み、そうでなければステップＳ４７に進む。
（ステップＳ４６）この信頼度が普通と判断され、補間処理フラグ２が割り当てられステップＳ４８に進む。
【００７５】
（ステップＳ４７）対象ブロックの信頼度が高いと判定され、補間処理フラグ３が割り当てられ、ステップＳ４８に進む。
【００７６】
（ステップＳ４８）割り当てられた補間処理フラグを対象ブロックと対応付けて図示しない補間処理フラグ格納部へ格納し、ステップＳ４９へ進む。
（ステップＳ４９）対象ブロックが最後のブロックであれば、ステップＳ４１へ戻り、そうでなければ、処理を終了する。
【００７７】
補間フレーム生成部６０３は、入力した動画像データ、動きベクトルおよび補間処理フラグから補間フレームを生成して出力する。
補間フレームの生成方法は、信頼度判定部６０２から入力した補間処理フラグの値に応じて変更する。例えば、以下のいずれかの方法で補間フレームを生成する。
【００７８】
（１）補間処理フラグが３の場合：
この補間処理フラグに対応したブロックの信頼度が高い場合は、対象ブロックの動きベクトルに対応する参照ブロックを参照フレームから抽出して補間処理する。この補間処理は、動きベクトルを使った通常の処理である。
【００７９】
（２）補間処理フラグが１、２の場合：
この補間処理フラグに対応したブロックの信頼度がやや低い場合は、上記（１）の補間処理において、参照ブロックを上下左右に、数画素分拡張して貼り付けて上記（１）と同様な補間処理する。拡張する大きさは、対象ブロックのサイズの１／４程度が好ましい。
【００８０】
例えば、対象ブロックのサイズが８×８画素の場合、上下左右２画素拡張して、１２×１２画素で補間することになる。この補間方法により、補間フレームがブロックでカバーされないアンカバード領域が減少するため、補間フレームの劣化を抑えることが可能である。また、補間フレーム上でブロックが重複するオーバーラップ領域に対しては、重複した画素値の平均値を用いる。
【００８１】
（３）補間処理フラグが０の場合：
この補間処理フラグに対応したブロックの信頼度が極端に低い場合は、対象ブロックの動きベクトルを、隣接する周辺ブロックの動きベクトルを用いて補正して補間する。例えば、対象ブロックの周囲３×３の計９ブロック（あるいは、５×５の計２５ブロック）分の動きベクトルの中央値、平均値あるいは加重平均をとって、対象ブロックの動きベクトルとする。
この補間方法は、周囲の動きベクトルと比較して、大きく異なる動きベクトルの除去に対して効果がある。
【００８２】
これらの補間方法は、上記の方法に限定されるものではなく、取り扱う動画像の種類によって他の方法を用いてもよい。
【００８３】
（動画像再生装置６０の動作）
次に、動画像再生装置６０の動作について説明する。
データ同期部６０１は、入力された動画像データ、動きベクトル、信頼度を図示しないバッファに蓄積しておき、所定のタイミングで、信頼度を信頼度判定部６０２に出力し、補間処理フラグが補間フレーム生成部６０３に出力されるタイミングで参照フレームおよび対応する動きベクトルを補間フレーム生成部６０３に出力する。
【００８４】
補間フレーム生成部６０３では、動画像データ、動きベクトル、補間処理フラグから各種補間処理フラグに応じた処理により補間フレームを生成して出力動画像として出力する。
信頼度がやや低い場合は、比較的正確な動きベクトルが検出されている可能性があるが、補間フレームでは動きベクトルの正確さの不足によるブロック歪み等の劣化が起こりやすいため、上記（２）の処理のようにデブロッキングフィルタの効果を持った補間処理が望ましい。
一方、信頼度が極端に低い場合、実際の動きとは全く異なる動きベクトルが検出されている可能性があり、補間フレームでは劣化が発生しやすいため、上記（３）の処理のように、動きベクトルの空間的相関が大きいことを仮定して動きベクトルそのものを補正する手法が望ましい。
【００８５】
以上のように、実施形態を構成することにより、動きベクトルの確からしさを定量化した値である信頼度に応じた適切な補間処理を行うことにより、複雑な動きを伴う動画像についても、補間フレームの破綻を抑制することができ、再生された動画像の画質が良好となる。
さらに、複雑な動きを伴う動画像を符号化するときにも、動きベクトルの代わりに動画像を含めないので符号量を抑制することができる。
【００８６】
＜第二の実施形態＞
本発明の第二の実施形態は、第一の実施形態の撮像装置３０にデータの符号化部分を追加し、動画像再生装置６０にデータの復号化部分を追加したものである。
【００８７】
（撮像装置の構成）
図９は、本実施形態に係る撮像装置の構成を示すブロック図であり、撮像装置３０は、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０から構成されている。
このうち、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４は、第一の実施形態と同じであり説明を省略する。
以下、エンコーダ４０および付加情報符号化部５０について説明するが、これらは、撮像装置３０に設けるのではなく付加機能として設けてもよい。
【００８８】
エンコーダ４０は、公知の技術によって構成され、撮像素子３０１が出力する動画像データを符号化し、動画像符号化データを出力する。尚、符号化の際、動き検出部３０３から出力される動きベクトル、信頼度生成部３０４から出力される信頼度を用いることで、符号化効率の向上、処理量の低減を実現するようなエンコーダへの援用が可能である。
【００８９】
以下、動きベクトル、信頼度のエンコーダへの援用例を挙げる。
（１）エンコーダ内部の動き探索の処理量を大幅に削減することができる。即ち、信頼度が低い場合は、動きベクトルの誤推定を招く可能性があるため、探索範囲を狭くすることで誤推定を抑制できる。
また、対象ブロックの信頼度が、その周囲のブロックの信頼度に対して相対的に大きいか小さいかによって、探索範囲を変更することができる。さらに、予測ベクトルの候補を複数設定し、各予測ベクトルを探索の中心点として探索を行う手法において、所定の閾値以下の指標を与える動きベクトルが得られた場合に、その閾値を信頼度に応じて変更し、探索を打ち切ることで、不必要な探索を抑えることができる。
【００９０】
（２）ブロックサイズを切り替えて動き補償が可能なエンコーダにおいては、適切なブロックサイズの選択を少ない処理量で行うことができる。即ち、信頼度の高いブロックについては大きなブロックを、信頼度の低いブロックについては小さなブロックを選択することにより、小さい処理量で高符号化効率を達成することができる。
【００９１】
（３）画面間予測と画面内予測の切り替えを少ない処理量で行うことができる。即ち、信頼度の高い領域では画面間予測の精度が高く、画面内予測が選択される可能性が低いため、信頼度の低い部分のみ画面内予測を行い、画面間予測の結果と比較することで少ない処理量で切り替えを行うことができる。
【００９２】
付加情報符号化部５０は、動き検出部３０３から出力される動きベクトル、信頼度生成部３０４から出力される信頼度を入力とし、動きベクトルと信頼度それぞれに対して符号化および多重化して、付加情報を生成して出力する。
【００９３】
次に、付加情報符号化部５０について詳述する。
図１０は、付加情報符号化部５０の詳細な構成を示すブロック図であり、同図において、付加情報符号化部５０は、動きベクトル符号化部５０１、信頼度符号化部５０２、多重化部５０３から構成される。
【００９４】
動きベクトル符号化部５０１は、入力された動きベクトルを符号化し、動きベクトル符号化データを多重化部５０３に出力する。
動きベクトルの符号化方法としては、入力された動きベクトルと、その予測ベクトルとの差分値に対して可変長符号化を行う等の動画像符号化に一般的に用いられている方式を適用する。
【００９５】
例えば、対象ブロックの動きベクトルと、その予測ベクトルとの差分値に対して可変長符号化を適用し、動きベクトル符号化データを出力する。予測ベクトルは、例えば、動きベクトルの空間的相関を用いた、対象ブロックの近傍ブロック(左、上、右上ブロック)の中央値などが好ましい。
【００９６】
信頼度符号化部５０２は、入力された信頼度を符号化し、信頼度符号化データを多重化部５０３に出力する。符号化方法としては、入力された信頼度と、その予測信頼度との差分値に対して可変長符号化等の方法がある。予測値としては、例えば、対象ブロックの近傍ブロックの中央値などが好ましい。
【００９７】
多重化部５０３は、動きベクトル符号化部５０１が出力した動きベクトル符号化データと、信頼度符号化部５０２が出力した信頼度符号化データを入力とし、これらを多重化し、付加情報として出力する。多重化の方法としては、ブロック単位もしくは複数ブロック単位で動きベクトル符号化データと信頼度符号化データをインターリーブして出力してもよいし、１フレーム分の動きベクトル符号化データと信頼度符号化データを順に出力してもよい。
【００９８】
以上、説明したとおり、本実施形態の撮像装置３０を用いることで、入力動画像から動画像符号化データと付加情報を生成し、伝送路、記録媒体等へ出力できる。
【００９９】
（動画像再生装置の構成）
図１１は、本実施形態に係る動画像再生装置の構成を示すブロック図であり、同図において、動画像再生装置６０は、デコーダ７０、付加情報復号部８０、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成される。
このうち、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３は、第一の実施形態と同じであり説明を省略する。
以下、デコーダ７０および付加情報復号部８０について説明するが、これらは、動画像再生装置６０に設けるのではなく付加機能として設けてもよい。
【０１００】
デコーダ７０は、公知の技術により、伝送路より受信した動画像符号化データを復号し、動画像復号データをデータ同期部６０１に出力する。
【０１０１】
付加情報復号部８０は、伝送路より受信した付加情報を分離、復号し、動きベクトルと信頼度をデータ同期部６０１に出力する。
この付加情報復号部８０は、図１２に示すように、逆多重化部８０１、動きベクトル復号部８０２、信頼度復号部８０３から構成されている。
【０１０２】
逆多重化部８０１は、伝送路より受信した付加情報を逆多重化し、符号化動きベクトルデータと信頼度符号化データに分離して、動きベクトル符号化データを動きベクトル復号部８０２に出力し、信頼度符号化データを信頼度復号部８０に出力する。
【０１０３】
動きベクトル復号部８０２は、符号化動きベクトルデータを入力とし、復号処理を行い、動きベクトルを出力する。動きベクトル符号化データの復号方法としては、動きベクトル符号化部５０１で使用した符号化方法に対応する公知の復号方法により復号を行う。
【０１０４】
信頼度復号部８０３は、信頼度符号化データを入力とし、復号処理を行い、信頼度を出力する。信頼度符号化データの復号方法としては、信頼度符号化部５０２で使用した符号化方法に対応する公知の復号方法により復号を行う。
【０１０５】
以上、説明した通り、本実施形態の動画像再生装置６０を用いることで、伝送路から入力された動画像符号化データと付加情報から動画像を再生することができる。
【０１０６】
＜第三の実施形態＞
本発明の第三の実施形態は、第二の実施形態の撮像装置３０にフレーム切替部を追加し、動画像再生装置６０については第二の実施形態と同じものである。
以下、相違点についてのみ説明する。
【０１０７】
（撮像装置の構造）
図１３は、本実施形態に係る撮像装置の構成を示すブロック図であり、同図において、撮像装置３０は、撮像素子３０１、フレーム切替部９０、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０から構成されている。
このうち、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０は、第二の実施形態と同じであり説明を省略する。また、エンコーダ４０および付加情報符号化部５０は、撮像装置３０に設けるのではなく付加機能として設けてもよい。
以下、追加されたフレーム切替部９０と、これにより変更された点について説明する。
【０１０８】
フレーム切替部９０は、入力された入力動画像を、基準フレームと参照フレームに分類してそれぞれ出力する。入力動画像のフレームレートと基準フレームのフレームレートを切り替えて、基準フレームと参照フレームに分類する。尚、入力動画像のフレームレートと基準フレームのフレームレートの比率は１／２，１／３，１／４等のいずれでも良い。
本実施形態では、比率を１／２とし、順次入力される入力動画像を１枚おきに基準フレームと参照フレームに切り替えて出力するものとする。
【０１０９】
フレームメモリ３０２は、フレーム切替部９０が出力する参照フレームを蓄積する。蓄積された参照フレームは、動き検出部３０３で利用されるとともに、エンコーダ４０に適切なタイミングで出力され、動画像データとして符号化される。
【０１１０】
（撮像装置３０の動作）
次に、本実施形態に係る撮像装置３０の動作について説明する。
説明の簡単のため、入力動画像のフレームレートを６０ｆｐｓ、基準フレーム、参照フレームのフレームレートを３０ｆｐｓとする。
【０１１１】
まず、撮像素子３０１により撮影された６０ｆｐｓの入力動画像は、フレーム切替部９０において３０ｆｐｓの基準フレームと参照フレームに分類され、３０ｆｐｓの参照フレームはフレームメモリ３０２で蓄積され、３０ｆｐｓの基準フレームは動き検出部３０３および信頼度生成部３０４に入力される。
【０１１２】
次に、動き検出部３０３では、基準フレームに対応する参照フレームをフレームメモリ３０２から呼び出し、それらを用いて動きベクトルを導出する。
信頼度生成部３０４は、動き検出部３０３が出力した動きベクトルおよび予測誤差から信頼度を生成して出力する。
【０１１３】
エンコーダ４０は、動きベクトルと信頼度を用いて、参照フレームを符号化して動画像符号化データを出力する。また、付加情報符号化部５０は、動きベクトルと信頼度をそれぞれ符号化して多重化した付加情報を出力する。
これらの動画像符号化データと付加情報を伝送路に出力し、表示側では第二の実施形態の動画像再生装置６０を用いることで、動画像符号化データと付加情報から動画像を再生できる。
【０１１４】
次に、本実施形態に係る動画像再生装置６０における補間フレームの生成について説明する。
図１４は、本実施形態における動画像の入力からフレーム補間までの処理の概略を説明するための図であり、横軸は時間方向を示したものである。尚、図１４（Ａ）は、撮像装置３０における動きベクトルの検出の処理、図１４（Ｂ）は、動画像再生装置６０におけるフレーム補間処理に相当する。
【０１１５】
撮像装置３０では、撮影した６０ｆｐｓの動画像を入力とする。入力された動画像は、フレーム切替部９０によって１枚おきに基準フレームと参照フレームに分類され、参照フレームが符号化されて動画像符号化データとして出力されるとともに、基準フレームと参照フレームの間の動きに相当する動きベクトルが生成されて信頼度と合わせて付加情報として出力される。
【０１１６】
動画像再生装置６０では、動画像符号化データから復号して得られる動画像復号データの各フレームを用い、動きベクトルと信頼度を用いて補間フレームを生成することで、６０ｆｐｓの動画像を再生する。
【０１１７】
以上、説明した通り、本実施形態の撮像装置を用いることで、入力動画像から動画像符号化データと付加情報を出力できるので、フレームレートの高い動画像を入力とした場合、より正確な動きベクトルを検出することが可能である。
さらに、本実施形態の動画像再生装置を用いることで、撮像装置で判定した信頼度に基づき、各ブロックに対して適切な補間処理を施せるので画質が良好である。
【０１１８】
＜その他の実施形態＞
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、動画像データ処理装置を上述のフレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成してもよい。また、符号化装置を上記の動画像データ処理装置、エンコーダ４０、付加情報符号化部５０から構成してもよい。
【０１１９】
この場合、第一の実施形態の撮像装置は、撮像素子３０１に上記の動画像データ処理装置を組み合わせて構成できる。また、第二の実施形態の撮像装置は、撮像素子３０１に上記の符号化装置を組み合わせて構成できる。
【０１２０】
また、フレームレート変換装置をデータ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成してもよい。また、復号装置をデコーダ７０、付加情報復号部８０、上記のフレームレート変換装置から構成してもよい。
【０１２１】
この場合、第一の実施形態の動画像再生装置は、上記のフレームレート変換装置に動画像や動きベクトルや信頼度を読み取る装置と再生された動画像を表示する表示装置を組み合わせて構成できる。また、第二の実施形態の動画像再生装置は、符号化された動画像と符号化された付加情報を読み取る装置と、上記の符号化装置、再生された動画像を表示する表示装置を組み合わせて構成できる。
【０１２２】
尚、第一および第二の実施形態の撮像装置においては、信頼度は生成せずに従来と同様な動画像と動きベクトルを出力する。そして、第一および第二の実施形態の動画像再生装置において、補間フレームを作成する前に信頼度を生成してから補間処理フラグを作成するようにしてもよい。また、算出した信頼度から直接補間処理フラグを生成するようにしてもよい。
【０１２３】
また、動画像データ処理装置を上述のフレーム切替部９０、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成し、符号化装置をこの動画像データ処理装置にエンコーダ４０、付加情報符号化部５０を組み合わせた構成としてもよい。
【０１２４】
この場合、第三の実施形態の撮像装置は、撮像素子３０１にこの動画像データ処理装置を組み合わせるか、また、撮像素子３０１にこの符号化装置を組み合わせて構成できる。
また、第三の実施形態の動画像再生装置は、上述の第一または第二の実施形態の動画像再生装置と同じに構成できる。
【符号の説明】
【０１２５】
３０…撮像装置、３０１…撮像素子、３０２…フレームメモリ、３０３…動き検出部、３０４…信頼度生成部、３０３１…対象ブロック抽出部、３０３２…参照領域抽出部、３０３３…残差算出部、３０３４…動きベクトル決定部、３０３４…動きベクトル決定部、４０…エンコーダ、５０…付加情報符号化部、５０１…動きベクトル符号化部、５０２…信頼度符号化部、５０３…多重化部、６０…動画像再生装置、６０１…データ同期部、６０２…信頼度判定部、６０３…補間フレーム生成部、７０…デコーダ、８０…付加情報復号部、８０１…逆多重化部、８０２…動きベクトル復号部、８０３…信頼度復号部、９０…フレーム切替部。
【技術分野】
【０００１】
本発明は、フレーム数の少ない動画像データから高画質の動画像を生成する動画像データ処理装置、当該動画像データ処理装置を備えた撮像装置および動画像再生装置に関する。
【背景技術】
【０００２】
ブラウン管テレビやプラズマテレビは、映像を表現する光を瞬間的に点滅させながら映像を表現（インパルス表示という）するが、液晶テレビは、フレーム表示期間中は同じ映像を保持し続ける（ホールド表示という）ので、物体を追随する人の視点と表示される物体との位置がずれてぼけた画像（動画像ボケという）が視認されるという問題点がある。
【０００３】
したがって、特に、フレーム数の少ない動画像を液晶テレビのような表示装置に表示した場合、動画像ボケが生じ高画質感が得られないという結果となる。
この問題点に対して、液晶テレビでは、例えば、フレームレートを上げて１フレーム当たりのホールド表示時間を短くして、動画像ボケを改善している。
【０００４】
この補間フレームを生成する従来の方法としては、次のような方法がある。
（１）間接推定による補間フレーム生成方法：
図１５は、従来の補間フレームの生成方法を説明するための図である。ここでは、補間フレームに対し時間的に後に位置するフレームを基準フレーム、時間的に前に位置するフレームを参照フレームとする。
【０００５】
まず、基準フレームをブロック分割し、各ブロックと参照フレームの間でブロックマッチングを行い、動きベクトルｍｖ（実線矢印）を算出する。このような、補間フレームを用いない動きベクトル推定方法を間接推定という。
【０００６】
ここで算出した動きベクトルｍｖの値は、基準フレーム上の処理対象となるブロック(対象ブロック)の物体の、参照フレーム上での変位を表す。したがって、時間的に基準フレームと参照フレームの中間に位置する補間フレームでは、同ブロックはｍｖ／２変位した位置にあると推定できる。
そこで、参照フレーム上のブロック（参照ブロック）に相当する領域をｍｖ／２変位させて補間フレームを生成することで、動き補償（破線矢印）を行うことができる。
【０００７】
上記の処理を基準フレームの全てのブロックに対して適用した場合、補間フレーム上に生成されたブロックが重複する領域（オーバラップ領域）と、前記ブロックでカバーされない領域（アンカバード領域）が生じることがある。その場合は、オーバーラップ領域では、重複したブロックの画素値を平均する。また、アンカバード領域では、参照フレームの画素値をコピーすることで、補間フレームを生成する。
【０００８】
（２）直接推定による補間フレーム生成方法：
図１６のように補間フレームの位置を基準フレームとし、時間的に前に位置するフレームを参照フレームとする従来手法もある。このとき、補間フレーム（基準フレーム）をブロック分割し、対象ブロックに対応する２つの参照フレームの位置を動きベクトルｍｖ（実線矢印）として算出する。このように、補間フレームを基準フレームとし動きベクトルを推定する方法を直接推定という。そして、参照フレーム上の参照ブロックに相当する領域をｍｖ変位させて補間フレームを生成することで、動き補償（破線矢印）を行うことができる。
【０００９】
特許文献１の動画像補間装置では、フレーム間相関が大きい高フレームレートの動画像(高フレームレート映像)を用いて検出した動きベクトル(高フレームレート動きベクトル)を送出し、伝送された動きベクトルとフレーム画像とから適切な補間フレームを内挿している。高フレームレート映像では、フレーム間の物体の動きを等速直線運動で近似できる可能性が高まるため、当該技術により主観画質を向上できる。
【００１０】
また、特許文献２の画像信号復号化装置では、送信側で送出する予定の動きベクトルを用いて補間フレームを生成し、それと対応する原画像を比較し、残差が大きい領域については動きベクトルではなく原画像の画素値を送る。この方法では、等速直線運動の仮定が成立しない領域に対しては、原画像の画素値を送るため、補間フレームの破綻を避けることができる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１０−２７１５０８号公報
【特許文献２】特開平１０−５６６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかし、特許文献１の技術では、等速直線運動による物体の移動を仮定しているため、物体が曲線運動や円運動、非等速運動を行うような複雑な動きに対しては、正しい補間ができず、物体の動きがぎこちなくなるなどの主観画質の劣化が生じる。
また、特許文献２の技術では、物体が複雑な動きに対しては原画像を送出するため、符号化データの符号量が大きくなることが問題となる。
【００１３】
本発明は、上記のような実情を考慮してなされたものであって、フレーム数の少ない動画像データから高画質な動画像を生成する動画像データ処理装置、当該動画像データ処理装置を備えた撮像装置および動画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明の動画像データ処理装置は、動画像データのフレームデータを複数のブロックに分割し、前記動画像データの基準フレームデータと参照フレームデータとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、を備え、前記動画像データの基準フレームデータ、並びに、前記動きベクトルおよび信頼度を出力する。
【００１５】
前記信頼度生成部は、次のいずれかによって信頼度を生成する。
（１）前記予測誤差を量子化した値により信頼度を生成する。
（２）前記動き検出部で検出した動きベクトルにより関連付けられる参照ブロックと対象ブロックから得られる、前記動き検出に使った成分とは異なる色成分における予測誤差を量子化した値を少なくとも用いて信頼度を生成する。
（３）各ブロックの複雑さを示すアクティビティと前記予測誤差との比により信頼度を生成する。
【００１６】
また、上記の動画像データ処理装置は、動画像データを、フレーム毎に基準フレームと参照フレームに切り替えて出力するフレーム切替部を備え、前記動き検出部は、前記フレーム切替部から出力される基準フレームデータと参照フレームデータから動きベクトルと予測誤差を生成し、前記信頼度生成部は、前記動き検出部で生成した動きベクトルと予測誤差に基づいて、前記信頼度を生成するように構成してもよい。
【００１７】
さらに、上記の動画像データ処理装置は、前記信頼度生成部で生成された信頼度に基づいて、適切な補間処理方法を選択するための補間処理フラグを生成する信頼度判定部と、前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備えている。
【００１８】
ここで、前記補間処理フラグの値には、信頼度が高いことを示す第一の値、信頼度が低い場合を示す第二の値、信頼度が極端に低い場合を示す第三の値が少なくとも含まれており、前記補間フレーム生成部は、前記補間処理フラグが前記第一の値を示す場合には通常のフレーム補間処理を適用し、前記補間フラグが前記第二の値を示す場合には補間時に画質劣化が発生する領域の画素値を修正する補間処理を適用し、前記補間フラグが前記第三の値を示す場合には、動きベクトルの値を修正する補間処理を適用する。
【００１９】
さらにまた、撮像装置を、撮影した動画像データを出力する撮像素子と、上記の動画像データ処理装置とを備えたものとしてもよく、また、この撮像装置に、前記撮像素子が出力する動画像データを符号化した動画像符号化データを出力するエンコーダと、前記動き検出部で生成された動きベクトルおよび前記信頼度生成部で生成された信頼度をそれぞれ符号化して多重化した付加情報を出力する付加情報符号化部と、を備えるものとしてもよい。
【００２０】
また、動画像再生装置を上記の動画像データ処理装置を備えるものとしてもよく、また、この動画像再生装置に、入力された動画像符号化データを復号するデコーダと、入力された付加情報を逆多重化して復号し、動きベクトルおよび信頼度を出力する付加情報復号部と、を備えさせ、前記信頼度判定部は、前記付加情報復号部で復号された信頼度から前記補間処理フラグを生成し、前記補間フレーム生成部は、前記前記デコーダで復号された動画像データと、前記付加情報復号部で復号された動きベクトルと、前記信頼度判定部で生成された補間処理フラグに基づいて、適切な補間処理方法を選択して補間フレームを生成するようにしてもよい。
【発明の効果】
【００２１】
本発明によれば、フレーム数の少ない動画像データから高画質な動画像を生成することができる。
また、本発明の動画像データ処理装置を撮像装置および動画像再生装置に搭載することによって、液晶表示装置に動画像ボケを抑制した動画像を表示することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第一の実施形態におけるフレーム補間処理の概略を説明するための図である。
【図２】本発明の第一の実施形態に係る撮像装置の構成を示すブロック図である。
【図３】本発明の第一の実施形態に係る動き検出部の詳細な構成を示すブロック図である。
【図４】本発明のフレーム補間処理における各用語を説明するための図である。
【図５】本発明の第一の実施形態に係る動き検出部の動作を説明するためのフローチャートである。
【図６】本発明の第一の実施形態に係る信頼度生成部の動作を説明するためのフローチャートである。
【図７】本発明の第一の実施形態に係る動画像再生装置の構成を示すブロック図である。
【図８】本発明の第一の実施形態に係る信頼度判定部の動作を説明するためのフローチャートである。
【図９】本発明の第二の実施形態に係る撮像装置の構成を示すブロック図である。
【図１０】本発明の第二の実施形態に係る付加情報符号化部の構成を示すブロック図である。
【図１１】本発明の第二の実施形態における動画像再生装置の構成を示すブロック図である。
【図１２】本発明の第二の実施形態に係る付加情報復号部の構成を示すブロック図である。
【図１３】本発明の第三の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】本発明の第三の実施形態におけるフレーム補間処理の概略を説明するための図である。
【図１５】従来技術におけるフレーム補間処理（間接推定）の概要を説明するための図である。
【図１６】従来技術におけるフレーム補間処理（直接推定）の概要を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の動画像データ処理装置、撮像装置および動画像再生装置に係る実施形態について説明する。
【００２４】
＜第一の実施形態＞
本実施形態におけるフレーム補間処理の概略を説明する。
図１は、動きベクトルの検出とフレーム補間の処理の概略を説明するための図であり、時間方向に各フレームを示したものである。
図１（Ａ）のように、撮像装置は、撮影した動画像データを入力フレームとして順次処理し、各入力フレームに相当する動きベクトルを検出し、動画像データ、動きベクトル、信頼度を生成し、出力する。この動きベクトルおよび信頼度は、フレームを分割した各ブロックのフレーム間の動きベクトルおよび信頼度の集合を表し、それぞれブロックと対応付けられている。尚、動きベクトルは、前述した間接推定により検出するが、直接推定を用いても同様に適用することができる。
【００２５】
図１（Ｂ）のように、動画像再生装置は、入力された動画像データを入力フレームとし、入力フレーム、動きベクトルおよび信頼度に基づいて、時間的に２枚の入力フレームの中間に位置する補間フレームを生成する。
【００２６】
（撮像装置の構成）
まず、本実施形態に係る撮像装置の構成について説明する。
図２は、本実施形態に係る撮像装置の構成を示すブロック図であり、同図において、撮像装置３０は、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成されている。尚、撮像装置３０より出力される動画像データ、動きベクトル、信頼度に対して符号化処理を行うが、この符号化処理については第二の実施形態にて説明する。
【００２７】
撮像素子３０１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、入力された光学的な情報を電気信号に変換し、動画像を得る素子である。撮像素子３０１から得られる動画像(入力動画像)の色成分は、ＲＧＢ、ＹＣｂＣｒなど、複数の色成分から構成されることが一般的であるが、以下の説明では、ＹＣｂＣｒ成分であるとして説明する。また、撮像素子３０１では、ベイヤ配列のような色成分ごとに空間的に間引かれた光電信号から、必要な色成分、解像度に変換するデモザイキングおよび色変換処理を行っても良い。
【００２８】
フレームメモリ３０２は、複数枚のフレームを蓄積可能であり、少なくとも動きベクトルを推定する際に必要なフレーム数（２フレーム）を蓄積する。また、フレームメモリ３０２に蓄積されるフレームは、動き検出部３０３で基準フレーム、参照フレームとして利用され、さらに、動画像データとして出力するためのフレームとしても利用される。
【００２９】
動き検出部３０３は、詳細は後述するが、基準フレームをブロックに分割し、動きベクトルをブロック単位で検出し出力する。この動き検出部３０３で使用する色成分は、輝度成分とし、間接推定で動きベクトルを検出する。また、同時に検出した動きベクトルにおけるブロックマッチング時の残差を求め、予測誤差として出力する。
【００３０】
信頼度生成部３０４は、詳細は後述するが、基準フレーム、動きベクトルおよび予測誤差を入力し、信頼度を生成する。信頼度は、基準フレーム上の各ブロックに対応した値として出力される。信頼度は、動きベクトルの確からしさを定量化した値であり、例えば、以下のいずれかにより算出できる。
【００３１】
（信頼度Ａ）
信頼度Ａは、動き検出の際に使用する輝度成分の残差の量子化値である。この輝度成分の残差は、信頼度生成部３０４に入力される予測誤差である。
残差は、検出した動きが確からしければ小さくなり、逆に検出した動きが確からしくなければ大きくなるため、信頼度として用いることができる。また、量子化を行うことにより、信頼度の符号量を削減することが可能である。
【００３２】
（信頼度Ｂ）
信頼度Ｂは、動き検出部３０３での動き探索に用いた輝度成分とは異なる色成分、本実施形態では色差成分に対し、検出した動きベクトルから抽出される参照ブロックと対象ブロックの残差の量子化値である。
補間フレームを生成した際に、あるブロックにおいて色差成分の残差が大きければ、各色成分の画素位置のずれ（色ずれ）による画質劣化が懸念される。
したがって、色差成分の残差が大きければ信頼度が低く、小さければ信頼度が高いとして扱うことが可能である。
【００３３】
尚、色差成分は、ＣｂとＣｒの２つが存在するが、いずれかの色成分のみを用いることもできるし、２つの成分の組み合わせ（例えば平均値）を用いてもよい。
また、輝度成分と色成分の両方を用いると、よりノイズに頑健になるため好適である。例えば、輝度成分と色差成分の残差を足して量子化したものを信頼度としてもよい。
一般に、色差成分の残差は、輝度成分の残差よりも小さいものとなるため、色差成分の寄与を強めるために、重みをつけて（例えば、４倍）足し合わせてもよい。また、輝度成分の残差と色差成分の残差の大きい方の値を量子化したものを信頼度としてもよい。この際も、色差成分の残差には重みをつけることが適当である。
【００３４】
（信頼度Ｃ）
信頼度Ｃは、対象ブロックのアクティビティと輝度成分の残差（予測誤差）との比である。即ち、対象ブロックの比は以下の（式１）で表わされる。
【００３５】
（比）＝（アクティビティ）／（輝度成分の残差（予測誤差）） …（式１）
【００３６】
ここで、対象ブロックのアクティビティは、ブロック内の画素値の分散（標準偏差）とするが、ブロック内隣接画素の絶対差分和、周波数変換した場合のＡＣ係数のエネルギーなどによっても求めることができる。
【００３７】
上記の比が信頼度となり得る理由は以下の通りである。
平坦領域を含むブロックではアクティビティ（画素値の分散値）は低くなり、ブロック内に特徴点が存在しないため、動きベクトルの誤推定を招きやすい。
一方、非平坦領域のブロックではアクティビティ（画素値の分散値）は高くなり、ブロック内に特徴点が存在するため、正確な動きベクトルを検出しやすい。
【００３８】
よって、輝度成分の残差が小さく、アクティビティが高いブロックであるほど、つまり輝度成分の残差に対して、アクティビティが大きいブロックでは信頼度は高くなり、一方、輝度成分の残差が高く、アクティビティが小さいブロックであるほど、つまり、輝度成分の残差に対してアクティビティが低いブロックでは信頼度は低いといえるため、輝度成分の残差とアクティビティの関係(比)を信頼度として扱うことが可能となる。
【００３９】
これらの信頼度の生成方法は、上記の方法に限定されるものではなく、その他の手法を用いても良い。また、信頼度の種類は上記の３種類に限らず、何種類でも良い。
【００４０】
（撮像装置３０の動作）
次に、本実施形態に係る撮像装置３０の動作について説明する。
まず、撮像素子３０１により撮影された入力動画像は、動き検出部３０３および信頼度生成部３０４に入力されるとともに、フレームメモリ３０２に蓄積される。
【００４１】
次に、動き検出部３０３は、フレームメモリ３０２から基準フレームおよび参照フレームに相当するフレームを読み取り、それらを用いて動きベクトルを検出する。例えば、伝送路へ出力するために動きベクトルを符号化するためのエンコーダへ出力するとともに信頼度生成部３０４に出力する。
また、動きベクトルを導出する際に、算出された予測誤差を信頼度生成部３０４に出力する。
【００４２】
次に、信頼度生成部３０４は、動き検出部３０３が出力した動きベクトルおよび予測誤差に基づいて信頼度を生成して、例えば伝送路へ出力するために信頼度を符号化するためのエンコーダへ出力する。
【００４３】
信頼度生成部３０４の入力及び出力の単位は、ブロック、複数ブロック単位、フレームのいずれでも構わない。ブロック単位とする場合には、動き検出部３０３と信頼度生成部３０４で同じ基準フレームの画素値、参照フレームの画素値を用いることができるため、フレームメモリ３０２と各部間のデータ転送量を削減することができる。
複数ブロック単位もしくはフレーム単位とする場合には、図示しない動きベクトル格納部、予測誤差格納部を撮像装置３０に備え、動き検出部３０３が出力した動きベクトルおよび予測誤差を必要な単位だけ格納しておく。
【００４４】
以上、説明した通り、撮像装置３０を用いることで、撮像素子３０１で撮影した入力動画像から、動きベクトルおよび信頼度を生成し、出力できる。
【００４５】
（動き検出部３０３の構成）
次に、動き検出部３０３の詳細な構成について説明する。
図３は、動き検出部３０３の構成を示すブロック図であり、同図において、動き検出部３０３は、対象ブロック抽出部３０３１、参照領域抽出部３０３２、残差算出部３０３３、動きベクトル決定部３０３４から構成されている。
【００４６】
対象ブロック抽出部３０３１は、入力された基準フレームを所定形状のブロックに分割した対象ブロックを残差算出部３０３３に順次出力するとともに、対象ブロックの左上の画素位置（対象ブロック位置情報という）を参照領域抽出部３０３２に順次出力する（図４参照）。
【００４７】
尚、ブロックのサイズは、一般的な動画像符号化におけるマクロブロックサイズの１６×１６画素が好ましい。但し、画像サイズに対して動領域が小さい映像では、８×８や４×４が好ましい。また、ブロックのサイズおよびブロックの形状は、一様である必要はなく、入力動画像の形状に応じて異なるサイズ、形状を用いても良い。尚、以下の説明では、対象ブロックは、入力動画像の輝度成分（Ｙ）のみから構成されるものとして説明する。
【００４８】
参照領域抽出部３０３２は、入力された対象ブロック位置情報に応じた参照フレーム上の参照領域を、フレームメモリ３０２から読み出して残差算出部３０３３に出力する。
この参照領域は、入力された対象ブロックに対して、対象ブロック位置情報に相当する位置を中心として、動きベクトル決定部３０３４で用いる動きベクトルの探索範囲（サーチレンジ）で探索する際に必要な参照フレーム内の領域をいう。探索範囲（サーチレンジ）のサイズには、予め決められた固定値を使用するが、フレーム毎や、ブロック毎に適応的に切り替えてもよい。
【００４９】
図４に示した通り、探索範囲（サーチレンジ）のサイズが８画素の場合は、探索範囲（サーチレンジ）は、対象ブロック位置情報を中心とした参照フレーム上の±８画素の領域であり、参照領域は破線で囲まれた領域となる。
【００５０】
残差算出部３０３３は、入力された対象ブロックと参照領域に基づいて残差を算出し、残差の集合である残差マップを生成して動きベクトル決定部３０３４に出力する。残差の算出は、差分絶対値和ＳＡＤ（Sum of Absolute Differences）を用いて行うが、差分自乗和ＳＳＤ（Sum of Squared Differences）、変換後差分絶対値和ＳＡＴＤ（Sum of Absolute Transformed Differences）等の他の算出式を用いてもよい。残差マップの要素数は、探索範囲の大きさになる。探索範囲内の各参照ブロック（サイズと形状は対象ブロックと同じ）と対象ブロックとの残差が探索範囲上の位置と対応して記録される。
【００５１】
動きベクトル決定部３０３４は、入力した残差マップ中の最小の残差の位置と対象ブロック位置情報とから動きベクトルを決定し出力する。
また、残差マップ内の最小値を予測誤差として出力する。
動きベクトル検出部３０３は、ブロック単位で動きベクトルおよび予測誤差を算出し出力しても構わないし、各対象ブロックに対して生成した動きベクトルおよび予測誤差を対象ブロックと対応付けて、図示しない動きベクトル格納部および予測誤差格納部に順次格納し、ブロックを組にした単位やフレーム単位など所定の単位で出力しても構わない。
【００５２】
（動き検出部３０３の動作）
次に、動き検出部３０３が、入力された基準フレームおよびフレームメモリ上に記録されている参照フレームに基づいて、予測誤差ならびに動きベクトルを導出する動作を図５のフローチャートを用いて説明する。
【００５３】
（ステップＳ１）入力された基準フレームを予め定められたブロックサイズによりブロック分割を行い、ステップＳ２に進む。
（ステップＳ２）基準フレーム上の左上のブロックから順に対象ブロックとして抽出し、同時に対象ブロックの座標位置を対象ブロック位置情報として抽出し、ステップＳ３に進む。基準フレーム内の各対象ブロックに対して、以降のステップＳ３〜ステップＳ１２の処理が実行される。
【００５４】
（ステップＳ３）対象ブロック位置情報および探索範囲のパラメータ（例えば、探索範囲のサイズ等）に基づいて、探索範囲を決定し、参照フレーム上の参照領域を抽出し、ステップＳ４に進む。探索範囲内の各探索点に対して、以降のステップＳ４〜ステップＳ６の処理が実行される。
【００５５】
（ステップＳ４）探索範囲内の各探索点に対応する参照フレーム上の参照ブロックを抽出し、ステップＳ５に進む。
（ステップＳ５）対象ブロックと参照ブロック間の残差を算出し、探索点に対応付けて残差マップへ格納し、ステップＳ６に進む。
（ステップＳ６）最後の探索点であれば、ステップＳ７へ進み、次の対象ブロックに対する処理を行い、そうでなければ、ステップＳ４に戻る。
【００５６】
（ステップＳ７）残差マップの最小値の位置を動きベクトルとして抽出し、動きベクトルの情報を図示しない動きベクトル格納部に格納し、ステップＳ８へ進む。
（ステップＳ８）残差マップの最小値を予測誤差として抽出し、予測誤差を図示しない予測誤差格納部に格納し、ステップＳ９へ進む。
（ステップＳ９）現在のブロックが所定の単位の最後のブロックであれば、ステップＳ１０へ進み、そうでなければ、ステップＳ２へ戻り、次の対象ブロックに対する処理を行う。
【００５７】
（ステップＳ１０）格納された動きベクトルを出力し、ステップＳ１１へ進む。尚、出力の単位は、ブロック、複数ブロック、フレームのいずれでも構わない。
（ステップＳ１１）格納された予測誤差を出力し、ステップＳ１２へ進む。出力の単位は、ステップＳ１０と同じ単位で出力する。
（ステップＳ１２）基準フレームが最後のフレームであれば、処理を終了し、そうでなければステップＳ１へ戻り、次の基準フレームに対する処理を行う。
【００５８】
（信頼度生成部３０４の動作）
次に、入力された予測誤差および動きベクトルに基づいて、信頼度を導出する信頼度生成部３０４の動作を図６のフローチャートを用いて説明する。
【００５９】
（ステップＳ２１）生成する信頼度の種類を選択し、ステップＳ２２に進む。
ここで、信頼度の種類は、撮像装置３０の処理能力もしくは画像の種類によって決定するか、これらを考慮して撮像装置３０内に予め記憶させておいてもよい。
例えば、信頼度Ａの生成処理は量子化のみであるため処理量が少ないので、処理能力の低い撮像装置のときに使える。一方、信頼度Ｂや信頼度Ｃは多少の処理量が必要となるため、処理能力が中程度以上の撮像装置のときに使える。また、輝度成分のみを用いた動き推定では、色成分の間違いが生じやすい画像に対しては信頼度Ｂが有効である。また、平坦領域と非平坦領域が混在する画像においては、信頼度Ｃが有効である。
【００６０】
（ステップＳ２２）信頼度の種類が信頼度Ａであれば、ステップＳ２３へ進み、信頼度の種類が信頼度Ｂであれば、ステップＳ２４へ進み、信頼度の種類が信頼度Ｃであれば、ステップＳ２７へ進む。
【００６１】
（ステップＳ２３）入力された予測誤差に対して量子化を行い、信頼度を生成し、ステップＳ３０へ進む。
【００６２】
（ステップＳ２４）入力された動きベクトルに対応する参照フレーム上の参照ブロックを抽出し、ステップＳ２５に進む。
（ステップＳ２５）対象ブロックおよび参照ブロックの色差成分を抽出し、両ブロック間の残差を算出し、ステップＳ２６に進む。色差成分が複数ある場合は、複数抽出し、それらの平均をとる。
（ステップＳ２６）ステップＳ２５で算出した残差に対して量子化を行い、ステップＳ３０へ進む。
【００６３】
（ステップＳ２７）対象ブロックの輝度成分を抽出し、ステップＳ２８に進む。
（ステップＳ２８）対象ブロックの画素値の分散からアクティビティを算出し、ステップＳ２９へ進む。
（ステップＳ２９）対象ブロックに対応する残差（予測誤差）を用いて、残差とアクティビティとの比を（式１）を使って信頼度を算出し、ステップＳ３０へ進む。
【００６４】
（ステップＳ３０）算出された信頼度を対象ブロックと対応付けて図示しない信頼度格納部へ格納し、ステップＳ３１へ進む。
（ステップＳ３１）現在の対象ブロックが最後のブロックであれば、ステップＳ３２へ進み、そうでなければ、ステップＳ２２へ戻り、次の対象ブロックに対する処理を行う。
（ステップＳ３２）格納された信頼度を出力し、ステップＳ３３へ進む。尚、出力の単位は、ブロック、複数ブロック、フレームのいずれでも構わないが、図５のステップＳ１０で出力する単位と同様とする。
（ステップＳ３３）基準フレームが最後のフレームであれば、処理を終了し、そうでなければステップＳ２１へ戻り、次の基準フレームに対する処理を行う。
【００６５】
尚、（信頼度Ａ）、（信頼度Ｂ）における上記の量子化は、量子化ステップ幅が固定値である一様量子化とするが、非線形量子化を用いてもよい。また、信頼度は、符号量の関係から、１ブロック当たり４程度(２ビット)の値となるように量子化することが望ましく、この場合、残差のダイナミックレンジを４等分するステップ幅を算出し、量子化を行うようにする。
【００６６】
また、上記の信頼度の種類が（信頼度Ａ）〜（信頼度Ｃ）のいずれかに決定されている場合には、上記処理も決定されている信頼度についての処理だけとしてもよい。
【００６７】
（動画像再生装置の構成）
次に、本実施形態に係る動画像再生装置の構成について説明する。
図７は、本実施形態に係る動画像再生装置の構成を示すブロック図であり、同図において、動画像再生装置６０は、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成される。尚、撮像装置３０より出力された動画像データ、動きベクトル、信頼度に対しては、符号化が行われているが、これらの復号処理については第二の実施形態にて説明する。
【００６８】
データ同期部６０１は、入力された動画像データと、それに対応する動きベクトルと、信頼度との同期をとって、動画像データとそれに対応する動きベクトルを補間フレーム生成部６０３に出力するとともに、信頼度を信頼度判定部６０２に出力する。
【００６９】
信頼度判定部６０２は、入力された信頼度の大きさを判定し、所定の複数の補間処理方法候補の中から、信頼度に応じた適切な補間処理方法を選択するための補間処理フラグを生成して、補間フレーム生成部６０３に出力する。
補間処理フラグの値は、本実施形態においては、信頼度が高い場合に３、信頼度がやや低い場合に２または１、極端に低い場合に０として設定するが、これに限定されるものではない。
【００７０】
上記の補間処理フラグは、ブロック毎もしくはフレーム毎で切り替えてもよい。ブロック毎に補間処理フラグが異なる場合は、ブロック単位で補間処理フラグを生成する。また、フレーム毎に補間処理方法が異なる場合は、フレーム単位で補間処理フラグを生成する。
【００７１】
次に、信頼度判定部６０２の動作について、図８のフローチャートを用いて説明する。
尚、下記に示した閾値は、ＴＨ１＜ＴＨ２＜ＴＨ３の関係であり、これらの閾値は予め実験等で設定しておく。
【００７２】
（ステップＳ４１）基準フレーム上の左上のブロックから順に対象ブロックとし、対象ブロックに対応する信頼度を抽出し、この信頼度と閾値ＴＨ１との比較を行い、閾値ＴＨ１以下であれば、ステップＳ４２に進み、そうでなければステップＳ４３に進む。
（ステップＳ４２）この信頼度が極端に低いと判断され、補間処理フラグ０が割り当てられステップＳ４８に進む。
【００７３】
（ステップＳ４３）対象ブロックの信頼度と閾値ＴＨ２との比較を行い、閾値ＴＨ２以下であれば、ステップＳ４４に進み、そうでなければステップＳ４５に進む。
（ステップＳ４４）この信頼度がやや低いと判断され、補間処理フラグ１が割り当てられステップＳ４８に進む。
【００７４】
（ステップＳ４５）対象ブロックの信頼度と閾値ＴＨ３との比較を行い、閾値ＴＨ３以下であれば、ステップＳ４６に進み、そうでなければステップＳ４７に進む。
（ステップＳ４６）この信頼度が普通と判断され、補間処理フラグ２が割り当てられステップＳ４８に進む。
【００７５】
（ステップＳ４７）対象ブロックの信頼度が高いと判定され、補間処理フラグ３が割り当てられ、ステップＳ４８に進む。
【００７６】
（ステップＳ４８）割り当てられた補間処理フラグを対象ブロックと対応付けて図示しない補間処理フラグ格納部へ格納し、ステップＳ４９へ進む。
（ステップＳ４９）対象ブロックが最後のブロックであれば、ステップＳ４１へ戻り、そうでなければ、処理を終了する。
【００７７】
補間フレーム生成部６０３は、入力した動画像データ、動きベクトルおよび補間処理フラグから補間フレームを生成して出力する。
補間フレームの生成方法は、信頼度判定部６０２から入力した補間処理フラグの値に応じて変更する。例えば、以下のいずれかの方法で補間フレームを生成する。
【００７８】
（１）補間処理フラグが３の場合：
この補間処理フラグに対応したブロックの信頼度が高い場合は、対象ブロックの動きベクトルに対応する参照ブロックを参照フレームから抽出して補間処理する。この補間処理は、動きベクトルを使った通常の処理である。
【００７９】
（２）補間処理フラグが１、２の場合：
この補間処理フラグに対応したブロックの信頼度がやや低い場合は、上記（１）の補間処理において、参照ブロックを上下左右に、数画素分拡張して貼り付けて上記（１）と同様な補間処理する。拡張する大きさは、対象ブロックのサイズの１／４程度が好ましい。
【００８０】
例えば、対象ブロックのサイズが８×８画素の場合、上下左右２画素拡張して、１２×１２画素で補間することになる。この補間方法により、補間フレームがブロックでカバーされないアンカバード領域が減少するため、補間フレームの劣化を抑えることが可能である。また、補間フレーム上でブロックが重複するオーバーラップ領域に対しては、重複した画素値の平均値を用いる。
【００８１】
（３）補間処理フラグが０の場合：
この補間処理フラグに対応したブロックの信頼度が極端に低い場合は、対象ブロックの動きベクトルを、隣接する周辺ブロックの動きベクトルを用いて補正して補間する。例えば、対象ブロックの周囲３×３の計９ブロック（あるいは、５×５の計２５ブロック）分の動きベクトルの中央値、平均値あるいは加重平均をとって、対象ブロックの動きベクトルとする。
この補間方法は、周囲の動きベクトルと比較して、大きく異なる動きベクトルの除去に対して効果がある。
【００８２】
これらの補間方法は、上記の方法に限定されるものではなく、取り扱う動画像の種類によって他の方法を用いてもよい。
【００８３】
（動画像再生装置６０の動作）
次に、動画像再生装置６０の動作について説明する。
データ同期部６０１は、入力された動画像データ、動きベクトル、信頼度を図示しないバッファに蓄積しておき、所定のタイミングで、信頼度を信頼度判定部６０２に出力し、補間処理フラグが補間フレーム生成部６０３に出力されるタイミングで参照フレームおよび対応する動きベクトルを補間フレーム生成部６０３に出力する。
【００８４】
補間フレーム生成部６０３では、動画像データ、動きベクトル、補間処理フラグから各種補間処理フラグに応じた処理により補間フレームを生成して出力動画像として出力する。
信頼度がやや低い場合は、比較的正確な動きベクトルが検出されている可能性があるが、補間フレームでは動きベクトルの正確さの不足によるブロック歪み等の劣化が起こりやすいため、上記（２）の処理のようにデブロッキングフィルタの効果を持った補間処理が望ましい。
一方、信頼度が極端に低い場合、実際の動きとは全く異なる動きベクトルが検出されている可能性があり、補間フレームでは劣化が発生しやすいため、上記（３）の処理のように、動きベクトルの空間的相関が大きいことを仮定して動きベクトルそのものを補正する手法が望ましい。
【００８５】
以上のように、実施形態を構成することにより、動きベクトルの確からしさを定量化した値である信頼度に応じた適切な補間処理を行うことにより、複雑な動きを伴う動画像についても、補間フレームの破綻を抑制することができ、再生された動画像の画質が良好となる。
さらに、複雑な動きを伴う動画像を符号化するときにも、動きベクトルの代わりに動画像を含めないので符号量を抑制することができる。
【００８６】
＜第二の実施形態＞
本発明の第二の実施形態は、第一の実施形態の撮像装置３０にデータの符号化部分を追加し、動画像再生装置６０にデータの復号化部分を追加したものである。
【００８７】
（撮像装置の構成）
図９は、本実施形態に係る撮像装置の構成を示すブロック図であり、撮像装置３０は、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０から構成されている。
このうち、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４は、第一の実施形態と同じであり説明を省略する。
以下、エンコーダ４０および付加情報符号化部５０について説明するが、これらは、撮像装置３０に設けるのではなく付加機能として設けてもよい。
【００８８】
エンコーダ４０は、公知の技術によって構成され、撮像素子３０１が出力する動画像データを符号化し、動画像符号化データを出力する。尚、符号化の際、動き検出部３０３から出力される動きベクトル、信頼度生成部３０４から出力される信頼度を用いることで、符号化効率の向上、処理量の低減を実現するようなエンコーダへの援用が可能である。
【００８９】
以下、動きベクトル、信頼度のエンコーダへの援用例を挙げる。
（１）エンコーダ内部の動き探索の処理量を大幅に削減することができる。即ち、信頼度が低い場合は、動きベクトルの誤推定を招く可能性があるため、探索範囲を狭くすることで誤推定を抑制できる。
また、対象ブロックの信頼度が、その周囲のブロックの信頼度に対して相対的に大きいか小さいかによって、探索範囲を変更することができる。さらに、予測ベクトルの候補を複数設定し、各予測ベクトルを探索の中心点として探索を行う手法において、所定の閾値以下の指標を与える動きベクトルが得られた場合に、その閾値を信頼度に応じて変更し、探索を打ち切ることで、不必要な探索を抑えることができる。
【００９０】
（２）ブロックサイズを切り替えて動き補償が可能なエンコーダにおいては、適切なブロックサイズの選択を少ない処理量で行うことができる。即ち、信頼度の高いブロックについては大きなブロックを、信頼度の低いブロックについては小さなブロックを選択することにより、小さい処理量で高符号化効率を達成することができる。
【００９１】
（３）画面間予測と画面内予測の切り替えを少ない処理量で行うことができる。即ち、信頼度の高い領域では画面間予測の精度が高く、画面内予測が選択される可能性が低いため、信頼度の低い部分のみ画面内予測を行い、画面間予測の結果と比較することで少ない処理量で切り替えを行うことができる。
【００９２】
付加情報符号化部５０は、動き検出部３０３から出力される動きベクトル、信頼度生成部３０４から出力される信頼度を入力とし、動きベクトルと信頼度それぞれに対して符号化および多重化して、付加情報を生成して出力する。
【００９３】
次に、付加情報符号化部５０について詳述する。
図１０は、付加情報符号化部５０の詳細な構成を示すブロック図であり、同図において、付加情報符号化部５０は、動きベクトル符号化部５０１、信頼度符号化部５０２、多重化部５０３から構成される。
【００９４】
動きベクトル符号化部５０１は、入力された動きベクトルを符号化し、動きベクトル符号化データを多重化部５０３に出力する。
動きベクトルの符号化方法としては、入力された動きベクトルと、その予測ベクトルとの差分値に対して可変長符号化を行う等の動画像符号化に一般的に用いられている方式を適用する。
【００９５】
例えば、対象ブロックの動きベクトルと、その予測ベクトルとの差分値に対して可変長符号化を適用し、動きベクトル符号化データを出力する。予測ベクトルは、例えば、動きベクトルの空間的相関を用いた、対象ブロックの近傍ブロック(左、上、右上ブロック)の中央値などが好ましい。
【００９６】
信頼度符号化部５０２は、入力された信頼度を符号化し、信頼度符号化データを多重化部５０３に出力する。符号化方法としては、入力された信頼度と、その予測信頼度との差分値に対して可変長符号化等の方法がある。予測値としては、例えば、対象ブロックの近傍ブロックの中央値などが好ましい。
【００９７】
多重化部５０３は、動きベクトル符号化部５０１が出力した動きベクトル符号化データと、信頼度符号化部５０２が出力した信頼度符号化データを入力とし、これらを多重化し、付加情報として出力する。多重化の方法としては、ブロック単位もしくは複数ブロック単位で動きベクトル符号化データと信頼度符号化データをインターリーブして出力してもよいし、１フレーム分の動きベクトル符号化データと信頼度符号化データを順に出力してもよい。
【００９８】
以上、説明したとおり、本実施形態の撮像装置３０を用いることで、入力動画像から動画像符号化データと付加情報を生成し、伝送路、記録媒体等へ出力できる。
【００９９】
（動画像再生装置の構成）
図１１は、本実施形態に係る動画像再生装置の構成を示すブロック図であり、同図において、動画像再生装置６０は、デコーダ７０、付加情報復号部８０、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成される。
このうち、データ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３は、第一の実施形態と同じであり説明を省略する。
以下、デコーダ７０および付加情報復号部８０について説明するが、これらは、動画像再生装置６０に設けるのではなく付加機能として設けてもよい。
【０１００】
デコーダ７０は、公知の技術により、伝送路より受信した動画像符号化データを復号し、動画像復号データをデータ同期部６０１に出力する。
【０１０１】
付加情報復号部８０は、伝送路より受信した付加情報を分離、復号し、動きベクトルと信頼度をデータ同期部６０１に出力する。
この付加情報復号部８０は、図１２に示すように、逆多重化部８０１、動きベクトル復号部８０２、信頼度復号部８０３から構成されている。
【０１０２】
逆多重化部８０１は、伝送路より受信した付加情報を逆多重化し、符号化動きベクトルデータと信頼度符号化データに分離して、動きベクトル符号化データを動きベクトル復号部８０２に出力し、信頼度符号化データを信頼度復号部８０に出力する。
【０１０３】
動きベクトル復号部８０２は、符号化動きベクトルデータを入力とし、復号処理を行い、動きベクトルを出力する。動きベクトル符号化データの復号方法としては、動きベクトル符号化部５０１で使用した符号化方法に対応する公知の復号方法により復号を行う。
【０１０４】
信頼度復号部８０３は、信頼度符号化データを入力とし、復号処理を行い、信頼度を出力する。信頼度符号化データの復号方法としては、信頼度符号化部５０２で使用した符号化方法に対応する公知の復号方法により復号を行う。
【０１０５】
以上、説明した通り、本実施形態の動画像再生装置６０を用いることで、伝送路から入力された動画像符号化データと付加情報から動画像を再生することができる。
【０１０６】
＜第三の実施形態＞
本発明の第三の実施形態は、第二の実施形態の撮像装置３０にフレーム切替部を追加し、動画像再生装置６０については第二の実施形態と同じものである。
以下、相違点についてのみ説明する。
【０１０７】
（撮像装置の構造）
図１３は、本実施形態に係る撮像装置の構成を示すブロック図であり、同図において、撮像装置３０は、撮像素子３０１、フレーム切替部９０、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０から構成されている。
このうち、撮像素子３０１、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４、エンコーダ４０、付加情報符号化部５０は、第二の実施形態と同じであり説明を省略する。また、エンコーダ４０および付加情報符号化部５０は、撮像装置３０に設けるのではなく付加機能として設けてもよい。
以下、追加されたフレーム切替部９０と、これにより変更された点について説明する。
【０１０８】
フレーム切替部９０は、入力された入力動画像を、基準フレームと参照フレームに分類してそれぞれ出力する。入力動画像のフレームレートと基準フレームのフレームレートを切り替えて、基準フレームと参照フレームに分類する。尚、入力動画像のフレームレートと基準フレームのフレームレートの比率は１／２，１／３，１／４等のいずれでも良い。
本実施形態では、比率を１／２とし、順次入力される入力動画像を１枚おきに基準フレームと参照フレームに切り替えて出力するものとする。
【０１０９】
フレームメモリ３０２は、フレーム切替部９０が出力する参照フレームを蓄積する。蓄積された参照フレームは、動き検出部３０３で利用されるとともに、エンコーダ４０に適切なタイミングで出力され、動画像データとして符号化される。
【０１１０】
（撮像装置３０の動作）
次に、本実施形態に係る撮像装置３０の動作について説明する。
説明の簡単のため、入力動画像のフレームレートを６０ｆｐｓ、基準フレーム、参照フレームのフレームレートを３０ｆｐｓとする。
【０１１１】
まず、撮像素子３０１により撮影された６０ｆｐｓの入力動画像は、フレーム切替部９０において３０ｆｐｓの基準フレームと参照フレームに分類され、３０ｆｐｓの参照フレームはフレームメモリ３０２で蓄積され、３０ｆｐｓの基準フレームは動き検出部３０３および信頼度生成部３０４に入力される。
【０１１２】
次に、動き検出部３０３では、基準フレームに対応する参照フレームをフレームメモリ３０２から呼び出し、それらを用いて動きベクトルを導出する。
信頼度生成部３０４は、動き検出部３０３が出力した動きベクトルおよび予測誤差から信頼度を生成して出力する。
【０１１３】
エンコーダ４０は、動きベクトルと信頼度を用いて、参照フレームを符号化して動画像符号化データを出力する。また、付加情報符号化部５０は、動きベクトルと信頼度をそれぞれ符号化して多重化した付加情報を出力する。
これらの動画像符号化データと付加情報を伝送路に出力し、表示側では第二の実施形態の動画像再生装置６０を用いることで、動画像符号化データと付加情報から動画像を再生できる。
【０１１４】
次に、本実施形態に係る動画像再生装置６０における補間フレームの生成について説明する。
図１４は、本実施形態における動画像の入力からフレーム補間までの処理の概略を説明するための図であり、横軸は時間方向を示したものである。尚、図１４（Ａ）は、撮像装置３０における動きベクトルの検出の処理、図１４（Ｂ）は、動画像再生装置６０におけるフレーム補間処理に相当する。
【０１１５】
撮像装置３０では、撮影した６０ｆｐｓの動画像を入力とする。入力された動画像は、フレーム切替部９０によって１枚おきに基準フレームと参照フレームに分類され、参照フレームが符号化されて動画像符号化データとして出力されるとともに、基準フレームと参照フレームの間の動きに相当する動きベクトルが生成されて信頼度と合わせて付加情報として出力される。
【０１１６】
動画像再生装置６０では、動画像符号化データから復号して得られる動画像復号データの各フレームを用い、動きベクトルと信頼度を用いて補間フレームを生成することで、６０ｆｐｓの動画像を再生する。
【０１１７】
以上、説明した通り、本実施形態の撮像装置を用いることで、入力動画像から動画像符号化データと付加情報を出力できるので、フレームレートの高い動画像を入力とした場合、より正確な動きベクトルを検出することが可能である。
さらに、本実施形態の動画像再生装置を用いることで、撮像装置で判定した信頼度に基づき、各ブロックに対して適切な補間処理を施せるので画質が良好である。
【０１１８】
＜その他の実施形態＞
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、動画像データ処理装置を上述のフレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成してもよい。また、符号化装置を上記の動画像データ処理装置、エンコーダ４０、付加情報符号化部５０から構成してもよい。
【０１１９】
この場合、第一の実施形態の撮像装置は、撮像素子３０１に上記の動画像データ処理装置を組み合わせて構成できる。また、第二の実施形態の撮像装置は、撮像素子３０１に上記の符号化装置を組み合わせて構成できる。
【０１２０】
また、フレームレート変換装置をデータ同期部６０１、信頼度判定部６０２、補間フレーム生成部６０３から構成してもよい。また、復号装置をデコーダ７０、付加情報復号部８０、上記のフレームレート変換装置から構成してもよい。
【０１２１】
この場合、第一の実施形態の動画像再生装置は、上記のフレームレート変換装置に動画像や動きベクトルや信頼度を読み取る装置と再生された動画像を表示する表示装置を組み合わせて構成できる。また、第二の実施形態の動画像再生装置は、符号化された動画像と符号化された付加情報を読み取る装置と、上記の符号化装置、再生された動画像を表示する表示装置を組み合わせて構成できる。
【０１２２】
尚、第一および第二の実施形態の撮像装置においては、信頼度は生成せずに従来と同様な動画像と動きベクトルを出力する。そして、第一および第二の実施形態の動画像再生装置において、補間フレームを作成する前に信頼度を生成してから補間処理フラグを作成するようにしてもよい。また、算出した信頼度から直接補間処理フラグを生成するようにしてもよい。
【０１２３】
また、動画像データ処理装置を上述のフレーム切替部９０、フレームメモリ３０２、動き検出部３０３、信頼度生成部３０４から構成し、符号化装置をこの動画像データ処理装置にエンコーダ４０、付加情報符号化部５０を組み合わせた構成としてもよい。
【０１２４】
この場合、第三の実施形態の撮像装置は、撮像素子３０１にこの動画像データ処理装置を組み合わせるか、また、撮像素子３０１にこの符号化装置を組み合わせて構成できる。
また、第三の実施形態の動画像再生装置は、上述の第一または第二の実施形態の動画像再生装置と同じに構成できる。
【符号の説明】
【０１２５】
３０…撮像装置、３０１…撮像素子、３０２…フレームメモリ、３０３…動き検出部、３０４…信頼度生成部、３０３１…対象ブロック抽出部、３０３２…参照領域抽出部、３０３３…残差算出部、３０３４…動きベクトル決定部、３０３４…動きベクトル決定部、４０…エンコーダ、５０…付加情報符号化部、５０１…動きベクトル符号化部、５０２…信頼度符号化部、５０３…多重化部、６０…動画像再生装置、６０１…データ同期部、６０２…信頼度判定部、６０３…補間フレーム生成部、７０…デコーダ、８０…付加情報復号部、８０１…逆多重化部、８０２…動きベクトル復号部、８０３…信頼度復号部、９０…フレーム切替部。
【特許請求の範囲】
【請求項１】
動画像データのフレームデータを複数のブロックに分割し、前記動画像データの基準フレームデータと参照フレームデータとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、を備え、
前記動画像データの基準フレームデータ、並びに、前記動きベクトルおよび信頼度を出力することを特徴とする動画像データ処理装置。
【請求項２】
前記信頼度生成部は、前記予測誤差を量子化した値により信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項３】
前記信頼度生成部は、前記動き検出部で検出した動きベクトルにより関連付けられる参照ブロックと対象ブロックから得られる、前記動き検出に使った成分とは異なる色成分における予測誤差を量子化した値を少なくとも用いて信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項４】
前記信頼度生成部は、各ブロックの複雑さを示すアクティビティと前記予測誤差との比により信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項５】
動画像データを、フレーム毎に基準フレームと参照フレームに切り替えて出力するフレーム切替部を備え、前記動き検出部は、前記フレーム切替部から出力される基準フレームデータと参照フレームデータから動きベクトルと予測誤差を生成し、前記信頼度生成部は、前記動き検出部で生成した動きベクトルと予測誤差に基づいて、前記信頼度を生成することを特徴とする請求項１乃至４のいずれかに記載の動画像データ処理装置。
【請求項６】
前記信頼度生成部で生成されたブロックごとの信頼度の値に基づいて、適切な補間処理方法を選択するための補間処理フラグを算出し、生成する信頼度判定部と、
前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備えることを特徴とする動画像データ処理装置。
【請求項７】
前記補間フレーム生成部は、ブロック毎の前記補間処理フラグが前記第一の値を示す場合には通常のフレーム補間処理を適用し、前記補間フラグが前記第二の値を示す場合には補間時に画質劣化が発生する領域の画素値を修正する補間処理を適用し、前記補間フラグが前記第三の値を示す場合には、動きベクトルの値を修正する補間処理を適用することを特徴とする請求項６に記載の動画像データ処理装置。
【請求項８】
撮影した動画像データを出力する撮像素子と、前記撮像素子が出力する動画像データを符号化した動画像符号化データを出力するエンコーダと、請求項１乃至５のいずれかに記載の動画像データ処理装置と、前記動画像データ処理装置で生成された動きベクトルおよび信頼度をそれぞれ符号化して多重化した付加情報を出力する付加情報符号化部と、を備えることを特徴とする撮像装置。
【請求項９】
請求項６または７に記載の動画像データ処理装置を有し、入力された動画像符号化データを復号するデコーダと、入力された付加情報を逆多重化して復号し、動きベクトルおよび信頼度を出力する付加情報復号部と、を備え、前記信頼度判定部は、前記付加情報復号部で復号された信頼度から前記補間処理フラグを生成し、前記補間フレーム生成部は、前記前記デコーダで復号された動画像データと、前記付加情報復号部で復号された動きベクトルと、前記信頼度判定部で生成された補間処理フラグに基づいて、適切な補間処理方法を選択して補間フレームを生成することを特徴とする動画像再生装置。
【請求項１】
動画像データのフレームデータを複数のブロックに分割し、前記動画像データの基準フレームデータと参照フレームデータとから、前記各ブロックに対する動きベクトルと予測誤差を検出する動き検出部と、前記各ブロックの予測誤差に対する動きベクトルの確からしさを示す信頼度を生成する信頼度生成部と、を備え、
前記動画像データの基準フレームデータ、並びに、前記動きベクトルおよび信頼度を出力することを特徴とする動画像データ処理装置。
【請求項２】
前記信頼度生成部は、前記予測誤差を量子化した値により信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項３】
前記信頼度生成部は、前記動き検出部で検出した動きベクトルにより関連付けられる参照ブロックと対象ブロックから得られる、前記動き検出に使った成分とは異なる色成分における予測誤差を量子化した値を少なくとも用いて信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項４】
前記信頼度生成部は、各ブロックの複雑さを示すアクティビティと前記予測誤差との比により信頼度を生成することを特徴とする請求項１に記載の動画像データ処理装置。
【請求項５】
動画像データを、フレーム毎に基準フレームと参照フレームに切り替えて出力するフレーム切替部を備え、前記動き検出部は、前記フレーム切替部から出力される基準フレームデータと参照フレームデータから動きベクトルと予測誤差を生成し、前記信頼度生成部は、前記動き検出部で生成した動きベクトルと予測誤差に基づいて、前記信頼度を生成することを特徴とする請求項１乃至４のいずれかに記載の動画像データ処理装置。
【請求項６】
前記信頼度生成部で生成されたブロックごとの信頼度の値に基づいて、適切な補間処理方法を選択するための補間処理フラグを算出し、生成する信頼度判定部と、
前記動画像データと前記動きベクトルと前記補間処理フラグを用いて、適切な補間処理方法を選択して前記動画像データのフレーム間に補間フレームを生成する補間フレーム生成部と、を備えることを特徴とする動画像データ処理装置。
【請求項７】
前記補間フレーム生成部は、ブロック毎の前記補間処理フラグが前記第一の値を示す場合には通常のフレーム補間処理を適用し、前記補間フラグが前記第二の値を示す場合には補間時に画質劣化が発生する領域の画素値を修正する補間処理を適用し、前記補間フラグが前記第三の値を示す場合には、動きベクトルの値を修正する補間処理を適用することを特徴とする請求項６に記載の動画像データ処理装置。
【請求項８】
撮影した動画像データを出力する撮像素子と、前記撮像素子が出力する動画像データを符号化した動画像符号化データを出力するエンコーダと、請求項１乃至５のいずれかに記載の動画像データ処理装置と、前記動画像データ処理装置で生成された動きベクトルおよび信頼度をそれぞれ符号化して多重化した付加情報を出力する付加情報符号化部と、を備えることを特徴とする撮像装置。
【請求項９】
請求項６または７に記載の動画像データ処理装置を有し、入力された動画像符号化データを復号するデコーダと、入力された付加情報を逆多重化して復号し、動きベクトルおよび信頼度を出力する付加情報復号部と、を備え、前記信頼度判定部は、前記付加情報復号部で復号された信頼度から前記補間処理フラグを生成し、前記補間フレーム生成部は、前記前記デコーダで復号された動画像データと、前記付加情報復号部で復号された動きベクトルと、前記信頼度判定部で生成された補間処理フラグに基づいて、適切な補間処理方法を選択して補間フレームを生成することを特徴とする動画像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−２８８００６（Ｐ２０１０−２８８００６Ａ）
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願番号】特願２００９−１３９２８７（Ｐ２００９−１３９２８７）
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年１２月２４日（２０１０．１２．２４）
【国際特許分類】
【出願日】平成２１年６月１０日（２００９．６．１０）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]