画像処理方法及び画像処理装置
【課題】ＭＡＰ推定に比べて計算時間を大幅に短縮し得ると共にフレームメモリを用いることなくＭＡＰ推定に準ずる高画質な画像を得る。
【解決手段】画素差総計計算部１０２〜１０５は、入力画像の処理対象の注目画素と周辺の所定の３画素の各画素値との３つの差の総計をそれぞれ計算する。平均値計算部１０６は、画素差総計計算部１０２〜１０５により計算された４つの画素差総計の平均値を算出する。偏差計算部１０７〜１１０は、画素差総計計算部１０２〜１０５により計算された４つの画素差総計のそれぞれに対する平均値との偏差を計算する。減算部１１５〜１１８は、入力画像の注目画素の画素値から偏差計算部１０７〜１１０で計算された偏差に所定の定数Ｋを乗算した値を減じて、入力画像を水平方向及び垂直方向に２倍にサイズを拡大した拡大画像の４つの画素の値を出力する。
【解決手段】画素差総計計算部１０２〜１０５は、入力画像の処理対象の注目画素と周辺の所定の３画素の各画素値との３つの差の総計をそれぞれ計算する。平均値計算部１０６は、画素差総計計算部１０２〜１０５により計算された４つの画素差総計の平均値を算出する。偏差計算部１０７〜１１０は、画素差総計計算部１０２〜１０５により計算された４つの画素差総計のそれぞれに対する平均値との偏差を計算する。減算部１１５〜１１８は、入力画像の注目画素の画素値から偏差計算部１０７〜１１０で計算された偏差に所定の定数Ｋを乗算した値を減じて、入力画像を水平方向及び垂直方向に２倍にサイズを拡大した拡大画像の４つの画素の値を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に係り、特に画像の水平方向及び垂直方向の少なくとも一方向のサイズを１枚のフレーム単位で拡大する解像度変換を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。新たに制作されるコンテンツに関して高精細な撮影がされる傾向があるのは当然ながら、旧来の非高解像度で制作されているコンテンツに関しても高解像度化された形で視聴したいという要求が高まっている。
【０００３】
また、近年の立体映像（３Ｄ映像）への関心の高まりに伴い、ステレオ映像の伝送・記録のための規格に関する議論が盛んになっている。中でもサイドバイサイド（Side-by-Side;ＳＢＳ)方式とアバブビロー(Above-Below;ＡＢ)方式は２つの画面をそれぞれ水平・垂直に圧縮したものを１画面として伝送するものであるため、従来の伝送系をそのまま使える上に左右チャネルの同期を考慮する心配がないという特長を有する。特にＳＢＳ方式は放送・配信系の３Ｄコンテンツの標準規格の一つになりそうな情勢にある（非特許文献１参照）。
【０００４】
現状の多くのテレビ装置においても非高解像度コンテンツを補間技術により画素数のみについては高精細パネルに見合ったものに増加させているが、本来の意味での高解像度化は事実上行われていない。
【０００５】
低解像度画像から高解像度画像を生成する試みは古くから行われており、複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。低解像度動画から高精細動画を作成する手法についても特許文献１他数多く検討されている。フレーム内での繰り返し部分や類似部分を利用した高解像度化技術も多数存在する。
【０００６】
近年は特許文献２などのようにＭＡＰ(Maximum A Posteriori)推定方式による画像拡大も盛んであり高性能とされている。ＭＡＰ推定では一般に、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理を行う。フレーム内処理におけるＭＡＰ推定では、低解像度画像ｙが与えられたときに高解像度画像ｚが得られる確率を最大にするような計算処理を行う。非特許文献２の第２章に解説されているように、本質的には、（１）高解像度画像ｚについて４画素平均を行って縮小したものが低解像度画像ｙになること、（２）拡大画像の画素値がマルコフ性（個々の属性値がごく近傍の属性値のみに依存する）を満たすという２つの条件を満たすように計算する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−５６７８９号公報
【特許文献２】特開２００８−３３９１４号公報
【非特許文献１】平成２２年９月２８日検索、インターネット＜ＵＲＬ：http://ja.wikipedia.org/wiki/立体テレビ放送＞
【非特許文献２】武久泰夫、“統計的手法を用いた画像の高解像度化に関する研究”、長野県情報技術試験場研究報告、No.18,pp.28〜34,2002.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の高解像度化技術は、多くがフィルタによる補間もしくは類似部分の統合に依存している。フィルタによる補間においては、出力画像は一般的に平板なものになりがちであり、細部における原画のテクスチャが持つ風合いや感触を表現することが困難である。
【０００９】
また、前述したＳＢＳ方式とＡＢ方式は、２つの画面をそれぞれ水平・垂直に圧縮するプロセスで水平・垂直画素数が半分になっているので、一般的なバイリニア方式やバイキュービック方式で本来のサイズに復号された２枚の画像について、それぞれ水平・垂直方向の解像度が低くなってしまうことが課題である。
【００１０】
前記のフィルタによる補間の課題や、ＳＢＳ方式とＡＢ方式の画像をバイリニア方式やバイキュービック方式で本来のサイズに復号した画像の解像度低下の課題は、ＭＡＰ推定による処理によりある程度は改善できる。しかし、ＭＡＰ推定では前記の２条件を満たす最適解を直接導出するのは極めて困難であり、事実上は数十〜数百回繰り返し計算で解を収束させていく必要がある。更に、ＭＡＰ推定により繰り返し計算することは拡大画像のサイズのフレームメモリの必要性も意味する。このような理由からＭＡＰ推定は品質については評価されつつも、大きな計算リソース及びフレームメモリが必要であることが問題である。
【００１１】
本発明は以上の点に鑑みなされたもので、ＭＡＰ推定に比べて計算時間を大幅に短縮し得ると共にフレームメモリを用いることなくＭＡＰ推定に準ずる高画質な画像が得られる画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、第１発明の画像処理方法は、入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、第１乃至第４の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差と、第３の画素差総計から平均値を減算した第３の偏差と、第４の画素差総計から平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、入力画像の処理対象の注目画素の画素値から第３の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、入力画像の処理対象の注目画素の画素値から第４の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップとを含むことを特徴とする。
【００１３】
また、上記の目的を達成するため、第２の発明の画像処理方法は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、第１及び第２の演算ステップにより得られる拡大画像を２分割して一組のステレオ画像を分離出力する左右分離ステップとを含むことを特徴とする。
【００１４】
また、上記の目的を達成するため、第３の発明の画像処理方法は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が垂直方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、第１及び第２の演算ステップにより得られる拡大画像を２分割して一組のステレオ画像を分離出力する上下分離ステップとを含むことを特徴とする。
【００１５】
また、上記の目的を達成するため、第４の発明の画像処理装置は、入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算手段と、第１乃至第４の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差と、第３の画素差総計から平均値を減算した第３の偏差と、第４の画素差総計から平均値を減算した第４の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右上の画素の画素値を得る第２の演算手段と、入力画像の処理対象の注目画素の画素値から第３の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち左下の画素の画素値を得る第３の演算手段と、入力画像の処理対象の注目画素の画素値から第４の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右下の画素の画素値を得る第４の演算手段とを有することを特徴とする。
【００１６】
また、上記の目的を達成するため、第５の発明の画像処理装置は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、第１及び第２の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち右の画素の画素値を得る第２の演算手段と、第１及び第２の演算手段から出力される拡大画像を２分割して一組のステレオ画像を分離出力する左右分離手段とを有することを特徴とする。
【００１７】
また、上記の目的を達成するため、第６の発明の画像処理装置は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、第１及び第２の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が垂直方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち下の画素の画素値を得る第２の演算手段と、第１及び第２の演算手段から出力される拡大画像を２分割して一組のステレオ画像を分離出力する上下分離手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、マルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細な高解像度画像への解像度変換を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像処理装置の第１の実施の形態のブロック図である。
【図２】本発明の画像処理方法の第１の実施の形態のフローチャートである。
【図３】本発明の第１の実施の形態の入力画像の画素配列を示す図である。
【図４】本発明の第１の実施の形態により得られる拡大画像の画素配列を示す図である。
【図５】本発明の画像処理装置の第２の実施の形態のブロック図である。
【図６】本発明の画像処理方法の第２の実施の形態のフローチャートである。
【図７】ステレオ画像の一例を示す図である。
【図８】本発明の第２の実施の形態の入力画像の一例を示す図である。
【図９】本発明の第２、第３の実施の形態の入力画像の画素配列を示す図である。
【図１０】本発明の第２の実施の形態により得られる拡大画像の画素配列を示す図である。
【図１１】本発明の画像処理装置の第３の実施の形態のブロック図である。
【図１２】本発明の画像処理方法の第３の実施の形態のフローチャートである。
【図１３】本発明の第３の実施の形態の入力画像の一例を示す図である。
【図１４】本発明の第３の実施の形態により得られる拡大画像の画素配列を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２１】
（第１の実施の形態）
図１は、本発明になる画像処理装置の第１の実施の形態のブロック図、図２は、本発明になる画像処理方法の第１の実施の形態のフローチャートを示す。
【００２２】
図１において、本実施の形態の画像処理装置１００は、低解像度画像入力部１０１と、４つの画素差総計計算部１０２〜１０５と、平均値計算部１０６と、４つの偏差計算部１０７〜１１０と、偏差計算部１０７〜１１０に対応して設けられた４つの乗算部１１１〜１１４と、乗算部１１１〜１１４に対応して設けられた４つの減算部１１５〜１１８と、減算部１１５〜１１８から出力された信号を合成して高解像度画像として出力する高解像度画像出力部１１９とより構成される。
【００２３】
低解像度画像入力部１０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像である。本実施の形態の画像処理装置１００は、この低解像度画像から２００％サイズの高解像度画像を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置１００は、図３に示すように、入力される低解像度画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて高解像度化の画像処理を行うものとする。
【００２４】
画素差総計計算部１０２〜１０５は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部１０６は、画素差総計計算部１０２〜１０５からそれぞれ出力される４つの画素差総計の平均値を計算する。偏差計算部１０７〜１１０は、対応して設けられた画素差総計計算部１０２〜１０５からの画素差総計と平均値計算部１０６から出力される平均値との差を偏差として計算する。乗算部１１１〜１１４は、対応して設けられた偏差計算部１０７から出力される偏差と定数Ｋとを乗算する。減算部１１５〜１１８は、低解像度画像入力部１０１に入力される低解像度画像の画素値から対応して設けられた乗算部１１１〜１１４から出力される乗算結果を減算して、それぞれ拡大後の左上、右上、左下、右下の画素の画素値を出力する。
【００２５】
次に、本実施の形態の画像処理装置１００の動作について、図２のフローチャートを併せ参照して説明する。
【００２６】
まず、低解像度画像入力部１０１が処理対象前の画像である低解像度画像を取り込む（ステップＳ１）。続いて、画素差総計計算部１０２〜１０５が低解像度画像入力部１０１から出力される低解像度画像に対して画素差総計をそれぞれ計算する（ステップＳ２）。ここで、画素差総計計算部１０２は、入力される低解像度画像の図３に示した処理対象の注目画素「４」の画素値（以下、これをyl[4]と記す）と注目画素の左上の画素「０」の画素値（以下、これをyl[0]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値（以下、これをyl[3]と記す）との差、及びyl[4]と注目画素の上の画素「１」の画素値（以下、これをyl[1]と記す）との差の総計（これを「ｓｕｂ０」とする）を計算する。
【００２７】
また、画素差総計計算部１０３は、yl[4]と注目画素の右上の画素「２」の画素値（以下、これをyl[2]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値（以下、これをyl[5]と記す）との差の総計（これを「ｓｕｂ１」とする）を計算する。
【００２８】
また、画素差総計計算部１０４は、yl[4]と注目画素の左下の画素「６」の画素値（以下、これをyl[6]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[3]との差、及びyl[4]と注目画素の下の画素「７」の画素値（以下、これをyl[7]と記す）との差の総計（これを「ｓｕｂ２」とする）を計算する。
【００２９】
更に、画素差総計計算部１０５は、yl[4]と注目画素の右下の画素「８」の画素値（以下、これをyl[8]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[5]との差、及びyl[4]と注目画素とyl[7]との差の総計（これを「ｓｕｂ３」とする）を計算する。従って、以上の画素差総計計算部１０４〜１０５の各計算結果である画素差総計ｓｕｂ０〜ｓｕｂ３は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００３０】
ｓｕｂ０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3]) （１）
ｓｕｂ１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5]) （２）
ｓｕｂ２＝0.7×(yl[4]-yl[6])＋(yl[4]-yl[3])＋(yl[4]-yl[7]) （３）
ｓｕｂ３＝0.7×(yl[4]-yl[8])＋(yl[4]-yl[5])＋(yl[4]-yl[7]) （４）
この画素差総計ｓｕｂ０〜ｓｕｂ３は、注目画素の画素値yl[4]が、左上、右上、左下、右下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ０〜ｓｕｂ３を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ０〜ｓｕｂ３の値は、正又は負の値又は０である。
【００３１】
次に、平均値計算部１０６が画素差総計ｓｕｂ０〜ｓｕｂ３の平均値（これを「ａｖｅ」とする）を次式により計算する（ステップＳ３）。
【００３２】
ａｖｅ＝（ｓｕｂ０＋ｓｕｂ１＋ｓｕｂ２＋ｓｕｂ３）／４ （５）
次に、偏差計算部１０７〜１１０が、対応して設けられた画素差総計計算部１０２〜１０５により計算された画素差総計ｓｕｂ０〜ｓｕｂ３と、平均値計算部１０６により計算された平均値ａｖｅとの差を偏差として計算する（ステップＳ４）。従って、偏差計算部１０７の計算結果である偏差ａｄｊ０、偏差計算部１０８の計算結果である偏差ａｄｊ１、偏差計算部１０９の計算結果である偏差ａｄｊ２、偏差計算部１１０の計算結果である偏差ａｄｊ３は、それぞれ次式で表される。
【００３３】
ａｄｊ０＝ｓｕｂ０−ａｖｅ （６）
ａｄｊ１＝ｓｕｂ１−ａｖｅ （７）
ａｄｊ２＝ｓｕｂ２−ａｖｅ （８）
ａｄｊ３＝ｓｕｂ３−ａｖｅ （９）
次に、乗算部１１１、１１２、１１３、１１４が、対応して設けられた偏差計算部１０７、１０８、１０９、１１０により計算された偏差ａｄｊ０、ａｄｊ１、ａｄｊ２、ａｄｊ３にそれぞれ定数Ｋを乗算する（ステップＳ５）。なお、定数Ｋは、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００３４】
次に、減算部１１５〜１１８は、低解像度画像入力部１０１により取り込まれた低解像度画像の注目画素の画素値yl[4]から、対応して設けられた乗算部１１１〜１１４の乗算結果を減算する（ステップＳ６）。これら減算部１１５〜１１８により得られる４つの減算結果は、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値（以下、これらをyh[4al]、yh[4ar]、yh[4bl]、yh[4br]と記す）を示す。ここで、上記の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」は、図４に示すように、縦６個、横６個の計３６個の中心の４個の画素であり、画素「４ａｌ」は拡大後の左上の画素、画素「４ａｒ」は拡大後の右上の画素、画素「４ｂｌ」は拡大後の左下の画素、画素「４ｂｒ」は拡大後の右下の画素である。
【００３５】
上記の減算部１１５から出力される減算結果が示す画素値yh[4al]、減算部１１６から出力される減算結果が示す画素値yh[4ar]、減算部１１７から出力される減算結果が示す画素値yh[4bl]、減算部１１８から出力される減算結果が示す画素値yh[4br]は、それぞれ次式で表される。
【００３６】
yh[4al]＝yl[4]−Ｋ・adj0 (10)
yh[4ar]＝yl[4]−Ｋ・adj1 (11)
yh[4bl]＝yl[4]−Ｋ・adj2 (12)
yh[4br]＝yl[4]−Ｋ・adj3 (13)
そして、高解像度画像出力部１１９は、上記の減算部１１５〜１１８により得られる４つの減算結果を合成して、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の、前記注目画素と同じサイズの図４に示す４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値として出力する（ステップＳ７）。
【００３７】
ここで、上記の４つの偏差ａｄｊ０〜ａｄｊ３の合計値は、平均値ａｖｅからの偏差の平均なので０になる。結果的に次式が成立する。
【００３８】
(yh[4al]＋yh[4ar]＋yh[4bl]＋yh[4br])／４＝yl[4] (14)
これは、高解像度化を行っても４画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００３９】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高解像度画像を得ることができる。
【００４０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図５は、本発明になる画像処理装置の第２の実施の形態のブロック図、図６は、本発明になる画像処理方法の第２の実施の形態のフローチャートを示す。
【００４１】
図５において、本実施の形態の画像処理装置２００は、低解像度画像入力部２０１と、２つの画素差総計計算部２０２及び２０３と、平均値計算部２０４と、２つの偏差計算部２０５及び２０６と、偏差計算部２０５及び２０６に対応して設けられた２つの乗算部２０７及び２０８と、乗算部２０７及び２０８に対応して設けられた２つの減算部２０９及び２１０と、減算部２０９及び２１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部２１１と、高解像度画像を左右に分離する左右分離部２１２とより構成される。
【００４２】
低解像度画像入力部２０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＳＢＳ(Side-By-Side)方式の画像（以下、ＳＢＳ画像という）である。ここで、ＳＢＳ画像は、図７に示す１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）をそれぞれ水平方向に１／２にサイズを圧縮して得られた、図８に示す圧縮左目用画像１２Ａ及び圧縮右目用画像１２Ｂをそれぞれ水平方向に並べて１フレームとして伝送される画像である。
【００４３】
本実施の形態の画像処理装置２００は、このＳＢＳ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置２００は、図９に示すように、入力されるＳＢＳ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００４４】
画素差総計計算部２０２及び２０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部２０４は、画素差総計計算部２０２及び２０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部２０５及び２０６は、対応して設けられた画素差総計計算部２０２及び２０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部２０７及び２０８は、対応して設けられた偏差計算部２０５及び２０６から出力される偏差と定数Ｋ１とを乗算する。減算部２０９及び２１０は、低解像度画像入力部２０１に入力される低解像度画像の画素値から対応して設けられた乗算部２０７及び２０８の乗算結果を減算して、それぞれ１フレームの画像サイズが水平方向に２倍に拡大された画素の画素値を出力する。左右分離部２１２は、高解像度画像出力部２１１から出力される１フレームの画像サイズが水平方向に２倍に拡大された画素からなる高解像度画像を左右に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００４５】
次に、本実施の形態の画像処理装置２００の動作について、図６のフローチャート等を併せ参照して説明する。
【００４６】
まず、低解像度画像入力部２０１が図８に示したような処理対象前の低解像度画像であるＳＢＳ画像を取り込む（ステップＳ１１）。続いて、画素差総計計算部２０２及び２０３が低解像度画像入力部２０１から出力されるＳＢＳ画像に対して画素差総計をそれぞれ計算する（ステップＳ１２）。ここで、画素差総計計算部２０２は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１０」とする）を計算する。
【００４７】
また、画素差総計計算部２０３は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１１」とする）を計算する。従って、以上の画素差総計計算部２０２及び２０３の各計算結果である画素差総計ｓｕｂ１０及びｓｕｂ１１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００４８】
ｓｕｂ１０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3])
＋0.7×(yl[4]-yl[6])＋(yl[4]-yl[7]) (15)
ｓｕｂ１１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5])
＋0.7×(yl[4]-yl[8])＋(yl[4]-yl[7]) (16)
この画素差総計ｓｕｂ１０及びｓｕｂ１１は、注目画素の画素値yl[4]が、左、右に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ１０及びｓｕｂ１１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ１０及びｓｕｂ１１の値は、正又は負の値又は０である。
【００４９】
次に、平均値計算部２０４が画素差総計ｓｕｂ１０及びｓｕｂ１１の平均値（これを「ａｖｅ１」とする）を次式により計算する（ステップＳ１３）。
【００５０】
ａｖｅ１＝（ｓｕｂ１０＋ｓｕｂ１１）／２ （17）
次に、偏差計算部２０５及び２０６が、対応して設けられた画素差総計計算部２０２及び２０３により計算された画素差総計ｓｕｂ１０及びｓｕｂ１２と、平均値計算部２０４により計算された平均値ａｖｅ１との差を偏差として計算する（ステップＳ１４）。従って、偏差計算部２０５の計算結果である偏差ａｄｊ１０、偏差計算部２０６の計算結果である偏差ａｄｊ１１は、それぞれ次式で表される。
【００５１】
ａｄｊ１０＝ｓｕｂ１０−ａｖｅ１ （18）
ａｄｊ１１＝ｓｕｂ１１−ａｖｅ１ （19）
次に、乗算部２０７、２０８が、対応して設けられた偏差計算部２０５、２０６により計算された偏差ａｄｊ１０、ａｄｊ１１にそれぞれ定数Ｋ１を乗算する（ステップＳ１５）。なお、定数Ｋ１は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００５２】
次に、減算部２０９、２１０は、低解像度画像入力部２０１により取り込まれたＳＢＳ画像の注目画素の画素値yl[4]から、対応して設けられた乗算部２０７、２０８の乗算結果を減算する（ステップＳ１６）。これら減算部２０７及び２０８により得られる２つの減算結果は、ＳＢＳ画像の注目画素「４」の水平方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値（以下、これらをyh[4l]、yh[4r]と記す）を示す。ここで、上記の２つの画素「４ｌ」、「４ｒ」は、図１０に示すように、縦３個、横６個の計１８個の中心の２個の画素であり、画素「４ｌ」は拡大後の左の画素、画素「４ｒ」は拡大後の右の画素である。
【００５３】
上記の減算部２０９から出力される減算結果が示す画素値yh[4l]、減算部２１０から出力される減算結果が示す画素値yh[4r]は、それぞれ次式で表される。
【００５４】
yh[4l]＝yl[4]−Ｋ１・adj10 (20)
yh[4r]＝yl[4]−Ｋ１・adj11 (21)
続いて、高解像度画像出力部２１１は、上記の減算部２０９及び２１０により得られる２つの減算結果を合成して、ＳＢＳ画像の注目画素「４」の水平方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値として出力する（ステップＳ１７）。そして、左右分離部２１２は、高解像度画像出力部２１１から出力される各画素の水平方向のサイズが入力時の２倍に拡大された高解像度画像の水平方向の中央位置で左右に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ１８）。
【００５５】
ここで、上記の２つの偏差ａｄｊ１０とａｄｊ１１との合計値は、平均値ａｖｅ１からの偏差の平均なので０になる。結果的に次式が成立する。
【００５６】
(yh[4l]＋yh[4r])／２＝yl[4] (22)
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００５７】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細なＳＢＳ画像の復号が実現される。
【００５８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１１は、本発明になる画像処理装置の第３の実施の形態のブロック図、図１２は、本発明になる画像処理方法の第３の実施の形態のフローチャートを示す。
【００５９】
図１１において、本実施の形態の画像処理装置３００は、低解像度画像入力部３０１と、２つの画素差総計計算部３０２及び３０３と、平均値計算部３０４と、２つの偏差計算部３０５及び３０６と、偏差計算部３０５及び３０６に対応して設けられた２つの乗算部３０７及び３０８と、乗算部３０７及び３０８に対応して設けられた２つの減算部３０９及び３１０と、減算部３０９及び３１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部３１１と、高解像度画像を上下に分離する上下分離部３１２とより構成される。
【００６０】
低解像度画像入力部３０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＡＢ（Above-Below）方式の画像（以下、ＡＢ画像という）である。ここで、ＡＢ画像は、図７に示した１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ垂直方向に１／２にサイズを圧縮して得られた、図１３に示す圧縮左目用画像１３Ａ及び圧縮右目用画像１３Ｂをそれぞれ垂直方向に並べて１フレームとして伝送される画像である。
【００６１】
本実施の形態の画像処理装置３００は、このＡＢ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置３００は、図９に示したように、入力されるＡＢ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００６２】
画素差総計計算部３０２及び３０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部３０４は、画素差総計計算部３０２及び３０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部３０５及び３０６は、対応して設けられた画素差総計計算部３０２及び３０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部３０７及び３０８は、対応して設けられた偏差計算部３０５及び３０６から出力される偏差と定数Ｋ２とを乗算する。減算部３０９及び３１０は、低解像度画像入力部３０１に入力される低解像度画像の画素値から対応して設けられた乗算部３０７及び３０８の乗算結果を減算して、それぞれ１フレームの画像サイズが垂直方向に２倍に拡大された画素の画素値を出力する。上下分離部３１２は、高解像度画像出力部３１１から出力される１フレームの画像サイズが垂直方向に２倍に拡大された画素からなる高解像度画像を上下に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００６３】
次に、本実施の形態の画像処理装置３００の動作について、図１２のフローチャート等を併せ参照して説明する。
【００６４】
まず、低解像度画像入力部３０１が図１３に示したような処理対象前の低解像度画像であるＡＢ画像を取り込む（ステップＳ２１）。続いて、画素差総計計算部３０２及び３０３が低解像度画像入力部３０１から出力されるＡＢ画像に対して画素差総計をそれぞれ計算する（ステップＳ２２）。ここで、画素差総計計算部３０２は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差の総計（これを「ｓｕｂ２０」とする）を計算する。
【００６５】
また、画素差総計計算部３０３は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ２１」とする）を計算する。従って、以上の画素差総計計算部３０２及び３０３の各計算結果である画素差総計ｓｕｂ２０及びｓｕｂ２１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００６６】
ｓｕｂ２０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋0.7×(yl[4]-yl[2])
＋(yl[4]-yl[3])＋(yl[4]-yl[5]) (23)
ｓｕｂ２１＝(yl[4]-yl[3])＋(yl[4]-yl[5])＋0.7×(yl[4]-yl[6])
＋(yl[4]-yl[7])＋0.7×(yl[4]-yl[8]) (24)
この画素差総計ｓｕｂ２０及びｓｕｂ２１は、注目画素の画素値yl[4]が、上、下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ２０及びｓｕｂ２１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ２０及びｓｕｂ２１の値は、正又は負の値又は０である。
【００６７】
次に、平均値計算部３０４が画素差総計ｓｕｂ２０及びｓｕｂ２１の平均値（これを「ａｖｅ２」とする）を次式により計算する（ステップＳ２３）。
【００６８】
ａｖｅ２＝（ｓｕｂ２０＋ｓｕｂ２１）／２ （25）
次に、偏差計算部３０５及び３０６が、対応して設けられた画素差総計計算部３０２及び３０３により計算された画素差総計ｓｕｂ２０及びｓｕｂ２１と、平均値計算部３０４により計算された平均値ａｖｅ２との差を偏差として計算する（ステップＳ２４）。従って、偏差計算部３０５の計算結果である偏差ａｄｊ２０、偏差計算部３０６の計算結果である偏差ａｄｊ２１は、それぞれ次式で表される。
【００６９】
ａｄｊ２０＝ｓｕｂ２０−ａｖｅ２ （26）
ａｄｊ２１＝ｓｕｂ２１−ａｖｅ２ （27）
次に、乗算部３０７、３０８が、対応して設けられた偏差計算部３０５、３０６により計算された偏差ａｄｊ２０、ａｄｊ２１にそれぞれ定数Ｋ２を乗算する（ステップＳ２５）。なお、定数Ｋ２は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００７０】
次に、減算部３０９、３１０は、低解像度画像入力部３０１により取り込まれたＡＢ画像の注目画素の画素値yl[4]から、対応して設けられた乗算部３０７、３０８の乗算結果を減算する（ステップＳ２６）。これら減算部３０７及び３０８により得られる２つの減算結果は、ＡＢ画像の注目画素「４」の垂直方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値（以下、これらをyh[4a]、yh[4b]と記す）を示す。ここで、上記の２つの画素「４ａ」、「４ｂ」は、図１４に示すように、縦６個、横３個の計１８個の中心の２個の画素であり、画素「４ａ」は拡大後の上の画素、画素「４ｂ」は拡大後の下の画素である。
【００７１】
上記の減算部３０９から出力される減算結果が示す画素値yh[4a]、減算部３１０から出力される減算結果が示す画素値yh[4b]は、それぞれ次式で表される。
【００７２】
yh[4a]＝yl[4]−Ｋ２・adj20 (28)
yh[4b]＝yl[4]−Ｋ２・adj21 (29)
続いて、高解像度画像出力部３１１は、上記の減算部３０９及び３１０により得られる２つの減算結果を合成して、ＡＢ画像の注目画素「４」の垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値として出力する（ステップＳ２７）。そして、上下分離部３１２は、高解像度画像出力部３１１から出力される各画素の垂直方向のサイズが入力時の２倍に拡大された高解像度画像の垂直方向の中央位置で上下に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ２８）。
【００７３】
ここで、上記の２つの偏差ａｄｊ２０とａｄｊ２１との合計値は、平均値ａｖｅ２からの偏差の平均なので０になる。結果的に次式が成立する。
【００７４】
(yh[4a]＋yh[4b])／２＝yl[4] (30)
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００７５】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細なＡＢ画像の復号が実現される。
【００７６】
なお、本発明は、ハードウェアの画像拡大処理に限定されるものでなく、コンピュータプログラムにより処理することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００７７】
１００、２００、３００ 画像処理装置
１０１、２０１、３０１ 低解像度画像入力部
１０２〜１０５、２０２、２０３、３０２、３０３ 画素差総計計算部
１０６、２０４、３０４ 平均値計算部
１０７〜１１０、２０５、２０６、３０５、３０６ 偏差計算部
１１１〜１１４、２０７、２０８、３０７、３０８ 乗算部
１１５〜１１８、２０９、２１０、３０９、３１０ 減算部
１１９、２１１、３１１ 高解像度画像出力部
２１２ 左右分離部
３１２ 上下分離部
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に係り、特に画像の水平方向及び垂直方向の少なくとも一方向のサイズを１枚のフレーム単位で拡大する解像度変換を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。新たに制作されるコンテンツに関して高精細な撮影がされる傾向があるのは当然ながら、旧来の非高解像度で制作されているコンテンツに関しても高解像度化された形で視聴したいという要求が高まっている。
【０００３】
また、近年の立体映像（３Ｄ映像）への関心の高まりに伴い、ステレオ映像の伝送・記録のための規格に関する議論が盛んになっている。中でもサイドバイサイド（Side-by-Side;ＳＢＳ)方式とアバブビロー(Above-Below;ＡＢ)方式は２つの画面をそれぞれ水平・垂直に圧縮したものを１画面として伝送するものであるため、従来の伝送系をそのまま使える上に左右チャネルの同期を考慮する心配がないという特長を有する。特にＳＢＳ方式は放送・配信系の３Ｄコンテンツの標準規格の一つになりそうな情勢にある（非特許文献１参照）。
【０００４】
現状の多くのテレビ装置においても非高解像度コンテンツを補間技術により画素数のみについては高精細パネルに見合ったものに増加させているが、本来の意味での高解像度化は事実上行われていない。
【０００５】
低解像度画像から高解像度画像を生成する試みは古くから行われており、複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。低解像度動画から高精細動画を作成する手法についても特許文献１他数多く検討されている。フレーム内での繰り返し部分や類似部分を利用した高解像度化技術も多数存在する。
【０００６】
近年は特許文献２などのようにＭＡＰ(Maximum A Posteriori)推定方式による画像拡大も盛んであり高性能とされている。ＭＡＰ推定では一般に、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理を行う。フレーム内処理におけるＭＡＰ推定では、低解像度画像ｙが与えられたときに高解像度画像ｚが得られる確率を最大にするような計算処理を行う。非特許文献２の第２章に解説されているように、本質的には、（１）高解像度画像ｚについて４画素平均を行って縮小したものが低解像度画像ｙになること、（２）拡大画像の画素値がマルコフ性（個々の属性値がごく近傍の属性値のみに依存する）を満たすという２つの条件を満たすように計算する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−５６７８９号公報
【特許文献２】特開２００８−３３９１４号公報
【非特許文献１】平成２２年９月２８日検索、インターネット＜ＵＲＬ：http://ja.wikipedia.org/wiki/立体テレビ放送＞
【非特許文献２】武久泰夫、“統計的手法を用いた画像の高解像度化に関する研究”、長野県情報技術試験場研究報告、No.18,pp.28〜34,2002.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の高解像度化技術は、多くがフィルタによる補間もしくは類似部分の統合に依存している。フィルタによる補間においては、出力画像は一般的に平板なものになりがちであり、細部における原画のテクスチャが持つ風合いや感触を表現することが困難である。
【０００９】
また、前述したＳＢＳ方式とＡＢ方式は、２つの画面をそれぞれ水平・垂直に圧縮するプロセスで水平・垂直画素数が半分になっているので、一般的なバイリニア方式やバイキュービック方式で本来のサイズに復号された２枚の画像について、それぞれ水平・垂直方向の解像度が低くなってしまうことが課題である。
【００１０】
前記のフィルタによる補間の課題や、ＳＢＳ方式とＡＢ方式の画像をバイリニア方式やバイキュービック方式で本来のサイズに復号した画像の解像度低下の課題は、ＭＡＰ推定による処理によりある程度は改善できる。しかし、ＭＡＰ推定では前記の２条件を満たす最適解を直接導出するのは極めて困難であり、事実上は数十〜数百回繰り返し計算で解を収束させていく必要がある。更に、ＭＡＰ推定により繰り返し計算することは拡大画像のサイズのフレームメモリの必要性も意味する。このような理由からＭＡＰ推定は品質については評価されつつも、大きな計算リソース及びフレームメモリが必要であることが問題である。
【００１１】
本発明は以上の点に鑑みなされたもので、ＭＡＰ推定に比べて計算時間を大幅に短縮し得ると共にフレームメモリを用いることなくＭＡＰ推定に準ずる高画質な画像が得られる画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、第１発明の画像処理方法は、入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、第１乃至第４の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差と、第３の画素差総計から平均値を減算した第３の偏差と、第４の画素差総計から平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、入力画像の処理対象の注目画素の画素値から第３の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、入力画像の処理対象の注目画素の画素値から第４の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップとを含むことを特徴とする。
【００１３】
また、上記の目的を達成するため、第２の発明の画像処理方法は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、第１及び第２の演算ステップにより得られる拡大画像を２分割して一組のステレオ画像を分離出力する左右分離ステップとを含むことを特徴とする。
【００１４】
また、上記の目的を達成するため、第３の発明の画像処理方法は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が垂直方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、第１及び第２の演算ステップにより得られる拡大画像を２分割して一組のステレオ画像を分離出力する上下分離ステップとを含むことを特徴とする。
【００１５】
また、上記の目的を達成するため、第４の発明の画像処理装置は、入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算手段と、第１乃至第４の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差と、第３の画素差総計から平均値を減算した第３の偏差と、第４の画素差総計から平均値を減算した第４の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右上の画素の画素値を得る第２の演算手段と、入力画像の処理対象の注目画素の画素値から第３の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち左下の画素の画素値を得る第３の演算手段と、入力画像の処理対象の注目画素の画素値から第４の偏差に定数を乗じた値を減じて、拡大画像の４画素のうち右下の画素の画素値を得る第４の演算手段とを有することを特徴とする。
【００１６】
また、上記の目的を達成するため、第５の発明の画像処理装置は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、第１及び第２の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が水平方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち右の画素の画素値を得る第２の演算手段と、第１及び第２の演算手段から出力される拡大画像を２分割して一組のステレオ画像を分離出力する左右分離手段とを有することを特徴とする。
【００１７】
また、上記の目的を達成するため、第６の発明の画像処理装置は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、入力画像の処理対象の注目画素の画素値と、注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、第１及び第２の画素差総計の平均値を計算する平均値計算手段と、第１の画素差総計から平均値を減算した第１の偏差と、第２の画素差総計から平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、入力画像の処理対象の注目画素の画素値から第１の偏差に定数を乗じた値を減じて、入力画像が垂直方向に２倍サイズに拡大された拡大画像の注目画素に対応した位置の注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算手段と、入力画像の処理対象の注目画素の画素値から第２の偏差に定数を乗じた値を減じて、拡大画像の２画素のうち下の画素の画素値を得る第２の演算手段と、第１及び第２の演算手段から出力される拡大画像を２分割して一組のステレオ画像を分離出力する上下分離手段とを有することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、マルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細な高解像度画像への解像度変換を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の画像処理装置の第１の実施の形態のブロック図である。
【図２】本発明の画像処理方法の第１の実施の形態のフローチャートである。
【図３】本発明の第１の実施の形態の入力画像の画素配列を示す図である。
【図４】本発明の第１の実施の形態により得られる拡大画像の画素配列を示す図である。
【図５】本発明の画像処理装置の第２の実施の形態のブロック図である。
【図６】本発明の画像処理方法の第２の実施の形態のフローチャートである。
【図７】ステレオ画像の一例を示す図である。
【図８】本発明の第２の実施の形態の入力画像の一例を示す図である。
【図９】本発明の第２、第３の実施の形態の入力画像の画素配列を示す図である。
【図１０】本発明の第２の実施の形態により得られる拡大画像の画素配列を示す図である。
【図１１】本発明の画像処理装置の第３の実施の形態のブロック図である。
【図１２】本発明の画像処理方法の第３の実施の形態のフローチャートである。
【図１３】本発明の第３の実施の形態の入力画像の一例を示す図である。
【図１４】本発明の第３の実施の形態により得られる拡大画像の画素配列を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００２１】
（第１の実施の形態）
図１は、本発明になる画像処理装置の第１の実施の形態のブロック図、図２は、本発明になる画像処理方法の第１の実施の形態のフローチャートを示す。
【００２２】
図１において、本実施の形態の画像処理装置１００は、低解像度画像入力部１０１と、４つの画素差総計計算部１０２〜１０５と、平均値計算部１０６と、４つの偏差計算部１０７〜１１０と、偏差計算部１０７〜１１０に対応して設けられた４つの乗算部１１１〜１１４と、乗算部１１１〜１１４に対応して設けられた４つの減算部１１５〜１１８と、減算部１１５〜１１８から出力された信号を合成して高解像度画像として出力する高解像度画像出力部１１９とより構成される。
【００２３】
低解像度画像入力部１０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像である。本実施の形態の画像処理装置１００は、この低解像度画像から２００％サイズの高解像度画像を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置１００は、図３に示すように、入力される低解像度画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて高解像度化の画像処理を行うものとする。
【００２４】
画素差総計計算部１０２〜１０５は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部１０６は、画素差総計計算部１０２〜１０５からそれぞれ出力される４つの画素差総計の平均値を計算する。偏差計算部１０７〜１１０は、対応して設けられた画素差総計計算部１０２〜１０５からの画素差総計と平均値計算部１０６から出力される平均値との差を偏差として計算する。乗算部１１１〜１１４は、対応して設けられた偏差計算部１０７から出力される偏差と定数Ｋとを乗算する。減算部１１５〜１１８は、低解像度画像入力部１０１に入力される低解像度画像の画素値から対応して設けられた乗算部１１１〜１１４から出力される乗算結果を減算して、それぞれ拡大後の左上、右上、左下、右下の画素の画素値を出力する。
【００２５】
次に、本実施の形態の画像処理装置１００の動作について、図２のフローチャートを併せ参照して説明する。
【００２６】
まず、低解像度画像入力部１０１が処理対象前の画像である低解像度画像を取り込む（ステップＳ１）。続いて、画素差総計計算部１０２〜１０５が低解像度画像入力部１０１から出力される低解像度画像に対して画素差総計をそれぞれ計算する（ステップＳ２）。ここで、画素差総計計算部１０２は、入力される低解像度画像の図３に示した処理対象の注目画素「４」の画素値（以下、これをyl[4]と記す）と注目画素の左上の画素「０」の画素値（以下、これをyl[0]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値（以下、これをyl[3]と記す）との差、及びyl[4]と注目画素の上の画素「１」の画素値（以下、これをyl[1]と記す）との差の総計（これを「ｓｕｂ０」とする）を計算する。
【００２７】
また、画素差総計計算部１０３は、yl[4]と注目画素の右上の画素「２」の画素値（以下、これをyl[2]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値（以下、これをyl[5]と記す）との差の総計（これを「ｓｕｂ１」とする）を計算する。
【００２８】
また、画素差総計計算部１０４は、yl[4]と注目画素の左下の画素「６」の画素値（以下、これをyl[6]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[3]との差、及びyl[4]と注目画素の下の画素「７」の画素値（以下、これをyl[7]と記す）との差の総計（これを「ｓｕｂ２」とする）を計算する。
【００２９】
更に、画素差総計計算部１０５は、yl[4]と注目画素の右下の画素「８」の画素値（以下、これをyl[8]と記す）との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]とyl[5]との差、及びyl[4]と注目画素とyl[7]との差の総計（これを「ｓｕｂ３」とする）を計算する。従って、以上の画素差総計計算部１０４〜１０５の各計算結果である画素差総計ｓｕｂ０〜ｓｕｂ３は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００３０】
ｓｕｂ０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3]) （１）
ｓｕｂ１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5]) （２）
ｓｕｂ２＝0.7×(yl[4]-yl[6])＋(yl[4]-yl[3])＋(yl[4]-yl[7]) （３）
ｓｕｂ３＝0.7×(yl[4]-yl[8])＋(yl[4]-yl[5])＋(yl[4]-yl[7]) （４）
この画素差総計ｓｕｂ０〜ｓｕｂ３は、注目画素の画素値yl[4]が、左上、右上、左下、右下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ０〜ｓｕｂ３を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ０〜ｓｕｂ３の値は、正又は負の値又は０である。
【００３１】
次に、平均値計算部１０６が画素差総計ｓｕｂ０〜ｓｕｂ３の平均値（これを「ａｖｅ」とする）を次式により計算する（ステップＳ３）。
【００３２】
ａｖｅ＝（ｓｕｂ０＋ｓｕｂ１＋ｓｕｂ２＋ｓｕｂ３）／４ （５）
次に、偏差計算部１０７〜１１０が、対応して設けられた画素差総計計算部１０２〜１０５により計算された画素差総計ｓｕｂ０〜ｓｕｂ３と、平均値計算部１０６により計算された平均値ａｖｅとの差を偏差として計算する（ステップＳ４）。従って、偏差計算部１０７の計算結果である偏差ａｄｊ０、偏差計算部１０８の計算結果である偏差ａｄｊ１、偏差計算部１０９の計算結果である偏差ａｄｊ２、偏差計算部１１０の計算結果である偏差ａｄｊ３は、それぞれ次式で表される。
【００３３】
ａｄｊ０＝ｓｕｂ０−ａｖｅ （６）
ａｄｊ１＝ｓｕｂ１−ａｖｅ （７）
ａｄｊ２＝ｓｕｂ２−ａｖｅ （８）
ａｄｊ３＝ｓｕｂ３−ａｖｅ （９）
次に、乗算部１１１、１１２、１１３、１１４が、対応して設けられた偏差計算部１０７、１０８、１０９、１１０により計算された偏差ａｄｊ０、ａｄｊ１、ａｄｊ２、ａｄｊ３にそれぞれ定数Ｋを乗算する（ステップＳ５）。なお、定数Ｋは、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００３４】
次に、減算部１１５〜１１８は、低解像度画像入力部１０１により取り込まれた低解像度画像の注目画素の画素値yl[4]から、対応して設けられた乗算部１１１〜１１４の乗算結果を減算する（ステップＳ６）。これら減算部１１５〜１１８により得られる４つの減算結果は、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値（以下、これらをyh[4al]、yh[4ar]、yh[4bl]、yh[4br]と記す）を示す。ここで、上記の４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」は、図４に示すように、縦６個、横６個の計３６個の中心の４個の画素であり、画素「４ａｌ」は拡大後の左上の画素、画素「４ａｒ」は拡大後の右上の画素、画素「４ｂｌ」は拡大後の左下の画素、画素「４ｂｒ」は拡大後の右下の画素である。
【００３５】
上記の減算部１１５から出力される減算結果が示す画素値yh[4al]、減算部１１６から出力される減算結果が示す画素値yh[4ar]、減算部１１７から出力される減算結果が示す画素値yh[4bl]、減算部１１８から出力される減算結果が示す画素値yh[4br]は、それぞれ次式で表される。
【００３６】
yh[4al]＝yl[4]−Ｋ・adj0 (10)
yh[4ar]＝yl[4]−Ｋ・adj1 (11)
yh[4bl]＝yl[4]−Ｋ・adj2 (12)
yh[4br]＝yl[4]−Ｋ・adj3 (13)
そして、高解像度画像出力部１１９は、上記の減算部１１５〜１１８により得られる４つの減算結果を合成して、低解像度画像の注目画素「４」の水平方向、垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の、前記注目画素と同じサイズの図４に示す４つの画素「４ａｌ」、「４ａｒ」、「４ｂｌ」、「４ｂｒ」の画素値として出力する（ステップＳ７）。
【００３７】
ここで、上記の４つの偏差ａｄｊ０〜ａｄｊ３の合計値は、平均値ａｖｅからの偏差の平均なので０になる。結果的に次式が成立する。
【００３８】
(yh[4al]＋yh[4ar]＋yh[4bl]＋yh[4br])／４＝yl[4] (14)
これは、高解像度化を行っても４画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００３９】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高解像度画像を得ることができる。
【００４０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図５は、本発明になる画像処理装置の第２の実施の形態のブロック図、図６は、本発明になる画像処理方法の第２の実施の形態のフローチャートを示す。
【００４１】
図５において、本実施の形態の画像処理装置２００は、低解像度画像入力部２０１と、２つの画素差総計計算部２０２及び２０３と、平均値計算部２０４と、２つの偏差計算部２０５及び２０６と、偏差計算部２０５及び２０６に対応して設けられた２つの乗算部２０７及び２０８と、乗算部２０７及び２０８に対応して設けられた２つの減算部２０９及び２１０と、減算部２０９及び２１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部２１１と、高解像度画像を左右に分離する左右分離部２１２とより構成される。
【００４２】
低解像度画像入力部２０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＳＢＳ(Side-By-Side)方式の画像（以下、ＳＢＳ画像という）である。ここで、ＳＢＳ画像は、図７に示す１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）をそれぞれ水平方向に１／２にサイズを圧縮して得られた、図８に示す圧縮左目用画像１２Ａ及び圧縮右目用画像１２Ｂをそれぞれ水平方向に並べて１フレームとして伝送される画像である。
【００４３】
本実施の形態の画像処理装置２００は、このＳＢＳ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置２００は、図９に示すように、入力されるＳＢＳ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００４４】
画素差総計計算部２０２及び２０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部２０４は、画素差総計計算部２０２及び２０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部２０５及び２０６は、対応して設けられた画素差総計計算部２０２及び２０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部２０７及び２０８は、対応して設けられた偏差計算部２０５及び２０６から出力される偏差と定数Ｋ１とを乗算する。減算部２０９及び２１０は、低解像度画像入力部２０１に入力される低解像度画像の画素値から対応して設けられた乗算部２０７及び２０８の乗算結果を減算して、それぞれ１フレームの画像サイズが水平方向に２倍に拡大された画素の画素値を出力する。左右分離部２１２は、高解像度画像出力部２１１から出力される１フレームの画像サイズが水平方向に２倍に拡大された画素からなる高解像度画像を左右に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００４５】
次に、本実施の形態の画像処理装置２００の動作について、図６のフローチャート等を併せ参照して説明する。
【００４６】
まず、低解像度画像入力部２０１が図８に示したような処理対象前の低解像度画像であるＳＢＳ画像を取り込む（ステップＳ１１）。続いて、画素差総計計算部２０２及び２０３が低解像度画像入力部２０１から出力されるＳＢＳ画像に対して画素差総計をそれぞれ計算する（ステップＳ１２）。ここで、画素差総計計算部２０２は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１０」とする）を計算する。
【００４７】
また、画素差総計計算部２０３は、入力されるＳＢＳ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ１１」とする）を計算する。従って、以上の画素差総計計算部２０２及び２０３の各計算結果である画素差総計ｓｕｂ１０及びｓｕｂ１１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００４８】
ｓｕｂ１０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋(yl[4]-yl[3])
＋0.7×(yl[4]-yl[6])＋(yl[4]-yl[7]) (15)
ｓｕｂ１１＝0.7×(yl[4]-yl[2])＋(yl[4]-yl[1])＋(yl[4]-yl[5])
＋0.7×(yl[4]-yl[8])＋(yl[4]-yl[7]) (16)
この画素差総計ｓｕｂ１０及びｓｕｂ１１は、注目画素の画素値yl[4]が、左、右に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ１０及びｓｕｂ１１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ１０及びｓｕｂ１１の値は、正又は負の値又は０である。
【００４９】
次に、平均値計算部２０４が画素差総計ｓｕｂ１０及びｓｕｂ１１の平均値（これを「ａｖｅ１」とする）を次式により計算する（ステップＳ１３）。
【００５０】
ａｖｅ１＝（ｓｕｂ１０＋ｓｕｂ１１）／２ （17）
次に、偏差計算部２０５及び２０６が、対応して設けられた画素差総計計算部２０２及び２０３により計算された画素差総計ｓｕｂ１０及びｓｕｂ１２と、平均値計算部２０４により計算された平均値ａｖｅ１との差を偏差として計算する（ステップＳ１４）。従って、偏差計算部２０５の計算結果である偏差ａｄｊ１０、偏差計算部２０６の計算結果である偏差ａｄｊ１１は、それぞれ次式で表される。
【００５１】
ａｄｊ１０＝ｓｕｂ１０−ａｖｅ１ （18）
ａｄｊ１１＝ｓｕｂ１１−ａｖｅ１ （19）
次に、乗算部２０７、２０８が、対応して設けられた偏差計算部２０５、２０６により計算された偏差ａｄｊ１０、ａｄｊ１１にそれぞれ定数Ｋ１を乗算する（ステップＳ１５）。なお、定数Ｋ１は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００５２】
次に、減算部２０９、２１０は、低解像度画像入力部２０１により取り込まれたＳＢＳ画像の注目画素の画素値yl[4]から、対応して設けられた乗算部２０７、２０８の乗算結果を減算する（ステップＳ１６）。これら減算部２０７及び２０８により得られる２つの減算結果は、ＳＢＳ画像の注目画素「４」の水平方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値（以下、これらをyh[4l]、yh[4r]と記す）を示す。ここで、上記の２つの画素「４ｌ」、「４ｒ」は、図１０に示すように、縦３個、横６個の計１８個の中心の２個の画素であり、画素「４ｌ」は拡大後の左の画素、画素「４ｒ」は拡大後の右の画素である。
【００５３】
上記の減算部２０９から出力される減算結果が示す画素値yh[4l]、減算部２１０から出力される減算結果が示す画素値yh[4r]は、それぞれ次式で表される。
【００５４】
yh[4l]＝yl[4]−Ｋ１・adj10 (20)
yh[4r]＝yl[4]−Ｋ１・adj11 (21)
続いて、高解像度画像出力部２１１は、上記の減算部２０９及び２１０により得られる２つの減算結果を合成して、ＳＢＳ画像の注目画素「４」の水平方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ｌ」、「４ｒ」の画素値として出力する（ステップＳ１７）。そして、左右分離部２１２は、高解像度画像出力部２１１から出力される各画素の水平方向のサイズが入力時の２倍に拡大された高解像度画像の水平方向の中央位置で左右に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ１８）。
【００５５】
ここで、上記の２つの偏差ａｄｊ１０とａｄｊ１１との合計値は、平均値ａｖｅ１からの偏差の平均なので０になる。結果的に次式が成立する。
【００５６】
(yh[4l]＋yh[4r])／２＝yl[4] (22)
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００５７】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細なＳＢＳ画像の復号が実現される。
【００５８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。図１１は、本発明になる画像処理装置の第３の実施の形態のブロック図、図１２は、本発明になる画像処理方法の第３の実施の形態のフローチャートを示す。
【００５９】
図１１において、本実施の形態の画像処理装置３００は、低解像度画像入力部３０１と、２つの画素差総計計算部３０２及び３０３と、平均値計算部３０４と、２つの偏差計算部３０５及び３０６と、偏差計算部３０５及び３０６に対応して設けられた２つの乗算部３０７及び３０８と、乗算部３０７及び３０８に対応して設けられた２つの減算部３０９及び３１０と、減算部３０９及び３１０から出力された信号を合成して高解像度画像として出力する高解像度画像出力部３１１と、高解像度画像を上下に分離する上下分離部３１２とより構成される。
【００６０】
低解像度画像入力部３０１に入力されて取り込まれる低解像度画像は、処理前の解像度の画像であり、ＡＢ（Above-Below）方式の画像（以下、ＡＢ画像という）である。ここで、ＡＢ画像は、図７に示した１フレームの左目用画像１１Ｌ及び１フレームの右目用画像１１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ垂直方向に１／２にサイズを圧縮して得られた、図１３に示す圧縮左目用画像１３Ａ及び圧縮右目用画像１３Ｂをそれぞれ垂直方向に並べて１フレームとして伝送される画像である。
【００６１】
本実施の形態の画像処理装置３００は、このＡＢ画像から２枚の本来のサイズのステレオ画像（図７に示した左目用画像１１Ｌ及び右目用画像１１Ｒ）を得る画像処理を行うものとする。画像処理は輝度について行うものとして説明するが、色差や原色系に適用することも可能である。また、本実施の形態の画像処理装置３００は、図９に示したように、入力されるＡＢ画像の処理対象の注目画素を「４」で示す画素とすると、その注目画素を中心とする縦方向３個、横方向３個の「０」〜「３」、「５」〜「８」で示す計８個の周辺画素を用いて画像処理を行うものとする。
【００６２】
画素差総計計算部３０２及び３０３は、注目画素の画素値と所定の周辺画素の画素値（若しくはそれに定数を乗じた値）との差の総計を計算する。平均値計算部３０４は、画素差総計計算部３０２及び３０３からそれぞれ出力される２つの画素差総計の平均値を計算する。偏差計算部３０５及び３０６は、対応して設けられた画素差総計計算部３０２及び３０３からの画素差総計と平均値計算部２０４から出力される平均値との差を偏差として計算する。乗算部３０７及び３０８は、対応して設けられた偏差計算部３０５及び３０６から出力される偏差と定数Ｋ２とを乗算する。減算部３０９及び３１０は、低解像度画像入力部３０１に入力される低解像度画像の画素値から対応して設けられた乗算部３０７及び３０８の乗算結果を減算して、それぞれ１フレームの画像サイズが垂直方向に２倍に拡大された画素の画素値を出力する。上下分離部３１２は、高解像度画像出力部３１１から出力される１フレームの画像サイズが垂直方向に２倍に拡大された画素からなる高解像度画像を上下に分離して１フレームの画像サイズが本来のサイズに戻された２枚の復号画像を出力する。
【００６３】
次に、本実施の形態の画像処理装置３００の動作について、図１２のフローチャート等を併せ参照して説明する。
【００６４】
まず、低解像度画像入力部３０１が図１３に示したような処理対象前の低解像度画像であるＡＢ画像を取り込む（ステップＳ２１）。続いて、画素差総計計算部３０２及び３０３が低解像度画像入力部３０１から出力されるＡＢ画像に対して画素差総計をそれぞれ計算する（ステップＳ２２）。ここで、画素差総計計算部３０２は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左上の画素「０」の画素値yl[0]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の上の画素「１」の画素値yl[1]との差、及びyl[4]と注目画素の右上の画素「２」の画素値yl[2]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差の総計（これを「ｓｕｂ２０」とする）を計算する。
【００６５】
また、画素差総計計算部３０３は、入力されるＡＢ画像の図９に示した処理対象の注目画素「４」の画素値yl[4]と注目画素の左下の画素「６」の画素値yl[6]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の左の画素「３」の画素値yl[3]との差、及びyl[4]と注目画素の右の画素「５」の画素値yl[5]との差、及びyl[4]と注目画素の右下の画素「８」の画素値yl[8]との差（若しくはそれに所定の定数を乗じた値）、及びyl[4]と注目画素の下の画素「７」の画素値yl[7]との差の総計（これを「ｓｕｂ２１」とする）を計算する。従って、以上の画素差総計計算部３０２及び３０３の各計算結果である画素差総計ｓｕｂ２０及びｓｕｂ２１は次式で表される（ただし、上記の所定の定数をここでは「０.７」としている）。
【００６６】
ｓｕｂ２０＝0.7×(yl[4]-yl[0])＋(yl[4]-yl[1])＋0.7×(yl[4]-yl[2])
＋(yl[4]-yl[3])＋(yl[4]-yl[5]) (23)
ｓｕｂ２１＝(yl[4]-yl[3])＋(yl[4]-yl[5])＋0.7×(yl[4]-yl[6])
＋(yl[4]-yl[7])＋0.7×(yl[4]-yl[8]) (24)
この画素差総計ｓｕｂ２０及びｓｕｂ２１は、注目画素の画素値yl[4]が、上、下に隣接する画素群の画素値に対してどれくらい大小があるかを評価するものである。この画素差総計ｓｕｂ２０及びｓｕｂ２１を後のステップにおいて、この大小を抑える方向に高解像度画像において反映させることにより、画素値の変化の滑らかさが増加して、一定のマルコフ性が担保される。ここで、注目画素の画素値と、その注目画素に対して斜め方向の周辺画素の画素値との差に定数（ここでは、一例として「０.７」）を乗算しているのは、注目画素に対して注目画素の上下左右方向の周辺画素よりも斜め方向の周辺画素の方が物理的な画素間距離が長いことによる影響を補正したものである。なお、画素差総計ｓｕｂ２０及びｓｕｂ２１の値は、正又は負の値又は０である。
【００６７】
次に、平均値計算部３０４が画素差総計ｓｕｂ２０及びｓｕｂ２１の平均値（これを「ａｖｅ２」とする）を次式により計算する（ステップＳ２３）。
【００６８】
ａｖｅ２＝（ｓｕｂ２０＋ｓｕｂ２１）／２ （25）
次に、偏差計算部３０５及び３０６が、対応して設けられた画素差総計計算部３０２及び３０３により計算された画素差総計ｓｕｂ２０及びｓｕｂ２１と、平均値計算部３０４により計算された平均値ａｖｅ２との差を偏差として計算する（ステップＳ２４）。従って、偏差計算部３０５の計算結果である偏差ａｄｊ２０、偏差計算部３０６の計算結果である偏差ａｄｊ２１は、それぞれ次式で表される。
【００６９】
ａｄｊ２０＝ｓｕｂ２０−ａｖｅ２ （26）
ａｄｊ２１＝ｓｕｂ２１−ａｖｅ２ （27）
次に、乗算部３０７、３０８が、対応して設けられた偏差計算部３０５、３０６により計算された偏差ａｄｊ２０、ａｄｊ２１にそれぞれ定数Ｋ２を乗算する（ステップＳ２５）。なお、定数Ｋ２は、実際の画像を見て評価するが、例えば０.０１〜０.１程度の範囲の値である。
【００７０】
次に、減算部３０９、３１０は、低解像度画像入力部３０１により取り込まれたＡＢ画像の注目画素の画素値yl[4]から、対応して設けられた乗算部３０７、３０８の乗算結果を減算する（ステップＳ２６）。これら減算部３０７及び３０８により得られる２つの減算結果は、ＡＢ画像の注目画素「４」の垂直方向のサイズを２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値（以下、これらをyh[4a]、yh[4b]と記す）を示す。ここで、上記の２つの画素「４ａ」、「４ｂ」は、図１４に示すように、縦６個、横３個の計１８個の中心の２個の画素であり、画素「４ａ」は拡大後の上の画素、画素「４ｂ」は拡大後の下の画素である。
【００７１】
上記の減算部３０９から出力される減算結果が示す画素値yh[4a]、減算部３１０から出力される減算結果が示す画素値yh[4b]は、それぞれ次式で表される。
【００７２】
yh[4a]＝yl[4]−Ｋ２・adj20 (28)
yh[4b]＝yl[4]−Ｋ２・adj21 (29)
続いて、高解像度画像出力部３１１は、上記の減算部３０９及び３１０により得られる２つの減算結果を合成して、ＡＢ画像の注目画素「４」の垂直方向のサイズをそれぞれ２倍に拡大して得られる高解像度画像の２つの画素「４ａ」、「４ｂ」の画素値として出力する（ステップＳ２７）。そして、上下分離部３１２は、高解像度画像出力部３１１から出力される各画素の垂直方向のサイズが入力時の２倍に拡大された高解像度画像の垂直方向の中央位置で上下に２分割し、図７に示した１フレームの本来の画像サイズの左目用画像１１Ｌと、１フレームの本来の画像サイズの右目用画像１１Ｒとを分離出力する（ステップＳ２８）。
【００７３】
ここで、上記の２つの偏差ａｄｊ２０とａｄｊ２１との合計値は、平均値ａｖｅ２からの偏差の平均なので０になる。結果的に次式が成立する。
【００７４】
(yh[4a]＋yh[4b])／２＝yl[4] (30)
これは、高解像度化を行っても２画素平均による低解像度化によって原画像に戻る条件が担保されていることを意味する。
【００７５】
このようにして、本実施の形態によれば、ＭＡＰ推定では必須の繰り返し計算及びフレームメモリを不要とし、上記のマルコフ性の一定の確保と合わせて、ＭＡＰ推定による画像処理に比べて計算時間の大幅な短縮とＭＡＰ推定に迫る高精細なＡＢ画像の復号が実現される。
【００７６】
なお、本発明は、ハードウェアの画像拡大処理に限定されるものでなく、コンピュータプログラムにより処理することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００７７】
１００、２００、３００ 画像処理装置
１０１、２０１、３０１ 低解像度画像入力部
１０２〜１０５、２０２、２０３、３０２、３０３ 画素差総計計算部
１０６、２０４、３０４ 平均値計算部
１０７〜１１０、２０５、２０６、３０５、３０６ 偏差計算部
１１１〜１１４、２０７、２０８、３０７、３０８ 乗算部
１１５〜１１８、２０９、２１０、３０９、３１０ 減算部
１１９、２１１、３１１ 高解像度画像出力部
２１２ 左右分離部
３１２ 上下分離部
【特許請求の範囲】
【請求項１】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、
前記第１乃至第４の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第３の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第４の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算手段と、
前記第１乃至第４の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第３の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第４の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算手段と
を有することを特徴とする画像処理装置。
【請求項５】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算手段と、
前記第１及び第２の演算手段から出力される拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離手段と
を有することを特徴とする画像処理装置。
【請求項６】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算手段と、
前記第１及び第２の演算手段から出力される拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離手段と
を有することを特徴とする画像処理装置。
【請求項１】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算ステップと、
前記第１乃至第４の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第３の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第４の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離ステップと
を含むことを特徴とする画像処理方法。
【請求項３】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算ステップと、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算ステップと、
前記第１及び第２の画素差総計の平均値を計算する平均値計算ステップと、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算ステップと、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算ステップと、
前記第１及び第２の演算ステップにより得られる拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左及び上にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上及び右にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、左及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第３の画素差総計を計算する第３の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右下、右及び下にそれぞれ隣接する３つの画素の各画素値との３つの差を総計した第４の画素差総計を計算する第４の画素差総計計算手段と、
前記第１乃至第４の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差と、前記第３の画素差総計から前記平均値を減算した第３の偏差と、前記第４の画素差総計から前記平均値を減算した第４の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平及び垂直の両方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの４画素のうち左上の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右上の画素の画素値を得る第２の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第３の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち左下の画素の画素値を得る第３の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第４の偏差に前記定数を乗じた値を減じて、前記拡大画像の４画素のうち右下の画素の画素値を得る第４の演算手段と
を有することを特徴とする画像処理装置。
【請求項５】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、左、上、左下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して右上、上、右、右下、及び下にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が水平方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち左の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち右の画素の画素値を得る第２の演算手段と、
前記第１及び第２の演算手段から出力される拡大画像を２分割して前記一組のステレオ画像を分離出力する左右分離手段と
を有することを特徴とする画像処理装置。
【請求項６】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べて一枚の画像とされた入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左上、上、右上、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第１の画素差総計を計算する第１の画素差総計計算手段と、
前記入力画像の処理対象の注目画素の画素値と、前記注目画素に対して左下、下、右下、左及び右にそれぞれ隣接する５つの画素の各画素値との５つの差を総計した第２の画素差総計を計算する第２の画素差総計計算手段と、
前記第１及び第２の画素差総計の平均値を計算する平均値計算手段と、
前記第１の画素差総計から前記平均値を減算した第１の偏差と、前記第２の画素差総計から前記平均値を減算した第２の偏差とをそれぞれ計算する偏差計算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第１の偏差に定数を乗じた値を減じて、前記入力画像が垂直方向に２倍サイズに拡大された拡大画像の前記注目画素に対応した位置の前記注目画素と同じサイズの２画素のうち上の画素の画素値を得る第１の演算手段と、
前記入力画像の処理対象の注目画素の画素値から前記第２の偏差に前記定数を乗じた値を減じて、前記拡大画像の２画素のうち下の画素の画素値を得る第２の演算手段と、
前記第１及び第２の演算手段から出力される拡大画像を２分割して前記一組のステレオ画像を分離出力する上下分離手段と
を有することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−７９１９５（Ｐ２０１２−７９１９５Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５５１１（Ｐ２０１０−２２５５１１）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]