画像処理方法及び画像処理装置
【課題】水平方向又は垂直方向に１／２サイズに圧縮された２つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得る。
【解決手段】垂直輪郭判定部１１は、入力ＳＢＳ画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭が存在しないときは、ｙ_ｒ照合探索部１３は、入力ＳＢＳ画像の被高解像度化画像の画素から生成した中間画素から構成したブロックを用いて、参照画像上でパターンの一致する場所をベクトル探索する。ｙ_ｒ候補値決定部１４は、ｙ_ｒ照合探索部１３の探索結果に基づいて、対応する参照画像の画素の画素値を中間画素ｙ_ｒの候補に決定する。ｙ_ｒ補間処理部１５は、中間画素ｙ_ｒの画素値に基づいて、入力ＳＢＳ画像を復号したステレオペア画像を生成する。
【解決手段】垂直輪郭判定部１１は、入力ＳＢＳ画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭が存在しないときは、ｙ_ｒ照合探索部１３は、入力ＳＢＳ画像の被高解像度化画像の画素から生成した中間画素から構成したブロックを用いて、参照画像上でパターンの一致する場所をベクトル探索する。ｙ_ｒ候補値決定部１４は、ｙ_ｒ照合探索部１３の探索結果に基づいて、対応する参照画像の画素の画素値を中間画素ｙ_ｒの候補に決定する。ｙ_ｒ補間処理部１５は、中間画素ｙ_ｒの画素値に基づいて、入力ＳＢＳ画像を復号したステレオペア画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に係り、特にステレオ映像規格の画像の復号のための画像処理を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年の立体映像（３Ｄ映像）への関心の高まりに伴い、ステレオ映像の伝送・記録のための規格に関する議論が盛んになっている。中でもサイドバイサイド（Side-by-Side；ＳＢＳ)方式とアバブビロー（Above-Below；ＡＢ)方式とは、２つの画面をそれぞれ水平・垂直に圧縮したものを１画面として伝送するものであるため、従来の伝送系をそのまま使える上に左右チャネルの同期を考慮する心配がないという特長を有する。特にＳＢＳ方式は放送・配信系の３Ｄコンテンツの標準規格の一つになりそうな情勢にある。
【０００３】
また、近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。そのため旧来の非高解像度で制作されているコンテンツを高解像度化された形で視聴する手段を“超解像”技術と呼び、多くのテレビ装置等において採用されつつある。低解像度画像から高解像度画像を生成する試みは古くから行われており、中でも複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。特許文献１〜４は、低解像度動画から高精細動画を作成する手法について開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−５６７８９号公報
【特許文献２】特開２００７−２０５号公報
【特許文献３】特開２００７−２５７０４２号公報
【特許文献４】特開２００８−１７２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＳＢＳ方式とＡＢ方式は２つの画面をそれぞれ水平・垂直に圧縮するプロセスで水平・垂直画素数が半分になっているので、一般的なバイリニア方式やバイキュービック方式で本来のサイズに復号された２枚の画像について、それぞれ水平・垂直方向の解像度が低くなってしまうことが課題である。
【０００６】
一方、上記特許文献１〜４記載の発明はそれぞれ、画質向上・処理効率向上のためのフレーム間統合型の高解像度化の工夫をしている。しかし、このようなフレーム間統合型の高解像度化全般の問題として、フレーム間に対応部分が存在しない場合は画質改善がなされないという課題がある。さらにフレーム間統合型の高解像度化において、新たに追加する標本点毎の詳細な動き推定を広範囲に精密に行う場合には、探索のために多大な計算コストを要するという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、水平方向又は垂直方向に１／２サイズに圧縮された２つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得る画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
【０００９】
ここで、上記の探索ステップは、被高解像度化画像のブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１０】
また、上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
【００１１】
ここで、上記の探索ステップは、被高解像度化画像のブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
【００１３】
ここで、上記の探索手段は、被高解像度化画像のブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
【００１５】
ここで、上記の探索手段は、被高解像度化画像のブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【発明の効果】
【００１６】
本発明は、水平方向又は垂直方向に１／２サイズに圧縮された２つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像処理装置の第１の実施の形態のブロック図である。
【図２】本発明の画像処理方法の第１の実施の形態のフローチャートである。
【図３】ステレオペア画像の一例を示す図である。
【図４】ＳＢＳ画像の一例を示す図である。
【図５】図１及び図２による補間画素の配置を示す図である。
【図６】ベクトル探索に用いる画素群の配置を示す図である。
【図７】y_rのベクトル探索に用いるブロックを示す図である。
【図８】本発明の画像処理装置の第２の実施の形態のブロック図である。
【図９】本発明の画像処理方法の第２の実施の形態のフローチャートである。
【図１０】ＡＢ画像の一例を示す図である。
【図１１】図８及び図９による補間画素の配置を示す図である。
【図１２】y_bのベクトル探索に用いるブロックを示す図である。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施の形態）
図１は、本発明になる画像処理装置の第１の実施の形態のブロック図、図２は、本発明になる画像処理方法の第１の実施の形態のフローチャートを示す。
【００２０】
図１に示すように、本実施の形態の画像処理装置１０は、垂直輪郭判定部１１と、ｙ_ｒバイキュービック補間値計算部１２と、ｙ_ｒ照合探索部１３と、ｙ_ｒ候補値決定部１４と、ｙ_ｒ補間処理部１５とから構成され、入力される低解像度のＳＢＳ(side-By-Side)方式の画像（以下、ＳＢＳ画像という）に対して、高解像度処理を行って２枚の本来のサイズのステレオ画像（ステレオペア画像）を復号する。
【００２１】
ここで、ＳＢＳ画像は、図３に示す１フレームの左目用画像１Ｌ及び１フレームの右目用画像１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ水平方向に１／２サイズに圧縮して得られた、図４に示す圧縮左目用画像２Ｌ及び圧縮右目用画像２Ｒをそれぞれ水平方向に並べて１フレームとして伝送される画像である。また、上記のｙ_ｒは、入力ＳＢＳ画像を左右に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図５に示すように水平方向に隣接する２つの画素y[i,j]と画素y[i+1,j]との中間の標本点の画素（以下、中間画素という）である。
【００２２】
画像処理装置１０は、入力ＳＢＳ画像から上記の中間画素y_rを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置１０は、入力ＳＢＳ画像の左チャネル相当部分（ＳＢＳ画像を左右に半分に分割したときの左側分割領域の画像）を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分（ＳＢＳ画像を左右に半分に分割したときの右側分割領域の画像）を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
【００２３】
ここで、画像処理装置１０は、１枚のＳＢＳ画像を通常のラスタースキャン順で処理していくうえで、左側分割領域の画像及び右側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
【００２４】
垂直輪郭判定部１１は、入力ＳＢＳ画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭は例えば隣接する水平方向の２つの画素の画素値が所定値以上の差（絶対値）があるとき垂直輪郭ありと判定する。ｙ_ｒバイキュービック補間値計算部１２は、入力ＳＢＳ画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
【００２５】
ｙ_ｒ照合探索部１３は、入力ＳＢＳ画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。ｙ_ｒ候補値決定部１４は、ｙ_ｒ照合探索部１３により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素ｙ_ｒの候補（すなわち、補間画素候補値）として決定する。ｙ_ｒ補間処理部１５は、ｙ_ｒバイキュービック補間値計算部１２とｙ_ｒ候補値決定部１４とによりそれぞれ得られた中間画素ｙ_ｒの画素値に基づいて、入力ＳＢＳ画像を復号したステレオペア画像を生成する。
【００２６】
次に、本実施の形態の画像処理装置１０の動作について、図２のフローチャートを併せ参照して説明する。
【００２７】
まず、画像処理装置１０は、垂直輪郭判定部１１により入力ＳＢＳ画像の被高解像度化画像に明快な垂直輪郭が存在しないか否かを判定する（ステップＳ１）。具体的には水平方向に隣接する画素y[i+1,j]と画素y[i,j]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。垂直輪郭判定部１１は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な垂直輪郭が存在すると判定し、上記の閾値以下のときには明快な垂直輪郭が存在しないと判定する。
【００２８】
ｙ_ｒバイキュービック補間値計算部１２は、垂直輪郭判定部１１において明快な垂直輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i+1,j]と画素y[i,j]との中間画素ｙ_ｒの画素値を計算する（ステップＳ２）。
【００２９】
一方、ｙ_ｒ照合探索部１３は、垂直輪郭判定部１１において明快な垂直輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所（すなわち、パターンマッチする参照ブロック）を探索する（ステップＳ３）。このブロックは図６に丸印で示すような垂直方向６画素、水平方向６画素からなる計３６画素の構成であるものとする。なお、図６中の矢印は、処理対象画素である標本点[i, j]である。
【００３０】
ｙ_ｒ照合探索部１３は、ステップＳ３のy_r探索を、被高解像度化画像における上記ブロックの水平方向に隣接する２画素毎に、図７に△印で示すようにそれら２画素の中心に中間画素を配した後、その中間画素の垂直方向５画素、水平方向５画素からなる計２５画素のブロックで１画素ピッチの探索を行う。なお、上記の図７に△印で示す中間画素の画素値は、その画素の左右両側に隣接する丸印で示す２画素の平均値である。このy_r探索は、水平方向（整数＋０.５）画素、垂直方向整数画素のずれを検出することになる。
【００３１】
ｙ_ｒ候補値決定部１４は、このy_r探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_rの候補値とする(ステップＳ４)。
【００３２】
このベストマッチについて更に詳細に説明する。いま、上記の２５個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t]（ただし、s,tは−２〜＋２の整数）と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像（画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する）への探索を行ったとき、下記の（１）式
【００３３】
【数１】
を最小にする[p,q]を探し出すことが、ベストマッチとなるベクトルを探索することになる。なお、上記の画素値g[i,j]は、画像の水平方向画素数をｗとしたとき、被高解像度化画像が入力ＳＢＳ画像の左チャネル相当部分で参照画像が右チャネル相当部分のときは、y[i+(w/2),j]であり、被高解像度化画像が入力ＳＢＳ画像の右チャネル相当部分で参照画像が左チャネル相当部分のときは、y[i-(w/2),j]である。
【００３４】
これによって、被高解像度化画像における新たに設けた中間画素y_rの位置に、フィルタリングされていない生（高域が減衰していない）の画素値（すなわち、ベストマッチした参照画像における中間画素y_rの位置の画素の画素値）を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はＳＢＳ画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
【００３５】
ｙ_ｒ補間処理部１５は、ｙ_ｒバイキュービック補間値計算部１２及びｙ_ｒ候補値決定部１４でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップＳ５)。これにより、ｙ_ｒ補間処理部１５は、入力ＳＢＳ画像よりも高精細な２枚の画像（ステレオペア画像）を出力する。
【００３６】
このように、本実施の形態の画像処理装置１０によれば、入力されるＳＢＳ画像を構成する図４に示した２つの圧縮左目用画像２Ｌ及び圧縮右目用画像２Ｒは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、ｙ_ｒ候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置１０によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、ＳＢＳ画像の原画像の解像度に近い高画質なステレオペア画像（デコードした画像）を得ることができる。更に、本実施の形態の画像処理装置１０によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
【００３７】
（第２の実施の形態）
図８は、本発明になる画像処理装置の第２の実施の形態のブロック図、図９は、本発明になる画像処理方法の第２の実施の形態のフローチャートを示す。
【００３８】
図８に示すように、本実施の形態の画像処理装置２０は、水平輪郭判定部２１と、ｙ_ｂバイキュービック補間値計算部２２と、ｙ_ｂ照合探索部２３と、ｙ_ｂ候補値決定部２４と、ｙ_ｂ補間処理部２５とから構成され、入力される低解像度のＡＢ(Above-Below)方式の画像（以下、ＡＢ画像という）に対して、高解像度処理を行って２枚の本来のサイズのステレオ画像（ステレオペア画像）を復号する。
【００３９】
ここで、ＡＢ画像は、図３に示した１フレームの左目用画像１Ｌ及び１フレームの右目用画像１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ垂直方向に１／２サイズに圧縮して得られた、図１０に示す圧縮左目用画像３Ａ及び圧縮右目用画像３Ｂをそれぞれ垂直方向に並べて１フレームとして伝送される画像である。また、上記のｙ_ｂは、入力ＡＢ画像を上下に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図１１に示すように垂直方向に隣接する２つの画素y[i,j]と画素y[i,j+1]との中間の標本点の画素（すなわち、中間画素）である。
【００４０】
画像処理装置２０は、入力ＡＢ画像から上記の中間画素y_ｂを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置２０は、入力ＡＢ画像の左チャネル相当部分（ＡＢ画像を上下に半分に分割したときの上側分割領域の画像）を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分（ＡＢ画像を上下に半分に分割したときの下側分割領域の画像）を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
【００４１】
ここで、画像処理装置２０は、１枚のＡＢ画像を通常のラスタースキャン順で処理していくうえで、上側分割領域の画像及び下側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
【００４２】
水平輪郭判定部２１は、入力ＡＢ画像の被高解像度化画像に水平輪郭が存在するかどうかを判定する。水平輪郭は例えば隣接する垂直方向の２つの画素の画素値が所定値以上の差（絶対値）があるとき水平輪郭ありと判定する。ｙ_ｂバイキュービック補間値計算部２２は、入力ＡＢ画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
【００４３】
ｙ_ｂ照合探索部２３は、入力ＡＢ画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。ｙ_ｂ候補値決定部２４は、ｙ_ｂ照合探索部２３により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素ｙ_ｂの候補（すなわち、補間画素候補値）として決定する。ｙ_ｂ補間処理部２５は、ｙ_ｂバイキュービック補間値計算部２２とｙ_ｂ候補値決定部２４とによりそれぞれ得られた中間画素ｙ_ｂの画素値に基づいて、入力ＡＢ画像を復号したステレオペア画像を生成する。
【００４４】
次に、本実施の形態の画像処理装置２０の動作について、図９のフローチャートを併せ参照して説明する。まず、水平輪郭判定部２１は、入力ＡＢ画像の被高解像度化画像において新たな標本点に明快な水平輪郭が存在しないかどうかを検出する(ステップＳ１１)。具体的には垂直方向に隣接する画素y[i,j]と画素y[i,j+1]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。水平輪郭判定部２１は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な水平輪郭が存在すると判定し、上記の閾値以下のときには明快な水平輪郭が存在しないと判定する。
【００４５】
ｙ_ｂバイキュービック補間値計算部２２は、水平輪郭判定部２１において明快な水平輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i,j]と画素y[i,j+1]との中間画素ｙ_ｂの画素値を計算する（ステップＳ１２）。
【００４６】
一方、ｙ_ｂ照合探索部２３は、水平輪郭判定部２１において明快な水平輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所（すなわち、パターンマッチする参照ブロック）を探索する（ステップＳ１３）。このブロックは図６に丸印で示すような垂直方向６画素、水平方向６画素からなる計３６画素の構成であるものとする。なお、図６中の矢印は、処理対象画素である標本点[i, j]である。
【００４７】
ｙ_ｂ照合探索部２３は、ステップＳ１３のy_ｂ探索を、被高解像度化画像における上記ブロックの垂直方向に隣接する２画素毎に、図１２に△印で示すようにそれら２画素の中心に中間画素を配した後、その中間画素の垂直方向５画素、水平方向５画素からなる計２５画素のブロックで１画素ピッチの探索を行う。なお、上記の図１２に△印で示す中間画素の画素値は、その画素の上下両側に隣接する丸印で示す２画素の平均値である。このy_ｂ探索は、垂直方向（整数＋０.５）画素、水平方向整数画素のずれを検出することになる。
【００４８】
ｙ_ｂ候補値決定部２４は、このy_ｂ探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_ｂの候補値とする(ステップＳ１４)。
【００４９】
このベストマッチについて更に詳細に説明する。いま、上記の２５個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t]（ただし、s,tは−２〜＋２の整数）と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像（画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する）への探索を行ったとき、前記（１）式を最小にする[p,q]を探し出すことが、ベストマッチとなるベクトルを探索することになる。なお、上記の画素値g[i,j]は、画像の垂直方向画素数をｖとしたとき、被高解像度化画像が入力ＡＢ画像の上側の左チャネル相当部分で参照画像が下側の右チャネル相当部分のときは、y[ｉ,j+(v/2)]であり、被高解像度化画像が入力ＡＢ画像の下側の右チャネル相当部分で参照画像が上側の左チャネル相当部分のときは、y[i,j-(v/2)]である。
【００５０】
これによって、被高解像度化画像における新たに設けた中間画素y_ｂの位置に、フィルタリングされていない生（高域が減衰していない）の画素値（すなわち、ベストマッチした参照画像における中間画素y_bの位置の画素の画素値）を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はＡＢ画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
【００５１】
ｙ_ｂ補間処理部２５は、ｙ_ｂバイキュービック補間値計算部２２及びｙ_ｂ候補値決定部２４でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップＳ１５)。これにより、ｙ_ｂ補間処理部２５は、入力ＡＢ画像よりも高精細な２枚の画像（ステレオペア画像）を出力する。
【００５２】
このように、本実施の形態の画像処理装置２０によれば、入力されるＡＢ画像を構成する図１０に示した２つの圧縮左目用画像３Ａ及び圧縮右目用画像３Ｂは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、ｙ_ｂ候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置２０によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、ＡＢ画像の原画像の解像度に近い高画質なステレオペア画像（デコードした画像）を得ることができる。更に、本実施の形態の画像処理装置２０によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
【００５３】
なお、本発明は、上記の実施の形態のようなハードウェアによるステレオ映像規格の映像の復号処理を行う画像処理装置１０、２０に限定されるものでなく、図２、図９のフローチャートの各ステップの処理をコンピュータにより実行させる画像処理プログラムも包含する。この場合、画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００５４】
１０、２０ 画像処理装置
１１ 垂直輪郭判定部
１２ ｙ_ｒバイキュービック補間値計算部
１３ ｙ_ｒ照合探索部
１４ ｙ_ｒ候補値決定部
１５ ｙ_ｒ補間処理部
２１ 水平輪郭判定部
２２ ｙ_ｂバイキュービック補間値計算部
２３ ｙ_ｂ照合探索部
１４ ｙ_ｂ候補値決定部
１５ ｙ_ｂ補間処理部
【技術分野】
【０００１】
本発明は画像処理方法及び画像処理装置に係り、特にステレオ映像規格の画像の復号のための画像処理を行う画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年の立体映像（３Ｄ映像）への関心の高まりに伴い、ステレオ映像の伝送・記録のための規格に関する議論が盛んになっている。中でもサイドバイサイド（Side-by-Side；ＳＢＳ)方式とアバブビロー（Above-Below；ＡＢ)方式とは、２つの画面をそれぞれ水平・垂直に圧縮したものを１画面として伝送するものであるため、従来の伝送系をそのまま使える上に左右チャネルの同期を考慮する心配がないという特長を有する。特にＳＢＳ方式は放送・配信系の３Ｄコンテンツの標準規格の一つになりそうな情勢にある。
【０００３】
また、近年の表示装置の大型化・高精細化に伴い、映像コンテンツに関しても高解像度化が望まれている。そのため旧来の非高解像度で制作されているコンテンツを高解像度化された形で視聴する手段を“超解像”技術と呼び、多くのテレビ装置等において採用されつつある。低解像度画像から高解像度画像を生成する試みは古くから行われており、中でも複数フレームの位置ずれを有する低解像度画像を統合して、高解像度画像を生成する手法については極めて幅広く検討されている。特許文献１〜４は、低解像度動画から高精細動画を作成する手法について開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−５６７８９号公報
【特許文献２】特開２００７−２０５号公報
【特許文献３】特開２００７−２５７０４２号公報
【特許文献４】特開２００８−１７２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＳＢＳ方式とＡＢ方式は２つの画面をそれぞれ水平・垂直に圧縮するプロセスで水平・垂直画素数が半分になっているので、一般的なバイリニア方式やバイキュービック方式で本来のサイズに復号された２枚の画像について、それぞれ水平・垂直方向の解像度が低くなってしまうことが課題である。
【０００６】
一方、上記特許文献１〜４記載の発明はそれぞれ、画質向上・処理効率向上のためのフレーム間統合型の高解像度化の工夫をしている。しかし、このようなフレーム間統合型の高解像度化全般の問題として、フレーム間に対応部分が存在しない場合は画質改善がなされないという課題がある。さらにフレーム間統合型の高解像度化において、新たに追加する標本点毎の詳細な動き推定を広範囲に精密に行う場合には、探索のために多大な計算コストを要するという課題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、水平方向又は垂直方向に１／２サイズに圧縮された２つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得る画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
【０００９】
ここで、上記の探索ステップは、被高解像度化画像のブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１０】
また、上記の目的を達成するため、本発明の画像処理方法は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、探索ステップにより探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、候補値決定ステップにより決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理ステップとを含むことを特徴とする。
【００１１】
ここで、上記の探索ステップは、被高解像度化画像のブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１２】
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
【００１３】
ここで、上記の探索手段は、被高解像度化画像のブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の画像処理装置は、一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、参照画像においてパターンマッチする参照ブロックを探索する探索手段と、探索手段により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、候補値決定手段により決定された補間画素候補値を被高解像度化画像の補間対象位置にあてはめた被高解像度化画像と、参照画像とをステレオ画像として出力する補間処理手段とを有することを特徴とする。
【００１５】
ここで、上記の探索手段は、被高解像度化画像のブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする。
【発明の効果】
【００１６】
本発明は、水平方向又は垂直方向に１／２サイズに圧縮された２つの画像からなる一組のステレオ画像に対して、フレーム間統合型高解像度化処理に比べて簡単な動き推定に基づく高解像度化処理を行って高画質で本来のサイズのステレオ画像を得ることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像処理装置の第１の実施の形態のブロック図である。
【図２】本発明の画像処理方法の第１の実施の形態のフローチャートである。
【図３】ステレオペア画像の一例を示す図である。
【図４】ＳＢＳ画像の一例を示す図である。
【図５】図１及び図２による補間画素の配置を示す図である。
【図６】ベクトル探索に用いる画素群の配置を示す図である。
【図７】y_rのベクトル探索に用いるブロックを示す図である。
【図８】本発明の画像処理装置の第２の実施の形態のブロック図である。
【図９】本発明の画像処理方法の第２の実施の形態のフローチャートである。
【図１０】ＡＢ画像の一例を示す図である。
【図１１】図８及び図９による補間画素の配置を示す図である。
【図１２】y_bのベクトル探索に用いるブロックを示す図である。
【発明を実施するための形態】
【００１８】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
（第１の実施の形態）
図１は、本発明になる画像処理装置の第１の実施の形態のブロック図、図２は、本発明になる画像処理方法の第１の実施の形態のフローチャートを示す。
【００２０】
図１に示すように、本実施の形態の画像処理装置１０は、垂直輪郭判定部１１と、ｙ_ｒバイキュービック補間値計算部１２と、ｙ_ｒ照合探索部１３と、ｙ_ｒ候補値決定部１４と、ｙ_ｒ補間処理部１５とから構成され、入力される低解像度のＳＢＳ(side-By-Side)方式の画像（以下、ＳＢＳ画像という）に対して、高解像度処理を行って２枚の本来のサイズのステレオ画像（ステレオペア画像）を復号する。
【００２１】
ここで、ＳＢＳ画像は、図３に示す１フレームの左目用画像１Ｌ及び１フレームの右目用画像１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ水平方向に１／２サイズに圧縮して得られた、図４に示す圧縮左目用画像２Ｌ及び圧縮右目用画像２Ｒをそれぞれ水平方向に並べて１フレームとして伝送される画像である。また、上記のｙ_ｒは、入力ＳＢＳ画像を左右に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図５に示すように水平方向に隣接する２つの画素y[i,j]と画素y[i+1,j]との中間の標本点の画素（以下、中間画素という）である。
【００２２】
画像処理装置１０は、入力ＳＢＳ画像から上記の中間画素y_rを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置１０は、入力ＳＢＳ画像の左チャネル相当部分（ＳＢＳ画像を左右に半分に分割したときの左側分割領域の画像）を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分（ＳＢＳ画像を左右に半分に分割したときの右側分割領域の画像）を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
【００２３】
ここで、画像処理装置１０は、１枚のＳＢＳ画像を通常のラスタースキャン順で処理していくうえで、左側分割領域の画像及び右側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
【００２４】
垂直輪郭判定部１１は、入力ＳＢＳ画像の被高解像度化画像に垂直輪郭が存在するかどうかを判定する。垂直輪郭は例えば隣接する水平方向の２つの画素の画素値が所定値以上の差（絶対値）があるとき垂直輪郭ありと判定する。ｙ_ｒバイキュービック補間値計算部１２は、入力ＳＢＳ画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
【００２５】
ｙ_ｒ照合探索部１３は、入力ＳＢＳ画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。ｙ_ｒ候補値決定部１４は、ｙ_ｒ照合探索部１３により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素ｙ_ｒの候補（すなわち、補間画素候補値）として決定する。ｙ_ｒ補間処理部１５は、ｙ_ｒバイキュービック補間値計算部１２とｙ_ｒ候補値決定部１４とによりそれぞれ得られた中間画素ｙ_ｒの画素値に基づいて、入力ＳＢＳ画像を復号したステレオペア画像を生成する。
【００２６】
次に、本実施の形態の画像処理装置１０の動作について、図２のフローチャートを併せ参照して説明する。
【００２７】
まず、画像処理装置１０は、垂直輪郭判定部１１により入力ＳＢＳ画像の被高解像度化画像に明快な垂直輪郭が存在しないか否かを判定する（ステップＳ１）。具体的には水平方向に隣接する画素y[i+1,j]と画素y[i,j]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。垂直輪郭判定部１１は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な垂直輪郭が存在すると判定し、上記の閾値以下のときには明快な垂直輪郭が存在しないと判定する。
【００２８】
ｙ_ｒバイキュービック補間値計算部１２は、垂直輪郭判定部１１において明快な垂直輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i+1,j]と画素y[i,j]との中間画素ｙ_ｒの画素値を計算する（ステップＳ２）。
【００２９】
一方、ｙ_ｒ照合探索部１３は、垂直輪郭判定部１１において明快な垂直輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所（すなわち、パターンマッチする参照ブロック）を探索する（ステップＳ３）。このブロックは図６に丸印で示すような垂直方向６画素、水平方向６画素からなる計３６画素の構成であるものとする。なお、図６中の矢印は、処理対象画素である標本点[i, j]である。
【００３０】
ｙ_ｒ照合探索部１３は、ステップＳ３のy_r探索を、被高解像度化画像における上記ブロックの水平方向に隣接する２画素毎に、図７に△印で示すようにそれら２画素の中心に中間画素を配した後、その中間画素の垂直方向５画素、水平方向５画素からなる計２５画素のブロックで１画素ピッチの探索を行う。なお、上記の図７に△印で示す中間画素の画素値は、その画素の左右両側に隣接する丸印で示す２画素の平均値である。このy_r探索は、水平方向（整数＋０.５）画素、垂直方向整数画素のずれを検出することになる。
【００３１】
ｙ_ｒ候補値決定部１４は、このy_r探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_rの候補値とする(ステップＳ４)。
【００３２】
このベストマッチについて更に詳細に説明する。いま、上記の２５個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t]（ただし、s,tは−２〜＋２の整数）と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像（画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する）への探索を行ったとき、下記の（１）式
【００３３】
【数１】
を最小にする[p,q]を探し出すことが、ベストマッチとなるベクトルを探索することになる。なお、上記の画素値g[i,j]は、画像の水平方向画素数をｗとしたとき、被高解像度化画像が入力ＳＢＳ画像の左チャネル相当部分で参照画像が右チャネル相当部分のときは、y[i+(w/2),j]であり、被高解像度化画像が入力ＳＢＳ画像の右チャネル相当部分で参照画像が左チャネル相当部分のときは、y[i-(w/2),j]である。
【００３４】
これによって、被高解像度化画像における新たに設けた中間画素y_rの位置に、フィルタリングされていない生（高域が減衰していない）の画素値（すなわち、ベストマッチした参照画像における中間画素y_rの位置の画素の画素値）を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はＳＢＳ画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
【００３５】
ｙ_ｒ補間処理部１５は、ｙ_ｒバイキュービック補間値計算部１２及びｙ_ｒ候補値決定部１４でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップＳ５)。これにより、ｙ_ｒ補間処理部１５は、入力ＳＢＳ画像よりも高精細な２枚の画像（ステレオペア画像）を出力する。
【００３６】
このように、本実施の形態の画像処理装置１０によれば、入力されるＳＢＳ画像を構成する図４に示した２つの圧縮左目用画像２Ｌ及び圧縮右目用画像２Ｒは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、ｙ_ｒ候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置１０によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、ＳＢＳ画像の原画像の解像度に近い高画質なステレオペア画像（デコードした画像）を得ることができる。更に、本実施の形態の画像処理装置１０によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
【００３７】
（第２の実施の形態）
図８は、本発明になる画像処理装置の第２の実施の形態のブロック図、図９は、本発明になる画像処理方法の第２の実施の形態のフローチャートを示す。
【００３８】
図８に示すように、本実施の形態の画像処理装置２０は、水平輪郭判定部２１と、ｙ_ｂバイキュービック補間値計算部２２と、ｙ_ｂ照合探索部２３と、ｙ_ｂ候補値決定部２４と、ｙ_ｂ補間処理部２５とから構成され、入力される低解像度のＡＢ(Above-Below)方式の画像（以下、ＡＢ画像という）に対して、高解像度処理を行って２枚の本来のサイズのステレオ画像（ステレオペア画像）を復号する。
【００３９】
ここで、ＡＢ画像は、図３に示した１フレームの左目用画像１Ｌ及び１フレームの右目用画像１Ｒの２フレーム（すなわち、一組のステレオ画像）を、それぞれ垂直方向に１／２サイズに圧縮して得られた、図１０に示す圧縮左目用画像３Ａ及び圧縮右目用画像３Ｂをそれぞれ垂直方向に並べて１フレームとして伝送される画像である。また、上記のｙ_ｂは、入力ＡＢ画像を上下に半分に分割した各分割領域のそれぞれにおいて、各画素をy[i,j]としたとき、図１１に示すように垂直方向に隣接する２つの画素y[i,j]と画素y[i,j+1]との中間の標本点の画素（すなわち、中間画素）である。
【００４０】
画像処理装置２０は、入力ＡＢ画像から上記の中間画素y_ｂを決定する画像処理を行う。ここでは、画像処理は輝度についてのみ行うものとして説明するが、色差や原色系に適用することも可能である。また、画像処理装置２０は、入力ＡＢ画像の左チャネル相当部分（ＡＢ画像を上下に半分に分割したときの上側分割領域の画像）を画素補間による解像度向上処理が施される被高解像度化画像としているときには右チャネル相当部分（ＡＢ画像を上下に半分に分割したときの下側分割領域の画像）を解像度向上のために使用する参照画像として処理し、右チャネル相当部分を被高解像度化画像としているときには左チャネル相当部分を参照画像として処理するものとする。
【００４１】
ここで、画像処理装置２０は、１枚のＡＢ画像を通常のラスタースキャン順で処理していくうえで、上側分割領域の画像及び下側分割領域の画像の一方が被高解像度化画像のときには他方が参照画像となるという形で交互に入れ替わり補間処理を行う。
【００４２】
水平輪郭判定部２１は、入力ＡＢ画像の被高解像度化画像に水平輪郭が存在するかどうかを判定する。水平輪郭は例えば隣接する垂直方向の２つの画素の画素値が所定値以上の差（絶対値）があるとき水平輪郭ありと判定する。ｙ_ｂバイキュービック補間値計算部２２は、入力ＡＢ画像の被高解像度化画像に対して公知のバイキュービック補間を行って中間画素の画素値を生成する。
【００４３】
ｙ_ｂ照合探索部２３は、入力ＡＢ画像の被高解像度化画像における補間対象位置周辺の所定数の中間画素から構成したブロック毎に参照画像においてパターンマッチングし、参照画像上でパターンの一致する参照ブロックを探索する。ｙ_ｂ候補値決定部２４は、ｙ_ｂ照合探索部２３により探索された参照ブロックにおいて、被高解像度化画像の補間対象位置に対応する画素の画素値をそのまま中間画素ｙ_ｂの候補（すなわち、補間画素候補値）として決定する。ｙ_ｂ補間処理部２５は、ｙ_ｂバイキュービック補間値計算部２２とｙ_ｂ候補値決定部２４とによりそれぞれ得られた中間画素ｙ_ｂの画素値に基づいて、入力ＡＢ画像を復号したステレオペア画像を生成する。
【００４４】
次に、本実施の形態の画像処理装置２０の動作について、図９のフローチャートを併せ参照して説明する。まず、水平輪郭判定部２１は、入力ＡＢ画像の被高解像度化画像において新たな標本点に明快な水平輪郭が存在しないかどうかを検出する(ステップＳ１１)。具体的には垂直方向に隣接する画素y[i,j]と画素y[i,j+1]の両画素値の差の絶対値が実画像における評価で決定する閾値を超えるか否かで決定する。水平輪郭判定部２１は、上記の両画素値の差の絶対値が上記の閾値を超えているときは明快な水平輪郭が存在すると判定し、上記の閾値以下のときには明快な水平輪郭が存在しないと判定する。
【００４５】
ｙ_ｂバイキュービック補間値計算部２２は、水平輪郭判定部２１において明快な水平輪郭が存在すると判定されたときに、後述するベクトル探索による補間ではエラーが生じたときに輪郭が乱れるケースがあるので、公知のバイキュービック補間を行って、画素y[i,j]と画素y[i,j+1]との中間画素ｙ_ｂの画素値を計算する（ステップＳ１２）。
【００４６】
一方、ｙ_ｂ照合探索部２３は、水平輪郭判定部２１において明快な水平輪郭が存在しないと判定されたときに、被高解像度化画像の複数の画素をもとに構成したブロックを用いて、参照画像上でパターンの一致する場所（すなわち、パターンマッチする参照ブロック）を探索する（ステップＳ１３）。このブロックは図６に丸印で示すような垂直方向６画素、水平方向６画素からなる計３６画素の構成であるものとする。なお、図６中の矢印は、処理対象画素である標本点[i, j]である。
【００４７】
ｙ_ｂ照合探索部２３は、ステップＳ１３のy_ｂ探索を、被高解像度化画像における上記ブロックの垂直方向に隣接する２画素毎に、図１２に△印で示すようにそれら２画素の中心に中間画素を配した後、その中間画素の垂直方向５画素、水平方向５画素からなる計２５画素のブロックで１画素ピッチの探索を行う。なお、上記の図１２に△印で示す中間画素の画素値は、その画素の上下両側に隣接する丸印で示す２画素の平均値である。このy_ｂ探索は、垂直方向（整数＋０.５）画素、水平方向整数画素のずれを検出することになる。
【００４８】
ｙ_ｂ候補値決定部２４は、このy_ｂ探索によりベストマッチの場合に、中心の△に対応する参照画像の画素値を中間画素y_ｂの候補値とする(ステップＳ１４)。
【００４９】
このベストマッチについて更に詳細に説明する。いま、上記の２５個の中間画素からなるブロックの中心の画素の画素値を便宜上yh[i,j]とすると、そのブロック全体の画素値はyh[i+s,j+t]（ただし、s,tは−２〜＋２の整数）と表すことができる。上記の画素値yh[i,j]の画素を用いて参照画像（画素値g[i,j]:便宜上座標系は被高解像度化画像と統一する）への探索を行ったとき、前記（１）式を最小にする[p,q]を探し出すことが、ベストマッチとなるベクトルを探索することになる。なお、上記の画素値g[i,j]は、画像の垂直方向画素数をｖとしたとき、被高解像度化画像が入力ＡＢ画像の上側の左チャネル相当部分で参照画像が下側の右チャネル相当部分のときは、y[ｉ,j+(v/2)]であり、被高解像度化画像が入力ＡＢ画像の下側の右チャネル相当部分で参照画像が上側の左チャネル相当部分のときは、y[i,j-(v/2)]である。
【００５０】
これによって、被高解像度化画像における新たに設けた中間画素y_ｂの位置に、フィルタリングされていない生（高域が減衰していない）の画素値（すなわち、ベストマッチした参照画像における中間画素y_bの位置の画素の画素値）を補間値としてあてはめることができたことになる。なお、探索範囲については、水平方向はＡＢ画像の視差の範囲、垂直方向は撮影精度他によるずれの範囲で行うものとする。これらは実画像において目視で決定できる。
【００５１】
ｙ_ｂ補間処理部２５は、ｙ_ｂバイキュービック補間値計算部２２及びｙ_ｂ候補値決定部２４でそれぞれ生成された補間値を、被高解像度化画像の元の画素値と統合する補間処理を行う(ステップＳ１５)。これにより、ｙ_ｂ補間処理部２５は、入力ＡＢ画像よりも高精細な２枚の画像（ステレオペア画像）を出力する。
【００５２】
このように、本実施の形態の画像処理装置２０によれば、入力されるＡＢ画像を構成する図１０に示した２つの圧縮左目用画像３Ａ及び圧縮右目用画像３Ｂは、元々ステレオペア画像であるため、充分に似通った画像内容であり、多くの場合に対応の存在が保証される上、ｙ_ｂ候補値を得るための動き予測の探索範囲も狭い範囲に限定される。このため、本実施の形態の画像処理装置２０によれば、フレーム間統合型の高解像度化の問題点を解消でき、その結果、ＡＢ画像の原画像の解像度に近い高画質なステレオペア画像（デコードした画像）を得ることができる。更に、本実施の形態の画像処理装置２０によれば、参照画像の実画素を補間画素にできるので、従来の画素の直線補間等による帯域制限によって生じる鮮鋭度の低下を抑制することができる。
【００５３】
なお、本発明は、上記の実施の形態のようなハードウェアによるステレオ映像規格の映像の復号処理を行う画像処理装置１０、２０に限定されるものでなく、図２、図９のフローチャートの各ステップの処理をコンピュータにより実行させる画像処理プログラムも包含する。この場合、画像処理プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。
【符号の説明】
【００５４】
１０、２０ 画像処理装置
１１ 垂直輪郭判定部
１２ ｙ_ｒバイキュービック補間値計算部
１３ ｙ_ｒ照合探索部
１４ ｙ_ｒ候補値決定部
１５ ｙ_ｒ補間処理部
２１ 水平輪郭判定部
２２ ｙ_ｂバイキュービック補間値計算部
２３ ｙ_ｂ照合探索部
１４ ｙ_ｂ候補値決定部
１５ ｙ_ｂ補間処理部
【特許請求の範囲】
【請求項１】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記探索ステップは、前記被高解像度化画像の前記ブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項１記載の画像処理方法。
【請求項３】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
前記探索ステップは、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項３記載の画像処理方法。
【請求項５】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。
【請求項６】
前記探索手段は、前記被高解像度化画像の前記ブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。
【請求項８】
前記探索手段は、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項７記載の画像処理装置。
【請求項１】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。
【請求項２】
前記探索ステップは、前記被高解像度化画像の前記ブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項１記載の画像処理方法。
【請求項３】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索ステップと、
前記探索ステップにより探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定ステップと、
前記候補値決定ステップにより決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理ステップと
を含むことを特徴とする画像処理方法。
【請求項４】
前記探索ステップは、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項３記載の画像処理方法。
【請求項５】
一組のステレオ画像をそれぞれ水平方向に１／２サイズに圧縮して得た圧縮ステレオ画像が水平方向に並べられて一枚の画像とされた入力画像の、左半分の領域の画像と右半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。
【請求項６】
前記探索手段は、前記被高解像度化画像の前記ブロック内の水平方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、水平方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
一組のステレオ画像をそれぞれ垂直方向に１／２サイズに圧縮して得た圧縮ステレオ画像が垂直方向に並べられて一枚の画像とされた入力画像の、上半分の領域の画像と下半分の領域の画像のうち一方の領域の画像を画素補間による解像度向上処理が施される被高解像度化画像とし、他方の領域の画像を解像度向上に使用する参照画像とし、前記被高解像度化画像における補間対象位置周辺の所定数の画素からなるブロックを構成するとともに、この構成したブロックと、前記参照画像においてパターンマッチする参照ブロックを探索する探索手段と、
前記探索手段により探索された前記参照ブロックにおいて、前記被高解像度化画像の前記補間対象位置に対応する画素の画素値を補間画素候補値として決定する候補値決定手段と、
前記候補値決定手段により決定された前記補間画素候補値を前記被高解像度化画像の補間対象位置にあてはめた前記被高解像度化画像と、前記参照画像とを前記ステレオ画像として出力する補間処理手段と
を有することを特徴とする画像処理装置。
【請求項８】
前記探索手段は、前記被高解像度化画像の前記ブロック内の垂直方向に隣接する２画素の中心位置を補間対象位置とし、これらの補間対象位置に、これらの補間対象位置に前記隣接する２画素の画素値の平均値を画素値とする探索用画素を配置して、これらの探索用画素と実際の画素とからなるブロックを用いることで、垂直方向は実際の画素ピッチ換算で１／２画素ピッチの探索を行うことを特徴とする請求項７記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１００１２９（Ｐ２０１２−１００１２９Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４７０３１（Ｐ２０１０−２４７０３１）
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月４日（２０１０．１１．４）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]