画像処理装置および画像処理プログラム
【課題】ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減する。
【解決手段】入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備える。
【解決手段】入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン、デジタルカメラ、医療画像などの画像を処理する画像処理装置および画像処理プログラムに関し、特にTotal variation（以下、ＴＶと記す）正則化手法を用いて画像を拡大する装置に関する。
【背景技術】
【０００２】
非特許文献１〜３にはＴＶ正則化手法を用いた画像拡大法が示されており、その方法はテレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。
【０００３】
図４に、非特許文献１〜３に示された、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置の構成を示す。入力画像はＴＶ正則化成分分離部１にて画像の骨格成分とテクスチャ成分に分離される。骨格成分はＴＶ正則化拡大部２にて拡大骨格成分となる。テクスチャ成分は線形補間拡大部３にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部４にて合成され、最終拡大画像が得られる。
【０００４】
図５に、ＴＶ正則化成分分離部１の処理をフローチャートで示す。ステップ１０１で演算回数Ｎが０に初期設定された後、ステップ１０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ステップ１０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ１０４で演算回数Ｎがインクリメントされ、ステップ１０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ１０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力され、またステップ１０６で入力画像ｆからｕが引き算されて、テクスチャ成分ｖが出力される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】齊藤隆弘: "1 枚の画像からの超解像度オーバーサンプリング"，映像メディア学会誌, Vol.62, No.2, pp.181-189, 2008
【非特許文献２】石井勇樹，中川陽介，小松隆，斎藤隆弘: "乗算型骨格テクスチャ画像分離の画像処理への応用", 電子情報通信学会論文誌，Vol.J90-D, No.7, pp. 1682-1685, 2007
【非特許文献３】T. Saito and T. Komatsu : "Image Processing Approach Based on Nonlinear Image-Decomposition"，IEICE Trans. Fundamentals, Vol.E92-A, NO.3, pp.696-707, March 2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１〜３に示されたＴＶ正則化手法を用いた画像拡大法は、繰り返し演算にて膨大な計算時間のかかる、ＴＶ正則化演算処理部を２個有している。すなわち、ＴＶ正則化手法によって骨格成分とテクスチャ成分を分離するＴＶ正則化成分分離部１と、ＴＶ正則化手法によるＴＶ正則化拡大部２の２つである。したがって、この手法をテレビジョンのような動画像に用いる際には、その計算時間が問題となる。
【０００７】
本発明は上記点に鑑みて、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明は、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えた画像処理装置ことを特徴とする。
【０００９】
請求項２に記載の発明は、
コンピュータを、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させる画像処理プログラムを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】ダウンサンプリングを説明するための図である。
【図３】図１中のＴＶ正則化拡大部５の処理を示すフローチャートである。
【図４】従来例の画像処理装置の全体構成を示す図である。
【図５】図４中のＴＶ正則化成分分離部１の処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を図に示す実施形態について説明する。図１に、本発明の一実施形態に係る画像処理装置の構成を示す。
この画像処理装置は、入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部５で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備えている。なお、線形補間拡大部８と成分合成部９は、図４に示す従来のものと同じである。
【００１２】
この画像処理装置は、次のように作動する。入力画像はＴＶ正則化拡大部５で拡大骨格成分となる。拡大骨格成分はダウンサンプリング部７で図２に示すように画素数が間引きされてもとの入力画像と同じサンプル数の画像となる。例えば、図の左側に示す６×６の拡大画像について、ダウンサンプリングを行うことにより、図中の黒丸を削除して、３×３の半分のサイズの画像を作成する。このダウンサンプリングにより得られた骨格成分は入力画像から減算されてテクスチャ成分となる。テクスチャ成分は線形補間拡大部８にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部９にて合成されて最終拡大画像となる。
【００１３】
図３に、ＴＶ正則化拡大部５での処理を示す。このＴＶ正則化拡大部５では、拡大演算を行うため、例えば、ｉ，ｊそれぞれを２倍にして、ｕの画素数を入力画像の画素数の４倍とするような演算を行う。なお、このような拡大演算は、従来（例えば、図４に示すＴＶ正則化拡大部２）と同様のものである。具体的には、その拡大演算は次の通りである。
【００１４】
まず、ステップ２０１で演算回数Ｎが０に初期設定された後、ステップ２０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ただしここでは、拡大演算をしているので、ｕの画素数は入力画像の画素数をｎ×ｎ倍（例えば、２×２＝４倍）したものとなっている。このため、ステップ２０２では、右辺第２項のｕ＊（Ｎ）を例えば図２のようにダウンサンプルしたものとし、入力画像ｆと画素数が同じになるようにしている。ステップ２０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ２０４で演算回数Ｎがインクリメントされ、ステップ２０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ２０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力される。
【００１５】
この実施形態によれば、図４に示す従来の画像処理装置と比べ、計算時間のかかる、ＴＶ正則化成分分離部１が削除されているので、計算量を大幅に減らし、全体の計算時間を削減（例えば、半減）することができる。
【００１６】
なお、図１に示す画像処理装置は、コンピュータを用いたソフトウェアにより実現することができる。その場合、図１に示す各構成部は、それぞれの機能を実現するための手段として把握され、それらにより画像処理プログラムが構成される。つまり、入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、ダウンサンプリング手段にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算手段と、減算手段にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段と、ＴＶ正則化拡大手段にて得られた拡大骨格成分と線形補間拡大手段にて得られた拡大テクスチャ成分とを合成する成分合成手段として、コンピュータを機能させる画像処理プログラムとして構成される。
【００１７】
また、本発明は上記した実施形態に限定されるものではない。例えば、減算部にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段としては、拡大骨格成分と同様の拡大を行った拡大テクスチャ成分を得るものであれば、線形補間拡大部８以外のものを用いてもよい。
【符号の説明】
【００１８】
５ ＴＶ正則化拡大部
６ 減算部
７ ダウンサンプリング部
８ 線形補間拡大部
９ 成分合成部
【技術分野】
【０００１】
本発明は、テレビジョン、デジタルカメラ、医療画像などの画像を処理する画像処理装置および画像処理プログラムに関し、特にTotal variation（以下、ＴＶと記す）正則化手法を用いて画像を拡大する装置に関する。
【背景技術】
【０００２】
非特許文献１〜３にはＴＶ正則化手法を用いた画像拡大法が示されており、その方法はテレビジョンやカメラ画像などの超解像度拡大法として非常に有用である。
【０００３】
図４に、非特許文献１〜３に示された、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置の構成を示す。入力画像はＴＶ正則化成分分離部１にて画像の骨格成分とテクスチャ成分に分離される。骨格成分はＴＶ正則化拡大部２にて拡大骨格成分となる。テクスチャ成分は線形補間拡大部３にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部４にて合成され、最終拡大画像が得られる。
【０００４】
図５に、ＴＶ正則化成分分離部１の処理をフローチャートで示す。ステップ１０１で演算回数Ｎが０に初期設定された後、ステップ１０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ステップ１０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ１０４で演算回数Ｎがインクリメントされ、ステップ１０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ１０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力され、またステップ１０６で入力画像ｆからｕが引き算されて、テクスチャ成分ｖが出力される。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】齊藤隆弘: "1 枚の画像からの超解像度オーバーサンプリング"，映像メディア学会誌, Vol.62, No.2, pp.181-189, 2008
【非特許文献２】石井勇樹，中川陽介，小松隆，斎藤隆弘: "乗算型骨格テクスチャ画像分離の画像処理への応用", 電子情報通信学会論文誌，Vol.J90-D, No.7, pp. 1682-1685, 2007
【非特許文献３】T. Saito and T. Komatsu : "Image Processing Approach Based on Nonlinear Image-Decomposition"，IEICE Trans. Fundamentals, Vol.E92-A, NO.3, pp.696-707, March 2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１〜３に示されたＴＶ正則化手法を用いた画像拡大法は、繰り返し演算にて膨大な計算時間のかかる、ＴＶ正則化演算処理部を２個有している。すなわち、ＴＶ正則化手法によって骨格成分とテクスチャ成分を分離するＴＶ正則化成分分離部１と、ＴＶ正則化手法によるＴＶ正則化拡大部２の２つである。したがって、この手法をテレビジョンのような動画像に用いる際には、その計算時間が問題となる。
【０００７】
本発明は上記点に鑑みて、ＴＶ正則化手法を用いて画像拡大を行う画像処理装置において、全体の計算時間を削減することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の発明は、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えた画像処理装置ことを特徴とする。
【０００９】
請求項２に記載の発明は、
コンピュータを、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させる画像処理プログラムを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理装置の構成を示す図である。
【図２】ダウンサンプリングを説明するための図である。
【図３】図１中のＴＶ正則化拡大部５の処理を示すフローチャートである。
【図４】従来例の画像処理装置の全体構成を示す図である。
【図５】図４中のＴＶ正則化成分分離部１の処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を図に示す実施形態について説明する。図１に、本発明の一実施形態に係る画像処理装置の構成を示す。
この画像処理装置は、入力画像から拡大骨格成分を得るＴＶ正則化拡大部５と、このＴＶ正則化拡大部５で得られた拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング部７と、ダウンサンプリング部７にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算部６と、減算部６にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大部８と、ＴＶ正則化拡大部５にて得られた拡大骨格成分と線形補間拡大部８にて得られた拡大テクスチャ成分とを合成し拡大出力画像を得る成分合成部９と、を備えている。なお、線形補間拡大部８と成分合成部９は、図４に示す従来のものと同じである。
【００１２】
この画像処理装置は、次のように作動する。入力画像はＴＶ正則化拡大部５で拡大骨格成分となる。拡大骨格成分はダウンサンプリング部７で図２に示すように画素数が間引きされてもとの入力画像と同じサンプル数の画像となる。例えば、図の左側に示す６×６の拡大画像について、ダウンサンプリングを行うことにより、図中の黒丸を削除して、３×３の半分のサイズの画像を作成する。このダウンサンプリングにより得られた骨格成分は入力画像から減算されてテクスチャ成分となる。テクスチャ成分は線形補間拡大部８にて拡大テクスチャ成分となる。拡大骨格成分と拡大テクスチャ成分は成分合成部９にて合成されて最終拡大画像となる。
【００１３】
図３に、ＴＶ正則化拡大部５での処理を示す。このＴＶ正則化拡大部５では、拡大演算を行うため、例えば、ｉ，ｊそれぞれを２倍にして、ｕの画素数を入力画像の画素数の４倍とするような演算を行う。なお、このような拡大演算は、従来（例えば、図４に示すＴＶ正則化拡大部２）と同様のものである。具体的には、その拡大演算は次の通りである。
【００１４】
まず、ステップ２０１で演算回数Ｎが０に初期設定された後、ステップ２０２でＴＶ正則化演算のための修正項αが図中の式のように計算される。ただしここでは、拡大演算をしているので、ｕの画素数は入力画像の画素数をｎ×ｎ倍（例えば、２×２＝４倍）したものとなっている。このため、ステップ２０２では、右辺第２項のｕ＊（Ｎ）を例えば図２のようにダウンサンプルしたものとし、入力画像ｆと画素数が同じになるようにしている。ステップ２０３で画素値ｕ(N)が−εαによって新しい画素値ｕ(N+1)に更新される。そして、ステップ２０４で演算回数Ｎがインクリメントされ、ステップ２０５で予め定められた値ＮstopにＮが達したか否かが判定される。Ｎが値Ｎstopに達していない場合はステップ２０２に戻る。Ｎが値Ｎstopに達した場合は画素値ｕが最終骨格成分として出力される。
【００１５】
この実施形態によれば、図４に示す従来の画像処理装置と比べ、計算時間のかかる、ＴＶ正則化成分分離部１が削除されているので、計算量を大幅に減らし、全体の計算時間を削減（例えば、半減）することができる。
【００１６】
なお、図１に示す画像処理装置は、コンピュータを用いたソフトウェアにより実現することができる。その場合、図１に示す各構成部は、それぞれの機能を実現するための手段として把握され、それらにより画像処理プログラムが構成される。つまり、入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、拡大骨格成分をダウンサンプリングして、入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、ダウンサンプリング手段にて得られた骨格成分を入力画像から減算してテクスチャ成分を得る減算手段と、減算手段にて得られたテクスチャ成分から線形補間を用いて拡大テクスチャ成分を得る線形補間拡大手段と、ＴＶ正則化拡大手段にて得られた拡大骨格成分と線形補間拡大手段にて得られた拡大テクスチャ成分とを合成する成分合成手段として、コンピュータを機能させる画像処理プログラムとして構成される。
【００１７】
また、本発明は上記した実施形態に限定されるものではない。例えば、減算部にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段としては、拡大骨格成分と同様の拡大を行った拡大テクスチャ成分を得るものであれば、線形補間拡大部８以外のものを用いてもよい。
【符号の説明】
【００１８】
５ ＴＶ正則化拡大部
６ 減算部
７ ダウンサンプリング部
８ 線形補間拡大部
９ 成分合成部
【特許請求の範囲】
【請求項１】
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
コンピュータを、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させることを特徴とする画像処理プログラム。
【請求項１】
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段と、を備えたことを特徴とする画像処理装置。
【請求項２】
コンピュータを、
入力画像から拡大骨格成分を得るＴＶ正則化拡大手段と、
前記拡大骨格成分をダウンサンプリングして、前記入力画像と同じサンプル数の画像となる骨格成分を得るダウンサンプリング手段と、
前記ダウンサンプリング手段にて得られた骨格成分を前記入力画像から減算してテクスチャ成分を得る減算手段と、
前記減算手段にて得られたテクスチャ成分から拡大テクスチャ成分を得る手段と、
この手段にて得られた拡大テクスチャ成分と前記ＴＶ正則化拡大手段にて得られた拡大骨格成分とを合成する成分合成手段として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１８２０９４（Ｐ２０１１−１８２０９４Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２６３９（Ｐ２０１０−４２６３９）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（３０４０２１２７７）国立大学法人 名古屋工業大学 (784)
【Ｆターム（参考）】
[ Back to top ]