画像処理装置、画像処理方法及びプログラム
【課題】拡大画像の高精細化を適正に図る。
【解決手段】撮像装置１００であって、原画像から分離された骨格成分及びテクスチャ成分の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成部５ｇと、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成部５ｈとを備えている。
【解決手段】撮像装置１００であって、原画像から分離された骨格成分及びテクスチャ成分の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成部５ｇと、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成部５ｈとを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を拡大する処理にて、二アレストネイバーやバイキュービック法などの補間方法に替えて、Total Variation（ＴＶ）法を用いることで拡大画像を高精細化する画像処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１７１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のＴＶ法を用いた拡大方法では、二アレストネイバーやバイキュービック法などの補間方法よりも拡大画像の高精細化を図ることができるものの、拡大率が大きくなると画像エッジがぼやけて拡大画像に高精細感が現れ難くなってしまうといった問題がある。また、拡大率が大きくなるとノイズ量が増大してしまうことから、拡大画像の精細感が薄れてしまうといった問題もある。
【０００５】
そこで、本発明の課題は、拡大画像の高精細化を適正に図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
原画像を取得する取得手段と、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段と、この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段と、この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第１中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、前記算出手段により算出された前記第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、前記中間画像生成手段は、更に、前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率の中で何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率が全て用いられるまで行われることを特徴としている。
【０００９】
請求項４に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、原画像を取得するステップと、取得された原画像の最終拡大倍率を指定するステップと、取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、生成された前記中間拡大画像から骨格成分を分離するステップと、分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、を実行することを特徴としている。
【００１０】
請求項５に記載の発明のプログラムは、
画像処理装置のコンピュータを、原画像を取得する取得手段、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段、この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段、この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、として機能させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、画像エッジを強調して拡大画像の高精細化を適正に図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による画像拡大処理に係る動作の一例を示すフローチャートである。
【図３】図２の画像拡大処理の続きを示すフローチャートである。
【図４】図２の画像拡大処理を説明するための画像の一例を模式的に示す図である。
【図５】図２の画像拡大処理を説明するための画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１４】
本実施形態の撮像装置１００は、原画像（例えば、原画像Ｇｏ；図４（ａ）参照）から分離された骨格成分（例えば、骨格成分Ｇｓ；図４（ｂ）参照）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ；図４（ｃ）参照）の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する。そして、撮像装置１００は、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成し、原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成し、生成された最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体８と、操作入力部９と、中央制御部１０とを備えている。
【００１５】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００１６】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００１７】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１８】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。
【００１９】
画像処理部５は、画像取得部５ａと、画像分離部５ｂと、中間倍率算出部５ｃと、骨格拡大部５ｄと、フィルタ処理部５ｅと、テクスチャ拡大部５ｆと、中間画像生成部５ｇと、最終画像生成部５ｈとを具備している。
【００２０】
画像取得部５ａは、取得手段として、撮像部１により撮像された原画像（例えば、原画像Ｇｏ等）を処理対象画像として取得する。
具体的には、画像取得部５ａは、例えば、記録媒体８に記録されている少なくとも一の画像データの中からユーザによる操作入力部９の所定操作に基づいて指定された何れか一の画像データを取得する。
【００２１】
画像分離部５ｂは、処理対象画像（例えば、原画像Ｇｏ等）から骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の少なくとも一方を分離する。即ち、画像分離部５ｂは、処理対象画像からTotal Variation法によって当該処理対象画像内のオブジェクトの形状や大きさを表すエッジ部と平坦部を含む骨格成分、及び当該処理対象画像内のオブジェクトの輝度の変化による精細部を表す細かな模様（テクスチャ：表面の質感を表現する繰り返しの輝度パターン）を含むテクスチャ成分の少なくとも一方を分離する。
具体的には、画像分離部５ｂは、第１分離手段として、画像取得部５ａにより取得された処理対象画像としての原画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する。また、画像分離部５ｂは、第２分離手段として、中間画像生成部５ｇにより生成された処理対象画像としての中間拡大画像からTotal Variation法により骨格成分を分離する。
なお、画像分離部５ｂによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
【００２２】
中間倍率算出部５ｃは、原画像（例えば、原画像Ｇｏ等）の最終拡大倍率よりも小さい中間拡大倍率を算出する。即ち、中間倍率算出部５ｃは、画像再生モードにて、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて設定された原画像（処理対象画像）の拡大倍率（最終拡大倍率）を所定数で除算することで中間拡大倍率を少なくとも一つ算出する。具体的には、中間倍率算出部５ｃは、最終拡大倍率を約分することにより少なくとも一の約数を中間拡大倍率として算出する。このとき、「１」（等倍）以外の約数が複数算出された場合には、中間倍率算出部５ｃは、「１」以外で最小の約数を第１中間拡大倍率とし、当該最小の約数以外の約数を第２中間拡大倍率とする。
例えば、最終拡大倍率が「８倍」に設定された場合には、中間倍率算出部５ｃは、「８」の約数である１、２、４の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「４倍」を設定する。また、例えば、最終拡大倍率が「５０倍」に設定された場合には、中間倍率算出部５ｃは、「５０」の約数である１、２、５、１０、２５の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「５倍」、「１０倍」及び「２５倍」を設定する。ここで、必ずしも最小の約数以外の約数（例えば、「５倍」、「１０倍」及び「２５倍」）の全てを第２中間拡大倍率として設定する必要はない。また、複数の第２中間拡大倍率の中で処理に用いられる順序は、例えば、小さい順となるが、これに限られるものではなく、大きい順等適宜任意に変更することができる。
【００２３】
なお、中間拡大倍率は、正の整数に限られるものではなく、最終拡大倍率を所定数で除算することで算出された数であれば良く、正の小数や分数であっても良い。また、最終拡大倍率の除数も整数に限られるものではなく、正の小数や分数であっても良い。
ここで、中間倍率算出部５ｃは、ユーザによる操作入力部９の所定操作に基づいて指定された最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する算出手段を構成している。
【００２４】
骨格拡大部５ｄは、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離された骨格成分（例えば、骨格成分Ｇｓ等）を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第２中間拡大倍率が設定されている場合には、骨格拡大部５ｄは、中間画像生成部５ｇの再分離部５ｉ（後述）により第１中間拡大画像から分離された骨格成分を原画像比で第２中間拡大倍率となるように所定の拡大方法により拡大する。
また、骨格拡大部５ｄは、画像分離部５ｂにより中間拡大画像（例えば、第１中間拡大画像や第２中間拡大画像（後述）等）から分離された骨格成分を原画像比で最終拡大倍率となるように所定の拡大方法により拡大する。
なお、骨格拡大部５ｄによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
【００２５】
フィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分に対して所定のフィルタリング処理を行う。
具体的には、フィルタ処理部５ｅは、先ず、所定の鮮鋭化フィルタ（例えば、ラプラシアンフィルタ等）を用いて、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行う。次に、フィルタ処理部５ｅは、所定の非等方拡散フィルタ（例えば、Total Variationフィルタ等）を用いて、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。
ここで、フィルタ処理部５ｅが、骨格拡大部５ｄにより最終拡大倍率となるように拡大された骨格成分を処理対象とした場合には、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
即ち、骨格拡大部５ｄ及びフィルタ処理部５ｅは、画像分離部５ｂにより分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段を構成している。
【００２６】
テクスチャ拡大部５ｆは、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第２中間拡大倍率が設定されている場合には、テクスチャ拡大部５ｆは、中間画像生成部５ｇの再分離部５ｉ（後述）により第１中間拡大画像から分離されたテクスチャ成分を原画像比で第２中間拡大倍率となるように所定の拡大方法により拡大する。
また、テクスチャ拡大部５ｆは、テクスチャ拡大手段として、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を最終拡大倍率となるように所定の拡大方法により拡大して最終拡大テクスチャ成分を生成する。
なお、テクスチャ拡大部５ｆによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
【００２７】
中間画像生成部５ｇは、骨格拡大部５ｄにより拡大された骨格成分とテクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して中間拡大画像を生成する。
即ち、中間画像生成部５ｇは、原画像（例えば、原画像Ｇｏ等）から画像分離部５ｂにより分離され骨格拡大部５ｄにより中間拡大倍率となるように拡大された後、フィルタ処理部５ｅにより所定のフィルタリング処理が施された原画像の骨格成分と、テクスチャ拡大部５ｆにより中間拡大倍率となるように拡大された原画像のテクスチャ成分とを合成して中間拡大画像を生成する。
ここで、骨格拡大部５ｄ、テクスチャ拡大部５ｆ及び中間画像生成部５ｇは、画像分離部５ｂにより分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段を構成している。
【００２８】
また、原画像（例えば、原画像Ｇｏ等）の第２中間拡大倍率が設定されている場合には、中間画像生成部５ｇは、骨格拡大部５ｄ及びテクスチャ拡大部５ｆにより第１中間拡大倍率となるように拡大された原画像の骨格成分及びテクスチャ成分を合成して第１中間拡大画像を生成する。そして、中間画像生成部５ｇは、再分離部５ｉにより、第１中間拡大画像から骨格成分及びテクスチャ成分を分離する。ここで、再分離部５ｉによる骨格成分及びテクスチャ成分の分離は、例えば、Total Variation法により行われるが、画像分離部５ｂとは処理対象が異なるだけであり、実質的な処理内容は略等しくなっている。なお、再分離部５ｉによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
そして、再分離部５ｉによる骨格成分及びテクスチャ成分の分離は、中間倍率算出部５ｃにより算出された少なくとも一の第２中間拡大倍率が全て用いられるまで行われる。
ここで、再分離部５ｉは、中間倍率算出部５ｃにより算出された第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、中間画像生成部５ｇにより生成された中間拡大画像（例えば、第１中間拡大画像）から骨格成分及びテクスチャ成分を分離する再分離手段を構成している。
【００２９】
また、再分離部５ｉにより分離された中間拡大画像（例えば、第１中間拡大画像）の骨格成分及びテクスチャ成分の各々については、中間画像生成部５ｇは、中間倍率算出部５ｃにより算出された何れか一の第２中間拡大倍率（例えば、第１中間拡大倍率の次に大きい拡大倍率等）となるように骨格拡大部５ｄ及びテクスチャ拡大部５ｆによって拡大された骨格成分及びテクスチャ成分を合成することで、第２中間拡大画像を新たに生成する。
ここで、中間画像生成部５ｇによる第２中間拡大画像の新たな生成は、中間倍率算出部５ｃにより算出された少なくとも一の第２中間拡大倍率が全て用いられるまで行われる。
【００３０】
最終画像生成部５ｈは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する。
即ち、最終画像生成部５ｈは、骨格拡大部５ｄにより最終拡大倍率となるように拡大された骨格成分に対してフィルタ処理部５ｅにより所定のフィルタリング処理が施されることで生成された最終拡大骨格成分と、テクスチャ拡大部５ｆにより最終拡大倍率となるように拡大された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する。
ここで、最終画像生成部５ｈは、骨格拡大部５ｄ及びフィルタ処理部５ｅにより生成された最終拡大骨格成分と、テクスチャ拡大部５ｆにより生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段を構成している。
【００３１】
表示制御部６は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。
【００３２】
表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、記録媒体８に記録されている複数の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて表示指示された画像データを表示する。
【００３３】
記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００３４】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３５】
また、操作入力部９の選択決定ボタンは、画像再生モードにて、ユーザによる所定操作に基づいて表示部７に表示された原画像（処理対象画像）の拡大倍率（最終拡大倍率）の設定指示を入力する。そして、操作入力部９は、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部１０に出力する。
中央制御部１０は、入力された設定信号に従って、ユーザ所望の画像の拡大倍率を設定する。
ここで、操作入力部９及び中央制御部１０は、処理対象画像（原画像）の最終拡大倍率を指定する指定手段を構成している。
なお、最終拡大倍率は、正の整数（例えば、「８倍」や「２５倍」等）に限られるものではなく、正の小数や分数であっても良い。
【００３６】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３７】
次に、撮像装置１００による画像拡大処理について、図２及び図３を参照して説明する。
図２及び図３は、画像拡大処理に係る動作の一例を示すフローチャートである。
【００３８】
画像拡大処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像再生モードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、記録媒体８に記録されている少なくとも一の画像データの中から何れか一の画像データが指定されると、画像処理部５の画像取得部５ａは、ユーザにより指定された画像データを処理対象画像として取得する（ステップＳ１）。これにより、表示部７に処理対象画像（例えば、原画像Ｇｏ等）が表示された状態となる。
【００３９】
その後、ユーザによる操作入力部９の所定操作に基づいて、表示部７に表示された処理対象画像（例えば、原画像Ｇｏ等）の最終拡大倍率（例えば、８倍等）が指定されると、操作入力部９は、所定の設定信号を中央制御部１０に出力して、中央制御部１０は、入力された設定信号に従ってユーザ所望の画像の最終拡大倍率を設定する（ステップＳ２）。
次に、画像処理部５の中間倍率算出部５ｃは、設定された処理対象画像の最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する（ステップＳ３）。具体的には、例えば、最終拡大倍率が「８倍」に設定された場合、中間倍率算出部５ｃは、「８」の約数である１、２、４の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「４倍」を設定する。
【００４０】
続けて、画像処理部５の画像分離部５ｂは、処理対象画像としての原画像（例えば、原画像Ｇｏ等）からTotal Variation法により骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を分離する（ステップＳ４）。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００４１】
＜骨格成分の処理＞
先ず、画像処理部５の骨格拡大部５ｄは、原画像（例えば、原画像Ｇｏ等）から分離された骨格成分（例えば、骨格成分Ｇｓ等）を第１中間拡大倍率（例えば、「２倍」）となるように所定の拡大方法により拡大する（ステップＳ５１Ａ）。
次に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ５１Ｂ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ５１Ｃ）。
【００４２】
＜テクスチャ成分の処理＞
画像処理部５は、原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を複製してメモリ４に一時記憶した後（ステップＳ５２Ａ）、テクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分を第１中間拡大倍率（例えば、「２倍」）となるように所定の拡大方法により拡大する（ステップＳ５２Ｂ）。
【００４３】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の中間画像生成部５ｇは、フィルタ処理部５ｅによる非等方拡散処理後の骨格成分と、テクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して、第１中間拡大倍率に拡大された第１中間拡大画像を生成する（ステップＳ６）。
次に、画像処理部５は、中間倍率算出部５ｃにより算出された第２中間拡大倍率が少なくとも一つあるか否かを判定する（ステップＳ７）。
【００４４】
ステップＳ７にて、第２中間拡大倍率が少なくとも一つあると判定されると（ステップＳ７；ＹＥＳ）、即ち、例えば、最終拡大倍率が「８倍」に設定され、中間倍率算出部５ｃにより「４倍」が第２中間拡大倍率として設定されている場合、第２中間拡大倍率が一つあることから、図３に示すように、中間画像生成部５ｇの再分離部５ｉは、第１中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する（ステップＳ８）。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００４５】
＜骨格成分の処理＞
以下に説明する第１中間拡大画像から分離された骨格成分の処理は、拡大倍率が異なる以外は、原画像から分離された骨格成分の処理（ステップＳ５１Ａ〜Ｓ５１Ｃ）と略同様となっている。
即ち、先ず、画像処理部５の骨格拡大部５ｄは、第１中間拡大画像から分離された骨格成分を原画像比で第２中間拡大倍率（例えば、「４倍」）となるように所定の拡大方法により拡大する（ステップＳ９１Ａ）。具体的には、例えば、画像処理部５の骨格拡大部５ｄは、第１中間拡大画像から分離された骨格成分を「２倍」に拡大することで、原画像比で「４倍」となる第２中間拡大倍率の骨格成分を生成する。
【００４６】
次に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ９１Ｂ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ９１Ｃ）。
【００４７】
＜テクスチャ成分の処理＞
画像処理部５のテクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分の処理（ステップＳ５２Ｂ）と略同様に、第１中間拡大画像から分離されたテクスチャ成分を原画像比で第２中間拡大倍率（例えば、「４倍」）となるように所定の拡大方法により拡大する（ステップＳ９２）。具体的には、例えば、画像処理部５のテクスチャ拡大部５ｆは、第１中間拡大画像から分離されたテクスチャ成分を「２倍」に拡大することで、原画像比で「４倍」となる第２中間拡大倍率のテクスチャ成分を生成する。
【００４８】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の中間画像生成部５ｇは、フィルタ処理部５ｅによる非等方拡散処理後の骨格成分と、テクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して、第２中間拡大倍率に拡大された第２中間拡大画像を生成する（ステップＳ１０）。
次に、画像処理部５は、中間倍率算出部５ｃにより算出された第２中間拡大倍率が他にあるか否かを判定する（ステップＳ１１）。
【００４９】
ステップＳ１１にて、第２中間拡大倍率が他にあると判定されると（ステップＳ７；ＹＥＳ）、画像処理部５は、処理をステップＳ８に移行して、それ以降の処理を実行する。
ステップＳ８以降の処理は、ステップＳ１１にて、第２中間拡大倍率が他にないと判定されるまで（ステップＳ１１；ＮＯ）、繰り返し行われる。これにより、画像処理部５は、中間倍率算出部５ｃにより算出された全ての第２中間拡大倍率を処理に用いることで、最終的に、最終拡大倍率の次に小さい第２中間拡大倍率に拡大された第２中間拡大画像を生成する。
【００５０】
そして、ステップＳ１１にて、第２中間拡大倍率が他にないと判定されると（ステップＳ１１；ＮＯ）、骨格成分及びテクスチャ成分の各々について処理を個別に行う。また、ステップＳ７にて、第２中間拡大倍率が少なくとも一つないと判定された場合にも（ステップＳ７；ＮＯ）、骨格成分及びテクスチャ成分の各々について処理を個別に行う。
なお、骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００５１】
＜骨格成分の処理＞
先ず、画像処理部５の画像分離部５ｂは、第２中間拡大画像からTotal Variation法により骨格成分を分離する（ステップＳ１２１Ａ）。
次に、第１中間拡大画像から分離された骨格成分の処理（ステップＳ９１Ａ）と略同様に、画像処理部５の骨格拡大部５ｄは、第２中間拡大画像から分離された骨格成分を原画像比で最終拡大倍率（例えば、「８倍」）となるように所定の拡大方法により拡大する（ステップＳ１２１Ｂ）。具体的には、例えば、画像処理部５の骨格拡大部５ｄは、第２中間拡大画像から分離された骨格成分を「２倍」に拡大することで、原画像比で「８倍」となる最終拡大倍率の骨格成分を生成する。
【００５２】
次に、第１中間拡大画像から分離された骨格成分の処理（ステップＳ９１Ｂ〜Ｓ９１Ｃ）と略同様に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ１２１Ｃ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ１２１Ｄ）。
そして、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
【００５３】
＜テクスチャ成分の処理＞
画像処理部５は、原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の複製をメモリ４から取得した後（ステップＳ１２２Ａ）、テクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分を最終拡大倍率（例えば、「８倍」）となるように所定の拡大方法により拡大して、最終拡大テクスチャ成分を生成する（ステップＳ１２２Ｂ）。
【００５４】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の最終画像生成部５ｈは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して、最終拡大倍率（例えば、「８倍」）に拡大された最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する（ステップＳ１３）。
これにより、画像拡大処理を終了する。
【００５５】
以上のように、本実施形態の撮像装置１００によれば、原画像（例えば、原画像Ｇｏ等）からTotal Variation法により分離された骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成した後、中間拡大画像からTotal Variation法により分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成するので、実質的にテクスチャ成分を重ねて足し込むことで細かな模様（テクスチャ）を強調しつつ、ノイズの目立ち難い最終拡大画像を生成することができる。
即ち、中間拡大画像の生成段階及び最終拡大画像の生成段階の各々にて、細かな模様（テクスチャ）を含むテクスチャ成分を足し込んで合成することで、各画像にて細かな模様を強調させることができる。また、骨格成分を指定された最終拡大倍率となるように一回で拡大するのではなく段階的に拡大することにより、従来の手法により拡大された画像（例えば、画像Ｇｅ等；図５（ｂ）参照）に比べて画質の劣化を抑制して高精細化を図ることができる。この結果、より高精細な最終拡大骨格成分を生成することができ、当該最終拡大骨格成分とノイズを含む最終拡大テクスチャ成分とを合成して生成される最終拡大画像（例えば、最終拡大画像Ｇｆ）に生じるノイズを相対的に目立ち難くすることができる。
従って、原画像の拡大倍率を大きくしても、従来の手法により拡大された画像のように画像エッジがぼやけたりノイズの増大により拡大画像の画質を劣化させることなく、最終拡大画像の画像エッジを強調して当該最終拡大画像の高精細化を適正に図ることができる。
【００５６】
また、第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を再分離して、当該中間拡大画像の骨格成分及びテクスチャ成分の各々を何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成するので、指定される最終拡大倍率が大きくなっても中間拡大倍率を複数設定して中間拡大画像を複数回生成することができる。これにより、最終拡大倍率となるように一回で拡大する場合に比べて拡大画像の画質の劣化を抑制して高精細化を図ることができ、より高精細な最終拡大骨格成分を生成することで、最終拡大画像（例えば、最終拡大画像Ｇｆ）に生じるノイズを相対的に目立ち難くすることができる。
【００５７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、原画像にバイラテラルフィルタを数回施すことで骨格画像を得て、この骨格画像を原画像から差し引くことでテクスチャ画像を得るようにしても良い。又、テクスチャ画像を輝度のみではなく色差を含むものとしても良い。また、中間拡大倍率として、第１中間拡大倍率と第２中間拡大倍率を設定するようにしたが、これに限られるものではなく、中間拡大倍率を少なくとも一つ設定すれば良い。例えば、最終拡大倍率が「４倍」等に設定された場合には、「４」の約数である１、２の中で、「１」以外の「２倍」のみを中間拡大倍率として設定する。
【００５８】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、画像拡大処理を行う画像処理装置であっても良い。
【００５９】
加えて、上記実施形態にあっては、取得手段、指定手段、第１分離手段、中間画像生成手段、第２分離手段、骨格拡大手段、テクスチャ拡大手段、最終画像生成手段としての機能を、中央制御部１０、操作入力部９、画像処理部５の画像取得部５ａ、画像分離部５ｂ、骨格拡大部５ｄ、テクスチャ拡大部５ｆ、中間画像生成部５ｇ、最終画像生成部５ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ４（図示略）に、取得処理ルーチン、指定処理ルーチン、第１分離処理ルーチン、中間画像生成処理ルーチン、第２分離処理ルーチン、骨格拡大処理ルーチン、テクスチャ拡大処理ルーチン、最終画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された原画像の最終拡大倍率を指定する指定手段として機能させるようにしても良い。また、第１分離処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段として機能させるようにしても良い。また、中間画像生成処理ルーチンにより中央制御部１０のＣＰＵを、第１分離手段により分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段として機能させるようにしても良い。また、第２分離処理ルーチンにより中央制御部１０のＣＰＵを、中間画像生成手段により生成された中間拡大画像から骨格成分を分離する第２分離手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部１０のＣＰＵを、第２分離手段により分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段として機能させるようにしても良い。また、テクスチャ拡大処理ルーチンにより中央制御部１０のＣＰＵを、第１分離手段により分離された原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部１０のＣＰＵを、骨格拡大手段により生成された最終拡大骨格成分とテクスチャ拡大手段により生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段として機能させるようにしても良い。
【符号の説明】
【００６０】
１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 画像分離部
５ｃ 中間倍率算出部
５ｄ 骨格拡大部
５ｆ テクスチャ拡大部
５ｇ 中間画像生成部
５ｈ 最終画像生成部
５ｉ 再分離部
９ 操作入力部
１０ 中央制御部
【技術分野】
【０００１】
本発明は、画像処理装置、この画像処理装置を用いた画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を拡大する処理にて、二アレストネイバーやバイキュービック法などの補間方法に替えて、Total Variation（ＴＶ）法を用いることで拡大画像を高精細化する画像処理装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１７１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１のＴＶ法を用いた拡大方法では、二アレストネイバーやバイキュービック法などの補間方法よりも拡大画像の高精細化を図ることができるものの、拡大率が大きくなると画像エッジがぼやけて拡大画像に高精細感が現れ難くなってしまうといった問題がある。また、拡大率が大きくなるとノイズ量が増大してしまうことから、拡大画像の精細感が薄れてしまうといった問題もある。
【０００５】
そこで、本発明の課題は、拡大画像の高精細化を適正に図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
原画像を取得する取得手段と、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段と、この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段と、この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第１中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、前記算出手段により算出された前記第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、前記中間画像生成手段は、更に、前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率の中で何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率が全て用いられるまで行われることを特徴としている。
【０００９】
請求項４に記載の発明の画像処理方法は、
画像処理装置を用いた画像処理方法であって、原画像を取得するステップと、取得された原画像の最終拡大倍率を指定するステップと、取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、生成された前記中間拡大画像から骨格成分を分離するステップと、分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、を実行することを特徴としている。
【００１０】
請求項５に記載の発明のプログラムは、
画像処理装置のコンピュータを、原画像を取得する取得手段、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段、この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段、この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、として機能させることを特徴としている。
【発明の効果】
【００１１】
本発明によれば、画像エッジを強調して拡大画像の高精細化を適正に図ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による画像拡大処理に係る動作の一例を示すフローチャートである。
【図３】図２の画像拡大処理の続きを示すフローチャートである。
【図４】図２の画像拡大処理を説明するための画像の一例を模式的に示す図である。
【図５】図２の画像拡大処理を説明するための画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１３】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１４】
本実施形態の撮像装置１００は、原画像（例えば、原画像Ｇｏ；図４（ａ）参照）から分離された骨格成分（例えば、骨格成分Ｇｓ；図４（ｂ）参照）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ；図４（ｃ）参照）の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する。そして、撮像装置１００は、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成し、原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成し、生成された最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、表示制御部６と、表示部７と、記録媒体８と、操作入力部９と、中央制御部１０とを備えている。
【００１５】
撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
【００１６】
撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。
【００１７】
画像データ生成部３は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１８】
メモリ４は、例えば、ＤＲＡＭ等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時記憶する。
【００１９】
画像処理部５は、画像取得部５ａと、画像分離部５ｂと、中間倍率算出部５ｃと、骨格拡大部５ｄと、フィルタ処理部５ｅと、テクスチャ拡大部５ｆと、中間画像生成部５ｇと、最終画像生成部５ｈとを具備している。
【００２０】
画像取得部５ａは、取得手段として、撮像部１により撮像された原画像（例えば、原画像Ｇｏ等）を処理対象画像として取得する。
具体的には、画像取得部５ａは、例えば、記録媒体８に記録されている少なくとも一の画像データの中からユーザによる操作入力部９の所定操作に基づいて指定された何れか一の画像データを取得する。
【００２１】
画像分離部５ｂは、処理対象画像（例えば、原画像Ｇｏ等）から骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の少なくとも一方を分離する。即ち、画像分離部５ｂは、処理対象画像からTotal Variation法によって当該処理対象画像内のオブジェクトの形状や大きさを表すエッジ部と平坦部を含む骨格成分、及び当該処理対象画像内のオブジェクトの輝度の変化による精細部を表す細かな模様（テクスチャ：表面の質感を表現する繰り返しの輝度パターン）を含むテクスチャ成分の少なくとも一方を分離する。
具体的には、画像分離部５ｂは、第１分離手段として、画像取得部５ａにより取得された処理対象画像としての原画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する。また、画像分離部５ｂは、第２分離手段として、中間画像生成部５ｇにより生成された処理対象画像としての中間拡大画像からTotal Variation法により骨格成分を分離する。
なお、画像分離部５ｂによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
【００２２】
中間倍率算出部５ｃは、原画像（例えば、原画像Ｇｏ等）の最終拡大倍率よりも小さい中間拡大倍率を算出する。即ち、中間倍率算出部５ｃは、画像再生モードにて、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて設定された原画像（処理対象画像）の拡大倍率（最終拡大倍率）を所定数で除算することで中間拡大倍率を少なくとも一つ算出する。具体的には、中間倍率算出部５ｃは、最終拡大倍率を約分することにより少なくとも一の約数を中間拡大倍率として算出する。このとき、「１」（等倍）以外の約数が複数算出された場合には、中間倍率算出部５ｃは、「１」以外で最小の約数を第１中間拡大倍率とし、当該最小の約数以外の約数を第２中間拡大倍率とする。
例えば、最終拡大倍率が「８倍」に設定された場合には、中間倍率算出部５ｃは、「８」の約数である１、２、４の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「４倍」を設定する。また、例えば、最終拡大倍率が「５０倍」に設定された場合には、中間倍率算出部５ｃは、「５０」の約数である１、２、５、１０、２５の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「５倍」、「１０倍」及び「２５倍」を設定する。ここで、必ずしも最小の約数以外の約数（例えば、「５倍」、「１０倍」及び「２５倍」）の全てを第２中間拡大倍率として設定する必要はない。また、複数の第２中間拡大倍率の中で処理に用いられる順序は、例えば、小さい順となるが、これに限られるものではなく、大きい順等適宜任意に変更することができる。
【００２３】
なお、中間拡大倍率は、正の整数に限られるものではなく、最終拡大倍率を所定数で除算することで算出された数であれば良く、正の小数や分数であっても良い。また、最終拡大倍率の除数も整数に限られるものではなく、正の小数や分数であっても良い。
ここで、中間倍率算出部５ｃは、ユーザによる操作入力部９の所定操作に基づいて指定された最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する算出手段を構成している。
【００２４】
骨格拡大部５ｄは、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離された骨格成分（例えば、骨格成分Ｇｓ等）を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第２中間拡大倍率が設定されている場合には、骨格拡大部５ｄは、中間画像生成部５ｇの再分離部５ｉ（後述）により第１中間拡大画像から分離された骨格成分を原画像比で第２中間拡大倍率となるように所定の拡大方法により拡大する。
また、骨格拡大部５ｄは、画像分離部５ｂにより中間拡大画像（例えば、第１中間拡大画像や第２中間拡大画像（後述）等）から分離された骨格成分を原画像比で最終拡大倍率となるように所定の拡大方法により拡大する。
なお、骨格拡大部５ｄによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
【００２５】
フィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分に対して所定のフィルタリング処理を行う。
具体的には、フィルタ処理部５ｅは、先ず、所定の鮮鋭化フィルタ（例えば、ラプラシアンフィルタ等）を用いて、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行う。次に、フィルタ処理部５ｅは、所定の非等方拡散フィルタ（例えば、Total Variationフィルタ等）を用いて、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。
ここで、フィルタ処理部５ｅが、骨格拡大部５ｄにより最終拡大倍率となるように拡大された骨格成分を処理対象とした場合には、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
即ち、骨格拡大部５ｄ及びフィルタ処理部５ｅは、画像分離部５ｂにより分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段を構成している。
【００２６】
テクスチャ拡大部５ｆは、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を中間拡大倍率となるように所定の拡大方法により拡大する。ここで、原画像の第２中間拡大倍率が設定されている場合には、テクスチャ拡大部５ｆは、中間画像生成部５ｇの再分離部５ｉ（後述）により第１中間拡大画像から分離されたテクスチャ成分を原画像比で第２中間拡大倍率となるように所定の拡大方法により拡大する。
また、テクスチャ拡大部５ｆは、テクスチャ拡大手段として、画像分離部５ｂにより原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を最終拡大倍率となるように所定の拡大方法により拡大して最終拡大テクスチャ成分を生成する。
なお、テクスチャ拡大部５ｆによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
【００２７】
中間画像生成部５ｇは、骨格拡大部５ｄにより拡大された骨格成分とテクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して中間拡大画像を生成する。
即ち、中間画像生成部５ｇは、原画像（例えば、原画像Ｇｏ等）から画像分離部５ｂにより分離され骨格拡大部５ｄにより中間拡大倍率となるように拡大された後、フィルタ処理部５ｅにより所定のフィルタリング処理が施された原画像の骨格成分と、テクスチャ拡大部５ｆにより中間拡大倍率となるように拡大された原画像のテクスチャ成分とを合成して中間拡大画像を生成する。
ここで、骨格拡大部５ｄ、テクスチャ拡大部５ｆ及び中間画像生成部５ｇは、画像分離部５ｂにより分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段を構成している。
【００２８】
また、原画像（例えば、原画像Ｇｏ等）の第２中間拡大倍率が設定されている場合には、中間画像生成部５ｇは、骨格拡大部５ｄ及びテクスチャ拡大部５ｆにより第１中間拡大倍率となるように拡大された原画像の骨格成分及びテクスチャ成分を合成して第１中間拡大画像を生成する。そして、中間画像生成部５ｇは、再分離部５ｉにより、第１中間拡大画像から骨格成分及びテクスチャ成分を分離する。ここで、再分離部５ｉによる骨格成分及びテクスチャ成分の分離は、例えば、Total Variation法により行われるが、画像分離部５ｂとは処理対象が異なるだけであり、実質的な処理内容は略等しくなっている。なお、再分離部５ｉによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
そして、再分離部５ｉによる骨格成分及びテクスチャ成分の分離は、中間倍率算出部５ｃにより算出された少なくとも一の第２中間拡大倍率が全て用いられるまで行われる。
ここで、再分離部５ｉは、中間倍率算出部５ｃにより算出された第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、中間画像生成部５ｇにより生成された中間拡大画像（例えば、第１中間拡大画像）から骨格成分及びテクスチャ成分を分離する再分離手段を構成している。
【００２９】
また、再分離部５ｉにより分離された中間拡大画像（例えば、第１中間拡大画像）の骨格成分及びテクスチャ成分の各々については、中間画像生成部５ｇは、中間倍率算出部５ｃにより算出された何れか一の第２中間拡大倍率（例えば、第１中間拡大倍率の次に大きい拡大倍率等）となるように骨格拡大部５ｄ及びテクスチャ拡大部５ｆによって拡大された骨格成分及びテクスチャ成分を合成することで、第２中間拡大画像を新たに生成する。
ここで、中間画像生成部５ｇによる第２中間拡大画像の新たな生成は、中間倍率算出部５ｃにより算出された少なくとも一の第２中間拡大倍率が全て用いられるまで行われる。
【００３０】
最終画像生成部５ｈは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する。
即ち、最終画像生成部５ｈは、骨格拡大部５ｄにより最終拡大倍率となるように拡大された骨格成分に対してフィルタ処理部５ｅにより所定のフィルタリング処理が施されることで生成された最終拡大骨格成分と、テクスチャ拡大部５ｆにより最終拡大倍率となるように拡大された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する。
ここで、最終画像生成部５ｈは、骨格拡大部５ｄ及びフィルタ処理部５ｅにより生成された最終拡大骨格成分と、テクスチャ拡大部５ｆにより生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段を構成している。
【００３１】
表示制御部６は、メモリ４に一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。
【００３２】
表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、記録媒体８に記録されている複数の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて表示指示された画像データを表示する。
【００３３】
記録媒体８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部５の符号化部（図示略）により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記憶する。
【００３４】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３５】
また、操作入力部９の選択決定ボタンは、画像再生モードにて、ユーザによる所定操作に基づいて表示部７に表示された原画像（処理対象画像）の拡大倍率（最終拡大倍率）の設定指示を入力する。そして、操作入力部９は、当該選択決定ボタンの操作に応じて所定の設定信号を中央制御部１０に出力する。
中央制御部１０は、入力された設定信号に従って、ユーザ所望の画像の拡大倍率を設定する。
ここで、操作入力部９及び中央制御部１０は、処理対象画像（原画像）の最終拡大倍率を指定する指定手段を構成している。
なお、最終拡大倍率は、正の整数（例えば、「８倍」や「２５倍」等）に限られるものではなく、正の小数や分数であっても良い。
【００３６】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、ＣＰＵ（図示略）を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３７】
次に、撮像装置１００による画像拡大処理について、図２及び図３を参照して説明する。
図２及び図３は、画像拡大処理に係る動作の一例を示すフローチャートである。
【００３８】
画像拡大処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から画像再生モードが選択指示された場合に実行される処理である。
図２に示すように、先ず、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、記録媒体８に記録されている少なくとも一の画像データの中から何れか一の画像データが指定されると、画像処理部５の画像取得部５ａは、ユーザにより指定された画像データを処理対象画像として取得する（ステップＳ１）。これにより、表示部７に処理対象画像（例えば、原画像Ｇｏ等）が表示された状態となる。
【００３９】
その後、ユーザによる操作入力部９の所定操作に基づいて、表示部７に表示された処理対象画像（例えば、原画像Ｇｏ等）の最終拡大倍率（例えば、８倍等）が指定されると、操作入力部９は、所定の設定信号を中央制御部１０に出力して、中央制御部１０は、入力された設定信号に従ってユーザ所望の画像の最終拡大倍率を設定する（ステップＳ２）。
次に、画像処理部５の中間倍率算出部５ｃは、設定された処理対象画像の最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する（ステップＳ３）。具体的には、例えば、最終拡大倍率が「８倍」に設定された場合、中間倍率算出部５ｃは、「８」の約数である１、２、４の中で、第１中間拡大倍率として「２倍」を設定し、第２中間拡大倍率として「４倍」を設定する。
【００４０】
続けて、画像処理部５の画像分離部５ｂは、処理対象画像としての原画像（例えば、原画像Ｇｏ等）からTotal Variation法により骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を分離する（ステップＳ４）。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００４１】
＜骨格成分の処理＞
先ず、画像処理部５の骨格拡大部５ｄは、原画像（例えば、原画像Ｇｏ等）から分離された骨格成分（例えば、骨格成分Ｇｓ等）を第１中間拡大倍率（例えば、「２倍」）となるように所定の拡大方法により拡大する（ステップＳ５１Ａ）。
次に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ５１Ｂ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ５１Ｃ）。
【００４２】
＜テクスチャ成分の処理＞
画像処理部５は、原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）を複製してメモリ４に一時記憶した後（ステップＳ５２Ａ）、テクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分を第１中間拡大倍率（例えば、「２倍」）となるように所定の拡大方法により拡大する（ステップＳ５２Ｂ）。
【００４３】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の中間画像生成部５ｇは、フィルタ処理部５ｅによる非等方拡散処理後の骨格成分と、テクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して、第１中間拡大倍率に拡大された第１中間拡大画像を生成する（ステップＳ６）。
次に、画像処理部５は、中間倍率算出部５ｃにより算出された第２中間拡大倍率が少なくとも一つあるか否かを判定する（ステップＳ７）。
【００４４】
ステップＳ７にて、第２中間拡大倍率が少なくとも一つあると判定されると（ステップＳ７；ＹＥＳ）、即ち、例えば、最終拡大倍率が「８倍」に設定され、中間倍率算出部５ｃにより「４倍」が第２中間拡大倍率として設定されている場合、第２中間拡大倍率が一つあることから、図３に示すように、中間画像生成部５ｇの再分離部５ｉは、第１中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する（ステップＳ８）。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００４５】
＜骨格成分の処理＞
以下に説明する第１中間拡大画像から分離された骨格成分の処理は、拡大倍率が異なる以外は、原画像から分離された骨格成分の処理（ステップＳ５１Ａ〜Ｓ５１Ｃ）と略同様となっている。
即ち、先ず、画像処理部５の骨格拡大部５ｄは、第１中間拡大画像から分離された骨格成分を原画像比で第２中間拡大倍率（例えば、「４倍」）となるように所定の拡大方法により拡大する（ステップＳ９１Ａ）。具体的には、例えば、画像処理部５の骨格拡大部５ｄは、第１中間拡大画像から分離された骨格成分を「２倍」に拡大することで、原画像比で「４倍」となる第２中間拡大倍率の骨格成分を生成する。
【００４６】
次に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ９１Ｂ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ９１Ｃ）。
【００４７】
＜テクスチャ成分の処理＞
画像処理部５のテクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分の処理（ステップＳ５２Ｂ）と略同様に、第１中間拡大画像から分離されたテクスチャ成分を原画像比で第２中間拡大倍率（例えば、「４倍」）となるように所定の拡大方法により拡大する（ステップＳ９２）。具体的には、例えば、画像処理部５のテクスチャ拡大部５ｆは、第１中間拡大画像から分離されたテクスチャ成分を「２倍」に拡大することで、原画像比で「４倍」となる第２中間拡大倍率のテクスチャ成分を生成する。
【００４８】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の中間画像生成部５ｇは、フィルタ処理部５ｅによる非等方拡散処理後の骨格成分と、テクスチャ拡大部５ｆにより拡大されたテクスチャ成分とを合成して、第２中間拡大倍率に拡大された第２中間拡大画像を生成する（ステップＳ１０）。
次に、画像処理部５は、中間倍率算出部５ｃにより算出された第２中間拡大倍率が他にあるか否かを判定する（ステップＳ１１）。
【００４９】
ステップＳ１１にて、第２中間拡大倍率が他にあると判定されると（ステップＳ７；ＹＥＳ）、画像処理部５は、処理をステップＳ８に移行して、それ以降の処理を実行する。
ステップＳ８以降の処理は、ステップＳ１１にて、第２中間拡大倍率が他にないと判定されるまで（ステップＳ１１；ＮＯ）、繰り返し行われる。これにより、画像処理部５は、中間倍率算出部５ｃにより算出された全ての第２中間拡大倍率を処理に用いることで、最終的に、最終拡大倍率の次に小さい第２中間拡大倍率に拡大された第２中間拡大画像を生成する。
【００５０】
そして、ステップＳ１１にて、第２中間拡大倍率が他にないと判定されると（ステップＳ１１；ＮＯ）、骨格成分及びテクスチャ成分の各々について処理を個別に行う。また、ステップＳ７にて、第２中間拡大倍率が少なくとも一つないと判定された場合にも（ステップＳ７；ＮＯ）、骨格成分及びテクスチャ成分の各々について処理を個別に行う。
なお、骨格成分及びテクスチャ成分の各々は、画像処理部５により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
【００５１】
＜骨格成分の処理＞
先ず、画像処理部５の画像分離部５ｂは、第２中間拡大画像からTotal Variation法により骨格成分を分離する（ステップＳ１２１Ａ）。
次に、第１中間拡大画像から分離された骨格成分の処理（ステップＳ９１Ａ）と略同様に、画像処理部５の骨格拡大部５ｄは、第２中間拡大画像から分離された骨格成分を原画像比で最終拡大倍率（例えば、「８倍」）となるように所定の拡大方法により拡大する（ステップＳ１２１Ｂ）。具体的には、例えば、画像処理部５の骨格拡大部５ｄは、第２中間拡大画像から分離された骨格成分を「２倍」に拡大することで、原画像比で「８倍」となる最終拡大倍率の骨格成分を生成する。
【００５２】
次に、第１中間拡大画像から分離された骨格成分の処理（ステップＳ９１Ｂ〜Ｓ９１Ｃ）と略同様に、画像処理部５のフィルタ処理部５ｅは、骨格拡大部５ｄにより拡大された骨格成分の画像エッジ（輪郭）を強調する鮮鋭化処理を行った後（ステップＳ１２１Ｃ）、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う（ステップＳ１２１Ｄ）。
そして、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
【００５３】
＜テクスチャ成分の処理＞
画像処理部５は、原画像（例えば、原画像Ｇｏ等）から分離されたテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の複製をメモリ４から取得した後（ステップＳ１２２Ａ）、テクスチャ拡大部５ｆは、原画像から分離されたテクスチャ成分を最終拡大倍率（例えば、「８倍」）となるように所定の拡大方法により拡大して、最終拡大テクスチャ成分を生成する（ステップＳ１２２Ｂ）。
【００５４】
そして、骨格成分の処理及びテクスチャ成分の処理の終了後、画像処理部５の最終画像生成部５ｈは、最終拡大骨格成分と最終拡大テクスチャ成分とを合成して、最終拡大倍率（例えば、「８倍」）に拡大された最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成する（ステップＳ１３）。
これにより、画像拡大処理を終了する。
【００５５】
以上のように、本実施形態の撮像装置１００によれば、原画像（例えば、原画像Ｇｏ等）からTotal Variation法により分離された骨格成分（例えば、骨格成分Ｇｓ等）及びテクスチャ成分（例えば、テクスチャ成分Ｇｔ等）の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成した後、中間拡大画像からTotal Variation法により分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像（例えば、最終拡大画像Ｇｆ；図５（ａ）参照）を生成するので、実質的にテクスチャ成分を重ねて足し込むことで細かな模様（テクスチャ）を強調しつつ、ノイズの目立ち難い最終拡大画像を生成することができる。
即ち、中間拡大画像の生成段階及び最終拡大画像の生成段階の各々にて、細かな模様（テクスチャ）を含むテクスチャ成分を足し込んで合成することで、各画像にて細かな模様を強調させることができる。また、骨格成分を指定された最終拡大倍率となるように一回で拡大するのではなく段階的に拡大することにより、従来の手法により拡大された画像（例えば、画像Ｇｅ等；図５（ｂ）参照）に比べて画質の劣化を抑制して高精細化を図ることができる。この結果、より高精細な最終拡大骨格成分を生成することができ、当該最終拡大骨格成分とノイズを含む最終拡大テクスチャ成分とを合成して生成される最終拡大画像（例えば、最終拡大画像Ｇｆ）に生じるノイズを相対的に目立ち難くすることができる。
従って、原画像の拡大倍率を大きくしても、従来の手法により拡大された画像のように画像エッジがぼやけたりノイズの増大により拡大画像の画質を劣化させることなく、最終拡大画像の画像エッジを強調して当該最終拡大画像の高精細化を適正に図ることができる。
【００５６】
また、第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、中間拡大画像からTotal Variation法により骨格成分及びテクスチャ成分を再分離して、当該中間拡大画像の骨格成分及びテクスチャ成分の各々を何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成するので、指定される最終拡大倍率が大きくなっても中間拡大倍率を複数設定して中間拡大画像を複数回生成することができる。これにより、最終拡大倍率となるように一回で拡大する場合に比べて拡大画像の画質の劣化を抑制して高精細化を図ることができ、より高精細な最終拡大骨格成分を生成することで、最終拡大画像（例えば、最終拡大画像Ｇｆ）に生じるノイズを相対的に目立ち難くすることができる。
【００５７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、原画像にバイラテラルフィルタを数回施すことで骨格画像を得て、この骨格画像を原画像から差し引くことでテクスチャ画像を得るようにしても良い。又、テクスチャ画像を輝度のみではなく色差を含むものとしても良い。また、中間拡大倍率として、第１中間拡大倍率と第２中間拡大倍率を設定するようにしたが、これに限られるものではなく、中間拡大倍率を少なくとも一つ設定すれば良い。例えば、最終拡大倍率が「４倍」等に設定された場合には、「４」の約数である１、２の中で、「１」以外の「２倍」のみを中間拡大倍率として設定する。
【００５８】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置から転送された処理対象画像の画像データを取得して、画像拡大処理を行う画像処理装置であっても良い。
【００５９】
加えて、上記実施形態にあっては、取得手段、指定手段、第１分離手段、中間画像生成手段、第２分離手段、骨格拡大手段、テクスチャ拡大手段、最終画像生成手段としての機能を、中央制御部１０、操作入力部９、画像処理部５の画像取得部５ａ、画像分離部５ｂ、骨格拡大部５ｄ、テクスチャ拡大部５ｆ、中間画像生成部５ｇ、最終画像生成部５ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ４（図示略）に、取得処理ルーチン、指定処理ルーチン、第１分離処理ルーチン、中間画像生成処理ルーチン、第２分離処理ルーチン、骨格拡大処理ルーチン、テクスチャ拡大処理ルーチン、最終画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された原画像の最終拡大倍率を指定する指定手段として機能させるようにしても良い。また、第１分離処理ルーチンにより中央制御部１０のＣＰＵを、取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段として機能させるようにしても良い。また、中間画像生成処理ルーチンにより中央制御部１０のＣＰＵを、第１分離手段により分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段として機能させるようにしても良い。また、第２分離処理ルーチンにより中央制御部１０のＣＰＵを、中間画像生成手段により生成された中間拡大画像から骨格成分を分離する第２分離手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部１０のＣＰＵを、第２分離手段により分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段として機能させるようにしても良い。また、テクスチャ拡大処理ルーチンにより中央制御部１０のＣＰＵを、第１分離手段により分離された原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部１０のＣＰＵを、骨格拡大手段により生成された最終拡大骨格成分とテクスチャ拡大手段により生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段として機能させるようにしても良い。
【符号の説明】
【００６０】
１００ 撮像装置
５ 画像処理部
５ａ 画像取得部
５ｂ 画像分離部
５ｃ 中間倍率算出部
５ｄ 骨格拡大部
５ｆ テクスチャ拡大部
５ｇ 中間画像生成部
５ｈ 最終画像生成部
５ｉ 再分離部
９ 操作入力部
１０ 中央制御部
【特許請求の範囲】
【請求項１】
原画像を取得する取得手段と、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段と、
この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段と、
この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、
前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第１中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、
前記算出手段により算出された前記第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、
前記中間画像生成手段は、更に、
前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率の中で何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、
前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率が全て用いられるまで行われることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
画像処理装置を用いた画像処理方法であって、
原画像を取得するステップと、
取得された原画像の最終拡大倍率を指定するステップと、
取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、
分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、
生成された前記中間拡大画像から骨格成分を分離するステップと、
分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、
分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、
生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、
を実行することを特徴とする画像処理方法。
【請求項５】
画像処理装置のコンピュータを、
原画像を取得する取得手段、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段、
この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段、
この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、
前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、
として機能させることを特徴とするプログラム。
【請求項１】
原画像を取得する取得手段と、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段と、
この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段と、
この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、
前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第１中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、
前記算出手段により算出された前記第１中間拡大倍率よりも大きい第２中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、
前記中間画像生成手段は、更に、
前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率の中で何れか一の第２中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、
前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第２中間拡大倍率が全て用いられるまで行われることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
画像処理装置を用いた画像処理方法であって、
原画像を取得するステップと、
取得された原画像の最終拡大倍率を指定するステップと、
取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、
分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、
生成された前記中間拡大画像から骨格成分を分離するステップと、
分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、
分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、
生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、
を実行することを特徴とする画像処理方法。
【請求項５】
画像処理装置のコンピュータを、
原画像を取得する取得手段、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第１分離手段、
この第１分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第２分離手段、
この第２分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、
前記第１分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１８６８８（Ｐ２０１２−１８６８８Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１１−２１１４５４（Ｐ２０１１−２１１４５４）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【分割の表示】特願２００９−２２５７３２（Ｐ２００９−２２５７３２）の分割
【原出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【分割の表示】特願２００９−２２５７３２（Ｐ２００９−２２５７３２）の分割
【原出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]