画像処理装置およびその方法
【課題】 電子ズーム処理された画像よりも高解像、高精細な画像の提供を可能にする。
【解決手段】 レンズ101と撮像デバイス102は、被写体の画像データを撮像する。カメラ信号処理部105は、入力されるズーム倍率情報に従い、撮像デバイス102が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する。撮像モデルデータベース108は、レンズ101の光学系による画像の劣化情報、および、拡大処理による画像の劣化情報を撮像モデル情報として格納する。ファイル作成部112は、拡大処理のオンオフを示す情報、ズーム倍率情報、撮像モデル情報、画像データ、ズーム画像データを格納したデータファイルを作成する。
【解決手段】 レンズ101と撮像デバイス102は、被写体の画像データを撮像する。カメラ信号処理部105は、入力されるズーム倍率情報に従い、撮像デバイス102が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する。撮像モデルデータベース108は、レンズ101の光学系による画像の劣化情報、および、拡大処理による画像の劣化情報を撮像モデル情報として格納する。ファイル作成部112は、拡大処理のオンオフを示す情報、ズーム倍率情報、撮像モデル情報、画像データ、ズーム画像データを格納したデータファイルを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理を利用する画像処理装置およびその方法に関する。
【背景技術】
【０００２】
画像、映像を取得した際に失われた信号を復元し、画像、映像の画素そのものを増やすことで画像、映像の解像度を高める技術、いわゆる超解像技術が普及しつつある。超解像技術として、MAP (maximum a posterior)推定に基づく方法が有名である（例えば、非特許文献1）。
【０００３】
MAP法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。具体的には、撮像装置の劣化過程をモデル化した撮像モデルを用いて、低解像度の画像から高解像度画像を推定する逆問題を最適化処理によって解決し、超解像画像を演算によって得る。
【０００４】
一方、画像取得時に撮像装置が実行可能な電子的な画像拡大方法として、電子ズーム技術がある。電子ズームは、画像取得時における撮像装置のズーム倍率が光学ズームの限界を超えた場合、撮像装置が取得した画像の一部を切り取り、当該部分を拡大する技術である（例えば、特許文献1）。
【０００５】
非特許文献1が開示する技術は、撮像モデルを用いて低解像度画像から高解像度画像を推定する逆問題であり、適切な撮像モデルがなければ良好な超解像画像は得られない。撮像モデルは、撮像装置の光学特性などを加味した劣化過程であり、撮像装置に固有の情報である。言い換えれば、良好な超解像画像を得るには、撮像装置に固有の撮像モデルを、画像データを記録する際に画像データと併せて保持する必要がある。
【０００６】
また、電子ズームされた画像以上の解像度を得るには、電子ズームされた画像に超解像処理を施し、当該画像の解像度を電子的に高めることが考えられる。しかし、電子ズームによって拡大された画像に撮像装置の撮像モデルを考慮した超解像処理を施しても、電子ズーム処理の過程で画像劣化が生じていて、充分な解像度の向上を期待することはできない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2009-038627号公報
【非特許文献】
【０００８】
【非特許文献１】Sung C. P.、Min K. P.「Super-Resolution Image Reconstruction: A Technical Overview」IEEE Signal Proc. Magazine、第26巻、第3号、21-36頁、2003年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、電子ズーム処理された画像よりも高解像、高精細な画像の提供を可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明にかかる画像処理装置は、被写体の画像データを撮像する撮像手段と、入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段と、前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段と、前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成する作成手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、電子ズーム処理された画像よりも高解像、高精細な画像の提供を可能にすることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例1の撮像装置の構成例を説明するブロック図。
【図２】カメラ信号処理部の構成例を説明するブロック図。
【図３】ファイル作成部の構成例を説明するブロック図。
【図４】動画像を格納するデータファイルの構成例を説明する図。
【図５】表示装置の構成例を説明するブロック図。
【図６】超解像処理を使用した電子ズーム画像の再生を説明する概念図。
【図７】カメラ信号処理部の画像処理を説明するフローチャート。
【図８】ファイル作成部のファイル作成処理を説明するフローチャート。
【図９】表示装置の動画再生処理を説明するフローチャート。
【図１０】超解像画像生成部の構成例を説明するブロック図。
【図１１】撮像装置の劣化モデルを説明する図。
【図１２】行列BとDのサイズを説明する図。
【図１３】二次元画像と行列Xの関係を説明する図。
【図１４】行列Bの構成例を説明する図。
【図１５】行列Dの構成例を説明する図。
【図１６】超解像画像生成部の処理例を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明にかかる実施例の画像処理である撮像モデル用いた超解像処理による電子ズーム画像の生成処理を図面を参照して詳細に説明する。
【００１５】
［装置の構成］
図1のブロック図により実施例1の撮像装置113の構成例を説明する。
【００１６】
被写体からの光は、レンズ101を介して撮像デバイス102に結像する。撮像デバイス102が出力するアナログ信号は、アナログ-ディジタル変換器(A/D)103によりディジタル信号（撮像データ）に変換されてバッファメモリ104に格納される。
【００１７】
カメラ信号処理部105は、デモザイキング、ホワイトバランス調整、ガンマ補正などを含む現像処理をバッファメモリ104から読み出した撮像データに施して、例えばRGB各色8ビットの画像データを生成する。また、カメラ信号処理部105は、詳細は後述するが、電子ズーム機能を実現する。
【００１８】
ファイル作成部112は、詳細は後述するが、カメラ信号処理部105から画像データを入力してデータファイルを作成する。そして、作成したデータファイルをLCDモニタのような表示装置106、および、例えばメモリカードやハードディスクドライブ(HDD)のような記憶装置107に出力する。撮像モデルDB108は、レンズ101のレンズ情報、および、撮像デバイス102のデバイス情報に関連する画像の劣化情報を示す撮像モデル情報を格納する。
【００１９】
ズーム制御部109は、撮像装置113のズーム機能を制御する。ズーム制御部109は、図には示さない例えばズームボタンのようなユーザインタフェイスを介してユーザの指示であるズーム倍率情報を入力する。そして、ズーム倍率情報が光学ズーム機能の範囲であれば、スイッチの端子110を経てレンズ101にズーム倍率情報を含む制御情報を供給する。ズーム倍率情報が光学ズーム機能の限界に達すると、ズーム制御部109は、スイッチの端子111を経てカメラ信号処理部105に電子ズーム倍率情報を供給する。
【００２０】
カメラ信号処理部105は、ズーム制御部109から入力される電子ズーム倍率情報に基づき電子ズームのオンオフを判断する。そして、電子ズームがオンの場合は電子ズーム機能を起動して、電子ズーム倍率情報に従い電子ズーム処理した電子ズーム画像データを出力する。
【００２１】
図1には、撮像装置113と表示装置106を例えばビデオインタフェイスおよびビデオケーブルを介して接続し、撮像装置113と記憶装置107を例えばUSBのようなシリアルバスやカードインタフェイスを介して接続する例を記載した。しかし、表示装置106と記憶装置107の少なくとも一方は、撮像装置113と一体に構成されていてもよい。
【００２２】
また、ファイル作成部112は、記憶装置107からデータファイルを読み出し、読み出したデータファイルを表示装置106に出力して、動画を再生させることができる。勿論、表示装置106が記憶装置107用のインタフェイスを有する場合、表示装置106は、記憶装置107から直接読み出したデータファイルに記録された動画を再生することができる。
【００２３】
●カメラ信号処理部
図2のブロック図によりカメラ信号処理部105の構成例を説明する。
【００２４】
入力端子201は、ズーム制御部109から電子ズーム倍率情報を入力する。電子ズーム判断部203は、電子ズーム倍率情報に基づき電子ズームのオンオフを判断して、電子ズームオンオフ情報を出力する。電子ズーム倍率取得部205は、電子ズーム判断部203から入力される電子ズームオンオフ情報が電子ズームのオンを示す場合、電子ズーム倍率情報を電子ズーム倍率メモリ212に格納する。
【００２５】
入力端子202は、バッファメモリ104から撮像データを入力する。画像取得部204は、撮像データに現像処理を施して画像データを生成し、生成した画像データを画像メモリ208に格納する。
【００２６】
電子ズーム画像生成部206は、画像メモリ208に格納された画像データの一部から、電子ズーム倍率メモリ212に格納された電子ズーム倍率情報に対応する電子ズーム画像データを生成する。そして、生成した電子ズーム画像データを電子ズーム画像メモリ207に格納する。
【００２７】
電子ズームオンオフ情報は出力端子213から出力される。電子ズーム倍率メモリ212に格納された電子ズーム倍率情報は出力端子211から出力される。電子ズーム画像メモリ207に格納された電子ズーム画像データは出力端子209から出力される。画像メモリ208に格納された画像データは出力端子210から出力される。なお、電子ズームがオフの場合、電子ズーム倍率メモリ212と電子ズーム画像メモリ207は空である。
【００２８】
●ファイル作成部
図3のブロック図によりファイル作成部112の構成例を説明する。
【００２９】
入力端子311は、カメラ信号処理部105（出力端子213）から電子ズームオンオフ情報を入力する。電子ズームオンオフ情報はデータファイル生成部309に供給される。
【００３０】
入力端子301は、カメラ信号処理部105（出力端子211）から電子ズーム倍率情報を入力する。電子ズーム倍率取得部305は、有意の電子ズーム倍率情報が入力された場合、当該電子ズーム倍率情報をデータファイル生成部309に供給する。
【００３１】
入力端子302は、カメラ信号処理部105（出力端子209）から電子ズーム画像データを入力する。電子ズーム画像取得部306は、有意の電子ズーム画像データが入力された場合、当該電子ズーム画像データをデータファイル生成部309に供給する。
【００３２】
入力端子303は、カメラ信号処理部105（出力端子210）から画像データを入力する。画像取得部307は、入力された画像データをデータファイル生成部309に供給する。
【００３３】
入力端子304は、撮像モデルデータベース108から撮像モデル情報を入力する。撮像モデル取得部308は、入力された撮像モデル情報をデータファイル生成部309に供給する。
【００３４】
データファイル生成部309は、電子ズームオンオフ情報、電子ズーム倍率情報、電子ズーム画像データ、画像データ、撮像モデル情報をまとめたデータファイルを生成し、生成したデータファイルを出力端子310から出力する。なお、データファイルの構成は後述するが、電子ズームがオフの場合、データファイルの電子ズーム倍率情報および画像データの格納領域には空(null)を格納する。
【００３５】
●データファイルの構成
図4により動画像を格納するデータファイルの構成例を説明する。
【００３６】
データファイルのフォーマットは、例えば、既存の動画データを格納するファイルフォーマットに、電子ズームオンオフ情報、電子ズーム倍率情報、画像データ、撮像モデル情報などを組み込む領域を新たに設けたものである。データファイルは、タグ情報部501、動画情報部502、画像情報部503に大別される。
【００３７】
タグ情報部501は属性情報を格納する。例えば、属性情報1には撮像モデル情報の撮像レンズ特性値が格納され、属性情報2には撮像モデル情報の撮像デバイス特性値が格納され、属性情報3には電子ズーム倍率情報、属性情報4には電子ズームオンオフ情報が格納される。なお、電子ズーム倍率情報は数値で与えられ、電子ズームオンオフ情報はオンを‘1’、オフを‘0’で示すフラグであり、動画データのコマ数分の情報が格納される。
【００３８】
動画情報部502は、通常の再生に使用する動画データ、つまり光学ズームか電子ズームかに関わりなく動画データが格納される格納領域である。画像情報部503は、超解像処理を行う際に必要な画像データを格納する領域である。つまり、電子ズームがオンのコマ（フレーム）の画像データが、当該コマを示す情報とともに画像情報部503に格納される。
【００３９】
なお、データファイルを通常の動画再生装置に供給すれば、動画情報部502に格納された動画データによって動画を再生することができる。
【００４０】
●表示装置
図5のブロック図により表示装置106の構成例を説明する。
【００４１】
入力端子401は、ファイル作成部112（の出力端子310）からデータファイルを入力する。ファイル取得部402は、データファイルからタグ情報、動画データ、画像データを分離する。タグ情報取得部403は、分離されたタグ情報から電子ズームオンオフ情報、電子ズーム倍率情報、撮像モデル情報を分離する。
【００４２】
超解像画像生成部409は、電子ズームオンオフ情報が‘1’のコマについて、撮像モデル情報、電子ズーム倍率情報、画像データから超解像画像データを生成する。
【００４３】
動画再構成部410は、電子ズームオンオフ情報が‘0’の場合はファイル取得部402から入力される動画データを表示部411に出力する。また、電子ズームオンオフ情報が‘1’の場合は超解像画像生成部409から入力される超解像画像データを表示部411に出力する。つまり、動画再構成部410は、電子ズームがオンのコマの電子ズーム画像を超解像画像に置き換える置換動作を行う。
【００４４】
表示部411は、動画再構成部410から入力される動画データを例えばLCDモニタに表示する。
【００４５】
図6の概念図により超解像処理を使用した電子ズーム画像の再生を説明する。図6の上部において、符号601-606は撮像装置113によって記録された各コマに対応し、各コマの下にズーム倍率を示す。コマ601-606の中で電子ズーム倍率が×2（二倍）のコマ604-606には電子ズーム画像が記録される。また、符号607-609は電子ズーム画像の元の画像に対応し、画像607-609の中央部（ハッチング部）が電子ズーム画像の生成に使用される画像領域である。
【００４６】
図6の下部は動画像の再生を示し、電子ズームがオフのコマ601-603は記録された画像が再生される。一方、電子ズームがオフのコマ604-606においては、画像607-609から超解像処理によって生成した電子ズーム画像610-612が再生される。
【００４７】
［画像処理］
●カメラ信号処理部
図7のフローチャートによりカメラ信号処理部105の画像処理を説明する。なお、カメラ信号処理部105は、動画撮影の開始に伴い、図7に示す処理を開始し、例えばコマ単位に実行する。
【００４８】
カメラ信号処理部105は、バッファメモリ104から例えば1コマ分の撮像データを入力し(S701)、撮像データに現像処理を施して画像データを生成する(S702)。そして、画像データを画像メモリ208に格納し(S703)、画像メモリ208に格納した画像データを出力する(S704)。そして、電子ズーム倍率情報を入力して、電子ズームのオンオフを判断し(S705)、電子ズームオンオフ情報および電子ズーム倍率を出力する(S706)。
【００４９】
続いて、カメラ信号処理部105は、電子ズームがオフの場合は処理をステップS709に進める。また、電子ズームがオンの場合は、電子ズーム倍率情報に従い画像メモリ208に格納した画像データから電子ズーム画像データを生成し(S707)、生成した電子ズーム画像データを出力する(S708)。なお、電子ズームにおける補間拡大手法には線形補間またはバイキュービック補間などを用いる。
【００５０】
続いて、カメラ信号処理部105は、動画撮影が終了したか否かを判定し(S709)、未了であれば処理をステップS701に戻す。
【００５１】
●ファイル作成部
図8のフローチャートによりファイル作成部112のファイル作成処理を説明する。なお、ファイル作成部112は、動画撮影の開始に伴い、図8に示す処理を開始する。
【００５２】
ファイル作成部112は、電子ズームオンオフ情報を入力し(S801)、電子ズームオンオフ情報をデータファイルのタグ情報部501に格納し(S802)、電子ズームのオンオフを判定する(S803)。電子ズームがオフの場合は、画像データを入力し(S804)、画像データをデータファイルの動画情報部502に格納する(S805)。
【００５３】
また、電子ズームがオンの場合、ファイル作成部112は、電子ズーム倍率情報、電子ズーム画像データ、画像データを入力する(S806)。そして、電子ズーム倍率情報をデータファイルのタグ情報部501に格納し(S807)、電子ズーム画像データをデータファイルの動画情報部502に格納し(S808)、画像データをデータファイルの画像情報部503に格納する(S809)。
【００５４】
続いて、ファイル作成部112は、動画撮影が終了したか否かを判定し(S810)、未了であれば処理をステップS801に戻して、例えばコマ単位にステップS801からS809の処理を繰り返す。
【００５５】
動画撮影が終了すると、ファイル作成部112は、撮像モデルDB108から撮像モデル情報を取得し(S811)、撮像モデル情報をデータファイルのタグ情報部501に格納する(S812)。そして、データファイルを閉じてデータファイルを出力する(S813)。
【００５６】
●表示装置
図9のフローチャートにより表示装置106の動画再生処理を説明する。表示装置106は、例えばファイル作成部112からデータファイルが入力されると図9に示す処理を開始する。
【００５７】
表示装置106は、データファイルを入力し(S901)、データファイルからタグ情報を分離し(S902)、タグ情報から撮像モデル情報、電子ズーム倍率情報、電子ズームオンオフ情報を分離する(S903)。そして、電子ズームオンオフ情報を超解像画像生成部409と動画再構成部410に供給し(S904)、撮像モデル情報と電子ズーム倍率情報を超解像画像生成部409に供給する(S905)。
【００５８】
次に、表示装置106は、コマ単位にデータファイルから動画データを分離して動画再構成部410に供給し(S906)、コマ単位の電子ズームオンオフ情報に基づき電子ズームのオンオフを判定する(S907)。そして、電子ズームがオンの場合は、データファイルから当該コマの画像データを分離して超解像画像生成部409に供給する(S908)。
【００５９】
コマ単位の電子ズームオンオフ情報が電子ズームのオンを示す場合、超解像画像生成部409は、電子ズーム倍率情報に基づき、入力される画像データから超解像処理により電子ズーム画像データ（以下、超解像電子ズーム画像データ）を生成する。また、動画再構成部410は、電子ズームがオンのコマの動画データを超解像電子ズーム画像データに置き換える。
【００６０】
次に、表示装置106は、データファイルの動画再生処理が終了したか否かを判定し(S909)、未了であれば処理をステップS906に戻して、動画再生処理を継続する。なお、動画再生処理の終了は、コマ単位の電子ズームオンオフ情報が末尾に達したか、動画データが末尾に達したなどによって判定すればよい。
【００６１】
［超解像画像生成部］
図10のブロック図により超解像画像生成部409の構成例を説明する。なお、以下では、高解像度(high resolution)の画像を「HR画像」、低解像度(low resolution)の画像を「LR画像」と呼ぶ。
【００６２】
超解像画像生成部409は、入力端子1001から画像データを、入力端子1012から電子ズーム倍率情報を入力する。なお、説明を簡単にするため、入力画像データは8ビットのグレイスケール画像データとする。
【００６３】
画像切出部1009は、入力画像データが表す画像の中央部の、電子ズーム倍率情報に対応する領域の画像データをクロップしたLR画像データを出力する。
【００６４】
初期HR画像作成部1002は、LR画像データから例えば線形補間処理によりHR画像の初期値である初期HR画像データを作成し、HR画像作成部1005に出力する。HR画像作成部1005は、後述するMAP推定法によって計算される修正量をHR画像データに加えてHR画像データを更新する。劣化画像生成部1011は、劣化条件入力部1006から入力される劣化条件に従い、HR画像作成部1005が出力するHR画像データを劣化させた劣化画像データを生成する。
【００６５】
劣化条件は、入力端子1014から入力される撮像モデル情報が示す、撮像装置113の光学系の劣化関数(PSF: point spread function)と、撮像デバイス102の画素数制限による劣化過程であるダウンサンプリングである。なお、本実施例では扱うダウンサンプリングの劣化条件は、ダウンサンプリングにおける縮小倍率1/Mと1/N（M、Nは自然数）で与えられる。また、劣化条件は、超解像処理に先立ち計測されたデータ、あるいは、既知のデータである。
【００６６】
差分演算部1010は、初期HR画像データと劣化画像データの差分を演算する。ここでは、初期HR画像データと劣化画像データの差分画像の平均値を計算することにする。終了判定部1007は、差分画像の平均値を用いて、超解像画像の生成が充分に実施されたか否かを判定する。その際の判定閾値は、入力端子1008から与えられ、判定閾値は0から255までの任意の値とする。つまり、終了判定部1007は、差分画像の平均値と判定閾値を比較して、平均値≦判定閾値の場合は判定値‘0’を出力し、平均値＞判定閾値の場合は判定値‘1’を出力する。
【００６７】
修正量計算部1004は、判定値を入力して、判定値が‘1’の場合は差分画像の平均値から修正量を計算し、修正量をHR画像作成部1005に出力する。また、判定値が‘0’の場合は値が零の修正量をHR画像作成部1005に出力する。
【００６８】
HR画像作成部1005は、修正量の値が零の場合、HR画像データを出力端子1003から出力する。また、修正量＞0の場合はHR画像データに修正量を加えてHR画像データを更新する。つまり、入力画像データと劣化画像データの差分が判定閾値以下になるまでHR画像データの更新が繰り返される。
【００６９】
［撮像装置の劣化モデル］
図11により撮像装置の劣化モデルを説明する。なお、撮像系の劣化過程を線形モデルを用いて説明する。
【００７０】
劣化過程前のHR画像1101（ベクトルX）は、光学系処理1102の光学系処理のPSFによる劣化（以下、光学劣化）（行列B）を受ける。さらに、電子ズーム処理における拡大処理1103のダウンサンプリングによる劣化（以下、ダウンサンプリング劣化）（行列D）を受けて撮影画像1104（ベクトルY）になる。なお、ダウンサンプリング劣化の条件は画像縮小倍率として提供される。
【００７１】
光学劣化を、(2C+1)×(2C+1)サイズ（Cは自然数）の線形フィルタFで表すとすると、光学劣化を受けた画像YPSFはコンボリューション演算により下式によって表される。
YPSF(i, j) = ΣpΣqX(i-p, j-q)＊F(p, q) …(1)
ここで、YPSFはPSFにより劣化した画像、
Xは劣化前のHR画像1101、
(i, j)は画素の座標、
F(p, q)は劣化フィルタ、
＊はコンボリューション演算を表す、
Σpの演算範囲はp=-CからCまで、
Σqの演算範囲はq=-CからCまで。
【００７２】
超解像処理で扱う都合上、式(1)のコンボリューション演算を式(2)で定義して、線形演算の形式に変更する。式(1)から式(2)への変換方法については後述する。線形演算の形式によると撮像装置の劣化モデルは下式で表される。
Y = DB・X …(2)
ここで、Xは劣化前のHR画像1101のベクトル、
Yは撮影画像1104、
行列Bは光学系劣化に対応する正方行列、
行列Dはダウンサンプリング劣化に対応する行列。
【００７３】
行列BとDのサイズは、入力画像のサイズにより変化する。図12により行列BとDのサイズを説明する。図12(a)は、入力画像のサイズは横方向の画素数をW、縦方向の画素数をH、ダウンサンプリング劣化の条件である画像縮小率を横方向1/M、縦方向1/Nとする場合の一般的な行列BとDのサイズを示す。
【００７４】
図13により二次元画像と行列Xの関係を説明する。二次元画像のサイズをW×Hとし、画素位置を(i, j)で表す。つまり、HR画像1101の画素データをラスタ順に走査して、一列、HW行の行列Xにする。
【００７５】
図14により行列Bの構成例を説明する。線形フィルタFのサイズは(2C+1)×(2C+1)であり、式(2)に示すようにすべての画素について線形フィルタFとの積和演算を行う。
【００７６】
画素(i, j)が線形フィルタFの中心にある場合、行列i×j行目にフィルタの値を行列の対応する位置に値を代入する。代入される以外のところは0に代入する。
【００７７】
図15により行列Dの構成例を説明する。行列Dは、縮小サイズを用いて、画像の画素を間引いた画素データを取得する行列である。行列の値について、画素データを取得すべき画素が存在する位置に対応する行列の値は1とし、その他の行列の値は0にする。
【００７８】
図12(b)は行列BとDのサイズの具体例を示す。図12(b)において、HR画像1101のサイズはW=1024、H=1024、ダウンサンプリング劣化の条件である縮小倍率はM=1/2、N=1/2である。つまり、撮影画像1104のサイズはW=512、H=512になる。
【００７９】
［超解像画像の生成］
本実施は、超解像画像の生成にMAP法を利用する。MAP法は、二乗誤差に高解像画像の確率情報を付加した評価関数を最小化することで、高解像画像を推定する方法である。つまり、高解像画像に対するある事前情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。本実施は、下式使って超解像画像を生成する。
X^ = arg min[α||CX^||2 + 1/σ2||Y-DBX^||2] …(3)
ここで、X^は推定された超解像画像、
Yは劣化した撮影画像、
DとBは劣化を表す行列、
Cは線形フィルタ。
【００８０】
式(3)の右辺第一項の||CX^||2は隣接画素の画素値であり、注目画素は隣接画素に類似する値を有することが多いという事前情報を加味した拘束項であり、画像全体に平滑化を施す効果がある。なお、線形フィルタCとしてラプラシアンフィルタを使用する。係数αは、||CX^||2項の平滑化の度合いを調整するパラメータである。平滑化の度合いが高い結果を得たい場合はαの値を大きくする。
【００８１】
式(3)の右辺第二項である1/σ2||Y-DBX^||2は、入力画像と、推定された超解像画像に劣化を与えた画像の差分項である。係数σは、撮像装置の撮影画像Yのノイズの標準偏差である。式(4)は、式(3)の右辺を取り出して、超解像処理時の評価関数として用いる式を示す。
I = α||CX^||2 + 1/σ2||Y-DBX^||2 …(4)
【００８２】
図16のフローチャートにより超解像画像生成部409の処理例を説明する。
【００８３】
超解像画像生成部409は、画像データ（撮影画像Yに相当）を入力し(S1701)、撮像モデル情報（劣化を表す行列B、Dに相当）を入力し(S1702)、電子ズーム倍率情報（ダウンサンプリング劣化の条件に相当）を入力する(S1703)。そして、画像データが表す画像の中央部の、電子ズーム倍率情報に対応する領域の画像データをクロップしたLR画像データから初期HR画像データを生成する(S1704)。つまり、線形補間により、LR画像データのサイズを横方向にM倍、縦方向にN倍に拡大する。
【００８４】
次に、超解像画像生成部409は、超解像処理の達成度合いを判定する判定閾値を入力し(S1705)、HR画像データに光学劣化（行列B）Fとダウンサンプリング劣化（行列D）を与えた劣化画像データを生成する(S1706)。式(5)は劣化画像データの生成式を示す。
Y' = DB・Xk …(5)
ここで、Y'は劣化画像データ、
Xkはk回目の演算で生成されたHR画像データ。
【００８５】
次に、超解像画像生成部409は、式(6)により劣化画像データY'と初期HR画像データYの各画素について値の差分を計算し、それら差分の平均値Δを計算する(S1707)。
Δ = [ΣiΣj{Y'(i, j) - Y(i, j)}]/N …(6)
ここで、Nは総画素数(W/M×H/N)。
【００８６】
次に、超解像画像生成部409は、差分の平均値Δと判定閾値Thを比較する(S1708)。Δ＞Thの場合は、HR画像データXkの修正量である更新項ΔXkを計算し(S1709)、カウンタkをインクリメントする(S1710)。そして、HR画像データXk-1に更新項ΔXk-1を加えてHR画像データXkを更新して(S1711)、処理をステップS1706に戻す。また、Δ≦Thの場合、超解像画像生成部409は、HR画像データXkを出力する(S1712)。
【００８７】
本実施例では、更新項ΔXkの計算に下式に示す最急降下法を用いる。最急降下法は最小化したい関数の一次微分を使用した最適化手法である。最急降下法に必要になる更新項（関数の一次微分）ΔXkは下式で計算する。
ΔXk = ∂I/(∂Xk) = 2αCTCXk + 2/σ2(DB)T[Y-DBXk] …(6)
ここで、Tは転置行列を表す。
【００８８】
上記では、動画オデータのデータファイルに、電子ズーム処理されたビデオ画像のコマに対応する電子ズーム処理前の画像データ、撮像モデル情報、電子ズーム倍率情報を含める方法を説明した。そして、動画を再生する際に、電子ズーム処理されたコマの画像データを電子ズーム処理前の画像データから超解像処理によって生成し、電子ズーム処理されたコマの画像データを超解像処理によって生成した画像データに置き換える方法を説明した。このようにすれば、電子ズームによって得られる画像よりも高解像、高精細な画像を再生することができる。
【００８９】
なお、上記では、実施例を動画に適用する例を説明したが、静止画の場合も、電子ズーム処理された画像データと、電子ズーム処理前の画像データを保持することができる。そして、電子ズーム処理された画像を表示する場合は、電子ズーム処理前の画像データを超解像処理した画像データによって画像を表示すれば、電子ズームによって得られる画像よりも高解像度、高精細な画像を表示することができる。
【００９０】
なお、電子ズーム処理された画像データと、電子ズーム処理前の画像データを保持するため、超解像処理機能を有さない表示装置においては、電子ズーム処理された動画または静止画が再生または表示され、互換性を維持することができる。
【００９１】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、超解像処理を利用する画像処理装置およびその方法に関する。
【背景技術】
【０００２】
画像、映像を取得した際に失われた信号を復元し、画像、映像の画素そのものを増やすことで画像、映像の解像度を高める技術、いわゆる超解像技術が普及しつつある。超解像技術として、MAP (maximum a posterior)推定に基づく方法が有名である（例えば、非特許文献1）。
【０００３】
MAP法は、二乗誤差に高解像度画像の確率情報を付加した評価関数を最小化するような高解像度画像を推定する方法である。つまり、高解像度画像に対するある先見情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。具体的には、撮像装置の劣化過程をモデル化した撮像モデルを用いて、低解像度の画像から高解像度画像を推定する逆問題を最適化処理によって解決し、超解像画像を演算によって得る。
【０００４】
一方、画像取得時に撮像装置が実行可能な電子的な画像拡大方法として、電子ズーム技術がある。電子ズームは、画像取得時における撮像装置のズーム倍率が光学ズームの限界を超えた場合、撮像装置が取得した画像の一部を切り取り、当該部分を拡大する技術である（例えば、特許文献1）。
【０００５】
非特許文献1が開示する技術は、撮像モデルを用いて低解像度画像から高解像度画像を推定する逆問題であり、適切な撮像モデルがなければ良好な超解像画像は得られない。撮像モデルは、撮像装置の光学特性などを加味した劣化過程であり、撮像装置に固有の情報である。言い換えれば、良好な超解像画像を得るには、撮像装置に固有の撮像モデルを、画像データを記録する際に画像データと併せて保持する必要がある。
【０００６】
また、電子ズームされた画像以上の解像度を得るには、電子ズームされた画像に超解像処理を施し、当該画像の解像度を電子的に高めることが考えられる。しかし、電子ズームによって拡大された画像に撮像装置の撮像モデルを考慮した超解像処理を施しても、電子ズーム処理の過程で画像劣化が生じていて、充分な解像度の向上を期待することはできない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2009-038627号公報
【非特許文献】
【０００８】
【非特許文献１】Sung C. P.、Min K. P.「Super-Resolution Image Reconstruction: A Technical Overview」IEEE Signal Proc. Magazine、第26巻、第3号、21-36頁、2003年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、電子ズーム処理された画像よりも高解像、高精細な画像の提供を可能にすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明にかかる画像処理装置は、被写体の画像データを撮像する撮像手段と、入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段と、前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段と、前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成する作成手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、電子ズーム処理された画像よりも高解像、高精細な画像の提供を可能にすることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例1の撮像装置の構成例を説明するブロック図。
【図２】カメラ信号処理部の構成例を説明するブロック図。
【図３】ファイル作成部の構成例を説明するブロック図。
【図４】動画像を格納するデータファイルの構成例を説明する図。
【図５】表示装置の構成例を説明するブロック図。
【図６】超解像処理を使用した電子ズーム画像の再生を説明する概念図。
【図７】カメラ信号処理部の画像処理を説明するフローチャート。
【図８】ファイル作成部のファイル作成処理を説明するフローチャート。
【図９】表示装置の動画再生処理を説明するフローチャート。
【図１０】超解像画像生成部の構成例を説明するブロック図。
【図１１】撮像装置の劣化モデルを説明する図。
【図１２】行列BとDのサイズを説明する図。
【図１３】二次元画像と行列Xの関係を説明する図。
【図１４】行列Bの構成例を説明する図。
【図１５】行列Dの構成例を説明する図。
【図１６】超解像画像生成部の処理例を説明するフローチャート。
【発明を実施するための形態】
【００１４】
以下、本発明にかかる実施例の画像処理である撮像モデル用いた超解像処理による電子ズーム画像の生成処理を図面を参照して詳細に説明する。
【００１５】
［装置の構成］
図1のブロック図により実施例1の撮像装置113の構成例を説明する。
【００１６】
被写体からの光は、レンズ101を介して撮像デバイス102に結像する。撮像デバイス102が出力するアナログ信号は、アナログ-ディジタル変換器(A/D)103によりディジタル信号（撮像データ）に変換されてバッファメモリ104に格納される。
【００１７】
カメラ信号処理部105は、デモザイキング、ホワイトバランス調整、ガンマ補正などを含む現像処理をバッファメモリ104から読み出した撮像データに施して、例えばRGB各色8ビットの画像データを生成する。また、カメラ信号処理部105は、詳細は後述するが、電子ズーム機能を実現する。
【００１８】
ファイル作成部112は、詳細は後述するが、カメラ信号処理部105から画像データを入力してデータファイルを作成する。そして、作成したデータファイルをLCDモニタのような表示装置106、および、例えばメモリカードやハードディスクドライブ(HDD)のような記憶装置107に出力する。撮像モデルDB108は、レンズ101のレンズ情報、および、撮像デバイス102のデバイス情報に関連する画像の劣化情報を示す撮像モデル情報を格納する。
【００１９】
ズーム制御部109は、撮像装置113のズーム機能を制御する。ズーム制御部109は、図には示さない例えばズームボタンのようなユーザインタフェイスを介してユーザの指示であるズーム倍率情報を入力する。そして、ズーム倍率情報が光学ズーム機能の範囲であれば、スイッチの端子110を経てレンズ101にズーム倍率情報を含む制御情報を供給する。ズーム倍率情報が光学ズーム機能の限界に達すると、ズーム制御部109は、スイッチの端子111を経てカメラ信号処理部105に電子ズーム倍率情報を供給する。
【００２０】
カメラ信号処理部105は、ズーム制御部109から入力される電子ズーム倍率情報に基づき電子ズームのオンオフを判断する。そして、電子ズームがオンの場合は電子ズーム機能を起動して、電子ズーム倍率情報に従い電子ズーム処理した電子ズーム画像データを出力する。
【００２１】
図1には、撮像装置113と表示装置106を例えばビデオインタフェイスおよびビデオケーブルを介して接続し、撮像装置113と記憶装置107を例えばUSBのようなシリアルバスやカードインタフェイスを介して接続する例を記載した。しかし、表示装置106と記憶装置107の少なくとも一方は、撮像装置113と一体に構成されていてもよい。
【００２２】
また、ファイル作成部112は、記憶装置107からデータファイルを読み出し、読み出したデータファイルを表示装置106に出力して、動画を再生させることができる。勿論、表示装置106が記憶装置107用のインタフェイスを有する場合、表示装置106は、記憶装置107から直接読み出したデータファイルに記録された動画を再生することができる。
【００２３】
●カメラ信号処理部
図2のブロック図によりカメラ信号処理部105の構成例を説明する。
【００２４】
入力端子201は、ズーム制御部109から電子ズーム倍率情報を入力する。電子ズーム判断部203は、電子ズーム倍率情報に基づき電子ズームのオンオフを判断して、電子ズームオンオフ情報を出力する。電子ズーム倍率取得部205は、電子ズーム判断部203から入力される電子ズームオンオフ情報が電子ズームのオンを示す場合、電子ズーム倍率情報を電子ズーム倍率メモリ212に格納する。
【００２５】
入力端子202は、バッファメモリ104から撮像データを入力する。画像取得部204は、撮像データに現像処理を施して画像データを生成し、生成した画像データを画像メモリ208に格納する。
【００２６】
電子ズーム画像生成部206は、画像メモリ208に格納された画像データの一部から、電子ズーム倍率メモリ212に格納された電子ズーム倍率情報に対応する電子ズーム画像データを生成する。そして、生成した電子ズーム画像データを電子ズーム画像メモリ207に格納する。
【００２７】
電子ズームオンオフ情報は出力端子213から出力される。電子ズーム倍率メモリ212に格納された電子ズーム倍率情報は出力端子211から出力される。電子ズーム画像メモリ207に格納された電子ズーム画像データは出力端子209から出力される。画像メモリ208に格納された画像データは出力端子210から出力される。なお、電子ズームがオフの場合、電子ズーム倍率メモリ212と電子ズーム画像メモリ207は空である。
【００２８】
●ファイル作成部
図3のブロック図によりファイル作成部112の構成例を説明する。
【００２９】
入力端子311は、カメラ信号処理部105（出力端子213）から電子ズームオンオフ情報を入力する。電子ズームオンオフ情報はデータファイル生成部309に供給される。
【００３０】
入力端子301は、カメラ信号処理部105（出力端子211）から電子ズーム倍率情報を入力する。電子ズーム倍率取得部305は、有意の電子ズーム倍率情報が入力された場合、当該電子ズーム倍率情報をデータファイル生成部309に供給する。
【００３１】
入力端子302は、カメラ信号処理部105（出力端子209）から電子ズーム画像データを入力する。電子ズーム画像取得部306は、有意の電子ズーム画像データが入力された場合、当該電子ズーム画像データをデータファイル生成部309に供給する。
【００３２】
入力端子303は、カメラ信号処理部105（出力端子210）から画像データを入力する。画像取得部307は、入力された画像データをデータファイル生成部309に供給する。
【００３３】
入力端子304は、撮像モデルデータベース108から撮像モデル情報を入力する。撮像モデル取得部308は、入力された撮像モデル情報をデータファイル生成部309に供給する。
【００３４】
データファイル生成部309は、電子ズームオンオフ情報、電子ズーム倍率情報、電子ズーム画像データ、画像データ、撮像モデル情報をまとめたデータファイルを生成し、生成したデータファイルを出力端子310から出力する。なお、データファイルの構成は後述するが、電子ズームがオフの場合、データファイルの電子ズーム倍率情報および画像データの格納領域には空(null)を格納する。
【００３５】
●データファイルの構成
図4により動画像を格納するデータファイルの構成例を説明する。
【００３６】
データファイルのフォーマットは、例えば、既存の動画データを格納するファイルフォーマットに、電子ズームオンオフ情報、電子ズーム倍率情報、画像データ、撮像モデル情報などを組み込む領域を新たに設けたものである。データファイルは、タグ情報部501、動画情報部502、画像情報部503に大別される。
【００３７】
タグ情報部501は属性情報を格納する。例えば、属性情報1には撮像モデル情報の撮像レンズ特性値が格納され、属性情報2には撮像モデル情報の撮像デバイス特性値が格納され、属性情報3には電子ズーム倍率情報、属性情報4には電子ズームオンオフ情報が格納される。なお、電子ズーム倍率情報は数値で与えられ、電子ズームオンオフ情報はオンを‘1’、オフを‘0’で示すフラグであり、動画データのコマ数分の情報が格納される。
【００３８】
動画情報部502は、通常の再生に使用する動画データ、つまり光学ズームか電子ズームかに関わりなく動画データが格納される格納領域である。画像情報部503は、超解像処理を行う際に必要な画像データを格納する領域である。つまり、電子ズームがオンのコマ（フレーム）の画像データが、当該コマを示す情報とともに画像情報部503に格納される。
【００３９】
なお、データファイルを通常の動画再生装置に供給すれば、動画情報部502に格納された動画データによって動画を再生することができる。
【００４０】
●表示装置
図5のブロック図により表示装置106の構成例を説明する。
【００４１】
入力端子401は、ファイル作成部112（の出力端子310）からデータファイルを入力する。ファイル取得部402は、データファイルからタグ情報、動画データ、画像データを分離する。タグ情報取得部403は、分離されたタグ情報から電子ズームオンオフ情報、電子ズーム倍率情報、撮像モデル情報を分離する。
【００４２】
超解像画像生成部409は、電子ズームオンオフ情報が‘1’のコマについて、撮像モデル情報、電子ズーム倍率情報、画像データから超解像画像データを生成する。
【００４３】
動画再構成部410は、電子ズームオンオフ情報が‘0’の場合はファイル取得部402から入力される動画データを表示部411に出力する。また、電子ズームオンオフ情報が‘1’の場合は超解像画像生成部409から入力される超解像画像データを表示部411に出力する。つまり、動画再構成部410は、電子ズームがオンのコマの電子ズーム画像を超解像画像に置き換える置換動作を行う。
【００４４】
表示部411は、動画再構成部410から入力される動画データを例えばLCDモニタに表示する。
【００４５】
図6の概念図により超解像処理を使用した電子ズーム画像の再生を説明する。図6の上部において、符号601-606は撮像装置113によって記録された各コマに対応し、各コマの下にズーム倍率を示す。コマ601-606の中で電子ズーム倍率が×2（二倍）のコマ604-606には電子ズーム画像が記録される。また、符号607-609は電子ズーム画像の元の画像に対応し、画像607-609の中央部（ハッチング部）が電子ズーム画像の生成に使用される画像領域である。
【００４６】
図6の下部は動画像の再生を示し、電子ズームがオフのコマ601-603は記録された画像が再生される。一方、電子ズームがオフのコマ604-606においては、画像607-609から超解像処理によって生成した電子ズーム画像610-612が再生される。
【００４７】
［画像処理］
●カメラ信号処理部
図7のフローチャートによりカメラ信号処理部105の画像処理を説明する。なお、カメラ信号処理部105は、動画撮影の開始に伴い、図7に示す処理を開始し、例えばコマ単位に実行する。
【００４８】
カメラ信号処理部105は、バッファメモリ104から例えば1コマ分の撮像データを入力し(S701)、撮像データに現像処理を施して画像データを生成する(S702)。そして、画像データを画像メモリ208に格納し(S703)、画像メモリ208に格納した画像データを出力する(S704)。そして、電子ズーム倍率情報を入力して、電子ズームのオンオフを判断し(S705)、電子ズームオンオフ情報および電子ズーム倍率を出力する(S706)。
【００４９】
続いて、カメラ信号処理部105は、電子ズームがオフの場合は処理をステップS709に進める。また、電子ズームがオンの場合は、電子ズーム倍率情報に従い画像メモリ208に格納した画像データから電子ズーム画像データを生成し(S707)、生成した電子ズーム画像データを出力する(S708)。なお、電子ズームにおける補間拡大手法には線形補間またはバイキュービック補間などを用いる。
【００５０】
続いて、カメラ信号処理部105は、動画撮影が終了したか否かを判定し(S709)、未了であれば処理をステップS701に戻す。
【００５１】
●ファイル作成部
図8のフローチャートによりファイル作成部112のファイル作成処理を説明する。なお、ファイル作成部112は、動画撮影の開始に伴い、図8に示す処理を開始する。
【００５２】
ファイル作成部112は、電子ズームオンオフ情報を入力し(S801)、電子ズームオンオフ情報をデータファイルのタグ情報部501に格納し(S802)、電子ズームのオンオフを判定する(S803)。電子ズームがオフの場合は、画像データを入力し(S804)、画像データをデータファイルの動画情報部502に格納する(S805)。
【００５３】
また、電子ズームがオンの場合、ファイル作成部112は、電子ズーム倍率情報、電子ズーム画像データ、画像データを入力する(S806)。そして、電子ズーム倍率情報をデータファイルのタグ情報部501に格納し(S807)、電子ズーム画像データをデータファイルの動画情報部502に格納し(S808)、画像データをデータファイルの画像情報部503に格納する(S809)。
【００５４】
続いて、ファイル作成部112は、動画撮影が終了したか否かを判定し(S810)、未了であれば処理をステップS801に戻して、例えばコマ単位にステップS801からS809の処理を繰り返す。
【００５５】
動画撮影が終了すると、ファイル作成部112は、撮像モデルDB108から撮像モデル情報を取得し(S811)、撮像モデル情報をデータファイルのタグ情報部501に格納する(S812)。そして、データファイルを閉じてデータファイルを出力する(S813)。
【００５６】
●表示装置
図9のフローチャートにより表示装置106の動画再生処理を説明する。表示装置106は、例えばファイル作成部112からデータファイルが入力されると図9に示す処理を開始する。
【００５７】
表示装置106は、データファイルを入力し(S901)、データファイルからタグ情報を分離し(S902)、タグ情報から撮像モデル情報、電子ズーム倍率情報、電子ズームオンオフ情報を分離する(S903)。そして、電子ズームオンオフ情報を超解像画像生成部409と動画再構成部410に供給し(S904)、撮像モデル情報と電子ズーム倍率情報を超解像画像生成部409に供給する(S905)。
【００５８】
次に、表示装置106は、コマ単位にデータファイルから動画データを分離して動画再構成部410に供給し(S906)、コマ単位の電子ズームオンオフ情報に基づき電子ズームのオンオフを判定する(S907)。そして、電子ズームがオンの場合は、データファイルから当該コマの画像データを分離して超解像画像生成部409に供給する(S908)。
【００５９】
コマ単位の電子ズームオンオフ情報が電子ズームのオンを示す場合、超解像画像生成部409は、電子ズーム倍率情報に基づき、入力される画像データから超解像処理により電子ズーム画像データ（以下、超解像電子ズーム画像データ）を生成する。また、動画再構成部410は、電子ズームがオンのコマの動画データを超解像電子ズーム画像データに置き換える。
【００６０】
次に、表示装置106は、データファイルの動画再生処理が終了したか否かを判定し(S909)、未了であれば処理をステップS906に戻して、動画再生処理を継続する。なお、動画再生処理の終了は、コマ単位の電子ズームオンオフ情報が末尾に達したか、動画データが末尾に達したなどによって判定すればよい。
【００６１】
［超解像画像生成部］
図10のブロック図により超解像画像生成部409の構成例を説明する。なお、以下では、高解像度(high resolution)の画像を「HR画像」、低解像度(low resolution)の画像を「LR画像」と呼ぶ。
【００６２】
超解像画像生成部409は、入力端子1001から画像データを、入力端子1012から電子ズーム倍率情報を入力する。なお、説明を簡単にするため、入力画像データは8ビットのグレイスケール画像データとする。
【００６３】
画像切出部1009は、入力画像データが表す画像の中央部の、電子ズーム倍率情報に対応する領域の画像データをクロップしたLR画像データを出力する。
【００６４】
初期HR画像作成部1002は、LR画像データから例えば線形補間処理によりHR画像の初期値である初期HR画像データを作成し、HR画像作成部1005に出力する。HR画像作成部1005は、後述するMAP推定法によって計算される修正量をHR画像データに加えてHR画像データを更新する。劣化画像生成部1011は、劣化条件入力部1006から入力される劣化条件に従い、HR画像作成部1005が出力するHR画像データを劣化させた劣化画像データを生成する。
【００６５】
劣化条件は、入力端子1014から入力される撮像モデル情報が示す、撮像装置113の光学系の劣化関数(PSF: point spread function)と、撮像デバイス102の画素数制限による劣化過程であるダウンサンプリングである。なお、本実施例では扱うダウンサンプリングの劣化条件は、ダウンサンプリングにおける縮小倍率1/Mと1/N（M、Nは自然数）で与えられる。また、劣化条件は、超解像処理に先立ち計測されたデータ、あるいは、既知のデータである。
【００６６】
差分演算部1010は、初期HR画像データと劣化画像データの差分を演算する。ここでは、初期HR画像データと劣化画像データの差分画像の平均値を計算することにする。終了判定部1007は、差分画像の平均値を用いて、超解像画像の生成が充分に実施されたか否かを判定する。その際の判定閾値は、入力端子1008から与えられ、判定閾値は0から255までの任意の値とする。つまり、終了判定部1007は、差分画像の平均値と判定閾値を比較して、平均値≦判定閾値の場合は判定値‘0’を出力し、平均値＞判定閾値の場合は判定値‘1’を出力する。
【００６７】
修正量計算部1004は、判定値を入力して、判定値が‘1’の場合は差分画像の平均値から修正量を計算し、修正量をHR画像作成部1005に出力する。また、判定値が‘0’の場合は値が零の修正量をHR画像作成部1005に出力する。
【００６８】
HR画像作成部1005は、修正量の値が零の場合、HR画像データを出力端子1003から出力する。また、修正量＞0の場合はHR画像データに修正量を加えてHR画像データを更新する。つまり、入力画像データと劣化画像データの差分が判定閾値以下になるまでHR画像データの更新が繰り返される。
【００６９】
［撮像装置の劣化モデル］
図11により撮像装置の劣化モデルを説明する。なお、撮像系の劣化過程を線形モデルを用いて説明する。
【００７０】
劣化過程前のHR画像1101（ベクトルX）は、光学系処理1102の光学系処理のPSFによる劣化（以下、光学劣化）（行列B）を受ける。さらに、電子ズーム処理における拡大処理1103のダウンサンプリングによる劣化（以下、ダウンサンプリング劣化）（行列D）を受けて撮影画像1104（ベクトルY）になる。なお、ダウンサンプリング劣化の条件は画像縮小倍率として提供される。
【００７１】
光学劣化を、(2C+1)×(2C+1)サイズ（Cは自然数）の線形フィルタFで表すとすると、光学劣化を受けた画像YPSFはコンボリューション演算により下式によって表される。
YPSF(i, j) = ΣpΣqX(i-p, j-q)＊F(p, q) …(1)
ここで、YPSFはPSFにより劣化した画像、
Xは劣化前のHR画像1101、
(i, j)は画素の座標、
F(p, q)は劣化フィルタ、
＊はコンボリューション演算を表す、
Σpの演算範囲はp=-CからCまで、
Σqの演算範囲はq=-CからCまで。
【００７２】
超解像処理で扱う都合上、式(1)のコンボリューション演算を式(2)で定義して、線形演算の形式に変更する。式(1)から式(2)への変換方法については後述する。線形演算の形式によると撮像装置の劣化モデルは下式で表される。
Y = DB・X …(2)
ここで、Xは劣化前のHR画像1101のベクトル、
Yは撮影画像1104、
行列Bは光学系劣化に対応する正方行列、
行列Dはダウンサンプリング劣化に対応する行列。
【００７３】
行列BとDのサイズは、入力画像のサイズにより変化する。図12により行列BとDのサイズを説明する。図12(a)は、入力画像のサイズは横方向の画素数をW、縦方向の画素数をH、ダウンサンプリング劣化の条件である画像縮小率を横方向1/M、縦方向1/Nとする場合の一般的な行列BとDのサイズを示す。
【００７４】
図13により二次元画像と行列Xの関係を説明する。二次元画像のサイズをW×Hとし、画素位置を(i, j)で表す。つまり、HR画像1101の画素データをラスタ順に走査して、一列、HW行の行列Xにする。
【００７５】
図14により行列Bの構成例を説明する。線形フィルタFのサイズは(2C+1)×(2C+1)であり、式(2)に示すようにすべての画素について線形フィルタFとの積和演算を行う。
【００７６】
画素(i, j)が線形フィルタFの中心にある場合、行列i×j行目にフィルタの値を行列の対応する位置に値を代入する。代入される以外のところは0に代入する。
【００７７】
図15により行列Dの構成例を説明する。行列Dは、縮小サイズを用いて、画像の画素を間引いた画素データを取得する行列である。行列の値について、画素データを取得すべき画素が存在する位置に対応する行列の値は1とし、その他の行列の値は0にする。
【００７８】
図12(b)は行列BとDのサイズの具体例を示す。図12(b)において、HR画像1101のサイズはW=1024、H=1024、ダウンサンプリング劣化の条件である縮小倍率はM=1/2、N=1/2である。つまり、撮影画像1104のサイズはW=512、H=512になる。
【００７９】
［超解像画像の生成］
本実施は、超解像画像の生成にMAP法を利用する。MAP法は、二乗誤差に高解像画像の確率情報を付加した評価関数を最小化することで、高解像画像を推定する方法である。つまり、高解像画像に対するある事前情報を利用して、事後確率を最大化する最適化問題として高解像度画像を推定する超解像処理方法である。本実施は、下式使って超解像画像を生成する。
X^ = arg min[α||CX^||2 + 1/σ2||Y-DBX^||2] …(3)
ここで、X^は推定された超解像画像、
Yは劣化した撮影画像、
DとBは劣化を表す行列、
Cは線形フィルタ。
【００８０】
式(3)の右辺第一項の||CX^||2は隣接画素の画素値であり、注目画素は隣接画素に類似する値を有することが多いという事前情報を加味した拘束項であり、画像全体に平滑化を施す効果がある。なお、線形フィルタCとしてラプラシアンフィルタを使用する。係数αは、||CX^||2項の平滑化の度合いを調整するパラメータである。平滑化の度合いが高い結果を得たい場合はαの値を大きくする。
【００８１】
式(3)の右辺第二項である1/σ2||Y-DBX^||2は、入力画像と、推定された超解像画像に劣化を与えた画像の差分項である。係数σは、撮像装置の撮影画像Yのノイズの標準偏差である。式(4)は、式(3)の右辺を取り出して、超解像処理時の評価関数として用いる式を示す。
I = α||CX^||2 + 1/σ2||Y-DBX^||2 …(4)
【００８２】
図16のフローチャートにより超解像画像生成部409の処理例を説明する。
【００８３】
超解像画像生成部409は、画像データ（撮影画像Yに相当）を入力し(S1701)、撮像モデル情報（劣化を表す行列B、Dに相当）を入力し(S1702)、電子ズーム倍率情報（ダウンサンプリング劣化の条件に相当）を入力する(S1703)。そして、画像データが表す画像の中央部の、電子ズーム倍率情報に対応する領域の画像データをクロップしたLR画像データから初期HR画像データを生成する(S1704)。つまり、線形補間により、LR画像データのサイズを横方向にM倍、縦方向にN倍に拡大する。
【００８４】
次に、超解像画像生成部409は、超解像処理の達成度合いを判定する判定閾値を入力し(S1705)、HR画像データに光学劣化（行列B）Fとダウンサンプリング劣化（行列D）を与えた劣化画像データを生成する(S1706)。式(5)は劣化画像データの生成式を示す。
Y' = DB・Xk …(5)
ここで、Y'は劣化画像データ、
Xkはk回目の演算で生成されたHR画像データ。
【００８５】
次に、超解像画像生成部409は、式(6)により劣化画像データY'と初期HR画像データYの各画素について値の差分を計算し、それら差分の平均値Δを計算する(S1707)。
Δ = [ΣiΣj{Y'(i, j) - Y(i, j)}]/N …(6)
ここで、Nは総画素数(W/M×H/N)。
【００８６】
次に、超解像画像生成部409は、差分の平均値Δと判定閾値Thを比較する(S1708)。Δ＞Thの場合は、HR画像データXkの修正量である更新項ΔXkを計算し(S1709)、カウンタkをインクリメントする(S1710)。そして、HR画像データXk-1に更新項ΔXk-1を加えてHR画像データXkを更新して(S1711)、処理をステップS1706に戻す。また、Δ≦Thの場合、超解像画像生成部409は、HR画像データXkを出力する(S1712)。
【００８７】
本実施例では、更新項ΔXkの計算に下式に示す最急降下法を用いる。最急降下法は最小化したい関数の一次微分を使用した最適化手法である。最急降下法に必要になる更新項（関数の一次微分）ΔXkは下式で計算する。
ΔXk = ∂I/(∂Xk) = 2αCTCXk + 2/σ2(DB)T[Y-DBXk] …(6)
ここで、Tは転置行列を表す。
【００８８】
上記では、動画オデータのデータファイルに、電子ズーム処理されたビデオ画像のコマに対応する電子ズーム処理前の画像データ、撮像モデル情報、電子ズーム倍率情報を含める方法を説明した。そして、動画を再生する際に、電子ズーム処理されたコマの画像データを電子ズーム処理前の画像データから超解像処理によって生成し、電子ズーム処理されたコマの画像データを超解像処理によって生成した画像データに置き換える方法を説明した。このようにすれば、電子ズームによって得られる画像よりも高解像、高精細な画像を再生することができる。
【００８９】
なお、上記では、実施例を動画に適用する例を説明したが、静止画の場合も、電子ズーム処理された画像データと、電子ズーム処理前の画像データを保持することができる。そして、電子ズーム処理された画像を表示する場合は、電子ズーム処理前の画像データを超解像処理した画像データによって画像を表示すれば、電子ズームによって得られる画像よりも高解像度、高精細な画像を表示することができる。
【００９０】
なお、電子ズーム処理された画像データと、電子ズーム処理前の画像データを保持するため、超解像処理機能を有さない表示装置においては、電子ズーム処理された動画または静止画が再生または表示され、互換性を維持することができる。
【００９１】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
被写体の画像データを撮像する撮像手段と、
入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段と、
前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段と、
前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成する作成手段とを有することを特徴とする画像処理装置。
【請求項２】
さらに、前記データファイルに格納された前記ズーム倍率情報、前記撮像モデル情報、前記画像データから超解像処理により、前記ズーム倍率情報に従い、前記画像データが表す画像の一部を拡大処理した超解像画像データを生成する超解像手段と、
前記データファイルから取り出した前記ズーム画像データを前記超解像画像データに置き換える置換手段とを有し、
前記データファイルに格納された前記拡大処理のオンオフを示す情報が前記拡大処理のオンを示す場合、前記超解像手段は超解像画像データを生成し、前記置換手段は置き換えを行うことを特徴とする請求項1に記載された画像処理装置。
【請求項３】
さらに、前記撮像手段の光学ズーム機能を制御する制御手段を有し、
前記制御手段は、ユーザが指示するズーム倍率が前記光学ズーム機能の限界に達した場合、前記生成手段に前記ズーム倍率情報を出力することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記作成手段は、前記拡大処理のオンオフを示す情報がオフを示す場合は前記データファイルの通常の再生に使用する画像データの格納領域に前記画像データを格納し、前記拡大処理のオンオフを示す情報がオンを示す場合は前記通常の再生に使用する画像データの格納領域に前記ズーム画像データを格納することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
被写体の画像データを撮像する撮像手段、入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段、前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段、並びに、作成手段を有する画像処理装置の画像処理方法であって、
前記作成手段が、前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成することを特徴とする画像処理方法。
【請求項６】
画像処理装置に、請求項5に記載された画像処理を実行させることを特徴とするプログラム。
【請求項１】
被写体の画像データを撮像する撮像手段と、
入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段と、
前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段と、
前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成する作成手段とを有することを特徴とする画像処理装置。
【請求項２】
さらに、前記データファイルに格納された前記ズーム倍率情報、前記撮像モデル情報、前記画像データから超解像処理により、前記ズーム倍率情報に従い、前記画像データが表す画像の一部を拡大処理した超解像画像データを生成する超解像手段と、
前記データファイルから取り出した前記ズーム画像データを前記超解像画像データに置き換える置換手段とを有し、
前記データファイルに格納された前記拡大処理のオンオフを示す情報が前記拡大処理のオンを示す場合、前記超解像手段は超解像画像データを生成し、前記置換手段は置き換えを行うことを特徴とする請求項1に記載された画像処理装置。
【請求項３】
さらに、前記撮像手段の光学ズーム機能を制御する制御手段を有し、
前記制御手段は、ユーザが指示するズーム倍率が前記光学ズーム機能の限界に達した場合、前記生成手段に前記ズーム倍率情報を出力することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記作成手段は、前記拡大処理のオンオフを示す情報がオフを示す場合は前記データファイルの通常の再生に使用する画像データの格納領域に前記画像データを格納し、前記拡大処理のオンオフを示す情報がオンを示す場合は前記通常の再生に使用する画像データの格納領域に前記ズーム画像データを格納することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
【請求項５】
被写体の画像データを撮像する撮像手段、入力されるズーム倍率情報に従い、前記撮像手段が出力する画像データが表す画像の一部を拡大処理したズーム画像データを生成する生成手段、前記撮像手段の光学系による画像の劣化情報、および、前記拡大処理による画像の劣化情報を撮像モデル情報として格納する格納手段、並びに、作成手段を有する画像処理装置の画像処理方法であって、
前記作成手段が、前記拡大処理のオンオフを示す情報、前記ズーム倍率情報、前記撮像モデル情報、前記画像データ、前記ズーム画像データを格納したデータファイルを作成することを特徴とする画像処理方法。
【請求項６】
画像処理装置に、請求項5に記載された画像処理を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−２１５０９（Ｐ２０１３−２１５０９Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５３２７１（Ｐ２０１１−１５３２７１）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]