画像処理装置
【課題】超解像処理に最適な低解像度画像群の取得支援に用いる画像処理装置を提供する。
【解決手段】基準画像と各参照画像間の位置ずれ量を算出する処理部と、位置ずれ量と基準画像と複数の参照画像に基づいて複数の変形画像を生成する処理部と、画像情報選択時に利用するパラメータの閾値を設定する処理部と、パラメータの閾値を用いて参照画像から超解像処理に用いる画像情報を選択する処理部と、基準画像と位置ずれ量と画像情報とに基づき加算画像と重み画像を生成する処理部と、加算画像を重み画像で除算することにより高解像度グリッド画像を生成する処理部と、高解像度グリッド画像に基づき簡易補間画像を生成する処理部と、画像特徴量を生成する処理部と、画像特徴量を表示する表示部と、必要に応じて、画像入力に係る処理、基準画像選択に係る処理、参照画像選択に係る処理、及びパラメータの閾値設定に係る処理をそれぞれ制御する制御部とを備える。
【解決手段】基準画像と各参照画像間の位置ずれ量を算出する処理部と、位置ずれ量と基準画像と複数の参照画像に基づいて複数の変形画像を生成する処理部と、画像情報選択時に利用するパラメータの閾値を設定する処理部と、パラメータの閾値を用いて参照画像から超解像処理に用いる画像情報を選択する処理部と、基準画像と位置ずれ量と画像情報とに基づき加算画像と重み画像を生成する処理部と、加算画像を重み画像で除算することにより高解像度グリッド画像を生成する処理部と、高解像度グリッド画像に基づき簡易補間画像を生成する処理部と、画像特徴量を生成する処理部と、画像特徴量を表示する表示部と、必要に応じて、画像入力に係る処理、基準画像選択に係る処理、参照画像選択に係る処理、及びパラメータの閾値設定に係る処理をそれぞれ制御する制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、複数枚の低解像度画像の位置合わせによる高解像度画像の生成を行う際の低解像度画像群取得支援に用いる画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタル画像処理分野では、複数枚の低解像度画像（以下、単に、「低解像度画像群」とも言う。）を使用して高解像度画像を生成する、超解像処理と呼ばれるデジタル画像処理技術が開発されてきた。
【０００３】
既存の超解像処理技術として、例えば、特許文献１や特許文献２に開示されたように、まず、複数枚の低解像度画像間における位置ずれ量をサブピクセル単位で検出し、そして、検出したサブピクセル単位での位置ずれ量をもとに、これら複数枚の低解像度画像を高解像度画像空間上に位置合わせし合成することにより、高解像度画像を生成する画像処理技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１２６３７８号
【特許文献２】国際公開ＷＯ２００４／０６８８６２号パンフレット
【特許文献３】特開２００７−２６６６６７号公報
【特許文献４】国際公開ＷＯ２００４／０６３９９１号パンフレット
【特許文献５】国際公開ＷＯ２００８／１０２８９８号パンフレット
【非特許文献】
【０００５】
【非特許文献１】戸田真人・塚田正人・井上晃共著,「レジストレーション誤差を考慮した超解像処理」,ＦＩＴ２００６（第５回情報科学技術フォーラム）,I-027,p.63-64,2006年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、前述した既存の超解像処理技術を用いて、複数枚の低解像度画像を使用して高解像度画像を生成する際に、低解像度画像間の位置ずれ量をもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせする必要がある。
【０００７】
このとき、被写体の動き、低解像度画像の使用枚数、動き推定処理や画素選択処理などの影響で、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が不均一になる。このような不均一な画素密度を有する画像データに対して、補間処理が行われている。
【０００８】
しかしながら、補間処理は推定値により高解像度画像空間上の不足している画素を埋めるため、補間処理による高解像度化は、必ずしも正確なものとはならない。
【０００９】
そのため、複数枚の低解像度画像を使用して高解像度画像を生成する際に、つまり、複数枚の低解像度画像に基づく超解像処理により高解像度画像を生成する際に、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が概略均一となるように、複数枚の低解像度画像（低解像度画像群）を取得することが望ましい。
【００１０】
このように、超解像処理により高解像度画像を生成するには、サブピクセル単位でずれた複数枚の低解像度画像をユーザが取得する必要はあるが、ユーザは超解像処理に最適な低解像度画像が十分に得られているか否かを知ることができないという問題点が存在する。
【００１１】
一方、特許文献３には、ユーザが撮影した画像を使用してモザイキング処理や超解像処理により合成画像を生成する際に、適切な撮影量となるように、ユーザのカメラ操作を支援する、「カメラ付き携帯機器、その制御方法及びその撮影支援方法」が開示されている。
【００１２】
特許文献３では、適切な撮影量をユーザへ提示することにより、ユーザのカメラ操作を支援しているが、サブピクセル単位での適切な撮影量をユーザへ提示するものではない。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関するものである。本発明の上記目的は、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、画像特徴量を算出する画像特徴量算出部と、前記画像特徴量を表示する画像特徴量表示部とを備えることによって達成される。或いは、前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像であってもよい。
【００１５】
また、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度画像空間上の画素数に対する前記高解像度グリッド画像の未定義画素数の割合を表す前記高解像度グリッド画像の充填率を算出する充填率算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域毎に算出された充填率であってもよい。或いは、前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合であってもよい。
【００１６】
更に、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度グリッド画像に対し高周波数成分を算出する高周波数成分算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の高周波数成分に対する前記高解像度グリッド画像の高周波数成分の比を表す高解像度グリッド画像の相対高周波数成分であってもよい。或いは、前記画像特徴量算出部は、前記高解像度グリッド画像に対しエッジ量を算出するエッジ量算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像のエッジ量に対する前記高解像度グリッド画像のエッジ量の比を表す高解像度グリッド画像の相対エッジ量であってもよい。
【００１７】
また更に、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部を備えることによってより効果的に達成される。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し、表色変換処理を行い、表色変換基準画像及び表色変換補間画像を生成する表色変換処理部を備えることによってより効果的に達成される。或いは、前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、高周波数成分を算出する高周波数成分算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の高周波数成分に対する前記補間画像の高周波数成分の比を表す前記補間画像の相対高周波数成分であってもよい。或いは、前記画像特徴量は、前記表色変換基準画像の高周波数成分に対する前記表色変換補間画像の高周波数成分の比を表す前記表色変換補間画像の相対高周波数成分であってもよい。或いは、前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、エッジ量を算出するエッジ量算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像のエッジ量に対する前記補間画像のエッジ量の比を表す前記補間画像の相対エッジ量であってもよい。或いは、前記画像特徴量は、前記表色変換基準画像のエッジ量に対する前記表色変換補間画像のエッジ量の比を表す前記表色変換補間画像の相対エッジ量であってもよい。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し色差を算出する色差算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の色差に対する前記補間画像の色差の比を表す前記補間画像の相対色差であってもよい。或いは、前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し色差を算出する色差算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記表色変換基準画像の色差に対する前記表色変換補間画像の色差の比を表す前記表色変換補間画像の相対色差であってもよい。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し彩度を算出する彩度算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の彩度に対する前記補間画像の彩度の比を表す前記補間画像の相対彩度であってもよい。或いは、前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し彩度を算出する彩度算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記表色変換基準画像の彩度に対する前記表色変換補間画像の彩度の比を表す前記表色変換補間画像の相対彩度であってもよい。或いは、前記画像特徴量は、前記複数の変形画像と前記基準画像間のそれぞれの類似度であってもよい。或いは、前記画像特徴量は、前記複数の変形画像と前記基準画像を領域分割した小領域ごとの前記基準画像と各変形画像間の類似度であってもよい。或いは、前記画像特徴量は、前記変形画像を領域分割して得られた小領域の総数に対する所定の閾値以上の類似度を有する小領域の数の割合であってもよい。或いは、前記画像特徴量表示部は、前記画像特徴量の推移を表示することによってより効果的に達成される。
【００１８】
また、本発明の上記目的は、前記画像処理装置において、前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部とを更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。
【発明の効果】
【００１９】
本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、基準画像、超解像処理の途中において生成された加算画像と重み画像に基づいて生成された高解像度グリッド画像と簡易補間画像に基づいて生成された画像特徴量（充填率、高周波数成分、エッジ量、彩度及び色差）をユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理装置の第１実施形態を示すブロック構成図である。
【図２】図１に示す本発明の第１実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図３】本発明に係る画像処理装置の加算画像・重み画像生成部の実施形態を示すブロック構成図である。
【図４】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図５】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図６】本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態を示すブロック構成図である。
【図７】異なる充填率を有する高解像度グリッド画像の例である。
【図８】小領域毎に算出された充填率を示してある高解像度グリッド画像の例である。
【図９】エッジや孤立点付近の各画素の色差成分Ｃｂと色差成分Ｃｒの分布をプロットした例である。
【図１０】本発明に係る画像処理装置の画像特徴算出部１１２の第２実施形態を示すブロック構成図である。
【図１１】画像特徴量の推移表示を画像特徴量表示部１１３に表示した場合の例である。
【図１２】本発明に係る画像処理装置の第２実施形態を示すブロック構成図である。
【図１３】図１２に示す本発明の第２実施形態に係る画像処理装置の処理流れを示すフロー図である。
【発明を実施するための形態】
【００２１】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関する。
【００２２】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２３】
図１は、本発明に係る画像処理装置の第１実施形態（以下、単に「本発明に係る画像処理装置１」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は、図１に示す本発明に係る画像処理装置１の処理流れを示すフロー図である。以下、図１及び図２を用いて、画像処理装置１を詳細に説明する。
【００２４】
図１に示すように、画像処理装置１は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、画像特徴量算出部１１２と、画像特徴量表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置１において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
【００２５】
図１に示すように、画像処理装置１では、まず、画像入力部１００が、複数枚の低解像度画像を入力する（図２のステップＳ１００を参照）。そして、画像入力部１００に入力された複数枚の低解像度画像が、第１記憶部１０１に格納される。また、ユーザの選択により、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが選択した所定枚数の低解像度画像を入力することが可能である。
【００２６】
ここで、本発明では、画像入力部１００に入力される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された画像を用いても良く、また、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された、画素情報において少なくとも１種類以上の色チャンネル情報の欠落している画像を用いても良い。カラーフィルタとして、例えば、Bayerカラーフィルタを用いる。
【００２７】
次に、基準画像選択部１０２が、第１記憶部１０１に格納されている複数枚の低解像度画像から、１枚の基準画像を選択する（図２のステップＳ１１０を参照）。本発明で言う「基準画像」とは、高解像度化する低解像度画像であり、位置ずれ量算出部１０４において位置ずれ量を算出する際の基準となる画像でもある。
【００２８】
本発明では、ユーザが高解像度化したい１枚の低解像度画像を、外部Ｉ／Ｆ制御部１１４を介して、基準画像選択部１０２によって基準画像として選択するようにしている。また、本発明では、基準画像選択部１０２が、所定の評価基準により、第１記憶部１０１に格納されている複数枚の低解像度画像の中から、１枚の基準画像を選択するようにしてもよい。所定の評価基準としては、例えば、画像間の相関や合焦状態を用いることができる。
【００２９】
次に、参照画像選択部１０３が、第１記憶部１０１に格納されている複数枚の低解像度画像から、高解像度化処理（超解像処理）に用いる複数枚の参照画像を選択する（図２のステップＳ１２０を参照）。
【００３０】
つまり、参照画像選択部１０３では、第１記憶部１０１に格納されている複数枚の低解像度画像から、所定枚数の参照画像を選択するようにしており、また、当該所定枚数は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３１】
次に、位置ずれ量算出部１０４が、位置ずれ量算出処理（図２のステップＳ１３０を参照）を行うことにより、基準画像選択部１０２により選択された基準画像と、参照画像選択部１０３により選択された各参照画像間の位置関係を、それぞれ算出する。ここで、位置ずれ量算出部１０４で算出された位置関係は、高解像度画像空間上で位置合わせを行うための位置ずれ量となる。
【００３２】
本発明では、高解像度画像空間上に位置合わせを行うためには、基準画像と各参照画像間のサブピクセル単位での位置ずれ量を算出する必要がある。位置ずれ量算出部１０４で行われる位置ずれ量算出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理（例えば、バイキュービック法による補間処理）で拡大させておき、そして、拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれ量を、ブロックマッチング法により算出するようにしても良く、又は、特許文献４に開示されたような既存技術により算出するようにしても良い。
【００３３】
なお、位置ずれ量算出部１０４では、低解像度画像からサブピクセル単位での位置ずれ量を算出した場合に、算出されたサブピクセル単位での位置ずれ量を高解像度画像空間上のサブピクセル単位での位置ずれ量に変換する必要がある。
【００３４】
換言すれば、位置ずれ量算出部１０４で算出された位置ずれ量は、高解像度画像空間上のサブピクセル単位での位置ずれ量となる。
【００３５】
次に、変形画像生成部１０５が、変形画像生成処理（図２のステップＳ１４０を参照）を行うことにより、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、基準画像と合致するように、各参照画像にそれぞれ画像変形を施すことで、複数の変形画像を生成する。
【００３６】
なお、変形画像生成部１０５では、変形画像を生成するために、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、各参照画像とそれぞれ合致するように、基準画像に画像変形を施すことで、複数の変形画像を生成するようにしても良い。
【００３７】
次に、パラメータ設定部１０７が、パラメータ設定処理（図２のステップＳ１５０を参照）を行うことにより、参照画像の画素を超解像処理に利用するか否かを判断するためのパラメータの閾値を設定する。当該パラメータとして、画像間の類似度や相違度を用いることができる。また、当該パラメータの閾値は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３８】
ここで、本発明で用いるパラメータの具体例について説明する。
【００３９】
一例として、基準画像と変形画像（例えば、画像変形を施した参照画像）の位置が対応する画素について求めたＳＳＤ（差分自乗の総和）をパラメータとする。
【００４０】
パラメータとして、画素単位について求めたＳＳＤ（差分自乗の総和）用いた場合に、パラメータ設定部１０７では、画素単位について求めた基準画像と変形画像間のＳＳＤの閾値を設定する。後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが設定された閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４１】
勿論、本発明では、パラメータとして、画素単位について求めた基準画像と変形画像間のＳＳＤには限らず、基準画像と変形画像の位置が対応するフレーム単位や領域単位について求めたＳＳＤを用いてもよい。
【００４２】
また、本発明では、ＳＳＤだけではなく、ＳＡＤ（差分絶対値の総和）やＮＣＣ（正規化相互相関）といった公知の類似度、相違度をパラメータとして用いるようにしてもよい。
【００４３】
本発明では、位置(i,j)における基準画像の輝度値をＴ(i,j)とし、変形画像（例えば、基準画像と合致するように画像変形された参照画像）の輝度値をＩ(i,j)とした場合に、Ｍピクセル×Ｎピクセルの領域の基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣは、下記数１、数２、数３により求められる。
【００４４】
【数１】
【００４５】
【数２】
【００４６】
【数３】
ＳＳＤとＳＡＤは小さな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。また、ＮＣＣは大きな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。
【００４７】
つまり、本発明では、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが、パラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４８】
また、本発明では、パラメータとして基準画像と変形画像間のＳＡＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＡＤが、パラメータ設定部１０７で設定されたＳＡＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４９】
そして、本発明では、パラメータとして基準画像と変形画像間のＮＣＣを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＮＣＣが、パラメータ設定部１０７で設定されたＮＣＣの閾値以上であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００５０】
さらに、本発明では、画像間の類似度や相違度だけでなく、パラメータとして、例えば、非特許文献１や特許文献５の公知技術に開示されたように、上記のＩ(i,j)の変形量に基づく基準などを用いてもよい。
【００５１】
次に、画像情報選択部１０６が、画像情報選択処理（図２のステップＳ１６０を参照）を行うことにより、パラメータ設定部１０７で設定されたパラメータの閾値と、基準画像選択部１０２で選択された基準画像と、変形画像生成部１０５で生成された複数の変形画像とに基づいて、複数枚の参照画像から超解像処理に用いる画像情報を選択する。
【００５２】
ここで、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合の画像情報選択部１０６で行われる画像情報選択処理の一具体例について説明する。
【００５３】
画像情報選択部１０６が、まず、画素毎に基準画像と変形画像間のＳＳＤを算出し、次に、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択し、一方、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値より大きければ、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択しないように、複数枚の参照画像から超解像処理に用いる画像情報（複数の画素）を選択する。
【００５４】
換言すれば、画像情報選択部１０６で選択された画像情報は、超解像処理に利用する画像情報として、複数枚の参照画像から選択された複数の画素で構成された画像情報である。即ち、画像情報選択部１０６で選択された画像情報は、複数の参照画像から選択された複数の画素である。
【００５５】
次に、加算画像・重み画像生成部１０８が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像と重み画像を生成する（図２のステップＳ１７０を参照）。加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、第２記憶部１０９に格納される。
【００５６】
ここで、加算画像・重み画像生成部１０８の実施形態について詳細に説明する。図３は、本発明に係る画像処理装置の加算画像・重み画像生成部（加算画像・重み画像生成部１０８）の実施形態を示すブロック構成図である。
【００５７】
図３に示すように、加算画像・重み画像生成部１０８が、加算画像を生成する加算画像生成部２００と、重み画像を生成する重み画像生成部２０１とから構成される。
【００５８】
加算画像・重み画像生成部１０８では、まず、加算画像生成部２００が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量（即ち、高解像度画像空間上のサブピクセル単位での位置ずれ量）と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素を高解像度画像空間上に配置することにより、加算画像を生成する。ちなみに、加算画像の画素数が高解像度画像空間の画素数と等しい。
【００５９】
次に、重み画像生成部２０１が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素に対して重み付けをし、各画素に係る重みを高解像度画像空間上に配置することにより、重み画像を生成する。ちなみに、重み画像の画素数が高解像度画像空間の画素数と等しい。
【００６０】
重み画像生成部２０１で行われる、選択された画像情報の各画素に対する重み付けについて、画素毎に位置ずれ量算出部１０４で算出された位置ずれ量をもとに、対応する画素同士の相関性を再度評価することにより、位置ずれ量の信頼度を判定し、判定された信頼度に応じて、０〜１の重みを設定するようにしても良く、また、位置合わせの基準となる基準画像からの撮影時間に応じて重み付けをするようにしても良い。
【００６１】
なお、加算画像生成部２００では、選択された画像情報の画素を高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素が配置されていた場合に、それらの画素の画素値に、当該画素の画素値を累積加算するようにしている。
【００６２】
また、重み画像生成部２０１では、選択された画像情報の画素に係る重みを高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素に係る重みが配置されていた場合に、それらの画素に係る重みに、当該画素に係る重みを累積加算するようにしている。
【００６３】
このように、加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、選択された画像情報の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。
【００６４】
上述した加算画像・重み画像生成部１０８の実施形態では、加算画像と重み画像を生成する際に、画素値と重みについてそれぞれ累積加算を行っているが、本発明に係る画像処理装置の加算画像・重み画像生成部では、上述した実施形態に限らず、例えば、画素値と重みを高解像度画像空間上に配置する際に、同じ画素位置に、既に画素値又は重みが配置されている場合は、累積加算せずに、当該画素値と当該重みを棄却するように、加算画像と重み画像を生成するようにしても良い。
【００６５】
図４は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００６６】
図４に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００６７】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図４では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００６８】
図４に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００６９】
そして、図４から分かるように、画像入力部１００に入力された複数枚の低解像度画像は三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で同じになっている。
【００７０】
図５は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００７１】
図５に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００７２】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図５では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００７３】
図５に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００７４】
そして、図５から分かるように、画像入力部１００に入力された複数枚の低解像度画像はカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で異なる。
【００７５】
次に、高解像度グリッド画像生成部１１０が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像を読み出した重み画像で除算することにより、高解像度グリッド画像を生成する（図２のステップＳ１８０を参照）。
【００７６】
なお、高解像度グリッド画像生成部１１０では、高解像度グリッド画像を生成する際に、重み画像に未定義画素（つまり、画素値が０である画素）がある場合に、０での除算が発生するため、加算画像を重み画像で除算することを行わずに、直接に、重み画像の未定義画素の画素位置にある高解像度グリッド画像の画素値を０に設定するように、高解像度グリッド画像を生成する。
【００７７】
次に、図６に示す画像特徴量算出部１１２における簡易補間画像生成部１１１が、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像に対し、簡易補間画像生成処理（図２のステップＳ１９０を参照）を行うことにより、簡易補間画像を生成する。
【００７８】
簡易補間画像生成部１１１で行われる簡易補間画像生成処理とは、高解像度グリッド画像の画素値が０である画素（以下、単に「高解像度グリッド画像の欠落画素」とも言う。）に対し、偽色の出やすい簡易な補間処理を行うことを意味する。ここで、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理を利用する。なお、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理に限られることがなく、例えば、ニアレストネイバー、バイキュービック等の既存の補間処理方法を用いても良い。
【００７９】
さらに、図１に示されていないが、簡易補間画像生成部１１１が、基準画像選択部１０２から転送されてきた基準画像を、上述したような補間処理により、高解像度画像空間に拡大して得られた画像の高解像度グリッド画像の欠落画素と一致する位置の画素値を用いることで補間しても良い。
【００８０】
なお、高解像度グリッド画像は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像の欠落画素に対し、簡易補間画像生成部１１１により簡易な補間処理を行うと、補間する値の誤差により、生成された簡易補間画像にＲＧＢのカラーバランスが崩れ、偽色が発生する。
【００８１】
ここで、高解像度グリッド画像は、画像入力部１００に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像に基づき、簡易補間画像生成部１１１によって生成された簡易補間画像を、「単板方式画像に係る簡易補間画像」とも言う。
【００８２】
一方、高解像度グリッド画像は、画像入力部１００に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像から補間処理によって生成された簡易補間画像を、「三板方式画像に係る簡易補間画像」とも言う。
【００８３】
つまり、本発明では、画像入力部１００に入力される複数枚の低解像度画像の種類を区別する必要がない場合に、上述２種類の簡易補間画像を単に、簡易補間画像と言う。しかし、画像入力部１００に入力される複数枚の低解像度画像の種類を区別する必要がある場合に、単板方式画像に係る簡易補間画像と、三板方式画像に係る簡易補間画像を使い分けるようにする。
【００８４】
図６は、本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態を示すブロック構成図である。
【００８５】
図６に示すように、画像特徴量算出部１１２が、簡易補間画像を生成する簡易補間画像生成部１１１と、高解像度グリッド画像の充填率を算出する充填率算出部３００と、画像の高周波数成分を算出する高周波数成分算出部３０１と、画像のエッジ量を算出するエッジ量算出部３０２と、画像の彩度を算出する彩度算出部３０３と、画像の色差を算出する色差算出部３０４と、異なる表色系を用いる画像間の表色変換を行う表色変換部３０５とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、基準画像選択部１０２で選択された基準画像に基づき、画像特徴量算出処理（図２のステップＳ２００を参照）を施すことにより、画像特徴量を算出する。
【００８６】
ここで、高解像度グリッド画像も、簡易補間画像も、高解像度画像空間上の画像である。そして、画像特徴量算出部１１２で算出された画像特徴量は、画像特徴量表示部１１３に表示される。
【００８７】
画像特徴量算出部１１２で行われる画像特徴量算出処理とは、充填率算出部３００で行われる充填率算出処理、高周波数成分算出部３０１で行われる高周波数成分算出処理、エッジ量算出部３０２で行われるエッジ量算出処理、彩度算出部３０３で行われる彩度算出処理、及び色差算出部３０４で行われる色差算出処理のうち、少なくとも１つ以上の処理を意味する。
【００８８】
以下、画像特徴量算出部１１２で行われる処理を具体的に説明する。
【００８９】
まず、画像特徴量算出部１１２では、充填率算出部３００が、高解像度グリッド画像に基づき、充填率算出処理を行うことにより、高解像度グリッド画像の充填率（以下、単に、充填率とも言う。）を算出する。充填率算出部３００で算出された充填率は、画像特徴量として画像特徴量表示部１１３に表示される。
【００９０】
以下、充填率算出処理について具体的に説明する。説明を簡単にするため、高解像度グリッド画像がグレー画像である場合の充填率算出処理について説明する。
【００９１】
ここで、高解像度画像空間上の画素数をＮとする。また、高解像度グリッド画像の定義画素数をＫとし、高解像度グリッド画像の未定義画素数（つまり、高解像度グリッド画像の欠落画素数）をＵとする。
【００９２】
充填率算出処理では、下記数４に基づき、高解像度グリッド画像の充填率ρを算出する。換言すれば、高解像度グリッド画像の充填率は、高解像度画像空間上の画素数に対する高解像度グリッド画像の未定義画素数の割合を意味する。
【００９３】
【数４】
図７に、異なる充填率を有する高解像度グリッド画像の例を示す。図７（Ａ）は充填率２５％を有する高解像度グリッド画像であり、Ｎ＝４００００、Ｋ＝１００００、Ｕ＝３００００であり、上記数４により算出された充填率は２５％となる。また、図７（Ｂ）は充填率７５％を有する高解像度グリッド画像であり、Ｎ＝４００００、Ｋ＝３００００、Ｕ＝１００００であり、上記数４により算出された充填率は７５％となる。
【００９４】
なお、高解像度グリッド画像がカラー画像である場合に、画像特徴量算出部１１２では、その高解像度グリッド画像のＲＧＢチャンネルに、それぞれ上述した充填率算出処理と同様な処理を行うことにより、充填率を算出する。その際、算出された充填率は、Ｒチャンネルの充填率、Ｇチャンネルの充填率、及びＢチャンネルの充填率となる。
【００９５】
本発明では、高解像度グリッド画像に基づいて算出された充填率を画像特徴量表示部１１３に表示させることにより、つまり、その充填率をユーザに表示することにより、ユーザに参照画像の選択基準を提供することができる。
【００９６】
また、本発明では、充填率算出部３００が、図８に示すように、高解像度グリッド画像を小領域に領域分割し、分割された小領域毎に、上記数４に基づき（ただし、この場合は、数４において、Ｎは小領域に対応する高解像度画像空間上の画素数となり、Ｋは当該小領域に属する高解像度グリッド画像の定義画素数となり、Ｕは当該小領域に属する高解像度グリッド画像の未定義画素数となる。）、充填率（小領域の充填率）を算出するとともに、分割された小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合をも算出するようにし、更に、充填率算出部３００で算出されたこの割合も、算出された小領域の充填率と共に、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【００９７】
なお、上述した所定の閾値は、ユーザが求める高解像度画像の画質により、ユーザに任意に決定される。
【００９８】
図８に示す高解像度グリッド画像を一具体例として上述した割合を説明すると、例えば、所定の閾値を８０％とする場合に、所定の閾値以上の充填率（つまり、８０％以上の充填率）を有する小領域の数は２であり、分割された小領域の総数は４であるため、この割合は５０％となる。
【００９９】
本発明では、上述した割合を画像特徴量表示部１１３に表示させることにより、つまり、その割合をユーザに表示することにより、例え高解像度グリッド画像の一部の小領域に充填率の偏りが起きた場合でも、ユーザに適正な参照画像の選択基準を提供することができる。
【０１００】
次に、高周波数成分算出部３０１が、高解像度グリッド画像、三板方式画像に係る簡易補間画像及び基準画像に対し、画像の高周波数成分（以下、単に、高周波数成分とも言う。）をそれぞれ算出する。高周波数成分算出部３０１で算出された高周波数成分は、画像特徴量として画像特徴量表示部１１３に表示される。
【０１０１】
具体例として、例えば、高周波数成分算出部３０１では、各画像にハイパスフィルタを施すことにより、画像の高周波成分をそれぞれ算出する。また、高周波数成分算出部３０１では、各画像にウェーブレット変換を行うことにより、画像の高周波数成分をそれぞれ算出するようにしても良い。
【０１０２】
なお、高周波数成分算出部３０１では、高解像度グリッド画像、三板方式画像に係る簡易補間画像及び基準画像のうち、少なくとも１つの画像に対し、高周波数成分を算出するようにしても良い。
【０１０３】
また、高周波数成分算出部３０１では、算出した高解像度グリッド画像の高周波数成分と、算出した三板方式画像に係る簡易補間画像の高周波数成分をそれぞれ正規化するようにしても良い。正規化された高解像度グリッド画像の高周波数成分と、正規化された三板方式画像に係る簡易補間画像の高周波数成分は、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０４】
また、高周波数成分算出部３０１では、算出した基準画像の高周波数成分に対する、算出した高解像度グリッド画像の高周波数成分の比という相対量（以下、単に、高解像度グリッド画像の相対高周波数成分とも言う。）を、相対的な画像特徴量として算出するようにしても良い。さらに、高周波数成分算出部３０１では、算出した基準画像の高周波数成分に対する、算出した三板方式画像に係る簡易補間画像の高周波数成分の比という相対量（以下、単に、三板方式画像に係る簡易補間画像の相対高周波数成分とも言う。）を、相対的な画像特徴量として算出するようにしても良い。高周波数成分算出部３０１で算出された高解像度グリッド画像の相対高周波数成分と、三板方式画像に係る簡易補間画像の相対高周波数成分は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０５】
次に、エッジ量算出部３０２が、高解像度グリッド画像、三板方式画像に係る簡易補間画像、及び基準画像に対し、エッジ検出フィルタを施すことにより、画像のエッジ量（以下、単に、エッジ量とも言う。）をそれぞれ算出する。エッジ量算出部３０２で算出されたエッジ量は、画像特徴量として画像特徴量表示部１１３に表示される。また、エッジ量算出部３０２において、エッジ検出フィルタとして、例えば、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタを用いることができる。
【０１０６】
エッジ量算出部３０２において、例えば、エッジ検出フィルタとしてラプラシアンフィルタを用いた場合に、画像全体でのラプラシアンの積分値をエッジ量とする。
【０１０７】
また、エッジ量算出部３０２では、算出した基準画像のエッジ量に対する、算出した高解像度グリッド画像のエッジ量の比という相対量（以下、単に、高解像度グリッド画像の相対エッジ量とも言う。）を、相対的な画像特徴量として算出するようにしても良い。さらに、エッジ量算出部３０２では、算出した基準画像のエッジ量に対する、算出した三板方式画像に係る簡易補間画像のエッジ量の比という相対量（以下、単に、三板方式画像に係る簡易補間画像の相対エッジ量とも言う。）を、相対的な画像特徴量として算出するようにしても良い。エッジ量算出部３０２で算出された高解像度グリッド画像の相対エッジ量と、三板方式画像に係る簡易補間画像の相対エッジ量は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０８】
また、エッジ量算出部３０２では、算出した高解像度グリッド画像のエッジ量と、算出した三板方式画像に係る簡易補間画像のエッジ量をそれぞれ正規化するようにしても良い。正規化された高解像度グリッド画像のエッジ量と、正規化された三板方式画像に係る簡易補間画像のエッジ量は、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０９】
本発明では、画像情報選択部１０６において、複数枚の参照画像から多くの画素が棄却されて（即ち、少ない画素が選択されて）、結果として高解像度グリッド画像の充填率が低い場合、や画像入力部１００に入力された低解像度画像の枚数が少なくて、結果として高解像度グリッド画像の充填率が低い場合は、高解像度グリッド画像が未定義画素部分（即ち、画素値が0の部分）の影響で不連続となり、よって高解像度グリッド画像の高周波数成分やエッジ量が多くなる。
【０１１０】
一方、高解像度グリッド画像の充填率が高い場合は、高解像度グリッド画像が滑らかになるため、高解像度グリッド画像の高周波数成分やエッジ量が減少する。
【０１１１】
よって、高解像度グリッド画像の高周波数成分やエッジ量といった画像特徴量は、ユーザが超解像処理に最適な低解像度画像群を取得できたか否かを判断するための目安となり得る。
【０１１２】
ここで、表色変換部３０５について説明する。以下では、ＲＧＢ表色系を用いた画像を単にＲＧＢ画像とも言う。また、ＨＳＩ表色系を用いた画像を単にＨＳＩ画像とも言う。ＹＣｂＣｒ表色系を用いた画像を単にＹＣｂＣｒ画像とも言う。更に、L*a*b*表色系を用いた画像を単にL*a*b*画像とも言う。
【０１１３】
以下の説明では、基準画像も簡易補間画像もＲＧＢ画像であることを前提としている。
【０１１４】
画像特徴量算出部１１２では、表色変換部３０５が、ＹＣｂＣｒ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、ＨＳＩ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＨＳＩ画像へそれぞれ変換する。
【０１１５】
表色変換部３０５において、ＲＧＢ画像をＹＣｂＣｒ画像へ変換するためのＹＣｂＣｒ変換は、下記数５に基づいて行われる。
【０１１６】
【数５】
また、表色変換部３０５では、ＨＳＩ変換の代わりとして、L*a*b*変換を用いることができる。つまり、表色変換部３０５では、ＹＣｂＣｒ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、L*a*b*変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をL*a*b*画像へそれぞれ変換するようにしても良い。
【０１１７】
以下、画像特徴量算出部１１２に入力された簡易補間画像が、単板方式画像に係る簡易補間画像である場合に、画像特徴量算出部１１２で行われる処理について、詳細に説明する。
【０１１８】
単板方式画像に係る簡易補間画像が画像特徴量算出部１１２に入力された場合に、まず、表色変換部３０５がＹＣｂＣｒ変換を行うことにより、基準画像と単板方式画像に係る簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、ＨＳＩ変換を行うことにより、基準画像と単板方式画像に係る簡易補間画像をＨＳＩ画像へそれぞれ変換する。
【０１１９】
ここで、彩度算出部３０３が、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓを、画像特徴量として算出する。また、彩度算出部３０３が、表色変換部３０５でL*a*b*変換された単板方式画像に係る簡易補間画像（L*a*b*画像）の彩度Ｓを算出するようにしても良い。
【０１２０】
また、色差算出部３０４が、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差を、画像特徴量として算出する。
【０１２１】
具体的に、色差算出部３０４では、画像特徴量としての色差をＣとし、例えば、下記数６により算出する。ただし、ＣｂとＣｒは、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒである。
【０１２２】
【数６】
ところで、簡易補間画像生成部１１１において、画像入力部１００に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された高解像度グリッド画像の欠落画素（未定義画素）を補間処理して、単板方式画像に係る簡易補間画像を生成する場合に、補間誤差により偽色が発生するため、単板方式画像に係る画像における彩度と色差が高い値となる。特に、エッジや孤立点のような画像の高周波数成分における補間誤差は、顕著となる。
【０１２３】
そのため、画像特徴量算出部１１２では、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）を高周波数成分算出部３０１に転送し、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒの高周波数成分をそれぞれ算出する。
【０１２４】
更に、画像特徴量算出部１１２では、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）をエッジ量算出部３０２にも転送し、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒのエッジ量をそれぞれ算出する。
【０１２５】
また、画像特徴量算出部１１２では、単板方式画像に係る簡易補間画像の彩度Ｓについての高周波数成分とエッジ量を算出するようにしている。
【０１２６】
具体的に、画像特徴量算出部１１２では、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）を高周波数成分算出部３０１に転送し、ＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓの高周波数成分を算出する。
【０１２７】
更に、画像特徴量算出部１１２では、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）をエッジ量算出部３０２にも転送し、ＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓのエッジ量を算出する。
【０１２８】
また、画像特徴量算出部１１２では、色差、彩度から得られる画像特徴量として、図９に示すように、エッジや孤立点付近の各画素の色差成分Ｃｂと色差成分ＣｒをＣｂＣｒ平面にプロットし得られる分布図における分散等の統計量を算出してもよい。
【０１２９】
また、彩度算出部３０３では、表色変換部３０５でＨＳＩ変換された基準画像の彩度を算出し、算出した基準画像の彩度に対する、算出した単板方式画像に係る簡易補間画像の彩度の比という相対量（以下、単に、単板方式画像に係る簡易補間画像の相対彩度とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、彩度算出部３０３で算出された単板方式画像に係る簡易補間画像の相対彩度は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１３０】
また、色差算出部３０４では、表色変換部３０５でＹＣｂＣｒ変換された基準画像の色差を算出し、算出した基準画像の色差に対する、算出した単板方式画像に係る簡易補間画像の色差の比という相対量（以下、単に、単板方式画像に係る簡易補間画像の相対色差とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、色差算出部３０４で算出された単板方式画像に係る簡易補間画像の相対色差は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１３１】
本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態についての説明は以上の通りである。
【０１３２】
図１０は、本発明に係る画像処理装置の画像特徴算出部１１２の第２実施形態を示すブロック構成図である。
【０１３３】
図１０に示すように、画像特徴量算出部１１２が、簡易補間画像を生成する簡易補間画像生成部１１１と、高解像度グリッド画像の充填率を算出する充填率算出部３００と、画像の高周波数成分を算出する高周波数成分算出部３０１と、画像のエッジ量を算出するエッジ量算出部３０２と、画像の彩度を算出する彩度算出部３０３と、画像の色差を算出する色差算出部３０４と、異なる表色系を用いる画像間の表色変換を行う表色変換部３０５と、画像のエッジと孤立点を検出するエッジ検出部３０６とから構成され、解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、基準画像選択部１０２で選択された基準画像に基づき、画像特徴量算出処理（図２のステップＳ２００を参照）を施すことにより、画像特徴量を算出する。そして、画像特徴量算出部１１２で算出された画像特徴量は、画像特徴量表示部１１３に表示される。
【０１３４】
図１０に示す画像特徴算出部１１２の第２実施形態では、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像が、充填率算出部３００、高周波数成分算出部３０１及びエッジ量算出部３０２にそれぞれ転送されており、充填率算出部３００が高解像度グリッド画像の充填率を画像特徴量として算出し、高周波数成分算出部３０１が高解像度グリッド画像の高周波数成分を画像特徴量として算出し、エッジ量算出部３０２が高解像度グリッド画像のエッジ量を画像特徴量として算出する。
【０１３５】
なお、画像特徴算出部１１２の第２実施形態において、充填率算出部３００、高周波数成分算出部３０１及びエッジ量算出部３０２で行われる処理は、図６に示す画像特徴算出部１１２の第１実施形態におけるそれらの処理と同じであるため、処理の詳細な説明は省略する。
【０１３６】
図６に示す画像特徴算出部１１２の第１実施形態の構成と異なるのは、図１０に示す画像特徴算出部１１２の第２実施形態において、表色変換部３０５で表色変換された簡易補間画像と基準画像が、エッジ検出部３０６に転送され、そして、エッジ検出部３０６で検出されたエッジと孤立点が、彩度算出部３０３と色差算出部３０４にそれぞれ転送されている点である。
【０１３７】
図１０に示す画像特徴算出部１１２の第２実施形態において、表色変換部３０５で行われる処理は、図６に示す画像特徴算出部１１２の第１実施形態における表色変換部３０５の処理と同じであるため、処理の詳細な説明は省略する。
【０１３８】
画像特徴算出部１１２の第２実施形態において、エッジ検出部３０６が、ＹＣｂＣｒ変換された簡易補間画像に対し、エッジ検出フィルタを施すことにより、簡易補間画像の輝度成分Ｙから、簡易補間画像のエッジと孤立点を検出し、同時に、ＨＳＩ変換された簡易補間画像に対し、エッジ検出フィルタを施すことにより、簡易補間画像の明度成分Ｉから、簡易補間画像のエッジと孤立点を検出する。なお、エッジ検出フィルタとして、例えば、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタを用いることができる。
【０１３９】
画像特徴算出部１１２の第２実施形態において、簡易補間画像の輝度成分Ｙから検出された簡易補間画像のエッジと孤立点が色差算出部３０４に転送されており、また、簡易補間画像の明度成分Ｉから検出された簡易補間画像のエッジと孤立点が彩度算出部３０３に転送されている。
【０１４０】
画像特徴算出部１１２の第２実施形態において、色差算出部３０４が、簡易補間画像の輝度成分Ｙから検出された簡易補間画像のエッジと孤立点付近の色差を上記数６に基づき、画像特徴量として算出する。
【０１４１】
また、画像特徴算出部１１２の第２実施形態において、彩度算出部３０３が、簡易補間画像の明度成分Ｉから検出された簡易補間画像のエッジと孤立点付近の彩度Ｓを、画像特徴量として算出する。また、彩度算出部３０３が、表色変換部３０５でL*a*b*変換された簡易補間画像から、簡易補間画像のエッジと孤立点付近の彩度Ｓを算出するようにしても良い。
【０１４２】
なお、画像特徴算出部１１２の第２実施形態において、彩度算出部３０３では、基準画像の明度成分Ｉから検出された基準画像のエッジと孤立点付近の彩度を算出し、算出した基準画像のエッジと孤立点付近の彩度に対する、算出した簡易補間画像のエッジと孤立点付近の彩度の比という相対量（以下、単に、簡易補間画像のエッジと孤立点付近の相対彩度とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、彩度算出部３０３で算出された簡易補間画像のエッジと孤立点付近の相対彩度は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１４３】
また、画像特徴算出部１１２の第２実施形態において、色差算出部３０４では、基準画像の輝度成分Ｙから検出された基準画像のエッジと孤立点付近の色差を算出し、算出した基準画像のエッジと孤立点付近の色差に対する、算出した簡易補間画像のエッジと孤立点付近の色差の比という相対量（以下、単に、簡易補間画像のエッジと孤立点付近の相対色差とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、色差算出部３０４で算出された簡易補間画像のエッジと孤立点付近の相対色差は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１４４】
本発明では、画像特徴算出部１１２の第２実施形態の構成を用いることで、平坦部に彩度が高い部分があっても、影響を受けずに補間誤差による偽色や彩度を求めることができる。
【０１４５】
なお、画像特徴算出部１１２の第１実施形態も、画像特徴算出部１１２の第２実施形態も、充填率算出部３００、高周波数成分算出部３０１、エッジ量算出部３０２、彩度算出部３０３、及び色差算出部３０４のうち、少なくとも１つ以上の処理部を備える構成であっても良い。
【０１４６】
次に、画像特徴量表示部１１３が、画像特徴算出部１１２で算出された画像特徴量（充填率、高周波数成分、エッジ量、彩度及び色差）を表示する（図２のステップＳ２１０を参照）。
【０１４７】
なお、画像特徴量表示部１１３では、画像特徴算出部１１２で算出された充填率、高周波数成分、エッジ量、彩度及び色差といった画像特徴量のうち、少なくとも一つ以上を表示するようにしても良い。
【０１４８】
また、画像特徴量表示部１１３では、画像特徴算出部１１２で算出された画像特徴量を推移表示するようにしても良い。図１１は、画像特徴量の推移表示を画像特徴量表示部１１３に表示した場合の例である。
【０１４９】
図１１に示すように、基準画像を基準とし、フレーム方向への推移で画像特徴量の変化を表示している。図１１（Ａ）はフレーム方向への推移で充填率の変化を表示しており、図１１（Ｂ）はフレーム方向への推移でエッジ量の変化を表示しており、図１１（Ｃ）はフレーム方向への推移で彩度の変化を表示しており、図１１（Ｄ）はフレーム方向への推移で色差の変化を表示している。
【０１５０】
更に、画像特徴量表示部１１３では、画像特徴量の推移表示がフレーム方向への推移に限らず、時間方向への推移で画像特徴量を表示するようにしても良い。
【０１５１】
本発明では、画像特徴量表示部１１３が画像特徴量を推移表示することで、さらにユーザの利便性を高めることができる。
【０１５２】
画像特徴量表示部１１３に表示された画像特徴量をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図２のステップＳ２２０を参照）。
【０１５３】
つまり、本発明では、画像特徴量表示部１１３に画像特徴量を表示させることで、ユーザは、表示された画像特徴量を視認することにより、高解像度グリッド画像の画素の充填状態や簡易補間画像の偽色量等を把握することが可能になり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる。
【０１５４】
外部Ｉ／Ｆ制御部１１４が、画像特徴量のユーザ視認結果により、パラメータ設定部１０７で行われる処理、参照画像選択部１０３で行われる処理、及び画像入力部１００で行われる処理のうち、少なくとも１つの処理を制御する。
【０１５５】
つまり、本発明に係る画像処理装置では、ユーザが画像特徴量表示部１１３に表示された画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した画像特徴量の状況により、外部Ｉ／Ｆ制御部１１４を介して、
＜１＞図２のステップＳ１５０（パラメータ設定部１０７）に戻って、パラメータの閾値がユーザに設定し直されるように処理、
＜２＞図２のステップＳ１２０（参照画像選択部１０３）に戻って、選択する参照画像の所定枚数がユーザに設定し直されるように処理、及び
＜３＞図２のステップＳ１００（画像入力部１００）に戻って、ユーザに設定された所定枚数の低解像度画像が入力されるように処理のうち、少なくとも１つの処理を行ってから、その後の処理が繰り返される。
【０１５６】
具体的には、例えば、画像特徴量のユーザ視認により高解像度画像空間上の画素の充填状態が悪いと判断された場合、つまり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に、ユーザが外部Ｉ／Ｆ制御部１１４を介して、参照画像の所定枚数を増やすように、参照画像選択部１０３における所定枚数を設定し直す、又は、パラメータ設定部１０７におけるパラメータの閾値を緩める（例えば、パラメータとしてＳＳＤを用いた場合に、ＳＳＤの閾値を大きくする。）。
【０１５７】
また、画像特徴量のユーザ視認により、第１記憶部１０１に格納されている低解像度画像の枚数が不足していると判断された場合に、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが設定した所定枚数の低解像度画像を入力し、その後、入力されたそれらの低解像度画像が第１記憶部１０１に格納される。
【０１５８】
なお、本発明では、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を第２記憶部１０９に順次格納することで、ユーザが選択された参照画像の枚数を変更した場合に、第２記憶部１０９から加算画像と重み画像を読み出すだけで、参照画像の枚数の変更を反映することができる。
【０１５９】
一方、本発明に係る画像処理装置では、ユーザが画像特徴量表示部１１３に表示された画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図２のステップＳ２２０のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
【０１６０】
再構成処理部１１５で行われる再構成処理は、既存の技術である例えばＭＡＰ法やカラーカーネル回帰といった再構成処理を用いる。
【０１６１】
最後に、高解像度画像出力部１１６が、再構成処理部１１５で生成された高解像度画像を出力する。これで、本発明に係る画像処理装置（画像処理装置１）での処理が終了する。
【０１６２】
本発明の画像処理装置１では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１６３】
図１２は、本発明に係る画像処理装置の第２実施形態（以下、単に「本発明に係る画像処理装置２」、又は「画像処理装置２」とも言う。）を示すブロック構成図である。また、図１３は、図１２に示す本発明に係る画像処理装置２の処理流れを示すフロー図である。
【０１６４】
図１と図１２を比較すれば分かるように、画像処理装置２が画像処理装置１と異なるのは、画像処理装置１における画像情報選択部１０６が画像特徴量表示部１１３と接続されていないが、画像処理装置２における画像情報選択部１０６が画像特徴量表示部１１３と接続されている点である。
【０１６５】
上記相違点を除けば、画像処理装置２が、構成上においても、処理上においても、画像処理装置１と同様であるため、上記相違点以外についての説明は省略する。
【０１６６】
ここで、上記相違点について詳細に説明する。
【０１６７】
図１２及び図１３に示すように、画像処理装置２では、画像情報選択部１０６で算出されたパラメータの値を画像特徴量として、画像特徴量表示部１１３に表示させるようにしている（図１３のステップＳ２１５を参照）。
【０１６８】
前述したように、本発明では、パラメータとして画像間の類似度や相違度を用いることができる。画像間の類似度や相違度として、上記数１、数２、数３により求められる基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣを用いることができる。
【０１６９】
ここで、例えば、パラメータとして基準画像と変形画像間のＳＳＤを用いた場合に、画像処理装置２では、画像情報選択部１０６で算出された基準画像と各変形画像間のＳＳＤの値を画像特徴量として、画像特徴量表示部１１３に表示させるようにする。
【０１７０】
なお、画像処理装置２では、パラメータとして画像間の類似度や相違度を用いる場合に、画像情報選択部１０６において、基準画像と各変形画像間の類似度や相違度を対応する画像単位で画像特徴量として算出するようにしても良く、また、基準画像と各変形画像を小領域にそれぞれ領域分割し、分割された小領域毎に、基準画像と各変形画像間の類似度や相違度を画像特徴量として算出するようにしても良く、更に、変形画像を領域分割して得られた小領域の総数に対する、所定の閾値以上の類似度を有する小領域の数の割合を画像特徴量として算出するようにしても良い。
【０１７１】
次に、画像処理装置２では、画像特徴量表示部１１３に表示された、画像情報選択部１０６から転送されてきた画像特徴量をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図１３のステップＳ２２５を参照）。
【０１７２】
画像処理装置２では、ユーザが画像特徴量表示部１１３に表示された画像情報選択部１０６から転送されてきた画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した画像特徴量の状況により、外部Ｉ／Ｆ制御部１１４を介して、図のステップＳ１２０（参照画像選択部１０３）に戻って、超解像処理に利用する複数枚の参照画像がユーザに選択されるように処理を行ってから、その後の処理が繰り返される。
【０１７３】
また、位置合わせに成功した参照画像のみを、超解像処理に使用する参照画像として選択することが望ましいことから、画像処理装置２では、ユーザが画像特徴量表示部１１３に表示された画像情報選択部１０６から転送されてきた画像特徴量を視認することにより、外部Ｉ／Ｆ制御部１１４を介して、参照画像選択部１０３において、超解像処理に利用する複数枚の参照画像がユーザに適切に選択されることができる。
【０１７４】
本発明の画像処理装置２では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１７５】
なお、本発明に係る画像処理装置を、例えば、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。
【０１７６】
また、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
【符号の説明】
【０１７７】
画像入力部 １００
第１記憶部 １０１
基準画像選択部 １０２
参照画像選択部 １０３
位置ずれ量算出部 １０４
変形画像生成部 １０５
画像情報選択部 １０６
パラメータ設定部 １０７
加算画像・重み画像生成部 １０８
第２記憶部 １０９
高解像度グリッド画像生成部 １１０
簡易補間画像生成部 １１１
画像特徴量算出部 １１２
画像特徴量表示部 １１３
外部Ｉ／Ｆ制御部 １１４
再構成処理部 １１５
高解像度画像出力部 １１６
加算画像生成部 ２００
重み画像生成部 ２０１
充填率算出部 ３００
高周波数成分算出部 ３０１
エッジ量算出部 ３０２
彩度算出部 ３０３
色差算出部 ３０４
表色変換部 ３０５
エッジ検出部 ３０６
【技術分野】
【０００１】
本発明は、デジタル画像処理技術に関し、特に、複数枚の低解像度画像の位置合わせによる高解像度画像の生成を行う際の低解像度画像群取得支援に用いる画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタル画像処理分野では、複数枚の低解像度画像（以下、単に、「低解像度画像群」とも言う。）を使用して高解像度画像を生成する、超解像処理と呼ばれるデジタル画像処理技術が開発されてきた。
【０００３】
既存の超解像処理技術として、例えば、特許文献１や特許文献２に開示されたように、まず、複数枚の低解像度画像間における位置ずれ量をサブピクセル単位で検出し、そして、検出したサブピクセル単位での位置ずれ量をもとに、これら複数枚の低解像度画像を高解像度画像空間上に位置合わせし合成することにより、高解像度画像を生成する画像処理技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１２６３７８号
【特許文献２】国際公開ＷＯ２００４／０６８８６２号パンフレット
【特許文献３】特開２００７−２６６６６７号公報
【特許文献４】国際公開ＷＯ２００４／０６３９９１号パンフレット
【特許文献５】国際公開ＷＯ２００８／１０２８９８号パンフレット
【非特許文献】
【０００５】
【非特許文献１】戸田真人・塚田正人・井上晃共著,「レジストレーション誤差を考慮した超解像処理」,ＦＩＴ２００６（第５回情報科学技術フォーラム）,I-027,p.63-64,2006年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のように、前述した既存の超解像処理技術を用いて、複数枚の低解像度画像を使用して高解像度画像を生成する際に、低解像度画像間の位置ずれ量をもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせする必要がある。
【０００７】
このとき、被写体の動き、低解像度画像の使用枚数、動き推定処理や画素選択処理などの影響で、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が不均一になる。このような不均一な画素密度を有する画像データに対して、補間処理が行われている。
【０００８】
しかしながら、補間処理は推定値により高解像度画像空間上の不足している画素を埋めるため、補間処理による高解像度化は、必ずしも正確なものとはならない。
【０００９】
そのため、複数枚の低解像度画像を使用して高解像度画像を生成する際に、つまり、複数枚の低解像度画像に基づく超解像処理により高解像度画像を生成する際に、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が概略均一となるように、複数枚の低解像度画像（低解像度画像群）を取得することが望ましい。
【００１０】
このように、超解像処理により高解像度画像を生成するには、サブピクセル単位でずれた複数枚の低解像度画像をユーザが取得する必要はあるが、ユーザは超解像処理に最適な低解像度画像が十分に得られているか否かを知ることができないという問題点が存在する。
【００１１】
一方、特許文献３には、ユーザが撮影した画像を使用してモザイキング処理や超解像処理により合成画像を生成する際に、適切な撮影量となるように、ユーザのカメラ操作を支援する、「カメラ付き携帯機器、その制御方法及びその撮影支援方法」が開示されている。
【００１２】
特許文献３では、適切な撮影量をユーザへ提示することにより、ユーザのカメラ操作を支援しているが、サブピクセル単位での適切な撮影量をユーザへ提示するものではない。
【００１３】
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関するものである。本発明の上記目的は、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、画像特徴量を算出する画像特徴量算出部と、前記画像特徴量を表示する画像特徴量表示部とを備えることによって達成される。或いは、前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像であってもよい。
【００１５】
また、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度画像空間上の画素数に対する前記高解像度グリッド画像の未定義画素数の割合を表す前記高解像度グリッド画像の充填率を算出する充填率算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域毎に算出された充填率であってもよい。或いは、前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合であってもよい。
【００１６】
更に、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度グリッド画像に対し高周波数成分を算出する高周波数成分算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の高周波数成分に対する前記高解像度グリッド画像の高周波数成分の比を表す高解像度グリッド画像の相対高周波数成分であってもよい。或いは、前記画像特徴量算出部は、前記高解像度グリッド画像に対しエッジ量を算出するエッジ量算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像のエッジ量に対する前記高解像度グリッド画像のエッジ量の比を表す高解像度グリッド画像の相対エッジ量であってもよい。
【００１７】
また更に、本発明の上記目的は、前記画像特徴量算出部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部を備えることによってより効果的に達成される。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し、表色変換処理を行い、表色変換基準画像及び表色変換補間画像を生成する表色変換処理部を備えることによってより効果的に達成される。或いは、前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、高周波数成分を算出する高周波数成分算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の高周波数成分に対する前記補間画像の高周波数成分の比を表す前記補間画像の相対高周波数成分であってもよい。或いは、前記画像特徴量は、前記表色変換基準画像の高周波数成分に対する前記表色変換補間画像の高周波数成分の比を表す前記表色変換補間画像の相対高周波数成分であってもよい。或いは、前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、エッジ量を算出するエッジ量算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像のエッジ量に対する前記補間画像のエッジ量の比を表す前記補間画像の相対エッジ量であってもよい。或いは、前記画像特徴量は、前記表色変換基準画像のエッジ量に対する前記表色変換補間画像のエッジ量の比を表す前記表色変換補間画像の相対エッジ量であってもよい。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し色差を算出する色差算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の色差に対する前記補間画像の色差の比を表す前記補間画像の相対色差であってもよい。或いは、前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し色差を算出する色差算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記表色変換基準画像の色差に対する前記表色変換補間画像の色差の比を表す前記表色変換補間画像の相対色差であってもよい。或いは、前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し彩度を算出する彩度算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記基準画像の彩度に対する前記補間画像の彩度の比を表す前記補間画像の相対彩度であってもよい。或いは、前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し彩度を算出する彩度算出部を備えることによってより効果的に達成される。或いは、前記画像特徴量は、前記表色変換基準画像の彩度に対する前記表色変換補間画像の彩度の比を表す前記表色変換補間画像の相対彩度であってもよい。或いは、前記画像特徴量は、前記複数の変形画像と前記基準画像間のそれぞれの類似度であってもよい。或いは、前記画像特徴量は、前記複数の変形画像と前記基準画像を領域分割した小領域ごとの前記基準画像と各変形画像間の類似度であってもよい。或いは、前記画像特徴量は、前記変形画像を領域分割して得られた小領域の総数に対する所定の閾値以上の類似度を有する小領域の数の割合であってもよい。或いは、前記画像特徴量表示部は、前記画像特徴量の推移を表示することによってより効果的に達成される。
【００１８】
また、本発明の上記目的は、前記画像処理装置において、前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部とを更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。
【発明の効果】
【００１９】
本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、基準画像、超解像処理の途中において生成された加算画像と重み画像に基づいて生成された高解像度グリッド画像と簡易補間画像に基づいて生成された画像特徴量（充填率、高周波数成分、エッジ量、彩度及び色差）をユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る画像処理装置の第１実施形態を示すブロック構成図である。
【図２】図１に示す本発明の第１実施形態に係る画像処理装置の処理流れを示すフロー図である。
【図３】本発明に係る画像処理装置の加算画像・重み画像生成部の実施形態を示すブロック構成図である。
【図４】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図５】本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。
【図６】本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態を示すブロック構成図である。
【図７】異なる充填率を有する高解像度グリッド画像の例である。
【図８】小領域毎に算出された充填率を示してある高解像度グリッド画像の例である。
【図９】エッジや孤立点付近の各画素の色差成分Ｃｂと色差成分Ｃｒの分布をプロットした例である。
【図１０】本発明に係る画像処理装置の画像特徴算出部１１２の第２実施形態を示すブロック構成図である。
【図１１】画像特徴量の推移表示を画像特徴量表示部１１３に表示した場合の例である。
【図１２】本発明に係る画像処理装置の第２実施形態を示すブロック構成図である。
【図１３】図１２に示す本発明の第２実施形態に係る画像処理装置の処理流れを示すフロー図である。
【発明を実施するための形態】
【００２１】
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関する。
【００２２】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２３】
図１は、本発明に係る画像処理装置の第１実施形態（以下、単に「本発明に係る画像処理装置１」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は、図１に示す本発明に係る画像処理装置１の処理流れを示すフロー図である。以下、図１及び図２を用いて、画像処理装置１を詳細に説明する。
【００２４】
図１に示すように、画像処理装置１は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、画像特徴量算出部１１２と、画像特徴量表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置１において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
【００２５】
図１に示すように、画像処理装置１では、まず、画像入力部１００が、複数枚の低解像度画像を入力する（図２のステップＳ１００を参照）。そして、画像入力部１００に入力された複数枚の低解像度画像が、第１記憶部１０１に格納される。また、ユーザの選択により、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが選択した所定枚数の低解像度画像を入力することが可能である。
【００２６】
ここで、本発明では、画像入力部１００に入力される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された画像を用いても良く、また、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された、画素情報において少なくとも１種類以上の色チャンネル情報の欠落している画像を用いても良い。カラーフィルタとして、例えば、Bayerカラーフィルタを用いる。
【００２７】
次に、基準画像選択部１０２が、第１記憶部１０１に格納されている複数枚の低解像度画像から、１枚の基準画像を選択する（図２のステップＳ１１０を参照）。本発明で言う「基準画像」とは、高解像度化する低解像度画像であり、位置ずれ量算出部１０４において位置ずれ量を算出する際の基準となる画像でもある。
【００２８】
本発明では、ユーザが高解像度化したい１枚の低解像度画像を、外部Ｉ／Ｆ制御部１１４を介して、基準画像選択部１０２によって基準画像として選択するようにしている。また、本発明では、基準画像選択部１０２が、所定の評価基準により、第１記憶部１０１に格納されている複数枚の低解像度画像の中から、１枚の基準画像を選択するようにしてもよい。所定の評価基準としては、例えば、画像間の相関や合焦状態を用いることができる。
【００２９】
次に、参照画像選択部１０３が、第１記憶部１０１に格納されている複数枚の低解像度画像から、高解像度化処理（超解像処理）に用いる複数枚の参照画像を選択する（図２のステップＳ１２０を参照）。
【００３０】
つまり、参照画像選択部１０３では、第１記憶部１０１に格納されている複数枚の低解像度画像から、所定枚数の参照画像を選択するようにしており、また、当該所定枚数は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３１】
次に、位置ずれ量算出部１０４が、位置ずれ量算出処理（図２のステップＳ１３０を参照）を行うことにより、基準画像選択部１０２により選択された基準画像と、参照画像選択部１０３により選択された各参照画像間の位置関係を、それぞれ算出する。ここで、位置ずれ量算出部１０４で算出された位置関係は、高解像度画像空間上で位置合わせを行うための位置ずれ量となる。
【００３２】
本発明では、高解像度画像空間上に位置合わせを行うためには、基準画像と各参照画像間のサブピクセル単位での位置ずれ量を算出する必要がある。位置ずれ量算出部１０４で行われる位置ずれ量算出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理（例えば、バイキュービック法による補間処理）で拡大させておき、そして、拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれ量を、ブロックマッチング法により算出するようにしても良く、又は、特許文献４に開示されたような既存技術により算出するようにしても良い。
【００３３】
なお、位置ずれ量算出部１０４では、低解像度画像からサブピクセル単位での位置ずれ量を算出した場合に、算出されたサブピクセル単位での位置ずれ量を高解像度画像空間上のサブピクセル単位での位置ずれ量に変換する必要がある。
【００３４】
換言すれば、位置ずれ量算出部１０４で算出された位置ずれ量は、高解像度画像空間上のサブピクセル単位での位置ずれ量となる。
【００３５】
次に、変形画像生成部１０５が、変形画像生成処理（図２のステップＳ１４０を参照）を行うことにより、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、基準画像と合致するように、各参照画像にそれぞれ画像変形を施すことで、複数の変形画像を生成する。
【００３６】
なお、変形画像生成部１０５では、変形画像を生成するために、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、各参照画像とそれぞれ合致するように、基準画像に画像変形を施すことで、複数の変形画像を生成するようにしても良い。
【００３７】
次に、パラメータ設定部１０７が、パラメータ設定処理（図２のステップＳ１５０を参照）を行うことにより、参照画像の画素を超解像処理に利用するか否かを判断するためのパラメータの閾値を設定する。当該パラメータとして、画像間の類似度や相違度を用いることができる。また、当該パラメータの閾値は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
【００３８】
ここで、本発明で用いるパラメータの具体例について説明する。
【００３９】
一例として、基準画像と変形画像（例えば、画像変形を施した参照画像）の位置が対応する画素について求めたＳＳＤ（差分自乗の総和）をパラメータとする。
【００４０】
パラメータとして、画素単位について求めたＳＳＤ（差分自乗の総和）用いた場合に、パラメータ設定部１０７では、画素単位について求めた基準画像と変形画像間のＳＳＤの閾値を設定する。後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが設定された閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４１】
勿論、本発明では、パラメータとして、画素単位について求めた基準画像と変形画像間のＳＳＤには限らず、基準画像と変形画像の位置が対応するフレーム単位や領域単位について求めたＳＳＤを用いてもよい。
【００４２】
また、本発明では、ＳＳＤだけではなく、ＳＡＤ（差分絶対値の総和）やＮＣＣ（正規化相互相関）といった公知の類似度、相違度をパラメータとして用いるようにしてもよい。
【００４３】
本発明では、位置(i,j)における基準画像の輝度値をＴ(i,j)とし、変形画像（例えば、基準画像と合致するように画像変形された参照画像）の輝度値をＩ(i,j)とした場合に、Ｍピクセル×Ｎピクセルの領域の基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣは、下記数１、数２、数３により求められる。
【００４４】
【数１】
【００４５】
【数２】
【００４６】
【数３】
ＳＳＤとＳＡＤは小さな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。また、ＮＣＣは大きな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。
【００４７】
つまり、本発明では、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが、パラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４８】
また、本発明では、パラメータとして基準画像と変形画像間のＳＡＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＡＤが、パラメータ設定部１０７で設定されたＳＡＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００４９】
そして、本発明では、パラメータとして基準画像と変形画像間のＮＣＣを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＮＣＣが、パラメータ設定部１０７で設定されたＮＣＣの閾値以上であれば、参照画像の画素を超解像処理に利用する画素として選択する。
【００５０】
さらに、本発明では、画像間の類似度や相違度だけでなく、パラメータとして、例えば、非特許文献１や特許文献５の公知技術に開示されたように、上記のＩ(i,j)の変形量に基づく基準などを用いてもよい。
【００５１】
次に、画像情報選択部１０６が、画像情報選択処理（図２のステップＳ１６０を参照）を行うことにより、パラメータ設定部１０７で設定されたパラメータの閾値と、基準画像選択部１０２で選択された基準画像と、変形画像生成部１０５で生成された複数の変形画像とに基づいて、複数枚の参照画像から超解像処理に用いる画像情報を選択する。
【００５２】
ここで、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合の画像情報選択部１０６で行われる画像情報選択処理の一具体例について説明する。
【００５３】
画像情報選択部１０６が、まず、画素毎に基準画像と変形画像間のＳＳＤを算出し、次に、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択し、一方、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値より大きければ、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択しないように、複数枚の参照画像から超解像処理に用いる画像情報（複数の画素）を選択する。
【００５４】
換言すれば、画像情報選択部１０６で選択された画像情報は、超解像処理に利用する画像情報として、複数枚の参照画像から選択された複数の画素で構成された画像情報である。即ち、画像情報選択部１０６で選択された画像情報は、複数の参照画像から選択された複数の画素である。
【００５５】
次に、加算画像・重み画像生成部１０８が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像と重み画像を生成する（図２のステップＳ１７０を参照）。加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、第２記憶部１０９に格納される。
【００５６】
ここで、加算画像・重み画像生成部１０８の実施形態について詳細に説明する。図３は、本発明に係る画像処理装置の加算画像・重み画像生成部（加算画像・重み画像生成部１０８）の実施形態を示すブロック構成図である。
【００５７】
図３に示すように、加算画像・重み画像生成部１０８が、加算画像を生成する加算画像生成部２００と、重み画像を生成する重み画像生成部２０１とから構成される。
【００５８】
加算画像・重み画像生成部１０８では、まず、加算画像生成部２００が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量（即ち、高解像度画像空間上のサブピクセル単位での位置ずれ量）と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素を高解像度画像空間上に配置することにより、加算画像を生成する。ちなみに、加算画像の画素数が高解像度画像空間の画素数と等しい。
【００５９】
次に、重み画像生成部２０１が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素に対して重み付けをし、各画素に係る重みを高解像度画像空間上に配置することにより、重み画像を生成する。ちなみに、重み画像の画素数が高解像度画像空間の画素数と等しい。
【００６０】
重み画像生成部２０１で行われる、選択された画像情報の各画素に対する重み付けについて、画素毎に位置ずれ量算出部１０４で算出された位置ずれ量をもとに、対応する画素同士の相関性を再度評価することにより、位置ずれ量の信頼度を判定し、判定された信頼度に応じて、０〜１の重みを設定するようにしても良く、また、位置合わせの基準となる基準画像からの撮影時間に応じて重み付けをするようにしても良い。
【００６１】
なお、加算画像生成部２００では、選択された画像情報の画素を高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素が配置されていた場合に、それらの画素の画素値に、当該画素の画素値を累積加算するようにしている。
【００６２】
また、重み画像生成部２０１では、選択された画像情報の画素に係る重みを高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素に係る重みが配置されていた場合に、それらの画素に係る重みに、当該画素に係る重みを累積加算するようにしている。
【００６３】
このように、加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、選択された画像情報の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。
【００６４】
上述した加算画像・重み画像生成部１０８の実施形態では、加算画像と重み画像を生成する際に、画素値と重みについてそれぞれ累積加算を行っているが、本発明に係る画像処理装置の加算画像・重み画像生成部では、上述した実施形態に限らず、例えば、画素値と重みを高解像度画像空間上に配置する際に、同じ画素位置に、既に画素値又は重みが配置されている場合は、累積加算せずに、当該画素値と当該重みを棄却するように、加算画像と重み画像を生成するようにしても良い。
【００６５】
図４は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００６６】
図４に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００６７】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図４では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００６８】
図４に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００６９】
そして、図４から分かるように、画像入力部１００に入力された複数枚の低解像度画像は三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で同じになっている。
【００７０】
図５は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
【００７１】
図５に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
【００７２】
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図５では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
【００７３】
図５に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
【００７４】
そして、図５から分かるように、画像入力部１００に入力された複数枚の低解像度画像はカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で異なる。
【００７５】
次に、高解像度グリッド画像生成部１１０が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像を読み出した重み画像で除算することにより、高解像度グリッド画像を生成する（図２のステップＳ１８０を参照）。
【００７６】
なお、高解像度グリッド画像生成部１１０では、高解像度グリッド画像を生成する際に、重み画像に未定義画素（つまり、画素値が０である画素）がある場合に、０での除算が発生するため、加算画像を重み画像で除算することを行わずに、直接に、重み画像の未定義画素の画素位置にある高解像度グリッド画像の画素値を０に設定するように、高解像度グリッド画像を生成する。
【００７７】
次に、図６に示す画像特徴量算出部１１２における簡易補間画像生成部１１１が、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像に対し、簡易補間画像生成処理（図２のステップＳ１９０を参照）を行うことにより、簡易補間画像を生成する。
【００７８】
簡易補間画像生成部１１１で行われる簡易補間画像生成処理とは、高解像度グリッド画像の画素値が０である画素（以下、単に「高解像度グリッド画像の欠落画素」とも言う。）に対し、偽色の出やすい簡易な補間処理を行うことを意味する。ここで、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理を利用する。なお、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理に限られることがなく、例えば、ニアレストネイバー、バイキュービック等の既存の補間処理方法を用いても良い。
【００７９】
さらに、図１に示されていないが、簡易補間画像生成部１１１が、基準画像選択部１０２から転送されてきた基準画像を、上述したような補間処理により、高解像度画像空間に拡大して得られた画像の高解像度グリッド画像の欠落画素と一致する位置の画素値を用いることで補間しても良い。
【００８０】
なお、高解像度グリッド画像は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像の欠落画素に対し、簡易補間画像生成部１１１により簡易な補間処理を行うと、補間する値の誤差により、生成された簡易補間画像にＲＧＢのカラーバランスが崩れ、偽色が発生する。
【００８１】
ここで、高解像度グリッド画像は、画像入力部１００に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像に基づき、簡易補間画像生成部１１１によって生成された簡易補間画像を、「単板方式画像に係る簡易補間画像」とも言う。
【００８２】
一方、高解像度グリッド画像は、画像入力部１００に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像から補間処理によって生成された簡易補間画像を、「三板方式画像に係る簡易補間画像」とも言う。
【００８３】
つまり、本発明では、画像入力部１００に入力される複数枚の低解像度画像の種類を区別する必要がない場合に、上述２種類の簡易補間画像を単に、簡易補間画像と言う。しかし、画像入力部１００に入力される複数枚の低解像度画像の種類を区別する必要がある場合に、単板方式画像に係る簡易補間画像と、三板方式画像に係る簡易補間画像を使い分けるようにする。
【００８４】
図６は、本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態を示すブロック構成図である。
【００８５】
図６に示すように、画像特徴量算出部１１２が、簡易補間画像を生成する簡易補間画像生成部１１１と、高解像度グリッド画像の充填率を算出する充填率算出部３００と、画像の高周波数成分を算出する高周波数成分算出部３０１と、画像のエッジ量を算出するエッジ量算出部３０２と、画像の彩度を算出する彩度算出部３０３と、画像の色差を算出する色差算出部３０４と、異なる表色系を用いる画像間の表色変換を行う表色変換部３０５とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、基準画像選択部１０２で選択された基準画像に基づき、画像特徴量算出処理（図２のステップＳ２００を参照）を施すことにより、画像特徴量を算出する。
【００８６】
ここで、高解像度グリッド画像も、簡易補間画像も、高解像度画像空間上の画像である。そして、画像特徴量算出部１１２で算出された画像特徴量は、画像特徴量表示部１１３に表示される。
【００８７】
画像特徴量算出部１１２で行われる画像特徴量算出処理とは、充填率算出部３００で行われる充填率算出処理、高周波数成分算出部３０１で行われる高周波数成分算出処理、エッジ量算出部３０２で行われるエッジ量算出処理、彩度算出部３０３で行われる彩度算出処理、及び色差算出部３０４で行われる色差算出処理のうち、少なくとも１つ以上の処理を意味する。
【００８８】
以下、画像特徴量算出部１１２で行われる処理を具体的に説明する。
【００８９】
まず、画像特徴量算出部１１２では、充填率算出部３００が、高解像度グリッド画像に基づき、充填率算出処理を行うことにより、高解像度グリッド画像の充填率（以下、単に、充填率とも言う。）を算出する。充填率算出部３００で算出された充填率は、画像特徴量として画像特徴量表示部１１３に表示される。
【００９０】
以下、充填率算出処理について具体的に説明する。説明を簡単にするため、高解像度グリッド画像がグレー画像である場合の充填率算出処理について説明する。
【００９１】
ここで、高解像度画像空間上の画素数をＮとする。また、高解像度グリッド画像の定義画素数をＫとし、高解像度グリッド画像の未定義画素数（つまり、高解像度グリッド画像の欠落画素数）をＵとする。
【００９２】
充填率算出処理では、下記数４に基づき、高解像度グリッド画像の充填率ρを算出する。換言すれば、高解像度グリッド画像の充填率は、高解像度画像空間上の画素数に対する高解像度グリッド画像の未定義画素数の割合を意味する。
【００９３】
【数４】
図７に、異なる充填率を有する高解像度グリッド画像の例を示す。図７（Ａ）は充填率２５％を有する高解像度グリッド画像であり、Ｎ＝４００００、Ｋ＝１００００、Ｕ＝３００００であり、上記数４により算出された充填率は２５％となる。また、図７（Ｂ）は充填率７５％を有する高解像度グリッド画像であり、Ｎ＝４００００、Ｋ＝３００００、Ｕ＝１００００であり、上記数４により算出された充填率は７５％となる。
【００９４】
なお、高解像度グリッド画像がカラー画像である場合に、画像特徴量算出部１１２では、その高解像度グリッド画像のＲＧＢチャンネルに、それぞれ上述した充填率算出処理と同様な処理を行うことにより、充填率を算出する。その際、算出された充填率は、Ｒチャンネルの充填率、Ｇチャンネルの充填率、及びＢチャンネルの充填率となる。
【００９５】
本発明では、高解像度グリッド画像に基づいて算出された充填率を画像特徴量表示部１１３に表示させることにより、つまり、その充填率をユーザに表示することにより、ユーザに参照画像の選択基準を提供することができる。
【００９６】
また、本発明では、充填率算出部３００が、図８に示すように、高解像度グリッド画像を小領域に領域分割し、分割された小領域毎に、上記数４に基づき（ただし、この場合は、数４において、Ｎは小領域に対応する高解像度画像空間上の画素数となり、Ｋは当該小領域に属する高解像度グリッド画像の定義画素数となり、Ｕは当該小領域に属する高解像度グリッド画像の未定義画素数となる。）、充填率（小領域の充填率）を算出するとともに、分割された小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合をも算出するようにし、更に、充填率算出部３００で算出されたこの割合も、算出された小領域の充填率と共に、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【００９７】
なお、上述した所定の閾値は、ユーザが求める高解像度画像の画質により、ユーザに任意に決定される。
【００９８】
図８に示す高解像度グリッド画像を一具体例として上述した割合を説明すると、例えば、所定の閾値を８０％とする場合に、所定の閾値以上の充填率（つまり、８０％以上の充填率）を有する小領域の数は２であり、分割された小領域の総数は４であるため、この割合は５０％となる。
【００９９】
本発明では、上述した割合を画像特徴量表示部１１３に表示させることにより、つまり、その割合をユーザに表示することにより、例え高解像度グリッド画像の一部の小領域に充填率の偏りが起きた場合でも、ユーザに適正な参照画像の選択基準を提供することができる。
【０１００】
次に、高周波数成分算出部３０１が、高解像度グリッド画像、三板方式画像に係る簡易補間画像及び基準画像に対し、画像の高周波数成分（以下、単に、高周波数成分とも言う。）をそれぞれ算出する。高周波数成分算出部３０１で算出された高周波数成分は、画像特徴量として画像特徴量表示部１１３に表示される。
【０１０１】
具体例として、例えば、高周波数成分算出部３０１では、各画像にハイパスフィルタを施すことにより、画像の高周波成分をそれぞれ算出する。また、高周波数成分算出部３０１では、各画像にウェーブレット変換を行うことにより、画像の高周波数成分をそれぞれ算出するようにしても良い。
【０１０２】
なお、高周波数成分算出部３０１では、高解像度グリッド画像、三板方式画像に係る簡易補間画像及び基準画像のうち、少なくとも１つの画像に対し、高周波数成分を算出するようにしても良い。
【０１０３】
また、高周波数成分算出部３０１では、算出した高解像度グリッド画像の高周波数成分と、算出した三板方式画像に係る簡易補間画像の高周波数成分をそれぞれ正規化するようにしても良い。正規化された高解像度グリッド画像の高周波数成分と、正規化された三板方式画像に係る簡易補間画像の高周波数成分は、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０４】
また、高周波数成分算出部３０１では、算出した基準画像の高周波数成分に対する、算出した高解像度グリッド画像の高周波数成分の比という相対量（以下、単に、高解像度グリッド画像の相対高周波数成分とも言う。）を、相対的な画像特徴量として算出するようにしても良い。さらに、高周波数成分算出部３０１では、算出した基準画像の高周波数成分に対する、算出した三板方式画像に係る簡易補間画像の高周波数成分の比という相対量（以下、単に、三板方式画像に係る簡易補間画像の相対高周波数成分とも言う。）を、相対的な画像特徴量として算出するようにしても良い。高周波数成分算出部３０１で算出された高解像度グリッド画像の相対高周波数成分と、三板方式画像に係る簡易補間画像の相対高周波数成分は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０５】
次に、エッジ量算出部３０２が、高解像度グリッド画像、三板方式画像に係る簡易補間画像、及び基準画像に対し、エッジ検出フィルタを施すことにより、画像のエッジ量（以下、単に、エッジ量とも言う。）をそれぞれ算出する。エッジ量算出部３０２で算出されたエッジ量は、画像特徴量として画像特徴量表示部１１３に表示される。また、エッジ量算出部３０２において、エッジ検出フィルタとして、例えば、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタを用いることができる。
【０１０６】
エッジ量算出部３０２において、例えば、エッジ検出フィルタとしてラプラシアンフィルタを用いた場合に、画像全体でのラプラシアンの積分値をエッジ量とする。
【０１０７】
また、エッジ量算出部３０２では、算出した基準画像のエッジ量に対する、算出した高解像度グリッド画像のエッジ量の比という相対量（以下、単に、高解像度グリッド画像の相対エッジ量とも言う。）を、相対的な画像特徴量として算出するようにしても良い。さらに、エッジ量算出部３０２では、算出した基準画像のエッジ量に対する、算出した三板方式画像に係る簡易補間画像のエッジ量の比という相対量（以下、単に、三板方式画像に係る簡易補間画像の相対エッジ量とも言う。）を、相対的な画像特徴量として算出するようにしても良い。エッジ量算出部３０２で算出された高解像度グリッド画像の相対エッジ量と、三板方式画像に係る簡易補間画像の相対エッジ量は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０８】
また、エッジ量算出部３０２では、算出した高解像度グリッド画像のエッジ量と、算出した三板方式画像に係る簡易補間画像のエッジ量をそれぞれ正規化するようにしても良い。正規化された高解像度グリッド画像のエッジ量と、正規化された三板方式画像に係る簡易補間画像のエッジ量は、画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１０９】
本発明では、画像情報選択部１０６において、複数枚の参照画像から多くの画素が棄却されて（即ち、少ない画素が選択されて）、結果として高解像度グリッド画像の充填率が低い場合、や画像入力部１００に入力された低解像度画像の枚数が少なくて、結果として高解像度グリッド画像の充填率が低い場合は、高解像度グリッド画像が未定義画素部分（即ち、画素値が0の部分）の影響で不連続となり、よって高解像度グリッド画像の高周波数成分やエッジ量が多くなる。
【０１１０】
一方、高解像度グリッド画像の充填率が高い場合は、高解像度グリッド画像が滑らかになるため、高解像度グリッド画像の高周波数成分やエッジ量が減少する。
【０１１１】
よって、高解像度グリッド画像の高周波数成分やエッジ量といった画像特徴量は、ユーザが超解像処理に最適な低解像度画像群を取得できたか否かを判断するための目安となり得る。
【０１１２】
ここで、表色変換部３０５について説明する。以下では、ＲＧＢ表色系を用いた画像を単にＲＧＢ画像とも言う。また、ＨＳＩ表色系を用いた画像を単にＨＳＩ画像とも言う。ＹＣｂＣｒ表色系を用いた画像を単にＹＣｂＣｒ画像とも言う。更に、L*a*b*表色系を用いた画像を単にL*a*b*画像とも言う。
【０１１３】
以下の説明では、基準画像も簡易補間画像もＲＧＢ画像であることを前提としている。
【０１１４】
画像特徴量算出部１１２では、表色変換部３０５が、ＹＣｂＣｒ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、ＨＳＩ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＨＳＩ画像へそれぞれ変換する。
【０１１５】
表色変換部３０５において、ＲＧＢ画像をＹＣｂＣｒ画像へ変換するためのＹＣｂＣｒ変換は、下記数５に基づいて行われる。
【０１１６】
【数５】
また、表色変換部３０５では、ＨＳＩ変換の代わりとして、L*a*b*変換を用いることができる。つまり、表色変換部３０５では、ＹＣｂＣｒ変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、L*a*b*変換を行うことにより、ＲＧＢ画像である基準画像と簡易補間画像をL*a*b*画像へそれぞれ変換するようにしても良い。
【０１１７】
以下、画像特徴量算出部１１２に入力された簡易補間画像が、単板方式画像に係る簡易補間画像である場合に、画像特徴量算出部１１２で行われる処理について、詳細に説明する。
【０１１８】
単板方式画像に係る簡易補間画像が画像特徴量算出部１１２に入力された場合に、まず、表色変換部３０５がＹＣｂＣｒ変換を行うことにより、基準画像と単板方式画像に係る簡易補間画像をＹＣｂＣｒ画像へそれぞれ変換し、また、ＨＳＩ変換を行うことにより、基準画像と単板方式画像に係る簡易補間画像をＨＳＩ画像へそれぞれ変換する。
【０１１９】
ここで、彩度算出部３０３が、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓを、画像特徴量として算出する。また、彩度算出部３０３が、表色変換部３０５でL*a*b*変換された単板方式画像に係る簡易補間画像（L*a*b*画像）の彩度Ｓを算出するようにしても良い。
【０１２０】
また、色差算出部３０４が、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差を、画像特徴量として算出する。
【０１２１】
具体的に、色差算出部３０４では、画像特徴量としての色差をＣとし、例えば、下記数６により算出する。ただし、ＣｂとＣｒは、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒである。
【０１２２】
【数６】
ところで、簡易補間画像生成部１１１において、画像入力部１００に入力される複数枚の低解像度画像がカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された高解像度グリッド画像の欠落画素（未定義画素）を補間処理して、単板方式画像に係る簡易補間画像を生成する場合に、補間誤差により偽色が発生するため、単板方式画像に係る画像における彩度と色差が高い値となる。特に、エッジや孤立点のような画像の高周波数成分における補間誤差は、顕著となる。
【０１２３】
そのため、画像特徴量算出部１１２では、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）を高周波数成分算出部３０１に転送し、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒの高周波数成分をそれぞれ算出する。
【０１２４】
更に、画像特徴量算出部１１２では、表色変換部３０５でＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）をエッジ量算出部３０２にも転送し、ＹＣｂＣｒ変換された単板方式画像に係る簡易補間画像（ＹＣｂＣｒ画像）の色差成分Ｃｂと色差成分Ｃｒのエッジ量をそれぞれ算出する。
【０１２５】
また、画像特徴量算出部１１２では、単板方式画像に係る簡易補間画像の彩度Ｓについての高周波数成分とエッジ量を算出するようにしている。
【０１２６】
具体的に、画像特徴量算出部１１２では、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）を高周波数成分算出部３０１に転送し、ＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓの高周波数成分を算出する。
【０１２７】
更に、画像特徴量算出部１１２では、表色変換部３０５でＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）をエッジ量算出部３０２にも転送し、ＨＳＩ変換された単板方式画像に係る簡易補間画像（ＨＳＩ画像）の彩度Ｓのエッジ量を算出する。
【０１２８】
また、画像特徴量算出部１１２では、色差、彩度から得られる画像特徴量として、図９に示すように、エッジや孤立点付近の各画素の色差成分Ｃｂと色差成分ＣｒをＣｂＣｒ平面にプロットし得られる分布図における分散等の統計量を算出してもよい。
【０１２９】
また、彩度算出部３０３では、表色変換部３０５でＨＳＩ変換された基準画像の彩度を算出し、算出した基準画像の彩度に対する、算出した単板方式画像に係る簡易補間画像の彩度の比という相対量（以下、単に、単板方式画像に係る簡易補間画像の相対彩度とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、彩度算出部３０３で算出された単板方式画像に係る簡易補間画像の相対彩度は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１３０】
また、色差算出部３０４では、表色変換部３０５でＹＣｂＣｒ変換された基準画像の色差を算出し、算出した基準画像の色差に対する、算出した単板方式画像に係る簡易補間画像の色差の比という相対量（以下、単に、単板方式画像に係る簡易補間画像の相対色差とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、色差算出部３０４で算出された単板方式画像に係る簡易補間画像の相対色差は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１３１】
本発明に係る画像処理装置の画像特徴算出部１１２の第１実施形態についての説明は以上の通りである。
【０１３２】
図１０は、本発明に係る画像処理装置の画像特徴算出部１１２の第２実施形態を示すブロック構成図である。
【０１３３】
図１０に示すように、画像特徴量算出部１１２が、簡易補間画像を生成する簡易補間画像生成部１１１と、高解像度グリッド画像の充填率を算出する充填率算出部３００と、画像の高周波数成分を算出する高周波数成分算出部３０１と、画像のエッジ量を算出するエッジ量算出部３０２と、画像の彩度を算出する彩度算出部３０３と、画像の色差を算出する色差算出部３０４と、異なる表色系を用いる画像間の表色変換を行う表色変換部３０５と、画像のエッジと孤立点を検出するエッジ検出部３０６とから構成され、解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、基準画像選択部１０２で選択された基準画像に基づき、画像特徴量算出処理（図２のステップＳ２００を参照）を施すことにより、画像特徴量を算出する。そして、画像特徴量算出部１１２で算出された画像特徴量は、画像特徴量表示部１１３に表示される。
【０１３４】
図１０に示す画像特徴算出部１１２の第２実施形態では、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像が、充填率算出部３００、高周波数成分算出部３０１及びエッジ量算出部３０２にそれぞれ転送されており、充填率算出部３００が高解像度グリッド画像の充填率を画像特徴量として算出し、高周波数成分算出部３０１が高解像度グリッド画像の高周波数成分を画像特徴量として算出し、エッジ量算出部３０２が高解像度グリッド画像のエッジ量を画像特徴量として算出する。
【０１３５】
なお、画像特徴算出部１１２の第２実施形態において、充填率算出部３００、高周波数成分算出部３０１及びエッジ量算出部３０２で行われる処理は、図６に示す画像特徴算出部１１２の第１実施形態におけるそれらの処理と同じであるため、処理の詳細な説明は省略する。
【０１３６】
図６に示す画像特徴算出部１１２の第１実施形態の構成と異なるのは、図１０に示す画像特徴算出部１１２の第２実施形態において、表色変換部３０５で表色変換された簡易補間画像と基準画像が、エッジ検出部３０６に転送され、そして、エッジ検出部３０６で検出されたエッジと孤立点が、彩度算出部３０３と色差算出部３０４にそれぞれ転送されている点である。
【０１３７】
図１０に示す画像特徴算出部１１２の第２実施形態において、表色変換部３０５で行われる処理は、図６に示す画像特徴算出部１１２の第１実施形態における表色変換部３０５の処理と同じであるため、処理の詳細な説明は省略する。
【０１３８】
画像特徴算出部１１２の第２実施形態において、エッジ検出部３０６が、ＹＣｂＣｒ変換された簡易補間画像に対し、エッジ検出フィルタを施すことにより、簡易補間画像の輝度成分Ｙから、簡易補間画像のエッジと孤立点を検出し、同時に、ＨＳＩ変換された簡易補間画像に対し、エッジ検出フィルタを施すことにより、簡易補間画像の明度成分Ｉから、簡易補間画像のエッジと孤立点を検出する。なお、エッジ検出フィルタとして、例えば、微分フィルタ、ソーベルフィルタ、ラプラシアンフィルタを用いることができる。
【０１３９】
画像特徴算出部１１２の第２実施形態において、簡易補間画像の輝度成分Ｙから検出された簡易補間画像のエッジと孤立点が色差算出部３０４に転送されており、また、簡易補間画像の明度成分Ｉから検出された簡易補間画像のエッジと孤立点が彩度算出部３０３に転送されている。
【０１４０】
画像特徴算出部１１２の第２実施形態において、色差算出部３０４が、簡易補間画像の輝度成分Ｙから検出された簡易補間画像のエッジと孤立点付近の色差を上記数６に基づき、画像特徴量として算出する。
【０１４１】
また、画像特徴算出部１１２の第２実施形態において、彩度算出部３０３が、簡易補間画像の明度成分Ｉから検出された簡易補間画像のエッジと孤立点付近の彩度Ｓを、画像特徴量として算出する。また、彩度算出部３０３が、表色変換部３０５でL*a*b*変換された簡易補間画像から、簡易補間画像のエッジと孤立点付近の彩度Ｓを算出するようにしても良い。
【０１４２】
なお、画像特徴算出部１１２の第２実施形態において、彩度算出部３０３では、基準画像の明度成分Ｉから検出された基準画像のエッジと孤立点付近の彩度を算出し、算出した基準画像のエッジと孤立点付近の彩度に対する、算出した簡易補間画像のエッジと孤立点付近の彩度の比という相対量（以下、単に、簡易補間画像のエッジと孤立点付近の相対彩度とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、彩度算出部３０３で算出された簡易補間画像のエッジと孤立点付近の相対彩度は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１４３】
また、画像特徴算出部１１２の第２実施形態において、色差算出部３０４では、基準画像の輝度成分Ｙから検出された基準画像のエッジと孤立点付近の色差を算出し、算出した基準画像のエッジと孤立点付近の色差に対する、算出した簡易補間画像のエッジと孤立点付近の色差の比という相対量（以下、単に、簡易補間画像のエッジと孤立点付近の相対色差とも言う。）を、相対的な画像特徴量として算出するようにしても良い。なお、色差算出部３０４で算出された簡易補間画像のエッジと孤立点付近の相対色差は、相対的な画像特徴量として画像特徴量表示部１１３に表示されるようにしても良い。
【０１４４】
本発明では、画像特徴算出部１１２の第２実施形態の構成を用いることで、平坦部に彩度が高い部分があっても、影響を受けずに補間誤差による偽色や彩度を求めることができる。
【０１４５】
なお、画像特徴算出部１１２の第１実施形態も、画像特徴算出部１１２の第２実施形態も、充填率算出部３００、高周波数成分算出部３０１、エッジ量算出部３０２、彩度算出部３０３、及び色差算出部３０４のうち、少なくとも１つ以上の処理部を備える構成であっても良い。
【０１４６】
次に、画像特徴量表示部１１３が、画像特徴算出部１１２で算出された画像特徴量（充填率、高周波数成分、エッジ量、彩度及び色差）を表示する（図２のステップＳ２１０を参照）。
【０１４７】
なお、画像特徴量表示部１１３では、画像特徴算出部１１２で算出された充填率、高周波数成分、エッジ量、彩度及び色差といった画像特徴量のうち、少なくとも一つ以上を表示するようにしても良い。
【０１４８】
また、画像特徴量表示部１１３では、画像特徴算出部１１２で算出された画像特徴量を推移表示するようにしても良い。図１１は、画像特徴量の推移表示を画像特徴量表示部１１３に表示した場合の例である。
【０１４９】
図１１に示すように、基準画像を基準とし、フレーム方向への推移で画像特徴量の変化を表示している。図１１（Ａ）はフレーム方向への推移で充填率の変化を表示しており、図１１（Ｂ）はフレーム方向への推移でエッジ量の変化を表示しており、図１１（Ｃ）はフレーム方向への推移で彩度の変化を表示しており、図１１（Ｄ）はフレーム方向への推移で色差の変化を表示している。
【０１５０】
更に、画像特徴量表示部１１３では、画像特徴量の推移表示がフレーム方向への推移に限らず、時間方向への推移で画像特徴量を表示するようにしても良い。
【０１５１】
本発明では、画像特徴量表示部１１３が画像特徴量を推移表示することで、さらにユーザの利便性を高めることができる。
【０１５２】
画像特徴量表示部１１３に表示された画像特徴量をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図２のステップＳ２２０を参照）。
【０１５３】
つまり、本発明では、画像特徴量表示部１１３に画像特徴量を表示させることで、ユーザは、表示された画像特徴量を視認することにより、高解像度グリッド画像の画素の充填状態や簡易補間画像の偽色量等を把握することが可能になり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる。
【０１５４】
外部Ｉ／Ｆ制御部１１４が、画像特徴量のユーザ視認結果により、パラメータ設定部１０７で行われる処理、参照画像選択部１０３で行われる処理、及び画像入力部１００で行われる処理のうち、少なくとも１つの処理を制御する。
【０１５５】
つまり、本発明に係る画像処理装置では、ユーザが画像特徴量表示部１１３に表示された画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した画像特徴量の状況により、外部Ｉ／Ｆ制御部１１４を介して、
＜１＞図２のステップＳ１５０（パラメータ設定部１０７）に戻って、パラメータの閾値がユーザに設定し直されるように処理、
＜２＞図２のステップＳ１２０（参照画像選択部１０３）に戻って、選択する参照画像の所定枚数がユーザに設定し直されるように処理、及び
＜３＞図２のステップＳ１００（画像入力部１００）に戻って、ユーザに設定された所定枚数の低解像度画像が入力されるように処理のうち、少なくとも１つの処理を行ってから、その後の処理が繰り返される。
【０１５６】
具体的には、例えば、画像特徴量のユーザ視認により高解像度画像空間上の画素の充填状態が悪いと判断された場合、つまり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に、ユーザが外部Ｉ／Ｆ制御部１１４を介して、参照画像の所定枚数を増やすように、参照画像選択部１０３における所定枚数を設定し直す、又は、パラメータ設定部１０７におけるパラメータの閾値を緩める（例えば、パラメータとしてＳＳＤを用いた場合に、ＳＳＤの閾値を大きくする。）。
【０１５７】
また、画像特徴量のユーザ視認により、第１記憶部１０１に格納されている低解像度画像の枚数が不足していると判断された場合に、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが設定した所定枚数の低解像度画像を入力し、その後、入力されたそれらの低解像度画像が第１記憶部１０１に格納される。
【０１５８】
なお、本発明では、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を第２記憶部１０９に順次格納することで、ユーザが選択された参照画像の枚数を変更した場合に、第２記憶部１０９から加算画像と重み画像を読み出すだけで、参照画像の枚数の変更を反映することができる。
【０１５９】
一方、本発明に係る画像処理装置では、ユーザが画像特徴量表示部１１３に表示された画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図２のステップＳ２２０のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
【０１６０】
再構成処理部１１５で行われる再構成処理は、既存の技術である例えばＭＡＰ法やカラーカーネル回帰といった再構成処理を用いる。
【０１６１】
最後に、高解像度画像出力部１１６が、再構成処理部１１５で生成された高解像度画像を出力する。これで、本発明に係る画像処理装置（画像処理装置１）での処理が終了する。
【０１６２】
本発明の画像処理装置１では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１６３】
図１２は、本発明に係る画像処理装置の第２実施形態（以下、単に「本発明に係る画像処理装置２」、又は「画像処理装置２」とも言う。）を示すブロック構成図である。また、図１３は、図１２に示す本発明に係る画像処理装置２の処理流れを示すフロー図である。
【０１６４】
図１と図１２を比較すれば分かるように、画像処理装置２が画像処理装置１と異なるのは、画像処理装置１における画像情報選択部１０６が画像特徴量表示部１１３と接続されていないが、画像処理装置２における画像情報選択部１０６が画像特徴量表示部１１３と接続されている点である。
【０１６５】
上記相違点を除けば、画像処理装置２が、構成上においても、処理上においても、画像処理装置１と同様であるため、上記相違点以外についての説明は省略する。
【０１６６】
ここで、上記相違点について詳細に説明する。
【０１６７】
図１２及び図１３に示すように、画像処理装置２では、画像情報選択部１０６で算出されたパラメータの値を画像特徴量として、画像特徴量表示部１１３に表示させるようにしている（図１３のステップＳ２１５を参照）。
【０１６８】
前述したように、本発明では、パラメータとして画像間の類似度や相違度を用いることができる。画像間の類似度や相違度として、上記数１、数２、数３により求められる基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣを用いることができる。
【０１６９】
ここで、例えば、パラメータとして基準画像と変形画像間のＳＳＤを用いた場合に、画像処理装置２では、画像情報選択部１０６で算出された基準画像と各変形画像間のＳＳＤの値を画像特徴量として、画像特徴量表示部１１３に表示させるようにする。
【０１７０】
なお、画像処理装置２では、パラメータとして画像間の類似度や相違度を用いる場合に、画像情報選択部１０６において、基準画像と各変形画像間の類似度や相違度を対応する画像単位で画像特徴量として算出するようにしても良く、また、基準画像と各変形画像を小領域にそれぞれ領域分割し、分割された小領域毎に、基準画像と各変形画像間の類似度や相違度を画像特徴量として算出するようにしても良く、更に、変形画像を領域分割して得られた小領域の総数に対する、所定の閾値以上の類似度を有する小領域の数の割合を画像特徴量として算出するようにしても良い。
【０１７１】
次に、画像処理装置２では、画像特徴量表示部１１３に表示された、画像情報選択部１０６から転送されてきた画像特徴量をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図１３のステップＳ２２５を参照）。
【０１７２】
画像処理装置２では、ユーザが画像特徴量表示部１１３に表示された画像情報選択部１０６から転送されてきた画像特徴量を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した画像特徴量の状況により、外部Ｉ／Ｆ制御部１１４を介して、図のステップＳ１２０（参照画像選択部１０３）に戻って、超解像処理に利用する複数枚の参照画像がユーザに選択されるように処理を行ってから、その後の処理が繰り返される。
【０１７３】
また、位置合わせに成功した参照画像のみを、超解像処理に使用する参照画像として選択することが望ましいことから、画像処理装置２では、ユーザが画像特徴量表示部１１３に表示された画像情報選択部１０６から転送されてきた画像特徴量を視認することにより、外部Ｉ／Ｆ制御部１１４を介して、参照画像選択部１０３において、超解像処理に利用する複数枚の参照画像がユーザに適切に選択されることができる。
【０１７４】
本発明の画像処理装置２では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
【０１７５】
なお、本発明に係る画像処理装置を、例えば、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。
【０１７６】
また、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
【符号の説明】
【０１７７】
画像入力部 １００
第１記憶部 １０１
基準画像選択部 １０２
参照画像選択部 １０３
位置ずれ量算出部 １０４
変形画像生成部 １０５
画像情報選択部 １０６
パラメータ設定部 １０７
加算画像・重み画像生成部 １０８
第２記憶部 １０９
高解像度グリッド画像生成部 １１０
簡易補間画像生成部 １１１
画像特徴量算出部 １１２
画像特徴量表示部 １１３
外部Ｉ／Ｆ制御部 １１４
再構成処理部 １１５
高解像度画像出力部 １１６
加算画像生成部 ２００
重み画像生成部 ２０１
充填率算出部 ３００
高周波数成分算出部 ３０１
エッジ量算出部 ３０２
彩度算出部 ３０３
色差算出部 ３０４
表色変換部 ３０５
エッジ検出部 ３０６
【特許請求の範囲】
【請求項１】
複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
前記複数枚の低解像度画像を入力する画像入力部と、
入力された前記複数枚の低解像度画像から基準画像を選択する基準画像選択部と、
入力された前記複数枚の低解像度画像から前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて複数の変形画像を生成する変形画像生成部と、
前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量を表示する画像特徴量表示部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像である請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量算出部は、前記高解像度画像空間上の画素数に対する前記高解像度グリッド画像の未定義画素数の割合を表す前記高解像度グリッド画像の充填率を算出する充填率算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域毎に算出された充填率である請求項３に記載の画像処理装置。
【請求項５】
前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合である請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記画像特徴量算出部は、前記高解像度グリッド画像に対し高周波数成分を算出する高周波数成分算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項７】
前記画像特徴量は、前記基準画像の高周波数成分に対する前記高解像度グリッド画像の高周波数成分の比を表す高解像度グリッド画像の相対高周波数成分である請求項６に記載の画像処理装置。
【請求項８】
前記画像特徴量算出部は、前記高解像度グリッド画像に対しエッジ量を算出するエッジ量算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項９】
前記画像特徴量は、前記基準画像のエッジ量に対する前記高解像度グリッド画像のエッジ量の比を表す高解像度グリッド画像の相対エッジ量である請求項８に記載の画像処理装置。
【請求項１０】
前記画像特徴量算出部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項１１】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し、表色変換処理を行い、表色変換基準画像及び表色変換補間画像を生成する表色変換処理部を備える請求項１０に記載の画像処理装置。
【請求項１２】
前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、高周波数成分を算出する高周波数成分算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１３】
前記画像特徴量は、前記基準画像の高周波数成分に対する前記補間画像の高周波数成分の比を表す前記補間画像の相対高周波数成分である請求項１２に記載の画像処理装置。
【請求項１４】
前記画像特徴量は、前記表色変換基準画像の高周波数成分に対する前記表色変換補間画像の高周波数成分の比を表す前記表色変換補間画像の相対高周波数成分である請求項１２に記載の画像処理装置。
【請求項１５】
前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、エッジ量を算出するエッジ量算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１６】
前記画像特徴量は、前記基準画像のエッジ量に対する前記補間画像のエッジ量の比を表す前記補間画像の相対エッジ量である請求項１５に記載の画像処理装置。
【請求項１７】
前記画像特徴量は、前記表色変換基準画像のエッジ量に対する前記表色変換補間画像のエッジ量の比を表す前記表色変換補間画像の相対エッジ量である請求項１５に記載の画像処理装置。
【請求項１８】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し色差を算出する色差算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１９】
前記画像特徴量は、前記基準画像の色差に対する前記補間画像の色差の比を表す前記補間画像の相対色差である請求項１８に記載の画像処理装置。
【請求項２０】
前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し色差を算出する色差算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２１】
前記画像特徴量は、前記表色変換基準画像の色差に対する前記表色変換補間画像の色差の比を表す前記表色変換補間画像の相対色差である請求項２０に記載の画像処理装置。
【請求項２２】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し彩度を算出する彩度算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２３】
前記画像特徴量は、前記基準画像の彩度に対する前記補間画像の彩度の比を表す前記補間画像の相対彩度である請求項２２に記載の画像処理装置。
【請求項２４】
前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し彩度を算出する彩度算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２５】
前記画像特徴量は、前記表色変換基準画像の彩度に対する前記表色変換補間画像の彩度の比を表す前記表色変換補間画像の相対彩度である請求項２４に記載の画像処理装置。
【請求項２６】
前記画像特徴量は、前記複数の変形画像と前記基準画像間のそれぞれの類似度である請求項１又は請求項２に記載の画像処理装置。
【請求項２７】
前記画像特徴量は、前記複数の変形画像と前記基準画像を領域分割した小領域ごとの前記基準画像と各変形画像間の類似度である請求項２６に記載の画像処理装置。
【請求項２８】
前記画像特徴量は、前記変形画像を領域分割して得られた小領域の総数に対する所定の閾値以上の類似度を有する小領域の数の割合である請求項２６乃至請求項２７に記載の画像処理装置。
【請求項２９】
前記画像特徴量表示部は、前記画像特徴量の推移を表示する請求項１乃至請求項２に記載の画像処理装置。
【請求項３０】
前記画像処理装置において、
前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、
前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部と、
を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３１】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３２】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３３】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項１】
複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
前記複数枚の低解像度画像を入力する画像入力部と、
入力された前記複数枚の低解像度画像から基準画像を選択する基準画像選択部と、
入力された前記複数枚の低解像度画像から前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて複数の変形画像を生成する変形画像生成部と、
前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
画像特徴量を算出する画像特徴量算出部と、
前記画像特徴量を表示する画像特徴量表示部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像である請求項１に記載の画像処理装置。
【請求項３】
前記画像特徴量算出部は、前記高解像度画像空間上の画素数に対する前記高解像度グリッド画像の未定義画素数の割合を表す前記高解像度グリッド画像の充填率を算出する充填率算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域毎に算出された充填率である請求項３に記載の画像処理装置。
【請求項５】
前記画像特徴量は、前記高解像度グリッド画像を領域分割して得られた小領域の総数に対する所定の閾値以上の充填率を有する小領域の数の割合である請求項３又は請求項４に記載の画像処理装置。
【請求項６】
前記画像特徴量算出部は、前記高解像度グリッド画像に対し高周波数成分を算出する高周波数成分算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項７】
前記画像特徴量は、前記基準画像の高周波数成分に対する前記高解像度グリッド画像の高周波数成分の比を表す高解像度グリッド画像の相対高周波数成分である請求項６に記載の画像処理装置。
【請求項８】
前記画像特徴量算出部は、前記高解像度グリッド画像に対しエッジ量を算出するエッジ量算出部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項９】
前記画像特徴量は、前記基準画像のエッジ量に対する前記高解像度グリッド画像のエッジ量の比を表す高解像度グリッド画像の相対エッジ量である請求項８に記載の画像処理装置。
【請求項１０】
前記画像特徴量算出部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部を備える請求項１又は請求項２に記載の画像処理装置。
【請求項１１】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し、表色変換処理を行い、表色変換基準画像及び表色変換補間画像を生成する表色変換処理部を備える請求項１０に記載の画像処理装置。
【請求項１２】
前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、高周波数成分を算出する高周波数成分算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１３】
前記画像特徴量は、前記基準画像の高周波数成分に対する前記補間画像の高周波数成分の比を表す前記補間画像の相対高周波数成分である請求項１２に記載の画像処理装置。
【請求項１４】
前記画像特徴量は、前記表色変換基準画像の高周波数成分に対する前記表色変換補間画像の高周波数成分の比を表す前記表色変換補間画像の相対高周波数成分である請求項１２に記載の画像処理装置。
【請求項１５】
前記画像特徴量算出部は、前記補間画像又は前記表色変換補間画像に対し、エッジ量を算出するエッジ量算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１６】
前記画像特徴量は、前記基準画像のエッジ量に対する前記補間画像のエッジ量の比を表す前記補間画像の相対エッジ量である請求項１５に記載の画像処理装置。
【請求項１７】
前記画像特徴量は、前記表色変換基準画像のエッジ量に対する前記表色変換補間画像のエッジ量の比を表す前記表色変換補間画像の相対エッジ量である請求項１５に記載の画像処理装置。
【請求項１８】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し色差を算出する色差算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項１９】
前記画像特徴量は、前記基準画像の色差に対する前記補間画像の色差の比を表す前記補間画像の相対色差である請求項１８に記載の画像処理装置。
【請求項２０】
前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し色差を算出する色差算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２１】
前記画像特徴量は、前記表色変換基準画像の色差に対する前記表色変換補間画像の色差の比を表す前記表色変換補間画像の相対色差である請求項２０に記載の画像処理装置。
【請求項２２】
前記画像特徴量算出部は、前記基準画像及び前記補間画像に対し彩度を算出する彩度算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２３】
前記画像特徴量は、前記基準画像の彩度に対する前記補間画像の彩度の比を表す前記補間画像の相対彩度である請求項２２に記載の画像処理装置。
【請求項２４】
前記画像特徴量算出部は、前記表色変換基準画像及び前記表色変換補間画像に対し彩度を算出する彩度算出部を備える請求項１０又は請求項１１に記載の画像処理装置。
【請求項２５】
前記画像特徴量は、前記表色変換基準画像の彩度に対する前記表色変換補間画像の彩度の比を表す前記表色変換補間画像の相対彩度である請求項２４に記載の画像処理装置。
【請求項２６】
前記画像特徴量は、前記複数の変形画像と前記基準画像間のそれぞれの類似度である請求項１又は請求項２に記載の画像処理装置。
【請求項２７】
前記画像特徴量は、前記複数の変形画像と前記基準画像を領域分割した小領域ごとの前記基準画像と各変形画像間の類似度である請求項２６に記載の画像処理装置。
【請求項２８】
前記画像特徴量は、前記変形画像を領域分割して得られた小領域の総数に対する所定の閾値以上の類似度を有する小領域の数の割合である請求項２６乃至請求項２７に記載の画像処理装置。
【請求項２９】
前記画像特徴量表示部は、前記画像特徴量の推移を表示する請求項１乃至請求項２に記載の画像処理装置。
【請求項３０】
前記画像処理装置において、
前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、
前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部と、
を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３１】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３２】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【請求項３３】
前記画像処理装置において、前記画像特徴量表示部に表示された前記画像特徴量のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項２９の何れか一項に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図７】
【図８】
【公開番号】特開２０１１−１６５０４３（Ｐ２０１１−１６５０４３Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２８８４７（Ｐ２０１０−２８８４７）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]