画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体
【課題】大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域の仕上がり具合を使用者が容易に確認できるようにすること。
【解決手段】電子的に記録された画像を表示できる画像処理装置において、単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像処理部54と、上記表示したい画像における高解像度化する領域を指定する操作表示部42と、上記表示したい画像における、上記操作表示部42によって指定された局所領域について、上記高解像処理部54で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として操作表示部42に表示する小領域選択処理部56と、を備える。
【解決手段】電子的に記録された画像を表示できる画像処理装置において、単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像処理部54と、上記表示したい画像における高解像度化する領域を指定する操作表示部42と、上記表示したい画像における、上記操作表示部42によって指定された局所領域について、上記高解像処理部54で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として操作表示部42に表示する小領域選択処理部56と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数枚の低解像度画像を用いた超解像処理による高解像度化において、選択した一部の領域における高解像度化効果を容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体に関する。
【背景技術】
【0002】
特許文献1には、マウスカーソルに付属してウィンドウを表示し、指示した領域の画像を拡大して表示する技術として、マウスカーソルの指示位置周辺の範囲を覆い隠さないように拡大表示するという方法が開示されている。
【0003】
また、特許文献2には、複数枚の画像から高品位な画像を生成する技術として、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
【特許文献1】特許第2943734号公報
【特許文献2】特許第2828138号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、前述の特許文献1に開示されている技術では、画像を拡大する高解像度化方法の詳細が明記されておらず、例えば記録された画像の周波数帯域よりも高い周波数帯域で復元するような高解像度化ができないため、高品質な画像を表示することができない。
【0005】
また、前述の特許文献2に開示されている技術のような超解像処理で、大領域に対して処理を行う場合、複数のフレーム間での被写体の動き推定や高解像度化推定の際に、多々、反復演算を行うため、演算時間が多大になる。さらに、フレーム間での被写体の動きが非常に大きい場合、大領域の動き推定処理における演算時間も多大になる。
【0006】
したがって、記録された画像内一部の領域の高解像度化画像を使用者が確認したい場合、大領域の高解像度化を行ってから確認するのでは、多大な時間を費やすことになり不便である。
【0007】
本発明は、上記の点に鑑みてなされたもので、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域の仕上がり具合を使用者が容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置の一態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。
【0009】
また、本発明の画像処理装置の別の態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。
【0010】
本発明の画像処理プログラムの一態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。
【0011】
また、本発明の画像処理プログラムの別の態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。
【0012】
本発明の画像製造方法の一態様は、
上記本発明の画像処理装置の一態様又は別の態様を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする。
【0013】
本発明のコンピュータ読み取り可能な記録媒体の一態様は、
当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したことを特徴とする。
【発明の効果】
【0014】
本発明によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0016】
[第1実施形態]
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0017】
図1は、本発明の画像処理装置の第1実施形態としての電子スチルカメラ10のブロック構成図である。この電子スチルカメラ10は、絞り12Aを内包するレンズ系12、分光ハーフミラー系14、シャッタ16、ローパスフィルタ18、CCD撮像素子20、A/D変換回路22、AE用フォトセンサ24、AFモータ26、撮像制御部28、画像処理部30、画像用バッファ32、圧縮部34、メモリカードI/F部36、メモリカード38、プリンタI/F部40、操作表示部42、撮像条件設定部44、連写判定部46、画素混合判定部48、切替部50、連写用バッファ52、高解像処理部54、小領域選択処理部56を備える。
【0018】
絞り12Aを内包するレンズ系12、分光ハーフミラー系14、シャッタ16、ローパスフィルタ18及びCCD撮像素子20は、光軸に沿って配置されている。本実施形態では、CCD撮像素子20として単板CCD撮像素子の使用を前提としている。分光ハーフミラー系14から分岐した光束はAE用フォトセンサ24に導かれる。また、レンズ系12には、合焦作業時に該レンズ系12の一部(フォーカスレンズ)を移動するためのAFモータ26が接続されている。
【0019】
CCD撮像素子20からの信号は、A/D変換回路22でデジタルデータ化される。このデジタルデータは、画像処理部30、切替部50を介して画像用バッファ32または連写用バッファ52へ入力される。または、画像処理部30を介することなく、切替部50を介して画像用バッファ32または連写用バッファ52へ入力される。切替部50は、連写判定部46からの入力に従って、その切替動作を行うようになっている。
【0020】
画像用バッファ32及び連写用バッファ52からの出力は、圧縮部34へ入力される場合と、メモリカードI/F部36を介して、脱着可能なメモリカード38へ入力される場合がある。また、圧縮部34の出力も、上記メモリカードI/F部36を介して上記脱着可能なメモリカード38へ入力が行える。
【0021】
A/D変換回路22及びAE用フォトセンサ24からの信号は撮像条件設定部44へ入力されており、撮像条件設定部44からの信号は撮像制御部28、連写判定部46及び画素混合判定部48へ入力される。撮像制御部28へは、連写判定部46及び画素混合判定部48からも信号が入力される。撮像制御部28は、それら撮像条件設定部44、連写判定部46及び画素混合判定部48からの信号に基づいて、絞り12A、CCD撮像素子20及びAFモータ26を制御する。
【0022】
高解像処理部54は、モーション推定部54A及び超解像処理部54Bを備え、メモリカードI/F部36との入出力により、メモリカード38の読み書きが可能である。また、プリンタI/F部40を介してプリンタへ入力が行える。更に、この高解像処理部54は、操作表示部42との入出力が可能であり、また、小領域選択処理部56からの入力を受けるようになっている。小領域選択処理部56は、メモリカードI/F部36との入出力により、メモリカード38の読み書きが可能であり、また、操作表示部42と入出力が可能である。
【0023】
図2は、本実施形態における電子スチルカメラ10の概略の外観構成とプリンタ58との接続構成を示す図である。同図に示すように、この電子スチルカメラ10は、操作表示部42として、カメラ本体10Aの上面に配置された電源スイッチ42A及びレリーズスイッチ42Bと、カメラ本体10Aの背面に配された液晶表示パネル42C及び操作ボタン42Dと、を有している。カメラ本体10Aは、その内部のプリンタI/F部40に接続されたケーブル60によって、プリンタ58と接続されている。
【0024】
図3は、本実施形態における電子スチルカメラ10とそれに接続されたプリンタ58で行われる処理のフローチャートを示す図である。
【0025】
即ち、電子スチルカメラ10は、まず、単数及び複数枚連写撮影を行うことにより、後に行う高解像度化処理に必要となる画像データを取得し、画像ファイルとしてメモリカード38に記録する(ステップS10)。その後、撮影画像を使用者が選択し、液晶表示パネル42Cに画像を表示し(ステップS12)、高解像度化したい個所の局所領域を指定する(ステップS14)。その際、操作ボタン42Dにより使用者が文字や顔などの一部分を領域選択する。この領域選択は、小領域選択処理部56により行われるものであり、の詳細については後述する。その後、小領域自動選択モードがONになっているか否かを判定する(ステップS16)。このモードは、使用者が液晶表示パネル42Cに表示された設定メニューに従って操作ボタン42Dを介して設定できるようになっている。
【0026】
ここで、小領域自動選択モードがONになっている場合には、被写体領域を正確に再選択するような小領域自動選択処理を行うことで(ステップS18)、上記ステップS14で使用者が指定した局所領域を基に、最適な小領域を自動的に選択する。この小領域自動選択処理も小領域選択処理部56により行われるものであり、その詳細については後述する。
【0027】
そして、高解像処理部54により、上記選択された領域に対し、上記ステップS10で撮影した単数または複数枚の画像を使用して、高解像度化処理を行い(ステップS20)、選択領域の高解像度画像を液晶表示パネル42Cに画面表示する(ステップS22)。この高解像度化処理及び画面表示それぞれの詳細については後述する。使用者は、この画面表示された選択領域の高解像度画像を確認することで、プリンタ58での印刷またはメモリカード38へのファイルとしての保存を行うかどうかの判断ができると共に、選択された領域である関心領域における高解像度化効果を確認できる。その後、使用者が同じ関心領域に対して、再度、高解像度化を行おうとした場合(ステップS24)、制御パラメータを調整し直すことで(ステップS26)、上記ステップS20でその新たに調整した制御パラメータで高解像度化処理を行う。なお、制御パラメータの調整方法の詳細については後述する。
【0028】
また、パラメータ調整を行わず(ステップS24)、再度、領域選択する場合には(ステップS28)、画面表示された選択領域の高解像度画像を消し、上記ステップS12で撮影画像を画面表示して、上記ステップS14で使用者が再度、局所領域を指定することになる。
【0029】
而して、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン42Dによりプリンタ58での印刷を指示すると(ステップS30)、接続されたプリンタ58への印刷指示処理を実行する(ステップS32)。なおこの場合、プリンタ58での印刷対象は、上記選択領域の高解像度画像となる。
【0030】
しかしながら、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うこともできる。即ち、上記ステップS22で選択領域の高解像度画像を確認した結果、使用者が画像全体を高解像度化したいと考えた場合には、上記ステップS28にて再度の領域選択を選択し、上記ステップS14にて局所領域として画像全体を指定すれば良い。
【0031】
あるいは、上記ステップS30で印刷指示があった場合、選択領域の高解像度画像を印刷するとともに、自動的に、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うようにしても構わない。また、選択領域/画像全体の何れかまたは両方の高解像度画像を印刷するかを指定できるようにしても良い。
【0032】
また、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン42Dによりファイルとしての保存を指示すると(ステップS34)、高解像度化に使用した元の撮影画像の消去の確認画像が表示されるので、使用者が消去を指示すると(ステップS36)、元の撮影画像は消去されて(ステップS38)、メモリカード38へ当該選択領域の高解像度画像をファイルとして保存する(ステップS40)。この場合も、印刷の場合と同様に、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像をファイルとして保存するようにしても良いし、選択領域/画像全体の何れかまたは両方の高解像度画像をファイルとして保存するかを指定できるようにしても良い。
【0033】
なお、上記ステップS10において、単数および複数枚の撮影を行う際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図4に示すように、Bayer配列の色フィルタを前面に配置したCCD撮像素子20からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Bayer配列の色フィルタを前面に配置したCCD撮像素子20からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。
【0034】
以下、電子スチルカメラ10で行われる上述の処理について、データの流れに基づいてさらに説明する。
【0035】
まず、使用者がレリーズスイッチ42Bを半押ししたり、あるいは電源スイッチ42AをON状態にすることにより、撮像制御部28は、絞り12A、シャッタ16及びAFモータ26の制御を行い、プリ撮影を行う。このプリ撮影では、CCD撮像素子20からの信号がA/D変換回路22にてデジタル信号化され、画像処理部30により公知のホワイトバランス、強調処理、補間処理等が施された三板相当の画像信号として、画像用バッファ32に出力される。
【0036】
但し、本実施形態で、プリ撮影後の本撮影においては、画像保存形式が非圧縮(Bayer)の場合は、画像処理部30で、補間処理を行わず単板状態の画像信号として連写用バッファ52に出力され、画像保存形式が圧縮の場合は、プリ撮影時と同様に画像処理部30により補間処理を行い、三板相当の画像信号として連写用バッファ52に出力される。
【0037】
なお、画像処理部30は、画像用バッファ32や連写用バッファ52に格納後、処理し、また(バッファ)に格納する場合もある。
【0038】
上記プリ撮像では、撮像条件設定部44が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部28及び連写判定部46に転送する。また、撮像条件設定部44は、連写判定部46で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部28及び切替部50へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ISO感度などの撮影時に要する各要素に対する設定値の組みである。
【0039】
撮像条件を求める過程は、撮像条件設定部44が公知の技術によって行う。
【0040】
露光量に関するシャッタ速度と絞り値は、レンズ系12と分光ハーフミラー系14を介して被写体の光量をAE用フォトセンサ24にて測定した結果に基づき設定される。測定対象となる領域は、AE用フォトセンサ24の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。
【0041】
合焦位置は、CCD撮像素子20からの出力信号をA/D変換回路22にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、AFモータ26にてレンズ系12の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【0042】
ISO感度の設定方法は、電子スチルカメラ10における感度モードの設定によって異なる。電子スチルカメラ10において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ10において感度モードが自動感度モードの場合には、レンズ系12と分光ハーフミラー系14を介して被写体の光量をAE用フォトセンサ24にて測定した結果に基づき決定される。即ち、AE用フォトセンサ24にて測定した光量が少ない場合に高いISO感度に決定し、光量が多い場合に低いISO感度に決定する。なお、本実施形態におけるISO感度とは、CCD撮像素子20からの信号に対する電気的増幅(ゲインアップ)の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
【0043】
而して、使用者がレリーズスイッチ42Bを完全に押すと、撮像条件設定部44で設定された撮影用パラメータ、連写判定部46によって決定された撮影方式に基づいて、撮像制御部28が本撮影を行う。本撮影が行われると、撮影した画像のデータは単数撮影でも複数枚撮影でも、連写用バッファ52に入力される。切替部50は、プリ撮影時は画像用バッファ32へ、本撮影時は連写用バッファ52へ画像の入力先を切り替える。連写用バッファ52へ入力された画像データは、画像保存形式が圧縮の場合は、圧縮部34で画像圧縮を行い、画像保存形式が非圧縮(Bayer)の場合は、圧縮部34へは入力しない。その後、どちらの場合でも画像データは、メモリカードI/F部36を介して、メモリカード38に出力する。
【0044】
次に、上記ステップS14乃至ステップS22で行われる関心領域の決定処理と高解像度画像の画面表示処理について説明する。
【0045】
使用者は、カメラ本体10Aにある操作ボタン42Dを使用して、液晶表示パネル42Cにメモリカード38にある撮影画像をメモリカードI/F部36を介して表示する。このとき、液晶表示パネル42Cには、図5(A)に示すように、関心領域指定カーソル42Eが表示される。使用者は、操作ボタン42Dを使用して、図5(B)に示すように、この関心領域指定カーソル42Eを移動させて、高解像度化したい個所の局所領域を選択する。この際、操作ボタン42Dの操作によって、関心領域指定カーソル42Eの大きさは変更できる。
【0046】
そして、小領域自動選択モードONでない場合には、この選択された局所領域を関心領域として、メモリカードI/F部36を介してメモリカード38内の撮影画像にアクセスし、必要な画像データを使用し、関心領域に対する高解像度化処理を行い、図5(C)に示すように、液晶表示パネル42Cに画面表示する。この際、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分(高解像度画像表示画面42F)を重ならないように表示することで、使用者が関心領域の高解像度化効果を確認し易いようにする。またこの際、低解像度の全体画像における関心領域の表示部分については関心領域識別表示42Gとすることで、より比較し易くすることができる。
【0047】
一方、小領域自動選択モードONの場合には、上記選択された局所領域を基に、色情報、輝度情報等から被写体を検出し、最適な小領域を決定して、それを関心領域とする。そのための小領域選択処理部56で行う被写体検出、切り出し領域決定の処理は、公知による技術(特開2005−078233号公報、特開2003−256834号公報など)で行うものとする。そして、その決定した関心領域を、図5(D)に示すように、関心領域識別表示42Gとして液晶表示パネル42Cに表示して使用者に確認させる。勿論、この決定した関心領域を操作ボタン42Dの操作により移動や大きさ変更を行えるようにすることが好ましい。
【0048】
そして、メモリカードI/F部36を介してメモリカード38内の撮影画像にアクセスし、必要な画像データを使用し、上記決定した関心領域に対する高解像度化処理を行い、図5(E)に示すように、液晶表示パネル42Cに、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分(高解像度画像表示画面42F)とが重ならないように表示する。
【0049】
次に、上記ステップS26で実行される高解像度化処理用制御パラメータの調整例を説明する。上述のようにして、関心領域の高解像度画像が図6(A)に示すように液晶表示パネル42Cに高解像度画像表示画面42Fとして表示された後、使用者が同関心領域に対して制御パラメータを変更して再度、高解像度化処理を行おうとした場合、ステップS24において操作ボタン42Dを使って指示を行うことで、ステップS26において、まず、図6(B)に示すような制御パラメータを設定するための制御パラメータ設定画面42Hを液晶表示パネル42Cに表示させる。
【0050】
ここで、制御パラメータには、高解像度化処理に使用する画像枚数(『使用枚数』)、高解像度画像の拡大率(『拡大率』)、画像復元時の評価関数における拘束項の重み係数(『拘束項』)、評価関数の最小化における繰り返し演算回数(『繰り返し回数』)などがある。評価関数及びその拘束項の詳細については後述する。
【0051】
そして、使用者は操作ボタン42Dの操作によって、変更したい制御パラメータ項目(例えば、図6(C)に示すような『使用枚数』)を選択し、現在、図6(D)に示すように、設定されているパラメータを表示させた後、図6(E)に示すように、変更したいパラメータを選択する。これにより、図6(F)に示すように、当該制御パラメータが変更される。そして、上記ステップS20に戻って、上記変更された制御パラメータにより高解像度化処理が行われ、ステップS22において再度、高解像度画像を表示することとなる。
【0052】
なお、上記ステップS20で実行される高解像処理部54での高解像度化処理は、モーション推定部54Aで行う動き推定処理と、超解像処理部54Bで行う超解像処理とからなる。
【0053】
高解像処理部54におけるモーション推定部54Aは、連写撮影モードにより撮影され、連写用バッファ52へ入力された複数枚の画像の画像データのうち、関心領域の画像データを用いて、各関心領域の画像データ(フレーム)におけるフレーム間の動き推定を行う。図7は、このモーション推定部54Aで実行される動き推定処理のフローチャートを示す図である。
【0054】
即ち、まず、動き推定の基準となる関心領域の画像データ(基準画像)を1枚読み込む(ステップS20A1)。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ(第1フレームの画像)であっても良いし、使用者が任意に指定した画像データ(フレーム)であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる(ステップS20A2)。
【0055】
その後、他の関心領域の画像データ(参照画像)を1枚読み込み(ステップS20A3)、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する(ステップS20A4)。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図8に示すような離散的な類似度マップを作成し(ステップS20A5)、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める(ステップS20A6)。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
【0056】
そしてその後、全ての参照画像において動き推定を行ったか否かを判別し(ステップS20A7)、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を1つ上げて(ステップS20A8)、上記ステップS20A3へ戻ることで、次の参照画像を読み込んで上記処理を継続する。
【0057】
而して、対象となる全ての参照画像において動き推定を行ったならば(ステップS20A7)、処理を終了する。
【0058】
図8は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は2乗偏差を表し、値が小さいほど類似度が高い。
【0059】
なお、上記ステップS20A2における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±1ピクセルの動きパラメータで基準画像を19通り(27通り中8通りは同じ変形パターン)に変形させる。この場合、図8の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向,垂直方向,回転方向の組み合わせのモーションパラメータと考えると、負の方から(−1,+1,−1)、(−1,+1,0)、(−1,+1,+1)の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から(−1),(0),(+1)となり、水平方向,垂直方向,回転方向について別々にプロットする。
【0060】
図9(A)及び(B)は、参照画像における基準画像への近似を示す。図9(A)に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図9(B)に示すように基準画像に近似する。
【0061】
次に、高解像処理部54の超解像処理部54Bで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理(超解像処理)を、図10のフローチャートを参照して説明する。
【0062】
即ち、まず、高解像度画像推定に用いるためk枚(k≧1)の関心領域の画像データ(低解像度画像y)を読み込む(ステップS20B1)。ここで、kは、上記制御パラメータにおける高解像度化処理に使用する画像枚数(『使用枚数』)として設定されている。そして、それらk枚の低解像度画像yの中の任意の1枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像zを作成する(ステップS20B2)。なお、このステップS20B2は、場合により省略することができる。
【0063】
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション(例えば、上述したようにモーション推定部54Aで動き推定値を求める)により、画像間の位置関係を明らかにする(ステップS20B3)。そして、光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める(ステップS20B4)。このPSFは、例えばGauss関数を用いる。
【0064】
そして、上記ステップS20B3及びステップS20B4の情報を元に、評価関数f(z)の最小化を行う(ステップS20B5)。ただし、f(z)は以下のような形となる。
【数1】
【0065】
ここでyは低解像度画像、zは高解像度画像、Aは画像間モーション(例えばモーション推定部54Aで求めた動き推定値)及びPSF(電子スチルカメラ10の点拡がり関数、CCD撮像素子20によるダウンサンプリングの比率、色フィルタ配列から構成される)等を含めた撮像システムを表す画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
【0066】
そして、上記ステップS20B5で求めた評価関数f(z)が最小化されたか否かを判別する(ステップS20B6)。ここで、まだ最小化されていない場合には、高解像度画像zをアップデートして(ステップS20B7)、上記ステップS20B5に戻る。
【0067】
而して、上記ステップS20B5で求めた評価関数f(z)が最小化されたならば、高解像度画像zが得られたとして処理を終了する。
【0068】
図11は、このような超解像処理を実施する超解像処理部54Bの構成の一例を示す図である。この超解像処理部54Bは、初期画像記憶部54B1、畳込み積分部54B2、PSFデータ保持部54B3、画像比較部54B4、乗算部54B5、貼り合せ加算部54B6、蓄積加算部54B7、更新画像生成部54B8、画像蓄積部54B9、反復演算判定部54B10、反復判定値保持部54B11、及び補間拡大部54B12から構成される。
【0069】
即ち、上記連写用バッファ52からの基準画像を補間拡大部54B12で補間拡大し、その補間拡大画像が初期画像記憶部54B1に与えられ、初期画像として記憶される。なお、補間拡大部54B12での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
【0070】
この初期画像記憶部54B1に記憶された初期画像は畳込み積分部54B2に与えられ、PSFデータ保持部54B3より与えられるPSFデータと畳込み積分される。ここでのPSFデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部54B1に記憶された初期画像データは同時に画像蓄積部54B9に送られ、ここに蓄積される。
【0071】
上記畳込み積分部54B2で畳込み積分された画像データは画像比較部54B4に送られ、上記モーション推定部54Aで求められた各フレーム毎のモーション(動き推定値)を元に適切な座標位置で、上記連写用バッファ52より与えられる撮影画像と比較される。そして、その比較された残差は乗算部54B5に送られ、PSFデータ保持部54B3より与えられるPSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部54B6に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部54B5からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像1枚分のデータの貼り合せ加算が終るとデータは蓄積加算部54B7に送られる。
【0072】
蓄積加算部54B7では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。加算された画像データは、更新画像生成部54B8に送られる。更新画像生成部54B8には、これと同時に、画像蓄積部54B9に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して、更新画像データを生成する。
【0073】
この更新画像生成部54B8で生成された更新画像データは反復演算判定部54B10に与えられ、反復判定値保持部54B11から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部54B2に送り上記の一連の処理を繰り返す。
【0074】
これに対して、反復しない場合は、更新画像生成部54B8で生成され該反復演算判定部54B10に入力された更新画像データを、高解像度画像として出力する。
【0075】
このような一連の処理を行うことで、反復演算判定部54B10から出力される画像は撮影画像よりも高解像度なものとなる。
【0076】
また、上記PSFデータ保持部54B3で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部54Aよりフレーム毎のモーションが与えられるようになっている。
【0077】
以上詳述したように、本第1実施形態によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できる。
【0078】
また、使用者が関心のある領域を選択するときに、被写体の一部分だけを指定しても、文字や顔などを含む領域を自動的に抽出することで、使用者の領域選択操作の支援することができる。
【0079】
[第2実施形態]
上記第1実施形態で説明したように、選択された関心領域の高解像度画像を画面表示する際に、複数枚画像においてフレーム間の相対的な位置関係を示す動きパラメータを算出している。本第2実施形態では、そうして算出した動きパラメータなどの動き情報を保存しておき、同じ複数枚画像に対して別領域の高解像度化要求があった際に、その保存した動き情報を再利用することで、動き推定処理の精度向上、または、高速化しようとするものである。
【0080】
そのため、本発明の撮像装置の第2実施形態としての電子スチルカメラ10は、図12に示すように、上記第1実施形態における構成に加えて、高解像処理部54が入出力可能な動き情報用バッファ62を備える。そして、本第2実施形態では、図13に示すように、上記ステップS16で小領域自動選択モードがONとなっていない場合、あるいは上記ステップS18で小領域自動選択処理を実施した後、上記動き情報用バッファ62に既に動き情報が保存済みであるか否かを判別する(ステップS42)。
【0081】
ここで、未だ動き情報を保存していない場合には、高解像処理部54により、上記選択された領域に対し、上記ステップS10で撮影した単数または複数枚の画像を使用して、高解像度化処理を行う。即ち、モーション推定部54Aにより、動き推定処理を実施して、動き情報を算出し(ステップS20A)、その算出した動き情報を用いて、超解像処理部54Bにて超解像処理を実施する(ステップS20B)。その後、選択領域の高解像度画像を液晶表示パネル42Cに画面表示する(ステップS22)。
【0082】
そして、上記算出した動き情報を保存するか否かを判断する(ステップS44)。この、動き情報を保存するか否かは、液晶表示パネル42Cに保存するか否かを問い合わせるメッセージを表示し、それに応じて使用者が操作ボタン42Dの操作により入力した指示を判別することにより行う。あるいは、動き情報を保存する/しないをモード設定の一項目として予め設定しておくものとして、そのモード設定に従うものであっても構わない。ここで、動き情報を保存しないと判断した場合には、上記ステップS24へ進み、動き情報を保存すると判断した場合には、上記算出した各フレームの動き情報を動き情報用バッファ62に保存した後に(ステップS46)、上記ステップS24へ進む。
【0083】
なお、保存する動き情報は、動きパラメータ以外に、動きパラメータを決定した際の基準画像との類似度値も保存しておく。類似度値はSSD(差の2乗和:Sum of Squared Difference)やSAD(差の絶対値和:Sum of Absolute Difference)などを使用する。
【0084】
一方、上記ステップS42にて上記動き情報用バッファ62に既に動き情報が保存済みであると判別された場合には、更に、その保存されている動き情報をそのまま再利用するか否かを判別する(ステップS48)。この判別は、使用者が判定して、操作ボタン42Dの操作により入力した指示を判別することにより行う。
【0085】
図14(A)及び(B)は、上記ステップS48にて、動き情報をそのまま再利用するかを使用者が判定する際の例を示すものである。
【0086】
ここで、図14(A)は、使用者が再利用すると判定する場合の例である。即ち、今回の選択領域42Iに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の高解像度画像表示の際に選択された基準画像における選択領域(先の選択領域42J)に含まれる被写体と他フレームにおける当該被写体との間の動きと同じであると判定できる例である。これは、例えば、動きのない、または少ない被写体を連写撮影した際に、撮影者の手振れが発生したような場合である。
【0087】
また、図14(B)は、使用者が再利用しないと判定する場合の例である。即ち、今回の選択領域42Iに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の選択領域42Jに含まれる被写体と他フレームにおける当該被写体との間の動きとは異なると判定できる例である。これは、例えば、違う動き方をした2つの被写体を画角に入れて連写撮影したような場合である。
【0088】
上記ステップS48において、再利用しないと判別した場合には、上記ステップS20Aに進んで、新たに動き推定処理を行って、ステップS20Bで超解像処理を行う。また動き情報をそのまま再利用すると判別した場合には、詳細は後述するような動き情報を再利用した動き推定処理を行い(ステップS50)、それによって得られた動き情報を使用して、ステップS20Bで超解像度処理を行う。
【0089】
また、本実施形態においては、再利用するかどうかを自動判定させることも可能となっている。上記ステップS48において、再利用するかどうかを自動判定させると使用者により指示されたと判別した場合には、詳細は後述するような動き情報再利用自動判定処理を行って(ステップS52)、再利用するか否かを判定する(ステップS54)。ここで、全フレーム分の動き情報を再利用しないと判定した場合には、上記ステップS20Aに進んで新たに動き推定処理を行う。これに対して、少なくとも1フレーム分でも再利用すると判定した場合には、上記ステップS50に進んで、動き情報を再利用した動き推定処理を行う。そして、ステップS20Bにて、その新たな動き推定処理によって得られた動き情報、または、動き情報を再利用した動き推定処理によって得られた動き情報を使用して、超解像度処理を行うこととなる。
【0090】
図15は、上記ステップS52にて実行される動き情報再利用自動判定処理のフローチャートを示す図である。
【0091】
即ち、まず、基準画像を読み取り(ステップS5201)、動き情報用バッファ62に保存してある動き情報である各フレームの動きパラメータ及び基準画像に対する類似度値の情報を取り出し(ステップS5202)、対象のフレームにおける参照画像を読み取る(ステップS5203)。そして、取り出した動きパラメータで参照画像を画像変形し(ステップS5204)、基準画像とその変形画像との類似度値を計算する(ステップS5205)。その後、この計算した類似度値が、上記ステップS5202で取り出した保存してある類似度値よりも第1閾値以上大きいか否かを判定する(ステップS5206)。
【0092】
ここで、第1閾値よりも小さいと判定した場合には、つまり、計算した類似度値が保存してある類似度値に近い場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが同じような動きということになるので、上記動き情報用バッファ62に保存してある動きパラメータはそのまま再利用すると決定する(ステップS5207)。
【0093】
これに対して、上記ステップS5206において、第1閾値以上大きいと判定した場合には、更に、上記ステップS5205で計算した類似度値が、上記ステップS5202で取り出した保存してある類似度値よりも第2閾値(但し、第2閾値>第1閾値)以上大きいか否かを判定する(ステップS5208)。ここで、計算した類似度値が上記第1閾値以上で且つ上記第2閾値よりも小さいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが、ほぼ同じような動きという事になるので、保存動きパラメータはそのままではないが再利用はすると決定する(ステップS5209)。
【0094】
そして、上記ステップS5208において、第2閾値以上大きいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが全く違うという事になるので、保存動きパラメータは再利用しないと決定する(ステップS5210)。
【0095】
上記ステップS5207、ステップS5209、又はステップS5210の後、全ての参照画像に対して処理を行ったか否かを判別し(ステップS5211)、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を1つ上げて(ステップS5212)、上記ステップS5203に戻る。
【0096】
このように、自動判定処理を高解像度化に使用する参照画像1フレーム毎に、全てについて行う。
【0097】
図16は、上記ステップS50で実行される動き情報を再利用した動き推定処理のフローチャートを示す図である。
【0098】
即ち、基準画像を読み取り(ステップS5001)、その読み取った基準画像を複数変形する(ステップS5002)。そして、処理しようとする参照画像のフレームに対する動き情報再利用ありかなしかを判定する(ステップS5003)。
【0099】
ここで、再利用なしと判定した場合、つまり、上記ステップS5210で当該フレームについては再利用しないと決定されていた場合には、当該フレームの参照画像を読み取り(ステップS5004)、類似度複数計算(ステップS5005)、類似度マップ作成(ステップS5006)、類似度マップの補完極値推定(動き推定値の算出)を行う(ステップS5007)。
【0100】
これに対して、上記ステップS5003において再利用ありと判定した場合には、更に、動きパラメータをそのまま再利用するかどうかの判定を行う(ステップS5004)。そして、そのまま再利用しないと判定した場合、つまり、上記ステップS5209で当該フレームについては動き情報用バッファ62に保存してある動きパラメータをそのままではないが再利用はすると決定されていた場合には、当該フレームの参照画像を読み取り(ステップS5009)、その読み取った参照画像を上記動き情報用バッファ62の保存動きパラメータで変形する(ステップS5010)。その後、上記ステップS5005に進んで類似度値複数計算を行い、上記ステップS5006にて類似度マップ作成、上記ステップS5007にて類似度マップ補完極値推定を行うことになる。このようにして動き推定値を算出することで、大きな動き分の類似度値計算が省略されることになり、演算時間が高速化するとともに、動き推定の演算精度を向上させることができる。
【0101】
また、上記ステップS5008で、そのまま再利用すると判定した場合、つまり、上記ステップS5207で当該フレームについては動き情報用バッファ62に保存してある動きパラメータをそのまま再利用すると決定されていた場合には、保存してある動きパラメータをそのまま適用するので、新たな動き推定値の算出は実施しない。
【0102】
上記ステップS5007の後、あるいは、上記ステップS5208でそのまま再利用すると判定した場合には、高解像度化に使用する全ての参照画像に対して処理を行ったか否かを判別し(ステップS5011)、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を1つ上げて(ステップS5012)、上記ステップS5003に戻る。
【0103】
このように、動き推定処理を高解像度化に使用する参照画像1フレーム毎に、全てについて行う。
【0104】
なお、上記ステップS5001の基準画像読み取り処理は図7のステップS20A1と、上記ステップS5002の基準画像の複数変形処理は図7のステップS20A2と、上記ステップS5004の参照画像読み取り処理は図7のステップS20A3と、上記ステップS5005の類似度値複数計算処理は図7のステップS20A4と、上記ステップS5006の類似度マップ作成処理は図7のステップS20A5と、上記ステップS5007の類似度マップ補完極値推定処理は図7のステップS20A6と、それぞれ同様の処理である。
【0105】
以上のように、本第2実施形態によれば、仕上り推定表示を行う際の演算で推定した動き情報を再利用することで、大領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0106】
[第3実施形態]
上記第1及び第2実施形態では、画像処理装置の全ての機能を電子スチルカメラ10に組み込んでいるが、それに限定されないことは勿論である。
【0107】
例えば、超解像処理部54Bを別のハードウェア又はソフトウェアで実現することができる。その場合、複数枚の画像間においてモーション推定部54Aでの動き推定処理で算出した動き推定値を、付属情報として各画像に付加して、メモリカードI/F部36によりその付加情報を有する画像をメモリカード38に記録しておく。そして、それらのメモリカード38に記録された画像を別のハードウェアに構成された若しくは別のソフトウェアで構成された超解像処理部54Bの入力画像とする。ここで、付属情報は、図17に示すように、基準画像と参照画像が分かるようにし、参照画像には基準画像とのずれ量である動き推定値を付加する。
【0108】
このように付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0109】
またその際、参照画像である一枚、例えばN+15フレームを基準画像に変更することもでき、その時は、各画像の付加情報に含まれる動き推定値を基に計算すれば、容易に新しく設定した基準画像とそれ以外の参照画像との動き値を求めることが可能となる。
【0110】
[第4実施形態]
また、使用者が表示したい画像がN+α+βフレーム(α=所定時間内の整数値、0<β<1)のような場合もある。そのような場合、例えばα=1、β=0.5の時には、高解像処理部54は、図18に示すように、N+1フレームとN+2フレームの画像の基準画像からの動き推定値を基にして、N+1.5フレームの動き推定値を推定し、N+1.5フレームの低解像度画像(表示原画像)、あるいは、高解像度画像を生成する。
【0111】
このN+α+βフレーム高解像度画像の生成時には、N+α+βフレームの低解像度画像を一旦生成し、その画像を基準画像として前後の低解像度画像を使用し、超解像処理によって高解像度化する。また、Nフレームを基準画像として生成したNフレームの超解像画像を基にして、このN+α+βフレームの高解像度画像を生成することも可能である。
【0112】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0113】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【0114】
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【0115】
(1) 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【0116】
(対応する実施形態)
この(1)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、電子スチルカメラ10が上記画像処理装置に、高解像処理部54が上記高解像度化処理手段に、操作表示部42が上記局所領域指定手段に、小領域選択処理部56が上記推定表示手段に、それぞれ対応する。
【0117】
(作用効果)
この(1)に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0118】
(2) 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする(1)に記載の画像処理装置。
【0119】
(対応する実施形態)
この(2)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記別枠に対応する。
【0120】
(作用効果)
この(2)に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。
【0121】
(3) 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする(1)に記載の画像処理装置。
【0122】
(対応する実施形態)
この(3)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記高解像度画像に、関心領域識別表示42Gが上記指定された局所領域に、それぞれ対応する。
【0123】
(作用効果)
この(3)に記載の画像処理装置によれば、指定された局所領域の画像と高解像度化した画像とが重ならないように表示されるので、局所領域の低解像度・高解像度の両者の画像を容易に比較することができる。
【0124】
(4) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする(1)乃至(3)の何れかに記載の画像処理装置。
【0125】
(対応する実施形態)
この(4)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0126】
(作用効果)
この(4)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。
【0127】
(5) 上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする(4)に記載の画像処理装置。
【0128】
(対応する実施形態)
この(5)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。その実施形態において、動き情報用バッファ62が上記保存手段に対応する。
【0129】
(作用効果)
この(5)に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。
【0130】
(6) 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする(5)に記載の画像処理装置。
【0131】
(対応する実施形態)
この(6)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。
【0132】
(作用効果)
この(6)に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の局所領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0133】
(7) 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする(1)に記載の画像処理装置。
【0134】
(対応する実施形態)
この(7)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、メモリカードI/F部36及びメモリカード38が上記保存手段に対応する。
【0135】
(作用効果)
この(7)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。
【0136】
(8) 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする(1)に記載の画像処理装置。
【0137】
(対応する実施形態)
この(8)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、プリンタ58が上記印刷手段に、プリンタI/F部40が上記出力手段に、それぞれ対応する。
【0138】
(作用効果)
この(8)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。
【0139】
(9) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする(1)乃至(3)の何れかに記載の画像処理装置。
【0140】
(対応する実施形態)
この(9)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き推定手段に、モーション推定部54A及びメモリカードI/F部36が上記付加情報記録手段に、それぞれ対応する。
【0141】
(作用効果)
この(9)に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0142】
(10) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする(9)に記載の画像処理装置。
【0143】
(対応する実施形態)
この(10)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0144】
(作用効果)
この(10)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。
【0145】
(11) 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【0146】
(対応する実施形態)
この(11)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、電子スチルカメラ10が上記画像処理装置に、高解像処理部54が上記高解像度化処理手段に、操作表示部42が上記局所領域指定手段に、小領域選択処理部56が上記小領域選択手段及び上記推定表示手段に、それぞれ対応する。
【0147】
(作用効果)
この(11)に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0148】
(12) 上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする(11)に記載の画像処理装置。
【0149】
(対応する実施形態)
この(12)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0150】
(作用効果)
この(12)に記載の画像処理装置によれば、局所領域の一部を指定するだけで小領域を判別して自動設定するので、所望の被写体を含む局所領域を指定するだけで、所望被写体に対応する小領域を自動設定でき、使用者の操作が簡単である。
【0151】
(13) 上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする(12)に記載の画像処理装置。
【0152】
(対応する実施形態)
この(13)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0153】
(作用効果)
この(13)に記載の画像処理装置によれば、所望の被写体を含む局所領域を大まかに指定するだけで、所望被写体に対応する小領域を自動設定できる。
【0154】
(14) 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする(11)に記載の画像処理装置。
【0155】
(対応する実施形態)
この(14)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記別枠に対応する。
【0156】
(作用効果)
この(14)に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。
【0157】
(15) 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする(11)に記載の画像処理装置。
【0158】
(対応する実施形態)
この(15)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記高解像度画像に、関心領域識別表示42Gが上記選択した小領域に、それぞれ対応する。
【0159】
(作用効果)
この(15)に記載の画像処理装置によれば、選択した小領域の画像と高解像度化した画像とが重ならないように表示されるので、小領域の低解像度・高解像度の両者の画像を容易に比較することができる。
【0160】
(16) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする(11)乃至(15)の何れかに記載の画像処理装置。
【0161】
(対応する実施形態)
この(16)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0162】
(作用効果)
この(16)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。
【0163】
(17) 上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする(16)に記載の画像処理装置。
【0164】
(対応する実施形態)
この(17)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。その実施形態において、動き情報用バッファ62が上記保存手段に対応する。
【0165】
(作用効果)
この(17)に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。
【0166】
(18) 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする(17)に記載の画像処理装置。
【0167】
(対応する実施形態)
この(18)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。
【0168】
(作用効果)
この(18)に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の小領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0169】
(19) 上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする(11)に記載の画像処理装置。
【0170】
(対応する実施形態)
この(19)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、メモリカードI/F部36及びメモリカード38が上記保存手段に対応する。
【0171】
(作用効果)
この(19)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。
【0172】
(20) 上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする(11)に記載の画像処理装置。
【0173】
(対応する実施形態)
この(20)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、プリンタ58が上記印刷手段に、プリンタI/F部40が上記出力手段に、それぞれ対応する。
【0174】
(作用効果)
この(20)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。
【0175】
(21) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする(11)乃至(15)の何れかに記載の画像処理装置。
【0176】
(対応する実施形態)
この(21)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き推定手段に、モーション推定部54A及びメモリカードI/F部36が上記付加情報記録手段に、それぞれ対応する。
【0177】
(作用効果)
この(21)に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0178】
(22) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする(21)に記載の画像処理装置。
【0179】
(対応する実施形態)
この(22)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0180】
(作用効果)
この(22)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。
【0181】
(23) 上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする(1)又は(11)に記載の画像処理装置。
【0182】
(対応する実施形態)
この(23)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。その実施形態において、高解像処理部54が上記表示原画像生成手段に対応する。
【0183】
(作用効果)
この(23)に記載の画像処理装置によれば、例えばN+1.5フレームのような実際に電子的に記録された画像ではない画像を新たに生成することができる。
【0184】
(24) 上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする(23)に記載の画像処理装置。
【0185】
(対応する実施形態)
この(24)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に対応する。
【0186】
(作用効果)
この(24)に記載の画像処理装置によれば、表示したい画像の位置における被写体の推定した動きを用いて、既に生成した別フレームの高解像度画像を基にして表示したい画像の位置における高解像度画像を生成できるようになる。
【0187】
(25) 上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする(4)又は(16)に記載の画像処理装置。
【0188】
(対応する実施形態)
この(25)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。
【0189】
(作用効果)
この(25)に記載の画像処理装置によれば、例えばN+1.5フレームのような実際に電子的に記録された画像ではない画像を新たに生成する際に、その新たな画像の位置における被写体の推定した動きを用いて、他の画像の相対的な位置関係を補償することができる。
【0190】
(26) 上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする(4)又は(16)に記載の画像処理装置。
【0191】
(対応する実施形態)
この(26)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。
【0192】
(作用効果)
この(26)に記載の画像処理装置によれば、付加情報を各々の画像に付加して再度記録することにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0193】
(27) 上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする(1)、(4)、(9)、(11)、(16)、(21)、(25)、又は(26)に記載の画像処理装置。
【0194】
(対応する実施形態)
この(27)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、操作表示部42が上記パラメータ調整手段に対応する。
【0195】
(作用効果)
この(27)に記載の画像処理装置によれば、使用者が望むようにパラメータを設定できる。
【0196】
(28) 上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも1つを含むことを特徴とする(27)に記載の画像処理装置。
【0197】
(対応する実施形態)
この(28)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0198】
(作用効果)
この(28)に記載の画像処理装置によれば、パラメータとして、高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数の少なくとも一つを設定できる。
【0199】
(29) 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【0200】
(対応する実施形態)
この(29)に記載の画像処理プログラムに関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、ステップS20が上記高い周波数帯域を復元する手順に、ステップS14が上記領域を指定する手順に、ステップS22が上記表示する手順に、それぞれ対応する。
【0201】
(作用効果)
この(29)に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0202】
(30) 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【0203】
(対応する実施形態)
この(30)に記載の画像処理プログラムに関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、ステップS20が上記高い周波数帯域を復元する手順に、ステップS14が上記領域を指定する手順に、ステップS18が上記小領域を選択する手順に、ステップS22が上記表示する手順に、それぞれ対応する。
【0204】
(作用効果)
この(30)に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0205】
(31) (1)乃至(28)の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする画像製造方法。
【0206】
(対応する実施形態)
この(31)に記載の画像製造方法に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、メモリカード38が上記画像メディアに対応する。
【0207】
(作用効果)
この(31)に記載の画像製造方法によれば、高解像度画像を記録した画像メディアを製造できる。
【0208】
(32) 当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。
【0209】
(対応する実施形態)
この(32)に記載の記録媒体に関する実施形態は、第3実施形態が対応する。その実施形態において、メモリカード38が上記記録媒体に対応する。
【0210】
(作用効果)
この(32)に記載の記録媒体によれば、付加情報を付加した画像を記録することにより、超解像処理を行う際に、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【図面の簡単な説明】
【0211】
【図1】図1は、本発明の画像処理装置の第1実施形態としての電子スチルカメラのブロック構成図である。
【図2】図2は、第1実施形態における電子スチルカメラの概略の外観構成とプリンタとの接続構成を示す図である。
【図3】図3は、第1実施形態における電子スチルカメラとそれに接続れさたプリンタで行われる処理のフローチャートを示す図である。
【図4】図4は、同じカラーチャンネル隣接4画素における画素混合読み出しを説明するための図である。
【図5】図5(A)は、液晶表示パネルに表示される関心領域指定カーソルを示す図であり、図5(B)は、関心領域指定カーソルの移動及び大きさの変更を説明するための図であり、図5(C)は、高解像度画像表示画面の表示例を示す図であり、図5(D)は、関心領域識別表示の表示例を示す図であり、図5(E)は、高解像度画像表示画面の別の表示例を示す図である。
【図6】図6(A)は、液晶表示パネルへの高解像度画像表示画面の表示例を示す図であり、図6(B)は、制御パラメータ設定画面の表示例を示す図であり、図6(C)は、『使用枚数』を選択した場合の制御パラメータ設定画面の表示例を示す図であり、図6(D)は、設定されているパラメータの表示例を示す図であり、図6(E)は、変更したいパラメータを選択した状態を示す図であり、図6(F)は、制御パラメータ変更後の制御パラメータ設定画面の表示例を示す図である。
【図7】図7は、モーション推定部で実行される動き推定処理のフローチャートを示す図である。
【図8】図8は、動き推定における最適類似度推定のための類似度マップを示す図である。
【図9】図9(A)は、複数の連続撮影した画像を示す図であり、図9(B)は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。
【図10】図10は、超解像処理部で実行される画像高解像度化処理(超解像処理)のフローチャートを示す図である。
【図11】図11は、超解像処理部の一例を示すブロック構成図である。
【図12】図12は、本発明の画像処理装置の第2実施形態としての電子スチルカメラのブロック構成図である。
【図13】図13は、第2実施形態における電子スチルカメで行われる処理の特徴部分のフローチャートを示す図である。
【図14】図14(A)は、使用者が保存動き情報をそのまま再利用すると判定する場合の例を示す図であり、図14(B)は、使用者が保存動き情報を再利用しないと判定する場合の例を示す図である。
【図15】図15は、図13中の動き情報再利用自動判定処理のフローチャートを示す図である。
【図16】図16は、図13中の動き情報を再利用した動き推定処理のフローチャートを示す図である。
【図17】図17は、本発明の第3実施形態に係る画像処理装置において各画像に付加される付加情報を説明するための図である。
【図18】図18は、使用者がN+1.5フレームの画像を表示したい場合の動作を説明するための図である。
【符号の説明】
【0212】
10…電子スチルカメラ、 10A…カメラ本体、 12…レンズ系、 14…分光ハーフミラー系、 16…シャッタ、 18…ローパスフィルタ、 20…CCD撮像素子、 22…A/D変換回路、 24…AE用フォトセンサ、 26…AFモータ、 28…撮像制御部、 30…画像処理部、 32…画像用バッファ、 34…圧縮部、 36…メモリカードI/F部、 38…メモリカード、 40…プリンタI/F部、 42…操作表示部、 42A…電源スイッチ、 42B…レリーズスイッチ、 42C…液晶表示パネル、 42D…操作ボタン、 42E…関心領域指定カーソル、 42G…関心領域識別表示、 42F…高解像度画像表示画面、 42H…制御パラメータ設定画面、 42I…今回の選択領域、 42J…先の選択領域、 44…撮像条件設定部、 46…連写判定部、 48…画素混合判定部、 50…切替部、 52…連写用バッファ、 54…高解像処理部、 54A…モーション推定部、 54B…超解像処理部、 54B1…初期画像記憶部、 54B2…畳込み積分部、 54B3…PSFデータ保持部、 54B4…画像比較部、 54B5…乗算部、 54B6…貼り合せ加算部、 54B7…蓄積加算部、 54B8…更新画像生成部、 54B9…画像蓄積部、 54B10…反復演算判定部、 54B11…反復判定値保持部、 54B12…補間拡大部、 56…小領域選択処理部、 58…プリンタ、 60…ケーブル、 62…動き情報用バッファ。
【技術分野】
【0001】
本発明は、複数枚の低解像度画像を用いた超解像処理による高解像度化において、選択した一部の領域における高解像度化効果を容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体に関する。
【背景技術】
【0002】
特許文献1には、マウスカーソルに付属してウィンドウを表示し、指示した領域の画像を拡大して表示する技術として、マウスカーソルの指示位置周辺の範囲を覆い隠さないように拡大表示するという方法が開示されている。
【0003】
また、特許文献2には、複数枚の画像から高品位な画像を生成する技術として、複数枚の位置ずれを持つ低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
【特許文献1】特許第2943734号公報
【特許文献2】特許第2828138号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、前述の特許文献1に開示されている技術では、画像を拡大する高解像度化方法の詳細が明記されておらず、例えば記録された画像の周波数帯域よりも高い周波数帯域で復元するような高解像度化ができないため、高品質な画像を表示することができない。
【0005】
また、前述の特許文献2に開示されている技術のような超解像処理で、大領域に対して処理を行う場合、複数のフレーム間での被写体の動き推定や高解像度化推定の際に、多々、反復演算を行うため、演算時間が多大になる。さらに、フレーム間での被写体の動きが非常に大きい場合、大領域の動き推定処理における演算時間も多大になる。
【0006】
したがって、記録された画像内一部の領域の高解像度化画像を使用者が確認したい場合、大領域の高解像度化を行ってから確認するのでは、多大な時間を費やすことになり不便である。
【0007】
本発明は、上記の点に鑑みてなされたもので、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域の仕上がり具合を使用者が容易に確認できる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の画像処理装置の一態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。
【0009】
また、本発明の画像処理装置の別の態様は、電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする。
【0010】
本発明の画像処理プログラムの一態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。
【0011】
また、本発明の画像処理プログラムの別の態様は、電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させることを特徴とする。
【0012】
本発明の画像製造方法の一態様は、
上記本発明の画像処理装置の一態様又は別の態様を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする。
【0013】
本発明のコンピュータ読み取り可能な記録媒体の一態様は、
当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したことを特徴とする。
【発明の効果】
【0014】
本発明によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体を提供することができる。
【発明を実施するための最良の形態】
【0015】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0016】
[第1実施形態]
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【0017】
図1は、本発明の画像処理装置の第1実施形態としての電子スチルカメラ10のブロック構成図である。この電子スチルカメラ10は、絞り12Aを内包するレンズ系12、分光ハーフミラー系14、シャッタ16、ローパスフィルタ18、CCD撮像素子20、A/D変換回路22、AE用フォトセンサ24、AFモータ26、撮像制御部28、画像処理部30、画像用バッファ32、圧縮部34、メモリカードI/F部36、メモリカード38、プリンタI/F部40、操作表示部42、撮像条件設定部44、連写判定部46、画素混合判定部48、切替部50、連写用バッファ52、高解像処理部54、小領域選択処理部56を備える。
【0018】
絞り12Aを内包するレンズ系12、分光ハーフミラー系14、シャッタ16、ローパスフィルタ18及びCCD撮像素子20は、光軸に沿って配置されている。本実施形態では、CCD撮像素子20として単板CCD撮像素子の使用を前提としている。分光ハーフミラー系14から分岐した光束はAE用フォトセンサ24に導かれる。また、レンズ系12には、合焦作業時に該レンズ系12の一部(フォーカスレンズ)を移動するためのAFモータ26が接続されている。
【0019】
CCD撮像素子20からの信号は、A/D変換回路22でデジタルデータ化される。このデジタルデータは、画像処理部30、切替部50を介して画像用バッファ32または連写用バッファ52へ入力される。または、画像処理部30を介することなく、切替部50を介して画像用バッファ32または連写用バッファ52へ入力される。切替部50は、連写判定部46からの入力に従って、その切替動作を行うようになっている。
【0020】
画像用バッファ32及び連写用バッファ52からの出力は、圧縮部34へ入力される場合と、メモリカードI/F部36を介して、脱着可能なメモリカード38へ入力される場合がある。また、圧縮部34の出力も、上記メモリカードI/F部36を介して上記脱着可能なメモリカード38へ入力が行える。
【0021】
A/D変換回路22及びAE用フォトセンサ24からの信号は撮像条件設定部44へ入力されており、撮像条件設定部44からの信号は撮像制御部28、連写判定部46及び画素混合判定部48へ入力される。撮像制御部28へは、連写判定部46及び画素混合判定部48からも信号が入力される。撮像制御部28は、それら撮像条件設定部44、連写判定部46及び画素混合判定部48からの信号に基づいて、絞り12A、CCD撮像素子20及びAFモータ26を制御する。
【0022】
高解像処理部54は、モーション推定部54A及び超解像処理部54Bを備え、メモリカードI/F部36との入出力により、メモリカード38の読み書きが可能である。また、プリンタI/F部40を介してプリンタへ入力が行える。更に、この高解像処理部54は、操作表示部42との入出力が可能であり、また、小領域選択処理部56からの入力を受けるようになっている。小領域選択処理部56は、メモリカードI/F部36との入出力により、メモリカード38の読み書きが可能であり、また、操作表示部42と入出力が可能である。
【0023】
図2は、本実施形態における電子スチルカメラ10の概略の外観構成とプリンタ58との接続構成を示す図である。同図に示すように、この電子スチルカメラ10は、操作表示部42として、カメラ本体10Aの上面に配置された電源スイッチ42A及びレリーズスイッチ42Bと、カメラ本体10Aの背面に配された液晶表示パネル42C及び操作ボタン42Dと、を有している。カメラ本体10Aは、その内部のプリンタI/F部40に接続されたケーブル60によって、プリンタ58と接続されている。
【0024】
図3は、本実施形態における電子スチルカメラ10とそれに接続されたプリンタ58で行われる処理のフローチャートを示す図である。
【0025】
即ち、電子スチルカメラ10は、まず、単数及び複数枚連写撮影を行うことにより、後に行う高解像度化処理に必要となる画像データを取得し、画像ファイルとしてメモリカード38に記録する(ステップS10)。その後、撮影画像を使用者が選択し、液晶表示パネル42Cに画像を表示し(ステップS12)、高解像度化したい個所の局所領域を指定する(ステップS14)。その際、操作ボタン42Dにより使用者が文字や顔などの一部分を領域選択する。この領域選択は、小領域選択処理部56により行われるものであり、の詳細については後述する。その後、小領域自動選択モードがONになっているか否かを判定する(ステップS16)。このモードは、使用者が液晶表示パネル42Cに表示された設定メニューに従って操作ボタン42Dを介して設定できるようになっている。
【0026】
ここで、小領域自動選択モードがONになっている場合には、被写体領域を正確に再選択するような小領域自動選択処理を行うことで(ステップS18)、上記ステップS14で使用者が指定した局所領域を基に、最適な小領域を自動的に選択する。この小領域自動選択処理も小領域選択処理部56により行われるものであり、その詳細については後述する。
【0027】
そして、高解像処理部54により、上記選択された領域に対し、上記ステップS10で撮影した単数または複数枚の画像を使用して、高解像度化処理を行い(ステップS20)、選択領域の高解像度画像を液晶表示パネル42Cに画面表示する(ステップS22)。この高解像度化処理及び画面表示それぞれの詳細については後述する。使用者は、この画面表示された選択領域の高解像度画像を確認することで、プリンタ58での印刷またはメモリカード38へのファイルとしての保存を行うかどうかの判断ができると共に、選択された領域である関心領域における高解像度化効果を確認できる。その後、使用者が同じ関心領域に対して、再度、高解像度化を行おうとした場合(ステップS24)、制御パラメータを調整し直すことで(ステップS26)、上記ステップS20でその新たに調整した制御パラメータで高解像度化処理を行う。なお、制御パラメータの調整方法の詳細については後述する。
【0028】
また、パラメータ調整を行わず(ステップS24)、再度、領域選択する場合には(ステップS28)、画面表示された選択領域の高解像度画像を消し、上記ステップS12で撮影画像を画面表示して、上記ステップS14で使用者が再度、局所領域を指定することになる。
【0029】
而して、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン42Dによりプリンタ58での印刷を指示すると(ステップS30)、接続されたプリンタ58への印刷指示処理を実行する(ステップS32)。なおこの場合、プリンタ58での印刷対象は、上記選択領域の高解像度画像となる。
【0030】
しかしながら、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うこともできる。即ち、上記ステップS22で選択領域の高解像度画像を確認した結果、使用者が画像全体を高解像度化したいと考えた場合には、上記ステップS28にて再度の領域選択を選択し、上記ステップS14にて局所領域として画像全体を指定すれば良い。
【0031】
あるいは、上記ステップS30で印刷指示があった場合、選択領域の高解像度画像を印刷するとともに、自動的に、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像の印刷を行うようにしても構わない。また、選択領域/画像全体の何れかまたは両方の高解像度画像を印刷するかを指定できるようにしても良い。
【0032】
また、使用者が画面表示された選択領域の高解像度画像を確認した結果、操作ボタン42Dによりファイルとしての保存を指示すると(ステップS34)、高解像度化に使用した元の撮影画像の消去の確認画像が表示されるので、使用者が消去を指示すると(ステップS36)、元の撮影画像は消去されて(ステップS38)、メモリカード38へ当該選択領域の高解像度画像をファイルとして保存する(ステップS40)。この場合も、印刷の場合と同様に、画像全体について高解像処理部54で高解像度化処理を実施した上で、その画像全体の高解像度画像をファイルとして保存するようにしても良いし、選択領域/画像全体の何れかまたは両方の高解像度画像をファイルとして保存するかを指定できるようにしても良い。
【0033】
なお、上記ステップS10において、単数および複数枚の撮影を行う際、撮影方式として、通常撮影以外に画素混合読み出し撮影を行う場合がある。画素混合読み出し撮影とは、図4に示すように、Bayer配列の色フィルタを前面に配置したCCD撮像素子20からの信号の読み出しにおいて、同じカラーチャンネルの複数画素信号を加算して読み出すことで、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式である。これに対して、通常撮影は、画素混合読み出しを行わずに、Bayer配列の色フィルタを前面に配置したCCD撮像素子20からの信号の読み出しにおいて、画素毎に信号を読み出す方式である。
【0034】
以下、電子スチルカメラ10で行われる上述の処理について、データの流れに基づいてさらに説明する。
【0035】
まず、使用者がレリーズスイッチ42Bを半押ししたり、あるいは電源スイッチ42AをON状態にすることにより、撮像制御部28は、絞り12A、シャッタ16及びAFモータ26の制御を行い、プリ撮影を行う。このプリ撮影では、CCD撮像素子20からの信号がA/D変換回路22にてデジタル信号化され、画像処理部30により公知のホワイトバランス、強調処理、補間処理等が施された三板相当の画像信号として、画像用バッファ32に出力される。
【0036】
但し、本実施形態で、プリ撮影後の本撮影においては、画像保存形式が非圧縮(Bayer)の場合は、画像処理部30で、補間処理を行わず単板状態の画像信号として連写用バッファ52に出力され、画像保存形式が圧縮の場合は、プリ撮影時と同様に画像処理部30により補間処理を行い、三板相当の画像信号として連写用バッファ52に出力される。
【0037】
なお、画像処理部30は、画像用バッファ32や連写用バッファ52に格納後、処理し、また(バッファ)に格納する場合もある。
【0038】
上記プリ撮像では、撮像条件設定部44が本撮像のための撮像条件を決定し、決定した撮影条件を撮像制御部28及び連写判定部46に転送する。また、撮像条件設定部44は、連写判定部46で決定された撮影条件に基づいて撮影モードの決定を行い、決定した撮影モードの情報を撮像制御部28及び切替部50へ転送する。ここで、撮像条件とは、シャッタ速度、絞り値、合焦位置、ISO感度などの撮影時に要する各要素に対する設定値の組みである。
【0039】
撮像条件を求める過程は、撮像条件設定部44が公知の技術によって行う。
【0040】
露光量に関するシャッタ速度と絞り値は、レンズ系12と分光ハーフミラー系14を介して被写体の光量をAE用フォトセンサ24にて測定した結果に基づき設定される。測定対象となる領域は、AE用フォトセンサ24の前に配置された図示しない絞り機能などから切り換え可能で、スポット測光や中央重点測光や平均測光などの手法で測光される。なお、シャッタ速度と絞り値の組み合わせとしては、事前にその組み合わせを定めてある自動露光方式や、使用者が設定したシャッタ速度にあわせて絞り値を求めるシャッタ速度優先方式や、使用者が設定した絞り値にあわせてシャッタ速度を求める絞り優先方式などが選択できる。
【0041】
合焦位置は、CCD撮像素子20からの出力信号をA/D変換回路22にてデジタルデータ化して、この単板状態の画像データからの輝度データを算出し、その輝度データ中のエッジ強度から求められる。即ち、AFモータ26にてレンズ系12の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定する。
【0042】
ISO感度の設定方法は、電子スチルカメラ10における感度モードの設定によって異なる。電子スチルカメラ10において感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラ10において感度モードが自動感度モードの場合には、レンズ系12と分光ハーフミラー系14を介して被写体の光量をAE用フォトセンサ24にて測定した結果に基づき決定される。即ち、AE用フォトセンサ24にて測定した光量が少ない場合に高いISO感度に決定し、光量が多い場合に低いISO感度に決定する。なお、本実施形態におけるISO感度とは、CCD撮像素子20からの信号に対する電気的増幅(ゲインアップ)の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
【0043】
而して、使用者がレリーズスイッチ42Bを完全に押すと、撮像条件設定部44で設定された撮影用パラメータ、連写判定部46によって決定された撮影方式に基づいて、撮像制御部28が本撮影を行う。本撮影が行われると、撮影した画像のデータは単数撮影でも複数枚撮影でも、連写用バッファ52に入力される。切替部50は、プリ撮影時は画像用バッファ32へ、本撮影時は連写用バッファ52へ画像の入力先を切り替える。連写用バッファ52へ入力された画像データは、画像保存形式が圧縮の場合は、圧縮部34で画像圧縮を行い、画像保存形式が非圧縮(Bayer)の場合は、圧縮部34へは入力しない。その後、どちらの場合でも画像データは、メモリカードI/F部36を介して、メモリカード38に出力する。
【0044】
次に、上記ステップS14乃至ステップS22で行われる関心領域の決定処理と高解像度画像の画面表示処理について説明する。
【0045】
使用者は、カメラ本体10Aにある操作ボタン42Dを使用して、液晶表示パネル42Cにメモリカード38にある撮影画像をメモリカードI/F部36を介して表示する。このとき、液晶表示パネル42Cには、図5(A)に示すように、関心領域指定カーソル42Eが表示される。使用者は、操作ボタン42Dを使用して、図5(B)に示すように、この関心領域指定カーソル42Eを移動させて、高解像度化したい個所の局所領域を選択する。この際、操作ボタン42Dの操作によって、関心領域指定カーソル42Eの大きさは変更できる。
【0046】
そして、小領域自動選択モードONでない場合には、この選択された局所領域を関心領域として、メモリカードI/F部36を介してメモリカード38内の撮影画像にアクセスし、必要な画像データを使用し、関心領域に対する高解像度化処理を行い、図5(C)に示すように、液晶表示パネル42Cに画面表示する。この際、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分(高解像度画像表示画面42F)を重ならないように表示することで、使用者が関心領域の高解像度化効果を確認し易いようにする。またこの際、低解像度の全体画像における関心領域の表示部分については関心領域識別表示42Gとすることで、より比較し易くすることができる。
【0047】
一方、小領域自動選択モードONの場合には、上記選択された局所領域を基に、色情報、輝度情報等から被写体を検出し、最適な小領域を決定して、それを関心領域とする。そのための小領域選択処理部56で行う被写体検出、切り出し領域決定の処理は、公知による技術(特開2005−078233号公報、特開2003−256834号公報など)で行うものとする。そして、その決定した関心領域を、図5(D)に示すように、関心領域識別表示42Gとして液晶表示パネル42Cに表示して使用者に確認させる。勿論、この決定した関心領域を操作ボタン42Dの操作により移動や大きさ変更を行えるようにすることが好ましい。
【0048】
そして、メモリカードI/F部36を介してメモリカード38内の撮影画像にアクセスし、必要な画像データを使用し、上記決定した関心領域に対する高解像度化処理を行い、図5(E)に示すように、液晶表示パネル42Cに、低解像度の全体画像における関心領域の表示部分と高解像度画像の表示部分(高解像度画像表示画面42F)とが重ならないように表示する。
【0049】
次に、上記ステップS26で実行される高解像度化処理用制御パラメータの調整例を説明する。上述のようにして、関心領域の高解像度画像が図6(A)に示すように液晶表示パネル42Cに高解像度画像表示画面42Fとして表示された後、使用者が同関心領域に対して制御パラメータを変更して再度、高解像度化処理を行おうとした場合、ステップS24において操作ボタン42Dを使って指示を行うことで、ステップS26において、まず、図6(B)に示すような制御パラメータを設定するための制御パラメータ設定画面42Hを液晶表示パネル42Cに表示させる。
【0050】
ここで、制御パラメータには、高解像度化処理に使用する画像枚数(『使用枚数』)、高解像度画像の拡大率(『拡大率』)、画像復元時の評価関数における拘束項の重み係数(『拘束項』)、評価関数の最小化における繰り返し演算回数(『繰り返し回数』)などがある。評価関数及びその拘束項の詳細については後述する。
【0051】
そして、使用者は操作ボタン42Dの操作によって、変更したい制御パラメータ項目(例えば、図6(C)に示すような『使用枚数』)を選択し、現在、図6(D)に示すように、設定されているパラメータを表示させた後、図6(E)に示すように、変更したいパラメータを選択する。これにより、図6(F)に示すように、当該制御パラメータが変更される。そして、上記ステップS20に戻って、上記変更された制御パラメータにより高解像度化処理が行われ、ステップS22において再度、高解像度画像を表示することとなる。
【0052】
なお、上記ステップS20で実行される高解像処理部54での高解像度化処理は、モーション推定部54Aで行う動き推定処理と、超解像処理部54Bで行う超解像処理とからなる。
【0053】
高解像処理部54におけるモーション推定部54Aは、連写撮影モードにより撮影され、連写用バッファ52へ入力された複数枚の画像の画像データのうち、関心領域の画像データを用いて、各関心領域の画像データ(フレーム)におけるフレーム間の動き推定を行う。図7は、このモーション推定部54Aで実行される動き推定処理のフローチャートを示す図である。
【0054】
即ち、まず、動き推定の基準となる関心領域の画像データ(基準画像)を1枚読み込む(ステップS20A1)。この基準画像は、例えば複数枚連続して撮影した画像データのうち最初の画像データ(第1フレームの画像)であっても良いし、使用者が任意に指定した画像データ(フレーム)であっても良い。次に、上記読み取った基準画像を、複数の動きで変形させる(ステップS20A2)。
【0055】
その後、他の関心領域の画像データ(参照画像)を1枚読み込み(ステップS20A3)、この読み込んだ参照画像と上記基準画像を複数変形させたそれぞれの画像列との間の類似度値を算出する(ステップS20A4)。そして、変形させた動きのパラメータと算出した類似度値との関係を用いて、図8に示すような離散的な類似度マップを作成し(ステップS20A5)、その作成した離散的な類似度マップを補完することで、類似度マップの極値を探索して、類似度マップの極値を求める(ステップS20A6)。この求めた極値を持つ変形の動きが推定値となる。類似度マップの極値の探索法には、パラボラフィッティング、スプライン補間法等がある。
【0056】
そしてその後、全ての参照画像において動き推定を行ったか否かを判別し(ステップS20A7)、まだ動き推定をしていない参照画像がある場合には、参照画像のフレーム番号を1つ上げて(ステップS20A8)、上記ステップS20A3へ戻ることで、次の参照画像を読み込んで上記処理を継続する。
【0057】
而して、対象となる全ての参照画像において動き推定を行ったならば(ステップS20A7)、処理を終了する。
【0058】
図8は、動き推定をパラボラフィッティングで行った例を示す図である。縦軸は2乗偏差を表し、値が小さいほど類似度が高い。
【0059】
なお、上記ステップS20A2における基準画像の複数の動きでの変形は、例えば、水平、垂直、回転方向に対して、±1ピクセルの動きパラメータで基準画像を19通り(27通り中8通りは同じ変形パターン)に変形させる。この場合、図8の類似度マップの横軸は、変形モーションパラメータを表し、例としては、水平方向,垂直方向,回転方向の組み合わせのモーションパラメータと考えると、負の方から(−1,+1,−1)、(−1,+1,0)、(−1,+1,+1)の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から(−1),(0),(+1)となり、水平方向,垂直方向,回転方向について別々にプロットする。
【0060】
図9(A)及び(B)は、参照画像における基準画像への近似を示す。図9(A)に示すような各参照画像は、動き推定値の符号反転した値で画像変形することにより、図9(B)に示すように基準画像に近似する。
【0061】
次に、高解像処理部54の超解像処理部54Bで行う、複数枚の画像を使用して高解像度の画像を復元する画像高解像度化処理(超解像処理)を、図10のフローチャートを参照して説明する。
【0062】
即ち、まず、高解像度画像推定に用いるためk枚(k≧1)の関心領域の画像データ(低解像度画像y)を読み込む(ステップS20B1)。ここで、kは、上記制御パラメータにおける高解像度化処理に使用する画像枚数(『使用枚数』)として設定されている。そして、それらk枚の低解像度画像yの中の任意の1枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像zを作成する(ステップS20B2)。なお、このステップS20B2は、場合により省略することができる。
【0063】
その後、予め何らかのモーション推定法で求められた、ターゲットフレームとその他のフレームの画像間のモーション(例えば、上述したようにモーション推定部54Aで動き推定値を求める)により、画像間の位置関係を明らかにする(ステップS20B3)。そして、光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める(ステップS20B4)。このPSFは、例えばGauss関数を用いる。
【0064】
そして、上記ステップS20B3及びステップS20B4の情報を元に、評価関数f(z)の最小化を行う(ステップS20B5)。ただし、f(z)は以下のような形となる。
【数1】
【0065】
ここでyは低解像度画像、zは高解像度画像、Aは画像間モーション(例えばモーション推定部54Aで求めた動き推定値)及びPSF(電子スチルカメラ10の点拡がり関数、CCD撮像素子20によるダウンサンプリングの比率、色フィルタ配列から構成される)等を含めた撮像システムを表す画像変換行列である。g(z)は画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。
【0066】
そして、上記ステップS20B5で求めた評価関数f(z)が最小化されたか否かを判別する(ステップS20B6)。ここで、まだ最小化されていない場合には、高解像度画像zをアップデートして(ステップS20B7)、上記ステップS20B5に戻る。
【0067】
而して、上記ステップS20B5で求めた評価関数f(z)が最小化されたならば、高解像度画像zが得られたとして処理を終了する。
【0068】
図11は、このような超解像処理を実施する超解像処理部54Bの構成の一例を示す図である。この超解像処理部54Bは、初期画像記憶部54B1、畳込み積分部54B2、PSFデータ保持部54B3、画像比較部54B4、乗算部54B5、貼り合せ加算部54B6、蓄積加算部54B7、更新画像生成部54B8、画像蓄積部54B9、反復演算判定部54B10、反復判定値保持部54B11、及び補間拡大部54B12から構成される。
【0069】
即ち、上記連写用バッファ52からの基準画像を補間拡大部54B12で補間拡大し、その補間拡大画像が初期画像記憶部54B1に与えられ、初期画像として記憶される。なお、補間拡大部54B12での補間方法は、バイリニア補間、バイキュービック補間などで補間する。
【0070】
この初期画像記憶部54B1に記憶された初期画像は畳込み積分部54B2に与えられ、PSFデータ保持部54B3より与えられるPSFデータと畳込み積分される。ここでのPSFデータは、各フレームのモーションも考慮して与えられる。また、上記初期画像記憶部54B1に記憶された初期画像データは同時に画像蓄積部54B9に送られ、ここに蓄積される。
【0071】
上記畳込み積分部54B2で畳込み積分された画像データは画像比較部54B4に送られ、上記モーション推定部54Aで求められた各フレーム毎のモーション(動き推定値)を元に適切な座標位置で、上記連写用バッファ52より与えられる撮影画像と比較される。そして、その比較された残差は乗算部54B5に送られ、PSFデータ保持部54B3より与えられるPSFデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部54B6に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部54B5からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像1枚分のデータの貼り合せ加算が終るとデータは蓄積加算部54B7に送られる。
【0072】
蓄積加算部54B7では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。加算された画像データは、更新画像生成部54B8に送られる。更新画像生成部54B8には、これと同時に、画像蓄積部54B9に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して、更新画像データを生成する。
【0073】
この更新画像生成部54B8で生成された更新画像データは反復演算判定部54B10に与えられ、反復判定値保持部54B11から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部54B2に送り上記の一連の処理を繰り返す。
【0074】
これに対して、反復しない場合は、更新画像生成部54B8で生成され該反復演算判定部54B10に入力された更新画像データを、高解像度画像として出力する。
【0075】
このような一連の処理を行うことで、反復演算判定部54B10から出力される画像は撮影画像よりも高解像度なものとなる。
【0076】
また、上記PSFデータ保持部54B3で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部54Aよりフレーム毎のモーションが与えられるようになっている。
【0077】
以上詳述したように、本第1実施形態によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できる。
【0078】
また、使用者が関心のある領域を選択するときに、被写体の一部分だけを指定しても、文字や顔などを含む領域を自動的に抽出することで、使用者の領域選択操作の支援することができる。
【0079】
[第2実施形態]
上記第1実施形態で説明したように、選択された関心領域の高解像度画像を画面表示する際に、複数枚画像においてフレーム間の相対的な位置関係を示す動きパラメータを算出している。本第2実施形態では、そうして算出した動きパラメータなどの動き情報を保存しておき、同じ複数枚画像に対して別領域の高解像度化要求があった際に、その保存した動き情報を再利用することで、動き推定処理の精度向上、または、高速化しようとするものである。
【0080】
そのため、本発明の撮像装置の第2実施形態としての電子スチルカメラ10は、図12に示すように、上記第1実施形態における構成に加えて、高解像処理部54が入出力可能な動き情報用バッファ62を備える。そして、本第2実施形態では、図13に示すように、上記ステップS16で小領域自動選択モードがONとなっていない場合、あるいは上記ステップS18で小領域自動選択処理を実施した後、上記動き情報用バッファ62に既に動き情報が保存済みであるか否かを判別する(ステップS42)。
【0081】
ここで、未だ動き情報を保存していない場合には、高解像処理部54により、上記選択された領域に対し、上記ステップS10で撮影した単数または複数枚の画像を使用して、高解像度化処理を行う。即ち、モーション推定部54Aにより、動き推定処理を実施して、動き情報を算出し(ステップS20A)、その算出した動き情報を用いて、超解像処理部54Bにて超解像処理を実施する(ステップS20B)。その後、選択領域の高解像度画像を液晶表示パネル42Cに画面表示する(ステップS22)。
【0082】
そして、上記算出した動き情報を保存するか否かを判断する(ステップS44)。この、動き情報を保存するか否かは、液晶表示パネル42Cに保存するか否かを問い合わせるメッセージを表示し、それに応じて使用者が操作ボタン42Dの操作により入力した指示を判別することにより行う。あるいは、動き情報を保存する/しないをモード設定の一項目として予め設定しておくものとして、そのモード設定に従うものであっても構わない。ここで、動き情報を保存しないと判断した場合には、上記ステップS24へ進み、動き情報を保存すると判断した場合には、上記算出した各フレームの動き情報を動き情報用バッファ62に保存した後に(ステップS46)、上記ステップS24へ進む。
【0083】
なお、保存する動き情報は、動きパラメータ以外に、動きパラメータを決定した際の基準画像との類似度値も保存しておく。類似度値はSSD(差の2乗和:Sum of Squared Difference)やSAD(差の絶対値和:Sum of Absolute Difference)などを使用する。
【0084】
一方、上記ステップS42にて上記動き情報用バッファ62に既に動き情報が保存済みであると判別された場合には、更に、その保存されている動き情報をそのまま再利用するか否かを判別する(ステップS48)。この判別は、使用者が判定して、操作ボタン42Dの操作により入力した指示を判別することにより行う。
【0085】
図14(A)及び(B)は、上記ステップS48にて、動き情報をそのまま再利用するかを使用者が判定する際の例を示すものである。
【0086】
ここで、図14(A)は、使用者が再利用すると判定する場合の例である。即ち、今回の選択領域42Iに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の高解像度画像表示の際に選択された基準画像における選択領域(先の選択領域42J)に含まれる被写体と他フレームにおける当該被写体との間の動きと同じであると判定できる例である。これは、例えば、動きのない、または少ない被写体を連写撮影した際に、撮影者の手振れが発生したような場合である。
【0087】
また、図14(B)は、使用者が再利用しないと判定する場合の例である。即ち、今回の選択領域42Iに含まれる被写体と他フレームにおける当該被写体との間の動きが、先の選択領域42Jに含まれる被写体と他フレームにおける当該被写体との間の動きとは異なると判定できる例である。これは、例えば、違う動き方をした2つの被写体を画角に入れて連写撮影したような場合である。
【0088】
上記ステップS48において、再利用しないと判別した場合には、上記ステップS20Aに進んで、新たに動き推定処理を行って、ステップS20Bで超解像処理を行う。また動き情報をそのまま再利用すると判別した場合には、詳細は後述するような動き情報を再利用した動き推定処理を行い(ステップS50)、それによって得られた動き情報を使用して、ステップS20Bで超解像度処理を行う。
【0089】
また、本実施形態においては、再利用するかどうかを自動判定させることも可能となっている。上記ステップS48において、再利用するかどうかを自動判定させると使用者により指示されたと判別した場合には、詳細は後述するような動き情報再利用自動判定処理を行って(ステップS52)、再利用するか否かを判定する(ステップS54)。ここで、全フレーム分の動き情報を再利用しないと判定した場合には、上記ステップS20Aに進んで新たに動き推定処理を行う。これに対して、少なくとも1フレーム分でも再利用すると判定した場合には、上記ステップS50に進んで、動き情報を再利用した動き推定処理を行う。そして、ステップS20Bにて、その新たな動き推定処理によって得られた動き情報、または、動き情報を再利用した動き推定処理によって得られた動き情報を使用して、超解像度処理を行うこととなる。
【0090】
図15は、上記ステップS52にて実行される動き情報再利用自動判定処理のフローチャートを示す図である。
【0091】
即ち、まず、基準画像を読み取り(ステップS5201)、動き情報用バッファ62に保存してある動き情報である各フレームの動きパラメータ及び基準画像に対する類似度値の情報を取り出し(ステップS5202)、対象のフレームにおける参照画像を読み取る(ステップS5203)。そして、取り出した動きパラメータで参照画像を画像変形し(ステップS5204)、基準画像とその変形画像との類似度値を計算する(ステップS5205)。その後、この計算した類似度値が、上記ステップS5202で取り出した保存してある類似度値よりも第1閾値以上大きいか否かを判定する(ステップS5206)。
【0092】
ここで、第1閾値よりも小さいと判定した場合には、つまり、計算した類似度値が保存してある類似度値に近い場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが同じような動きということになるので、上記動き情報用バッファ62に保存してある動きパラメータはそのまま再利用すると決定する(ステップS5207)。
【0093】
これに対して、上記ステップS5206において、第1閾値以上大きいと判定した場合には、更に、上記ステップS5205で計算した類似度値が、上記ステップS5202で取り出した保存してある類似度値よりも第2閾値(但し、第2閾値>第1閾値)以上大きいか否かを判定する(ステップS5208)。ここで、計算した類似度値が上記第1閾値以上で且つ上記第2閾値よりも小さいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが、ほぼ同じような動きという事になるので、保存動きパラメータはそのままではないが再利用はすると決定する(ステップS5209)。
【0094】
そして、上記ステップS5208において、第2閾値以上大きいと判定した場合には、前回の被写体の高解像度化処理時に推定した動きと今回求めようとしている被写体の動きとが全く違うという事になるので、保存動きパラメータは再利用しないと決定する(ステップS5210)。
【0095】
上記ステップS5207、ステップS5209、又はステップS5210の後、全ての参照画像に対して処理を行ったか否かを判別し(ステップS5211)、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を1つ上げて(ステップS5212)、上記ステップS5203に戻る。
【0096】
このように、自動判定処理を高解像度化に使用する参照画像1フレーム毎に、全てについて行う。
【0097】
図16は、上記ステップS50で実行される動き情報を再利用した動き推定処理のフローチャートを示す図である。
【0098】
即ち、基準画像を読み取り(ステップS5001)、その読み取った基準画像を複数変形する(ステップS5002)。そして、処理しようとする参照画像のフレームに対する動き情報再利用ありかなしかを判定する(ステップS5003)。
【0099】
ここで、再利用なしと判定した場合、つまり、上記ステップS5210で当該フレームについては再利用しないと決定されていた場合には、当該フレームの参照画像を読み取り(ステップS5004)、類似度複数計算(ステップS5005)、類似度マップ作成(ステップS5006)、類似度マップの補完極値推定(動き推定値の算出)を行う(ステップS5007)。
【0100】
これに対して、上記ステップS5003において再利用ありと判定した場合には、更に、動きパラメータをそのまま再利用するかどうかの判定を行う(ステップS5004)。そして、そのまま再利用しないと判定した場合、つまり、上記ステップS5209で当該フレームについては動き情報用バッファ62に保存してある動きパラメータをそのままではないが再利用はすると決定されていた場合には、当該フレームの参照画像を読み取り(ステップS5009)、その読み取った参照画像を上記動き情報用バッファ62の保存動きパラメータで変形する(ステップS5010)。その後、上記ステップS5005に進んで類似度値複数計算を行い、上記ステップS5006にて類似度マップ作成、上記ステップS5007にて類似度マップ補完極値推定を行うことになる。このようにして動き推定値を算出することで、大きな動き分の類似度値計算が省略されることになり、演算時間が高速化するとともに、動き推定の演算精度を向上させることができる。
【0101】
また、上記ステップS5008で、そのまま再利用すると判定した場合、つまり、上記ステップS5207で当該フレームについては動き情報用バッファ62に保存してある動きパラメータをそのまま再利用すると決定されていた場合には、保存してある動きパラメータをそのまま適用するので、新たな動き推定値の算出は実施しない。
【0102】
上記ステップS5007の後、あるいは、上記ステップS5208でそのまま再利用すると判定した場合には、高解像度化に使用する全ての参照画像に対して処理を行ったか否かを判別し(ステップS5011)、未だ処理していない参照画像のフレームが存在すれば、参照画像のフレーム番号を1つ上げて(ステップS5012)、上記ステップS5003に戻る。
【0103】
このように、動き推定処理を高解像度化に使用する参照画像1フレーム毎に、全てについて行う。
【0104】
なお、上記ステップS5001の基準画像読み取り処理は図7のステップS20A1と、上記ステップS5002の基準画像の複数変形処理は図7のステップS20A2と、上記ステップS5004の参照画像読み取り処理は図7のステップS20A3と、上記ステップS5005の類似度値複数計算処理は図7のステップS20A4と、上記ステップS5006の類似度マップ作成処理は図7のステップS20A5と、上記ステップS5007の類似度マップ補完極値推定処理は図7のステップS20A6と、それぞれ同様の処理である。
【0105】
以上のように、本第2実施形態によれば、仕上り推定表示を行う際の演算で推定した動き情報を再利用することで、大領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0106】
[第3実施形態]
上記第1及び第2実施形態では、画像処理装置の全ての機能を電子スチルカメラ10に組み込んでいるが、それに限定されないことは勿論である。
【0107】
例えば、超解像処理部54Bを別のハードウェア又はソフトウェアで実現することができる。その場合、複数枚の画像間においてモーション推定部54Aでの動き推定処理で算出した動き推定値を、付属情報として各画像に付加して、メモリカードI/F部36によりその付加情報を有する画像をメモリカード38に記録しておく。そして、それらのメモリカード38に記録された画像を別のハードウェアに構成された若しくは別のソフトウェアで構成された超解像処理部54Bの入力画像とする。ここで、付属情報は、図17に示すように、基準画像と参照画像が分かるようにし、参照画像には基準画像とのずれ量である動き推定値を付加する。
【0108】
このように付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0109】
またその際、参照画像である一枚、例えばN+15フレームを基準画像に変更することもでき、その時は、各画像の付加情報に含まれる動き推定値を基に計算すれば、容易に新しく設定した基準画像とそれ以外の参照画像との動き値を求めることが可能となる。
【0110】
[第4実施形態]
また、使用者が表示したい画像がN+α+βフレーム(α=所定時間内の整数値、0<β<1)のような場合もある。そのような場合、例えばα=1、β=0.5の時には、高解像処理部54は、図18に示すように、N+1フレームとN+2フレームの画像の基準画像からの動き推定値を基にして、N+1.5フレームの動き推定値を推定し、N+1.5フレームの低解像度画像(表示原画像)、あるいは、高解像度画像を生成する。
【0111】
このN+α+βフレーム高解像度画像の生成時には、N+α+βフレームの低解像度画像を一旦生成し、その画像を基準画像として前後の低解像度画像を使用し、超解像処理によって高解像度化する。また、Nフレームを基準画像として生成したNフレームの超解像画像を基にして、このN+α+βフレームの高解像度画像を生成することも可能である。
【0112】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0113】
例えば、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。
【0114】
(付記)
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【0115】
(1) 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【0116】
(対応する実施形態)
この(1)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、電子スチルカメラ10が上記画像処理装置に、高解像処理部54が上記高解像度化処理手段に、操作表示部42が上記局所領域指定手段に、小領域選択処理部56が上記推定表示手段に、それぞれ対応する。
【0117】
(作用効果)
この(1)に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0118】
(2) 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする(1)に記載の画像処理装置。
【0119】
(対応する実施形態)
この(2)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記別枠に対応する。
【0120】
(作用効果)
この(2)に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。
【0121】
(3) 上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする(1)に記載の画像処理装置。
【0122】
(対応する実施形態)
この(3)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記高解像度画像に、関心領域識別表示42Gが上記指定された局所領域に、それぞれ対応する。
【0123】
(作用効果)
この(3)に記載の画像処理装置によれば、指定された局所領域の画像と高解像度化した画像とが重ならないように表示されるので、局所領域の低解像度・高解像度の両者の画像を容易に比較することができる。
【0124】
(4) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする(1)乃至(3)の何れかに記載の画像処理装置。
【0125】
(対応する実施形態)
この(4)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0126】
(作用効果)
この(4)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。
【0127】
(5) 上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする(4)に記載の画像処理装置。
【0128】
(対応する実施形態)
この(5)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。その実施形態において、動き情報用バッファ62が上記保存手段に対応する。
【0129】
(作用効果)
この(5)に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。
【0130】
(6) 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする(5)に記載の画像処理装置。
【0131】
(対応する実施形態)
この(6)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。
【0132】
(作用効果)
この(6)に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の局所領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0133】
(7) 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする(1)に記載の画像処理装置。
【0134】
(対応する実施形態)
この(7)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、メモリカードI/F部36及びメモリカード38が上記保存手段に対応する。
【0135】
(作用効果)
この(7)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。
【0136】
(8) 上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする(1)に記載の画像処理装置。
【0137】
(対応する実施形態)
この(8)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、プリンタ58が上記印刷手段に、プリンタI/F部40が上記出力手段に、それぞれ対応する。
【0138】
(作用効果)
この(8)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。
【0139】
(9) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする(1)乃至(3)の何れかに記載の画像処理装置。
【0140】
(対応する実施形態)
この(9)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き推定手段に、モーション推定部54A及びメモリカードI/F部36が上記付加情報記録手段に、それぞれ対応する。
【0141】
(作用効果)
この(9)に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0142】
(10) 上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする(9)に記載の画像処理装置。
【0143】
(対応する実施形態)
この(10)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0144】
(作用効果)
この(10)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の局所領域の画像を得ることができる。
【0145】
(11) 電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【0146】
(対応する実施形態)
この(11)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、電子スチルカメラ10が上記画像処理装置に、高解像処理部54が上記高解像度化処理手段に、操作表示部42が上記局所領域指定手段に、小領域選択処理部56が上記小領域選択手段及び上記推定表示手段に、それぞれ対応する。
【0147】
(作用効果)
この(11)に記載の画像処理装置によれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0148】
(12) 上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする(11)に記載の画像処理装置。
【0149】
(対応する実施形態)
この(12)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0150】
(作用効果)
この(12)に記載の画像処理装置によれば、局所領域の一部を指定するだけで小領域を判別して自動設定するので、所望の被写体を含む局所領域を指定するだけで、所望被写体に対応する小領域を自動設定でき、使用者の操作が簡単である。
【0151】
(13) 上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする(12)に記載の画像処理装置。
【0152】
(対応する実施形態)
この(13)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0153】
(作用効果)
この(13)に記載の画像処理装置によれば、所望の被写体を含む局所領域を大まかに指定するだけで、所望被写体に対応する小領域を自動設定できる。
【0154】
(14) 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする(11)に記載の画像処理装置。
【0155】
(対応する実施形態)
この(14)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記別枠に対応する。
【0156】
(作用効果)
この(14)に記載の画像処理装置によれば、元の低解像度の画像と高解像度化した画像とが両方表示されるので、容易に両者を比較することができる。
【0157】
(15) 上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする(11)に記載の画像処理装置。
【0158】
(対応する実施形態)
この(15)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、高解像度画像表示画面42Fが上記高解像度画像に、関心領域識別表示42Gが上記選択した小領域に、それぞれ対応する。
【0159】
(作用効果)
この(15)に記載の画像処理装置によれば、選択した小領域の画像と高解像度化した画像とが重ならないように表示されるので、小領域の低解像度・高解像度の両者の画像を容易に比較することができる。
【0160】
(16) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする(11)乃至(15)の何れかに記載の画像処理装置。
【0161】
(対応する実施形態)
この(16)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0162】
(作用効果)
この(16)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。
【0163】
(17) 上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする(16)に記載の画像処理装置。
【0164】
(対応する実施形態)
この(17)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。その実施形態において、動き情報用バッファ62が上記保存手段に対応する。
【0165】
(作用効果)
この(17)に記載の画像処理装置によれば、動き情報を保存することで、後でそれを再利用することが可能になる。
【0166】
(18) 上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする(17)に記載の画像処理装置。
【0167】
(対応する実施形態)
この(18)に記載の画像処理装置に関する実施形態は、第2実施形態が対応する。
【0168】
(作用効果)
この(18)に記載の画像処理装置によれば、先に保存した動き情報を再利用することで、今回の小領域における動き推定処理の演算時間を減らし、使用者の待ち時間を軽減できると共に動き補償の精度を向上させることが可能となる。
【0169】
(19) 上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする(11)に記載の画像処理装置。
【0170】
(対応する実施形態)
この(19)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、メモリカードI/F部36及びメモリカード38が上記保存手段に対応する。
【0171】
(作用効果)
この(19)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を保存することができる。
【0172】
(20) 上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする(11)に記載の画像処理装置。
【0173】
(対応する実施形態)
この(20)に記載の画像処理装置に関する実施形態は、第1、第2、及び第4実施形態が対応する。それらの実施形態において、プリンタ58が上記印刷手段に、プリンタI/F部40が上記出力手段に、それぞれ対応する。
【0174】
(作用効果)
この(20)に記載の画像処理装置によれば、高解像度処理後の仕上り推定画像を印刷することができる。
【0175】
(21) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする(11)乃至(15)の何れかに記載の画像処理装置。
【0176】
(対応する実施形態)
この(21)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き推定手段に、モーション推定部54A及びメモリカードI/F部36が上記付加情報記録手段に、それぞれ対応する。
【0177】
(作用効果)
この(21)に記載の画像処理装置によれば、付加情報を各画像に持たせることにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0178】
(22) 上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする(21)に記載の画像処理装置。
【0179】
(対応する実施形態)
この(22)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に、超解像処理部54Bが上記画像合成手段に、それぞれ対応する。
【0180】
(作用効果)
この(22)に記載の画像処理装置によれば、撮像素子によって得られる画像の周波数帯域よりも高い周波数帯域を復元した高解像度の小領域の画像を得ることができる。
【0181】
(23) 上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする(1)又は(11)に記載の画像処理装置。
【0182】
(対応する実施形態)
この(23)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。その実施形態において、高解像処理部54が上記表示原画像生成手段に対応する。
【0183】
(作用効果)
この(23)に記載の画像処理装置によれば、例えばN+1.5フレームのような実際に電子的に記録された画像ではない画像を新たに生成することができる。
【0184】
(24) 上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする(23)に記載の画像処理装置。
【0185】
(対応する実施形態)
この(24)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。その実施形態において、モーション推定部54Aが上記動き補償手段に対応する。
【0186】
(作用効果)
この(24)に記載の画像処理装置によれば、表示したい画像の位置における被写体の推定した動きを用いて、既に生成した別フレームの高解像度画像を基にして表示したい画像の位置における高解像度画像を生成できるようになる。
【0187】
(25) 上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする(4)又は(16)に記載の画像処理装置。
【0188】
(対応する実施形態)
この(25)に記載の画像処理装置に関する実施形態は、第4実施形態が対応する。
【0189】
(作用効果)
この(25)に記載の画像処理装置によれば、例えばN+1.5フレームのような実際に電子的に記録された画像ではない画像を新たに生成する際に、その新たな画像の位置における被写体の推定した動きを用いて、他の画像の相対的な位置関係を補償することができる。
【0190】
(26) 上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする(4)又は(16)に記載の画像処理装置。
【0191】
(対応する実施形態)
この(26)に記載の画像処理装置に関する実施形態は、第3実施形態が対応する。
【0192】
(作用効果)
この(26)に記載の画像処理装置によれば、付加情報を各々の画像に付加して再度記録することにより、超解像処理を行う際、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【0193】
(27) 上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする(1)、(4)、(9)、(11)、(16)、(21)、(25)、又は(26)に記載の画像処理装置。
【0194】
(対応する実施形態)
この(27)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、操作表示部42が上記パラメータ調整手段に対応する。
【0195】
(作用効果)
この(27)に記載の画像処理装置によれば、使用者が望むようにパラメータを設定できる。
【0196】
(28) 上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも1つを含むことを特徴とする(27)に記載の画像処理装置。
【0197】
(対応する実施形態)
この(28)に記載の画像処理装置に関する実施形態は、第1乃至第4実施形態が対応する。
【0198】
(作用効果)
この(28)に記載の画像処理装置によれば、パラメータとして、高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数の少なくとも一つを設定できる。
【0199】
(29) 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【0200】
(対応する実施形態)
この(29)に記載の画像処理プログラムに関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、ステップS20が上記高い周波数帯域を復元する手順に、ステップS14が上記領域を指定する手順に、ステップS22が上記表示する手順に、それぞれ対応する。
【0201】
(作用効果)
この(29)に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が関心のある一部の局所領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0202】
(30) 電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【0203】
(対応する実施形態)
この(30)に記載の画像処理プログラムに関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、ステップS20が上記高い周波数帯域を復元する手順に、ステップS14が上記領域を指定する手順に、ステップS18が上記小領域を選択する手順に、ステップS22が上記表示する手順に、それぞれ対応する。
【0204】
(作用効果)
この(30)に記載の画像処理プログラムによれば、大領域の超解像処理による高解像度化を行う前に、使用者が指定した関心のある一部の局所領域に含まれる小領域だけを、短時間の処理で高解像度化の仕上り推定として画面内に表示することで、使用者が容易に仕上り具合を確認できるとともに、高解像度化する領域を変更しながら仕上り具合を確認することができる。
【0205】
(31) (1)乃至(28)の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする画像製造方法。
【0206】
(対応する実施形態)
この(31)に記載の画像製造方法に関する実施形態は、第1乃至第4実施形態が対応する。それらの実施形態において、メモリカード38が上記画像メディアに対応する。
【0207】
(作用効果)
この(31)に記載の画像製造方法によれば、高解像度画像を記録した画像メディアを製造できる。
【0208】
(32) 当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。
【0209】
(対応する実施形態)
この(32)に記載の記録媒体に関する実施形態は、第3実施形態が対応する。その実施形態において、メモリカード38が上記記録媒体に対応する。
【0210】
(作用効果)
この(32)に記載の記録媒体によれば、付加情報を付加した画像を記録することにより、超解像処理を行う際に、その情報を基に高解像度化することが可能なので、超解像処理を別のハードウェア又はソフトウェアで実現できる。
【図面の簡単な説明】
【0211】
【図1】図1は、本発明の画像処理装置の第1実施形態としての電子スチルカメラのブロック構成図である。
【図2】図2は、第1実施形態における電子スチルカメラの概略の外観構成とプリンタとの接続構成を示す図である。
【図3】図3は、第1実施形態における電子スチルカメラとそれに接続れさたプリンタで行われる処理のフローチャートを示す図である。
【図4】図4は、同じカラーチャンネル隣接4画素における画素混合読み出しを説明するための図である。
【図5】図5(A)は、液晶表示パネルに表示される関心領域指定カーソルを示す図であり、図5(B)は、関心領域指定カーソルの移動及び大きさの変更を説明するための図であり、図5(C)は、高解像度画像表示画面の表示例を示す図であり、図5(D)は、関心領域識別表示の表示例を示す図であり、図5(E)は、高解像度画像表示画面の別の表示例を示す図である。
【図6】図6(A)は、液晶表示パネルへの高解像度画像表示画面の表示例を示す図であり、図6(B)は、制御パラメータ設定画面の表示例を示す図であり、図6(C)は、『使用枚数』を選択した場合の制御パラメータ設定画面の表示例を示す図であり、図6(D)は、設定されているパラメータの表示例を示す図であり、図6(E)は、変更したいパラメータを選択した状態を示す図であり、図6(F)は、制御パラメータ変更後の制御パラメータ設定画面の表示例を示す図である。
【図7】図7は、モーション推定部で実行される動き推定処理のフローチャートを示す図である。
【図8】図8は、動き推定における最適類似度推定のための類似度マップを示す図である。
【図9】図9(A)は、複数の連続撮影した画像を示す図であり、図9(B)は、動き推定値を使用した参照画像変形により基準画像へ近似した画像を示す図である。
【図10】図10は、超解像処理部で実行される画像高解像度化処理(超解像処理)のフローチャートを示す図である。
【図11】図11は、超解像処理部の一例を示すブロック構成図である。
【図12】図12は、本発明の画像処理装置の第2実施形態としての電子スチルカメラのブロック構成図である。
【図13】図13は、第2実施形態における電子スチルカメで行われる処理の特徴部分のフローチャートを示す図である。
【図14】図14(A)は、使用者が保存動き情報をそのまま再利用すると判定する場合の例を示す図であり、図14(B)は、使用者が保存動き情報を再利用しないと判定する場合の例を示す図である。
【図15】図15は、図13中の動き情報再利用自動判定処理のフローチャートを示す図である。
【図16】図16は、図13中の動き情報を再利用した動き推定処理のフローチャートを示す図である。
【図17】図17は、本発明の第3実施形態に係る画像処理装置において各画像に付加される付加情報を説明するための図である。
【図18】図18は、使用者がN+1.5フレームの画像を表示したい場合の動作を説明するための図である。
【符号の説明】
【0212】
10…電子スチルカメラ、 10A…カメラ本体、 12…レンズ系、 14…分光ハーフミラー系、 16…シャッタ、 18…ローパスフィルタ、 20…CCD撮像素子、 22…A/D変換回路、 24…AE用フォトセンサ、 26…AFモータ、 28…撮像制御部、 30…画像処理部、 32…画像用バッファ、 34…圧縮部、 36…メモリカードI/F部、 38…メモリカード、 40…プリンタI/F部、 42…操作表示部、 42A…電源スイッチ、 42B…レリーズスイッチ、 42C…液晶表示パネル、 42D…操作ボタン、 42E…関心領域指定カーソル、 42G…関心領域識別表示、 42F…高解像度画像表示画面、 42H…制御パラメータ設定画面、 42I…今回の選択領域、 42J…先の選択領域、 44…撮像条件設定部、 46…連写判定部、 48…画素混合判定部、 50…切替部、 52…連写用バッファ、 54…高解像処理部、 54A…モーション推定部、 54B…超解像処理部、 54B1…初期画像記憶部、 54B2…畳込み積分部、 54B3…PSFデータ保持部、 54B4…画像比較部、 54B5…乗算部、 54B6…貼り合せ加算部、 54B7…蓄積加算部、 54B8…更新画像生成部、 54B9…画像蓄積部、 54B10…反復演算判定部、 54B11…反復判定値保持部、 54B12…補間拡大部、 56…小領域選択処理部、 58…プリンタ、 60…ケーブル、 62…動き情報用バッファ。
【特許請求の範囲】
【請求項1】
電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【請求項2】
上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項1乃至3の何れかに記載の画像処理装置。
【請求項5】
上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする請求項1乃至3の何れかに記載の画像処理装置。
【請求項10】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【請求項12】
上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする請求項11に記載の画像処理装置。
【請求項13】
上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする請求項12に記載の画像処理装置。
【請求項14】
上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項11に記載の画像処理装置。
【請求項15】
上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする請求項11に記載の画像処理装置。
【請求項16】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項11乃至15の何れかに記載の画像処理装置。
【請求項17】
上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項16に記載の画像処理装置。
【請求項18】
上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項17に記載の画像処理装置。
【請求項19】
上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項11に記載の画像処理装置。
【請求項20】
上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項11に記載の画像処理装置。
【請求項21】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする請求項11乃至15の何れかに記載の画像処理装置。
【請求項22】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする請求項21に記載の画像処理装置。
【請求項23】
上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする請求項1又は11に記載の画像処理装置。
【請求項24】
上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする請求項23に記載の画像処理装置。
【請求項25】
上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする請求項4又は16に記載の画像処理装置。
【請求項26】
上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする請求項4又は16に記載の画像処理装置。
【請求項27】
上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする請求項1、4、9、11、16、21、25、又は26に記載の画像処理装置。
【請求項28】
上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも1つを含むことを特徴とする請求項27に記載の画像処理装置。
【請求項29】
電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【請求項30】
電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【請求項31】
請求項1乃至28の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする画像製造方法。
【請求項32】
当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記表示したい画像における、上記局所領域指定手段によって指定された局所領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【請求項2】
上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
上記推定表示手段は、上記局所領域指定手段によって指定された局所領域の高解像度画像を、上記局所領域指定手段によって指定された局所領域と重ならないように画面に表示することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項1乃至3の何れかに記載の画像処理装置。
【請求項5】
上記動き補償手段は、上記局所領域指定手段によって指定された局所領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記局所領域指定手段によって局所領域を指定して、その局所領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項1に記載の画像処理装置。
【請求項8】
上記局所領域指定手段によって指定された局所領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項1に記載の画像処理装置。
【請求項9】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする請求項1乃至3の何れかに記載の画像処理装置。
【請求項10】
上記高解像度化処理手段は、
上記局所領域指定手段によって指定された局所領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする請求項9に記載の画像処理装置。
【請求項11】
電子的に記録された画像を表示できる画像処理装置において、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する高解像度化処理手段と、
上記表示したい画像における高解像度化する領域を指定する局所領域指定手段と、
上記局所領域指定手段によって指定された局所領域に含まれる小領域を選択する小領域選択手段と、
上記表示したい画像における、上記小領域選択手段が選択した小領域について、上記高解像度化処理手段で高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する推定表示手段と、
を具備することを特徴とする画像処理装置。
【請求項12】
上記小領域選択手段は、上記電子的に記録された画像に対して、色情報、輝度情報、テクスチャ、構造要素の相同性を解析し、その解析結果に基づいて上記小領域を自動的に選択することを特徴とする請求項11に記載の画像処理装置。
【請求項13】
上記小領域選択手段によって決定する小領域は、上記局所領域指定手段によって指定された局所領域の一部を含むことを特徴とする請求項12に記載の画像処理装置。
【請求項14】
上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、別枠として画面内に表示することを特徴とする請求項11に記載の画像処理装置。
【請求項15】
上記推定表示手段は、上記小領域選択手段が選択した小領域の高解像度画像を、上記小領域選択手段が選択した小領域と重ならないように画面に表示することを特徴とする請求項11に記載の画像処理装置。
【請求項16】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定することによって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を備えることを特徴とする請求項11乃至15の何れかに記載の画像処理装置。
【請求項17】
上記動き補償手段は、上記小領域選択手段が選択した小領域における被写体の動きを推定した動き情報を保存手段に保存することを特徴とする請求項16に記載の画像処理装置。
【請求項18】
上記動き補償手段は、上記推定表示手段によって上記高解像度処理後の仕上り推定画像を表示した後に、再度、上記小領域選択手段によって小領域を選択して、その小領域について上記高解像度化処理手段で高解像度処理を行う際に、上記保存手段に保存した動き情報を再利用することを特徴とする請求項17に記載の画像処理装置。
【請求項19】
上記小領域選択手段が選択した小領域の高解像度画像を、個別の電子ファイルに保存する保存手段を更に具備することを特徴とする請求項11に記載の画像処理装置。
【請求項20】
上記小領域選択手段が選択した小領域の高解像度画像を、個別に印刷するために、印刷手段へ出力する出力手段を更に具備することを特徴とする請求項11に記載の画像処理装置。
【請求項21】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記電子的に記録された複数の画像間における被写体の動きを推定する動き推定手段と、
上記被写体の動きを推定する際に用いた上記電子的に記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報として、且つ、残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記動き推定手段で推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録する付加情報記録手段と、
を備えることを特徴とする請求項11乃至15の何れかに記載の画像処理装置。
【請求項22】
上記高解像度化処理手段は、
上記小領域選択手段が選択した小領域を含む近辺領域の単数または複数枚の画像を使用し、上記付加情報記録手段によって記録された複数の画像の各々の上記付加情報によって上記複数の画像間の相対的な位置関係を補償する動き補償手段と、
該動き補償手段で補償された上記複数の画像を合成した像を生成する画像合成手段と、
を更に備えることを特徴とする請求項21に記載の画像処理装置。
【請求項23】
上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記連続する複数の画像のうち上記表示したい画像の位置の近傍の単数または複数枚の記録画像から新たに高解像度化処理前の表示原画像を生成する表示原画像生成手段を更に具備することを特徴とする請求項1又は11に記載の画像処理装置。
【請求項24】
上記表示原画像生成手段は、上記近傍の単数または複数枚の記録画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって上記高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償する動き補償手段を備えることを特徴とする請求項23に記載の画像処理装置。
【請求項25】
上記高解像度化処理手段は、上記表示したい画像が、上記電子的に記録された画像のうち、所定の条件を満たす時間内で連続する複数の画像の何れかの2つの画像間の位置に相当する画像の場合、上記表示したい画像の位置の近傍の単数または複数枚の画像を使用し、上記表示したい画像の位置における被写体の動きを推定することによって当該高解像度化処理手段で用いる単数または複数枚の画像の相対的な位置関係を補償することを特徴とする請求項4又は16に記載の画像処理装置。
【請求項26】
上記動き補償手段は、上記被写体の動きを推定する際に用いた上記記録された複数の画像のうち、基準となる画像に対して基準画像であることを示す情報を付加情報とし残りの複数の画像に対して上記基準となる画像に対する参照画像であることを示す情報と上記推定された各々の動き推定値とを付加情報として、各々の画像に付加して再度記録することを特徴とする請求項4又は16に記載の画像処理装置。
【請求項27】
上記推定表示手段は、上記高解像度化処理手段での高解像度化処理用の制御パラメータを調整するパラメータ調整手段を備えることを特徴とする請求項1、4、9、11、16、21、25、又は26に記載の画像処理装置。
【請求項28】
上記制御パラメータは、上記高解像度化処理手段での高解像度化処理に使用する画像枚数、画像拡大率、画像復元時の評価関数における拘束項の重み係数、評価関数の最小化における繰り返し演算回数のうちの少なくとも1つを含むことを特徴とする請求項27に記載の画像処理装置。
【請求項29】
電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記表示したい画像における、上記指定された局所領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【請求項30】
電子的に記録された画像を表示する画像処理プログラムであって、
コンピュータに、
単数のまたは連続して撮影されている複数の上記電子的に記録された画像を用いて、表示したい画像に対して上記記録された画像の周波数帯域よりも高い周波数帯域を復元する手順と、
上記表示したい画像における高解像度化する領域を指定する手順と、
上記指定された局所領域に含まれる小領域を選択する手順と、
上記表示したい画像における、上記選択した小領域について、上記高解像度処理を行い、その結果を上記表示したい画像の高解像度処理後の仕上り推定画像として表示する手順と、
を実行させるための画像処理プログラム。
【請求項31】
請求項1乃至28の何れかに記載の画像処理装置を用いて、所望の画像についての仕上がり推定画像を確認する処理と、
確認した所望の画像に対して該所望の画像が有する周波数帯域よりも広い周波数帯域を有する画像を生成して画像メディアを製造する処理と、
からなることを特徴とする画像製造方法。
【請求項32】
当該画像が、被写体の動きを推定する際に用いた電子的に記録された複数の画像のうち基準となる画像であるのか上記基準となる画像に対する参照画像であるのかを示す情報と、当該画像が上記参照画像である場合には上記基準となる画像に対して推定された動き推定値と、を付加情報として含む画像を記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2008−92297(P2008−92297A)
【公開日】平成20年4月17日(2008.4.17)
【国際特許分類】
【出願番号】特願2006−271095(P2006−271095)
【出願日】平成18年10月2日(2006.10.2)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成20年4月17日(2008.4.17)
【国際特許分類】
【出願日】平成18年10月2日(2006.10.2)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]