撮像装置、画像処理装置、画像処理方法及びプログラム
【課題】高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得できるようにする。
【解決手段】被写体の像を取得する撮像センサ１００を備えた撮像装置であって、撮像に関するパラメータ、撮像センサ１００のセンサピッチ情報、超解像倍率、露光時間等を取得するパラメータ取得部１１４、１１５と、パラメータ取得部１１４、１１５で取得したパラメータに基づいて、撮像センサ１００の変位量及び変位タイミングを決定し、制御する変位制御部１１６と、変位制御部１１６による制御下で撮像センサ１００を変位させて撮像センサ１００により取得した複数枚の微小位置ずれのある画像データを用いて高解像度画像を生成する信号処理部１０３とを備える。
【解決手段】被写体の像を取得する撮像センサ１００を備えた撮像装置であって、撮像に関するパラメータ、撮像センサ１００のセンサピッチ情報、超解像倍率、露光時間等を取得するパラメータ取得部１１４、１１５と、パラメータ取得部１１４、１１５で取得したパラメータに基づいて、撮像センサ１００の変位量及び変位タイミングを決定し、制御する変位制御部１１６と、変位制御部１１６による制御下で撮像センサ１００を変位させて撮像センサ１００により取得した複数枚の微小位置ずれのある画像データを用いて高解像度画像を生成する信号処理部１０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、超解像処理を行うのに利用して好適な撮像装置、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、画像、映像を取得する際に失われた信号を復元し、画像、映像の画素そのものを増やすことで画像、映像の解像度を高める技術、いわゆる超解像技術が普及しつつある。低解像度画像に含まれる信号の周波数帯域が限られるため、一枚の低解像度画像だけから高解像度画像を生成するのは限界がある。そこで、複数枚の低解像度画像を入力として、より画素数の多い高解像度画像を生成する技術がある。複数枚の低解像度画像間にサブピクセルの位置ずれがあれば、一枚の低解像度画像で表現できる解像度を超える高解像度画像を生成することができる。これら複数枚の低解像度画像を取得する手法については、様々な方法が提案されている。
【０００３】
例えば特許文献１には、高速、高精度、高画質の画素ずらしシステムを実現するために、平行平板で撮像面における垂直及び水平方向における画素ずらしを行うことができるようにした光学装置が開示されている。
【０００４】
また、例えば特許文献２には、撮像装置自体の状態変化（速度や加速度）を考慮して、高解像度化手段で高解像度な画像を生成するようにした撮像装置が開示されている。
【０００５】
また、例えば特許文献３には、被写体の画像を固体撮像素子に結像させる撮像レンズ部の１つのレンズを光軸に対して４回の露光ごとに異なる４方向に順次移動させ、この４回の露光によって得られた各画像データを合成して１画面の合成画像データを生成するようにした撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−７５０９９号公報
【特許文献２】特開２００６−１４０８８５号公報
【特許文献３】特開平１０−２８８８０３号公報
【非特許文献】
【０００７】
【非特許文献１】Sung C.P."Super-Resolution Image Reconstruction: A Technical Overview", IEEE Signal Proc,第２６巻、第３号、P.２１-３６,２００３年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１と特許文献３に開示された従来技術では、超解像倍率に応じて、撮影される複数枚の画像の変位量が計算されていないという課題がある。例えば超解像倍率を３倍とする場合には１／３ピクセルの変位量が必要であって、超解像倍率を４倍とする場合には１／４ピクセルの変位量が必要である。このような超解像倍率に応じた画像間の変位が行われていない。
【０００９】
また、特許文献２に開示された従来技術では、露光期間中に撮像装置本体の変位がしてしまうと、取得される画像に動きぶれが発生し、超解像処理に適した画像が取得できない課題がある。
【００１０】
本発明は上記のような点に鑑みてなされたものであり、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、被写体の像を取得する撮像センサを備えた撮像装置であって、撮像に関するパラメータを取得するパラメータ取得手段と、前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び当該撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び当該撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置の垂直断面図である。
【図３】撮像センサを保持するプリント基板と、変位装置を保持する基板とを示す図である。
【図４】第１の実施形態における変位制御部の構成を示すブロック図である。
【図５】第１の実施形態に係る撮像装置の処理を示すフローチャートである。
【図６】撮像センサを変位させる状態を説明するための図である。
【図７】シャッター開閉タイミングと撮像センサの変位との関係図を示す図である。
【図８】第１の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【図９】第１の実施形態における撮像センサの変位制御と撮影を行う処理の詳細を示すフローチャートである。
【図１０】信号処理部の構成を示すブロック図である。
【図１１】撮像センサの変位量と行列Ｍkの関係を示す図である。
【図１２】信号処理部の超解像生成部の構成を示すブロック図である。
【図１３】信号処理部の超解像生成部の処理を示すフローチャートである。
【図１４】シフトレンズを示す図である。
【図１５】第２の実施形態における変位制御部の構成を示すブロック図である。
【図１６】第２の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【図１７】撮像装置及び撮像装置を変位させる装置を備えた三脚を示す図である。
【図１８】第３の実施形態における変位制御部の構成を示すブロック図である。
【図１９】第３の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
第１の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、撮像センサを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。図１は、本実施形態に係る撮像装置であるデジタルカメラの構成を示すブロック図である。撮像部１０１は、被写体の光を検知するための装置であり、例えばズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤの撮像センサ１００から構成される。
【００１５】
Ａ／Ｄ変換部１０２は、被写体の光の検知量をデジタル値に変換する。信号処理部１０３は、上記デジタル値に信号処理してデジタル画像を生成し、例えばデモザイキング処理、ホワイトバランス処理、ガンマ処理を行う。詳細は後述するが、この信号処理部１０３で、複数枚の微小位置ずれのある画像を用いて超解像処理を行う。エンコーダ１０４は、上記デジタル画像にデータ圧縮を行い、例えばＪＰＥＧに圧縮する等の処理を行う。メディアインターフェース部１０５は、ＰＣ（パーソナルコンピュータ）その他メディア（例えばハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
【００１６】
ＣＰＵ１０６は、上述した各構成の処理の全てに関わる。ＲＯＭ１０７とＲＡＭ１０８は、その処理に必要なプログラム、データ、作業領域をＣＰＵ１０６に提供する。また、後述する処理に必要な制御プログラムはＲＯＭ１０７に格納されており、一旦ＲＡＭ１０８に読み込まれてから実行される。
【００１７】
操作部１０９は、ユーザからの指示を入力するためのものであり、例えばボタンやモードダイヤル等が該当する。キャラクタージェネレーション部１１０は、文字やグラフィックを生成する。Ｄ／Ａ変換部１１１は、上記デジタル画像をアナログ変換する。表示部１１２は、一般的にはＣＲＴや液晶ディスプレイが用いられ、撮影画像を表示したり、ＧＵＩ等の画像を表示したりする。また、公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については操作部１０９の入力として扱うことも可能である。
【００１８】
撮像部コントローラ１１３は、ＣＰＵ１０６で指示された撮像系の制御を行い、例えばフォーカスを合わせる、シャッターを開く、絞りを調節する等の制御を行う。撮像部パラメータ取得部１１４は、撮像に関するパラメータとして、撮像部１０１を構成する撮像センサ１００の固有情報を取得する。例えばＣＣＤ又はＣＭＯＳの素子の大きさ、センサピッチの情報である。詳細は後述するが、本実施形態では、センサピッチを用いて撮像センサ１００上にサブピクセルレベルの移動を発生させるのに、撮像センサ１００の移動距離について計算する。また、撮像時パラメータ取得部１１５は、撮像に関するパラメータとして、撮像部コントローラ１１３から撮像時のパラメータ、例えばズーム倍率、シャッタースピードの値を取得する。
【００１９】
変位制御部１１６は、微小位置ずれを生じさせるための撮像センサ１００の変位を制御する。本実施形態では、変位制御部１１６で変位制御パラメータを生成する。変位制御パラメータは、連写枚数、センサシフト量（水平、垂直変位量）及びセンサシフトタイミング（露光開始時間と露光終了時間）である。変位装置１１７は、変位制御部１１６からの変位制御パラメータに従って、撮像センサ１００を微小位置変位させる。なお、撮像装置の構成においては上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００２０】
図２は、本実施形態に係る撮像装置の垂直断面図である。２０１は撮影光軸である。２０２は撮像光学系の撮影レンズであり、シフトレンズ（部分レンズ）１４０１を含む。２０３はクイックリターンミラーであり、カメラ本体内で撮影光路中に配置され、撮影レンズ２０２からの被写体光をファインダ光学系に導く位置と撮影光路外に退避する位置との間で移動可能である。２０４はピント板であり、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結像される。２０５はファインダの視認性を向上させるためのコンデンサレンズである。２０６はペンタゴナルダハプリズム、２０７は測光センサ、２０８は接眼レンズであり、ピント板２０４及びコンデンサレンズ２０５を通った被写体光はペンタゴナルダハプリズム２０６を介してファインダ観察用の接眼レンズ２０８及び測光センサ２０７に導かれる。２０９、２１０はそれぞれシャッターを構成する後幕、先幕であり、これら後幕２０９、先幕２１０の開放によって、後方に配置されている撮像センサ１００の撮像素子が必要時間だけ露光される。後幕２０９と先幕２１０の動きによりシャッター開閉する。２１１はプリント基板であり、撮像センサ１００を保持する。２１２はプリント基板２１１の後方にある基板であり、変位装置１１７を保持し、プリント基板２１１、すなわち撮像センサ１００を変位させる。２１３は画像データを記録する記録装置、２１４は電池であり、カメラ本体に対して着脱可能である。なお、撮像装置の構成においては上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００２１】
図３は、撮像センサ１００を保持するプリント基板２１１と、変位装置１１７を保持する基板２１２とを示す図であり、（ａ）が正面図、（ｂ）が側面図である。矢印は、変位装置１１７によるプリント基板２１１の運動方向（変位方向）を示す。本実施形態では、プリント基板２１１を上下（垂直方向）及び左右（水平方向）に変位させる。変位装置１１７は基板２１２に装着されたモータ駆動装置或いはピエゾ駆動装置であり、プリント基板２１１の背面に接着している。
【００２２】
図４は、図１に示した変位制御部１１６の構成を示すブロック図である。変位制御には二つの制御要素があり、一つは変位量制御、一つは変位タイミング制御である。超解像処理とは、サブピクセルレベルでの位置ずれのある複数枚の画像を撮影し、これらの画像について光学系の劣化要因をキャンセルした上で合成する手法である。１画素を水平、垂直均等にＮ×Ｎ個サブピクセルに分割して撮影したＮ×Ｎ枚の画像から一枚の高解像画像を生成した場合、超解像倍率をＮ倍と定義する。
【００２３】
図４において、撮像部パラメータ取得部１１４から超解像するための超解像倍率、撮像センサ１００で記録される画素間の距離情報が入力されて、変位量のコントロールに使われる。また、撮像時パラメータ取得部１１５から露光時間の情報が入力されて、変位タイミングのコントロールに使われる。
【００２４】
変位制御部１１６は、センサピッチ情報取得部４０１、超解像倍率情報取得部４０２を備え、センサピッチと超解像倍率を取得する。撮像センサの変位量制御部４０５では、撮像センサ１００の水平、垂直の変位量をそれぞれ計算し制御する。ここで、撮像センサ１００の水平センサピッチサイズをｐ_ｈ、垂直センサピッチサイズをｐ_ｖとする。超解像倍率がＮ倍であれば、撮像センサ１００を水平方向にシフトさせる際の単位距離ｄ_ｈは式（１）で計算することができる。また、撮像センサ１００を垂直方向にシフトさせる際の単位距離ｄ_ｖは式（２）で計算することができる。
【００２５】
【数１】
【００２６】
超解像倍率がＮ倍であれば、Ｎ×Ｎ枚の微小位置ずれ画像が必要である。超解像倍率の情報を基づいて連写枚数取得部４０６で連写枚数を取得する。
【００２７】
また、変位制御部１１６は、変位制御時間取得部４０３、露光時間取得部４０４を備え、変位装置制御時間と露光時間を取得する。変位タイミング制御部４０７では、取得された変位装置制御時間を用いて、変位タイミングを決める。停止時間制御部４０８は、露光期間中、撮像センサ１００の動きを止めて動きブレのない画像を取得するため、露光期間中に撮像センサ１００を停止させる。
【００２８】
変位制御部１１６は、変位量と変位タイミングの変位制御パラメータを変位装置１１７へ送る。
【００２９】
図５は、撮像装置の処理、具体的には撮像センサ１００を微小位置変位させて、複数枚の微小位置ずれのある画像を取得する処理を示すフローチャートである。ステップＳ５０１は撮像センサ個体のパラメータを取得するステップであり、変位制御部１１６は、撮像センサ１００のセンサピッチサイズ、超解像倍率を取得する。
【００３０】
ステップＳ５０２は撮像時パラメータを取得するステップであり、変位制御部１１６は、撮像時の露光時間の情報を取得する。
【００３１】
ステップＳ５０３で、変位制御部１１６は、ステップＳ５０１で取得したパラメータを用いて撮像センサ１００の変位量を決定し、変位制御パラメータを生成する。その詳細については後述する。また、ステップＳ５０４で、変位制御部１１６は、ステップＳ５０２で取得したパラメータを用いて撮像センサ１００の変位タイミングを決定し、変位制御パラメータを生成する。その詳細については後述する。
【００３２】
ステップＳ５０５で、撮像装置は、ステップＳ５０３、Ｓ５０４において生成された変位制御パラメータに基づいて撮像センサ１００を変位させた後、撮影を実行する。ステップＳ５０６では、ステップＳ５０５において取得した複数枚の微小位置ずれのある画像を用いて高解像度画像を生成する。
【００３３】
図６は、撮像センサ１００を水平、垂直に変位させる状態を説明するための図である。図６において、点線で描かれた格子は撮像素子の単位ピクセルである。また、実線で描かれた格子は撮像素子の単位ピクセルを更に分割したサブピクセルである。
【００３４】
図６において、ｐ_ｈは水平センサピッチサイズ、ｐ_ｖは垂直センサピッチサイズである。図６では、超解像倍率はＮ＝３倍であって、単位ピクセルを均等に３分割した例を示す。撮像センサ１００の水平単位変位量はｄ_ｈ、垂直単位変位量はｄ_ｖで示す。撮像センサ１００の変位量に応じて水平、垂直方向で計９枚の画像を取得する。ここで、撮像センサ１００のホームポジションを（０,０）とし、変位後の位置を（Ｓ_ｈ(ｎｕｍ)，Ｓ_ｖ(ｎｕｍ)）とする。ｎｕｍは整数であって、変位画像の番号である。すなわち、Ｓ_ｈ(ｎｕｍ)はｎｕｍ番目の取得画像の水平変位量を示し、Ｓ_ｖ(ｎｕｍ)はｎｕｍ番目の取得画像の垂直変位量を示す。図６において、矢印は撮像センサ１００を変位させる順番を示し、取得された画像の番号をIからIXで示す。これら取得されたサブピクセルレベルの位置ずれがある画像から後述する超解像処理により解像度を３倍に向上させた高超解像画像が生成される。
【００３５】
図７は、シャッター開閉タイミングと撮像センサ１００の変位との関係図を示す図である。図７は、図６に対応しており、超解像倍率が３倍であって、１ピクセルを均等に３分割した例を示す。図７（ａ）において、横軸は時間を示し、縦軸はシャッターの開閉を示す。一枚の画像を撮影するために必要となる変位制御時間と露光時間を含む時間Ｔとする。シャッターが開いている時間は露光時間ｔとする。図７（ｂ）、（ｃ）に、変位装置１１７による撮像センサ１００の変位タイミングを示す。横軸は時間を示し、縦軸は水平変位量と垂直変位量を示す。変位タイミングのコントロールとは、露光期間以外の時間に撮像センサ１００を変位させ、露光期間中に撮像センサ１００を停止させる制御である。撮像センサ１００の変位は、変位制御部１１６の制御により行われる。変位制御では、撮像センサ１００を変位させる時間と撮像センサ１００を停止させる時間の制御、変位量の制御を行っている。撮像センサ１００の変位と停止時間はタイマにて管理する。撮像センサ１００の変位制御のうち変位タイミングは、露光開始時間ｔ_ｓｔａｒｔと露光終了時間ｔ_ｅｎｄの二つの変数を用いて制御する。
【００３６】
図８は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。ステップＳ８０１で、変位制御部１１６のセンサピッチ情報取得部４０１は、撮像部パラメータ取得部１１４から入力されたセンサピッチサイズｐ_ｈ（水平）、ｐ_ｖ（垂直）を取得する。ステップＳ８０２で、変位制御部１１６の超解像倍率情報取得部４０２は、撮像部パラメータ取得部１１４から入力された超解像倍率Ｎを取得する。
【００３７】
ステップＳ８０３で、変位制御部１１６の変位量制御部４０５は、式（１）を用いて撮像センサ１００の単位水平変位量ｄ_ｈを計算する。ステップＳ８０４で、変位制御部１１６の変位量制御部４０５は、式（２）を用いて撮像センサの単位垂直変位量ｄ_ｖを計算する。
【００３８】
ステップＳ８０５で、変位制御部１１６の連写枚数取得部４０６は、連写枚数を取得する。ステップＳ８０６で、変位制御部１１６の変位制御時間取得部４０３は、一枚の画像を撮影するために必要となる変位制御時間と露光時間を含む時間Ｔを取得する。ステップＳ８０７で、変位制御部１１６の露光時間取得部４０４は、一枚撮影する露光時間tを取得する。
【００３９】
ステップＳ８０８〜ステップＳ８１８、ステップＳ８０９〜ステップＳ８１７は、Ｎ回の撮影における変位量、変位タイミングを決定するループ処理である。ステップＳ８１０で、複数枚画像の撮影順番を求める。式（３）は撮影順番Ｐを算出する式であり、図６に示した順番と同じである。ｉ、ｊはループ回数を表す変数である。
【００４０】
【数２】
【００４１】
露光開始時間はｔ_ｓｔａｒｔ(Ｐ)であって、露光終了時間ｔ_ｅｎｄ(Ｐ)である。変位制御部１１６の変位タイミング制御部４０７は、ステップＳ８１１で、式（４）を用いて変位開始時間ｔ_ｓｔａｒｔ(Ｐ)を計算し、ステップＳ８１２では、式（５）を用いて変位終了時間ｔ_ｅｎｄ(Ｐ)を計算する。
【００４２】
【数３】
【００４３】
変位制御部１１６の変位量制御部４０５は、ステップＳ８１３で、水平変位量を計算し、ステップＳ８１４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００４４】
【数４】
【００４５】
以上の処理により、変位制御パラメータ（連写枚数、露光開始時間と終了時間、水平、垂直変位量）の生成が完了する。
【００４６】
図９は、図５のステップＳ５０５の撮像センサ１００の変位制御と撮影を行う処理の詳細を示すフローチャートである。ステップＳ９０１で、図８で説明したように生成された変位制御パラメータを取得する。
【００４７】
ステップＳ９０２では、変数ｃｏｕｎｔを初期化する。ステップＳ９０３では、タイマを開始させる。ステップＳ９０４では、変位装置１１７を起動する。ステップＳ９０５では、変数ｃｏｕｎｔと連写枚数とを比較する。変数ｃｏｕｎｔの値が連写枚数に達していない場合、ステップＳ９０６に進む。変数ｃｏｕｎｔの値が連写枚数に達している場合、ステップＳ９１６に進む。
【００４８】
ステップＳ９０６においてタイマの示す時間が露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ)と同じである場合、ステップＳ９０７に進み、変位装置１１７を停止させる。タイマの示す時間と露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ)とが同じでない場合、ステップＳ９０９に進む。ステップＳ９０８では、撮像装置による撮影を行う。ステップＳ９０９においてタイマの示す時間が露光停止時間と同じである場合、ステップＳ９１０に進み、撮影を終了する。
【００４９】
ステップＳ９１１では、変位装置１１７に変位量を転送する。ステップＳ９１２では、撮像センサ１００を変位させる。ステップＳ９１３においてタイマの示す時間が次の露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ＋１)と同じである場合、ステップＳ９１５に進み、撮像センサ１００の変位を終了させる。タイマの示す時間が露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ＋１)と同じでない場合、ステップＳ９１４に進み、タイマを更新する。ステップＳ９１６では、変数ｃｏｕｎｔの値を一つ増やす。連写枚数が全部撮影できた後に、全処理が終了する。
【００５０】
＜超解像処理＞
本実施形態では、超解像処理は非特許文献１に開示されているＭＡＰ法(Maximum A Posterior)を使う。
【００５１】
【数５】
【００５２】
Ｘ＾は推定された超解像画像、ｙは劣化条件で劣化された画像、Ｍkは基準画像との位置ずれ、ＤとＢは劣化条件である。ｋは画像番号である。図１０は、図１に示した信号処理部１０３の構成を示すブロック図である。図１０を参照して、ＭＡＰ法による超解像処理を説明する。基準画像との位置ずれ情報は行列Ｍkで示す。光学系ＰＳＦによる劣化処理は行列Ｂで表示する。ダウンサンプリング処理であって、処理内容は画像縮小の倍率を行列として提供される。行列Ｄで表示する。
【００５３】
式（８）の左辺第二項は、入力画像と劣化過程を経て推定された画像との差分値を演算する項である。σは画像Ｙのノイズの標準偏差である。式（８）の右辺部を抽出し、超解像処理時の評価関数として用いる数式が次式（９）である。
【００５４】
【数６】
【００５５】
撮像装置で撮影した画像は、Ａ／Ｄ変換部１０２から信号処理部１０３に入力される。また、信号処理部１０３には、撮像部パラメータ取得部１１４から撮像モデルと、撮像センサ１００の変位量が入力される。撮像モデル取得部１００１では、撮像装置の撮像モデルを取得する。撮像モデルは、撮影用撮像装置の光学系の劣化ＰＳＦと撮像センサ画素数の制限によるダウンサンプリングである。本実施形態では、撮像センサ１００を変位させて撮影するため、変位量取得部１００３では、撮像センサ１００の変位量を取得する。メモリ１００２には、複数枚の微小位置ずれのある画像データを格納する。超解像生成部１００４では、撮像モデルと画像間の変位量を用いて、複数枚の微小位置ずれのある画像を用いて高解像度画像を生成する。生成された高解像度画像は、出力端子からＤ／Ａ変換部１１１を介して表示部１１２に、又はエンコーダ１０４を介してメディアインターフェース部１０５に出力される。
【００５６】
図１１は、撮像センサ１００の変位量と行列Ｍkの関係を示す図である。本実施形態では、撮像センサ１００の水平、垂直のずれ量を（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）を用いて、行列Ｍkを形成する。なお、Ｐ＝ｋ＝１、２、３、…、Ｎである。図１１において、Ｗ、Ｈは超解像画像の横画素数、縦画素数である。（ｘ，ｙ）は超解像画像上の着目画素位置を示す。行列ＭkはＨ×Ｗ次正方行列である。撮像センサがホームポジションにあるときに、行列Ｍkの対角成分以外の成分がすべて０であって、行列Ｍkの対角成分は１である。行列成分が１である場合、対応する画素位置の画素値に参照する。撮像センサ１００がホームポジションから変位量（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）で変位したとき、参照する画素位置が変わり、行列Ｍkの行列成分が１である画素の位置が変化する。具体的には、行列の位置（（ｘ＋Ｓ_ｈ(Ｐ)）×Ｈ＋（ｙ＋Ｓ_ｖ(Ｐ)））行、（ｘ×Ｈ＋ｙ）列に対応する行列成分を１とし、そのほかの画素位置の成分を０とする。
【００５７】
図１２は、信号処理部１０３の超解像生成部１００４の構成を示すブロック図である。本実施形態では、超解像画像をＨＲ画像と示す。図１２において、画像入力端子１２０１からＮ枚の画像が入力される。Ｎは２以上の整数である。本実施形態で扱う入力画像は８ビットのグレイスケール画像とする。初期ＨＲ画像作成部１２０４では、入力された画像を用いて高解像画像の初期値を作成する。本実施形態では、線形補間手法を使用して初期ＨＲ画像を作成する。ＨＲ画像生成部１２０５では、ＭＡＰ推定法によって計算される修正量をＨＲ画像に加えることによりＨＲ画像を更新する。劣化画像作成部１２０６では、撮像モデル入力端子１２０３と変位情報入力端子１２０２から与えられる劣化条件と変位情報に従って入力画像を劣化させ、劣化画像を生成する。劣化条件は撮影用カメラの光学系の劣化ＰＳＦとセンサ画素数の制限によるダウンサンプリングである。本実施形態では扱うダウンサンプリングは、ダウンサンプリング時の縮小倍率（１／ｓｉｚｅ_ｘ，１／ｓｉｚｅ_ｙ）で与えられる。なお、ｓｉｚｅ_ｘ、ｓｉｚｅ_ｙは自然数であるとする。更に、複数枚画像間の位置ずれは既に変位制御する際に使用した変位量に相当するので、変位情報入力端子１２０２から撮像センサ１００の水平、垂直変位量が入力される。本実施形態は、水平、垂直方向の位置ずれを扱う。取得されるＮ枚の画像のうち、一枚目の画像を基準画像（図６に示されたI番の画像）とし、基準画像からの相対移動量を位置ずれの情報とする。基準画像の中央画像位置を原点と定め、原点に対する水平、垂直のずれ量を（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）を取得する。なお、Ｐ＝ｋ＝１、２、３、…、Ｎである。
【００５８】
これらの劣化条件は超解像処理に先立って、予め計測されるデータ、或いは既知のデータである。差分演算部１２０９では、画像入力端子１２０１で入力された入力画像と劣化画像作成部１２０６で作成された劣化画像を差分演算する。上記得られた画像間の差分情報の平均値を計算し、超解像画像が生成されたのかどうかを判断する。終了判定部１２０７では、差分演算部１２０９の結果を閾値と比較する。そして、差分演算部１２０９の結果が閾値より小さい場合、終了判定部１２０７は０と出力する。差分演算部１２０９の結果が閾値より大きい場合、終了判定部１２０７は１と出力し、差分演算部１２０９の結果を修正量計算部１２０８に入力する。終了判定部１２０７で入力された結果１である場合、修正量計算部１２０８では修正量を計算し、修正量を出力する。終了判定部１２０７で入力された結果０である場合、修正量計算部１２０８は０として出力する。修正量計算部１２０８の結果によりＨＲ画像生成部１２０５でＨＲ画像を生成する。具体的には、修正量計算部１２０８で得た修正量をＨＲ画像に加える。修正量計算の詳細を後述する。修正量計算部１２０８の修正量がゼロである場合、ＨＲ画像生成部１２０５はＨＲ画像生成し、ＨＲ画像出力端子１２１０に送る。修正量計算部１２０８の修正量が非ゼロの場合、劣化画像作成部１２０６に送る。差分演算部１２０９の結果が閾値より小さくなると、ＨＲ画像出力端子１２１０からＨＲ画像を出力し、ＨＲ画像の生成が完了する。
【００５９】
図１３は、信号処理部１０３の超解像生成部１００４の処理を示すフローチャートである。ステップＳ１３０１で、撮影画像を入力する。Ｙは入力画像を示す。ステップＳ１３０２で、取得された複数枚画像間の位置ずれ情報を含むＭk行列を入力する。ステップＳ１３０３で、撮像装置の光学劣化条件Ｂ行列を入力する。ステップＳ１３０４で、撮像装置のダウンサンプリングＤ行列を入力する。ステップＳ１３０５で、初期ＨＲ画像を生成する。初期ＨＲ画像は線形補間により横サイズＭ倍、縦サイズＮ倍に拡大する。ステップＳ１３０６で、閾値を取得する。ステップＳ１３０８で、式（１０）を用いて推定劣化画像Ｙ'を作成する。
【００６０】
【数７】
【００６１】
ＨＲ画像は、ステップＳ１３０７からの繰り返し演算によってステップＳ１３１３で生成される。ｉ回目の演算で生成されたＨＲ画像をＸiとする。ステップＳ１３０７〜Ｓ１３０９の間で入力された画像の枚数分の推定劣化画像を生成するループである。ステップＳ１３１３で、ステップＳ１３０８の計算で得た推定劣化画像と撮影された全ての画像、全ての画素について差分を取って、差分値の平均値と閾値と比較する。差分値の平均値が閾値より小さい場合には、ステップＳ１３１４に進み、繰り返し演算が終わる設定になっている。差分値の平均値が閾値より大きいであれば、ステップＳ１３１０に進み、ＨＲ画像の修正量を計算する更新項を求める。更新項の求め方は後述する。ステップＳ１３１１で、ループ回数をカウントする。ステップＳ１３１２で、ＨＲ画像にステップＳ１３１０で計算された更新項の結果を加えてＨＲ画像を更新する。ステップＳ１３１３において計算される差分値の平均値が閾値以下となるまで、ステップＳ１３０７〜ステップＳ１３１３の処理を繰り返し行う。
【００６２】
ステップＳ１３１０では、ＨＲ画像の更新項を計算する。上記評価関数での結果を受けて推定ＨＲにフィードバックを行い、推定ＨＲ画像を更新する。本実施形態では最急降下法を用いて推定ＨＲ画像を更新する。最急降下法は最小化する関数の一次微分のみを使用した最適化手法である。最急降下法を評価関数式に適応すると、下式（１１）が計算される。
【００６３】
【数８】
【００６４】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいて撮像センサ１００の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００６５】
（第２の実施形態）
第２の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、レンズを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。なお、撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。
【００６６】
本実施形態では、図２に示すように、撮像光学系の撮影レンズ２０２の含まれるシフトレンズ１４０１を変位させることにより、撮像センサ１００に到着する光線を変位させる。すなわち、シフトレンズ１４０１を介して入射した光束を、撮像センサ１００の面上に水平方向、垂直方向にそれぞれ画素間隔より小さい変位量でシフトさせる。
【００６７】
図１４は、シフトレンズ１４０１を示す図であり、（ａ）が正面図、（ｂ）が側面図である。本実施形態では、変位装置である電磁アクチュエータ１４０２でシフトレンズ１４０１をシフトさせる。矢印は、電磁アクチュエータ１４０２によるシフトレンズ１４０１の運動方向（変位方向）を示す。電磁アクチュエータ１４０２によりシフトレンズ１４０１を水平、垂直シフトすることによって、シフトレンズ１４０１のサブピクセルレベルの変位を制御する。
【００６８】
図１５は、図１に示した変位制御部１１６の構成を示すブロック図である。図４で示した第１の実施形態における変位制御部１１６と比較し、撮像センサの変位量制御部４０５が、レンズの変位量制御部１５０１に変更されている。撮像レンズの変位量制御部１５０１では、シフトレンズ１４０１の水平、垂直の変位量をそれぞれ計算し制御する。
【００６９】
図１６は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。第１の実施形態の図８のフローチャートと異なる点についてのみ説明する。図１６のフローチャートでは、図８のステップＳ８０３、Ｓ８０４、Ｓ８１３、Ｓ８１４を、ステップＳ１６０１、Ｓ１６０２、Ｓ１６０３、Ｓ１６０４に変更している。
【００７０】
ステップＳ１６０１で、変位制御部１１６の変位量制御部１５０１は、式（１）を用いてシフトレンズ１４０１の単位水平変位量ｄ_ｈを計算する。ステップＳ１６０２で、変位制御部１１６の変位量制御部１５０１は、式（２）を用いてシフトレンズ１４０１の単位垂直変位量ｄ_ｖを計算する。
【００７１】
また、変位制御部１１６の変位量制御部１５０１は、ステップＳ１６０３で、水平変位量を計算し、ステップＳ１６０４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００７２】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいてシフトレンズ１４０１の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００７３】
（第３の実施形態）
第３の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、撮像装置そのものを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。なお、撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。
【００７４】
図１７は、撮像装置及び撮像装置を変位させる装置を備えた三脚を示す図である。図１７に示すように、三脚１７０３上に撮像装置１７０４を水平変位させる装置１７０２と、垂直変位させる装置１７０１を設置し、それらの変位装置１７０１、１７０２の上に撮像装置１７０４を設置している。
【００７５】
図１８は、図１に示した変位制御部１１６の構成を示すブロック図である。図４で示した第１の実施形態における変位制御部１１６と比較し、撮像センサの変位量制御部４０５が、撮像装置本体の変位量制御部１８０１に変更されている。撮像装置本体の変位量制御部１８０１では、撮像装置１７０４の水平、垂直の変位量をそれぞれ計算し制御する。
【００７６】
図１９は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。第１の実施形態の図８のフローチャートと異なる点についてのみ説明する。図１９のフローチャートでは、図８のステップＳ８０３、Ｓ８０４、Ｓ８１３、Ｓ８１４を、ステップＳ１９０１、Ｓ１９０２、Ｓ１９０３、Ｓ１９０４に変更している。
【００７７】
ステップＳ１９０１で、変位制御部１１６の変位量制御部１８０１は、式（１）を用いて撮像装置１７０４の単位水平変位量ｄ_ｈを計算する。ステップＳ１９０２で、変位制御部１１６の変位量制御部１８０１は、式（２）を用いて撮像装置１７０４の単位垂直変位量ｄ_ｖを計算する。
【００７８】
また、変位制御部１１６の変位量制御部１８０１は、ステップＳ１９０３で、水平変位量を計算し、ステップＳ１９０４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００７９】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいて撮像装置１７０４の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００８０】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。上記実施形態では、撮像に関するパラメータを取得し、撮像センサ１００（又はシフトレンズ１４０１又は撮像装置１７０４）の変位量及び変位タイミングを決定し、撮像センサ１００により取得した複数枚の微小位置ずれのある画像データを用いて高解像度画像を生成する処理の全てを撮像装置が実行する例を説明したが、これらの処理の一部或いは全てを、撮像装置に接続する画像処理装置で実行するような形態としてもよい。
【００８１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８２】
１００：撮像センサ、１０１：撮像部、１０３：信号処理部、１０６：ＣＰＵ、１１４：撮像部パラメータ取得部、１１５：撮像時パラメータ取得部、１１６：変位制御部、１１７：変位装置
【技術分野】
【０００１】
本発明は、超解像処理を行うのに利用して好適な撮像装置、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、画像、映像を取得する際に失われた信号を復元し、画像、映像の画素そのものを増やすことで画像、映像の解像度を高める技術、いわゆる超解像技術が普及しつつある。低解像度画像に含まれる信号の周波数帯域が限られるため、一枚の低解像度画像だけから高解像度画像を生成するのは限界がある。そこで、複数枚の低解像度画像を入力として、より画素数の多い高解像度画像を生成する技術がある。複数枚の低解像度画像間にサブピクセルの位置ずれがあれば、一枚の低解像度画像で表現できる解像度を超える高解像度画像を生成することができる。これら複数枚の低解像度画像を取得する手法については、様々な方法が提案されている。
【０００３】
例えば特許文献１には、高速、高精度、高画質の画素ずらしシステムを実現するために、平行平板で撮像面における垂直及び水平方向における画素ずらしを行うことができるようにした光学装置が開示されている。
【０００４】
また、例えば特許文献２には、撮像装置自体の状態変化（速度や加速度）を考慮して、高解像度化手段で高解像度な画像を生成するようにした撮像装置が開示されている。
【０００５】
また、例えば特許文献３には、被写体の画像を固体撮像素子に結像させる撮像レンズ部の１つのレンズを光軸に対して４回の露光ごとに異なる４方向に順次移動させ、この４回の露光によって得られた各画像データを合成して１画面の合成画像データを生成するようにした撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−７５０９９号公報
【特許文献２】特開２００６−１４０８８５号公報
【特許文献３】特開平１０−２８８８０３号公報
【非特許文献】
【０００７】
【非特許文献１】Sung C.P."Super-Resolution Image Reconstruction: A Technical Overview", IEEE Signal Proc,第２６巻、第３号、P.２１-３６,２００３年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１と特許文献３に開示された従来技術では、超解像倍率に応じて、撮影される複数枚の画像の変位量が計算されていないという課題がある。例えば超解像倍率を３倍とする場合には１／３ピクセルの変位量が必要であって、超解像倍率を４倍とする場合には１／４ピクセルの変位量が必要である。このような超解像倍率に応じた画像間の変位が行われていない。
【０００９】
また、特許文献２に開示された従来技術では、露光期間中に撮像装置本体の変位がしてしまうと、取得される画像に動きぶれが発生し、超解像処理に適した画像が取得できない課題がある。
【００１０】
本発明は上記のような点に鑑みてなされたものであり、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、被写体の像を取得する撮像センサを備えた撮像装置であって、撮像に関するパラメータを取得するパラメータ取得手段と、前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び当該撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び当該撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】第１の実施形態に係る撮像装置の垂直断面図である。
【図３】撮像センサを保持するプリント基板と、変位装置を保持する基板とを示す図である。
【図４】第１の実施形態における変位制御部の構成を示すブロック図である。
【図５】第１の実施形態に係る撮像装置の処理を示すフローチャートである。
【図６】撮像センサを変位させる状態を説明するための図である。
【図７】シャッター開閉タイミングと撮像センサの変位との関係図を示す図である。
【図８】第１の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【図９】第１の実施形態における撮像センサの変位制御と撮影を行う処理の詳細を示すフローチャートである。
【図１０】信号処理部の構成を示すブロック図である。
【図１１】撮像センサの変位量と行列Ｍkの関係を示す図である。
【図１２】信号処理部の超解像生成部の構成を示すブロック図である。
【図１３】信号処理部の超解像生成部の処理を示すフローチャートである。
【図１４】シフトレンズを示す図である。
【図１５】第２の実施形態における変位制御部の構成を示すブロック図である。
【図１６】第２の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【図１７】撮像装置及び撮像装置を変位させる装置を備えた三脚を示す図である。
【図１８】第３の実施形態における変位制御部の構成を示すブロック図である。
【図１９】第３の実施形態における変位制御パラメータを生成する処理の詳細を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
第１の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、撮像センサを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。図１は、本実施形態に係る撮像装置であるデジタルカメラの構成を示すブロック図である。撮像部１０１は、被写体の光を検知するための装置であり、例えばズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤの撮像センサ１００から構成される。
【００１５】
Ａ／Ｄ変換部１０２は、被写体の光の検知量をデジタル値に変換する。信号処理部１０３は、上記デジタル値に信号処理してデジタル画像を生成し、例えばデモザイキング処理、ホワイトバランス処理、ガンマ処理を行う。詳細は後述するが、この信号処理部１０３で、複数枚の微小位置ずれのある画像を用いて超解像処理を行う。エンコーダ１０４は、上記デジタル画像にデータ圧縮を行い、例えばＪＰＥＧに圧縮する等の処理を行う。メディアインターフェース部１０５は、ＰＣ（パーソナルコンピュータ）その他メディア（例えばハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）につなぐためのインターフェースである。
【００１６】
ＣＰＵ１０６は、上述した各構成の処理の全てに関わる。ＲＯＭ１０７とＲＡＭ１０８は、その処理に必要なプログラム、データ、作業領域をＣＰＵ１０６に提供する。また、後述する処理に必要な制御プログラムはＲＯＭ１０７に格納されており、一旦ＲＡＭ１０８に読み込まれてから実行される。
【００１７】
操作部１０９は、ユーザからの指示を入力するためのものであり、例えばボタンやモードダイヤル等が該当する。キャラクタージェネレーション部１１０は、文字やグラフィックを生成する。Ｄ／Ａ変換部１１１は、上記デジタル画像をアナログ変換する。表示部１１２は、一般的にはＣＲＴや液晶ディスプレイが用いられ、撮影画像を表示したり、ＧＵＩ等の画像を表示したりする。また、公知のタッチスクリーンであっても良い。その場合、タッチスクリーンによる入力については操作部１０９の入力として扱うことも可能である。
【００１８】
撮像部コントローラ１１３は、ＣＰＵ１０６で指示された撮像系の制御を行い、例えばフォーカスを合わせる、シャッターを開く、絞りを調節する等の制御を行う。撮像部パラメータ取得部１１４は、撮像に関するパラメータとして、撮像部１０１を構成する撮像センサ１００の固有情報を取得する。例えばＣＣＤ又はＣＭＯＳの素子の大きさ、センサピッチの情報である。詳細は後述するが、本実施形態では、センサピッチを用いて撮像センサ１００上にサブピクセルレベルの移動を発生させるのに、撮像センサ１００の移動距離について計算する。また、撮像時パラメータ取得部１１５は、撮像に関するパラメータとして、撮像部コントローラ１１３から撮像時のパラメータ、例えばズーム倍率、シャッタースピードの値を取得する。
【００１９】
変位制御部１１６は、微小位置ずれを生じさせるための撮像センサ１００の変位を制御する。本実施形態では、変位制御部１１６で変位制御パラメータを生成する。変位制御パラメータは、連写枚数、センサシフト量（水平、垂直変位量）及びセンサシフトタイミング（露光開始時間と露光終了時間）である。変位装置１１７は、変位制御部１１６からの変位制御パラメータに従って、撮像センサ１００を微小位置変位させる。なお、撮像装置の構成においては上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００２０】
図２は、本実施形態に係る撮像装置の垂直断面図である。２０１は撮影光軸である。２０２は撮像光学系の撮影レンズであり、シフトレンズ（部分レンズ）１４０１を含む。２０３はクイックリターンミラーであり、カメラ本体内で撮影光路中に配置され、撮影レンズ２０２からの被写体光をファインダ光学系に導く位置と撮影光路外に退避する位置との間で移動可能である。２０４はピント板であり、ピント板２０４上にはクイックリターンミラー２０３からファインダ光学系に導かれる被写体光が結像される。２０５はファインダの視認性を向上させるためのコンデンサレンズである。２０６はペンタゴナルダハプリズム、２０７は測光センサ、２０８は接眼レンズであり、ピント板２０４及びコンデンサレンズ２０５を通った被写体光はペンタゴナルダハプリズム２０６を介してファインダ観察用の接眼レンズ２０８及び測光センサ２０７に導かれる。２０９、２１０はそれぞれシャッターを構成する後幕、先幕であり、これら後幕２０９、先幕２１０の開放によって、後方に配置されている撮像センサ１００の撮像素子が必要時間だけ露光される。後幕２０９と先幕２１０の動きによりシャッター開閉する。２１１はプリント基板であり、撮像センサ１００を保持する。２１２はプリント基板２１１の後方にある基板であり、変位装置１１７を保持し、プリント基板２１１、すなわち撮像センサ１００を変位させる。２１３は画像データを記録する記録装置、２１４は電池であり、カメラ本体に対して着脱可能である。なお、撮像装置の構成においては上記以外にも様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００２１】
図３は、撮像センサ１００を保持するプリント基板２１１と、変位装置１１７を保持する基板２１２とを示す図であり、（ａ）が正面図、（ｂ）が側面図である。矢印は、変位装置１１７によるプリント基板２１１の運動方向（変位方向）を示す。本実施形態では、プリント基板２１１を上下（垂直方向）及び左右（水平方向）に変位させる。変位装置１１７は基板２１２に装着されたモータ駆動装置或いはピエゾ駆動装置であり、プリント基板２１１の背面に接着している。
【００２２】
図４は、図１に示した変位制御部１１６の構成を示すブロック図である。変位制御には二つの制御要素があり、一つは変位量制御、一つは変位タイミング制御である。超解像処理とは、サブピクセルレベルでの位置ずれのある複数枚の画像を撮影し、これらの画像について光学系の劣化要因をキャンセルした上で合成する手法である。１画素を水平、垂直均等にＮ×Ｎ個サブピクセルに分割して撮影したＮ×Ｎ枚の画像から一枚の高解像画像を生成した場合、超解像倍率をＮ倍と定義する。
【００２３】
図４において、撮像部パラメータ取得部１１４から超解像するための超解像倍率、撮像センサ１００で記録される画素間の距離情報が入力されて、変位量のコントロールに使われる。また、撮像時パラメータ取得部１１５から露光時間の情報が入力されて、変位タイミングのコントロールに使われる。
【００２４】
変位制御部１１６は、センサピッチ情報取得部４０１、超解像倍率情報取得部４０２を備え、センサピッチと超解像倍率を取得する。撮像センサの変位量制御部４０５では、撮像センサ１００の水平、垂直の変位量をそれぞれ計算し制御する。ここで、撮像センサ１００の水平センサピッチサイズをｐ_ｈ、垂直センサピッチサイズをｐ_ｖとする。超解像倍率がＮ倍であれば、撮像センサ１００を水平方向にシフトさせる際の単位距離ｄ_ｈは式（１）で計算することができる。また、撮像センサ１００を垂直方向にシフトさせる際の単位距離ｄ_ｖは式（２）で計算することができる。
【００２５】
【数１】
【００２６】
超解像倍率がＮ倍であれば、Ｎ×Ｎ枚の微小位置ずれ画像が必要である。超解像倍率の情報を基づいて連写枚数取得部４０６で連写枚数を取得する。
【００２７】
また、変位制御部１１６は、変位制御時間取得部４０３、露光時間取得部４０４を備え、変位装置制御時間と露光時間を取得する。変位タイミング制御部４０７では、取得された変位装置制御時間を用いて、変位タイミングを決める。停止時間制御部４０８は、露光期間中、撮像センサ１００の動きを止めて動きブレのない画像を取得するため、露光期間中に撮像センサ１００を停止させる。
【００２８】
変位制御部１１６は、変位量と変位タイミングの変位制御パラメータを変位装置１１７へ送る。
【００２９】
図５は、撮像装置の処理、具体的には撮像センサ１００を微小位置変位させて、複数枚の微小位置ずれのある画像を取得する処理を示すフローチャートである。ステップＳ５０１は撮像センサ個体のパラメータを取得するステップであり、変位制御部１１６は、撮像センサ１００のセンサピッチサイズ、超解像倍率を取得する。
【００３０】
ステップＳ５０２は撮像時パラメータを取得するステップであり、変位制御部１１６は、撮像時の露光時間の情報を取得する。
【００３１】
ステップＳ５０３で、変位制御部１１６は、ステップＳ５０１で取得したパラメータを用いて撮像センサ１００の変位量を決定し、変位制御パラメータを生成する。その詳細については後述する。また、ステップＳ５０４で、変位制御部１１６は、ステップＳ５０２で取得したパラメータを用いて撮像センサ１００の変位タイミングを決定し、変位制御パラメータを生成する。その詳細については後述する。
【００３２】
ステップＳ５０５で、撮像装置は、ステップＳ５０３、Ｓ５０４において生成された変位制御パラメータに基づいて撮像センサ１００を変位させた後、撮影を実行する。ステップＳ５０６では、ステップＳ５０５において取得した複数枚の微小位置ずれのある画像を用いて高解像度画像を生成する。
【００３３】
図６は、撮像センサ１００を水平、垂直に変位させる状態を説明するための図である。図６において、点線で描かれた格子は撮像素子の単位ピクセルである。また、実線で描かれた格子は撮像素子の単位ピクセルを更に分割したサブピクセルである。
【００３４】
図６において、ｐ_ｈは水平センサピッチサイズ、ｐ_ｖは垂直センサピッチサイズである。図６では、超解像倍率はＮ＝３倍であって、単位ピクセルを均等に３分割した例を示す。撮像センサ１００の水平単位変位量はｄ_ｈ、垂直単位変位量はｄ_ｖで示す。撮像センサ１００の変位量に応じて水平、垂直方向で計９枚の画像を取得する。ここで、撮像センサ１００のホームポジションを（０,０）とし、変位後の位置を（Ｓ_ｈ(ｎｕｍ)，Ｓ_ｖ(ｎｕｍ)）とする。ｎｕｍは整数であって、変位画像の番号である。すなわち、Ｓ_ｈ(ｎｕｍ)はｎｕｍ番目の取得画像の水平変位量を示し、Ｓ_ｖ(ｎｕｍ)はｎｕｍ番目の取得画像の垂直変位量を示す。図６において、矢印は撮像センサ１００を変位させる順番を示し、取得された画像の番号をIからIXで示す。これら取得されたサブピクセルレベルの位置ずれがある画像から後述する超解像処理により解像度を３倍に向上させた高超解像画像が生成される。
【００３５】
図７は、シャッター開閉タイミングと撮像センサ１００の変位との関係図を示す図である。図７は、図６に対応しており、超解像倍率が３倍であって、１ピクセルを均等に３分割した例を示す。図７（ａ）において、横軸は時間を示し、縦軸はシャッターの開閉を示す。一枚の画像を撮影するために必要となる変位制御時間と露光時間を含む時間Ｔとする。シャッターが開いている時間は露光時間ｔとする。図７（ｂ）、（ｃ）に、変位装置１１７による撮像センサ１００の変位タイミングを示す。横軸は時間を示し、縦軸は水平変位量と垂直変位量を示す。変位タイミングのコントロールとは、露光期間以外の時間に撮像センサ１００を変位させ、露光期間中に撮像センサ１００を停止させる制御である。撮像センサ１００の変位は、変位制御部１１６の制御により行われる。変位制御では、撮像センサ１００を変位させる時間と撮像センサ１００を停止させる時間の制御、変位量の制御を行っている。撮像センサ１００の変位と停止時間はタイマにて管理する。撮像センサ１００の変位制御のうち変位タイミングは、露光開始時間ｔ_ｓｔａｒｔと露光終了時間ｔ_ｅｎｄの二つの変数を用いて制御する。
【００３６】
図８は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。ステップＳ８０１で、変位制御部１１６のセンサピッチ情報取得部４０１は、撮像部パラメータ取得部１１４から入力されたセンサピッチサイズｐ_ｈ（水平）、ｐ_ｖ（垂直）を取得する。ステップＳ８０２で、変位制御部１１６の超解像倍率情報取得部４０２は、撮像部パラメータ取得部１１４から入力された超解像倍率Ｎを取得する。
【００３７】
ステップＳ８０３で、変位制御部１１６の変位量制御部４０５は、式（１）を用いて撮像センサ１００の単位水平変位量ｄ_ｈを計算する。ステップＳ８０４で、変位制御部１１６の変位量制御部４０５は、式（２）を用いて撮像センサの単位垂直変位量ｄ_ｖを計算する。
【００３８】
ステップＳ８０５で、変位制御部１１６の連写枚数取得部４０６は、連写枚数を取得する。ステップＳ８０６で、変位制御部１１６の変位制御時間取得部４０３は、一枚の画像を撮影するために必要となる変位制御時間と露光時間を含む時間Ｔを取得する。ステップＳ８０７で、変位制御部１１６の露光時間取得部４０４は、一枚撮影する露光時間tを取得する。
【００３９】
ステップＳ８０８〜ステップＳ８１８、ステップＳ８０９〜ステップＳ８１７は、Ｎ回の撮影における変位量、変位タイミングを決定するループ処理である。ステップＳ８１０で、複数枚画像の撮影順番を求める。式（３）は撮影順番Ｐを算出する式であり、図６に示した順番と同じである。ｉ、ｊはループ回数を表す変数である。
【００４０】
【数２】
【００４１】
露光開始時間はｔ_ｓｔａｒｔ(Ｐ)であって、露光終了時間ｔ_ｅｎｄ(Ｐ)である。変位制御部１１６の変位タイミング制御部４０７は、ステップＳ８１１で、式（４）を用いて変位開始時間ｔ_ｓｔａｒｔ(Ｐ)を計算し、ステップＳ８１２では、式（５）を用いて変位終了時間ｔ_ｅｎｄ(Ｐ)を計算する。
【００４２】
【数３】
【００４３】
変位制御部１１６の変位量制御部４０５は、ステップＳ８１３で、水平変位量を計算し、ステップＳ８１４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００４４】
【数４】
【００４５】
以上の処理により、変位制御パラメータ（連写枚数、露光開始時間と終了時間、水平、垂直変位量）の生成が完了する。
【００４６】
図９は、図５のステップＳ５０５の撮像センサ１００の変位制御と撮影を行う処理の詳細を示すフローチャートである。ステップＳ９０１で、図８で説明したように生成された変位制御パラメータを取得する。
【００４７】
ステップＳ９０２では、変数ｃｏｕｎｔを初期化する。ステップＳ９０３では、タイマを開始させる。ステップＳ９０４では、変位装置１１７を起動する。ステップＳ９０５では、変数ｃｏｕｎｔと連写枚数とを比較する。変数ｃｏｕｎｔの値が連写枚数に達していない場合、ステップＳ９０６に進む。変数ｃｏｕｎｔの値が連写枚数に達している場合、ステップＳ９１６に進む。
【００４８】
ステップＳ９０６においてタイマの示す時間が露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ)と同じである場合、ステップＳ９０７に進み、変位装置１１７を停止させる。タイマの示す時間と露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ)とが同じでない場合、ステップＳ９０９に進む。ステップＳ９０８では、撮像装置による撮影を行う。ステップＳ９０９においてタイマの示す時間が露光停止時間と同じである場合、ステップＳ９１０に進み、撮影を終了する。
【００４９】
ステップＳ９１１では、変位装置１１７に変位量を転送する。ステップＳ９１２では、撮像センサ１００を変位させる。ステップＳ９１３においてタイマの示す時間が次の露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ＋１)と同じである場合、ステップＳ９１５に進み、撮像センサ１００の変位を終了させる。タイマの示す時間が露光開始時間ｔ_ｓｔａｒｔ(ｃｏｕｎｔ＋１)と同じでない場合、ステップＳ９１４に進み、タイマを更新する。ステップＳ９１６では、変数ｃｏｕｎｔの値を一つ増やす。連写枚数が全部撮影できた後に、全処理が終了する。
【００５０】
＜超解像処理＞
本実施形態では、超解像処理は非特許文献１に開示されているＭＡＰ法(Maximum A Posterior)を使う。
【００５１】
【数５】
【００５２】
Ｘ＾は推定された超解像画像、ｙは劣化条件で劣化された画像、Ｍkは基準画像との位置ずれ、ＤとＢは劣化条件である。ｋは画像番号である。図１０は、図１に示した信号処理部１０３の構成を示すブロック図である。図１０を参照して、ＭＡＰ法による超解像処理を説明する。基準画像との位置ずれ情報は行列Ｍkで示す。光学系ＰＳＦによる劣化処理は行列Ｂで表示する。ダウンサンプリング処理であって、処理内容は画像縮小の倍率を行列として提供される。行列Ｄで表示する。
【００５３】
式（８）の左辺第二項は、入力画像と劣化過程を経て推定された画像との差分値を演算する項である。σは画像Ｙのノイズの標準偏差である。式（８）の右辺部を抽出し、超解像処理時の評価関数として用いる数式が次式（９）である。
【００５４】
【数６】
【００５５】
撮像装置で撮影した画像は、Ａ／Ｄ変換部１０２から信号処理部１０３に入力される。また、信号処理部１０３には、撮像部パラメータ取得部１１４から撮像モデルと、撮像センサ１００の変位量が入力される。撮像モデル取得部１００１では、撮像装置の撮像モデルを取得する。撮像モデルは、撮影用撮像装置の光学系の劣化ＰＳＦと撮像センサ画素数の制限によるダウンサンプリングである。本実施形態では、撮像センサ１００を変位させて撮影するため、変位量取得部１００３では、撮像センサ１００の変位量を取得する。メモリ１００２には、複数枚の微小位置ずれのある画像データを格納する。超解像生成部１００４では、撮像モデルと画像間の変位量を用いて、複数枚の微小位置ずれのある画像を用いて高解像度画像を生成する。生成された高解像度画像は、出力端子からＤ／Ａ変換部１１１を介して表示部１１２に、又はエンコーダ１０４を介してメディアインターフェース部１０５に出力される。
【００５６】
図１１は、撮像センサ１００の変位量と行列Ｍkの関係を示す図である。本実施形態では、撮像センサ１００の水平、垂直のずれ量を（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）を用いて、行列Ｍkを形成する。なお、Ｐ＝ｋ＝１、２、３、…、Ｎである。図１１において、Ｗ、Ｈは超解像画像の横画素数、縦画素数である。（ｘ，ｙ）は超解像画像上の着目画素位置を示す。行列ＭkはＨ×Ｗ次正方行列である。撮像センサがホームポジションにあるときに、行列Ｍkの対角成分以外の成分がすべて０であって、行列Ｍkの対角成分は１である。行列成分が１である場合、対応する画素位置の画素値に参照する。撮像センサ１００がホームポジションから変位量（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）で変位したとき、参照する画素位置が変わり、行列Ｍkの行列成分が１である画素の位置が変化する。具体的には、行列の位置（（ｘ＋Ｓ_ｈ(Ｐ)）×Ｈ＋（ｙ＋Ｓ_ｖ(Ｐ)））行、（ｘ×Ｈ＋ｙ）列に対応する行列成分を１とし、そのほかの画素位置の成分を０とする。
【００５７】
図１２は、信号処理部１０３の超解像生成部１００４の構成を示すブロック図である。本実施形態では、超解像画像をＨＲ画像と示す。図１２において、画像入力端子１２０１からＮ枚の画像が入力される。Ｎは２以上の整数である。本実施形態で扱う入力画像は８ビットのグレイスケール画像とする。初期ＨＲ画像作成部１２０４では、入力された画像を用いて高解像画像の初期値を作成する。本実施形態では、線形補間手法を使用して初期ＨＲ画像を作成する。ＨＲ画像生成部１２０５では、ＭＡＰ推定法によって計算される修正量をＨＲ画像に加えることによりＨＲ画像を更新する。劣化画像作成部１２０６では、撮像モデル入力端子１２０３と変位情報入力端子１２０２から与えられる劣化条件と変位情報に従って入力画像を劣化させ、劣化画像を生成する。劣化条件は撮影用カメラの光学系の劣化ＰＳＦとセンサ画素数の制限によるダウンサンプリングである。本実施形態では扱うダウンサンプリングは、ダウンサンプリング時の縮小倍率（１／ｓｉｚｅ_ｘ，１／ｓｉｚｅ_ｙ）で与えられる。なお、ｓｉｚｅ_ｘ、ｓｉｚｅ_ｙは自然数であるとする。更に、複数枚画像間の位置ずれは既に変位制御する際に使用した変位量に相当するので、変位情報入力端子１２０２から撮像センサ１００の水平、垂直変位量が入力される。本実施形態は、水平、垂直方向の位置ずれを扱う。取得されるＮ枚の画像のうち、一枚目の画像を基準画像（図６に示されたI番の画像）とし、基準画像からの相対移動量を位置ずれの情報とする。基準画像の中央画像位置を原点と定め、原点に対する水平、垂直のずれ量を（Ｓ_ｈ(Ｐ)，Ｓ_ｖ(Ｐ)）を取得する。なお、Ｐ＝ｋ＝１、２、３、…、Ｎである。
【００５８】
これらの劣化条件は超解像処理に先立って、予め計測されるデータ、或いは既知のデータである。差分演算部１２０９では、画像入力端子１２０１で入力された入力画像と劣化画像作成部１２０６で作成された劣化画像を差分演算する。上記得られた画像間の差分情報の平均値を計算し、超解像画像が生成されたのかどうかを判断する。終了判定部１２０７では、差分演算部１２０９の結果を閾値と比較する。そして、差分演算部１２０９の結果が閾値より小さい場合、終了判定部１２０７は０と出力する。差分演算部１２０９の結果が閾値より大きい場合、終了判定部１２０７は１と出力し、差分演算部１２０９の結果を修正量計算部１２０８に入力する。終了判定部１２０７で入力された結果１である場合、修正量計算部１２０８では修正量を計算し、修正量を出力する。終了判定部１２０７で入力された結果０である場合、修正量計算部１２０８は０として出力する。修正量計算部１２０８の結果によりＨＲ画像生成部１２０５でＨＲ画像を生成する。具体的には、修正量計算部１２０８で得た修正量をＨＲ画像に加える。修正量計算の詳細を後述する。修正量計算部１２０８の修正量がゼロである場合、ＨＲ画像生成部１２０５はＨＲ画像生成し、ＨＲ画像出力端子１２１０に送る。修正量計算部１２０８の修正量が非ゼロの場合、劣化画像作成部１２０６に送る。差分演算部１２０９の結果が閾値より小さくなると、ＨＲ画像出力端子１２１０からＨＲ画像を出力し、ＨＲ画像の生成が完了する。
【００５９】
図１３は、信号処理部１０３の超解像生成部１００４の処理を示すフローチャートである。ステップＳ１３０１で、撮影画像を入力する。Ｙは入力画像を示す。ステップＳ１３０２で、取得された複数枚画像間の位置ずれ情報を含むＭk行列を入力する。ステップＳ１３０３で、撮像装置の光学劣化条件Ｂ行列を入力する。ステップＳ１３０４で、撮像装置のダウンサンプリングＤ行列を入力する。ステップＳ１３０５で、初期ＨＲ画像を生成する。初期ＨＲ画像は線形補間により横サイズＭ倍、縦サイズＮ倍に拡大する。ステップＳ１３０６で、閾値を取得する。ステップＳ１３０８で、式（１０）を用いて推定劣化画像Ｙ'を作成する。
【００６０】
【数７】
【００６１】
ＨＲ画像は、ステップＳ１３０７からの繰り返し演算によってステップＳ１３１３で生成される。ｉ回目の演算で生成されたＨＲ画像をＸiとする。ステップＳ１３０７〜Ｓ１３０９の間で入力された画像の枚数分の推定劣化画像を生成するループである。ステップＳ１３１３で、ステップＳ１３０８の計算で得た推定劣化画像と撮影された全ての画像、全ての画素について差分を取って、差分値の平均値と閾値と比較する。差分値の平均値が閾値より小さい場合には、ステップＳ１３１４に進み、繰り返し演算が終わる設定になっている。差分値の平均値が閾値より大きいであれば、ステップＳ１３１０に進み、ＨＲ画像の修正量を計算する更新項を求める。更新項の求め方は後述する。ステップＳ１３１１で、ループ回数をカウントする。ステップＳ１３１２で、ＨＲ画像にステップＳ１３１０で計算された更新項の結果を加えてＨＲ画像を更新する。ステップＳ１３１３において計算される差分値の平均値が閾値以下となるまで、ステップＳ１３０７〜ステップＳ１３１３の処理を繰り返し行う。
【００６２】
ステップＳ１３１０では、ＨＲ画像の更新項を計算する。上記評価関数での結果を受けて推定ＨＲにフィードバックを行い、推定ＨＲ画像を更新する。本実施形態では最急降下法を用いて推定ＨＲ画像を更新する。最急降下法は最小化する関数の一次微分のみを使用した最適化手法である。最急降下法を評価関数式に適応すると、下式（１１）が計算される。
【００６３】
【数８】
【００６４】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいて撮像センサ１００の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００６５】
（第２の実施形態）
第２の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、レンズを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。なお、撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。
【００６６】
本実施形態では、図２に示すように、撮像光学系の撮影レンズ２０２の含まれるシフトレンズ１４０１を変位させることにより、撮像センサ１００に到着する光線を変位させる。すなわち、シフトレンズ１４０１を介して入射した光束を、撮像センサ１００の面上に水平方向、垂直方向にそれぞれ画素間隔より小さい変位量でシフトさせる。
【００６７】
図１４は、シフトレンズ１４０１を示す図であり、（ａ）が正面図、（ｂ）が側面図である。本実施形態では、変位装置である電磁アクチュエータ１４０２でシフトレンズ１４０１をシフトさせる。矢印は、電磁アクチュエータ１４０２によるシフトレンズ１４０１の運動方向（変位方向）を示す。電磁アクチュエータ１４０２によりシフトレンズ１４０１を水平、垂直シフトすることによって、シフトレンズ１４０１のサブピクセルレベルの変位を制御する。
【００６８】
図１５は、図１に示した変位制御部１１６の構成を示すブロック図である。図４で示した第１の実施形態における変位制御部１１６と比較し、撮像センサの変位量制御部４０５が、レンズの変位量制御部１５０１に変更されている。撮像レンズの変位量制御部１５０１では、シフトレンズ１４０１の水平、垂直の変位量をそれぞれ計算し制御する。
【００６９】
図１６は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。第１の実施形態の図８のフローチャートと異なる点についてのみ説明する。図１６のフローチャートでは、図８のステップＳ８０３、Ｓ８０４、Ｓ８１３、Ｓ８１４を、ステップＳ１６０１、Ｓ１６０２、Ｓ１６０３、Ｓ１６０４に変更している。
【００７０】
ステップＳ１６０１で、変位制御部１１６の変位量制御部１５０１は、式（１）を用いてシフトレンズ１４０１の単位水平変位量ｄ_ｈを計算する。ステップＳ１６０２で、変位制御部１１６の変位量制御部１５０１は、式（２）を用いてシフトレンズ１４０１の単位垂直変位量ｄ_ｖを計算する。
【００７１】
また、変位制御部１１６の変位量制御部１５０１は、ステップＳ１６０３で、水平変位量を計算し、ステップＳ１６０４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００７２】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいてシフトレンズ１４０１の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００７３】
（第３の実施形態）
第３の実施形態では、被写体の像を電子的に取得する撮像センサを備えた撮像装置において、撮像装置そのものを微小位置変位させて、複数枚の微小位置ずれのある画像を取得する方式を説明する。なお、撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明する。
【００７４】
図１７は、撮像装置及び撮像装置を変位させる装置を備えた三脚を示す図である。図１７に示すように、三脚１７０３上に撮像装置１７０４を水平変位させる装置１７０２と、垂直変位させる装置１７０１を設置し、それらの変位装置１７０１、１７０２の上に撮像装置１７０４を設置している。
【００７５】
図１８は、図１に示した変位制御部１１６の構成を示すブロック図である。図４で示した第１の実施形態における変位制御部１１６と比較し、撮像センサの変位量制御部４０５が、撮像装置本体の変位量制御部１８０１に変更されている。撮像装置本体の変位量制御部１８０１では、撮像装置１７０４の水平、垂直の変位量をそれぞれ計算し制御する。
【００７６】
図１９は、図５のステップＳ５０３、Ｓ５０４の変位制御パラメータを生成する処理の詳細を示すフローチャートである。第１の実施形態の図８のフローチャートと異なる点についてのみ説明する。図１９のフローチャートでは、図８のステップＳ８０３、Ｓ８０４、Ｓ８１３、Ｓ８１４を、ステップＳ１９０１、Ｓ１９０２、Ｓ１９０３、Ｓ１９０４に変更している。
【００７７】
ステップＳ１９０１で、変位制御部１１６の変位量制御部１８０１は、式（１）を用いて撮像装置１７０４の単位水平変位量ｄ_ｈを計算する。ステップＳ１９０２で、変位制御部１１６の変位量制御部１８０１は、式（２）を用いて撮像装置１７０４の単位垂直変位量ｄ_ｖを計算する。
【００７８】
また、変位制御部１１６の変位量制御部１８０１は、ステップＳ１９０３で、水平変位量を計算し、ステップＳ１９０４で、垂直変位量を計算する。撮影順番のＰの水平変位量Ｓ_ｈ(Ｐ)は式（６）を用いて計算し、垂直変位量Ｓ_ｖ(Ｐ)は式（７）を用いて計算する。
【００７９】
以上説明したように、撮影部パラメータと撮影時パラメータとに基づいて撮像装置１７０４の変位制御を行うことにより、高解像度画像を生成する上で好適な微小位置ずれのある複数枚の画像を取得することができる。
【００８０】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。上記実施形態では、撮像に関するパラメータを取得し、撮像センサ１００（又はシフトレンズ１４０１又は撮像装置１７０４）の変位量及び変位タイミングを決定し、撮像センサ１００により取得した複数枚の微小位置ずれのある画像データを用いて高解像度画像を生成する処理の全てを撮像装置が実行する例を説明したが、これらの処理の一部或いは全てを、撮像装置に接続する画像処理装置で実行するような形態としてもよい。
【００８１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８２】
１００：撮像センサ、１０１：撮像部、１０３：信号処理部、１０６：ＣＰＵ、１１４：撮像部パラメータ取得部、１１５：撮像時パラメータ取得部、１１６：変位制御部、１１７：変位装置
【特許請求の範囲】
【請求項１】
被写体の像を取得する撮像センサを備えた撮像装置であって、
撮像に関するパラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び当該撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、
前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び当該撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記撮像に関するパラメータには、前記撮像センサのセンサピッチ情報が含まれることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像に関するパラメータには、超解像倍率が含まれることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像に関するパラメータには、露光時間が含まれることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行う画像処理装置であって、
撮像に関するパラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、
前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする画像処理装置。
【請求項６】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行う画像処理方法であって、
撮像に関するパラメータを取得するステップと、
前記取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定するステップと、
前記決定した変位量及び変位タイミングに従って前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより複数枚の位置ずれのある画像データを取得するステップと、
前記複数枚の位置ずれのある画像データを用いて高解像度画像を生成するステップとを有することを特徴とする画像処理方法。
【請求項７】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行うためのプログラムであって、
撮像に関するパラメータを取得する処理と、
前記取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定する処理と、
前記決定した変位量及び変位タイミングに従って前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより複数枚の位置ずれのある画像データを取得する処理と、
前記複数枚の位置ずれのある画像データを用いて高解像度画像を生成する処理とをコンピュータに実行させるためのプログラム。
【請求項１】
被写体の像を取得する撮像センサを備えた撮像装置であって、
撮像に関するパラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び当該撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、
前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び当該撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記撮像に関するパラメータには、前記撮像センサのセンサピッチ情報が含まれることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像に関するパラメータには、超解像倍率が含まれることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像に関するパラメータには、露光時間が含まれることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行う画像処理装置であって、
撮像に関するパラメータを取得するパラメータ取得手段と、
前記パラメータ取得手段で取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定し、制御する変位制御手段と、
前記変位制御手段による制御下で前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより取得した複数枚の位置ずれのある画像データを用いて高解像度画像を生成する信号処理手段とを備えたことを特徴とする画像処理装置。
【請求項６】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行う画像処理方法であって、
撮像に関するパラメータを取得するステップと、
前記取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定するステップと、
前記決定した変位量及び変位タイミングに従って前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより複数枚の位置ずれのある画像データを取得するステップと、
前記複数枚の位置ずれのある画像データを用いて高解像度画像を生成するステップとを有することを特徴とする画像処理方法。
【請求項７】
被写体の像を取得する撮像センサを備えた撮像装置を用いて超解像処理を行うためのプログラムであって、
撮像に関するパラメータを取得する処理と、
前記取得したパラメータに基づいて、前記撮像センサ、前記撮像センサに結像する撮影レンズ及び前記撮像装置のいずれかの変位量及び変位タイミングを決定する処理と、
前記決定した変位量及び変位タイミングに従って前記撮像センサ、前記撮影レンズ及び前記撮像装置のいずれかを変位させて前記撮像センサにより複数枚の位置ずれのある画像データを取得する処理と、
前記複数枚の位置ずれのある画像データを用いて高解像度画像を生成する処理とをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−７４３３７（Ｐ２０１３−７４３３７Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２０９８９０（Ｐ２０１１−２０９８９０）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]