撮像装置及びフォーカス制御プログラム
【課題】撮像装置の焦点合わせの精度を向上させること。
【解決手段】撮像装置としてのデジタルカメラ１０を、ＣＣＤ撮像素子１６と、レンズ系１２と、このレンズ系１２の焦点を合わせるモータ３０と、ＣＣＤ撮像素子１６で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する高解像度化領域選択部２４及び画像高解像度化部２６と、高解像度化された画像を用いて、レンズ系１２の合焦点位置を検出し、その検出した合焦点位置に基づいて、モータ３０にレンズ系１２の焦点を調整させる合焦点検出部２８と、から構成する。
【解決手段】撮像装置としてのデジタルカメラ１０を、ＣＣＤ撮像素子１６と、レンズ系１２と、このレンズ系１２の焦点を合わせるモータ３０と、ＣＣＤ撮像素子１６で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する高解像度化領域選択部２４及び画像高解像度化部２６と、高解像度化された画像を用いて、レンズ系１２の合焦点位置を検出し、その検出した合焦点位置に基づいて、モータ３０にレンズ系１２の焦点を調整させる合焦点検出部２８と、から構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の画像を電子的に記録する撮像装置及びそのような撮像装置のフォーカス制御プログラムに関する。
【背景技術】
【０００２】
従来、焦点合わせ技術において、オートフォーカスを行なう場合には、画像を撮像し、その撮像された被写体画像のエッジ鮮鋭度を計算し、その鮮鋭度に応じて、画像の焦点距離を変化させ、焦点合わせを行なっていた。また、マニュアルフォーカスを行なう場合には、カメラに備えられたＬＣＤビューワにより、撮像された被写体画像を表示し、その被写体画像のエッジ鮮鋭度をユーザが目視で確認し、マニュアルフォーカスを行なっていた。
【０００３】
例えば、特許文献１には、デジタルカメラのモニタ表示における被写体の確認において、レリーズボタンが押圧されていない状態では、デジタルカメラに設けられた液晶表示装置に、撮像素子で撮像した被写体の全体画像をこの液晶装置の解像度で表示し、レリーズボタンが半押しの状態になったならば、あらかじめユーザにより設定されたフォーカスエリア中心付近の領域の画像をより高解像度で拡大エリア表示内に表示する発明が開示されている。
【特許文献１】特開２００３−１７９７９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、マニュアルフォーカスにおいて、焦点合わせに用いる画像のエッジの鮮鋭度をユーザが目視によって確認するために、例えば、ニアレストネイバ法を用いて画像拡大を行い、エッジの鮮鋭度をユーザが目視し易くする手法が採られている。また、オートフォーカスでは、焦点合わせに用いる画像のエッジ鮮鋭度を計算する方法として、例えば、エッジ付近においてラプラシアンフィルタによる処理を行い、エッジ鮮鋭度を計算するという手法が採られる。
【０００５】
しかし、これらの従来の手法では、１枚の画像のみの拡大によりエッジ鮮鋭度の確認を行なうため、エッジ鮮鋭度評価に対する信頼度が低く、焦点合わせが精度よく行なえないという問題があった。例えば、マニュアルフォーカスの場合には、エッジ鮮鋭度の目視確認のためにＬＣＤビューワで画像の拡大表示を行なった場合、１枚の画像のみの拡大法であるため、その画像の解像度が不十分となり、マニュアルフォーカスが精度よく行なえないという問題があった。また、例えば、オートフォーカスの場合には、エッジ鮮鋭度の計算時に１枚の画像のみを用いての拡大法であるため、エッジ付近での解像度の不足、ノイズの存在により、オートフォーカスを行なう場合のエッジ鮮鋭度の評価値の算出が満足に行なえないという問題があった。
【０００６】
特に、強拡大表示では、ジャギーが大きく現れ、拡大ボケもあるために、合焦位置の前後での鮮鋭度の変化が少ない場合がある。また、ニアレストネイバ法による画像拡大では、鮮鋭感が確認できるものの、実物とブロック歪みを多く持つ拡大像とでは、見え方が大きく異なるため、不自然であり、光学ファインダによるフォーカスになれているユーザにとっては違和感が大きい。
【０００７】
本発明は、上記の点に鑑みてなされたもので、焦点合わせの精度を向上させることが可能な撮像装置及びフォーカス制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の一態様は、被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする。
【０００９】
また、本発明の撮像装置の一態様は、被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする。
【００１０】
また、本発明のフォーカス制御プログラムの一態様は、被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させることを特徴とする。
【００１１】
また、本発明のフォーカス制御プログラムの一態様は、被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、焦点合わせの精度を向上させることが可能な撮像装置及びフォーカス制御プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明を実施するための最良の形態を説明する。
【００１４】
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置としてのデジタルカメラ１０の構成を示すブロック構成図である。このデジタルカメラ１０は、レンズ系１２、カラーフィルタアレイ（ＣＦＡ）１４、ＣＣＤ撮像素子１６、増幅回路１８、Ａ／Ｄ変換回路２０、バッファ２２、高解像度化領域選択部２４、画像高解像度化部２６、合焦点検出部２８、モータ３０、制御部３２、外部Ｉ／Ｆ部３４、画像記録部３６、及び出力部３８を備えている。さらに、画像高解像度化部２６は、使用枚数制御部２６Ａ、基準画像選択部２６Ｂ、画像変位推定部２６Ｃ、高解像度化ターゲット画像選択部２６Ｄ、及び高解像度化処理部２６Ｅを有している。
【００１５】
即ち、このデジタルカメラ１０においては、レンズ系１２、ＣＦＡ１４、及びＣＣＤ撮像素子１６を介して撮影された映像は、増幅回路１８において増幅され、Ａ／Ｄ変換回路２０へ入力され、デジタル信号へと変換される。また、Ａ／Ｄ変換回路２０からの出力は、映像信号線を介して、バッファ２２に入力される。なお、本実施の形態においては、撮像系にＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定している。Ｂａｙｅｒ型原色フィルタは、２×２画素を基本単位とし、赤（Ｒ）、青（Ｂ）フィルタが１画素ずつ、緑（Ｇｒ，Ｇｂ）フィルタが２画素配置される。これらの緑フィルタは同一のものであるが、本実施の形態においては、便宜的にこれらをＧｒ、Ｇｂと区別している。
【００１６】
バッファ２２からの出力は、映像信号線を介して、画像記録部３６と高解像度化領域選択部２４とへ入力される。これら画像記録部３６と高解像度化領域選択部２４とは、画像高解像度化部２６へと映像信号線を介して入力を行い、画像記録部３６は、さらに画像高解像度化部２６からの出力を入力されることができる。画像高解像度化部２６と画像記録部３６とからの出力は、映像信号線を介して出力部３８に入力される。
【００１７】
外部Ｉ／Ｆ部３４は、制御部３２と制御信号線を介して双方向に接続され、この制御部３２も、制御信号線を介して、ＣＣＤ撮像素子１６、増幅回路１８、Ａ／Ｄ変換回路２０、合焦点検出部２８、モータ３０、及び画像高解像度化部２６と双方向接続されている。したがって、ユーザは、外部Ｉ／Ｆ部３４を介して、ＩＳＯ感度などの撮影条件を設定することができる。
【００１８】
画像高解像度化部２６からの出力は、映像信号線を介して、合焦点検出部２８に入力され、この合焦点検出部２８は、制御線を介してモータ３０を制御することにより、レンズ系１２を合焦点位置で調整する。
【００１９】
図２（Ａ）は、このデジタルカメラ１０の動作フローチャートを示す図である。
【００２０】
即ち、ユーザが、撮影条件を設定した後に、レリーズボタンを半押しにすることで、プリ撮影モードに入る（ステップＳ１０）。プリ撮影モードの間に、ＣＣＤ撮像素子１６は、複数枚の画像の撮影を行い、撮影された映像信号は、上記のようにＡ／Ｄ変換回路２０でデジタル信号へと変換され、バッファ２２を介して、高解像度化領域選択部２４へと転送される。
【００２１】
この高解像度化領域選択部２４では、画像の高解像度化の処理を行なう画像の領域を選択する（ステップＳ１２）。画像の高解像度化を行なう領域を選択する手段としては、画像の焦点位置を合わせるための領域を選択する目的であるので、画像に高周波成分が含まれていることが好ましいことから、画像に含まれるエッジ領域を主に選択する。つまり、ラプラシアンフィルタなどの微分フィルタの畳込み後の積分値であるエッジエネルギーを多くもつ領域をエッジエネルギーとして優先的に領域選択を行なう。また、焦点合わせを行ないたい主要な被写体は、撮影画像の中央に存在する可能性が高いことから、撮影画像の端の領域よりも、中央の領域を優先的に領域選択を行なう方法を合わせて用いることができる。また、プリ撮影中に複数枚の撮影を行なう時に、人物などの動物体であった場合には、複数枚の画像の画像間差分を検出することで被写体の動きを検出でき、その動きから被写体を選択領域として優先的に選択してもよいものとする。このように、領域選択される領域は、画像内において１個所に留まらず、複数箇所において領域選択されても構わないものとする。また、以上に記載した高解像度化領域選択の方法は、例示的なものであり、他の高解像度化領域選択の方法が採用されてもよい。
【００２２】
このように高解像度化領域選択部２４において選択された選択領域情報を用いて、複数枚のプリ撮影画像は、選択領域だけをトリミング処理され、画像高解像度化部２６へと映像信号線を介して転送される。
【００２３】
画像高解像度化部２６は、上記のように選択された選択領域情報に基づいて、高解像度化の処理を行なう（ステップＳ１４）。この高解像度化処理の詳細については後述する。画像高解像度化部２６から出力される高解像度化画像は、合焦点検出部２８に入力される。この合焦点検出部２８は、その高解像度化画像を用いて合焦点を検出し、その検出結果に従ってモータ３０を制御して、レンズ系１２のフォーカスの調整を行なう（ステップＳ１６）。このフォーカス調整の詳細については後述する。そして、このフォーカス調整により合焦状態が得られたか否かを判別する（ステップＳ１８）。この判別の手法についても後述する、そして、未だ合焦状態となっていなければ、更に、引き続きレリーズボタンが半押しされているかどうか確認し（ステップＳ２０）、半押しされたままであれば上記ステップＳ１０に戻って、上記の処理を繰り返す。また、レリーズボタンの半押しが解除されている場合には、動作を終了する。
【００２４】
而して、上記ステップＳ１８において合焦状態が得られたと判別された時には、レリーズボタンが全押しにされるまで待機状態となり、所謂フォーカスロックがなされる。即ち、レリーズボタンが全押しされたか否かを判別し（ステップＳ２２）、全押しされていない場合には、更に、レリーズボタンの半押しが維持されているか否かを判別する（ステップＳ２４）。そして、半押しが解除されていなければ、上記ステップＳ２２に戻る。こうして、レリーズボタンが全押しされるまで、ステップＳ２２とステップＳ２４のループを回ることで、待機状態となる。なお、上記ステップＳ１８で合焦状態となったと判別された際には、そのことを音や表示によって使用者に報知することが望ましい。また、上記ステップＳ２４において、レリーズボタンの半押しが解除された場合は、動作を中止する。
【００２５】
そして、上記ステップＳ２２においてレリーズボタンの全押しが検出された場合には、上記のように調整されたフォーカスで本撮影を行なう（ステップＳ２６）。本撮影された画像は、バッファ２２から画像記録部３６に転送され、ここで記録される（ステップＳ２８）。また、必要に応じて、この画像記録部３６に記録された画像は、出力部３８へ転送され、該デジタルカメラ１０より画像出力が行なわれる。更には、この画像記録部３６に記録された画像は、画像高解像度化部２６へ転送されて画像高解像度化処理のリソースとされ、その結果の高解像度化画像を画像記録部３６に記録したり、出力部３８へ転送して該デジタルカメラ１０より出力したりすることもできる。
【００２６】
なお、上記ステップＳ１４の高解像度化の処理で得られた高解像度化画像を画像記録部３６に記録したり、出力部３８で出力したりすることが可能なことは勿論である。
【００２７】
次に、上記ステップ１４で実行される画像高解像度化の処理について、詳細に説明する。
【００２８】
上述したように、画像高解像度化部２６は、使用枚数制御部２６Ａ、基準画像選択部２６Ｂ、画像変位推定部２６Ｃ、高解像度化ターゲット画像選択部２６Ｄ、及び高解像度化処理部２６Ｅを有している。
【００２９】
使用枚数制御部２６Ａは、外部Ｉ／Ｆ部３４で指定された撮影モード、焦点距離、及び像倍率のうち、少なくとも１つに応じて、高解像度化処理を行なう使用画像の枚数を制御する。この使用枚数制御部２６Ａにより、例えば、夜景撮影モードでは光量が少ないため枚数を多くしたり、像倍率が低い場合には枚数を多くしたり、焦点距離が短い場合は枚数を多くしたり等の制御が可能となる。使用枚数制御部２６Ａは、撮影に先立って、高解像度化に使用する画像を高解像度化の基準となる画像を含めて１枚以上選択するものとする。
【００３０】
図２（Ｂ）は、該画像高解像度化の処理のフローチャートである。即ち、画像高解像度化部２６に入力された（トリミング処理された）複数枚のプリ撮影画像から、基準画像選択部２６Ｂにおいて、画像変位推定の基準となる基準画像が１枚選択される（ステップＳ１４１）。この後、この基準画像選択部２６Ｂにおいて選択された基準画像と基準画像以外のプリ撮影画像との画像対応位置を画像変位推定部２６Ｃにおいて求める（ステップＳ１４２）。続いて、高解像度化処理の対象となる高解像度化ターゲット画像が選択される（ステップＳ１４３）。最後に、この高解像度化ターゲット画像に対して高解像度化処理が行なわれる（ステップＳ１４４）。
【００３１】
上記の画像変位推定部２６Ｃで行なわれる画像変位推定の手段として、画素対応位置を求める画像変位推定のアルゴリズムの詳細を以下で説明する。図３は、この画像変位推定のアルゴリズムを実行する画像変位推定部２６Ｃの処理を示すフローチャートである。
【００３２】
まず、上記ステップＳ１４１で選択した画像変位推定の基準となる基準画像を１つ読み込む（ステップＳ１４２１）。次に、この読み込まれた基準画像を複数の画像変位で変形させ、画像列を生成する（ステップＳ１４２２）。この変形は、例えば、水平、垂直方向に対しては、±１ピクセルの動きパラメータで、回転方向に対しては、±１°[ｄｅｇｒｅｅ]の動きパラメータで、基準画像を１９通り（２７通り中８通り（（１[ピクセル]、１[ピクセル]、−１[ｄｅｇｒｅｅ]）、（１、−１、１）、（−１、１、１）、（１、−１、−１）、（−１、１、−１）、（−１、−１、１）、（１、１、１）、（−１、−１、−１））は、省略可能。）に変形させる。
【００３３】
続いて、読み込まれた基準画像との間の画像変位推定を行なうプリ撮影画像を参照画像として１つ読み込む（ステップＳ１４２３）。次に、読み込まれた基準画像及び参照画像の間で、領域ベースマッチング等のピクセルマッチング手法により大まかな画素位置の対応付けを行なう（ステップＳ１４２４）。次に、上記ステップＳ１４２２で生成された画像列と参照画像との間の類似度値を算出する（ステップＳ１４２５）。そして、画像変位のパラメータと、上記ステップＳ１４２５において算出された類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ１４２６）。このような類似度マップが、図４に模式的に示されている。この図４において、縦軸は、類似度を表し、値が小さいほど類似が高い。横軸は、画像を変形させた動きのパラメータを示している。
【００３４】
続いて、上記ステップＳ１４２６において作成された離散的な類似度マップを補間することにより補間された連続的な類似度のマップを作成し、この連続的な類似度マップの極値を探索し、連続的な類似度値の極値（画像変位推定値）を求める（ステップＳ１４２７）。このように離散的な類似度マップを連続的な類似度マップに補間する方法として、パラボラフィッティング、スプライン補間等がある。図４には、パラボラフィッティングされた連続的な類似度マップが曲線として表現されている。
【００３５】
この後、対象となる全ての参照画像において画像変位推定を行なったか否かを確認し（ステップＳ１４２８）、未だ画像変位推定を行っていない参照画像がある場合には、次の参照画像のフレーム番号を選択して（ステップＳ１４２９）、上記ステップＳ１４２３に戻り、上記処理を継続する。
【００３６】
そして、対象となる全ての参照画像において画像変位推定を行なったならば（ステップＳ１４２８）、この画像変位推定の処理を終了する。
【００３７】
このようにして画像変位推定部２６Ｃで画像変位推定値が求められたならば、次に、上記ステップＳ１４３にて高解像度化ターゲット画像選択部２６Ｄにより高解像度化ターゲット画像が選択され、ステップＳ１４４にて高解像度化処理部２６Ｅにより、それら画像変位推定値と、プリ撮影された複数枚のプリ撮影画像、及び高解像度化ターゲット画像の選択情報を用いて、高解像度化ターゲット画像の画像高解像度化処理が行なわれる。
【００３８】
図５は、上記ステップＳ１４４にて高解像度化処理部２６Ｅにおいて行なわれる高解像度化処理を示すフローチャートである。本実施形態においては、この高解像度化処理のアルゴリズムとして「超解像処理」を用いている。この超解像処理の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｍｅｄｉａ（ＣＶＩＭ） Ｖｏｌ．２００４， Ｎｏ．１１３， ｐｐ．９７−１０４（２００４−１１）」に開示されている。
【００３９】
まず、高解像度画像推定に用いるため、低解像度の複数枚のプリ撮影画像が読み込まれる（ステップＳ１４４１）。続いて、それら読み込んだ複数枚のプリ撮影画像の内、高解像度化ターゲット画像選択部２６Ｄにおいて選択されたプリ撮影画像を、高解像度化のターゲット画像とする。そして、このターゲット画像に対して線形補間やバイキューブリック補間等の補間処理を行なうことにより初期の高解像度化画像を作成する（ステップＳ１４４２）。この補間処理は、場合によって省略することができる。
【００４０】
そして、画像変位推定部２６Ｃで推定された画像変位情報により、ターゲット画像とそれ以外のプリ撮影画像との画像間の画素対応位置を明らかにし（ステップＳ１４４３）、その画像対応位置情報を元にして、ターゲット画像の拡大画像を基準とする座標空間で、重ね合わせ処理を行い、レジストレーション画像ｙを生成する。このレジストレーション画像ｙを生成する方法の詳細については、上記文献「再構成型超解像処理の高速化アルゴリズム」に開示されている。このステップでの重ね合わせ処理は、例えば、複数枚のプリ撮影画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていく処理を行なう。ターゲット画像とその他のプリ撮影画像との間の画像変位は、画像変位推定部２６Ｃで推定された、基準画像とターゲット画像との画像間変位、及び基準画像とターゲット画像以外の画像との画像間変位を統合することにより、生成する。
【００４１】
次に、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮にいれた点広がり関数（ＰＳＦ）を求める（ステップＳ１４４４）。ＰＳＦは、例えば、Ｇａｕｓｓ関数を簡易に用いることができる。
【００４２】
次に、これらのステップＳ１４４３による画素対応の情報とステップＳ１４４４のＰＳＦの情報とを元にして、評価関数ｆ（ｚ）の最小化を行なう（ステップＳ１４４５）。この評価関数ｆ（ｚ）は、以下のような式で表される。
【数１】
【００４３】
ここで、ｙはステップＳ１４４３で生成されたレジストレーション画像、ｚはターゲット画像の高解像度化された結果画像（高解像度化画像）、ＡはＰＳＦ、ＣＦＡ等を含む撮像システムを表現する画像変換行列であり、光学系の点像分布関数、サンプリング開口によるぼけ、ＣＦＡ１４による各色コンポネント等を含んでいる。ｇ（ｚ）は画像の滑らかさや画像の色の相関を考慮した拘束項等である。λは重み係数である。評価関数の最小化には、例えば、最急降下法を用いる。
【００４４】
この最急降下法を用いた場合、評価関数ｆ（ｚ）の高解像度化画像ｚにおける微分値を計算し、その微分値を高解像度化画像ｚに付加してくことで、画像を更新させていき評価関数ｆ（ｚ）の最小値を得る。費用価関数ｆ（ｚ）の微分値は、以下のようになる。
【数２】
【００４５】
この微分値を高解像度化画像ｚに付加していき、画像を更新させ評価関数ｆ（ｚ）の最小値を得る。
【数３】
【００４６】
ここで、ｚｎはｎ回目の高解像度化された結果画像（高解像度化画像）を表し、αは更新量の歩み幅を表す。
【００４７】
この式（３）のような表現をとることにより、ソフトウェアによる最小化のステップが高速化する。
【００４８】
そして、上記ステップＳ１４４５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ１４４６）。ここで、未だ、評価関数ｆ（ｚ）が最小化されていない場合には、高解像度化画像ｚｎを更新して（ステップＳ１４４７）、上記ステップＳ１４４５に戻り、評価関数ｆ（ｚ）の最小化の処理を再び行なう。
【００４９】
而して、上記ステップＳ１４４５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度化画像ｚが得られたとして、この高解像度化処理を終了する。
【００５０】
なお、高解像度化ターゲット画像選択部２６Ｄで複数の低解像度画像がターゲット画像として選択された場合には、それら選択された全ての低解像度画像について、上記ステップＳ１４４２乃至ステップＳ１４４６の処理を行なう。
【００５１】
図６は、上で説明された高解像度化処理を行なうための高解像度化処理部２６Ｅの構成の一例を示すブロック図である。この高解像度化処理部２６Ｅは、補間拡大部２６Ｅ１、画像蓄積部２６Ｅ２、ＰＳＦデータ保持部２６Ｅ３、第１畳込み積分部２６Ｅ４、レジストレーション画像生成部２６Ｅ５、画像比較部２６Ｅ６、第２畳込み積分部２６Ｅ７、正則化項演算部２６Ｅ８、更新画像生成部２６Ｅ９、及び収束判定部２６Ｅ１０を備えている。
【００５２】
以下、図５を参照して説明した高解像度化の処理が、このような構成の高解像度化処理部２６Ｅの各部によりどのように実行されるのかを説明する。
【００５３】
即ち、始めに、高解像度化ターゲット画像選択部２６Ｄで選択された高解像度化のターゲット画像を、補間拡大部２６Ｅ１に転送し、該補間拡大部２６Ｅ１において、このターゲット画像の補間拡大を行なう（上記ステップＳ１４４１に対応）。用いられる補間拡大の手法としては、例えば、バイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は、画像蓄積部２６Ｅ２に転送され、ここに蓄積される。
【００５４】
画像蓄積部２６Ｅ２に蓄積された画像は、第１畳込み積分部２６Ｅ４に転送され、この第１畳込み積分部２６Ｅ４にて、ＰＳＦデータ保持部２６Ｅ３から転送されるＰＳＦデータとの間で畳込み積分が行なわれる（この畳込み積分は上記式（２）の中のＡＴ（ｙ−Ａｚ）の演算の中のＡｚの部分に対応する）。
【００５５】
また、ターゲット画像は、それ以外の複数枚のプリ撮影画像と共に、レジストレーション画像生成部２６Ｅ５にも転送され、該レジストレーション画像生成部２６Ｅ５において、画像変位推定部２６Ｃで求められた各フレーム間の画像変位情報を元に、ターゲット画像の拡大座標を基準とする座標空間で重ね合わせ処理を行い、レジストレーション画像を生成する（上記ステップＳ１４４３に対応）。ここでの重ね合わせ処理は、例えば、複数枚画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上に画素を置いていく処理により行なう。この時、同一格子点上に複数のピクセル値を置くことが想定されるが、この場合は、複数のピクセル値の間で取られた平均値を置くことができる。
【００５６】
次に、第１畳込み積分部２６Ｅ４で畳込み演算された画像データは、画像比較部２６Ｅ６に転送され、該画像比較部２６Ｅ６において、レジストレーション画像生成部２６Ｅ５にて生成されたレジストレーション画像との間で、同一ピクセル位置においてそのピクセル値の差分値を算出し、差分画像データが生成される（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のｙ−Ａｚに対応）。この画像比較部２６Ｅ６において生成された差分画像データは、第２畳込み積分部２６Ｅ７に転送され、該第２畳込み積分部２６Ｅ７において、ＰＳＦデータ保持部２６Ｅ３により与えられるＰＳＦデータとの間で畳込み積分が行なわれる（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のＡＴ・（ｙ−Ａｚ）に対応）。
【００５７】
さらに、画像蓄積部２６Ｅ２に蓄積された画像から、正則化項演算部２６Ｅ８によって正則化画像が生成される。即ち、この正則化項演算部２６Ｅ８においては、例えば、画像蓄積部２６Ｅ２に蓄積された画像に対して、ＲＧＢからＹＣｒＣｂへの色変換処理が行なわれ、そのＣｒ、Ｃｂ成分（色差成分）において、周波数広域通過フィルタ（ラプラシアンフィルタ）の畳込み演算処理を行い、正則化画像を生成する。この方法で生成した正則化画像を更新画像生成部２６Ｅ９において用いることにより、「一般に画像の色差成分は滑らかな変化である」という画像の先見情報を用いることになるので、色差を抑制した高解像度化画像を安定して求めることができるようになる（上記式（２）のｇ（ｚ）のｚによる偏微分に対応）。
【００５８】
そして、上記の第２畳込み積分部２６Ｅ７で生成された画像、画像蓄積部２６Ｅ２に蓄積されている画像、及び正則化項演算部２６Ｅ８で生成された画像は、更新画像生成部２６Ｅ９に転送され、該更新画像生成部２６Ｅ９において、これら３枚の画像の重み付けされた画像を生成することにより、更新画像を生成する（上記式（３）に対応）。生成された更新画像は、収束判定部２６Ｅ１０に転送され、該収束判定部２６Ｅ１０において収束判定が行なわれる。この収束判定にあっては、収束に必要とされた繰り返し演算回数が一定回数よりも多くなった場合に画像の更新作業は収束したと判断するようにしてもよいし、また、繰り返しの過去の更新画像を保持しておき、現在の更新画像との差分を取り、その差分が一定の値よりも小さいと判断された場合に画像の更新作業は収束したと判断するようにしてもよい。収束判定部２６Ｅ１０において、更新作業が収束したと判断された場合、更新画像は、高解像度化画像として外部に出力される。
【００５９】
これに対して、更新作業が収束していないと判断された場合には、更新画像は、画像蓄積部２６Ｅ２へ転送され、反復される更新作業の次の回の更新画像生成の為に利用される。そして、次回の更新画像生成の為に、第１畳込み積分部２６Ｅ４、正則化項演算部２６Ｅ８及び更新画像生成部２６Ｅ９へと与えられる。
【００６０】
以上の処理を繰り返すことにより、更新画像生成部２６Ｅ９で生成される更新画像を更新し、最終的な高解像度化画像を得る。
【００６１】
図７は、このように得られた最終的な高解像度化画像と、高解像度化領域選択部２４で選択された領域選択画像（低解像度画像）とを比較して示す図である。同図において、右側は高解像度化される前の低解像度画像であり、左側はその低解像度画像を基に高解像度化された高解像度化画像を示している。また、上側は鮮鋭度が高く、下側は鮮鋭度が低いものである。本実施形態で採用されている超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の低い画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。図７に示した例では、鮮鋭度の高い高解像度化画像は、鮮鋭度の低い高解像度化画像よりも、それぞれの対応する低解像度画像に対する高解像度化の効果が顕著に現れている。このアルゴリズムそのものの性質は、以下で説明する焦点合わせのための制御に有利に働く。
【００６２】
このように画像高解像度化部２６内の高解像度化処理によって、高解像度化領域選択部２４において領域選択された複数枚の画像の選択領域は高解像度化される。このように画像高解像度化部２６で得られた高解像度化画像は、合焦点検出部２８へ転送される。
【００６３】
そして、上記ステップＳ１６として、合焦点検出部２８では、コントラスト法に代表される、図８に示されているようなＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ）処理を行なうことにより、モータ３０を制御し、焦点の位置あわせを行なう。すなわち、画像にラプラシアンフィルタ等の高域通過フィルタを畳込むことによって、高解像度化画像のエッジ鮮鋭度を検出し、その鮮鋭度の大きさを大きくする方向にモータ３０を制御し、焦点の位置合わせを行なう。図７を参照して上述したように、本実施形態で採用されている高解像度化処理のアルゴリズムの特性により、高解像度化処理を行なったことにより、エッジ鮮鋭度の感度が向上するという有利な効果があり、焦点位置あわせの精度は、向上する。
【００６４】
こうして焦点の位置合わせを行なったところで、再びＣＣＤ撮像素子１６により画像を複数枚撮影し、プリ撮影画像を上で説明したように、増幅回路１８、Ａ／Ｄ変換回路２０、バッファ２２を介して、高解像度化領域選択部２４に転送し領域選択を行い、画像高解像度化部２６に転送し、選択領域の高解像度化を行い、結果の高解像度化画像を合焦点検出部２８へ転送し高解像度化画像の鮮鋭度を検出して、モータ３０を制御し、焦点の位置あわせを行なう。
【００６５】
上記の処理を繰り返し行い、鮮鋭度が最大の値となった時点で、合焦点検出部２８はレンズ系１２の焦点位置が合焦したと判断する。
【００６６】
プリ撮影モードにおいて、上記の焦点位置が合焦したと判断された時点後、ユーザは、レリーズボタンを全押しにすることにより、デジタルカメラ１０は、本撮影モードとなり、被写体の本撮影を行なう。本撮影された画像は、バッファ２２より、映像信号線を介して画像記録部３６に記録される。この記録された画像は、必要に応じて、映像信号線を介して、画像高解像度化部２６に転送され、画像高解像度化処理のリソースとされ、また、出力部３８へ映像信号線を介して転送され、デジタルカメラ１０からの画像出力が行なわれる。
【００６７】
なお、以上で図５に示されている高解像度化のアルゴリズム（超解像処理のアルゴリズム）を採用した場合の高解像度化処理を用いたフォーカス調整について説明したが、高解像度化のアルゴリズムは、この超解像処理アルゴリズムに限定されず、他のアルゴリズムが採用されてもよいことは勿論である。
【００６８】
［第２実施形態］
図９は、本発明の第２実施形態に係る撮像装置としてのデジタルカメラ１０の構成を概略的に示すブロック図である。本実施形態におけるデジタルカメラ１０は、上記第１実施形態と同様の構成を備えると共に、更に、バッファ２２、高解像度化領域選択部２４及び画像高解像度化部２６に接続され、それらから出力された映像信号を表示するＬＣＤなどの画像表示部４０を備えている。また、外部Ｉ／Ｆ部３４には、焦点合わせ機構３４Ａが設けられている。
【００６９】
図１０は、本第２実施形態におけるデジタルカメラ１０の動作フローチャートを示す図である。本実施形態においては、合焦点検出をオートフォーカス及びマニュアルフォーカスのいずれか一方を選択して行なう。
【００７０】
即ち、ユーザが、撮影条件を設定した後に、レリーズボタンを半押しにすると、まず、マニユアルフォーカスモードが選択されているか否かを判別し（ステップＳ３０）、マニュアルフォーカスモードが選択されていない、つまりオートフォーカスモードが選択されていると判別した場合には、オートフォーカス処理を実行する（ステップＳ３２）。このオートフォーカス処理は、上記第１実施形態におけるステップＳ１０乃至ステップＳ２８の処理をそのまま適用でき、従って、その説明は省略する。
【００７１】
これに対して、上記ステップＳ３０においてマニユアルフォーカスモードが選択されていると判別した場合には、プリ撮影モードに入る（ステップＳ３４）。このプリ撮影モードは、上記ステップＳ１０の処理と同様にして、複数枚のプリ撮影画像を撮影して、バッファ２２を介して、高解像度化領域選択部２４へと転送する。
【００７２】
高解像度化領域選択部２４では、画像の高解像度化の処理を行なう画像の領域を選択する（ステップＳ３６）。この高解像度化領域選択処理は、上記ステップＳ１２と同様の処理であるので、その詳細説明は省略する。
【００７３】
そして、この高解像度化領域選択部２４において選択された選択領域情報を用いて、複数枚のプリ撮影画像は、選択領域だけをトリミング処理され、画像高解像度化部２６へと映像信号線を介して転送され、該画像高解像度化部２６において、上記選択領域情報に基づいて、高解像度化の処理を行なう（ステップＳ３８）。この高解像度化処理は、上記ステップＳ１４と同様の処理であるので、その詳細説明は省略する。
【００７４】
画像高解像度化部２６から出力される高解像度化画像は、画像表示部４０に入力され、この画像表示部４０で高解像度化画像の表示が行なわれる（ステップＳ４０）。
【００７５】
ユーザは、この画像表示部４０に表示されている高解像度化画像を目視して、合焦しているかどうか判断し、合焦していると判断した時は、レリーズボタンを全押しして、本撮影を行なうことができる。即ち、上記ステップＳ４０での高解像度化画像の表示後、レリーズボタンが全押しされたか否かを判別し（ステップＳ４２）、レリーズボタンが全押しされたと判別した場合には、本撮影モードに入って、本撮影を行い（ステップＳ４４）、撮影された画像データは、画像記録部３６に記録される（ステップＳ４６）。また、必要に応じて、この画像記録部３６に記録された画像は、出力部３８へ転送され、該デジタルカメラ１０より画像出力が行なわれる。更には、この画像記録部３６に記録された画像は、画像高解像度化部２６へ転送されて画像高解像度化処理のリソースとされ、その結果の高解像度化画像を画像記録部３６に記録したり、出力部３８へ転送して該デジタルカメラ１０より出力したり、画像表示部４０に表示したりすることもできる。
【００７６】
一方、ユーザが画像表示部４０に表示されている高解像度化画像を目視して、合焦していないと判断した時は、レリーズボタンを全押しせずに、マニュアルフォーカスの手続を行なうことができる。このマニュアルフォーカスは、ユーザが、外部Ｉ／Ｆ部３４に設けられている焦点合わせ機構３４Ａを操作することで、制御部３２を介してモータ３０を制御し、レンズ系１２のフォーカスを調整するものである。
【００７７】
そのため、上記ステップＳ４２においてレリーズボタンが全押しされていないと判断した場合には、ユーザが、焦点合わせ機構３４Ａを操作したか否かを判別する（ステップＳ４８）。ここで、焦点合わせ機構３４Ａの操作がされてないと判断した場合には、更に、レリーズボタンの半押しが継続されているか否かを判別する（ステップＳ５０）。レリーズボタンの半押しが終了していると判断した時には、撮影を中止する逆に、レリーズボタンの半押しが継続していると判断した場合には、上記ステップＳ４８に戻る。
【００７８】
このように、ユーザが焦点合わせ機構３４Ａを操作せずにレリーズボタンを半押しにしている限り反復され、ユーザがレリーズボタンを全押しするか、焦点合わせ機構３４Ａを操作するまでの待機状態を形成する。
【００７９】
そして、上記ステップＳ４８において、ユーザが、焦点合わせ機構３４Ａを操作したと判断した場合には、その操作に応じて、制御部３２を介して、モータ３０を制御し、レンズ系１２のフォーカスを調整する（ステップＳ５２）。その後、ユーザが、レリーズボタンの半押しを継続しているか否かを判別し（ステップＳ５４）、レリーズボタンの半押しが継続していれば上記ステップＳ３４に戻って、ユーザにより調整されたフォーカスにより、上記ステップＳ３４乃至ステップＳ５２のマニュアルフォーカス調整のための動作を反復する。また、ステップＳ５４においてレリーズボタンの半押しが終了されたと判断した場合には、撮影を終了する。
【００８０】
上記のようなマニュアルフォーカス調整のための動作が反復され、ユーザが焦点合わせ機構３４Ａを用いた焦点合わせを繰り返した結果、ユーザが画像表示部４０に表示された高解像度化画像を目視して、合焦したと判断した時は、ユーザは、レリーズボタンを全押しし（ステップＳ４２でＹＥＳに分岐）、本撮影を行なうことができる。
【００８１】
なお、本第２実施形態におけるデジタルカメラ１０の外部Ｉ／Ｆ部３４は、マニュアルフォーカス又はオートフォーカスのいずれかの撮影モードをユーザにより選択できるように構成されている。この撮影モードの選択は、外部Ｉ／Ｆ部３４に設けられている切換えスイッチなどの切換え手段により行なうことができる。ユーザは、レリーズボタンを半押しにして合焦のための上記のフローに入る前に、あらかじめこの切換え手段をマニュアルフォーカス又はオートフォーカスに設定してから、レリーズボタンを半押しにする。また、ユーザが、レリーズボタンを半押ししている間に、この切換え手段を切換えることにより合焦のためのフローの間にマニュアルフォーカスとオートフォーカスとを切換えることも可能なことは勿論である。
【００８２】
なお、画像表示部４０への高解像度化画像の表示は、例えば、図１１（Ａ）に示すようにして行われる。
【００８３】
即ち、図１１（Ａ）に示すように、本第２実施形態におけるデジタルカメラ本体１０Ａの画像表示部４０は、デジタルカメラ本体１０Ａの背面に設けられている液晶表示パネル４０Ａとして構成されている。そして、その液晶表示パネル４０Ａの画像表示領域４０Ｂの一部を、高解像度化画像表示領域４０Ｃとして、ここに高解像度化処理された画像が表示される。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。さらに、図１１（Ａ）には、デジタルカメラ本体１０Ａが、外部Ｉ／Ｆ部３４の一部として、電源スイッチ３４Ｂ、レリーズボタン３４Ｃ、及び操作ボタン３４Ｄを備えていることを一例として示している。
【００８４】
図１１（Ｂ）及び（Ｃ）は、画像表示部４０への高解像度化画像の表示例を示している。これらの図に示すように、画像表示領域４０Ｂの一部を高解像度化画像表示領域４０Ｃとして、そこに複数枚のプリ撮影画像から生成された高解像度化画像を表示することで、従来のように画像１枚に対する拡大画像を画像表示に用いる場合よりも、解像感の高い画像により目視による焦点合わせが容易にできる。また、高解像度化処理のアルゴリズムとして超解像処理のアルゴリズムを用いている場合には、鮮鋭度が高い場合と低い場合の鮮鋭度の落差が大きくなり、焦点位置が合っているかどうかの確認が容易にできるようになる。
【００８５】
即ち、ユーザは、図１１（Ｃ）のように、表示されている高解像度化画像の鮮鋭度が低い場合には、焦点合わせ機構３４Ａを操作して、図１１（Ｂ）のように、高解像度化画像の鮮鋭度が高くなるように、デジタルカメラ１０のフォーカスを調整する。その結果、高解像度化画像表示領域４０Ｃに表示されている高解像度化画像が、図１１（Ｂ）に例示されているような鮮鋭度の高い画像になった時は、ユーザは、焦点位置が合焦したと判断して、レリーズボタン３４Ｃを全押しにすることで、デジタルカメラ１０を本撮影モードとして被写体の本撮影を行なうことができる。このような操作により、ユーザは焦点位置の合った画像の撮影を行なうことができる。上記第１実施形態について、図７を用いて説明したように、この超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。この性質の結果、エッジ鮮鋭度の感度が向上するという有利な効果が現れ、焦点位置あわせの感度が向上する。
【００８６】
図１２（Ａ）は、別の表示方法を示す図であり、液晶表示パネル４０Ａの画像表示領域４０Ｂに、高解像度化画像表示領域４０Ｃと低解像度画像表示領域４０Ｄを配置して、高解像度化処理された画像と、高解像度化領域選択部２４で選択された低解像度の領域選択画像と、を並べて表示する。この場合、領域選択画像は、高解像度化画像との間で画像の比較を行なうため、バイリニア法などにより、高解像度化画像と同一のサイズに拡大して表示する。
【００８７】
この表示方法によれば、画像表示に用いる画像を、複数枚のプリ撮影画像から生成された高解像度化画像と拡大された領域選択画像としていることから、高解像度化画像で鮮鋭度が向上していることが明らかになる。特に、高解像度化処理のアルゴリズムとして超解像処理のアルゴリズムを用いている場合には、従来のように、画像１枚による拡大画像のみを画像表示に用いる場合よりも、２枚の画像の鮮鋭度が高い場合と低い場合の鮮鋭度の落差が明らかとなり、高解像度化画像と低解像度画像とを比較することにより、焦点位置が合っているかどうかの確認が容易にできるようになる。また、この超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。高解像度化画像表示領域４０Ｃに表示される複数枚画像を用いて生成された高解像度化画像と低解像度画像表示領域４０Ｄに表示される１枚の画像からなる低解像度画像との間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００８８】
図１２（Ｂ）及び（Ｃ）は、画像表示部４０への表示例を示している。図１２（Ｂ）に示されている高解像度化画像は、鮮鋭度が高く、図１２（Ｃ）に示されている高解像度化画像は、鮮鋭度が低い。上記のように、ユーザは、この高解像度化画像表示領域４０Ｃに表示されている高解像度化画像を見て、画像の鮮鋭度が低いと判断するならば、焦点合わせ機構３４Ａを用いて、焦点の位置あわせを行なう。また、本表示方法では、低解像度画像表示領域４０Ｄに低解像度の領域選択画像が表示されるため、上述の画像の解像感の比較を行なう際に、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという超解像処理の特性を生かし、焦点位置が合っているかどうかの確認をさらに容易にすることができる。その結果、高解像度化画像表示領域４０Ｃに表示されている高解像度化画像が、図１２（Ｂ）に例示されているような鮮鋭度の高い画像になった時は、ユーザは、焦点位置が合焦したと判断して、レリーズボタン３４Ｃを全押しにすることで、デジタルカメラ１０を本撮影モードとして被写体の本撮影を行なう。このような操作により、ユーザは焦点位置の合った画像の撮影を行なうことができる。
【００８９】
更に、図１３（Ａ）、（Ｂ）又は（Ｃ）に示すような表示方法を採っても良い。
【００９０】
図１３（Ａ）に示す表示方法は、画像表示領域４０Ｂに２つの高解像度化画像表示領域４０Ｃ１、４０Ｃ２を配置し、第１の高解像度化画像表示領域４０Ｃ１には、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像を表示し、第２の高解像度化画像表示領域４０Ｃ２には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像の１回前に調整されたフォーカスによる高解像度化画像を表示するものである。図１１（Ａ）で示した表示方法では、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像１枚のみを表示していたのに対し、この表示方法では、ユーザの合焦の判断がより容易になるように、１回前に調整されたフォーカスによる高解像度化画像を並べて表示する。特に、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。従って、本表示方法のように並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。
【００９１】
また、この表示方法では、いずれの高解像度化画像が直前のフォーカス調整により生成された高解像度化画像か分かるように、「調整前」、「調整後」の解説表示４０Ｅ（すなわちキャプション）がそれぞれ第１及び第２の高解像度化画像表示領域の近傍に表示することが好ましい。この解説表示４０Ｅの表示位置、及びこの解説表示４０Ｅを表示するか、しないかは、ユーザが外部Ｉ／Ｆ部３４を介して選択可能としてもよい。また、解説表示４０Ｅは、図示されているような「調整前」、「調整後」に限定されず、他のものでもよい。さらに、第１の高解像度化画像表示領域４０Ｃ１及び第２の高解像度化画像表示領域４０Ｃ２のそれぞれの表示位置は、ユーザが外部Ｉ／Ｆ部３４を介して、調整可能であってよい。なお、画像表示領域４０Ｂの第１の高解像度化画像表示領域４０Ｃ１及び第２の高解像度化画像表示領域４０Ｃ２以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９２】
また、図１３（Ｂ）に示す表示方法は、画像表示領域４０Ｂに、高解像度化画像表示領域４０Ｃによる高解像度化画像と、低解像度画像表示領域４０Ｄによる低解像度の領域選択画像の拡大表示とを交互に表示するものである。図１２（Ａ）に示した表示方法では、これら２つの表示領域を並べて表示していたのに対して、この表示方法では、交互に表示することにより、表示領域の外の領域に情報が表示されている場合には、特に、バッファ２２に転送される現時刻の撮影画像が表示されている場合には、これらの表示領域の外の情報が確認しやすくなるという利点がある。また、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質がある。高解像度化画像表示領域４０Ｃに表示される複数枚画像を用いて生成された高解像度化画像、及び低解像度画像表示領域４０Ｄに表示される１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認をすることは２枚の画像を交互に表示するこの表示方法でも可能である。
【００９３】
ユーザは、外部Ｉ／Ｆ部３４を介して、高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄの表示時間をそれぞれ調整することができ、各々の画像表示領域を異なる場所に設定することができる。また、高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄの表示の交替の間にいずれの画像表示領域も表示されない時間間隔を設定し、この時間間隔を調整することができる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、上述のようにバッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９４】
図１３（Ｃ）に示す表示方法は、画像表示領域４０Ｂに２つの高解像度化画像表示領域４０Ｃ１、４０Ｃ２と２つの低解像度画像表示領域４０Ｄ１、４０Ｄ２を配置したものである。そして、第１の高解像度化画像表示領域４０Ｃ１には、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像を表示し、第２の高解像度化画像表示領域４０Ｃ２には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像の１回前に調整されたフォーカスによる高解像度化画像を表示する。また、第１の低解像度画像表示領域４０Ｄ１には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像のフォーカスで撮像された低解像度の領域選択画像を表示し、第２の低解像度画像表示領域４０Ｄ２には、第２の高解像度化画像表示領域４０Ｃ２に表示されている高解像度化画像のフォーカスで撮像された低解像度の領域選択画像を表示する。ここで、それぞれ同一のフォーカスで生成された高解像度化画像と領域選択画像とが並べられて表示されるように、各表示領域は配置される。さらに、第１及び第２の高解像度化画像表示領域４０Ｃ１、４０Ｃ２の近傍には、それぞれ「調整後」、「調整前」の解説表示４０Ｅが行われる。
【００９５】
超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、本表示方法のように並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。また、高解像度化画像表示領域４０Ｃ１、４０Ｃ２に表示される複数枚画像を用いて生成された高解像度化画像、及び低解像度画像表示領域４０Ｄ１、４０Ｄ２に表示される１枚の画像からなる低解像度画像の間で、それぞれ、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認をすることが可能である。この表示方法では、例えば、背景にバッファ２２に転送される現時刻の撮影画像を表示しているような場合、画像表示領域が４つあるために、背景の情報や画像が確認しづらい可能性がある。このため、ユーザは、外部Ｉ／Ｆ部３４を介して、４つの画像表示領域のいずれかを又は全てを一時的に削除して、背景の情報や画像を確認することが可能である。また、４つの画像表示領域の表示位置を変化させることも行なうことができる。さらに、解説表示４０Ｅは、必ずしも「調整前」、「調整後」である必要はなく、他の表示でもよく、ユーザが、外部Ｉ／Ｆ部３４を介してこれらの表示を中止することもできる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、上述のようにバッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９６】
なお、これら図１１（Ａ）、図１２（Ａ）、図１３（Ａ）、（Ｂ）、及び（Ｃ）を参照して説明した表示方法は、ユーザにより外部Ｉ／Ｆ部を介して選択可能に構成しても構わない。
【００９７】
以上、実施形態に基づいて、本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９８】
特に、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することが可能である。
【００９９】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１００】
（１） 被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする撮像装置。
【０１０１】
（対応する実施形態）
この（１）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、モータ３０が上記焦点合わせ手段に、高解像度化領域選択部２４及び画像高解像度化部２６が上記画像高解像度化手段に、合焦点検出部２８が上記合焦点検出手段及び調整手段に、それぞれ対応する。
【０１０２】
（作用効果）
この（１）に記載の撮像装置によれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、この画像を用いて、エッジ鮮鋭度を計算する際に、エッジ付近の解像度を向上させ、ノイズの低減を図ることができる。この結果、合焦点検出手段が、エッジ鮮鋭度を高精度に算出でき、このエッジ鮮鋭度に基づいて調整手段が、焦点合わせ手段を調整するので、焦点合わせ（オートフォーカス）を高精度に行なうことができる。
【０１０３】
（２） 被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする撮像装置。
【０１０４】
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。その実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、モータ３０及び制御部３２が上記焦点合わせ手段に、高解像度化領域選択部２４及び画像高解像度化部２６が上記画像高解像度化手段に、画像表示部４０が上記画像表示手段に、焦点合わせ機構３４Ａ及び制御部３２が上記調整手段に、それぞれ対応する。
【０１０５】
（作用効果）
この（２）に記載の撮像装置によれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、その画像を画像表示手段に表示させるので、ユーザが、調整手段を用いて、目視で焦点合わせを行なう際に、解像感の向上した画像を用いて焦点合わせをすることができ、精度よく焦点合わせを行なうことができる。
【０１０６】
（３） 上記画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
オートフォーカスモードとマニュアルフォーカスモードとを切替設定するモード設定手段と、
を更に具備し、
上記調整手段は、上記モード設定手段によって上記オートフォーカスモードが設定されているときには、上記合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させることを特徴とする請求項２に記載の撮像装置。
【０１０７】
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。その実施形態において、合焦点検出部２８が上記合焦点検出手段に、外部Ｉ／Ｆ部３４が上記モード設定手段に、それぞれ対応する。
【０１０８】
（作用効果）
この（３）に記載の撮像装置によれば、ユーザが、マニュアルフォーカスによる焦点合わせに満足がいかない時、モード設定手段を切り替えることにより、オートフォーカスによる焦点合わせも試みることができる。また、最初からオートフォーカスモードを選択して、オートフォーカスにより焦点合わせを行なうことができる。
【０１０９】
（４） 上記画像高解像度化手段は、上記撮像素子で撮像された上記被写体の画像を複数枚用いて高解像度化画像を生成する超解像処理であることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【０１１０】
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１１】
（作用効果）
この（４）に記載の撮像装置によれば、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があるので、オートフォーカスを行なう際には、高解像度化処理を行なっていない低解像度の画像どうしではエッジ鮮鋭度の違いが明らかでなくても、高解像度化処理を行なった画像のエッジ鮮鋭度の違いは、際立って大きくなり、合焦点検出手段による合焦点検出が容易になる。また、この超解像処理のアルゴリズムの性質として、鮮鋭度が高ければ高解像度化処理された画像と低解像度画像との解像感の落差が大きく、鮮鋭度が低ければこれらの解像感の落差が小さいという性質があるので、マニュアルフォーカスを行なう際には、高解像度化処理された画像の解像感の復元効果を目視することにより鮮鋭度が高くなる焦点位置に焦点合わせすることが可能である。
【０１１２】
（５） 上記画像高解像度化手段は、画像高解像度化処理を行なう画像領域を選択する高解像度化領域選択手段を有することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【０１１３】
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、高解像度化領域選択部２４が上記高解像度化領域選択手段に対応する。
【０１１４】
（作用効果）
この（５）に記載の撮像装置によれば、画像に高周波成分が含まれていることが好ましいことから、画像に含まれるエッジ領域を選択したり、焦点合わせを行ないたい主要な被写体は撮影画像の中央に存在する可能性が高いことから、撮影画像の端の領域よりも中央の領域を優先的に領域選択を行なったりするなど、焦点合わせのための適当な画像を特に選択することにより、焦点合わせの精度を高め、焦点合わせを容易にすることができる。
【０１１５】
（６） 上記画像表示手段は、上記高解像度化された画像を表示すると同時に、この高解像度化された画像が高解像度化される前の画像を拡大して表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１１６】
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１１７】
（作用効果）
この（６）に記載の撮像装置によれば、高解像度化画像と低解像画像とを並べて表示することにより、高解像度化画像でエッジ鮮鋭度が向上していることが明らかとなる。また、高解像度化処理として、超解像処理のアルゴリズムを採用した場合、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１１８】
（７） 上記表示手段は、上記高解像度化された画像と、この高解像度化された画像が高解像度化される前の画像を拡大した画像と、を交互に表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１１９】
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２０】
（作用効果）
この（７）に記載の撮像装置によれば、高解像度化画像と低解像度画像とを交互に表示することから、高解像度化処理の効果が明らかになる。さらに、交互に表示することにより、高解像度化画像と低解像度画像の表示領域の外の領域に情報が表示されている場合には、これらの情報が確認しやすくなるという利点がある。また、高解像度化処理として、超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１２１】
（８） 上記表示手段は、上記調整手段による調整前後の高解像度化された画像を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１２２】
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２３】
（作用効果）
この（８）に記載の撮像装置によれば、高解像度化処理により、エッジ付近の解像度が向上した高解像度化画像どうしを比較することにより、焦点合わせが容易になる。また、高解像度化処理として超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、２つの高解像度化画像を並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。
【０１２４】
（９） 上記表示手段は、上記調整手段による調整前後の高解像度化された画像と、それらの高解像度化された画像が高解像度化される前の画像を拡大した画像と、を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１２５】
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２６】
（作用効果）
この（９）に記載の撮像装置によれば、高解像度化処理により、エッジ付近の解像度が向上した高解像度化画像どうしを比較することにより、焦点合わせが容易になる。また、高解像度化画像と低解像度画像とを並べて表示することにより、高解像度化画像で鮮鋭度が高くなっていることが明らかとなる。さらに、高解像度化処理として超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、２つの高解像度化画像を並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。そして、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいというこのアルゴリズムの特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１２７】
（１０） 上記画像高解像度化手段は、撮影モード、焦点距離、像倍率の少なくとも一つに応じて、上記高解像度化処理を行なう元の画像の枚数を制御する手段を有することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
【０１２８】
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、使用枚数制御部２６Ａが上記元の画像の枚数を制御する手段に対応する。
【０１２９】
（作用効果）
この（１０）に記載の撮像装置によれば、例えば、夜景撮影モードでは光量が少ないため枚数を多くしたり、像倍率が低い場合には枚数を多くしたり、焦点距離が短い場合は枚数を多くしたりするなど、撮影条件に応じて高解像度化処理に必要な元の画像の枚数を制御することが可能になる。
【０１３０】
（１１） 被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【０１３１】
（対応する実施形態）
この（１１）に記載のフォーカス制御プログラムに関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、ステップＳ１２及びＳ１４が上記高解像度化させる手順に、ステップＳ１６が上記合焦点位置を検出する手順及び上記撮像光学系の焦点を調整する手順に、それぞれ対応する。
【０１３２】
（作用効果）
この（１１）に記載のフォーカス制御プログラムによれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、この画像を用いて、エッジ鮮鋭度を計算する際に、エッジ付近の解像度を向上させ、ノイズの低減を図ることができる。この結果、合焦点位置を検出する手順で、エッジ鮮鋭度を高精度に算出でき、このエッジ鮮鋭度に基づいて撮像光学系の焦点を調整する手段で、焦点合わせ（オートフォーカス）を高精度に行なうことができる。
【０１３３】
（１２） 被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【０１３４】
（対応する実施形態）
この（１２）に記載のフォーカス制御プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、ステップＳ３６及びＳ３８が上記高解像度化させる手順に、ステップＳ４０が上記高解像度化された画像を表示する手順に、ステップＳ４８が上記撮像光学系の焦点を調整する操作を受け付ける手順に、ステップＳ５２が上記撮像光学系の焦点を調整する手順に、それぞれ対応する。
【０１３５】
（作用効果）
この（１２）に記載のフォーカス制御プログラムによれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、その画像を表示させるので、ユーザが、解像感の向上した画像を用いて撮像光学系の焦点を調整する操作を精度よく行なうことができ、この結果、撮像光学系の焦点を調整する手順を行なわせることにより、精度よく焦点合わせを行なうことができる。
【図面の簡単な説明】
【０１３６】
【図１】図１は、本発明の第１実施形態に係る撮像装置としてのデジタルカメラの概略的なブロック構成図である。
【図２】図２は、第１実施形態におけるデジタルカメラの動作フローチャートを示す図である。
【図３】図３は、画像変位推定部で行なわれている処理のフローチャートを示す図である。
【図４】図４は、離散的な類似度マップを連続的な類似度マップに補間するためにパラボラフィッティングを用いる処理の例を示す図である。
【図５】図５は、高解像度化処理部で行なわれる高解像度化の処理のフローチャートを示す図である。
【図６】図６は、高解像度化処理部の構成を示す概略的なブロック図である。
【図７】図７は、高解像度化画像において、鮮鋭度の違いによる高解像度化の効果の現れ方の例を示す図である。
【図８】図８は、ＤＦＦ処理による焦点合わせを示す概念図である。
【図９】図９は、本発明の第２実施形態に係る撮像装置としてのデジタルカメラの概略的なブロック構成図である。
【図１０】図１０は、第２実施形態におけるデジタルカメラの動作フローチャートを示す図である。
【図１１】図１１（Ａ）は、第２実施形態における表示方法を説明するためのデジタルカメラの背面図であり、図１１（Ｂ）及び（Ｃ）はそれぞれその表示方法における表示例を示す図である。
【図１２】図１２（Ａ）は、他の表示例を説明するためのデジタルカメラの背面図であり、図１２（Ｂ）及び（Ｃ）はそれぞれその表示方法における表示例を示す図である。
【図１３】図１３（Ａ）乃至（Ｃ）はそれぞれ更に別の表示方法を示す図である。
【符号の説明】
【０１３７】
１０…デジタルカメラ、 １０Ａ…デジタルカメラ本体、 １２…レンズ系、 １４…ＣＦＡ、 １６…ＣＣＤ撮像素子、 １８…増幅回路、 ２０…Ａ／Ｄ変換回路、 ２２…バッファ、 ２４…高解像度化領域選択部、 ２６…画像高解像度化部、 ２６Ａ…使用枚数制御部、 ２６Ｂ…基準画像選択部、 ２６Ｃ…画像変位推定部、 ２６Ｄ…高解像度化ターゲット画像選択部、 ２６Ｅ…高解像度化処理部、 ２６Ｅ１…補間拡大部、 ２６Ｅ２…画像蓄積部、 ２６Ｅ３…ＰＳＦデータ保持部、 ２６Ｅ４…第１畳込み積分部、 ２６Ｅ５…レジストレーション画像生成部、 ２６Ｅ６…画像比較部、 ２６Ｅ７…第２畳込み積分部、 ２６Ｅ８…正則化項演算部、 ２６Ｅ９…更新画像生成部、 ２６Ｅ１０…収束判定部、 ２８…合焦点検出部、 ３０…モータ、 ３２…制御部、 ３４…外部Ｉ／Ｆ部、 ３４Ａ…焦点合わせ機構、 ３４Ｂ…電源スイッチ、 ３４Ｃ…レリーズボタン、 ３４Ｄ…操作ボタン、 ３６…画像記録部、 ３８…出力部、 ４０…画像表示部、 ４０Ａ…液晶表示パネル、 ４０Ｂ…画像表示領域、 ４０Ｃ，４０Ｃ１，４０Ｃ２…高解像度化画像表示領域、 ４０Ｄ，４０Ｄ１，４０Ｄ２…低解像度画像表示領域、 ４０Ｅ…解説表示。
【技術分野】
【０００１】
本発明は、被写体の画像を電子的に記録する撮像装置及びそのような撮像装置のフォーカス制御プログラムに関する。
【背景技術】
【０００２】
従来、焦点合わせ技術において、オートフォーカスを行なう場合には、画像を撮像し、その撮像された被写体画像のエッジ鮮鋭度を計算し、その鮮鋭度に応じて、画像の焦点距離を変化させ、焦点合わせを行なっていた。また、マニュアルフォーカスを行なう場合には、カメラに備えられたＬＣＤビューワにより、撮像された被写体画像を表示し、その被写体画像のエッジ鮮鋭度をユーザが目視で確認し、マニュアルフォーカスを行なっていた。
【０００３】
例えば、特許文献１には、デジタルカメラのモニタ表示における被写体の確認において、レリーズボタンが押圧されていない状態では、デジタルカメラに設けられた液晶表示装置に、撮像素子で撮像した被写体の全体画像をこの液晶装置の解像度で表示し、レリーズボタンが半押しの状態になったならば、あらかじめユーザにより設定されたフォーカスエリア中心付近の領域の画像をより高解像度で拡大エリア表示内に表示する発明が開示されている。
【特許文献１】特開２００３−１７９７９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、マニュアルフォーカスにおいて、焦点合わせに用いる画像のエッジの鮮鋭度をユーザが目視によって確認するために、例えば、ニアレストネイバ法を用いて画像拡大を行い、エッジの鮮鋭度をユーザが目視し易くする手法が採られている。また、オートフォーカスでは、焦点合わせに用いる画像のエッジ鮮鋭度を計算する方法として、例えば、エッジ付近においてラプラシアンフィルタによる処理を行い、エッジ鮮鋭度を計算するという手法が採られる。
【０００５】
しかし、これらの従来の手法では、１枚の画像のみの拡大によりエッジ鮮鋭度の確認を行なうため、エッジ鮮鋭度評価に対する信頼度が低く、焦点合わせが精度よく行なえないという問題があった。例えば、マニュアルフォーカスの場合には、エッジ鮮鋭度の目視確認のためにＬＣＤビューワで画像の拡大表示を行なった場合、１枚の画像のみの拡大法であるため、その画像の解像度が不十分となり、マニュアルフォーカスが精度よく行なえないという問題があった。また、例えば、オートフォーカスの場合には、エッジ鮮鋭度の計算時に１枚の画像のみを用いての拡大法であるため、エッジ付近での解像度の不足、ノイズの存在により、オートフォーカスを行なう場合のエッジ鮮鋭度の評価値の算出が満足に行なえないという問題があった。
【０００６】
特に、強拡大表示では、ジャギーが大きく現れ、拡大ボケもあるために、合焦位置の前後での鮮鋭度の変化が少ない場合がある。また、ニアレストネイバ法による画像拡大では、鮮鋭感が確認できるものの、実物とブロック歪みを多く持つ拡大像とでは、見え方が大きく異なるため、不自然であり、光学ファインダによるフォーカスになれているユーザにとっては違和感が大きい。
【０００７】
本発明は、上記の点に鑑みてなされたもので、焦点合わせの精度を向上させることが可能な撮像装置及びフォーカス制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の一態様は、被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする。
【０００９】
また、本発明の撮像装置の一態様は、被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする。
【００１０】
また、本発明のフォーカス制御プログラムの一態様は、被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させることを特徴とする。
【００１１】
また、本発明のフォーカス制御プログラムの一態様は、被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、焦点合わせの精度を向上させることが可能な撮像装置及びフォーカス制御プログラムを提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明を実施するための最良の形態を説明する。
【００１４】
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置としてのデジタルカメラ１０の構成を示すブロック構成図である。このデジタルカメラ１０は、レンズ系１２、カラーフィルタアレイ（ＣＦＡ）１４、ＣＣＤ撮像素子１６、増幅回路１８、Ａ／Ｄ変換回路２０、バッファ２２、高解像度化領域選択部２４、画像高解像度化部２６、合焦点検出部２８、モータ３０、制御部３２、外部Ｉ／Ｆ部３４、画像記録部３６、及び出力部３８を備えている。さらに、画像高解像度化部２６は、使用枚数制御部２６Ａ、基準画像選択部２６Ｂ、画像変位推定部２６Ｃ、高解像度化ターゲット画像選択部２６Ｄ、及び高解像度化処理部２６Ｅを有している。
【００１５】
即ち、このデジタルカメラ１０においては、レンズ系１２、ＣＦＡ１４、及びＣＣＤ撮像素子１６を介して撮影された映像は、増幅回路１８において増幅され、Ａ／Ｄ変換回路２０へ入力され、デジタル信号へと変換される。また、Ａ／Ｄ変換回路２０からの出力は、映像信号線を介して、バッファ２２に入力される。なお、本実施の形態においては、撮像系にＢａｙｅｒ型原色フィルタを前面に配置した単板ＣＣＤを想定している。Ｂａｙｅｒ型原色フィルタは、２×２画素を基本単位とし、赤（Ｒ）、青（Ｂ）フィルタが１画素ずつ、緑（Ｇｒ，Ｇｂ）フィルタが２画素配置される。これらの緑フィルタは同一のものであるが、本実施の形態においては、便宜的にこれらをＧｒ、Ｇｂと区別している。
【００１６】
バッファ２２からの出力は、映像信号線を介して、画像記録部３６と高解像度化領域選択部２４とへ入力される。これら画像記録部３６と高解像度化領域選択部２４とは、画像高解像度化部２６へと映像信号線を介して入力を行い、画像記録部３６は、さらに画像高解像度化部２６からの出力を入力されることができる。画像高解像度化部２６と画像記録部３６とからの出力は、映像信号線を介して出力部３８に入力される。
【００１７】
外部Ｉ／Ｆ部３４は、制御部３２と制御信号線を介して双方向に接続され、この制御部３２も、制御信号線を介して、ＣＣＤ撮像素子１６、増幅回路１８、Ａ／Ｄ変換回路２０、合焦点検出部２８、モータ３０、及び画像高解像度化部２６と双方向接続されている。したがって、ユーザは、外部Ｉ／Ｆ部３４を介して、ＩＳＯ感度などの撮影条件を設定することができる。
【００１８】
画像高解像度化部２６からの出力は、映像信号線を介して、合焦点検出部２８に入力され、この合焦点検出部２８は、制御線を介してモータ３０を制御することにより、レンズ系１２を合焦点位置で調整する。
【００１９】
図２（Ａ）は、このデジタルカメラ１０の動作フローチャートを示す図である。
【００２０】
即ち、ユーザが、撮影条件を設定した後に、レリーズボタンを半押しにすることで、プリ撮影モードに入る（ステップＳ１０）。プリ撮影モードの間に、ＣＣＤ撮像素子１６は、複数枚の画像の撮影を行い、撮影された映像信号は、上記のようにＡ／Ｄ変換回路２０でデジタル信号へと変換され、バッファ２２を介して、高解像度化領域選択部２４へと転送される。
【００２１】
この高解像度化領域選択部２４では、画像の高解像度化の処理を行なう画像の領域を選択する（ステップＳ１２）。画像の高解像度化を行なう領域を選択する手段としては、画像の焦点位置を合わせるための領域を選択する目的であるので、画像に高周波成分が含まれていることが好ましいことから、画像に含まれるエッジ領域を主に選択する。つまり、ラプラシアンフィルタなどの微分フィルタの畳込み後の積分値であるエッジエネルギーを多くもつ領域をエッジエネルギーとして優先的に領域選択を行なう。また、焦点合わせを行ないたい主要な被写体は、撮影画像の中央に存在する可能性が高いことから、撮影画像の端の領域よりも、中央の領域を優先的に領域選択を行なう方法を合わせて用いることができる。また、プリ撮影中に複数枚の撮影を行なう時に、人物などの動物体であった場合には、複数枚の画像の画像間差分を検出することで被写体の動きを検出でき、その動きから被写体を選択領域として優先的に選択してもよいものとする。このように、領域選択される領域は、画像内において１個所に留まらず、複数箇所において領域選択されても構わないものとする。また、以上に記載した高解像度化領域選択の方法は、例示的なものであり、他の高解像度化領域選択の方法が採用されてもよい。
【００２２】
このように高解像度化領域選択部２４において選択された選択領域情報を用いて、複数枚のプリ撮影画像は、選択領域だけをトリミング処理され、画像高解像度化部２６へと映像信号線を介して転送される。
【００２３】
画像高解像度化部２６は、上記のように選択された選択領域情報に基づいて、高解像度化の処理を行なう（ステップＳ１４）。この高解像度化処理の詳細については後述する。画像高解像度化部２６から出力される高解像度化画像は、合焦点検出部２８に入力される。この合焦点検出部２８は、その高解像度化画像を用いて合焦点を検出し、その検出結果に従ってモータ３０を制御して、レンズ系１２のフォーカスの調整を行なう（ステップＳ１６）。このフォーカス調整の詳細については後述する。そして、このフォーカス調整により合焦状態が得られたか否かを判別する（ステップＳ１８）。この判別の手法についても後述する、そして、未だ合焦状態となっていなければ、更に、引き続きレリーズボタンが半押しされているかどうか確認し（ステップＳ２０）、半押しされたままであれば上記ステップＳ１０に戻って、上記の処理を繰り返す。また、レリーズボタンの半押しが解除されている場合には、動作を終了する。
【００２４】
而して、上記ステップＳ１８において合焦状態が得られたと判別された時には、レリーズボタンが全押しにされるまで待機状態となり、所謂フォーカスロックがなされる。即ち、レリーズボタンが全押しされたか否かを判別し（ステップＳ２２）、全押しされていない場合には、更に、レリーズボタンの半押しが維持されているか否かを判別する（ステップＳ２４）。そして、半押しが解除されていなければ、上記ステップＳ２２に戻る。こうして、レリーズボタンが全押しされるまで、ステップＳ２２とステップＳ２４のループを回ることで、待機状態となる。なお、上記ステップＳ１８で合焦状態となったと判別された際には、そのことを音や表示によって使用者に報知することが望ましい。また、上記ステップＳ２４において、レリーズボタンの半押しが解除された場合は、動作を中止する。
【００２５】
そして、上記ステップＳ２２においてレリーズボタンの全押しが検出された場合には、上記のように調整されたフォーカスで本撮影を行なう（ステップＳ２６）。本撮影された画像は、バッファ２２から画像記録部３６に転送され、ここで記録される（ステップＳ２８）。また、必要に応じて、この画像記録部３６に記録された画像は、出力部３８へ転送され、該デジタルカメラ１０より画像出力が行なわれる。更には、この画像記録部３６に記録された画像は、画像高解像度化部２６へ転送されて画像高解像度化処理のリソースとされ、その結果の高解像度化画像を画像記録部３６に記録したり、出力部３８へ転送して該デジタルカメラ１０より出力したりすることもできる。
【００２６】
なお、上記ステップＳ１４の高解像度化の処理で得られた高解像度化画像を画像記録部３６に記録したり、出力部３８で出力したりすることが可能なことは勿論である。
【００２７】
次に、上記ステップ１４で実行される画像高解像度化の処理について、詳細に説明する。
【００２８】
上述したように、画像高解像度化部２６は、使用枚数制御部２６Ａ、基準画像選択部２６Ｂ、画像変位推定部２６Ｃ、高解像度化ターゲット画像選択部２６Ｄ、及び高解像度化処理部２６Ｅを有している。
【００２９】
使用枚数制御部２６Ａは、外部Ｉ／Ｆ部３４で指定された撮影モード、焦点距離、及び像倍率のうち、少なくとも１つに応じて、高解像度化処理を行なう使用画像の枚数を制御する。この使用枚数制御部２６Ａにより、例えば、夜景撮影モードでは光量が少ないため枚数を多くしたり、像倍率が低い場合には枚数を多くしたり、焦点距離が短い場合は枚数を多くしたり等の制御が可能となる。使用枚数制御部２６Ａは、撮影に先立って、高解像度化に使用する画像を高解像度化の基準となる画像を含めて１枚以上選択するものとする。
【００３０】
図２（Ｂ）は、該画像高解像度化の処理のフローチャートである。即ち、画像高解像度化部２６に入力された（トリミング処理された）複数枚のプリ撮影画像から、基準画像選択部２６Ｂにおいて、画像変位推定の基準となる基準画像が１枚選択される（ステップＳ１４１）。この後、この基準画像選択部２６Ｂにおいて選択された基準画像と基準画像以外のプリ撮影画像との画像対応位置を画像変位推定部２６Ｃにおいて求める（ステップＳ１４２）。続いて、高解像度化処理の対象となる高解像度化ターゲット画像が選択される（ステップＳ１４３）。最後に、この高解像度化ターゲット画像に対して高解像度化処理が行なわれる（ステップＳ１４４）。
【００３１】
上記の画像変位推定部２６Ｃで行なわれる画像変位推定の手段として、画素対応位置を求める画像変位推定のアルゴリズムの詳細を以下で説明する。図３は、この画像変位推定のアルゴリズムを実行する画像変位推定部２６Ｃの処理を示すフローチャートである。
【００３２】
まず、上記ステップＳ１４１で選択した画像変位推定の基準となる基準画像を１つ読み込む（ステップＳ１４２１）。次に、この読み込まれた基準画像を複数の画像変位で変形させ、画像列を生成する（ステップＳ１４２２）。この変形は、例えば、水平、垂直方向に対しては、±１ピクセルの動きパラメータで、回転方向に対しては、±１°[ｄｅｇｒｅｅ]の動きパラメータで、基準画像を１９通り（２７通り中８通り（（１[ピクセル]、１[ピクセル]、−１[ｄｅｇｒｅｅ]）、（１、−１、１）、（−１、１、１）、（１、−１、−１）、（−１、１、−１）、（−１、−１、１）、（１、１、１）、（−１、−１、−１））は、省略可能。）に変形させる。
【００３３】
続いて、読み込まれた基準画像との間の画像変位推定を行なうプリ撮影画像を参照画像として１つ読み込む（ステップＳ１４２３）。次に、読み込まれた基準画像及び参照画像の間で、領域ベースマッチング等のピクセルマッチング手法により大まかな画素位置の対応付けを行なう（ステップＳ１４２４）。次に、上記ステップＳ１４２２で生成された画像列と参照画像との間の類似度値を算出する（ステップＳ１４２５）。そして、画像変位のパラメータと、上記ステップＳ１４２５において算出された類似度値との関係を用いて、離散的な類似度マップを作成する（ステップＳ１４２６）。このような類似度マップが、図４に模式的に示されている。この図４において、縦軸は、類似度を表し、値が小さいほど類似が高い。横軸は、画像を変形させた動きのパラメータを示している。
【００３４】
続いて、上記ステップＳ１４２６において作成された離散的な類似度マップを補間することにより補間された連続的な類似度のマップを作成し、この連続的な類似度マップの極値を探索し、連続的な類似度値の極値（画像変位推定値）を求める（ステップＳ１４２７）。このように離散的な類似度マップを連続的な類似度マップに補間する方法として、パラボラフィッティング、スプライン補間等がある。図４には、パラボラフィッティングされた連続的な類似度マップが曲線として表現されている。
【００３５】
この後、対象となる全ての参照画像において画像変位推定を行なったか否かを確認し（ステップＳ１４２８）、未だ画像変位推定を行っていない参照画像がある場合には、次の参照画像のフレーム番号を選択して（ステップＳ１４２９）、上記ステップＳ１４２３に戻り、上記処理を継続する。
【００３６】
そして、対象となる全ての参照画像において画像変位推定を行なったならば（ステップＳ１４２８）、この画像変位推定の処理を終了する。
【００３７】
このようにして画像変位推定部２６Ｃで画像変位推定値が求められたならば、次に、上記ステップＳ１４３にて高解像度化ターゲット画像選択部２６Ｄにより高解像度化ターゲット画像が選択され、ステップＳ１４４にて高解像度化処理部２６Ｅにより、それら画像変位推定値と、プリ撮影された複数枚のプリ撮影画像、及び高解像度化ターゲット画像の選択情報を用いて、高解像度化ターゲット画像の画像高解像度化処理が行なわれる。
【００３８】
図５は、上記ステップＳ１４４にて高解像度化処理部２６Ｅにおいて行なわれる高解像度化処理を示すフローチャートである。本実施形態においては、この高解像度化処理のアルゴリズムとして「超解像処理」を用いている。この超解像処理の詳細については、「田中・奥富、再構成型超解像処理の高速化アルゴリズム、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｍｅｄｉａ（ＣＶＩＭ） Ｖｏｌ．２００４， Ｎｏ．１１３， ｐｐ．９７−１０４（２００４−１１）」に開示されている。
【００３９】
まず、高解像度画像推定に用いるため、低解像度の複数枚のプリ撮影画像が読み込まれる（ステップＳ１４４１）。続いて、それら読み込んだ複数枚のプリ撮影画像の内、高解像度化ターゲット画像選択部２６Ｄにおいて選択されたプリ撮影画像を、高解像度化のターゲット画像とする。そして、このターゲット画像に対して線形補間やバイキューブリック補間等の補間処理を行なうことにより初期の高解像度化画像を作成する（ステップＳ１４４２）。この補間処理は、場合によって省略することができる。
【００４０】
そして、画像変位推定部２６Ｃで推定された画像変位情報により、ターゲット画像とそれ以外のプリ撮影画像との画像間の画素対応位置を明らかにし（ステップＳ１４４３）、その画像対応位置情報を元にして、ターゲット画像の拡大画像を基準とする座標空間で、重ね合わせ処理を行い、レジストレーション画像ｙを生成する。このレジストレーション画像ｙを生成する方法の詳細については、上記文献「再構成型超解像処理の高速化アルゴリズム」に開示されている。このステップでの重ね合わせ処理は、例えば、複数枚のプリ撮影画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上においていく処理を行なう。ターゲット画像とその他のプリ撮影画像との間の画像変位は、画像変位推定部２６Ｃで推定された、基準画像とターゲット画像との画像間変位、及び基準画像とターゲット画像以外の画像との画像間変位を統合することにより、生成する。
【００４１】
次に、光学伝達関数（ＯＴＦ）、ＣＣＤアパーチャ等の撮像特性を考慮にいれた点広がり関数（ＰＳＦ）を求める（ステップＳ１４４４）。ＰＳＦは、例えば、Ｇａｕｓｓ関数を簡易に用いることができる。
【００４２】
次に、これらのステップＳ１４４３による画素対応の情報とステップＳ１４４４のＰＳＦの情報とを元にして、評価関数ｆ（ｚ）の最小化を行なう（ステップＳ１４４５）。この評価関数ｆ（ｚ）は、以下のような式で表される。
【数１】
【００４３】
ここで、ｙはステップＳ１４４３で生成されたレジストレーション画像、ｚはターゲット画像の高解像度化された結果画像（高解像度化画像）、ＡはＰＳＦ、ＣＦＡ等を含む撮像システムを表現する画像変換行列であり、光学系の点像分布関数、サンプリング開口によるぼけ、ＣＦＡ１４による各色コンポネント等を含んでいる。ｇ（ｚ）は画像の滑らかさや画像の色の相関を考慮した拘束項等である。λは重み係数である。評価関数の最小化には、例えば、最急降下法を用いる。
【００４４】
この最急降下法を用いた場合、評価関数ｆ（ｚ）の高解像度化画像ｚにおける微分値を計算し、その微分値を高解像度化画像ｚに付加してくことで、画像を更新させていき評価関数ｆ（ｚ）の最小値を得る。費用価関数ｆ（ｚ）の微分値は、以下のようになる。
【数２】
【００４５】
この微分値を高解像度化画像ｚに付加していき、画像を更新させ評価関数ｆ（ｚ）の最小値を得る。
【数３】
【００４６】
ここで、ｚｎはｎ回目の高解像度化された結果画像（高解像度化画像）を表し、αは更新量の歩み幅を表す。
【００４７】
この式（３）のような表現をとることにより、ソフトウェアによる最小化のステップが高速化する。
【００４８】
そして、上記ステップＳ１４４５で求めた評価関数ｆ（ｚ）が最小化されたか否かを判別する（ステップＳ１４４６）。ここで、未だ、評価関数ｆ（ｚ）が最小化されていない場合には、高解像度化画像ｚｎを更新して（ステップＳ１４４７）、上記ステップＳ１４４５に戻り、評価関数ｆ（ｚ）の最小化の処理を再び行なう。
【００４９】
而して、上記ステップＳ１４４５で求めた評価関数ｆ（ｚ）が最小化されたならば、高解像度化画像ｚが得られたとして、この高解像度化処理を終了する。
【００５０】
なお、高解像度化ターゲット画像選択部２６Ｄで複数の低解像度画像がターゲット画像として選択された場合には、それら選択された全ての低解像度画像について、上記ステップＳ１４４２乃至ステップＳ１４４６の処理を行なう。
【００５１】
図６は、上で説明された高解像度化処理を行なうための高解像度化処理部２６Ｅの構成の一例を示すブロック図である。この高解像度化処理部２６Ｅは、補間拡大部２６Ｅ１、画像蓄積部２６Ｅ２、ＰＳＦデータ保持部２６Ｅ３、第１畳込み積分部２６Ｅ４、レジストレーション画像生成部２６Ｅ５、画像比較部２６Ｅ６、第２畳込み積分部２６Ｅ７、正則化項演算部２６Ｅ８、更新画像生成部２６Ｅ９、及び収束判定部２６Ｅ１０を備えている。
【００５２】
以下、図５を参照して説明した高解像度化の処理が、このような構成の高解像度化処理部２６Ｅの各部によりどのように実行されるのかを説明する。
【００５３】
即ち、始めに、高解像度化ターゲット画像選択部２６Ｄで選択された高解像度化のターゲット画像を、補間拡大部２６Ｅ１に転送し、該補間拡大部２６Ｅ１において、このターゲット画像の補間拡大を行なう（上記ステップＳ１４４１に対応）。用いられる補間拡大の手法としては、例えば、バイリニア補間やバイキュービック補間などが挙げられる。補間拡大された画像は、画像蓄積部２６Ｅ２に転送され、ここに蓄積される。
【００５４】
画像蓄積部２６Ｅ２に蓄積された画像は、第１畳込み積分部２６Ｅ４に転送され、この第１畳込み積分部２６Ｅ４にて、ＰＳＦデータ保持部２６Ｅ３から転送されるＰＳＦデータとの間で畳込み積分が行なわれる（この畳込み積分は上記式（２）の中のＡＴ（ｙ−Ａｚ）の演算の中のＡｚの部分に対応する）。
【００５５】
また、ターゲット画像は、それ以外の複数枚のプリ撮影画像と共に、レジストレーション画像生成部２６Ｅ５にも転送され、該レジストレーション画像生成部２６Ｅ５において、画像変位推定部２６Ｃで求められた各フレーム間の画像変位情報を元に、ターゲット画像の拡大座標を基準とする座標空間で重ね合わせ処理を行い、レジストレーション画像を生成する（上記ステップＳ１４４３に対応）。ここでの重ね合わせ処理は、例えば、複数枚画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上に画素を置いていく処理により行なう。この時、同一格子点上に複数のピクセル値を置くことが想定されるが、この場合は、複数のピクセル値の間で取られた平均値を置くことができる。
【００５６】
次に、第１畳込み積分部２６Ｅ４で畳込み演算された画像データは、画像比較部２６Ｅ６に転送され、該画像比較部２６Ｅ６において、レジストレーション画像生成部２６Ｅ５にて生成されたレジストレーション画像との間で、同一ピクセル位置においてそのピクセル値の差分値を算出し、差分画像データが生成される（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のｙ−Ａｚに対応）。この画像比較部２６Ｅ６において生成された差分画像データは、第２畳込み積分部２６Ｅ７に転送され、該第２畳込み積分部２６Ｅ７において、ＰＳＦデータ保持部２６Ｅ３により与えられるＰＳＦデータとの間で畳込み積分が行なわれる（上記式（２）のＡＴ（ｙ−Ａｚ）の演算の中のＡＴ・（ｙ−Ａｚ）に対応）。
【００５７】
さらに、画像蓄積部２６Ｅ２に蓄積された画像から、正則化項演算部２６Ｅ８によって正則化画像が生成される。即ち、この正則化項演算部２６Ｅ８においては、例えば、画像蓄積部２６Ｅ２に蓄積された画像に対して、ＲＧＢからＹＣｒＣｂへの色変換処理が行なわれ、そのＣｒ、Ｃｂ成分（色差成分）において、周波数広域通過フィルタ（ラプラシアンフィルタ）の畳込み演算処理を行い、正則化画像を生成する。この方法で生成した正則化画像を更新画像生成部２６Ｅ９において用いることにより、「一般に画像の色差成分は滑らかな変化である」という画像の先見情報を用いることになるので、色差を抑制した高解像度化画像を安定して求めることができるようになる（上記式（２）のｇ（ｚ）のｚによる偏微分に対応）。
【００５８】
そして、上記の第２畳込み積分部２６Ｅ７で生成された画像、画像蓄積部２６Ｅ２に蓄積されている画像、及び正則化項演算部２６Ｅ８で生成された画像は、更新画像生成部２６Ｅ９に転送され、該更新画像生成部２６Ｅ９において、これら３枚の画像の重み付けされた画像を生成することにより、更新画像を生成する（上記式（３）に対応）。生成された更新画像は、収束判定部２６Ｅ１０に転送され、該収束判定部２６Ｅ１０において収束判定が行なわれる。この収束判定にあっては、収束に必要とされた繰り返し演算回数が一定回数よりも多くなった場合に画像の更新作業は収束したと判断するようにしてもよいし、また、繰り返しの過去の更新画像を保持しておき、現在の更新画像との差分を取り、その差分が一定の値よりも小さいと判断された場合に画像の更新作業は収束したと判断するようにしてもよい。収束判定部２６Ｅ１０において、更新作業が収束したと判断された場合、更新画像は、高解像度化画像として外部に出力される。
【００５９】
これに対して、更新作業が収束していないと判断された場合には、更新画像は、画像蓄積部２６Ｅ２へ転送され、反復される更新作業の次の回の更新画像生成の為に利用される。そして、次回の更新画像生成の為に、第１畳込み積分部２６Ｅ４、正則化項演算部２６Ｅ８及び更新画像生成部２６Ｅ９へと与えられる。
【００６０】
以上の処理を繰り返すことにより、更新画像生成部２６Ｅ９で生成される更新画像を更新し、最終的な高解像度化画像を得る。
【００６１】
図７は、このように得られた最終的な高解像度化画像と、高解像度化領域選択部２４で選択された領域選択画像（低解像度画像）とを比較して示す図である。同図において、右側は高解像度化される前の低解像度画像であり、左側はその低解像度画像を基に高解像度化された高解像度化画像を示している。また、上側は鮮鋭度が高く、下側は鮮鋭度が低いものである。本実施形態で採用されている超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の低い画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。図７に示した例では、鮮鋭度の高い高解像度化画像は、鮮鋭度の低い高解像度化画像よりも、それぞれの対応する低解像度画像に対する高解像度化の効果が顕著に現れている。このアルゴリズムそのものの性質は、以下で説明する焦点合わせのための制御に有利に働く。
【００６２】
このように画像高解像度化部２６内の高解像度化処理によって、高解像度化領域選択部２４において領域選択された複数枚の画像の選択領域は高解像度化される。このように画像高解像度化部２６で得られた高解像度化画像は、合焦点検出部２８へ転送される。
【００６３】
そして、上記ステップＳ１６として、合焦点検出部２８では、コントラスト法に代表される、図８に示されているようなＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ）処理を行なうことにより、モータ３０を制御し、焦点の位置あわせを行なう。すなわち、画像にラプラシアンフィルタ等の高域通過フィルタを畳込むことによって、高解像度化画像のエッジ鮮鋭度を検出し、その鮮鋭度の大きさを大きくする方向にモータ３０を制御し、焦点の位置合わせを行なう。図７を参照して上述したように、本実施形態で採用されている高解像度化処理のアルゴリズムの特性により、高解像度化処理を行なったことにより、エッジ鮮鋭度の感度が向上するという有利な効果があり、焦点位置あわせの精度は、向上する。
【００６４】
こうして焦点の位置合わせを行なったところで、再びＣＣＤ撮像素子１６により画像を複数枚撮影し、プリ撮影画像を上で説明したように、増幅回路１８、Ａ／Ｄ変換回路２０、バッファ２２を介して、高解像度化領域選択部２４に転送し領域選択を行い、画像高解像度化部２６に転送し、選択領域の高解像度化を行い、結果の高解像度化画像を合焦点検出部２８へ転送し高解像度化画像の鮮鋭度を検出して、モータ３０を制御し、焦点の位置あわせを行なう。
【００６５】
上記の処理を繰り返し行い、鮮鋭度が最大の値となった時点で、合焦点検出部２８はレンズ系１２の焦点位置が合焦したと判断する。
【００６６】
プリ撮影モードにおいて、上記の焦点位置が合焦したと判断された時点後、ユーザは、レリーズボタンを全押しにすることにより、デジタルカメラ１０は、本撮影モードとなり、被写体の本撮影を行なう。本撮影された画像は、バッファ２２より、映像信号線を介して画像記録部３６に記録される。この記録された画像は、必要に応じて、映像信号線を介して、画像高解像度化部２６に転送され、画像高解像度化処理のリソースとされ、また、出力部３８へ映像信号線を介して転送され、デジタルカメラ１０からの画像出力が行なわれる。
【００６７】
なお、以上で図５に示されている高解像度化のアルゴリズム（超解像処理のアルゴリズム）を採用した場合の高解像度化処理を用いたフォーカス調整について説明したが、高解像度化のアルゴリズムは、この超解像処理アルゴリズムに限定されず、他のアルゴリズムが採用されてもよいことは勿論である。
【００６８】
［第２実施形態］
図９は、本発明の第２実施形態に係る撮像装置としてのデジタルカメラ１０の構成を概略的に示すブロック図である。本実施形態におけるデジタルカメラ１０は、上記第１実施形態と同様の構成を備えると共に、更に、バッファ２２、高解像度化領域選択部２４及び画像高解像度化部２６に接続され、それらから出力された映像信号を表示するＬＣＤなどの画像表示部４０を備えている。また、外部Ｉ／Ｆ部３４には、焦点合わせ機構３４Ａが設けられている。
【００６９】
図１０は、本第２実施形態におけるデジタルカメラ１０の動作フローチャートを示す図である。本実施形態においては、合焦点検出をオートフォーカス及びマニュアルフォーカスのいずれか一方を選択して行なう。
【００７０】
即ち、ユーザが、撮影条件を設定した後に、レリーズボタンを半押しにすると、まず、マニユアルフォーカスモードが選択されているか否かを判別し（ステップＳ３０）、マニュアルフォーカスモードが選択されていない、つまりオートフォーカスモードが選択されていると判別した場合には、オートフォーカス処理を実行する（ステップＳ３２）。このオートフォーカス処理は、上記第１実施形態におけるステップＳ１０乃至ステップＳ２８の処理をそのまま適用でき、従って、その説明は省略する。
【００７１】
これに対して、上記ステップＳ３０においてマニユアルフォーカスモードが選択されていると判別した場合には、プリ撮影モードに入る（ステップＳ３４）。このプリ撮影モードは、上記ステップＳ１０の処理と同様にして、複数枚のプリ撮影画像を撮影して、バッファ２２を介して、高解像度化領域選択部２４へと転送する。
【００７２】
高解像度化領域選択部２４では、画像の高解像度化の処理を行なう画像の領域を選択する（ステップＳ３６）。この高解像度化領域選択処理は、上記ステップＳ１２と同様の処理であるので、その詳細説明は省略する。
【００７３】
そして、この高解像度化領域選択部２４において選択された選択領域情報を用いて、複数枚のプリ撮影画像は、選択領域だけをトリミング処理され、画像高解像度化部２６へと映像信号線を介して転送され、該画像高解像度化部２６において、上記選択領域情報に基づいて、高解像度化の処理を行なう（ステップＳ３８）。この高解像度化処理は、上記ステップＳ１４と同様の処理であるので、その詳細説明は省略する。
【００７４】
画像高解像度化部２６から出力される高解像度化画像は、画像表示部４０に入力され、この画像表示部４０で高解像度化画像の表示が行なわれる（ステップＳ４０）。
【００７５】
ユーザは、この画像表示部４０に表示されている高解像度化画像を目視して、合焦しているかどうか判断し、合焦していると判断した時は、レリーズボタンを全押しして、本撮影を行なうことができる。即ち、上記ステップＳ４０での高解像度化画像の表示後、レリーズボタンが全押しされたか否かを判別し（ステップＳ４２）、レリーズボタンが全押しされたと判別した場合には、本撮影モードに入って、本撮影を行い（ステップＳ４４）、撮影された画像データは、画像記録部３６に記録される（ステップＳ４６）。また、必要に応じて、この画像記録部３６に記録された画像は、出力部３８へ転送され、該デジタルカメラ１０より画像出力が行なわれる。更には、この画像記録部３６に記録された画像は、画像高解像度化部２６へ転送されて画像高解像度化処理のリソースとされ、その結果の高解像度化画像を画像記録部３６に記録したり、出力部３８へ転送して該デジタルカメラ１０より出力したり、画像表示部４０に表示したりすることもできる。
【００７６】
一方、ユーザが画像表示部４０に表示されている高解像度化画像を目視して、合焦していないと判断した時は、レリーズボタンを全押しせずに、マニュアルフォーカスの手続を行なうことができる。このマニュアルフォーカスは、ユーザが、外部Ｉ／Ｆ部３４に設けられている焦点合わせ機構３４Ａを操作することで、制御部３２を介してモータ３０を制御し、レンズ系１２のフォーカスを調整するものである。
【００７７】
そのため、上記ステップＳ４２においてレリーズボタンが全押しされていないと判断した場合には、ユーザが、焦点合わせ機構３４Ａを操作したか否かを判別する（ステップＳ４８）。ここで、焦点合わせ機構３４Ａの操作がされてないと判断した場合には、更に、レリーズボタンの半押しが継続されているか否かを判別する（ステップＳ５０）。レリーズボタンの半押しが終了していると判断した時には、撮影を中止する逆に、レリーズボタンの半押しが継続していると判断した場合には、上記ステップＳ４８に戻る。
【００７８】
このように、ユーザが焦点合わせ機構３４Ａを操作せずにレリーズボタンを半押しにしている限り反復され、ユーザがレリーズボタンを全押しするか、焦点合わせ機構３４Ａを操作するまでの待機状態を形成する。
【００７９】
そして、上記ステップＳ４８において、ユーザが、焦点合わせ機構３４Ａを操作したと判断した場合には、その操作に応じて、制御部３２を介して、モータ３０を制御し、レンズ系１２のフォーカスを調整する（ステップＳ５２）。その後、ユーザが、レリーズボタンの半押しを継続しているか否かを判別し（ステップＳ５４）、レリーズボタンの半押しが継続していれば上記ステップＳ３４に戻って、ユーザにより調整されたフォーカスにより、上記ステップＳ３４乃至ステップＳ５２のマニュアルフォーカス調整のための動作を反復する。また、ステップＳ５４においてレリーズボタンの半押しが終了されたと判断した場合には、撮影を終了する。
【００８０】
上記のようなマニュアルフォーカス調整のための動作が反復され、ユーザが焦点合わせ機構３４Ａを用いた焦点合わせを繰り返した結果、ユーザが画像表示部４０に表示された高解像度化画像を目視して、合焦したと判断した時は、ユーザは、レリーズボタンを全押しし（ステップＳ４２でＹＥＳに分岐）、本撮影を行なうことができる。
【００８１】
なお、本第２実施形態におけるデジタルカメラ１０の外部Ｉ／Ｆ部３４は、マニュアルフォーカス又はオートフォーカスのいずれかの撮影モードをユーザにより選択できるように構成されている。この撮影モードの選択は、外部Ｉ／Ｆ部３４に設けられている切換えスイッチなどの切換え手段により行なうことができる。ユーザは、レリーズボタンを半押しにして合焦のための上記のフローに入る前に、あらかじめこの切換え手段をマニュアルフォーカス又はオートフォーカスに設定してから、レリーズボタンを半押しにする。また、ユーザが、レリーズボタンを半押ししている間に、この切換え手段を切換えることにより合焦のためのフローの間にマニュアルフォーカスとオートフォーカスとを切換えることも可能なことは勿論である。
【００８２】
なお、画像表示部４０への高解像度化画像の表示は、例えば、図１１（Ａ）に示すようにして行われる。
【００８３】
即ち、図１１（Ａ）に示すように、本第２実施形態におけるデジタルカメラ本体１０Ａの画像表示部４０は、デジタルカメラ本体１０Ａの背面に設けられている液晶表示パネル４０Ａとして構成されている。そして、その液晶表示パネル４０Ａの画像表示領域４０Ｂの一部を、高解像度化画像表示領域４０Ｃとして、ここに高解像度化処理された画像が表示される。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。さらに、図１１（Ａ）には、デジタルカメラ本体１０Ａが、外部Ｉ／Ｆ部３４の一部として、電源スイッチ３４Ｂ、レリーズボタン３４Ｃ、及び操作ボタン３４Ｄを備えていることを一例として示している。
【００８４】
図１１（Ｂ）及び（Ｃ）は、画像表示部４０への高解像度化画像の表示例を示している。これらの図に示すように、画像表示領域４０Ｂの一部を高解像度化画像表示領域４０Ｃとして、そこに複数枚のプリ撮影画像から生成された高解像度化画像を表示することで、従来のように画像１枚に対する拡大画像を画像表示に用いる場合よりも、解像感の高い画像により目視による焦点合わせが容易にできる。また、高解像度化処理のアルゴリズムとして超解像処理のアルゴリズムを用いている場合には、鮮鋭度が高い場合と低い場合の鮮鋭度の落差が大きくなり、焦点位置が合っているかどうかの確認が容易にできるようになる。
【００８５】
即ち、ユーザは、図１１（Ｃ）のように、表示されている高解像度化画像の鮮鋭度が低い場合には、焦点合わせ機構３４Ａを操作して、図１１（Ｂ）のように、高解像度化画像の鮮鋭度が高くなるように、デジタルカメラ１０のフォーカスを調整する。その結果、高解像度化画像表示領域４０Ｃに表示されている高解像度化画像が、図１１（Ｂ）に例示されているような鮮鋭度の高い画像になった時は、ユーザは、焦点位置が合焦したと判断して、レリーズボタン３４Ｃを全押しにすることで、デジタルカメラ１０を本撮影モードとして被写体の本撮影を行なうことができる。このような操作により、ユーザは焦点位置の合った画像の撮影を行なうことができる。上記第１実施形態について、図７を用いて説明したように、この超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。この性質の結果、エッジ鮮鋭度の感度が向上するという有利な効果が現れ、焦点位置あわせの感度が向上する。
【００８６】
図１２（Ａ）は、別の表示方法を示す図であり、液晶表示パネル４０Ａの画像表示領域４０Ｂに、高解像度化画像表示領域４０Ｃと低解像度画像表示領域４０Ｄを配置して、高解像度化処理された画像と、高解像度化領域選択部２４で選択された低解像度の領域選択画像と、を並べて表示する。この場合、領域選択画像は、高解像度化画像との間で画像の比較を行なうため、バイリニア法などにより、高解像度化画像と同一のサイズに拡大して表示する。
【００８７】
この表示方法によれば、画像表示に用いる画像を、複数枚のプリ撮影画像から生成された高解像度化画像と拡大された領域選択画像としていることから、高解像度化画像で鮮鋭度が向上していることが明らかになる。特に、高解像度化処理のアルゴリズムとして超解像処理のアルゴリズムを用いている場合には、従来のように、画像１枚による拡大画像のみを画像表示に用いる場合よりも、２枚の画像の鮮鋭度が高い場合と低い場合の鮮鋭度の落差が明らかとなり、高解像度化画像と低解像度画像とを比較することにより、焦点位置が合っているかどうかの確認が容易にできるようになる。また、この超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。高解像度化画像表示領域４０Ｃに表示される複数枚画像を用いて生成された高解像度化画像と低解像度画像表示領域４０Ｄに表示される１枚の画像からなる低解像度画像との間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００８８】
図１２（Ｂ）及び（Ｃ）は、画像表示部４０への表示例を示している。図１２（Ｂ）に示されている高解像度化画像は、鮮鋭度が高く、図１２（Ｃ）に示されている高解像度化画像は、鮮鋭度が低い。上記のように、ユーザは、この高解像度化画像表示領域４０Ｃに表示されている高解像度化画像を見て、画像の鮮鋭度が低いと判断するならば、焦点合わせ機構３４Ａを用いて、焦点の位置あわせを行なう。また、本表示方法では、低解像度画像表示領域４０Ｄに低解像度の領域選択画像が表示されるため、上述の画像の解像感の比較を行なう際に、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという超解像処理の特性を生かし、焦点位置が合っているかどうかの確認をさらに容易にすることができる。その結果、高解像度化画像表示領域４０Ｃに表示されている高解像度化画像が、図１２（Ｂ）に例示されているような鮮鋭度の高い画像になった時は、ユーザは、焦点位置が合焦したと判断して、レリーズボタン３４Ｃを全押しにすることで、デジタルカメラ１０を本撮影モードとして被写体の本撮影を行なう。このような操作により、ユーザは焦点位置の合った画像の撮影を行なうことができる。
【００８９】
更に、図１３（Ａ）、（Ｂ）又は（Ｃ）に示すような表示方法を採っても良い。
【００９０】
図１３（Ａ）に示す表示方法は、画像表示領域４０Ｂに２つの高解像度化画像表示領域４０Ｃ１、４０Ｃ２を配置し、第１の高解像度化画像表示領域４０Ｃ１には、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像を表示し、第２の高解像度化画像表示領域４０Ｃ２には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像の１回前に調整されたフォーカスによる高解像度化画像を表示するものである。図１１（Ａ）で示した表示方法では、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像１枚のみを表示していたのに対し、この表示方法では、ユーザの合焦の判断がより容易になるように、１回前に調整されたフォーカスによる高解像度化画像を並べて表示する。特に、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては、解像感復元効果が少なく、鮮鋭度の高い画像に対しては、解像感復元効果が高いという性質がある。従って、本表示方法のように並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。
【００９１】
また、この表示方法では、いずれの高解像度化画像が直前のフォーカス調整により生成された高解像度化画像か分かるように、「調整前」、「調整後」の解説表示４０Ｅ（すなわちキャプション）がそれぞれ第１及び第２の高解像度化画像表示領域の近傍に表示することが好ましい。この解説表示４０Ｅの表示位置、及びこの解説表示４０Ｅを表示するか、しないかは、ユーザが外部Ｉ／Ｆ部３４を介して選択可能としてもよい。また、解説表示４０Ｅは、図示されているような「調整前」、「調整後」に限定されず、他のものでもよい。さらに、第１の高解像度化画像表示領域４０Ｃ１及び第２の高解像度化画像表示領域４０Ｃ２のそれぞれの表示位置は、ユーザが外部Ｉ／Ｆ部３４を介して、調整可能であってよい。なお、画像表示領域４０Ｂの第１の高解像度化画像表示領域４０Ｃ１及び第２の高解像度化画像表示領域４０Ｃ２以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、バッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９２】
また、図１３（Ｂ）に示す表示方法は、画像表示領域４０Ｂに、高解像度化画像表示領域４０Ｃによる高解像度化画像と、低解像度画像表示領域４０Ｄによる低解像度の領域選択画像の拡大表示とを交互に表示するものである。図１２（Ａ）に示した表示方法では、これら２つの表示領域を並べて表示していたのに対して、この表示方法では、交互に表示することにより、表示領域の外の領域に情報が表示されている場合には、特に、バッファ２２に転送される現時刻の撮影画像が表示されている場合には、これらの表示領域の外の情報が確認しやすくなるという利点がある。また、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質がある。高解像度化画像表示領域４０Ｃに表示される複数枚画像を用いて生成された高解像度化画像、及び低解像度画像表示領域４０Ｄに表示される１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認をすることは２枚の画像を交互に表示するこの表示方法でも可能である。
【００９３】
ユーザは、外部Ｉ／Ｆ部３４を介して、高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄの表示時間をそれぞれ調整することができ、各々の画像表示領域を異なる場所に設定することができる。また、高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄの表示の交替の間にいずれの画像表示領域も表示されない時間間隔を設定し、この時間間隔を調整することができる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、上述のようにバッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９４】
図１３（Ｃ）に示す表示方法は、画像表示領域４０Ｂに２つの高解像度化画像表示領域４０Ｃ１、４０Ｃ２と２つの低解像度画像表示領域４０Ｄ１、４０Ｄ２を配置したものである。そして、第１の高解像度化画像表示領域４０Ｃ１には、直前のフォーカス調整により撮影された複数画像から生成された高解像度化画像を表示し、第２の高解像度化画像表示領域４０Ｃ２には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像の１回前に調整されたフォーカスによる高解像度化画像を表示する。また、第１の低解像度画像表示領域４０Ｄ１には、第１の高解像度化画像表示領域４０Ｃ１に表示されている高解像度化画像のフォーカスで撮像された低解像度の領域選択画像を表示し、第２の低解像度画像表示領域４０Ｄ２には、第２の高解像度化画像表示領域４０Ｃ２に表示されている高解像度化画像のフォーカスで撮像された低解像度の領域選択画像を表示する。ここで、それぞれ同一のフォーカスで生成された高解像度化画像と領域選択画像とが並べられて表示されるように、各表示領域は配置される。さらに、第１及び第２の高解像度化画像表示領域４０Ｃ１、４０Ｃ２の近傍には、それぞれ「調整後」、「調整前」の解説表示４０Ｅが行われる。
【００９５】
超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、本表示方法のように並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。また、高解像度化画像表示領域４０Ｃ１、４０Ｃ２に表示される複数枚画像を用いて生成された高解像度化画像、及び低解像度画像表示領域４０Ｄ１、４０Ｄ２に表示される１枚の画像からなる低解像度画像の間で、それぞれ、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認をすることが可能である。この表示方法では、例えば、背景にバッファ２２に転送される現時刻の撮影画像を表示しているような場合、画像表示領域が４つあるために、背景の情報や画像が確認しづらい可能性がある。このため、ユーザは、外部Ｉ／Ｆ部３４を介して、４つの画像表示領域のいずれかを又は全てを一時的に削除して、背景の情報や画像を確認することが可能である。また、４つの画像表示領域の表示位置を変化させることも行なうことができる。さらに、解説表示４０Ｅは、必ずしも「調整前」、「調整後」である必要はなく、他の表示でもよく、ユーザが、外部Ｉ／Ｆ部３４を介してこれらの表示を中止することもできる。なお、画像表示領域４０Ｂの高解像度化画像表示領域４０Ｃ及び低解像度画像表示領域４０Ｄ以外に領域には、任意の画像、シャッタスピード、ＩＳＯ感度、焦点距離等の撮影に関わるパラメータの情報を表示できるが、特に、上述のようにバッファ２２に転送される現時刻の撮影画像を表示してもよい。
【００９６】
なお、これら図１１（Ａ）、図１２（Ａ）、図１３（Ａ）、（Ｂ）、及び（Ｃ）を参照して説明した表示方法は、ユーザにより外部Ｉ／Ｆ部を介して選択可能に構成しても構わない。
【００９７】
以上、実施形態に基づいて、本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９８】
特に、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することが可能である。
【００９９】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１００】
（１） 被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする撮像装置。
【０１０１】
（対応する実施形態）
この（１）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、モータ３０が上記焦点合わせ手段に、高解像度化領域選択部２４及び画像高解像度化部２６が上記画像高解像度化手段に、合焦点検出部２８が上記合焦点検出手段及び調整手段に、それぞれ対応する。
【０１０２】
（作用効果）
この（１）に記載の撮像装置によれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、この画像を用いて、エッジ鮮鋭度を計算する際に、エッジ付近の解像度を向上させ、ノイズの低減を図ることができる。この結果、合焦点検出手段が、エッジ鮮鋭度を高精度に算出でき、このエッジ鮮鋭度に基づいて調整手段が、焦点合わせ手段を調整するので、焦点合わせ（オートフォーカス）を高精度に行なうことができる。
【０１０３】
（２） 被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする撮像装置。
【０１０４】
（対応する実施形態）
この（２）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。その実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、モータ３０及び制御部３２が上記焦点合わせ手段に、高解像度化領域選択部２４及び画像高解像度化部２６が上記画像高解像度化手段に、画像表示部４０が上記画像表示手段に、焦点合わせ機構３４Ａ及び制御部３２が上記調整手段に、それぞれ対応する。
【０１０５】
（作用効果）
この（２）に記載の撮像装置によれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、その画像を画像表示手段に表示させるので、ユーザが、調整手段を用いて、目視で焦点合わせを行なう際に、解像感の向上した画像を用いて焦点合わせをすることができ、精度よく焦点合わせを行なうことができる。
【０１０６】
（３） 上記画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
オートフォーカスモードとマニュアルフォーカスモードとを切替設定するモード設定手段と、
を更に具備し、
上記調整手段は、上記モード設定手段によって上記オートフォーカスモードが設定されているときには、上記合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させることを特徴とする請求項２に記載の撮像装置。
【０１０７】
（対応する実施形態）
この（３）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。その実施形態において、合焦点検出部２８が上記合焦点検出手段に、外部Ｉ／Ｆ部３４が上記モード設定手段に、それぞれ対応する。
【０１０８】
（作用効果）
この（３）に記載の撮像装置によれば、ユーザが、マニュアルフォーカスによる焦点合わせに満足がいかない時、モード設定手段を切り替えることにより、オートフォーカスによる焦点合わせも試みることができる。また、最初からオートフォーカスモードを選択して、オートフォーカスにより焦点合わせを行なうことができる。
【０１０９】
（４） 上記画像高解像度化手段は、上記撮像素子で撮像された上記被写体の画像を複数枚用いて高解像度化画像を生成する超解像処理であることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【０１１０】
（対応する実施形態）
この（４）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。
【０１１１】
（作用効果）
この（４）に記載の撮像装置によれば、超解像処理のアルゴリズムの性質として、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があるので、オートフォーカスを行なう際には、高解像度化処理を行なっていない低解像度の画像どうしではエッジ鮮鋭度の違いが明らかでなくても、高解像度化処理を行なった画像のエッジ鮮鋭度の違いは、際立って大きくなり、合焦点検出手段による合焦点検出が容易になる。また、この超解像処理のアルゴリズムの性質として、鮮鋭度が高ければ高解像度化処理された画像と低解像度画像との解像感の落差が大きく、鮮鋭度が低ければこれらの解像感の落差が小さいという性質があるので、マニュアルフォーカスを行なう際には、高解像度化処理された画像の解像感の復元効果を目視することにより鮮鋭度が高くなる焦点位置に焦点合わせすることが可能である。
【０１１２】
（５） 上記画像高解像度化手段は、画像高解像度化処理を行なう画像領域を選択する高解像度化領域選択手段を有することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【０１１３】
（対応する実施形態）
この（５）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、高解像度化領域選択部２４が上記高解像度化領域選択手段に対応する。
【０１１４】
（作用効果）
この（５）に記載の撮像装置によれば、画像に高周波成分が含まれていることが好ましいことから、画像に含まれるエッジ領域を選択したり、焦点合わせを行ないたい主要な被写体は撮影画像の中央に存在する可能性が高いことから、撮影画像の端の領域よりも中央の領域を優先的に領域選択を行なったりするなど、焦点合わせのための適当な画像を特に選択することにより、焦点合わせの精度を高め、焦点合わせを容易にすることができる。
【０１１５】
（６） 上記画像表示手段は、上記高解像度化された画像を表示すると同時に、この高解像度化された画像が高解像度化される前の画像を拡大して表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１１６】
（対応する実施形態）
この（６）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１１７】
（作用効果）
この（６）に記載の撮像装置によれば、高解像度化画像と低解像画像とを並べて表示することにより、高解像度化画像でエッジ鮮鋭度が向上していることが明らかとなる。また、高解像度化処理として、超解像処理のアルゴリズムを採用した場合、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１１８】
（７） 上記表示手段は、上記高解像度化された画像と、この高解像度化された画像が高解像度化される前の画像を拡大した画像と、を交互に表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１１９】
（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２０】
（作用効果）
この（７）に記載の撮像装置によれば、高解像度化画像と低解像度画像とを交互に表示することから、高解像度化処理の効果が明らかになる。さらに、交互に表示することにより、高解像度化画像と低解像度画像の表示領域の外の領域に情報が表示されている場合には、これらの情報が確認しやすくなるという利点がある。また、高解像度化処理として、超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいという特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１２１】
（８） 上記表示手段は、上記調整手段による調整前後の高解像度化された画像を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１２２】
（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２３】
（作用効果）
この（８）に記載の撮像装置によれば、高解像度化処理により、エッジ付近の解像度が向上した高解像度化画像どうしを比較することにより、焦点合わせが容易になる。また、高解像度化処理として超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、２つの高解像度化画像を並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。
【０１２４】
（９） 上記表示手段は、上記調整手段による調整前後の高解像度化された画像と、それらの高解像度化された画像が高解像度化される前の画像を拡大した画像と、を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【０１２５】
（対応する実施形態）
この（９）に記載の撮像装置に関する実施形態は、第２実施形態が対応する。
【０１２６】
（作用効果）
この（９）に記載の撮像装置によれば、高解像度化処理により、エッジ付近の解像度が向上した高解像度化画像どうしを比較することにより、焦点合わせが容易になる。また、高解像度化画像と低解像度画像とを並べて表示することにより、高解像度化画像で鮮鋭度が高くなっていることが明らかとなる。さらに、高解像度化処理として超解像処理のアルゴリズムを採用した場合、高解像度化処理の結果、鮮鋭度の少ない画像に対しては解像感復元効果が少なく、鮮鋭度の高い画像に対しては解像感復元効果が高いという性質があり、２つの高解像度化画像を並べて表示することにより、２つの画像の解像感復元効果をより容易に比較できる。そして、複数枚画像を用いて生成された高解像度化画像、及び１枚の画像からなる低解像度画像の間で、画像の解像感の比較を行なうことで、鮮鋭度が高ければ解像感の落差が大きく、鮮鋭度が低ければ解像感の落差が小さいというこのアルゴリズムの特性を生かし、焦点位置が合っているかどうかの確認を容易にすることができる。
【０１２７】
（１０） 上記画像高解像度化手段は、撮影モード、焦点距離、像倍率の少なくとも一つに応じて、上記高解像度化処理を行なう元の画像の枚数を制御する手段を有することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
【０１２８】
（対応する実施形態）
この（１０）に記載の撮像装置に関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、使用枚数制御部２６Ａが上記元の画像の枚数を制御する手段に対応する。
【０１２９】
（作用効果）
この（１０）に記載の撮像装置によれば、例えば、夜景撮影モードでは光量が少ないため枚数を多くしたり、像倍率が低い場合には枚数を多くしたり、焦点距離が短い場合は枚数を多くしたりするなど、撮影条件に応じて高解像度化処理に必要な元の画像の枚数を制御することが可能になる。
【０１３０】
（１１） 被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【０１３１】
（対応する実施形態）
この（１１）に記載のフォーカス制御プログラムに関する実施形態は、第１及び第２実施形態が対応する。それらの実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、ステップＳ１２及びＳ１４が上記高解像度化させる手順に、ステップＳ１６が上記合焦点位置を検出する手順及び上記撮像光学系の焦点を調整する手順に、それぞれ対応する。
【０１３２】
（作用効果）
この（１１）に記載のフォーカス制御プログラムによれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、この画像を用いて、エッジ鮮鋭度を計算する際に、エッジ付近の解像度を向上させ、ノイズの低減を図ることができる。この結果、合焦点位置を検出する手順で、エッジ鮮鋭度を高精度に算出でき、このエッジ鮮鋭度に基づいて撮像光学系の焦点を調整する手段で、焦点合わせ（オートフォーカス）を高精度に行なうことができる。
【０１３３】
（１２） 被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【０１３４】
（対応する実施形態）
この（１２）に記載のフォーカス制御プログラムに関する実施形態は、第２実施形態が対応する。その実施形態において、デジタルカメラ１０が上記撮像装置に、ＣＣＤ撮像素子１６が上記撮像素子に、レンズ系１２が上記撮像光学系に、ステップＳ３６及びＳ３８が上記高解像度化させる手順に、ステップＳ４０が上記高解像度化された画像を表示する手順に、ステップＳ４８が上記撮像光学系の焦点を調整する操作を受け付ける手順に、ステップＳ５２が上記撮像光学系の焦点を調整する手順に、それぞれ対応する。
【０１３５】
（作用効果）
この（１２）に記載のフォーカス制御プログラムによれば、複数枚の画像を用いて１枚の高解像度化画像を生成し、その画像を表示させるので、ユーザが、解像感の向上した画像を用いて撮像光学系の焦点を調整する操作を精度よく行なうことができ、この結果、撮像光学系の焦点を調整する手順を行なわせることにより、精度よく焦点合わせを行なうことができる。
【図面の簡単な説明】
【０１３６】
【図１】図１は、本発明の第１実施形態に係る撮像装置としてのデジタルカメラの概略的なブロック構成図である。
【図２】図２は、第１実施形態におけるデジタルカメラの動作フローチャートを示す図である。
【図３】図３は、画像変位推定部で行なわれている処理のフローチャートを示す図である。
【図４】図４は、離散的な類似度マップを連続的な類似度マップに補間するためにパラボラフィッティングを用いる処理の例を示す図である。
【図５】図５は、高解像度化処理部で行なわれる高解像度化の処理のフローチャートを示す図である。
【図６】図６は、高解像度化処理部の構成を示す概略的なブロック図である。
【図７】図７は、高解像度化画像において、鮮鋭度の違いによる高解像度化の効果の現れ方の例を示す図である。
【図８】図８は、ＤＦＦ処理による焦点合わせを示す概念図である。
【図９】図９は、本発明の第２実施形態に係る撮像装置としてのデジタルカメラの概略的なブロック構成図である。
【図１０】図１０は、第２実施形態におけるデジタルカメラの動作フローチャートを示す図である。
【図１１】図１１（Ａ）は、第２実施形態における表示方法を説明するためのデジタルカメラの背面図であり、図１１（Ｂ）及び（Ｃ）はそれぞれその表示方法における表示例を示す図である。
【図１２】図１２（Ａ）は、他の表示例を説明するためのデジタルカメラの背面図であり、図１２（Ｂ）及び（Ｃ）はそれぞれその表示方法における表示例を示す図である。
【図１３】図１３（Ａ）乃至（Ｃ）はそれぞれ更に別の表示方法を示す図である。
【符号の説明】
【０１３７】
１０…デジタルカメラ、 １０Ａ…デジタルカメラ本体、 １２…レンズ系、 １４…ＣＦＡ、 １６…ＣＣＤ撮像素子、 １８…増幅回路、 ２０…Ａ／Ｄ変換回路、 ２２…バッファ、 ２４…高解像度化領域選択部、 ２６…画像高解像度化部、 ２６Ａ…使用枚数制御部、 ２６Ｂ…基準画像選択部、 ２６Ｃ…画像変位推定部、 ２６Ｄ…高解像度化ターゲット画像選択部、 ２６Ｅ…高解像度化処理部、 ２６Ｅ１…補間拡大部、 ２６Ｅ２…画像蓄積部、 ２６Ｅ３…ＰＳＦデータ保持部、 ２６Ｅ４…第１畳込み積分部、 ２６Ｅ５…レジストレーション画像生成部、 ２６Ｅ６…画像比較部、 ２６Ｅ７…第２畳込み積分部、 ２６Ｅ８…正則化項演算部、 ２６Ｅ９…更新画像生成部、 ２６Ｅ１０…収束判定部、 ２８…合焦点検出部、 ３０…モータ、 ３２…制御部、 ３４…外部Ｉ／Ｆ部、 ３４Ａ…焦点合わせ機構、 ３４Ｂ…電源スイッチ、 ３４Ｃ…レリーズボタン、 ３４Ｄ…操作ボタン、 ３６…画像記録部、 ３８…出力部、 ４０…画像表示部、 ４０Ａ…液晶表示パネル、 ４０Ｂ…画像表示領域、 ４０Ｃ，４０Ｃ１，４０Ｃ２…高解像度化画像表示領域、 ４０Ｄ，４０Ｄ１，４０Ｄ２…低解像度画像表示領域、 ４０Ｅ…解説表示。
【特許請求の範囲】
【請求項１】
被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする撮像装置。
【請求項２】
被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする撮像装置。
【請求項３】
上記画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
オートフォーカスモードとマニュアルフォーカスモードとを切替設定するモード設定手段と、
を更に具備し、
上記調整手段は、上記モード設定手段によって上記オートフォーカスモードが設定されているときには、上記合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画像高解像度化手段は、上記撮像素子で撮像された上記被写体の画像を複数枚用いて高解像度化画像を生成する超解像処理であることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
上記画像高解像度化手段は、画像高解像度化処理を行なう画像領域を選択する高解像度化領域選択手段を有することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
上記画像表示手段は、上記高解像度化された画像を表示すると同時に、この高解像度化された画像が高解像度化される前の画像を拡大して表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項７】
上記表示手段は、上記高解像度化された画像と、この高解像度化された画像が高解像度化される前の画像を拡大した画像と、を交互に表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項８】
上記表示手段は、上記調整手段による調整前後の高解像度化された画像を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項９】
上記表示手段は、上記調整手段による調整前後の高解像度化された画像と、それらの高解像度化された画像が高解像度化される前の画像を拡大した画像と、を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項１０】
上記画像高解像度化手段は、撮影モード、焦点距離、像倍率の少なくとも一つに応じて、上記高解像度化処理を行なう元の画像の枚数を制御する手段を有することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
【請求項１１】
被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【請求項１２】
被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【請求項１】
被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
この合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させる調整手段と、
を具備することを特徴とする撮像装置。
【請求項２】
被写体の画像を電子的に記録する撮像装置において、
撮像素子と、
レンズの作用を有する撮像光学系と、
この撮像光学系の焦点を合わせる焦点合わせ手段と、
上記撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化する画像高解像度化手段と、
この画像高解像度化手段において高解像度化された画像を表示する画像表示手段と、
上記焦点合わせ手段を手動調整可能な調整手段と、
を具備することを特徴とする撮像装置。
【請求項３】
上記画像高解像度化手段により高解像度化された画像を用いて、上記撮像光学系の合焦点位置を検出する合焦点検出手段と、
オートフォーカスモードとマニュアルフォーカスモードとを切替設定するモード設定手段と、
を更に具備し、
上記調整手段は、上記モード設定手段によって上記オートフォーカスモードが設定されているときには、上記合焦検出手段で検出した合焦点位置に基づいて、上記焦点合わせ手段に上記撮像光学系の焦点を調整させることを特徴とする請求項２に記載の撮像装置。
【請求項４】
上記画像高解像度化手段は、上記撮像素子で撮像された上記被写体の画像を複数枚用いて高解像度化画像を生成する超解像処理であることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
上記画像高解像度化手段は、画像高解像度化処理を行なう画像領域を選択する高解像度化領域選択手段を有することを特徴とする請求項１乃至４の何れかに記載の撮像装置。
【請求項６】
上記画像表示手段は、上記高解像度化された画像を表示すると同時に、この高解像度化された画像が高解像度化される前の画像を拡大して表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項７】
上記表示手段は、上記高解像度化された画像と、この高解像度化された画像が高解像度化される前の画像を拡大した画像と、を交互に表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項８】
上記表示手段は、上記調整手段による調整前後の高解像度化された画像を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項９】
上記表示手段は、上記調整手段による調整前後の高解像度化された画像と、それらの高解像度化された画像が高解像度化される前の画像を拡大した画像と、を並べて表示することを特徴とする請求項２乃至５の何れかに記載の撮像装置。
【請求項１０】
上記画像高解像度化手段は、撮影モード、焦点距離、像倍率の少なくとも一つに応じて、上記高解像度化処理を行なう元の画像の枚数を制御する手段を有することを特徴とする請求項１乃至９の何れかに記載の撮像装置。
【請求項１１】
被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を用いて、レンズの作用を有する撮像光学系の合焦点位置を検出する手順と、
この検出した合焦点位置に基づいて、上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【請求項１２】
被写体の画像を電子的に記録する撮像装置のフォーカス制御プログラムであって、
コンピュータに、
撮像素子で撮像された複数枚の被写体の画像を用いて、撮像された任意の被写体の画像を高解像度化させる手順と、
この高解像度化された画像を表示する手順と、
レンズの作用を有する撮像光学系の焦点を調整する操作を受け付ける手順と、
この操作に応じて上記撮像光学系の焦点を調整する手順と、
を実行させるためのフォーカス制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００８−７９１２３（Ｐ２００８−７９１２３Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−２５７６２０（Ｐ２００６−２５７６２０）
【出願日】平成１８年９月２２日（２００６．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年９月２２日（２００６．９．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]