画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
【課題】コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる技術を提供する。
【解決手段】画像信号に信号処理を施して出力する信号処理手段と、前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、を有し、前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理装置を提供する。
【解決手段】画像信号に信号処理を施して出力する信号処理手段と、前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、を有し、前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置においては、静止画を撮像する機能に加えて動画を撮像する機能を有する撮像装置や静止画又は動画の撮像と同時に音声を録音する機能を備えた撮像装置が開発されている。
【０００３】
このような撮像装置は、動画の解像度よりも高い解像度の静止画を撮像するために必要な画素数を含む撮像素子を備えている。そして、動画の撮像時には、撮像素子上で画素加算や間引き等を行うことによって動画に適した画素数、且つ、高フレームレートの撮像を実現している。このように、撮像装置は、撮像素子で撮像した画像をそのまま出力する静止画用の駆動モード（以下、「静止画モード」と称する）と、画素加算や間引き等を行う動画用の駆動モード（以下、「動画モード」と称する）とを有する。
【０００４】
なお、動画の撮像中に静止画を撮像する技術として、撮像する画像（動画又は静止画）に応じて、撮像素子の駆動モードを動画モード又は静止画モードに切り替えて撮像する技術が提案されている（特許文献１参照）。
【０００５】
また、複数の低解像度の画像を合成して高解像度の画像を生成する技術（以下、「超解像」又は「超解像処理」と称する）が提案されており、かかる超解像処理を応用することで動画の撮像中に静止画を撮像することが可能となる。例えば、超解像に関連する技術として、超解像処理を実施してから、或いは、超解像処理を実施しながら信号処理を実施する画像信号処理方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０１４７３号公報
【特許文献２】特開２００７−１９６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画の撮像中に静止画を撮像する際に、撮像素子の駆動モードを静止画モードに切り替えると、動画の撮像に必要なフレームレートでの撮像を実現することができなくなってしまう。従って、静止画を撮像している間は、例えば、直前のフレームを維持したり、全面黒色のフレームなどの代用フレームに置き換えたりしなければならず、実質的に動画がフリーズしてしまうという問題を生じてしまう。
【０００８】
また、超解像処理を応用した場合には、上述したような動画のフリーズを回避することが可能であるが、動画用の低解像度の画像と超解像処理を施した高解像度の画像のそれぞれに信号処理を実施しなければならない。従って、同時化処理、ＡＰＣ補正処理等の種々の処理を行う信号処理手段を、時分割で低解像度及び高解像度の画像を処理できるように（即ち、高速動作可能に）構成するか、或いは、種々の処理に応じて個別に設ける必要があり、コストの増大を招いてしまう。
【０００９】
更に、信号処理を施した動画用の画像に対して超解像処理を行う場合、動画用に施したＡＰＣ補正成分が超解像処理によって不自然な滲みとして現れてしまうという問題がある。例えば、ＡＰＣ補正処理を実施すると、エッジ強調成分が混じり込んでしまう。従って、エッジ強調成分が混じり込んだ画像に対して超解像処理を行うと、エッジ強調成分が広がり、超解像処理によって生成された高解像度の画像のエッジ部分に不自然な暗部や明部が発生してしまう。
【００１０】
そこで、本発明は、このような従来技術の課題に鑑みて、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる技術を提供することを例示的目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一側面としての画像処理装置は、画像信号に信号処理を施して出力する信号処理手段と、前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、を有し、前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする。
【００１２】
本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。
【発明の効果】
【００１３】
本発明によれば、例えば、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る第１の実施形態の撮像装置の構成を示す概略ブロック図である。
【図２】本発明に係る第２の実施形態の撮像装置の構成を示す概略ブロック図である。
【図３】本発明に係る第３の実施形態の撮像装置の構成を示す概略ブロック図である。
【図４】ＡＰＣ補正処理において、ＡＰＣ補正の強度を決定するＡＰＣ係数の一例を示す図である。
【図５】ＡＰＣ補正処理を説明するための図である。
【図６】ＡＰＣ補正処理を説明するための図である。
【図７】図６に示すＡＰＣ補正処理を施した第１のフレーム画像及びＡＰＣ補正処理を施した第２のフレーム画像に超解像処理を行った場合の画像を示す図である。
【図８】図６に示す第１のフレーム画像及び第２のフレーム画像に超解像処理を行った後でＡＰＣ補正処理を行った場合の画像を示す図である。
【図９】超解像処理を説明するためのフローチャートである。
【図１０】超解像処理に用いるフレーム画像と超解像処理後の画像とを示す図である。
【図１１】超解像処理における補間処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１６】
本実施形態の撮像装置を説明する前に、信号処理について説明する。
【００１７】
カラーフィルタを有する単版方式の撮像装置は、撮像素子から１画素あたり単色の情報しか得ることができない。例えば、原色フィルタのカラーフィルタである場合には、１画素ごとに赤、緑、青の原色のうちいずれか１色のみの色情報しか得られないため、隣り合う画素は異なる色情報を有するように配列が決められている。これを、１画素あたり３原色すべて揃うように処理することを同時化処理と呼ぶ。
【００１８】
また、信号処理は、同時化処理に加えて、ガンマ補正処理、ＡＰＣ補正（ＡＰｅｒｔｕｒｅ Ｃｏｒｒｅｃｔｉｏｎ：アパーチャ補正）処理やＫＮＥＥ補正処理等の画質調整用の処理を含む。特に、ＡＰＣ補正処理はエッジ強調を行う処理であって、同時化処理等の各種処理によってボケてしまったエッジを復元する役割を有する。従って、信号処理を行う信号処理部は、画質を重視する撮像装置において重要な回路であり、回路規模も大きいものとなる。
【００１９】
ＡＰＣ補正処理は、例えば、空間フィルタによって抽出されたエッジ成分に、図４に示すようなＡＰＣ補正の度合い（強度）を決定するＡＰＣ係数をかけて加算することによって実現される。ＡＰＣ係数によって、図５（ａ）に示すＡＰＣ補正処理前の画像（画像信号）に対して、図５（ｂ）に示すＡＰＣ補正処理後の画像（画像信号）におけるエッジ強調成分の形状が決まる。エッジ強調成分を多く含む画像に対して超解像処理を行うと、かかるエッジ強調成分が位置あわせによるずらし方向に広がる傾向がある。ここで、図４は、ＡＰＣ補正処理において、ＡＰＣ補正の強度を決定するＡＰＣ係数の一例を示す図である。また、図５は、ＡＰＣ補正処理を説明するための図であって、図５（ａ）は、ＡＰＣ補正処理前の画像を示し、図５（ｂ）は、ＡＰＣ補正処理後の画像を示す。
【００２０】
例えば、単純なエッジを撮影する場合を例に説明する。ここでは、画像を２次元ではなく、Ｘ軸又はＹ軸限定の１次元であるものとする。撮影したエッジが、図６（ａ）に示すようにサンプリングされた場合を考える。図６（ａ）において、三角形（△）で示されたポイントは、第１のフレーム画像として撮像され、四角形（□）で示されたポイントは、第２のフレーム画像として撮像されたとする。この場合の第１のフレーム画像を図６（ｂ）に示し、第２のフレーム画像を図６（ｃ）に示す。また、第１のフレーム画像にＡＰＣ補正処理を施した画像を図６（ｄ）に示し、第２のフレーム画像にＡＰＣ補正処理を施した画像を図６（ｅ）に示す。
【００２１】
図６（ｄ）に示すＡＰＣ補正処理を施した第１のフレーム画像及び図６（ｅ）に示すＡＰＣ補正処理を施した第２のフレーム画像に超解像処理を行うと、図７に示すように、エッジ強調成分が広がった状態で合成される。そこで、上述したＡＰＣ補正処理は、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度に施し、超解像処理後にＡＰＣ補正処理を再度施すようにする。これにより、信号処理部を動画の撮像時と超解像処理時で共用することができるため、回路規模の大型化を抑制することが可能となる。
【００２２】
また、図６（ｂ）に示す第１のフレーム画像及び図６（ｃ）に示す第２のフレーム画像に超解像処理を行った後でＡＰＣ補正処理を行った場合の画像を図８に示す。信号処理前の画像は、信号処理後の画像よりも色成分１つあたりのビット深度が深い。従って、信号処理前の画像に超解像処理を行うと、かかる超解像処理によって合成された画像を保持するメモリとして大容量のメモリが必要となる。但し、信号処理前にビット深度を下げる処理を行うと、著しい画質の低下を招いてしまうため、信号処理後の画像に対して超解像処理を行うことが好ましい。
【００２３】
ここで、超解像処理について詳細に説明する。超解像処理とは、上述したように、重なる部分を有する複数の低解像度の画像から高解像度の画像を生成する処理である。超解像処理は、本実施形態では、複数のフレーム画像（動画）から静止画を生成する。
【００２４】
図９は、超解像処理を説明するためのフローチャートである。まず、ステップＳ１００２では、選択された複数のフレーム画像を取得する。本実施形態では、４つのフレーム画像を取得する。ステップＳ１００２で取得された複数の選択フレーム画像は、一時的にメモリに記憶される。
【００２５】
なお、フレーム画像は、ドットマトリックス状の各画素の階調値（画素値）を示す階調データ（画素データ）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であって、撮像素子の種別に依存する。
【００２６】
本実施形態では、超解像処理の説明を明確にするために、フレーム画像は、後述する図１０及び図１１に示すように、１色のみの多値の画像データとして示す。また、画像サイズも実際の動画サイズ（例えば、ＶＧＡサイズ）ではなく、８×８＝６４画素の画像データとして示す。
【００２７】
ステップＳ１００４では、ステップＳ１００２で取得した４つのフレーム画像のうち、３つのフレーム画像の各フレーム相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。かかる補正量の推定では、４つのフレーム画像のうち、１つのフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施形態では、ステップＳ１００２で取得したフレーム画像のうち、最も早く生成されたフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定する。
【００２８】
なお、以下の説明では、ステップＳ１００２で取得した４つのフレームの番号（フレーム番号）をｎ（ｎ＝０、１、２、３）とし、フレーム番号ｎのフレームをフレームｎとし、フレームｎの画像をフレーム画像Ｆｎとする。例えば、フレーム番号ｎが０のフレームはフレーム０とし、かかるフレーム０の画像をフレーム画像Ｆ０とする。なお、フレーム０を基準フレームとし、フレーム１乃至３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とし、対象フレームのフレーム画像Ｆ１乃至Ｆ３を対象フレーム画像とする。
【００２９】
画像の位置ずれは、並進（横方向又は縦方向）のずれと、回転のずれとの組み合わせで表される。但し、本実施形態では、回転ずれについての説明及び処理は省略する。
【００３０】
図１０は、超解像処理に用いるフレーム画像と超解像処理後の画像を示す図である。図１０において、被写体と、撮像により得られた基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１乃至Ｆ３とを示している。被写体を囲む点線矩形は基準フレーム画像Ｆ０を撮像した際の画角を示し、実線矩形は対象フレーム画像Ｆ１乃至Ｆ３のそれぞれを撮像した際の画角を示す。
【００３１】
図１０において、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図１０に示すように、対象フレーム画像Ｆ１は、基準フレーム画像Ｆ０に対して、縦方向の並進ずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。
【００３２】
ここで、各対象フレーム画像（Ｆ１乃至Ｆ３）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正する必要がある。かかる補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についてのこれらの補正量を「ｕｎ」、「ｖｎ」と表す。例えば、対象フレーム画像Ｆ１についての補正量は、ｕ１、ｖ１と表される。
【００３３】
また、各対象フレーム画像の各画素の位置ずれの補正とは、対象フレーム画像Ｆｎ（ｎ＝１、２、３）の各画素の位置を、横方向にｕｎ移動させ、縦方向にｖｎ移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についての補正量ｕｎ、ｖｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎの関係で表される。例えば、対象フレーム画像Ｆ１についての補正量ｕ１、ｖ１は、ｕ１＝−ｕｍ１、ｖ１＝−ｖｍ１で表される。
【００３４】
このように、補正量ｕ１、ｖ１を用いて、対象フレーム画像Ｆ１の各画素の位置を補正することにより、対象フレーム画像Ｆ１と基準フレーム画像Ｆ０とのずれをなくすことができる。同様に、対象フレーム画像Ｆ２及びＦ３についても、補正量ｕ２、ｖ２、及び補正量ｕ３、ｖ３を用いて補正が施される。
【００３５】
なお、各対象フレーム画像Ｆｎ（ｎ＝１、２、３）についての補正量ｕｎ、ｖｎは、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１乃至Ｆ３の画像データとに基づき算定される。かかる算定には、例えば、パターンマッチ法、勾配法、最小自乗法などの所定の算出式が用いられる。また、算出された補正量ｕｎ、ｖｎは、並進補正量データとして、メモリの所定の領域に記憶される。
【００３６】
ステップＳ１００６では、基準フレーム画像Ｆ０と位置ずれが補正された対象フレーム画像Ｆ１乃至Ｆ３とを合成して高解像度の静止画像を生成する。
【００３７】
本実施形態では、図１０に示すように、各対象フレームの位置ずれが１画素単位であるものとして示しているが、実際の撮像においては、１画素間隔以下の位置ずれが生じており、このような微少な位置ずれを利用することで高解像度化が可能となる。
【００３８】
従って、生成する静止画を構成する各画素（生成画素）のうち、基準フレーム画像及び対象フレーム画像のいずれにも存在しない画素が存在する。このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行えばよい。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理を用いることができる。
【００３９】
図１１を参照して、バイ・リニア法による補間処理を用いる場合を説明する。まず、基準フレーム画像及び対象フレーム画像から、生成画素ＧＩＰの位置に最も近い距離にある最近傍画素ＮＩＰを有するフレーム画像を選択する。そして、選択したフレーム画像のうち、生成画素ＧＩＰの位置を囲む４つの画素を周辺画素ＰＩＰ１乃至ＰＩＰ３として決定し、周辺画素ＰＩＰ１乃至ＰＩＰ３のデータ値に所定の重み付けを加えた値を平均して、生成画素ＧＩＰのデータ値を得る。
【００４０】
このような処理を各生成画素について繰り返すことによって、例えば、図１０に示すような解像度が２倍の超解像画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数のフレーム画像のデータ値を用いるほど、高精細な超解像画像を得ることができる。
【００４１】
［第１の実施形態］
図１は、本発明に係る第１の実施形態の撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００４２】
撮像装置１００は、図１に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００は、切替部１１２と、ＡＰＣ補正処理部１１４と、圧縮処理部１１６と、メモリ部１１８と、メモリカード１２０とを有する。
【００４３】
レンズ１０２は、被写体からの光を撮像素子１０４に投影して光学像を形成する。
【００４４】
撮像素子１０４は、レンズ１０２を介して形成される光学像を、光電変換によって、画像信号（電気信号）に変換する。
【００４５】
Ａ／Ｄ変換部１０６は、撮像素子１０４から出力されるアナログの画像信号をデジタルの画像信号に変換する。
【００４６】
信号処理部１０８は、Ａ／Ｄ変換部１０６から出力される画像信号に信号処理を施す。信号処理部１０８は、例えば、信号処理として、画像信号に含まれる色情報の同時化処理、フィルタ処理、画像信号を輝度信号と色差信号に分離する分離処理、ガンマ補正処理、画像信号のエッジを強調するためのＡＰＣ補正処理の少なくとも１つを施す。また、信号処理部１０８は、信号処理として、ＫＮＥＥ補正処理などを施すこともできる。
【００４７】
超解像処理部１１０は、信号処理部１０８から出力される複数の画像信号を合成して解像度を向上させるための超解像処理を施す。具体的には、超解像処理部１１０には、被写体の動画撮像時に被写体の静止画を撮像する場合に、信号処理部１０８から動画用の複数のフレーム画像が入力される。そして、超解像処理部１１０は、かかる複数のフレーム画像に超解像処理を施すことによって、動画の解像度よりも高い解像度の静止画（かかる静止画を生成するための画像信号）を生成する。なお、超解像処理については、上述した通り（図９乃至図１１参照）であるため、ここでの詳細な説明は省略する。
【００４８】
切替部１１２は、ＡＰＣ補正処理部１１４への入力を切り替える（即ち、信号処理部１０８から出力される画像信号又は超解像処理部１１０から出力される画像信号を選択する）機能を有する。切替部１１２は、本実施形態では、撮像装置１００が動画を撮像しているのか、或いは、静止画を撮像しているのかに応じて、Ａ側パスと、Ｂ側パスとを選択する。具体的には、切替部１１２は、被写体の動画を撮像する場合には、Ｂ側パスを選択して、信号処理部１０８から出力される画像信号を超解像処理部１１０を介さずにＡＰＣ補正処理部１１４に入力する。一方、被写体の動画撮像時に被写体の静止画を撮像する場合には、切替部１１２は、Ａ側パスを選択して、信号処理部１０８から出力される画像信号を超解像処理部１１０を介してＡＰＣ補正処理部１１４に入力する。
【００４９】
ＡＰＣ補正処理部１１４は、信号処理部１０８から出力される画像信号及び超解像処理部１１０から出力される画像信号のそれぞれにエッジを強調するためのＡＰＣ補正処理を施す。
【００５０】
なお、信号処理部１０８及びＡＰＣ補正処理部１１４は、共同して上述した通りのＡＰＣ補正処理を施す。
【００５１】
圧縮処理部１１６は、ＡＰＣ補正処理部１１４から出力される画像信号に圧縮処理を施す。
【００５２】
メモリ部１１８は、圧縮処理部１１６から出力される圧縮処理が施された画像信号を記憶する。
【００５３】
メモリカード１２０は、メモリ部１１８に記憶されている画像信号を記録する。
【００５４】
以下、撮像装置１００の動作について説明する。本実施形態では、被写体の撮動画撮像中に被写体の静止画を撮像する場合について説明する。従って、切替部１１２は、Ｂ側パスを選択しており、信号処理部１０８からは動画用の複数の画像信号が出力されているものとする。
【００５５】
被写体の撮動画撮像中に被写体の静止画の撮像が指示されると、切替部１１２は、Ａ側パスを選択して、信号処理部１０８から出力される複数の画像信号が超解像処理部１１０に入力される。なお、かかる複数の画像信号は、信号処理部１０８において、ＡＰＣ補正処理を含む信号処理が施されている。
【００５６】
超解像処理部１１０に入力された複数の画像信号は、上述したように、超解像処理が施されて、静止画を生成する画像信号として、ＡＰＣ補正処理部１１４に出力される。
【００５７】
ＡＰＣ補正処理部１１４に入力された画像信号は、ＡＰＣ補正処理が施されて、メモリ部１１８で記憶されると共に、メモリカード１２０に記録される。
【００５８】
なお、撮像装置１００において、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、ＡＰＣ補正処理部１１４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、ＡＰＣ補正処理部１１４では、画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、ＡＰＣ補正処理部１１４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、ＡＰＣ補正処理部１１４においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００５９】
このように、撮像装置１００は、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００は、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００６０】
なお、本実施形態では、切替部１１２を用いることによって、ＡＰＣ補正処理部１１４、圧縮処理部１１６、メモリ部１１８及び１２０を動画の撮像及び超解像処理による静止画の撮像において共有している。このような構成は、静止画と動画が同一又は類似する圧縮コーデックを使う場合に特に有利となる（例えば、ＪＰＥＧとモーションＪＰＥＧ等）。
【００６１】
［第２の実施形態］
図２は、本発明に係る第２の実施形態の撮像装置１００Ａの構成を示す概略ブロック図である。撮像装置１００Ａは、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００６２】
撮像装置１００Ａは、撮像装置１００と同様な構成を有する。具体的には、撮像装置１００Ａは、図２に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００Ａは、第１のＡＰＣ補正処理部１２２と、第２のＡＰＣ補正処理部１２４と、第１の圧縮処理部１２６と、第２の圧縮処理部１２８と、メモリ部１１８と、メモリカード１２０とを有する。
【００６３】
第１のＡＰＣ補正処理部１２２は、超解像処理部１１０から出力される画像信号にエッジを強調するための第１のＡＰＣ補正処理を施す。第１のＡＰＣ補正処理部１２２には、動画撮像中に静止画を撮像する場合に、信号処理部１０８から出力される画像信号が超解像処理部１１０を介して入力される。
【００６４】
第２のＡＰＣ補正処理部１２４は、信号処理部１０８から出力される画像信号にエッジを強調するための第２のＡＰＣ補正処理を施す。第２のＡＰＣ補正処理部１２４には、動画を撮像する場合に、信号処理部１０８から出力される画像信号が超解像処理部１１０を介さずに入力される。
【００６５】
なお、第１のＡＰＣ補正処理と第２のＡＰＣ補正処理とは、エッジを強調するという点では同様である。但し、第１のＡＰＣ補正処理は、静止画を生成する画像信号に対するＡＰＣ補正処理であるのに対して、第２のＡＰＣ補正処理は、動画の画像信号に対するＡＰＣ補正処理であるという点で異なる。
【００６６】
第１の圧縮処理部１２６は、第１のＡＰＣ補正処理部１２２から出力される画像信号に圧縮処理を施す。第１の圧縮処理部１２６から出力される画像信号は、メモリ部１１８に記憶される。
【００６７】
第２の圧縮処理部１２８は、第２のＡＰＣ補正処理部１２４から出力される画像信号に圧縮処理を施す。第２の圧縮処理部１２６から出力される画像信号は、メモリ部１１８に記憶される。
【００６８】
なお、撮像装置１００Ａにおいて、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、第１のＡＰＣ補正処理部１２２では、静止画の画質の改善を目的としたＡＰＣ補正処理を施す。また、第２のＡＰＣ補正処理部１２４では、動画（フレーム画像）の画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、第１のＡＰＣ補正処理部１２２においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。同様に、第２のＡＰＣ補正処理部１２４においては、超解像処理が施されていなくても、エッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００６９】
このように、撮像装置１００Ａは、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００Ａは、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００７０】
なお、撮像装置１００Ａは、撮像装置１００と比較して、比較的小規模な回路で構成することができるＡＰＣ補正処理部を、静止画（超解像画像）用の第１のＡＰＣ補正処理部１２２と、動画用の第２のＡＰＣ補正処理部１２４とに分けている点が異なる。このような構成は、静止画と動画の圧縮コーデックが異なる場合に有利である（例えば、ＪＰＥＧとＭＰＥＧ４等）。また、撮像装置１００Ａは、静止画と動画の処理において、他方の処理によって処理が中断されることもなく、撮像装置１００よりも高速に処理することができる。これは、撮像装置１００Ａが静止画用の第１のＡＰＣ補正処理部１２２及び第１の圧縮処理部１２６と、動画用の第２のＡＰＣ補正処理部１２４及び第２の圧縮処理部１２８とを有しているからである。
【００７１】
［第３の実施形態］
図３は、本発明に係る第３の実施形態の撮像装置１００Ｂの構成を示す概略ブロック図である。撮像装置１００Ｂは、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００７２】
撮像装置１００Ｂは、撮像装置１００や撮像装置１００Ａと同様な構成を有する。具体的には、撮像装置１００Ｂは、図３に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００Ａは、第１のＡＰＣ補正処理部１２２と、第２のＡＰＣ補正処理部１２４と、切替部１３０と、圧縮処理部１１６と、メモリ部１１８と、メモリカード１２０とを有する。
【００７３】
切替部１３０は、圧縮処理部１１６への入力を切り替える（即ち、第１のＡＰＣ補正処理部１２２から出力される画像信号又は第２のＡＰＣ補正処理部１２４から出力される画像信号を選択する）機能を有する。切替部１３０は、本実施形態では、撮像装置１００Ｂが動画を撮像しているのか、或いは、静止画を撮像しているのかに応じて、Ｃ側パスと、Ｄ側パスとを選択する。具体的には、切替部１３０は、被写体の動画を撮像する場合には、Ｄ側パスを選択して、第２のＡＰＣ補正処理部１２４から出力される画像信号を圧縮処理部１１６に入力する。一方、被写体の動画撮像時に被写体の静止画を撮像する場合には、切替部１３０は、Ｃ側パスを選択して、第１のＡＰＣ補正処理部１２４から出力される画像信号を圧縮処理部１１６に入力する。圧縮処理部１１６では、切替部１３０による入力の切り替えに応じて、異なる圧縮処理を画像信号に施すことが可能である。
【００７４】
なお、撮像装置１００Ｂにおいて、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、第１のＡＰＣ補正処理部１２２では、静止画の画質の改善を目的としたＡＰＣ補正処理を施す。また、第２のＡＰＣ補正処理部１２４では、動画（フレーム画像）の画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、第１のＡＰＣ補正処理部１２２においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。同様に、第２のＡＰＣ補正処理部１２４においては、超解像処理が施されていなくても、エッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００７５】
このように、撮像装置１００Ｂは、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００Ｂは、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００７６】
撮像装置１００Ｂは、撮像装置１００と比較して、超解像処理部１１０からの画像信号にＡＰＣ補正処理を施す第１のＡＰＣ補正処理部と、信号処理部１０８からの画像信号にＡＰＣ補正処理を施す第２のＡＰＣ補正処理部とを独立させている点が異なる。これにより、第１のＡＰＣ補正処理部１２２が超解像処理部１１０からの画像信号にＡＰＣ補正処理を施している間であっても、第２のＡＰＣ補正処理部１２４が信号処理部１０８から高フレームレートで出力される画像処理にＡＰＣ補正処理を施すことができる。従って、撮像装置１００Ｂは、静止画と動画の処理において、撮像装置１００よりも高速に処理することができる。
【００７７】
また、撮像装置１００Ｂは、撮像装置１００Ａと比較して、第１のＡＰＣ補正処理部１２２から出力される画像信号に圧縮処理を施す圧縮処理部と第２のＡＰＣ補正処理部１２４から出力される画像信号に圧縮処理を施す圧縮処理部とを共有させている点が異なる。このような構成は、静止画と動画が同一または類似する圧縮コーデックを使う場合に特に有利である（例えば、ＪＰＥＧとモーションＪＰＥＧ等）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、撮像機能の実行までをカメラに行わせ、カメラと通信手段を介して接続されたパーソナルコンピュータ（ＰＣ）に撮像された画像を送り、その後の信号処理を行わせる変形例がある。この場合、カメラからＰＣへと撮像素子の駆動モードの切り替え情報が伝達されることになる。また、ＰＣでは専用のハードウェアに限らず、ＰＣのメインＣＰＵがソフトウェア処理により、上記の超解像処理やＡＰＣ処理が実行するように構成してもよい。その場合に用いられるソフトウェア（プログラム）はＣＤ―ＲＯＭ等の記録媒体やネットワーク等を介して接続されたサーバからダウンロードして供給される形態がある。
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置においては、静止画を撮像する機能に加えて動画を撮像する機能を有する撮像装置や静止画又は動画の撮像と同時に音声を録音する機能を備えた撮像装置が開発されている。
【０００３】
このような撮像装置は、動画の解像度よりも高い解像度の静止画を撮像するために必要な画素数を含む撮像素子を備えている。そして、動画の撮像時には、撮像素子上で画素加算や間引き等を行うことによって動画に適した画素数、且つ、高フレームレートの撮像を実現している。このように、撮像装置は、撮像素子で撮像した画像をそのまま出力する静止画用の駆動モード（以下、「静止画モード」と称する）と、画素加算や間引き等を行う動画用の駆動モード（以下、「動画モード」と称する）とを有する。
【０００４】
なお、動画の撮像中に静止画を撮像する技術として、撮像する画像（動画又は静止画）に応じて、撮像素子の駆動モードを動画モード又は静止画モードに切り替えて撮像する技術が提案されている（特許文献１参照）。
【０００５】
また、複数の低解像度の画像を合成して高解像度の画像を生成する技術（以下、「超解像」又は「超解像処理」と称する）が提案されており、かかる超解像処理を応用することで動画の撮像中に静止画を撮像することが可能となる。例えば、超解像に関連する技術として、超解像処理を実施してから、或いは、超解像処理を実施しながら信号処理を実施する画像信号処理方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１０１４７３号公報
【特許文献２】特開２００７−１９６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、動画の撮像中に静止画を撮像する際に、撮像素子の駆動モードを静止画モードに切り替えると、動画の撮像に必要なフレームレートでの撮像を実現することができなくなってしまう。従って、静止画を撮像している間は、例えば、直前のフレームを維持したり、全面黒色のフレームなどの代用フレームに置き換えたりしなければならず、実質的に動画がフリーズしてしまうという問題を生じてしまう。
【０００８】
また、超解像処理を応用した場合には、上述したような動画のフリーズを回避することが可能であるが、動画用の低解像度の画像と超解像処理を施した高解像度の画像のそれぞれに信号処理を実施しなければならない。従って、同時化処理、ＡＰＣ補正処理等の種々の処理を行う信号処理手段を、時分割で低解像度及び高解像度の画像を処理できるように（即ち、高速動作可能に）構成するか、或いは、種々の処理に応じて個別に設ける必要があり、コストの増大を招いてしまう。
【０００９】
更に、信号処理を施した動画用の画像に対して超解像処理を行う場合、動画用に施したＡＰＣ補正成分が超解像処理によって不自然な滲みとして現れてしまうという問題がある。例えば、ＡＰＣ補正処理を実施すると、エッジ強調成分が混じり込んでしまう。従って、エッジ強調成分が混じり込んだ画像に対して超解像処理を行うと、エッジ強調成分が広がり、超解像処理によって生成された高解像度の画像のエッジ部分に不自然な暗部や明部が発生してしまう。
【００１０】
そこで、本発明は、このような従来技術の課題に鑑みて、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる技術を提供することを例示的目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一側面としての画像処理装置は、画像信号に信号処理を施して出力する信号処理手段と、前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、を有し、前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする。
【００１２】
本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。
【発明の効果】
【００１３】
本発明によれば、例えば、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる技術を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る第１の実施形態の撮像装置の構成を示す概略ブロック図である。
【図２】本発明に係る第２の実施形態の撮像装置の構成を示す概略ブロック図である。
【図３】本発明に係る第３の実施形態の撮像装置の構成を示す概略ブロック図である。
【図４】ＡＰＣ補正処理において、ＡＰＣ補正の強度を決定するＡＰＣ係数の一例を示す図である。
【図５】ＡＰＣ補正処理を説明するための図である。
【図６】ＡＰＣ補正処理を説明するための図である。
【図７】図６に示すＡＰＣ補正処理を施した第１のフレーム画像及びＡＰＣ補正処理を施した第２のフレーム画像に超解像処理を行った場合の画像を示す図である。
【図８】図６に示す第１のフレーム画像及び第２のフレーム画像に超解像処理を行った後でＡＰＣ補正処理を行った場合の画像を示す図である。
【図９】超解像処理を説明するためのフローチャートである。
【図１０】超解像処理に用いるフレーム画像と超解像処理後の画像とを示す図である。
【図１１】超解像処理における補間処理を説明するための図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１６】
本実施形態の撮像装置を説明する前に、信号処理について説明する。
【００１７】
カラーフィルタを有する単版方式の撮像装置は、撮像素子から１画素あたり単色の情報しか得ることができない。例えば、原色フィルタのカラーフィルタである場合には、１画素ごとに赤、緑、青の原色のうちいずれか１色のみの色情報しか得られないため、隣り合う画素は異なる色情報を有するように配列が決められている。これを、１画素あたり３原色すべて揃うように処理することを同時化処理と呼ぶ。
【００１８】
また、信号処理は、同時化処理に加えて、ガンマ補正処理、ＡＰＣ補正（ＡＰｅｒｔｕｒｅ Ｃｏｒｒｅｃｔｉｏｎ：アパーチャ補正）処理やＫＮＥＥ補正処理等の画質調整用の処理を含む。特に、ＡＰＣ補正処理はエッジ強調を行う処理であって、同時化処理等の各種処理によってボケてしまったエッジを復元する役割を有する。従って、信号処理を行う信号処理部は、画質を重視する撮像装置において重要な回路であり、回路規模も大きいものとなる。
【００１９】
ＡＰＣ補正処理は、例えば、空間フィルタによって抽出されたエッジ成分に、図４に示すようなＡＰＣ補正の度合い（強度）を決定するＡＰＣ係数をかけて加算することによって実現される。ＡＰＣ係数によって、図５（ａ）に示すＡＰＣ補正処理前の画像（画像信号）に対して、図５（ｂ）に示すＡＰＣ補正処理後の画像（画像信号）におけるエッジ強調成分の形状が決まる。エッジ強調成分を多く含む画像に対して超解像処理を行うと、かかるエッジ強調成分が位置あわせによるずらし方向に広がる傾向がある。ここで、図４は、ＡＰＣ補正処理において、ＡＰＣ補正の強度を決定するＡＰＣ係数の一例を示す図である。また、図５は、ＡＰＣ補正処理を説明するための図であって、図５（ａ）は、ＡＰＣ補正処理前の画像を示し、図５（ｂ）は、ＡＰＣ補正処理後の画像を示す。
【００２０】
例えば、単純なエッジを撮影する場合を例に説明する。ここでは、画像を２次元ではなく、Ｘ軸又はＹ軸限定の１次元であるものとする。撮影したエッジが、図６（ａ）に示すようにサンプリングされた場合を考える。図６（ａ）において、三角形（△）で示されたポイントは、第１のフレーム画像として撮像され、四角形（□）で示されたポイントは、第２のフレーム画像として撮像されたとする。この場合の第１のフレーム画像を図６（ｂ）に示し、第２のフレーム画像を図６（ｃ）に示す。また、第１のフレーム画像にＡＰＣ補正処理を施した画像を図６（ｄ）に示し、第２のフレーム画像にＡＰＣ補正処理を施した画像を図６（ｅ）に示す。
【００２１】
図６（ｄ）に示すＡＰＣ補正処理を施した第１のフレーム画像及び図６（ｅ）に示すＡＰＣ補正処理を施した第２のフレーム画像に超解像処理を行うと、図７に示すように、エッジ強調成分が広がった状態で合成される。そこで、上述したＡＰＣ補正処理は、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度に施し、超解像処理後にＡＰＣ補正処理を再度施すようにする。これにより、信号処理部を動画の撮像時と超解像処理時で共用することができるため、回路規模の大型化を抑制することが可能となる。
【００２２】
また、図６（ｂ）に示す第１のフレーム画像及び図６（ｃ）に示す第２のフレーム画像に超解像処理を行った後でＡＰＣ補正処理を行った場合の画像を図８に示す。信号処理前の画像は、信号処理後の画像よりも色成分１つあたりのビット深度が深い。従って、信号処理前の画像に超解像処理を行うと、かかる超解像処理によって合成された画像を保持するメモリとして大容量のメモリが必要となる。但し、信号処理前にビット深度を下げる処理を行うと、著しい画質の低下を招いてしまうため、信号処理後の画像に対して超解像処理を行うことが好ましい。
【００２３】
ここで、超解像処理について詳細に説明する。超解像処理とは、上述したように、重なる部分を有する複数の低解像度の画像から高解像度の画像を生成する処理である。超解像処理は、本実施形態では、複数のフレーム画像（動画）から静止画を生成する。
【００２４】
図９は、超解像処理を説明するためのフローチャートである。まず、ステップＳ１００２では、選択された複数のフレーム画像を取得する。本実施形態では、４つのフレーム画像を取得する。ステップＳ１００２で取得された複数の選択フレーム画像は、一時的にメモリに記憶される。
【００２５】
なお、フレーム画像は、ドットマトリックス状の各画素の階調値（画素値）を示す階調データ（画素データ）で構成されている。画素データは、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータや、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であって、撮像素子の種別に依存する。
【００２６】
本実施形態では、超解像処理の説明を明確にするために、フレーム画像は、後述する図１０及び図１１に示すように、１色のみの多値の画像データとして示す。また、画像サイズも実際の動画サイズ（例えば、ＶＧＡサイズ）ではなく、８×８＝６４画素の画像データとして示す。
【００２７】
ステップＳ１００４では、ステップＳ１００２で取得した４つのフレーム画像のうち、３つのフレーム画像の各フレーム相互のずれ（位置ずれ）を補正するための補正量の推定を実行する。かかる補正量の推定では、４つのフレーム画像のうち、１つのフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定する。そして、各対象フレームについて、基準フレームに対する位置ずれを補正するための補正量が、それぞれ推定される。なお、本実施形態では、ステップＳ１００２で取得したフレーム画像のうち、最も早く生成されたフレーム画像を基準フレームとして設定し、その他の３つのフレーム画像を対象フレームとして設定する。
【００２８】
なお、以下の説明では、ステップＳ１００２で取得した４つのフレームの番号（フレーム番号）をｎ（ｎ＝０、１、２、３）とし、フレーム番号ｎのフレームをフレームｎとし、フレームｎの画像をフレーム画像Ｆｎとする。例えば、フレーム番号ｎが０のフレームはフレーム０とし、かかるフレーム０の画像をフレーム画像Ｆ０とする。なお、フレーム０を基準フレームとし、フレーム１乃至３を対象フレームとする。また、基準フレームのフレーム画像Ｆ０を基準フレーム画像とし、対象フレームのフレーム画像Ｆ１乃至Ｆ３を対象フレーム画像とする。
【００２９】
画像の位置ずれは、並進（横方向又は縦方向）のずれと、回転のずれとの組み合わせで表される。但し、本実施形態では、回転ずれについての説明及び処理は省略する。
【００３０】
図１０は、超解像処理に用いるフレーム画像と超解像処理後の画像を示す図である。図１０において、被写体と、撮像により得られた基準フレーム画像Ｆ０と、対象フレーム画像Ｆ１乃至Ｆ３とを示している。被写体を囲む点線矩形は基準フレーム画像Ｆ０を撮像した際の画角を示し、実線矩形は対象フレーム画像Ｆ１乃至Ｆ３のそれぞれを撮像した際の画角を示す。
【００３１】
図１０において、横方向の並進ずれ量を「ｕｍ」、縦方向の並進ずれ量を「ｖｍ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についてのこれらのずれ量を「ｕｍｎ」、「ｖｍｎ」と表す。例えば、図１０に示すように、対象フレーム画像Ｆ１は、基準フレーム画像Ｆ０に対して、縦方向の並進ずれが生じており、そのずれ量は、ｕｍ１、ｖｍ１と表される。
【００３２】
ここで、各対象フレーム画像（Ｆ１乃至Ｆ３）を基準フレーム画像（Ｆ０）と合成するためには、各対象フレーム画像と基準フレーム画像とのずれをなくすように、各対象フレーム画像の各画素の位置ずれを補正する必要がある。かかる補正のために用いられる横方向の並進補正量を「ｕ」、縦方向の並進補正量を「ｖ」とそれぞれ表す。また、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についてのこれらの補正量を「ｕｎ」、「ｖｎ」と表す。例えば、対象フレーム画像Ｆ１についての補正量は、ｕ１、ｖ１と表される。
【００３３】
また、各対象フレーム画像の各画素の位置ずれの補正とは、対象フレーム画像Ｆｎ（ｎ＝１、２、３）の各画素の位置を、横方向にｕｎ移動させ、縦方向にｖｎ移動させることを意味する。従って、対象フレーム画像Ｆｎ（ｎ＝１、２、３）についての補正量ｕｎ、ｖｎは、ｕｎ＝−ｕｍｎ、ｖｎ＝−ｖｍｎの関係で表される。例えば、対象フレーム画像Ｆ１についての補正量ｕ１、ｖ１は、ｕ１＝−ｕｍ１、ｖ１＝−ｖｍ１で表される。
【００３４】
このように、補正量ｕ１、ｖ１を用いて、対象フレーム画像Ｆ１の各画素の位置を補正することにより、対象フレーム画像Ｆ１と基準フレーム画像Ｆ０とのずれをなくすことができる。同様に、対象フレーム画像Ｆ２及びＦ３についても、補正量ｕ２、ｖ２、及び補正量ｕ３、ｖ３を用いて補正が施される。
【００３５】
なお、各対象フレーム画像Ｆｎ（ｎ＝１、２、３）についての補正量ｕｎ、ｖｎは、基準フレーム画像Ｆ０の画像データと対象フレーム画像Ｆ１乃至Ｆ３の画像データとに基づき算定される。かかる算定には、例えば、パターンマッチ法、勾配法、最小自乗法などの所定の算出式が用いられる。また、算出された補正量ｕｎ、ｖｎは、並進補正量データとして、メモリの所定の領域に記憶される。
【００３６】
ステップＳ１００６では、基準フレーム画像Ｆ０と位置ずれが補正された対象フレーム画像Ｆ１乃至Ｆ３とを合成して高解像度の静止画像を生成する。
【００３７】
本実施形態では、図１０に示すように、各対象フレームの位置ずれが１画素単位であるものとして示しているが、実際の撮像においては、１画素間隔以下の位置ずれが生じており、このような微少な位置ずれを利用することで高解像度化が可能となる。
【００３８】
従って、生成する静止画を構成する各画素（生成画素）のうち、基準フレーム画像及び対象フレーム画像のいずれにも存在しない画素が存在する。このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データ（階調値を表す階調データ）を用いて、所定の補間処理を行えばよい。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストネイバ法等の種々の補間処理を用いることができる。
【００３９】
図１１を参照して、バイ・リニア法による補間処理を用いる場合を説明する。まず、基準フレーム画像及び対象フレーム画像から、生成画素ＧＩＰの位置に最も近い距離にある最近傍画素ＮＩＰを有するフレーム画像を選択する。そして、選択したフレーム画像のうち、生成画素ＧＩＰの位置を囲む４つの画素を周辺画素ＰＩＰ１乃至ＰＩＰ３として決定し、周辺画素ＰＩＰ１乃至ＰＩＰ３のデータ値に所定の重み付けを加えた値を平均して、生成画素ＧＩＰのデータ値を得る。
【００４０】
このような処理を各生成画素について繰り返すことによって、例えば、図１０に示すような解像度が２倍の超解像画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数のフレーム画像のデータ値を用いるほど、高精細な超解像画像を得ることができる。
【００４１】
［第１の実施形態］
図１は、本発明に係る第１の実施形態の撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００４２】
撮像装置１００は、図１に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００は、切替部１１２と、ＡＰＣ補正処理部１１４と、圧縮処理部１１６と、メモリ部１１８と、メモリカード１２０とを有する。
【００４３】
レンズ１０２は、被写体からの光を撮像素子１０４に投影して光学像を形成する。
【００４４】
撮像素子１０４は、レンズ１０２を介して形成される光学像を、光電変換によって、画像信号（電気信号）に変換する。
【００４５】
Ａ／Ｄ変換部１０６は、撮像素子１０４から出力されるアナログの画像信号をデジタルの画像信号に変換する。
【００４６】
信号処理部１０８は、Ａ／Ｄ変換部１０６から出力される画像信号に信号処理を施す。信号処理部１０８は、例えば、信号処理として、画像信号に含まれる色情報の同時化処理、フィルタ処理、画像信号を輝度信号と色差信号に分離する分離処理、ガンマ補正処理、画像信号のエッジを強調するためのＡＰＣ補正処理の少なくとも１つを施す。また、信号処理部１０８は、信号処理として、ＫＮＥＥ補正処理などを施すこともできる。
【００４７】
超解像処理部１１０は、信号処理部１０８から出力される複数の画像信号を合成して解像度を向上させるための超解像処理を施す。具体的には、超解像処理部１１０には、被写体の動画撮像時に被写体の静止画を撮像する場合に、信号処理部１０８から動画用の複数のフレーム画像が入力される。そして、超解像処理部１１０は、かかる複数のフレーム画像に超解像処理を施すことによって、動画の解像度よりも高い解像度の静止画（かかる静止画を生成するための画像信号）を生成する。なお、超解像処理については、上述した通り（図９乃至図１１参照）であるため、ここでの詳細な説明は省略する。
【００４８】
切替部１１２は、ＡＰＣ補正処理部１１４への入力を切り替える（即ち、信号処理部１０８から出力される画像信号又は超解像処理部１１０から出力される画像信号を選択する）機能を有する。切替部１１２は、本実施形態では、撮像装置１００が動画を撮像しているのか、或いは、静止画を撮像しているのかに応じて、Ａ側パスと、Ｂ側パスとを選択する。具体的には、切替部１１２は、被写体の動画を撮像する場合には、Ｂ側パスを選択して、信号処理部１０８から出力される画像信号を超解像処理部１１０を介さずにＡＰＣ補正処理部１１４に入力する。一方、被写体の動画撮像時に被写体の静止画を撮像する場合には、切替部１１２は、Ａ側パスを選択して、信号処理部１０８から出力される画像信号を超解像処理部１１０を介してＡＰＣ補正処理部１１４に入力する。
【００４９】
ＡＰＣ補正処理部１１４は、信号処理部１０８から出力される画像信号及び超解像処理部１１０から出力される画像信号のそれぞれにエッジを強調するためのＡＰＣ補正処理を施す。
【００５０】
なお、信号処理部１０８及びＡＰＣ補正処理部１１４は、共同して上述した通りのＡＰＣ補正処理を施す。
【００５１】
圧縮処理部１１６は、ＡＰＣ補正処理部１１４から出力される画像信号に圧縮処理を施す。
【００５２】
メモリ部１１８は、圧縮処理部１１６から出力される圧縮処理が施された画像信号を記憶する。
【００５３】
メモリカード１２０は、メモリ部１１８に記憶されている画像信号を記録する。
【００５４】
以下、撮像装置１００の動作について説明する。本実施形態では、被写体の撮動画撮像中に被写体の静止画を撮像する場合について説明する。従って、切替部１１２は、Ｂ側パスを選択しており、信号処理部１０８からは動画用の複数の画像信号が出力されているものとする。
【００５５】
被写体の撮動画撮像中に被写体の静止画の撮像が指示されると、切替部１１２は、Ａ側パスを選択して、信号処理部１０８から出力される複数の画像信号が超解像処理部１１０に入力される。なお、かかる複数の画像信号は、信号処理部１０８において、ＡＰＣ補正処理を含む信号処理が施されている。
【００５６】
超解像処理部１１０に入力された複数の画像信号は、上述したように、超解像処理が施されて、静止画を生成する画像信号として、ＡＰＣ補正処理部１１４に出力される。
【００５７】
ＡＰＣ補正処理部１１４に入力された画像信号は、ＡＰＣ補正処理が施されて、メモリ部１１８で記憶されると共に、メモリカード１２０に記録される。
【００５８】
なお、撮像装置１００において、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、ＡＰＣ補正処理部１１４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、ＡＰＣ補正処理部１１４では、画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、ＡＰＣ補正処理部１１４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、ＡＰＣ補正処理部１１４においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００５９】
このように、撮像装置１００は、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００は、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００６０】
なお、本実施形態では、切替部１１２を用いることによって、ＡＰＣ補正処理部１１４、圧縮処理部１１６、メモリ部１１８及び１２０を動画の撮像及び超解像処理による静止画の撮像において共有している。このような構成は、静止画と動画が同一又は類似する圧縮コーデックを使う場合に特に有利となる（例えば、ＪＰＥＧとモーションＪＰＥＧ等）。
【００６１】
［第２の実施形態］
図２は、本発明に係る第２の実施形態の撮像装置１００Ａの構成を示す概略ブロック図である。撮像装置１００Ａは、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００６２】
撮像装置１００Ａは、撮像装置１００と同様な構成を有する。具体的には、撮像装置１００Ａは、図２に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００Ａは、第１のＡＰＣ補正処理部１２２と、第２のＡＰＣ補正処理部１２４と、第１の圧縮処理部１２６と、第２の圧縮処理部１２８と、メモリ部１１８と、メモリカード１２０とを有する。
【００６３】
第１のＡＰＣ補正処理部１２２は、超解像処理部１１０から出力される画像信号にエッジを強調するための第１のＡＰＣ補正処理を施す。第１のＡＰＣ補正処理部１２２には、動画撮像中に静止画を撮像する場合に、信号処理部１０８から出力される画像信号が超解像処理部１１０を介して入力される。
【００６４】
第２のＡＰＣ補正処理部１２４は、信号処理部１０８から出力される画像信号にエッジを強調するための第２のＡＰＣ補正処理を施す。第２のＡＰＣ補正処理部１２４には、動画を撮像する場合に、信号処理部１０８から出力される画像信号が超解像処理部１１０を介さずに入力される。
【００６５】
なお、第１のＡＰＣ補正処理と第２のＡＰＣ補正処理とは、エッジを強調するという点では同様である。但し、第１のＡＰＣ補正処理は、静止画を生成する画像信号に対するＡＰＣ補正処理であるのに対して、第２のＡＰＣ補正処理は、動画の画像信号に対するＡＰＣ補正処理であるという点で異なる。
【００６６】
第１の圧縮処理部１２６は、第１のＡＰＣ補正処理部１２２から出力される画像信号に圧縮処理を施す。第１の圧縮処理部１２６から出力される画像信号は、メモリ部１１８に記憶される。
【００６７】
第２の圧縮処理部１２８は、第２のＡＰＣ補正処理部１２４から出力される画像信号に圧縮処理を施す。第２の圧縮処理部１２６から出力される画像信号は、メモリ部１１８に記憶される。
【００６８】
なお、撮像装置１００Ａにおいて、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、第１のＡＰＣ補正処理部１２２では、静止画の画質の改善を目的としたＡＰＣ補正処理を施す。また、第２のＡＰＣ補正処理部１２４では、動画（フレーム画像）の画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、第１のＡＰＣ補正処理部１２２においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。同様に、第２のＡＰＣ補正処理部１２４においては、超解像処理が施されていなくても、エッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００６９】
このように、撮像装置１００Ａは、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００Ａは、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００７０】
なお、撮像装置１００Ａは、撮像装置１００と比較して、比較的小規模な回路で構成することができるＡＰＣ補正処理部を、静止画（超解像画像）用の第１のＡＰＣ補正処理部１２２と、動画用の第２のＡＰＣ補正処理部１２４とに分けている点が異なる。このような構成は、静止画と動画の圧縮コーデックが異なる場合に有利である（例えば、ＪＰＥＧとＭＰＥＧ４等）。また、撮像装置１００Ａは、静止画と動画の処理において、他方の処理によって処理が中断されることもなく、撮像装置１００よりも高速に処理することができる。これは、撮像装置１００Ａが静止画用の第１のＡＰＣ補正処理部１２２及び第１の圧縮処理部１２６と、動画用の第２のＡＰＣ補正処理部１２４及び第２の圧縮処理部１２８とを有しているからである。
【００７１】
［第３の実施形態］
図３は、本発明に係る第３の実施形態の撮像装置１００Ｂの構成を示す概略ブロック図である。撮像装置１００Ｂは、被写体の動画と静止画を同時に撮像することのできる撮像装置であって、本実施形態では、デジタルカメラとして具現化される。
【００７２】
撮像装置１００Ｂは、撮像装置１００や撮像装置１００Ａと同様な構成を有する。具体的には、撮像装置１００Ｂは、図３に示すように、レンズ１０２と、撮像素子１０４と、Ａ／Ｄ変換部１０６と、信号処理部１０８と、超解像処理部１１０とを有する。更に、撮像装置１００Ａは、第１のＡＰＣ補正処理部１２２と、第２のＡＰＣ補正処理部１２４と、切替部１３０と、圧縮処理部１１６と、メモリ部１１８と、メモリカード１２０とを有する。
【００７３】
切替部１３０は、圧縮処理部１１６への入力を切り替える（即ち、第１のＡＰＣ補正処理部１２２から出力される画像信号又は第２のＡＰＣ補正処理部１２４から出力される画像信号を選択する）機能を有する。切替部１３０は、本実施形態では、撮像装置１００Ｂが動画を撮像しているのか、或いは、静止画を撮像しているのかに応じて、Ｃ側パスと、Ｄ側パスとを選択する。具体的には、切替部１３０は、被写体の動画を撮像する場合には、Ｄ側パスを選択して、第２のＡＰＣ補正処理部１２４から出力される画像信号を圧縮処理部１１６に入力する。一方、被写体の動画撮像時に被写体の静止画を撮像する場合には、切替部１３０は、Ｃ側パスを選択して、第１のＡＰＣ補正処理部１２４から出力される画像信号を圧縮処理部１１６に入力する。圧縮処理部１１６では、切替部１３０による入力の切り替えに応じて、異なる圧縮処理を画像信号に施すことが可能である。
【００７４】
なお、撮像装置１００Ｂにおいて、信号処理部１０８で画像信号に施されるＡＰＣ補正処理と、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４で画像信号に施されるＡＰＣ補正処理とは異なる。具体的には、信号処理部１０８では、超解像処理部１１０における位置合わせ演算の演算精度向上を目的とした最低限のＡＰＣ補正処理を施す。一方、第１のＡＰＣ補正処理部１２２では、静止画の画質の改善を目的としたＡＰＣ補正処理を施す。また、第２のＡＰＣ補正処理部１２４では、動画（フレーム画像）の画質の改善を目的としたＡＰＣ補正処理を施す。換言すれば、信号処理部１０８が画像信号に施すＡＰＣ補正処理のエッジの強調の度合いは、第１のＡＰＣ補正処理部１２２及び第２のＡＰＣ補正処理部１２４が画像信号に施すＡＰＣ補正処理のエッジ強調の度合いよりも弱い。具体的には、信号処理部１０８においては、超解像処理によって画像を合成してもエッジ強調成分が目立たない程度にＡＰＣ補正処理を施し、第１のＡＰＣ補正処理部１２２においては、超解像処理後にエッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。同様に、第２のＡＰＣ補正処理部１２４においては、超解像処理が施されていなくても、エッジ強調に必要な残りのＡＰＣ補正処理を再度施すようにする。
【００７５】
このように、撮像装置１００Ｂは、超解像処理を施す前と施した後とに分けてＡＰＣ補正処理を施すことによって、信号処理部１０８を動画の撮像時と超解像処理時で共用することができ、回路規模の大型化を抑制することができる。従って、撮像装置１００Ｂは、コストの増大を抑えながらも、動画の撮像中に高画質の静止画を撮像することができる。
【００７６】
撮像装置１００Ｂは、撮像装置１００と比較して、超解像処理部１１０からの画像信号にＡＰＣ補正処理を施す第１のＡＰＣ補正処理部と、信号処理部１０８からの画像信号にＡＰＣ補正処理を施す第２のＡＰＣ補正処理部とを独立させている点が異なる。これにより、第１のＡＰＣ補正処理部１２２が超解像処理部１１０からの画像信号にＡＰＣ補正処理を施している間であっても、第２のＡＰＣ補正処理部１２４が信号処理部１０８から高フレームレートで出力される画像処理にＡＰＣ補正処理を施すことができる。従って、撮像装置１００Ｂは、静止画と動画の処理において、撮像装置１００よりも高速に処理することができる。
【００７７】
また、撮像装置１００Ｂは、撮像装置１００Ａと比較して、第１のＡＰＣ補正処理部１２２から出力される画像信号に圧縮処理を施す圧縮処理部と第２のＡＰＣ補正処理部１２４から出力される画像信号に圧縮処理を施す圧縮処理部とを共有させている点が異なる。このような構成は、静止画と動画が同一または類似する圧縮コーデックを使う場合に特に有利である（例えば、ＪＰＥＧとモーションＪＰＥＧ等）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、撮像機能の実行までをカメラに行わせ、カメラと通信手段を介して接続されたパーソナルコンピュータ（ＰＣ）に撮像された画像を送り、その後の信号処理を行わせる変形例がある。この場合、カメラからＰＣへと撮像素子の駆動モードの切り替え情報が伝達されることになる。また、ＰＣでは専用のハードウェアに限らず、ＰＣのメインＣＰＵがソフトウェア処理により、上記の超解像処理やＡＰＣ処理が実行するように構成してもよい。その場合に用いられるソフトウェア（プログラム）はＣＤ―ＲＯＭ等の記録媒体やネットワーク等を介して接続されたサーバからダウンロードして供給される形態がある。
【特許請求の範囲】
【請求項１】
画像信号に信号処理を施して出力する信号処理手段と、
前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、
前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、
を有し、
前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理装置。
【請求項２】
前記エッジ強調手段は、前記信号処理手段から出力され前記超解像処理を施されていない画像信号のエッジを強調することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信号処理手段から出力される画像信号を前記超解像処理手段による超解像処理を施さずに前記エッジ強調手段に入力するか、前記信号処理手段から出力される画像信号を前記超解像処理手段による超解像処理を施して前記エッジ強調手段に入力するかを切り替える切替手段を更に有し、
前記エッジ強調手段は、前記超解像処理手段による超解像処理を施して前記エッジ強調手段に入力される画像信号には第１のエッジ強調処理を施し、前記超解像処理手段による超解像処理を施さずに前記エッジ強調手段に入力される画像信号には前記第１のエッジ強調処理とは異なる第２のエッジ強調処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記エッジ強調手段は、
前記超解像処理手段から出力される画像信号にエッジを強調するための第１のエッジ強調処理を施して出力する第１のエッジ強調手段と、
前記信号処理手段から出力される画像信号に前記第１のエッジ強調処理とは異なる第２のエッジ強調処理を施して出力する第２のエッジ強調手段と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１のエッジ強調手段から出力される画像信号に圧縮処理を施して出力する第１の圧縮処理手段と、
前記第２のエッジ強調手段から出力される画像信号に圧縮処理を施して出力する第２の圧縮処理手段と、
を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１のエッジ強調手段及び前記第２のエッジ強調手段のそれぞれから出力される画像信号に圧縮処理を施す圧縮処理手段と、
前記被写体の動画を撮像する場合には、前記第２のエッジ強調手段から出力される画像信号を前記圧縮処理手段に入力し、前記被写体の動画撮像時に前記被写体の静止画を撮像する場合には、前記第１のエッジ強調手段から出力される画像信号を前記圧縮処理手段に入力するように、前記圧縮処理手段への入力を切り替える切替手段と、
を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記信号処理は、前記画像信号に含まれる色情報の同時化処理、フィルタ処理、前記画像信号を輝度信号と色差信号に分離する分離処理及びガンマ補正処理のうち少なくとも１つを含むことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記信号処理手段が画像信号に施すエッジ強調処理のエッジの強調の度合いは、前記エッジ強調手段が画像信号に施すエッジ強調処理のエッジの強調の度合いよりも弱いことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１乃至８のうちいずれか１項に記載の画像処理装置と、
画像信号を前記画像処理装置に出力する撮像手段と、
を有することを特徴とする撮像装置。
【請求項１０】
画像信号に信号処理を施して出力する信号処理ステップと、
前記信号処理ステップで出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理ステップと、
前記超解像処理ステップで出力される画像信号のエッジを強調するエッジ強調ステップと、
を有し、
前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１】
画像信号に信号処理を施して出力する信号処理手段と、
前記信号処理手段から出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理手段と、
前記超解像処理手段から出力される画像信号のエッジを強調するエッジ強調手段と、
を有し、
前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理装置。
【請求項２】
前記エッジ強調手段は、前記信号処理手段から出力され前記超解像処理を施されていない画像信号のエッジを強調することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記信号処理手段から出力される画像信号を前記超解像処理手段による超解像処理を施さずに前記エッジ強調手段に入力するか、前記信号処理手段から出力される画像信号を前記超解像処理手段による超解像処理を施して前記エッジ強調手段に入力するかを切り替える切替手段を更に有し、
前記エッジ強調手段は、前記超解像処理手段による超解像処理を施して前記エッジ強調手段に入力される画像信号には第１のエッジ強調処理を施し、前記超解像処理手段による超解像処理を施さずに前記エッジ強調手段に入力される画像信号には前記第１のエッジ強調処理とは異なる第２のエッジ強調処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記エッジ強調手段は、
前記超解像処理手段から出力される画像信号にエッジを強調するための第１のエッジ強調処理を施して出力する第１のエッジ強調手段と、
前記信号処理手段から出力される画像信号に前記第１のエッジ強調処理とは異なる第２のエッジ強調処理を施して出力する第２のエッジ強調手段と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１のエッジ強調手段から出力される画像信号に圧縮処理を施して出力する第１の圧縮処理手段と、
前記第２のエッジ強調手段から出力される画像信号に圧縮処理を施して出力する第２の圧縮処理手段と、
を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１のエッジ強調手段及び前記第２のエッジ強調手段のそれぞれから出力される画像信号に圧縮処理を施す圧縮処理手段と、
前記被写体の動画を撮像する場合には、前記第２のエッジ強調手段から出力される画像信号を前記圧縮処理手段に入力し、前記被写体の動画撮像時に前記被写体の静止画を撮像する場合には、前記第１のエッジ強調手段から出力される画像信号を前記圧縮処理手段に入力するように、前記圧縮処理手段への入力を切り替える切替手段と、
を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記信号処理は、前記画像信号に含まれる色情報の同時化処理、フィルタ処理、前記画像信号を輝度信号と色差信号に分離する分離処理及びガンマ補正処理のうち少なくとも１つを含むことを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記信号処理手段が画像信号に施すエッジ強調処理のエッジの強調の度合いは、前記エッジ強調手段が画像信号に施すエッジ強調処理のエッジの強調の度合いよりも弱いことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１乃至８のうちいずれか１項に記載の画像処理装置と、
画像信号を前記画像処理装置に出力する撮像手段と、
を有することを特徴とする撮像装置。
【請求項１０】
画像信号に信号処理を施して出力する信号処理ステップと、
前記信号処理ステップで出力される複数の画像信号を合成して解像度を向上させる超解像処理を施して、被写体の静止画を生成する画像信号を出力する超解像処理ステップと、
前記超解像処理ステップで出力される画像信号のエッジを強調するエッジ強調ステップと、
を有し、
前記信号処理は、前記超解像処理によって前記複数の画像信号を合成してもエッジ強調成分が目立たない程度のエッジ強調処理を含むことを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２１３１８２（Ｐ２０１２−２１３１８２Ａ）
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１２−１２００９８（Ｐ２０１２−１２００９８）
【出願日】平成２４年５月２５日（２０１２．５．２５）
【分割の表示】特願２００８−４５１０２（Ｐ２００８−４５１０２）の分割
【原出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２４年５月２５日（２０１２．５．２５）
【分割の表示】特願２００８−４５１０２（Ｐ２００８−４５１０２）の分割
【原出願日】平成２０年２月２６日（２００８．２．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]