画像処理装置およびプログラム
【課題】元画像が持つエッジを変倍後の画像に反映させつつノイズを低減すること。
【解決手段】対象画像データを変倍した変倍画像データを生成する画像処理装置であって、対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理部と、第１画像データを生成する変倍処理とは異なる変倍処理を用いて対象画像データを予め定められた変倍率で変倍して、第１画像データよりもボケた第２画像データを生成する第２変倍処理部と、第１画像データと第２画像データとの差分処理により、エッジ画像データを生成する差分処理部と、第１画像データとエッジ画像データとから、変倍画像データを生成する変倍画像生成部とを備える。
【解決手段】対象画像データを変倍した変倍画像データを生成する画像処理装置であって、対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理部と、第１画像データを生成する変倍処理とは異なる変倍処理を用いて対象画像データを予め定められた変倍率で変倍して、第１画像データよりもボケた第２画像データを生成する第２変倍処理部と、第１画像データと第２画像データとの差分処理により、エッジ画像データを生成する差分処理部と、第１画像データとエッジ画像データとから、変倍画像データを生成する変倍画像生成部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
入力された画像データを最近傍補間処理で拡大した後、拡大率に応じたサイズのフィルタでフィルタリングする技術が知られている（例えば特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−２５９９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像を変倍する場合に、元画像のエッジを残そうとすると、ジャギー等のノイズが目立ってしまう場合がある。ノイズを低減するために変倍フィルタのフィルタ半径を大きくすると、元画像のエッジがボケて失われてしまう。元画像が持つエッジを変倍後の画像に反映させつつノイズを低減することが難しかった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、対象画像データを変倍した変倍画像を生成する画像処理装置であって、対象画像データを予め定められた変倍率で変倍した第１画像を生成する第１変倍処理部と、第１画像を生成する変倍処理とは異なる変倍処理を用いて対象画像データを予め定められた変倍率で変倍して、第１画像よりもボケた第２画像を生成する第２変倍処理部と、第１画像と第２画像との差分処理により、エッジ画像を生成する差分処理部と、第１画像とエッジ画像とから、変倍画像を生成する変倍画像生成部とを備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】カメラ１００が撮像した画像を変倍するシーンを示す概念図である。
【図２】本実施形態に係るカメラ１００のシステム構成図である。
【図３】対象画像３００に縮小処理を施して縮小画像を生成するまでの処理を模式的に示す図である。
【図４】カメラ１００において縮小画像を生成する処理フローを示す図である。
【図５】キュービック補間に用いる補間係数ｆ（ｘ）の関数形状の一例を示す図である。
【図６】エッジ画像を適応的に補正する処理フローの一例を示す図である。
【図７】強度調整マップの強度係数を算出するためのエッジ強調関数の一例を示す図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、カメラ１００が撮像した画像を変倍するシーンを示す概念図である。カメラ１００は、撮像装置の一例としてのデジタルカメラである。本図のＭ部に示すように、カメラ１００で撮像されて生成された撮像画像データは、撮像結果等をユーザに提示すべく、表示パネル等の表示部１１０に表示される。このとき、撮像画像データは、表示部１１０が画像表示に用いる画素数の画像データに変換される。多くの場合、撮像画像データは縮小されて表示部１１０に表示される。近年、撮像装置が有する撮像素子の有効画素数はますます高くなる。しかし、表示部１１０が有する画素数は大きく増えていないので、撮像画像データに対する縮小率は高くなる傾向にある。
【０００９】
また、カメラ１００で生成された撮像画像データは、種々の画像出力機器を介して種々の出力媒体に出力される。例えば、撮像画像データは、画像出力機器の一例としてのデジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、テレビ６０等に出力され、各画像出力機器がそれぞれ有する表示パネルに出力される。撮像画像データは、表示パネルが表示に用いる画素数に従って縮小または拡大されて表示される。また、撮像画像データは、プリンタ５０に出力され、プリンタ５０が有するプリントヘッドのプリント解像度に応じた画素数に従って縮小または拡大されて、プリント媒体にプリントされる。画像出力機器としては、図示した機器の他、プロジェクタなどの投影装置等を例示することができる。
【００１０】
例えば、近年の撮像装置で撮像された高画素数の撮像画像データを、デジタルフォトフレーム２０や、携帯電話端末３０等で表示する場合、撮像画像データを大きく縮小して表示する必要がある。また、画素数が少ない画像データを、パーソナルコンピュータ４２を用いてＰＣモニタ４０に部分的に拡大するなどして表示する場合、画像データを大きく拡大して表示する必要がある。
【００１１】
線形補間や最近傍補間を用いて画像を縮小すると、エッジの高周波成分が残り易い。このため、くっきり感のある画像が得られるが、ジャギー等のノイズが出易い。例えば、変倍前の元画像に背景としてボカされて撮像された雲や山が、縮小処理によってくっきりしてしまうことがある。また、例えば空などの平坦な部分が写っている領域では、ショットノイズが目立つ場合がある。これらのノイズは、線形補間や最近傍補間よりフィルタ半径の大きい、例えばキュービック補間を縮小処理に用いることで目立ちにくくなる。しかし、さらに縮小率が大きくなった場合には、ノイズが目立ってしまう。一般に、フィルタ半径を大きくすると、ノイズは目立たなくなる。但しその際、縮小後の画像はボケてしまう。例えば、合焦して撮像された人物の髪がボケてしまい、撮像画像にあった髪のディテールが失われてしまう場合がある。拡大処理についても同様であり、一般にフィルタ半径を大きくとると拡大後の画像では、ジャギー等のノイズは減るが、画像はボケてしまう。一方、フィルタ半径を小さくするとボケは少なくなるが、元画像では目立たなかったノイズが強調されて不自然な画像になってしまう。
【００１２】
そのため、ノイズを低減しつつ、元画像が持つ自然なエッジ情報をきちんと変倍後の画像に反映させることが望まれる。また、ＰＣモニタ４０やデジタルフォトフレーム２０を含む画像出力機器には、様々な画素数の画像が入力される場合がある。つまり、特定の変倍率だけでなく、様々な変倍率に対しても、元画像のエッジ情報をきちんと反映させる変倍処理が望まれる。
【００１３】
本実施形態では、ノイズを低減しつつ、元画像が持つ自然なエッジ情報をきちんと変倍後の画像に反映させる画像処理の一例について説明する。本実施形態では、カメラ１００が撮像画像データを縮小して表示部１１０に表示する場合等、主として撮像画像データを縮小する場合を取り上げて、カメラ１００の動作の一例を説明する。
【００１４】
図２は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【００１５】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１６】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮像、動画撮像において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。画像処理部１０７が行う画像処理としては、テンプレート画像等を用いた顔認識など、被写体認識の処理が含まれる。
【００１７】
画像処理部１０７は、設定されている撮像モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮像モードの一部として静止画撮像モードおよび動画撮像モードを有しており、静止画撮像モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮像モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。フレーム間符号化には、動きベクトルを算出する処理が含まれる。
【００１８】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１９】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。画像処理部１０７は、記録用に処理される画像データに並行して、後述する変倍処理を施すことによって表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。カメラ１００の各種設定に関する様々なメニュー項目としては、後述するエッジ強調の強度をユーザに指定させるためのメニュー項目が含まれる。また、縮小率をユーザに指定させるメニュー項目を含んでよい。
【００２０】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。システムメモリには、後述する縮小率に対応づけられたフィルタ半径が、定数として記録されてよい。
【００２１】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮像動作を実行する。操作部材１２０は、後述するエッジ強調の強度をユーザが指定するために用いられる。システム制御部１１４は、ユーザ操作に基づきエッジ強調の強度を設定して、設定した強度でエッジ強調されるよう画像処理部１０７を制御する。また、操作部材１２０は、縮小率をユーザが指定するために用いられる。システム制御部１１４は、ユーザ操作に基づき縮小率を設定して、設定した縮小率で撮像画像データを縮小するよう画像処理部１０７を制御する。
【００２２】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００２３】
図３は、対象画像３００に縮小処理を施して縮小画像を生成するまでの処理を模式的に表す。本処理は、特に断わらない限り、画像処理部１０７が主体として動作することで行われる。対象画像３００は、例えば撮像素子１０３によって撮像され内部メモリ１０８に記憶された撮像画像データであり、縮小処理の対象となる画像である。例えば、対象画像３００は、４９２８×３２６４画素等、１６００万画素を超える画素数の画像データであってよい。一方、縮小後の画像は、例えば、９００×６００画素など、１００万画素以下の画素数の画像データであってよい。縮小率は、対象画像３００の画素数と、縮小画像３６０の画素数によって定まる。
【００２４】
画像処理部１０７は、キュービック補間を用いて、縮小後の画像と同じ画素数の第１画像３１０を対象画像３００から生成する。また、画像処理部１０７は、ガウシアン補間を用いて、縮小後の画像と同じ画素数の第２画像３２０を対象画像３００から生成する。
【００２５】
ガウシアン補間によると、元画像の低周波成分を主として反映した画像を得ることができる。一方、キュービック補間によれば、低周波成分だけでなく高周波成分も反映した画像を得ることができる。つまり、キュービック補間によれば、ガウシアン補間と比較して、ボケの小さい画像を得ることができる。縮小率が大きくなるほど多少のノイズが生じる場合があるが、キュービック補間によれば、対象画像３００に含まれるエッジ成分を第１画像３１０に反映することができる。一方、ガウシアン補間によれば、対象画像３００に含まれる高周波成分はあまり保存されないものの、第２画像３２０に生じるノイズを比較的に小さくすることができる。
【００２６】
本図において、対象画像３００に含まれるエッジ情報を実線で模式的に示した。そして、第１画像３１０には、若干のボケを伴ってエッジ情報が反映された様子を一点鎖線で模式的に示した。また、第２画像３２０には、対象画像３００の低周波成分が主として反映される様子を破線で模式的に示した。また、縮小処理により現れるノイズ量を、第１画像３１０および第２画像３２０内のドットの数で模式的に示した。すなわち、第１画像３１０と比較すると、第２画像３２０に含まれるノイズ量は比較的に少ない。
【００２７】
画像処理部１０７は、第１画像３１０から第２画像３２０を減算することにより、エッジ画像３３０を生成する。第１画像３１０には対象画像３００の高周波および低周波が反映され、第２画像３２０には対象画像３００の低周波成分が主として反映されているので、エッジ画像３３０は対象画像３００に含まれるエッジを抽出したものとなる。具体的には、対象画像３００に含まれるエッジの強さが、エッジ画像３３０の画素値に反映される。
【００２８】
画像処理部１０７は、エッジ量の強度を調整する強度調整マップ３４０を、エッジ画像３３０から生成する。強度調整マップ３４０は、エッジ画像３３０の各画素値に対応して、対応する画素値を補正する強度係数を持つ。具体的には、画像処理部１０７は、エッジ画像３３０の画素値の平均値を持つ画素点には強度係数を０とする。そして、平均値から離れる画素値を持つ画素点には、０より大きい強度係数を設定する。具体的には、エッジ画像３３０の画素値の平均値から離れるに従って大きくなる強度係数が設定される。
【００２９】
エッジ画像３３０に頻出する画素値の小さな画素は、縮小処理によって現れたノイズ成分である可能性が高い。一方、エッジ画像３３０にあまり現れない画素値の大きな画素は、対象画像３００のエッジ成分を反映したものである可能性が高い。強度調整マップ３４０によると、エッジ画像３３０の画素値の平均値に近い画素値を持つ画素点には、小さな強度係数が設定される。本図の強度調整マップ３４０には、比較的に大きな強度係数がエッジ位置に設定された様子を実線で示し、その間の領域には比較的に小さな強度係数が設定された様子を空白で模式的に示す。
【００３０】
画像処理部１０７は、強度調整マップ３４０の各強度係数を、エッジ画像３３０の対応する画素値に乗算することにより、エッジ画像３３０を補正する。強度調整マップ３４０を乗算してエッジ画像３３０を補正することで、縮小処理によって生じたノイズを低減することができる。本図において、エッジ間のノイズが低減された様子を、補正後のエッジ画像３５０に模式的に示す。
【００３１】
そして、画像処理部１０７は、補正後のエッジ画像３５０を第１画像３１０に画素毎に加算することで、縮小画像３６０を生成する。縮小処理によるノイズが第１画像３１０に含まれている場合でも、エッジが加算されることで、ノイズの強度は相対的に低下する。本図において、ノイズの強度が相対的に低下した様子を、縮小画像３６０に模式的に示す。
【００３２】
例えば対象画像を一旦縮小し、得られた縮小画像にエッジ強調処理を施す場合と比較すると、本縮小処理によれば、対象画像からのエッジ情報を用いてエッジ強調することができる。このため、ジャギー、疑似輪郭等のノイズや、撮像時のノイズが著しく強調されたりすることがなく、自然なエッジ強調を行うことができる。これは、エッジ成分である可能性が高い画素位置において強度係数を大きくすることで、ノイズをより低減することができるためである。このため、本縮小処理によれば、Ｓ／Ｎ比が高い縮小画像を得ることができる。
【００３３】
図４はカメラ１００において縮小画像を生成する処理フローを示す。本フローは、撮像画像データが内部メモリ１０８に記憶された場合に、開始される。本処理フローにおいては、特に断わらない限り、画像処理部１０７が主体となって動作する。
【００３４】
ステップＳ４００で、撮像画像データに対する縮小率を決定する。縮小率は、例えば生成すべき縮小画像の対応する画素数を、撮像画像データの対応する一辺の画素数で除した値で決定される。
【００３５】
ステップＳ４０２で、キュービック補間のフィルタ半径、および、ガウシアン補間のフィルタ半径を決定する。例えば、システム制御部１１４のシステムメモリ内に、異なる縮小率に対応づけて異なるフィルタ半径が、補間種別毎に予め記録されており、画像処理部１０７は、システムメモリから内部メモリ１０８に展開された縮小率対フィルタ半径の情報を読み出す。そして、画像処理部１０７は、読み出した縮小率対フィルタ半径の情報に基づいて、ステップＳ４００で決定した縮小率に対応するフィルタ半径を、キュービック補間およびガウシアン補間のそれぞれについて選択する。キュービック補間およびガウシアン補間で用いる補間係数については、図５に関連して後述される。
【００３６】
ステップＳ４０４およびステップＳ４０６において、キュービック補間による縮小処理およびガウシアン補間による縮小処理を行う。本処理は、図３に関連して説明した第１画像３１０および第２画像３２０を生成する処理に対応する。
【００３７】
ステップＳ４０８において、キュービック補間により生成された縮小画像と、ガウシアン補間により生成された縮小画像との差分処理により、エッジ画像を生成する。本処理は、図３に関連して説明した第１画像３１０から第２画像３２０を減算する処理に対応する。
【００３８】
ステップＳ４１０において、エッジ画像を場所毎に適応的に補正する。本処理は、図３に関連して説明した、エッジ画像３３０を補正してエッジ画像３５０を生成するまでの処理に対応する。本処理の詳細なフローについては、後述する。
【００３９】
ステップＳ４１２において、キュービック補間により生成された縮小画像と、エッジ画像とを加算して、縮小画像を生成する。本処理は、図３に関連して説明した、第１画像３１０およびエッジ画像３５０から縮小画像３６０を生成する処理に対応する。ステップＳ４１２で生成した縮小画像は、内部メモリ１０８に一旦記憶され、種々の処理に供される。例えば、表示制御部１０９の制御により、縮小画像が表示部１１０に表示される。縮小画像は、記録媒体ＩＦ１１１を介して記録媒体１２２に記録されてもよい。また、画像認識用の画像として用いられてよい。また、縮小画像は、動画を構成するフレーム画像であってもよい。
【００４０】
ステップＳ４１４で、撮像画像データから他の縮小率の画像を生成するかを判断する。例えば、外部のデジタルフォトフレーム２０等、外部の画像出力機器用の画像を生成するか否かを判断する。他の縮小率の画像を生成する場合、ステップＳ４００に進む。予め定められた縮小画像のセットが生成されるまで、ステップＳ４００からステップＳ４１２の処理を続ける。全ての縮小率の画像の生成が完了すると、一連の縮小画像の生成処理を終了する。
【００４１】
なお、ステップＳ４１２の加算処理において、エッジ画像の第１画像に対する加算比率は、ユーザ指示に基づきシステム制御部１１４が設定してよい。ユーザ指示は、例えば操作部材１２０を介してシステム制御部１１４が取得してよい。すなわち、システム制御部１１４は、ユーザ指示に基づいて、エッジ強調の強度を設定する強度設定部として機能する。そして、ステップＳ４１２において、画像処理部１０７は、設定された強度に基づいてエッジ画像の加算比率を変更して第１画像に加算することにより、縮小画像を生成する。
【００４２】
また、ステップＳ４１２の加算処理において、エッジ強調の強度は縮小率に応じて設定されてよい。例えば、画像処理部１０７は、縮小率が小さいほど、すなわち縮小画像の画素数が多いほど、高い加算比率でエッジ画像を第１画像に加算することにより、縮小画像を生成してよい。ここではエッジ画像の加算比率を制御することでエッジ強調の強度を制御するとしたが、ステップＳ４１０でのエッジ画像の補正処理において、ユーザ指示または縮小率に応じてエッジ画像の強度を制御することで、エッジ強調の強度を制御してもよい。
【００４３】
なお、上記のステップＳ４０４およびステップＳ４０６の縮小処理は、順次に行ってよいが、少なくとも一部の処理が並行して行われてもよい。縮小処理を順次に行う場合、キュービック補間の縮小処理と、ガウシアン補間の縮小処理のいずれを先に行ってもよい。また、ステップＳ４０４、ステップＳ４０６およびステップＳ４０８に相当する処理を一括または並行して行ってもよい。例えば、縮小画像の１画素点について、キュービック補間による画素値の演算と、ガウシアン補間による画素値の演算と、画素値の差分の演算とを行う。この処理を、対象とする画素点を順次に変えて繰り返すことで、エッジ画像を生成してもよい。この態様の処理においても、キュービック補間およびガウシアン補間のそれぞれで各画素点の画素値を算出して、差分をとる処理が行われる。したがって、この態様の処理を実行することは、この発明における第１変倍処理部、第２変倍処理部、差分処理部の各処理を実行することに相当する。
【００４４】
図５は、キュービック補間に用いる補間係数ｆ（ｘ）の関数形状の一例を示す。補間係数ｆ（ｘ）は、下記の式（１１）で表される。
【００４５】
【数１】
【００４６】
式（１１）において、係数αおよびβは、ｆ（ｘ）の関数形状を定めるパラメータであり、−３＜α＜０および０＜β＜−２αを満たすとする。ｘは、補間位置を基準とした、補間演算に用いる画素位置の相対的な座標値を示す。本図のｆ（ｘ）は、α＝−０．８、β＝−０．３の場合の補間係数である。
【００４７】
本補間係数を用いた演算では、フィルタ半径は３となる。式（１１）においてβ＝０としたものが、一般に良く知られたフィルタ半径が２のキュービック補間係数に相当する。キュービック補間であっても、フィルタ半径が２の補間係数を用いると、縮小率が大きくなるにつれて、最近傍補間と同様の結果となる場合がある。つまり、縮小率が大きくなるにつれて、ジャギー等のノイズが目立つようになる。ノイズを避けるためにフィルタ半径を縮小率に応じて拡大した補間係数を用いると、ジャギーが目立たなくなるが、ボケた画像になってしまう場合がある。
【００４８】
本補間係数ｆ（ｘ）によれば、フィルタ半径を３に拡張でき、補間関数をより理想的な形状に近づけることができる。したがって、ボケが少なくノイズも小さい縮小画像を得ることができる。なお、本補間係数ｆ（ｘ）で縮小処理する場合でも、縮小率に応じてフィルタ半径を大きくしてもよい。具体的には、縮小率が大きいほど、フィルタ半径を拡大してよい。この場合でも、フィルタ半径が２のキュービック補間を適用する場合と比較して、ボケの小さい縮小画像を得ることができる。
【００４９】
本図では、キュービック補間の補間係数として、フィルタ半径が３の補間係数を例示した。しかし、フィルタ半径は３に限られず、２を超える大きさのフィルタ半径を持つキュービック補間を適用してよい。例えば、フィルタ半径が４の補間係数ｆ（ｘ）は、下記の式（１２）で表される。
【００５０】
【数２】
【００５１】
式（１２）において、係数α、β、γは、ｆ（ｘ）の関数形状を定めるパラメータであり、−３＜α＜０、０＜β＜−２α、および、−２β＜γ＜０を満たすとする。
【００５２】
本実施形態の縮小処理では、ジャギー等のノイズが目立ちにくく、ボケも比較的に小さい縮小処理として、上述したキュービック補間による縮小処理を適用して、第１画像を生成する。一方、対象画像にガウシアン補間法による縮小処理を適用することで、ジャギー等のノイズが小さくボケが比較的に大きい第２画像を生成する。ガウシアン補間の補間係数ｇ（ｘ）は、下記の式（１３）で表される。
【００５３】
【数３】
【００５４】
式（１３）において、Ａは規格化定数で、重み係数が合計して１になるように設定される。フィルタ半径は、式（１３）のσによって制御することができる。ガウシアン補間のフィルタ半径として、キュービック補間のフィルタ半径と同等のフィルタ半径を適用すると、ボケが比較的に大きくなってしまう。そこで、σの値として、縮小率の０．５倍の値を適用してよい。
【００５５】
画像処理部１０７は、式（１１）または式（１２）に例示したような、補間半径が２画素分の長さを超えるキュービック補間を適用して、第１画像を生成する。但し、補間半径が２画素分の長さを超えるキュービック補間を適用するか否かは、縮小率に応じて設定してもよい。具体的には、ステップＳ４０２において、画像処理部１０７は、縮小率が予め定められた基準変倍率以下の場合に、２画素分の補間半径を持つ通常のキュービック補間を適用し、縮小率が基準変倍率を超える場合に、補間半径が２画素分を超えるキュービック補間を適用する。
【００５６】
図６は、エッジ画像を適応的に補正する処理フローの一例を示す。本処理フローは、図４のステップＳ４１０の内部処理を示す。本処理フローにおいては、特に断わらない限り、画像処理部１０７が主体となって動作する。
【００５７】
ステップＳ６１０において、エッジ画像を解析してエッジ画像の特徴量を算出する。具体的には、エッジ画像の全画素の平均値および標準偏差を、特徴量として算出する。これにより、エッジ画像の強度分布を解析することが可能になる。
【００５８】
ステップＳ６２０において、エッジ画像から強度調整マップを生成する。強度調整マップは、エッジ画像に含まれる複数の画素のそれぞれに対応する複数の強度係数を含む。本処理は、図３に関連して説明した強度調整マップ３４０の各強度係数を算出する処理に対応する。本処理により、エッジ画像の強度分布およびエッジ画像の画素値に応じて、エッジ成分である可能性の高い場所の強調係数を大きくし、ノイズ成分である可能性の高い場所の強調係数を小さくした強度調整マップが生成される。より具体的には、画像処理部１０７は、特徴量により定まるエッジ強調関数を用いてエッジ画像の画素値から強度係数を算出する。エッジ強調関数については後述する。
【００５９】
ステップＳ６３０において、ステップＳ６２０で算出された強度調整マップを平滑化する。一例として、画像の縦方向および横方向に画素を平均化するローパスフィルタにより、強度調整マップを平滑化する。これにより、エッジ成分であるが正規化した画素値が小さい画素およびノイズ成分であるが正規化した画素値が大きい画素等のイレギュラーな画素の強調係数を、周囲の画素の強調係数に基づき補正することができる。
【００６０】
この場合、ローパスフィルタのぼかし強度を上げてフィルタリングをする事で強度調整マップの画素間の相関強度を強くすることができ、ぼかし強度を下げてフィルタリングをすることで強度調整マップの画素間の相関強度を弱くすることができる。そこで、一例として、［１，２，１］／４等のローパスフィルタをｎ回掛け、ｎを変更可能とする。これにより、強度調整マップの画素間の相関強度を調整することができる。ｎの値は、ユーザ指示に基づいて設定されてよい。
【００６１】
ステップＳ６４０において、強度調整マップによりエッジ画像を補正する。一例として、エッジ画像に含まれる複数の画素のそれぞれに、強度調整マップの対応する強調係数を乗算することにより、エッジ画像を補正する。これにより、ノイズ成分等の画素に対応する画素値を小さくすることができる。ステップＳ６４０の処理を終えると、本処理フローは終了する。
【００６２】
本フロー図に関連して説明したように、画像処理部１０７は、エッジ画像を解析してエッジ画像の特徴量を算出する特徴量算出部、画像内の場所毎に異なるエッジ強調の強度を設定する強度調整マップを、特徴量に基づいてエッジ画像から算出するマップ算出部、エッジ画像を強度調整マップにより補正するエッジ補正処理部として機能する。そして、画像処理部１０７は、第１画像と、補正されたエッジ画像とから、縮小画像を生成する変倍画像生成部として機能する。強度調整マップを生成する処理は、図７に関連して説明される。
【００６３】
図７は、強度調整マップの強度係数を算出するためのエッジ強調関数の一例を示す。エッジ強調関数は、正規化された画素値を入力とし、強度係数を出力する関数である。正規化された画素値は、特徴量である平均値および標準偏差に基づく正規化関数により算出される。エッジ強調関数は、正規化された画素値を入力値とし、入力値が０の近傍において小さく、０から離れるに従い大きい出力値を出力する。すなわち、エッジ強調関数は、正規化関数と、入力値に応じて出力値を定める基準エッジ強調関数とに分解される。具体的には、正規化関数は、下記の式（１４）のように表される。
【００６４】
【数４】
【００６５】
式（１４）において、Ｘは、正規化された画素値を表す。ｆは、エッジ画像の元の画素値を表す。ｆの上にバーが付された値は、エッジ画像の画素値の平均値を表す。σは、エッジ画像の標準偏差を表す。すなわち、正規化関数は、画素値から平均値を減じた偏差を、標準偏差で除算する関数である。
【００６６】
画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれの画素値を、本正規化関数により正規化する。つまり、画像処理部１０７は、エッジ画像の各画素値を特徴量により正規化する正規化部として機能する。具体的には、画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、画素値から平均値を減じた偏差を標準偏差で除算することにより、エッジ画像の各画素値を正規化する。このように正規化された各画素値は、元の画素値が平均値に一致する場合には０となり、元の画素値が平均値から正側に標準偏差分離れた場合には１、元の画素値が平均値から負側に標準偏差分離れた場合には−１となる。画像処理部１０７は、式（１４）を用いて、エッジ画像の画素値を典型的なスケールで正規化することで、任意の画像に対してＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度等の撮像条件の依存性が少ない値に変換できる。
【００６７】
基準エッジ強調関数は、正規化関数により正規化された画素値を入力値とし、入力値が０の近傍において出力値が小さく、０から離れるに従い出力値が大きくなる関数である。さらに、基準エッジ強調関数は、０から一定範囲以上離れたことに応じて、出力値が予め定められた値に漸近またはクリップする事が望ましい。例えば、基準エッジ強調関数は、下記の式（１５）のように表される。
【００６８】
【数５】
【００６９】
式（１５）において、Ｘは、正規化された画素値を表す。Ｉは、出力値を表す。すなわち、基準エッジ強調関数は、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値を、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値と正定数とを加算した値により除算した出力値を出力する関数である。
【００７０】
画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、本基準エッジ強調関数により強調係数を算出して強度調整マップを生成する。つまり、画像処理部１０７は、正規化された各画素値を入力とし、入力した画素値を予め定められた基準エッジ強調関数により強調係数に変換した強度調整マップを生成する変換処理部として機能する。具体的には、画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、正規化された画素値の２の自然数倍のべき乗に比例した値を、正規化された画素値の２の自然数倍のべき乗に比例した値と正定数とを加算した値により除算した出力値を出力する基準エッジ強調関数により強調係数を算出して、強度調整マップを生成する。
【００７１】
このように算出された強調係数は、図７のＢに示されるように、正規化された画素値が０の近傍の場合に小さく（例えば０）、０から離れるに従い大きくなる。さらに、このように算出された強調係数は、正規化された画素値が０から一定以上離れた場合に、予め定められた値（例えば１）に漸近的に収束する。
【００７２】
ここで、カメラ１００により撮像された画像のエッジ画像において、正規化された画素値の頻度分布は、一例として、本図の線Ａに表されるようになる。すなわち、正規化された画素値の頻度分布は、正規化された画素値が０に近い範囲においてピークとなり、正規化された画素値が０から離れるに従って小さくなる。
【００７３】
撮像された画像におけるエッジ画像において、典型的な画素値より絶対値の十分小さい画素はエッジ成分ではない場合が多く、また、典型的な画素値より絶対値が十分大きい画素は本来のエッジ成分である場合が多い。すなわち、正規化された画素値が０の近傍の画素はノイズ成分である場合が多く、正規化された画素値が０から一定範囲以上離れた画素はエッジ成分である場合が多い。
【００７４】
したがって、画像処理部１０７は、正規化関数および基準エッジ強調関数により強度調整マップを生成することにより、エッジ成分である可能性の高い画素に対応する強調係数を大きくし、ノイズ成分である可能性の高い画素に対応する強調係数を小さくした強度調整マップを生成することができる。
【００７５】
本強度調整マップを用いてエッジ画像を補正することで、エッジ画像に含まれるノイズ成分を低減することができる。そして、キュービック補間で生成された縮小画像に、補正されたエッジ画像を加算することで、対象画像に写り込んだ被写体に関わらず、エッジを適切に強調することができる。これにより、人間の経験に応じた強調パラメータの設定等を必要とせずに、違和感の無く自然に被写体の輪郭をくっきりさせることができる。
【００７６】
なお、画像処理部１０７は、ステップＳ６１０において、式（１５）に代えて、下記の式（１６）に表される基準エッジ強調関数により強度調整マップを生成してもよい。
【００７７】
【数６】
【００７８】
式（１６）において、Ｘは、正規化された画素値を表す。Ｉは、出力値を表す。すなわち、式（１６）において、基準エッジ強調関数は、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値を、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値と第１の正定数とを加算した値により除算した値を算出し、さらに、除算した値から第２の正定数を減算した出力値を出力する関数である。
【００７９】
このように算出された強調係数は、図７のＣに示されるように、正規化された画素値が０の近傍の場合に負の値となり、０から離れるに従い大きくなる。さらに、このように算出された強調係数は、正規化された画素値が０から一定以上離れた場合に、予め定められた正の値（例えば１）に漸近的に収束する。
【００８０】
したがって、本関数により算出された強度調整マップを対象画像に加算した場合、正規化された画素値が０の近傍の画素では、符号を反転させたエッジ量を加算することで、対象画像にボケを生じさせることができる。これにより、ノイズ成分が含まれる可能性の高い画素にボケを与えて、エッジ成分ではないノイズ成分の平滑化ができる。一般的に、正規化されていないエッジ成分を用いた判断で同様の処理を行うと、ノイズ成分だけでなくエッジ強度の弱いエッジ部分も平滑化されてしまう場合がある。しかし、ステップ６４０で正規化されたエッジ成分と、強度調整マップを調整する事で、周囲に強いエッジ成分が存在する弱いエッジ部分でも、誤ってボカされる事が無く正しくエッジ強調をすることが可能になる。
【００８１】
以上の説明において、対象画像を縮小する縮小処理において、キュービック補間およびガウシアン補間を用いるとした。具体的には、画像処理部１０７が、キュービック補間を適用して第１画像を生成し、ガウシアン補間を適用して第２画像を生成するとして説明した。しかし、縮小手法は、キュービック補間法およびガウシアン補間法に限られず、ぼかし度合いが異なる２以上の補間方法を適用することができる。縮小率が比較的に小さい場合、ぼかし度合いが小さい方の補間方法として線形補間を適用することができる場合がある。また、同じ補間法を用いるか否かに関係なく、フィルタ半径が異なる補間法を、ぼかし度合いが異なる２以上の補間方法として適用してもよい。ぼかし度合いが小さい補間方法として、例えばジャギなどのノイズが少なく対象画像からエッジ成分をきちんと抽出できることが望ましいことは言うまでもない。しかし、ぼかし度合いが異なる補間方法を用いることで、対象画像から直接に得たエッジ情報をエッジ強調処理において利用することが可能になる。また、例えば１つの補間方法で縮小した画像に対してエッジ強調をする場合と比較して、より高周波のエッジ成分を抽出することができる。
【００８２】
上記においては、主として縮小処理を取り上げて本実施形態に係る画像処理を説明した。具体的には、画像処理部１０７は、対象画像を予め定められた縮小率で縮小した第１画像と、対象画像を予め定められた縮小率で縮小した第２画像とを生成して、第１画像および第２画像を用いて、対象画像を縮小した変倍画像を生成するとした。しかし、同様の画像処理を拡大処理にも適用することができる。キュービック補間のようなぼかし度合いの小さい拡大手法と、ガウシアン補間のようなノイズが少ない拡大手法とを適用することで、対象画像からエッジを適切に抽出することができる。つまり、以上に説明した画像処理は、画素数を低減する縮小処理だけでなく、画素数を増加する拡大処理にも適用することができる。すなわち、以上に説明した画像処理を、対象する画像を変倍した変倍画像を生成する場合に適用することができる。
【００８３】
すなわち、画像処理部１０７は、対象画像を予め定められた変倍率で変倍した第１画像を生成する第１変倍処理部、第１画像を生成する変倍処理とは異なる変倍処理を用いて対象画像を予め定められた変倍率で変倍して、第１画像よりもボケた第２画像を生成する第２変倍処理部、第１画像と第２画像との差分処理により、エッジ画像を生成する差分処理部、第１画像とエッジ画像とから、変倍画像を生成する変倍画像生成部として機能することができる。
【００８４】
上記において、エッジ画像の画素値の平均値および標準偏差σを特徴量として用いて、エッジ画像を正規化するとした。すなわち、画像処理部１０７は、エッジ画像に含まれる複数の画素の画素値の平均値および標準偏差を、特徴量として算出するとした。しかし、エッジ画像の画素値の分布に対する各画素値の位置を評価できる指標値であれば、どのような指標値を特徴量として用いてもよい。例えば、エッジ画像の典型的な画素値を表す特徴量としては、画素値の平均値に代えて、画素値のヒストグラムにおいて頻度が最大となる画素値を用いることができる。
【００８５】
既に説明したように、本実施形態にかかる変倍処理は、カメラ１００において表示部１１０に表示される画像を生成する処理に適用することができる。例えば、表示部１１０は、撮像素子１０３が画像信号として出力した対象画像から生成された縮小画像を表示する。表示部１１０に表示される画像として、ライブビュー画像、サムネイル画像、記録済みの画像をユーザに提示するための表示用画像などを例示することができる。また、本実施形態にかかる変倍処理を、記録用の画像を生成する場合にも適用できる。例えば、撮像素子１０３で撮像されたものを動画として記録する場合、撮像素子１０３で撮像された画像を、撮像素子１０３の有効画素数よりも少ない画素数のフレーム画像に縮小する場合がある。画像処理部１０７は、このフレーム画像に縮小する場合の処理に、本実施形態にかかる縮小処理を適用してよい。すなわち、画像処理部１０７は、撮像素子１０３が画像信号として出力した対象画像から生成された複数の変倍画像から、動画を生成する動画生成部として機能する。
【００８６】
また、本実施形態にかかる変倍処理によれば、ノイズが低減された変倍画像を提供できる。したがって、本変倍画像は、画像のマッチング処理に適する。画像のマッチング処理としては、動画圧縮用の動きベクトルを算出するためのブロックマッチング処理を例示することができる。具体的には、画像処理部１０７は、動画を構成する複数の変倍画像からブロックマッチングにより動きベクトルを算出して、算出した動きベクトルを用いて動画を圧縮してよい。すなわち、画像処理部１０７は、複数の対象画像から生成された複数の縮小画像から、複数の変倍画像で構成される動画を圧縮するための動きベクトルを算出する動きベクトル算出部、算出した動きベクトルを用いて動画を圧縮する圧縮部として機能することができる。
【００８７】
また、画像のマッチング処理としては、人物の顔を識別する処理を例示することができる。ノイズの少ない変倍画像を顔識別処理に用いることで、人物の顔を正確に識別することが可能になる。顔識別処理に用いる変倍画像とは、テンプレートマッチングに用いるテンプレート画像であってよいし、テンプレート画像等を用いたマッチング処理の対象となる識別対象画像であってもよい。画像処理部１０７は、撮像画像としての対象画像から、テンプレート画像および識別対象画像の少なくとも一方としての変倍画像を生成して、生成した変倍画像を用いて画像認識により人物の顔の識別処理を実行してよい。すなわち、画像処理部１０７は、変倍画像を用いて、画像認識により人物の顔を識別する識別処理部として機能することができる。なお、本識別処理の対象は、人物の顔に限られない。本識別処理は、動物、車両のナンバープレート等の種々の被写体を対象とすることができる。
【００８８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラ等はもちろん、カメラ機能付きの携帯電話等に適用できる。また、上記において、上記の変倍処理が、主としてカメラ１００で行われるとして説明した。しかし、当該変倍処理を、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０が行うことができる。
【００８９】
カメラ１００、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０は、変倍処理の実行を制御する制御プログラムをプロセッサが実行することで、当該変倍処理を実行してよい。パーソナルコンピュータ４２等のように、外部の記録媒体からプログラムを読み込むことができる電子情報処理装置においては、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって制御プログラムをロードしてよい。
【００９０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９２】
２０ デジタルフォトフレーム、３０ 携帯電話端末、４０ ＰＣモニタ、４２ パーソナルコンピュータ、５０ プリンタ、６０ テレビ、１００ カメラ、１０１ 光学系、１０２ シャッタ、１０３ 撮像素子、１０４ アンプ部、１０５ Ａ／Ｄ変換器、１０６ メモリ制御部、１０７ 画像処理部、１０８ 内部メモリ、１０９ 表示制御部、１１０ 表示部、１１１ 記録媒体ＩＦ、１１２ タイミング発生部、１１３ レンズ制御部、１１４ システム制御部、１２０ 操作部材、１２２ 記録媒体、３００ 対象画像、３１０ 第１画像、３２０ 第２画像、３３０ エッジ画像、３４０ 強度調整マップ、３５０ エッジ画像、３６０ 縮小画像
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
入力された画像データを最近傍補間処理で拡大した後、拡大率に応じたサイズのフィルタでフィルタリングする技術が知られている（例えば特許文献１）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−２５９９６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
画像を変倍する場合に、元画像のエッジを残そうとすると、ジャギー等のノイズが目立ってしまう場合がある。ノイズを低減するために変倍フィルタのフィルタ半径を大きくすると、元画像のエッジがボケて失われてしまう。元画像が持つエッジを変倍後の画像に反映させつつノイズを低減することが難しかった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の一態様においては、対象画像データを変倍した変倍画像を生成する画像処理装置であって、対象画像データを予め定められた変倍率で変倍した第１画像を生成する第１変倍処理部と、第１画像を生成する変倍処理とは異なる変倍処理を用いて対象画像データを予め定められた変倍率で変倍して、第１画像よりもボケた第２画像を生成する第２変倍処理部と、第１画像と第２画像との差分処理により、エッジ画像を生成する差分処理部と、第１画像とエッジ画像とから、変倍画像を生成する変倍画像生成部とを備える。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】カメラ１００が撮像した画像を変倍するシーンを示す概念図である。
【図２】本実施形態に係るカメラ１００のシステム構成図である。
【図３】対象画像３００に縮小処理を施して縮小画像を生成するまでの処理を模式的に示す図である。
【図４】カメラ１００において縮小画像を生成する処理フローを示す図である。
【図５】キュービック補間に用いる補間係数ｆ（ｘ）の関数形状の一例を示す図である。
【図６】エッジ画像を適応的に補正する処理フローの一例を示す図である。
【図７】強度調整マップの強度係数を算出するためのエッジ強調関数の一例を示す図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、カメラ１００が撮像した画像を変倍するシーンを示す概念図である。カメラ１００は、撮像装置の一例としてのデジタルカメラである。本図のＭ部に示すように、カメラ１００で撮像されて生成された撮像画像データは、撮像結果等をユーザに提示すべく、表示パネル等の表示部１１０に表示される。このとき、撮像画像データは、表示部１１０が画像表示に用いる画素数の画像データに変換される。多くの場合、撮像画像データは縮小されて表示部１１０に表示される。近年、撮像装置が有する撮像素子の有効画素数はますます高くなる。しかし、表示部１１０が有する画素数は大きく増えていないので、撮像画像データに対する縮小率は高くなる傾向にある。
【０００９】
また、カメラ１００で生成された撮像画像データは、種々の画像出力機器を介して種々の出力媒体に出力される。例えば、撮像画像データは、画像出力機器の一例としてのデジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、テレビ６０等に出力され、各画像出力機器がそれぞれ有する表示パネルに出力される。撮像画像データは、表示パネルが表示に用いる画素数に従って縮小または拡大されて表示される。また、撮像画像データは、プリンタ５０に出力され、プリンタ５０が有するプリントヘッドのプリント解像度に応じた画素数に従って縮小または拡大されて、プリント媒体にプリントされる。画像出力機器としては、図示した機器の他、プロジェクタなどの投影装置等を例示することができる。
【００１０】
例えば、近年の撮像装置で撮像された高画素数の撮像画像データを、デジタルフォトフレーム２０や、携帯電話端末３０等で表示する場合、撮像画像データを大きく縮小して表示する必要がある。また、画素数が少ない画像データを、パーソナルコンピュータ４２を用いてＰＣモニタ４０に部分的に拡大するなどして表示する場合、画像データを大きく拡大して表示する必要がある。
【００１１】
線形補間や最近傍補間を用いて画像を縮小すると、エッジの高周波成分が残り易い。このため、くっきり感のある画像が得られるが、ジャギー等のノイズが出易い。例えば、変倍前の元画像に背景としてボカされて撮像された雲や山が、縮小処理によってくっきりしてしまうことがある。また、例えば空などの平坦な部分が写っている領域では、ショットノイズが目立つ場合がある。これらのノイズは、線形補間や最近傍補間よりフィルタ半径の大きい、例えばキュービック補間を縮小処理に用いることで目立ちにくくなる。しかし、さらに縮小率が大きくなった場合には、ノイズが目立ってしまう。一般に、フィルタ半径を大きくすると、ノイズは目立たなくなる。但しその際、縮小後の画像はボケてしまう。例えば、合焦して撮像された人物の髪がボケてしまい、撮像画像にあった髪のディテールが失われてしまう場合がある。拡大処理についても同様であり、一般にフィルタ半径を大きくとると拡大後の画像では、ジャギー等のノイズは減るが、画像はボケてしまう。一方、フィルタ半径を小さくするとボケは少なくなるが、元画像では目立たなかったノイズが強調されて不自然な画像になってしまう。
【００１２】
そのため、ノイズを低減しつつ、元画像が持つ自然なエッジ情報をきちんと変倍後の画像に反映させることが望まれる。また、ＰＣモニタ４０やデジタルフォトフレーム２０を含む画像出力機器には、様々な画素数の画像が入力される場合がある。つまり、特定の変倍率だけでなく、様々な変倍率に対しても、元画像のエッジ情報をきちんと反映させる変倍処理が望まれる。
【００１３】
本実施形態では、ノイズを低減しつつ、元画像が持つ自然なエッジ情報をきちんと変倍後の画像に反映させる画像処理の一例について説明する。本実施形態では、カメラ１００が撮像画像データを縮小して表示部１１０に表示する場合等、主として撮像画像データを縮小する場合を取り上げて、カメラ１００の動作の一例を説明する。
【００１４】
図２は、本実施形態に係るカメラ１００のシステム構成図を示す。カメラ１００は光学系１０１を備える。光学系１０１は、ズームレンズ、フォーカスレンズ等により構成される。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【００１５】
撮像素子１０３は、被写体像である光学像を光電変換する素子であり、例えば、ＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアンプ部１０４でゲイン調整等がなされる。アンプ部１０４で増幅された信号は、アナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１６】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮像、動画撮像において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。画像処理部１０７が行う画像処理としては、テンプレート画像等を用いた顔認識など、被写体認識の処理が含まれる。
【００１７】
画像処理部１０７は、設定されている撮像モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、カメラ１００の撮像モードの一部として静止画撮像モードおよび動画撮像モードを有しており、静止画撮像モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮像モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。フレーム間符号化には、動きベクトルを算出する処理が含まれる。
【００１８】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、カメラ１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１９】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。画像処理部１０７は、記録用に処理される画像データに並行して、後述する変倍処理を施すことによって表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、カメラ１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。カメラ１００の各種設定に関する様々なメニュー項目としては、後述するエッジ強調の強度をユーザに指定させるためのメニュー項目が含まれる。また、縮小率をユーザに指定させるメニュー項目を含んでよい。
【００２０】
カメラ１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、カメラ１００の動作時に必要な定数、変数、プログラム等を、カメラ１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、カメラ１００の制御に利用する。システムメモリには、後述する縮小率に対応づけられたフィルタ半径が、定数として記録されてよい。
【００２１】
カメラ１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮像動作を実行する。操作部材１２０は、後述するエッジ強調の強度をユーザが指定するために用いられる。システム制御部１１４は、ユーザ操作に基づきエッジ強調の強度を設定して、設定した強度でエッジ強調されるよう画像処理部１０７を制御する。また、操作部材１２０は、縮小率をユーザが指定するために用いられる。システム制御部１１４は、ユーザ操作に基づき縮小率を設定して、設定した縮小率で撮像画像データを縮小するよう画像処理部１０７を制御する。
【００２２】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００２３】
図３は、対象画像３００に縮小処理を施して縮小画像を生成するまでの処理を模式的に表す。本処理は、特に断わらない限り、画像処理部１０７が主体として動作することで行われる。対象画像３００は、例えば撮像素子１０３によって撮像され内部メモリ１０８に記憶された撮像画像データであり、縮小処理の対象となる画像である。例えば、対象画像３００は、４９２８×３２６４画素等、１６００万画素を超える画素数の画像データであってよい。一方、縮小後の画像は、例えば、９００×６００画素など、１００万画素以下の画素数の画像データであってよい。縮小率は、対象画像３００の画素数と、縮小画像３６０の画素数によって定まる。
【００２４】
画像処理部１０７は、キュービック補間を用いて、縮小後の画像と同じ画素数の第１画像３１０を対象画像３００から生成する。また、画像処理部１０７は、ガウシアン補間を用いて、縮小後の画像と同じ画素数の第２画像３２０を対象画像３００から生成する。
【００２５】
ガウシアン補間によると、元画像の低周波成分を主として反映した画像を得ることができる。一方、キュービック補間によれば、低周波成分だけでなく高周波成分も反映した画像を得ることができる。つまり、キュービック補間によれば、ガウシアン補間と比較して、ボケの小さい画像を得ることができる。縮小率が大きくなるほど多少のノイズが生じる場合があるが、キュービック補間によれば、対象画像３００に含まれるエッジ成分を第１画像３１０に反映することができる。一方、ガウシアン補間によれば、対象画像３００に含まれる高周波成分はあまり保存されないものの、第２画像３２０に生じるノイズを比較的に小さくすることができる。
【００２６】
本図において、対象画像３００に含まれるエッジ情報を実線で模式的に示した。そして、第１画像３１０には、若干のボケを伴ってエッジ情報が反映された様子を一点鎖線で模式的に示した。また、第２画像３２０には、対象画像３００の低周波成分が主として反映される様子を破線で模式的に示した。また、縮小処理により現れるノイズ量を、第１画像３１０および第２画像３２０内のドットの数で模式的に示した。すなわち、第１画像３１０と比較すると、第２画像３２０に含まれるノイズ量は比較的に少ない。
【００２７】
画像処理部１０７は、第１画像３１０から第２画像３２０を減算することにより、エッジ画像３３０を生成する。第１画像３１０には対象画像３００の高周波および低周波が反映され、第２画像３２０には対象画像３００の低周波成分が主として反映されているので、エッジ画像３３０は対象画像３００に含まれるエッジを抽出したものとなる。具体的には、対象画像３００に含まれるエッジの強さが、エッジ画像３３０の画素値に反映される。
【００２８】
画像処理部１０７は、エッジ量の強度を調整する強度調整マップ３４０を、エッジ画像３３０から生成する。強度調整マップ３４０は、エッジ画像３３０の各画素値に対応して、対応する画素値を補正する強度係数を持つ。具体的には、画像処理部１０７は、エッジ画像３３０の画素値の平均値を持つ画素点には強度係数を０とする。そして、平均値から離れる画素値を持つ画素点には、０より大きい強度係数を設定する。具体的には、エッジ画像３３０の画素値の平均値から離れるに従って大きくなる強度係数が設定される。
【００２９】
エッジ画像３３０に頻出する画素値の小さな画素は、縮小処理によって現れたノイズ成分である可能性が高い。一方、エッジ画像３３０にあまり現れない画素値の大きな画素は、対象画像３００のエッジ成分を反映したものである可能性が高い。強度調整マップ３４０によると、エッジ画像３３０の画素値の平均値に近い画素値を持つ画素点には、小さな強度係数が設定される。本図の強度調整マップ３４０には、比較的に大きな強度係数がエッジ位置に設定された様子を実線で示し、その間の領域には比較的に小さな強度係数が設定された様子を空白で模式的に示す。
【００３０】
画像処理部１０７は、強度調整マップ３４０の各強度係数を、エッジ画像３３０の対応する画素値に乗算することにより、エッジ画像３３０を補正する。強度調整マップ３４０を乗算してエッジ画像３３０を補正することで、縮小処理によって生じたノイズを低減することができる。本図において、エッジ間のノイズが低減された様子を、補正後のエッジ画像３５０に模式的に示す。
【００３１】
そして、画像処理部１０７は、補正後のエッジ画像３５０を第１画像３１０に画素毎に加算することで、縮小画像３６０を生成する。縮小処理によるノイズが第１画像３１０に含まれている場合でも、エッジが加算されることで、ノイズの強度は相対的に低下する。本図において、ノイズの強度が相対的に低下した様子を、縮小画像３６０に模式的に示す。
【００３２】
例えば対象画像を一旦縮小し、得られた縮小画像にエッジ強調処理を施す場合と比較すると、本縮小処理によれば、対象画像からのエッジ情報を用いてエッジ強調することができる。このため、ジャギー、疑似輪郭等のノイズや、撮像時のノイズが著しく強調されたりすることがなく、自然なエッジ強調を行うことができる。これは、エッジ成分である可能性が高い画素位置において強度係数を大きくすることで、ノイズをより低減することができるためである。このため、本縮小処理によれば、Ｓ／Ｎ比が高い縮小画像を得ることができる。
【００３３】
図４はカメラ１００において縮小画像を生成する処理フローを示す。本フローは、撮像画像データが内部メモリ１０８に記憶された場合に、開始される。本処理フローにおいては、特に断わらない限り、画像処理部１０７が主体となって動作する。
【００３４】
ステップＳ４００で、撮像画像データに対する縮小率を決定する。縮小率は、例えば生成すべき縮小画像の対応する画素数を、撮像画像データの対応する一辺の画素数で除した値で決定される。
【００３５】
ステップＳ４０２で、キュービック補間のフィルタ半径、および、ガウシアン補間のフィルタ半径を決定する。例えば、システム制御部１１４のシステムメモリ内に、異なる縮小率に対応づけて異なるフィルタ半径が、補間種別毎に予め記録されており、画像処理部１０７は、システムメモリから内部メモリ１０８に展開された縮小率対フィルタ半径の情報を読み出す。そして、画像処理部１０７は、読み出した縮小率対フィルタ半径の情報に基づいて、ステップＳ４００で決定した縮小率に対応するフィルタ半径を、キュービック補間およびガウシアン補間のそれぞれについて選択する。キュービック補間およびガウシアン補間で用いる補間係数については、図５に関連して後述される。
【００３６】
ステップＳ４０４およびステップＳ４０６において、キュービック補間による縮小処理およびガウシアン補間による縮小処理を行う。本処理は、図３に関連して説明した第１画像３１０および第２画像３２０を生成する処理に対応する。
【００３７】
ステップＳ４０８において、キュービック補間により生成された縮小画像と、ガウシアン補間により生成された縮小画像との差分処理により、エッジ画像を生成する。本処理は、図３に関連して説明した第１画像３１０から第２画像３２０を減算する処理に対応する。
【００３８】
ステップＳ４１０において、エッジ画像を場所毎に適応的に補正する。本処理は、図３に関連して説明した、エッジ画像３３０を補正してエッジ画像３５０を生成するまでの処理に対応する。本処理の詳細なフローについては、後述する。
【００３９】
ステップＳ４１２において、キュービック補間により生成された縮小画像と、エッジ画像とを加算して、縮小画像を生成する。本処理は、図３に関連して説明した、第１画像３１０およびエッジ画像３５０から縮小画像３６０を生成する処理に対応する。ステップＳ４１２で生成した縮小画像は、内部メモリ１０８に一旦記憶され、種々の処理に供される。例えば、表示制御部１０９の制御により、縮小画像が表示部１１０に表示される。縮小画像は、記録媒体ＩＦ１１１を介して記録媒体１２２に記録されてもよい。また、画像認識用の画像として用いられてよい。また、縮小画像は、動画を構成するフレーム画像であってもよい。
【００４０】
ステップＳ４１４で、撮像画像データから他の縮小率の画像を生成するかを判断する。例えば、外部のデジタルフォトフレーム２０等、外部の画像出力機器用の画像を生成するか否かを判断する。他の縮小率の画像を生成する場合、ステップＳ４００に進む。予め定められた縮小画像のセットが生成されるまで、ステップＳ４００からステップＳ４１２の処理を続ける。全ての縮小率の画像の生成が完了すると、一連の縮小画像の生成処理を終了する。
【００４１】
なお、ステップＳ４１２の加算処理において、エッジ画像の第１画像に対する加算比率は、ユーザ指示に基づきシステム制御部１１４が設定してよい。ユーザ指示は、例えば操作部材１２０を介してシステム制御部１１４が取得してよい。すなわち、システム制御部１１４は、ユーザ指示に基づいて、エッジ強調の強度を設定する強度設定部として機能する。そして、ステップＳ４１２において、画像処理部１０７は、設定された強度に基づいてエッジ画像の加算比率を変更して第１画像に加算することにより、縮小画像を生成する。
【００４２】
また、ステップＳ４１２の加算処理において、エッジ強調の強度は縮小率に応じて設定されてよい。例えば、画像処理部１０７は、縮小率が小さいほど、すなわち縮小画像の画素数が多いほど、高い加算比率でエッジ画像を第１画像に加算することにより、縮小画像を生成してよい。ここではエッジ画像の加算比率を制御することでエッジ強調の強度を制御するとしたが、ステップＳ４１０でのエッジ画像の補正処理において、ユーザ指示または縮小率に応じてエッジ画像の強度を制御することで、エッジ強調の強度を制御してもよい。
【００４３】
なお、上記のステップＳ４０４およびステップＳ４０６の縮小処理は、順次に行ってよいが、少なくとも一部の処理が並行して行われてもよい。縮小処理を順次に行う場合、キュービック補間の縮小処理と、ガウシアン補間の縮小処理のいずれを先に行ってもよい。また、ステップＳ４０４、ステップＳ４０６およびステップＳ４０８に相当する処理を一括または並行して行ってもよい。例えば、縮小画像の１画素点について、キュービック補間による画素値の演算と、ガウシアン補間による画素値の演算と、画素値の差分の演算とを行う。この処理を、対象とする画素点を順次に変えて繰り返すことで、エッジ画像を生成してもよい。この態様の処理においても、キュービック補間およびガウシアン補間のそれぞれで各画素点の画素値を算出して、差分をとる処理が行われる。したがって、この態様の処理を実行することは、この発明における第１変倍処理部、第２変倍処理部、差分処理部の各処理を実行することに相当する。
【００４４】
図５は、キュービック補間に用いる補間係数ｆ（ｘ）の関数形状の一例を示す。補間係数ｆ（ｘ）は、下記の式（１１）で表される。
【００４５】
【数１】
【００４６】
式（１１）において、係数αおよびβは、ｆ（ｘ）の関数形状を定めるパラメータであり、−３＜α＜０および０＜β＜−２αを満たすとする。ｘは、補間位置を基準とした、補間演算に用いる画素位置の相対的な座標値を示す。本図のｆ（ｘ）は、α＝−０．８、β＝−０．３の場合の補間係数である。
【００４７】
本補間係数を用いた演算では、フィルタ半径は３となる。式（１１）においてβ＝０としたものが、一般に良く知られたフィルタ半径が２のキュービック補間係数に相当する。キュービック補間であっても、フィルタ半径が２の補間係数を用いると、縮小率が大きくなるにつれて、最近傍補間と同様の結果となる場合がある。つまり、縮小率が大きくなるにつれて、ジャギー等のノイズが目立つようになる。ノイズを避けるためにフィルタ半径を縮小率に応じて拡大した補間係数を用いると、ジャギーが目立たなくなるが、ボケた画像になってしまう場合がある。
【００４８】
本補間係数ｆ（ｘ）によれば、フィルタ半径を３に拡張でき、補間関数をより理想的な形状に近づけることができる。したがって、ボケが少なくノイズも小さい縮小画像を得ることができる。なお、本補間係数ｆ（ｘ）で縮小処理する場合でも、縮小率に応じてフィルタ半径を大きくしてもよい。具体的には、縮小率が大きいほど、フィルタ半径を拡大してよい。この場合でも、フィルタ半径が２のキュービック補間を適用する場合と比較して、ボケの小さい縮小画像を得ることができる。
【００４９】
本図では、キュービック補間の補間係数として、フィルタ半径が３の補間係数を例示した。しかし、フィルタ半径は３に限られず、２を超える大きさのフィルタ半径を持つキュービック補間を適用してよい。例えば、フィルタ半径が４の補間係数ｆ（ｘ）は、下記の式（１２）で表される。
【００５０】
【数２】
【００５１】
式（１２）において、係数α、β、γは、ｆ（ｘ）の関数形状を定めるパラメータであり、−３＜α＜０、０＜β＜−２α、および、−２β＜γ＜０を満たすとする。
【００５２】
本実施形態の縮小処理では、ジャギー等のノイズが目立ちにくく、ボケも比較的に小さい縮小処理として、上述したキュービック補間による縮小処理を適用して、第１画像を生成する。一方、対象画像にガウシアン補間法による縮小処理を適用することで、ジャギー等のノイズが小さくボケが比較的に大きい第２画像を生成する。ガウシアン補間の補間係数ｇ（ｘ）は、下記の式（１３）で表される。
【００５３】
【数３】
【００５４】
式（１３）において、Ａは規格化定数で、重み係数が合計して１になるように設定される。フィルタ半径は、式（１３）のσによって制御することができる。ガウシアン補間のフィルタ半径として、キュービック補間のフィルタ半径と同等のフィルタ半径を適用すると、ボケが比較的に大きくなってしまう。そこで、σの値として、縮小率の０．５倍の値を適用してよい。
【００５５】
画像処理部１０７は、式（１１）または式（１２）に例示したような、補間半径が２画素分の長さを超えるキュービック補間を適用して、第１画像を生成する。但し、補間半径が２画素分の長さを超えるキュービック補間を適用するか否かは、縮小率に応じて設定してもよい。具体的には、ステップＳ４０２において、画像処理部１０７は、縮小率が予め定められた基準変倍率以下の場合に、２画素分の補間半径を持つ通常のキュービック補間を適用し、縮小率が基準変倍率を超える場合に、補間半径が２画素分を超えるキュービック補間を適用する。
【００５６】
図６は、エッジ画像を適応的に補正する処理フローの一例を示す。本処理フローは、図４のステップＳ４１０の内部処理を示す。本処理フローにおいては、特に断わらない限り、画像処理部１０７が主体となって動作する。
【００５７】
ステップＳ６１０において、エッジ画像を解析してエッジ画像の特徴量を算出する。具体的には、エッジ画像の全画素の平均値および標準偏差を、特徴量として算出する。これにより、エッジ画像の強度分布を解析することが可能になる。
【００５８】
ステップＳ６２０において、エッジ画像から強度調整マップを生成する。強度調整マップは、エッジ画像に含まれる複数の画素のそれぞれに対応する複数の強度係数を含む。本処理は、図３に関連して説明した強度調整マップ３４０の各強度係数を算出する処理に対応する。本処理により、エッジ画像の強度分布およびエッジ画像の画素値に応じて、エッジ成分である可能性の高い場所の強調係数を大きくし、ノイズ成分である可能性の高い場所の強調係数を小さくした強度調整マップが生成される。より具体的には、画像処理部１０７は、特徴量により定まるエッジ強調関数を用いてエッジ画像の画素値から強度係数を算出する。エッジ強調関数については後述する。
【００５９】
ステップＳ６３０において、ステップＳ６２０で算出された強度調整マップを平滑化する。一例として、画像の縦方向および横方向に画素を平均化するローパスフィルタにより、強度調整マップを平滑化する。これにより、エッジ成分であるが正規化した画素値が小さい画素およびノイズ成分であるが正規化した画素値が大きい画素等のイレギュラーな画素の強調係数を、周囲の画素の強調係数に基づき補正することができる。
【００６０】
この場合、ローパスフィルタのぼかし強度を上げてフィルタリングをする事で強度調整マップの画素間の相関強度を強くすることができ、ぼかし強度を下げてフィルタリングをすることで強度調整マップの画素間の相関強度を弱くすることができる。そこで、一例として、［１，２，１］／４等のローパスフィルタをｎ回掛け、ｎを変更可能とする。これにより、強度調整マップの画素間の相関強度を調整することができる。ｎの値は、ユーザ指示に基づいて設定されてよい。
【００６１】
ステップＳ６４０において、強度調整マップによりエッジ画像を補正する。一例として、エッジ画像に含まれる複数の画素のそれぞれに、強度調整マップの対応する強調係数を乗算することにより、エッジ画像を補正する。これにより、ノイズ成分等の画素に対応する画素値を小さくすることができる。ステップＳ６４０の処理を終えると、本処理フローは終了する。
【００６２】
本フロー図に関連して説明したように、画像処理部１０７は、エッジ画像を解析してエッジ画像の特徴量を算出する特徴量算出部、画像内の場所毎に異なるエッジ強調の強度を設定する強度調整マップを、特徴量に基づいてエッジ画像から算出するマップ算出部、エッジ画像を強度調整マップにより補正するエッジ補正処理部として機能する。そして、画像処理部１０７は、第１画像と、補正されたエッジ画像とから、縮小画像を生成する変倍画像生成部として機能する。強度調整マップを生成する処理は、図７に関連して説明される。
【００６３】
図７は、強度調整マップの強度係数を算出するためのエッジ強調関数の一例を示す。エッジ強調関数は、正規化された画素値を入力とし、強度係数を出力する関数である。正規化された画素値は、特徴量である平均値および標準偏差に基づく正規化関数により算出される。エッジ強調関数は、正規化された画素値を入力値とし、入力値が０の近傍において小さく、０から離れるに従い大きい出力値を出力する。すなわち、エッジ強調関数は、正規化関数と、入力値に応じて出力値を定める基準エッジ強調関数とに分解される。具体的には、正規化関数は、下記の式（１４）のように表される。
【００６４】
【数４】
【００６５】
式（１４）において、Ｘは、正規化された画素値を表す。ｆは、エッジ画像の元の画素値を表す。ｆの上にバーが付された値は、エッジ画像の画素値の平均値を表す。σは、エッジ画像の標準偏差を表す。すなわち、正規化関数は、画素値から平均値を減じた偏差を、標準偏差で除算する関数である。
【００６６】
画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれの画素値を、本正規化関数により正規化する。つまり、画像処理部１０７は、エッジ画像の各画素値を特徴量により正規化する正規化部として機能する。具体的には、画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、画素値から平均値を減じた偏差を標準偏差で除算することにより、エッジ画像の各画素値を正規化する。このように正規化された各画素値は、元の画素値が平均値に一致する場合には０となり、元の画素値が平均値から正側に標準偏差分離れた場合には１、元の画素値が平均値から負側に標準偏差分離れた場合には−１となる。画像処理部１０７は、式（１４）を用いて、エッジ画像の画素値を典型的なスケールで正規化することで、任意の画像に対してＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度等の撮像条件の依存性が少ない値に変換できる。
【００６７】
基準エッジ強調関数は、正規化関数により正規化された画素値を入力値とし、入力値が０の近傍において出力値が小さく、０から離れるに従い出力値が大きくなる関数である。さらに、基準エッジ強調関数は、０から一定範囲以上離れたことに応じて、出力値が予め定められた値に漸近またはクリップする事が望ましい。例えば、基準エッジ強調関数は、下記の式（１５）のように表される。
【００６８】
【数５】
【００６９】
式（１５）において、Ｘは、正規化された画素値を表す。Ｉは、出力値を表す。すなわち、基準エッジ強調関数は、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値を、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値と正定数とを加算した値により除算した出力値を出力する関数である。
【００７０】
画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、本基準エッジ強調関数により強調係数を算出して強度調整マップを生成する。つまり、画像処理部１０７は、正規化された各画素値を入力とし、入力した画素値を予め定められた基準エッジ強調関数により強調係数に変換した強度調整マップを生成する変換処理部として機能する。具体的には、画像処理部１０７は、エッジ画像に含まれる複数の画素のそれぞれに対して、正規化された画素値の２の自然数倍のべき乗に比例した値を、正規化された画素値の２の自然数倍のべき乗に比例した値と正定数とを加算した値により除算した出力値を出力する基準エッジ強調関数により強調係数を算出して、強度調整マップを生成する。
【００７１】
このように算出された強調係数は、図７のＢに示されるように、正規化された画素値が０の近傍の場合に小さく（例えば０）、０から離れるに従い大きくなる。さらに、このように算出された強調係数は、正規化された画素値が０から一定以上離れた場合に、予め定められた値（例えば１）に漸近的に収束する。
【００７２】
ここで、カメラ１００により撮像された画像のエッジ画像において、正規化された画素値の頻度分布は、一例として、本図の線Ａに表されるようになる。すなわち、正規化された画素値の頻度分布は、正規化された画素値が０に近い範囲においてピークとなり、正規化された画素値が０から離れるに従って小さくなる。
【００７３】
撮像された画像におけるエッジ画像において、典型的な画素値より絶対値の十分小さい画素はエッジ成分ではない場合が多く、また、典型的な画素値より絶対値が十分大きい画素は本来のエッジ成分である場合が多い。すなわち、正規化された画素値が０の近傍の画素はノイズ成分である場合が多く、正規化された画素値が０から一定範囲以上離れた画素はエッジ成分である場合が多い。
【００７４】
したがって、画像処理部１０７は、正規化関数および基準エッジ強調関数により強度調整マップを生成することにより、エッジ成分である可能性の高い画素に対応する強調係数を大きくし、ノイズ成分である可能性の高い画素に対応する強調係数を小さくした強度調整マップを生成することができる。
【００７５】
本強度調整マップを用いてエッジ画像を補正することで、エッジ画像に含まれるノイズ成分を低減することができる。そして、キュービック補間で生成された縮小画像に、補正されたエッジ画像を加算することで、対象画像に写り込んだ被写体に関わらず、エッジを適切に強調することができる。これにより、人間の経験に応じた強調パラメータの設定等を必要とせずに、違和感の無く自然に被写体の輪郭をくっきりさせることができる。
【００７６】
なお、画像処理部１０７は、ステップＳ６１０において、式（１５）に代えて、下記の式（１６）に表される基準エッジ強調関数により強度調整マップを生成してもよい。
【００７７】
【数６】
【００７８】
式（１６）において、Ｘは、正規化された画素値を表す。Ｉは、出力値を表す。すなわち、式（１６）において、基準エッジ強調関数は、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値を、入力値の２の自然数倍のべき乗（例えば４のべき乗）に比例した値と第１の正定数とを加算した値により除算した値を算出し、さらに、除算した値から第２の正定数を減算した出力値を出力する関数である。
【００７９】
このように算出された強調係数は、図７のＣに示されるように、正規化された画素値が０の近傍の場合に負の値となり、０から離れるに従い大きくなる。さらに、このように算出された強調係数は、正規化された画素値が０から一定以上離れた場合に、予め定められた正の値（例えば１）に漸近的に収束する。
【００８０】
したがって、本関数により算出された強度調整マップを対象画像に加算した場合、正規化された画素値が０の近傍の画素では、符号を反転させたエッジ量を加算することで、対象画像にボケを生じさせることができる。これにより、ノイズ成分が含まれる可能性の高い画素にボケを与えて、エッジ成分ではないノイズ成分の平滑化ができる。一般的に、正規化されていないエッジ成分を用いた判断で同様の処理を行うと、ノイズ成分だけでなくエッジ強度の弱いエッジ部分も平滑化されてしまう場合がある。しかし、ステップ６４０で正規化されたエッジ成分と、強度調整マップを調整する事で、周囲に強いエッジ成分が存在する弱いエッジ部分でも、誤ってボカされる事が無く正しくエッジ強調をすることが可能になる。
【００８１】
以上の説明において、対象画像を縮小する縮小処理において、キュービック補間およびガウシアン補間を用いるとした。具体的には、画像処理部１０７が、キュービック補間を適用して第１画像を生成し、ガウシアン補間を適用して第２画像を生成するとして説明した。しかし、縮小手法は、キュービック補間法およびガウシアン補間法に限られず、ぼかし度合いが異なる２以上の補間方法を適用することができる。縮小率が比較的に小さい場合、ぼかし度合いが小さい方の補間方法として線形補間を適用することができる場合がある。また、同じ補間法を用いるか否かに関係なく、フィルタ半径が異なる補間法を、ぼかし度合いが異なる２以上の補間方法として適用してもよい。ぼかし度合いが小さい補間方法として、例えばジャギなどのノイズが少なく対象画像からエッジ成分をきちんと抽出できることが望ましいことは言うまでもない。しかし、ぼかし度合いが異なる補間方法を用いることで、対象画像から直接に得たエッジ情報をエッジ強調処理において利用することが可能になる。また、例えば１つの補間方法で縮小した画像に対してエッジ強調をする場合と比較して、より高周波のエッジ成分を抽出することができる。
【００８２】
上記においては、主として縮小処理を取り上げて本実施形態に係る画像処理を説明した。具体的には、画像処理部１０７は、対象画像を予め定められた縮小率で縮小した第１画像と、対象画像を予め定められた縮小率で縮小した第２画像とを生成して、第１画像および第２画像を用いて、対象画像を縮小した変倍画像を生成するとした。しかし、同様の画像処理を拡大処理にも適用することができる。キュービック補間のようなぼかし度合いの小さい拡大手法と、ガウシアン補間のようなノイズが少ない拡大手法とを適用することで、対象画像からエッジを適切に抽出することができる。つまり、以上に説明した画像処理は、画素数を低減する縮小処理だけでなく、画素数を増加する拡大処理にも適用することができる。すなわち、以上に説明した画像処理を、対象する画像を変倍した変倍画像を生成する場合に適用することができる。
【００８３】
すなわち、画像処理部１０７は、対象画像を予め定められた変倍率で変倍した第１画像を生成する第１変倍処理部、第１画像を生成する変倍処理とは異なる変倍処理を用いて対象画像を予め定められた変倍率で変倍して、第１画像よりもボケた第２画像を生成する第２変倍処理部、第１画像と第２画像との差分処理により、エッジ画像を生成する差分処理部、第１画像とエッジ画像とから、変倍画像を生成する変倍画像生成部として機能することができる。
【００８４】
上記において、エッジ画像の画素値の平均値および標準偏差σを特徴量として用いて、エッジ画像を正規化するとした。すなわち、画像処理部１０７は、エッジ画像に含まれる複数の画素の画素値の平均値および標準偏差を、特徴量として算出するとした。しかし、エッジ画像の画素値の分布に対する各画素値の位置を評価できる指標値であれば、どのような指標値を特徴量として用いてもよい。例えば、エッジ画像の典型的な画素値を表す特徴量としては、画素値の平均値に代えて、画素値のヒストグラムにおいて頻度が最大となる画素値を用いることができる。
【００８５】
既に説明したように、本実施形態にかかる変倍処理は、カメラ１００において表示部１１０に表示される画像を生成する処理に適用することができる。例えば、表示部１１０は、撮像素子１０３が画像信号として出力した対象画像から生成された縮小画像を表示する。表示部１１０に表示される画像として、ライブビュー画像、サムネイル画像、記録済みの画像をユーザに提示するための表示用画像などを例示することができる。また、本実施形態にかかる変倍処理を、記録用の画像を生成する場合にも適用できる。例えば、撮像素子１０３で撮像されたものを動画として記録する場合、撮像素子１０３で撮像された画像を、撮像素子１０３の有効画素数よりも少ない画素数のフレーム画像に縮小する場合がある。画像処理部１０７は、このフレーム画像に縮小する場合の処理に、本実施形態にかかる縮小処理を適用してよい。すなわち、画像処理部１０７は、撮像素子１０３が画像信号として出力した対象画像から生成された複数の変倍画像から、動画を生成する動画生成部として機能する。
【００８６】
また、本実施形態にかかる変倍処理によれば、ノイズが低減された変倍画像を提供できる。したがって、本変倍画像は、画像のマッチング処理に適する。画像のマッチング処理としては、動画圧縮用の動きベクトルを算出するためのブロックマッチング処理を例示することができる。具体的には、画像処理部１０７は、動画を構成する複数の変倍画像からブロックマッチングにより動きベクトルを算出して、算出した動きベクトルを用いて動画を圧縮してよい。すなわち、画像処理部１０７は、複数の対象画像から生成された複数の縮小画像から、複数の変倍画像で構成される動画を圧縮するための動きベクトルを算出する動きベクトル算出部、算出した動きベクトルを用いて動画を圧縮する圧縮部として機能することができる。
【００８７】
また、画像のマッチング処理としては、人物の顔を識別する処理を例示することができる。ノイズの少ない変倍画像を顔識別処理に用いることで、人物の顔を正確に識別することが可能になる。顔識別処理に用いる変倍画像とは、テンプレートマッチングに用いるテンプレート画像であってよいし、テンプレート画像等を用いたマッチング処理の対象となる識別対象画像であってもよい。画像処理部１０７は、撮像画像としての対象画像から、テンプレート画像および識別対象画像の少なくとも一方としての変倍画像を生成して、生成した変倍画像を用いて画像認識により人物の顔の識別処理を実行してよい。すなわち、画像処理部１０７は、変倍画像を用いて、画像認識により人物の顔を識別する識別処理部として機能することができる。なお、本識別処理の対象は、人物の顔に限られない。本識別処理は、動物、車両のナンバープレート等の種々の被写体を対象とすることができる。
【００８８】
上記実施形態で説明したカメラ１００は、レンズ交換式一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラおよびビデオカメラ等はもちろん、カメラ機能付きの携帯電話等に適用できる。また、上記において、上記の変倍処理が、主としてカメラ１００で行われるとして説明した。しかし、当該変倍処理を、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０が行うことができる。
【００８９】
カメラ１００、デジタルフォトフレーム２０、携帯電話端末３０、パーソナルコンピュータ４２、プリンタ５０、テレビ６０は、変倍処理の実行を制御する制御プログラムをプロセッサが実行することで、当該変倍処理を実行してよい。パーソナルコンピュータ４２等のように、外部の記録媒体からプログラムを読み込むことができる電子情報処理装置においては、制御プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって制御プログラムをロードしてよい。
【００９０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９２】
２０ デジタルフォトフレーム、３０ 携帯電話端末、４０ ＰＣモニタ、４２ パーソナルコンピュータ、５０ プリンタ、６０ テレビ、１００ カメラ、１０１ 光学系、１０２ シャッタ、１０３ 撮像素子、１０４ アンプ部、１０５ Ａ／Ｄ変換器、１０６ メモリ制御部、１０７ 画像処理部、１０８ 内部メモリ、１０９ 表示制御部、１１０ 表示部、１１１ 記録媒体ＩＦ、１１２ タイミング発生部、１１３ レンズ制御部、１１４ システム制御部、１２０ 操作部材、１２２ 記録媒体、３００ 対象画像、３１０ 第１画像、３２０ 第２画像、３３０ エッジ画像、３４０ 強度調整マップ、３５０ エッジ画像、３６０ 縮小画像
【特許請求の範囲】
【請求項１】
対象画像データを変倍した変倍画像データを生成する画像処理装置であって、
前記対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理部と、
前記第１画像データを生成する変倍処理とは異なる変倍処理を用いて前記対象画像データを前記予め定められた変倍率で変倍して、前記第１画像データよりもボケた第２画像データを生成する第２変倍処理部と、
前記第１画像データと前記第２画像データとの差分処理により、エッジ画像データを生成する差分処理部と、
前記第１画像データと前記エッジ画像データとから、前記変倍画像データを生成する変倍画像生成部と
を備える画像処理装置。
【請求項２】
前記エッジ画像データを解析して前記エッジ画像の特徴量を算出する特徴量算出部と、
画像内の場所毎に異なるエッジ強調の強度を設定する強度調整マップを、前記特徴量に基づいて前記エッジ画像データから算出するマップ算出部と、
前記エッジ画像データを前記強度調整マップにより補正するエッジ補正処理部と
をさらに備え、
前記変倍画像生成部は、前記第１画像データと、前記補正された前記エッジ画像データとから、前記変倍画像データを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記エッジ画像データに含まれる複数の画素の画素値の平均値および標準偏差を、前記特徴量として算出する
請求項２に記載の画像処理装置。
【請求項４】
前記マップ算出部は、
前記エッジ画像の各画素値を前記特徴量により正規化する正規化部と、
正規化された各画素値を入力とし、入力した画素値を予め定められた基準エッジ強調関数により強調係数に変換した前記強度調整マップを生成する変換処理部と
を有する請求項３に記載の画像処理装置。
【請求項５】
前記正規化部は、画素値から前記平均値を減じた偏差を、前記標準偏差で除算することにより、前記エッジ画像データの各画素値を正規化する
請求項４に記載の画像処理装置。
【請求項６】
ユーザ指示に基づいて、エッジ強調の強度を設定する強度設定部
をさらに備え、
前記変倍画像生成部は、前記エッジ画像データの加算比率を前記設定された前記強度に基づいて変更して前記第１画像データに加算することにより、前記変倍画像データを生成する
請求項２から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記変倍画像生成部は、前記変倍画像データの画素数が多いほど、高い加算比率で前記エッジ画像データを前記第１画像データに加算することにより、前記変倍画像データを生成する
請求項２から５のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１変倍処理部は、キュービック補間を適用して前記第１画像データを生成し、
前記第２変倍処理部は、ガウシアン補間を適用して前記第２画像データを生成する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第１変倍処理部は、補間半径が２画素分の長さを超えるキュービック補間を適用して、前記第１画像データを生成する
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第１変倍処理部は、前記予め定められた変倍率が予め定められた基準変倍率以下の場合に、２画素分の補間半径を持つキュービック補間を適用して前記第１画像データを生成し、前記予め定められた変倍率が前記基準変倍率を超える場合に、補間半径が２画素分を超えるキュービック補間を適用して前記第１画像データを生成する
請求項９に記載の画像処理装置。
【請求項１１】
前記第１変倍処理部は、前記対象画像データを予め定められた縮小率で縮小した前記第１画像データを生成し、
前記第２変倍処理部は、前記対象画像データを前記予め定められた縮小率で縮小した前記第２画像データを生成し、
前記変倍画像生成部は、前記対象画像データを縮小した前記変倍画像データを生成する
請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
複数の前記対象画像データから生成された複数の前記変倍画像データから、前記複数の変倍画像データで構成される動画を圧縮するための動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部が算出した動きベクトルを用いて、前記動画を圧縮する圧縮部と
をさらに備える請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記変倍画像データを用いて、画像認識により人物の顔を識別する識別処理部
をさらに備える請求項１から１２のいずれか一項に記載の画像処理装置。
【請求項１４】
撮像素子が画像信号として出力した前記対象画像データから生成された前記変倍画像データを表示する表示部
をさらに備える請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
撮像素子が画像信号として出力した前記対象画像データから生成された複数の前記変倍画像データから、動画を生成する動画生成部
をさらに備える請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
対象画像データを変倍した変倍画像データを生成する画像処理用のプログラムであって、コンピュータに、
前記対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理ステップと、
前記第１画像データを生成する変倍処理とは異なる変倍処理を用いて前記対象画像データを前記予め定められた変倍率で変倍して、前記第１画像データよりもボケた第２画像データを生成する第２変倍処理ステップと、
前記第１画像データと前記第２画像データとの差分処理により、エッジ画像データを生成する差分処理ステップと、
前記第１画像データと前記エッジ画像データとから、前記変倍画像データを生成する変倍画像生成ステップと
を実行させるプログラム。
【請求項１】
対象画像データを変倍した変倍画像データを生成する画像処理装置であって、
前記対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理部と、
前記第１画像データを生成する変倍処理とは異なる変倍処理を用いて前記対象画像データを前記予め定められた変倍率で変倍して、前記第１画像データよりもボケた第２画像データを生成する第２変倍処理部と、
前記第１画像データと前記第２画像データとの差分処理により、エッジ画像データを生成する差分処理部と、
前記第１画像データと前記エッジ画像データとから、前記変倍画像データを生成する変倍画像生成部と
を備える画像処理装置。
【請求項２】
前記エッジ画像データを解析して前記エッジ画像の特徴量を算出する特徴量算出部と、
画像内の場所毎に異なるエッジ強調の強度を設定する強度調整マップを、前記特徴量に基づいて前記エッジ画像データから算出するマップ算出部と、
前記エッジ画像データを前記強度調整マップにより補正するエッジ補正処理部と
をさらに備え、
前記変倍画像生成部は、前記第１画像データと、前記補正された前記エッジ画像データとから、前記変倍画像データを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記特徴量算出部は、前記エッジ画像データに含まれる複数の画素の画素値の平均値および標準偏差を、前記特徴量として算出する
請求項２に記載の画像処理装置。
【請求項４】
前記マップ算出部は、
前記エッジ画像の各画素値を前記特徴量により正規化する正規化部と、
正規化された各画素値を入力とし、入力した画素値を予め定められた基準エッジ強調関数により強調係数に変換した前記強度調整マップを生成する変換処理部と
を有する請求項３に記載の画像処理装置。
【請求項５】
前記正規化部は、画素値から前記平均値を減じた偏差を、前記標準偏差で除算することにより、前記エッジ画像データの各画素値を正規化する
請求項４に記載の画像処理装置。
【請求項６】
ユーザ指示に基づいて、エッジ強調の強度を設定する強度設定部
をさらに備え、
前記変倍画像生成部は、前記エッジ画像データの加算比率を前記設定された前記強度に基づいて変更して前記第１画像データに加算することにより、前記変倍画像データを生成する
請求項２から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記変倍画像生成部は、前記変倍画像データの画素数が多いほど、高い加算比率で前記エッジ画像データを前記第１画像データに加算することにより、前記変倍画像データを生成する
請求項２から５のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１変倍処理部は、キュービック補間を適用して前記第１画像データを生成し、
前記第２変倍処理部は、ガウシアン補間を適用して前記第２画像データを生成する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第１変倍処理部は、補間半径が２画素分の長さを超えるキュービック補間を適用して、前記第１画像データを生成する
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記第１変倍処理部は、前記予め定められた変倍率が予め定められた基準変倍率以下の場合に、２画素分の補間半径を持つキュービック補間を適用して前記第１画像データを生成し、前記予め定められた変倍率が前記基準変倍率を超える場合に、補間半径が２画素分を超えるキュービック補間を適用して前記第１画像データを生成する
請求項９に記載の画像処理装置。
【請求項１１】
前記第１変倍処理部は、前記対象画像データを予め定められた縮小率で縮小した前記第１画像データを生成し、
前記第２変倍処理部は、前記対象画像データを前記予め定められた縮小率で縮小した前記第２画像データを生成し、
前記変倍画像生成部は、前記対象画像データを縮小した前記変倍画像データを生成する
請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
複数の前記対象画像データから生成された複数の前記変倍画像データから、前記複数の変倍画像データで構成される動画を圧縮するための動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部が算出した動きベクトルを用いて、前記動画を圧縮する圧縮部と
をさらに備える請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記変倍画像データを用いて、画像認識により人物の顔を識別する識別処理部
をさらに備える請求項１から１２のいずれか一項に記載の画像処理装置。
【請求項１４】
撮像素子が画像信号として出力した前記対象画像データから生成された前記変倍画像データを表示する表示部
をさらに備える請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
撮像素子が画像信号として出力した前記対象画像データから生成された複数の前記変倍画像データから、動画を生成する動画生成部
をさらに備える請求項１から１４のいずれか一項に記載の画像処理装置。
【請求項１６】
対象画像データを変倍した変倍画像データを生成する画像処理用のプログラムであって、コンピュータに、
前記対象画像データを予め定められた変倍率で変倍した第１画像データを生成する第１変倍処理ステップと、
前記第１画像データを生成する変倍処理とは異なる変倍処理を用いて前記対象画像データを前記予め定められた変倍率で変倍して、前記第１画像データよりもボケた第２画像データを生成する第２変倍処理ステップと、
前記第１画像データと前記第２画像データとの差分処理により、エッジ画像データを生成する差分処理ステップと、
前記第１画像データと前記エッジ画像データとから、前記変倍画像データを生成する変倍画像生成ステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９１２６５（Ｐ２０１２−１９１２６５Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５０６５９（Ｐ２０１１−５０６５９）
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月８日（２０１１．３．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]