情報処理装置及び情報処理方法
【課題】高感度画像からノイズ成分をより効率的かつ効果的に除去することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供する。
【解決手段】上記課題を解決するために、本発明のある観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置が提供される。
【解決手段】上記課題を解決するために、本発明のある観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を備えた撮像装置として、撮像素子の感度を調整可能な撮像装置が知られている。この撮像装置は、夜間のような低照明環境下であっても、撮像素子の感度を上げて撮像を行うことで、被写体の色情報（輝度、色相、彩度等）が高精度で再現された撮像画像、即ち高感度画像を生成することができる。しかし、撮像素子の感度が高いため、撮像画像中のノイズが増加するという問題、いわゆるノイズ問題がある。
【０００３】
このノイズ問題を解決する１つの方法として、撮像装置がより多くの光を取り込めるように、露出時間を長くするという方法が考えられる。ノイズが発生する原因の一つに、露出時間が短い、即ち撮像装置が被写体の色情報を再現するのに充分な光を取り込めないということが考えられるからである。しかし、この方法には、ユーザの手ぶれまたは被写体の動きによって撮像画像が乱れるという問題があるので、上記のノイズ問題を根本的に解決することができない。
【０００４】
一方、ノイズ問題を解決する別の方法として、補助光源、即ちフラッシュを利用するという方法が考えられる。この方法では、撮像装置は、撮像素子を低感度に設定し、かつ、フラッシュ発光を伴う撮像を行うことで、低感度の撮像画像、即ち低感度画像を生成する。この方法では、撮像時に被写体にフラッシュ光が照射されるので、短い露出時間、及び低い感度であっても、比較的鮮明で、かつ、ノイズの少ない撮像画像を生成することができる。しかし、この撮像画像は、被写体の色情報の再現性が低いので、ユーザが撮像画像に違和感を持ってしまうという問題がある。したがって、この方法によっても、ノイズ問題を根本的に解決することができない。
【０００５】
一方、特許文献１には、上記のノイズ問題を解決することを目的とした技術を開示する。特許文献１に開示された技術は、フラッシュ発光を伴わない撮像により生成された高感度画像と、フラッシュ発光を伴う撮像により生成された低感度画像とのそれぞれをバイラテラルフィルタで処理し、低感度画像内のアーチファクト発生領域（鏡面反射領域等）にマスキング処理を施す。そして、この技術は、高感度画像と低感度画像とを合成する。これにより、高感度画像内のノイズが低減する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４６６３４２９号公報
【特許文献２】特許第４７６９６３４号公報
【特許文献３】特開２００９−１８８６８４号公報
【特許文献４】特許第４２３５４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された技術では、複数回にわたるフィルタ処理やマスキング処理を行う必要があった。さらに、感度毎に適切なフィルタを用意する必要があった。このため、ノイズ除去に手間がかかっていた。さらに、この技術を撮像装置に実装するためには、大規模な回路を用意する必要があった。
また、この技術では、高感度画像にフィルタ処理を行うので、高感度画像のディテールが損なわれてしまうという問題もあった。
【０００８】
一方、特許文献２〜４にも、ノイズ除去に関する技術が開示されている。しかし、これらの技術によっても、高感度画像からノイズ成分を効果的に除去することができなかった。特に、特許文献２では、露出時間を長くするため、ユーザの手ぶれや被写体の動きによって撮像画像が乱れるという別の問題もあった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、高感度画像からノイズ成分をより効率的かつ効果的に除去することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置が提供される。
【００１１】
この観点によれば、情報処理装置は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、情報処理装置は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。
【００１２】
ここで、差分画像生成部は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値に基づいて、画素差分値を調整してもよい。
【００１３】
この観点によれば、情報処理装置は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値である輝度差分値に基づいて、画素差分値を調整する。したがって、情報処理装置は、これらの画像の露出量を擬似的に近づけることができるので、差分画像をより正確に生成することができる。
【００１４】
また、ノイズ画像生成部は、画素差分値が高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値となる場合に、画素差分値をノイズ成分と判定してもよい。
【００１５】
この観点によれば、情報処理装置は、アーチファクトによって生じた画素差分値をノイズと誤判定することを防止することができる。したがって、情報処理装置は、高感度画像からノイズ成分をより正確に除去することができる。
【００１６】
また、ノイズ画像生成部は、差分画像の低周波成分を除去することで、ノイズ画像を生成してもよい。
【００１７】
この観点によれば、情報処理装置は、差分画像の低周波成分を除去することで、ノイズ画像を生成する。具体的には、情報処理装置は、例えば、差分画像にハイパスフィルタを掛けることで、ノイズ画像を生成する。これにより、情報処理装置は、より正確にノイズ画像を生成することができる。さらに、情報処理装置は、高感度画像そのものではなく、差分画像にハイパスフィルタを掛けるので、高感度画像のディテールの損失を抑制することができる。また、情報処理装置は、引用文献１に開示された技術よりも少ない回数のフィルタ処理によって、高感度画像からノイズ成分を除去することができる。
【００１８】
本発明の他の観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得ステップと、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成ステップと、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成ステップと、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去ステップと、を含むことを特徴とする、情報処理方法が提供される。
【００１９】
この観点による情報処理方法は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、この情報処理方法は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、高感度画像からノイズ成分をより効率的かつ効果的に除去することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】画像信号処理部の構成を示すブロック図である。
【図３】低感度画像の画素毎の画素値を示す棒グラフである。
【図４】高感度画像の画素毎の画素値を示す棒グラフである。
【図５】高感度画像の画素値にオフセット項を加算した値を示す棒グラフである。
【図６】差分画像の画素毎の画素値を示す棒グラフである。
【図７】ノイズ除去画像の画素毎の画素値を示す棒グラフである。
【図８】ノイズ除去画像の画素毎の画素値を示す棒グラフである。
【図９】撮像装置による処理の手順を示すフローチャートである。
【図１０】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１１】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１２】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１３】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１４】ノイズ除去前の高感度画像の一例を示す説明図である。
【図１５】図１４の画像にハイパスフィルタを掛けた画像を示す説明図である。
【図１６】図１４の画像に第２の実施形態によるノイズ除去を行った画像を示す説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．第１の実施形態＞
［撮像装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置（情報処理装置）１０の概略構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、ＡＦＥ回路１３と、画像積算部１４と、露出制御部１５と、タイミングジェネレータ１６と、ドライバ１７と、補助光源部１８と、画像信号処理部１９と、フレーム記憶部２０と、画像表示部２１と、画像記録部２２とを備える。
【００２３】
なお、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、補助光源、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特に画像積算部１４と、露出制御部１５と、タイミングジェネレータ１６と、ドライバ１７と、補助光源部１８と、画像信号処理部１９と、フレーム記憶部２０と、画像表示部２１と、画像記録部２２とを実現させるためのプログラムが記憶されている。
【００２４】
なお、他の実施形態としては、画像信号処理部１９を備える情報処理装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、情報処理装置は、撮像装置等から高感度画像及び低感度画像を取得し、これらの画像に基づいて、高輝度画像からノイズ成分を除去する。
【００２５】
レンズユニット１１は、撮像装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮像装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００２６】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素値として有する撮像画像を生成する。これにより、撮像素子１２は、撮像を行なう。
【００２７】
撮像素子制御部は、生成された撮像画像をＡＦＥ回路１３に出力する。撮像素子１２は、各単位素子の感度を変更可能となっており、感度が高いほど、少ない入射光で撮像画像を生成することができる。また、撮像素子１２は、各単位素子の感度が高いほど、被写体の色情報（輝度、色相、彩度等）を正確に反映した撮像画像を生成することができる。撮像素子１２の感度は、例えばＩＳＯ感度として規定される。第１の実施形態では、撮像素子１２は、高感度状態（例えばＩＳＯ感度８００）及び低感度状態（例えばＩＳＯ感度１００）でそれぞれ撮像画像を生成する。以下、高感度状態で生成された撮像画像を高感度画像とも称し、低感度状態で生成された撮像画像を低感度画像とも称する。なお、撮像素子１２には、ｘｙ平面が設定され、撮像画像の各画素には、ｘｙ平面上の座標値が与えられる。ｘ軸、ｙ軸の方向は任意であるが、例えば、ｙ軸は撮像素子１２の上下方向、即ち撮像装置１０の上下方向に延びる軸であり、ｘ軸は、ｙ軸に垂直な方向に延びる軸である。以下、座標（ｘ，ｙ）を有する画素を画素（ｘ，ｙ）とも称する。ｘｙ軸は、例えば図１４〜図１６に表記されている。
【００２８】
ＡＦＥ回路１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像を画像積算部１４及び画像信号処理部１９に出力する。画像積算部１４は、撮像画像の画素値（即ちＲＧＢ情報）を色の種類毎に積算することでＲＧＢ積算値を生成する。さらに、画像積算部１４は、ＲＧＢ積算値と以下の式（１）とに基づいて、輝度積算値を算出し、輝度積算値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００２９】
【数１】
【００３０】
式（１）中、Ｙは輝度積算値、ＲはＲ積算値、ＧはＧ積算値、ＢはＢ積算値である。画像積算部１４は、平均輝度に関する平均輝度情報を露出制御部１５に出力する。
【００３１】
露出制御部１５は、タイミングジェネレータ１６を介して撮像素子１２の駆動タイミング及び感度を調整する。さらに、露出制御部１５は、撮像画像の平均輝度が予め設定された目標輝度に一致するように（即ち、撮像素子１２の露出が適正となるように）、レンズユニット１１の絞り、シャッタスピード、及びＡＦＥ回路１３のゲイン等を設定する。
【００３２】
そして、露出制御部１５は、これらの設定値に関する設定値情報をドライバ１７及びＡＦＥ回路１３に出力する。なお、低感度画像の撮像時及び高感度画像の撮像時の双方で撮像素子１２の露出量が共通するように、絞り及びシャッタスピードはこれらの撮像時で共通することが好ましい。また、手ぶれによる画像のズレを防止するために、シャッタスピードはなるべく早いことが好ましい。
【００３３】
ＡＦＥ回路１３は、設定値情報に基づいて撮像画像をアナログ・デジタル変換する。ドライバ１７は、レンズユニット１１の絞りを設定値情報が示す値に設定し、シャッタを設定値情報が示すスピードにて駆動する。なお、ドライバ１７は、低感度画像の撮像時には、補助光源部１８を駆動する。これにより、低感度状態または高感度状態の撮像素子１２に光が入射するので、撮像素子１２は、入射した光に基づいて、低感度画像または高感度画像を生成する。
【００３４】
高感度画像は、フラッシュ発光を伴わず、かつ、高感度の撮像素子１２により撮像されたものである。したがって、高感度画像は、被写体の色情報をより正確に再現しているが、ノイズ成分を多く含む。一方、低感度画像は、フラッシュ発光を伴い、かつ、低感度の撮像素子１２により撮像されたものである。したがって、低感度画像は、被写体の色情報の再現性が高感度画像よりも低いが、ノイズ成分が高感度画像よりも少ない。第１の実施形態では、これらの画像の特徴を用いて、高感度画像からノイズ成分を除去する。
【００３５】
図３に低感度画像の例を示し、図４に高感度画像の例を示す。図３、４は、撮像画像の各画素値のうち、ｘ軸に平行なあるライン上の画素値を示す。横軸は画素のｘ座標、縦軸は画素値を示す。なお、図５〜図８の横軸及び縦軸の意義も同様である。図５〜図８については後述する。棒グラフＢＰｆは、画素のｘ座標と、低感度画像の画素値との対応関係を示す。棒グラフＢＰａは、画素のｘ座標と、高感度画像の画素値との対応関係を示す。高感度画像は、低感度画像よりも被写体の色情報を正確に再現しており、かつ、ノイズ成分を多く含むため、様々な画素値を有する。
【００３６】
タイミングジェネレータ１６は、露出制御部１５による制御により、撮像素子１２を駆動させる。ドライバ１７は、露出制御部１５による制御により、レンズユニット１１及び補助光源部１８を駆動させる。補助光源部１８は、いわゆるフラッシュであり、撮像時にフラッシュ発光を行う。
【００３７】
画像信号処理部１９は、図２に示すように、撮像画像取得部１９１と、前処理部１９２と、差分画像生成部１９３と、ノイズ画像生成部１９４と、ノイズ除去部１９５と、後処理部１９６とを備える。
【００３８】
撮像画像取得部１９１は、ＡＦＥ回路１３から高感度画像及び低感度画像を取得し、前処理部１９２に出力する。前処理部１９２は、高感度画像及び低感度画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、ホワイトバランス補正、及び手ぶれ補正を行なう。前処理１９２が手ぶれ補正を行なうことで、高感度画像と低感度画像との画素ずれ（同じ被写体がことなる位置の画素に描かれること）が低減される。したがって、前処理１９２は、前処理のうち、特に手ぶれ補正を行うことが好ましい。前処理部１９２は、前処理を行った高感度画像及び低感度画像をフレーム記憶部２０に記憶する一方、差分画像生成部１９３に出力する。
【００３９】
差分画像生成部１９３、ノイズ画像生成部１９４、ノイズ除去部１９５、及び後処理部１９６は、高感度画像及び低感度画像のＲ情報、Ｇ情報、及びＲ情報のそれぞれについて以下の処理を行なう。
【００４０】
即ち、差分画像生成部１９３は、高感度画像及び低感度画像のそれぞれについて、平均輝度を算出する。この平均輝度は、上述した画像積算部１４と同様の処理により求められる。平均輝度は、撮像時の露出量を反映した値である。差分画像生成部１９３は、低感度画像の平均輝度から高感度画像の平均輝度を除算することで輝度差分値を算出し、輝度差分値に基づいて、オフセット項を算出する。輝度差分値の絶対値が大きいほど、オフセット項の絶対値も大きくなる。また、輝度差分値の符号は、オフセット項の符号に一致する。
【００４１】
差分画像生成部１９３がオフセット項を算出する理由は以下の通りである。即ち、高感度画像及び低感度画像は、上述したように、なるべく同じ露出量で撮像されるが、やはり露出量に差が生じる場合がある。そして、この露出量の差が大きい場合には、高感度画像の各画素値と低感度画像の各画素値との差分が大きくなる。したがって、単純に当該差分をノイズ成分と判定すると、ノイズ成分が過剰に大きくなる可能性がある。そこで、差分画像生成部１９３は、オフセット項を算出し、このオフセット項を高感度画像に加算することで、両者の露出量を擬似的に近づけるようにする。
【００４２】
そして、差分画像生成部１９３は、以下の式（２）で示される画素差分値を高感度画像の画素毎に算出する。そして、差分画像生成部１９３は、画素差分値を画素毎に有する差分画像を生成する。差分画像生成部１９３は、差分画像をノイズ画像生成部１９４に出力する。
【００４３】
【数２】
【００４４】
式（２）中、Ｐｄ（ｘ，ｙ）は、差分画像中の画素（ｘ，ｙ）の画素差分値、Ｐａ（ｘ，ｙ）は、高感度画像中の画素（ｘ，ｙ）の画素値（例えばＲ情報）、Ｋはオフセット項、Ｐｆ（ｘ，ｙ）は低感度画像中の画素（ｘ，ｙ）の画素値（例えばＲ情報）である。
【００４５】
差分画像生成部１９３は、例えば図３に示す低感度画像及び図４に示す高感度画像を取得した場合、図５に示すように、高感度画像にオフセット項を加算する。図５中、棒グラフＢＰａ’は、画素のｘ座標と、オフセット項加算後の画素値との対応関係を示す。折れ線グラフＬＰｆは、画素のｘ座標と低感度画像の画素値との対応関係を示す。図５に示されるように、高感度画像にオフセット項を加算することで、高感度画像の画素値が低感度画像の画素値に近づく。これにより、ノイズ成分が過剰に大きくなることが防止される。そして、差分画像生成部１９３は、図６に示す差分画像を生成する。棒グラフＢＰｄは、画素のｘ座標と差分画像の画素値との対応関係を示す。
【００４６】
ノイズ画像生成部１９４は、第１の実施形態では、画素差分値をノイズ成分と判定し、ノイズ成分を画素毎に有するノイズ画像を生成する。ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００４７】
ノイズ除去部１９５は、高感度画像の各画素値から画素差分値を除算する、即ちノイズ成分を除去することで、ノイズ除去画素値を算出する。具体的には、ノイズ除去部１９５は、以下の式（３）に基づいて、ノイズ除去画素値を算出する。そして、ノイズ除去部１９５は、ノイズ除去画素値を画素毎に有するノイズ除去画像を生成し、後処理部１９６に出力する。
【００４８】
【数３】
【００４９】
式（３）中、Ｐｒ（ｘ，ｙ）はノイズ除去画素値であり、Ｋは上述したオフセット項である。式（２）にオフセット項が含まれているのは、画素差分値に含まれるオフセット項の成分を相殺するためである。
【００５０】
ノイズ除去部１９５は、例えば図６に示すノイズ画像を取得した場合、図７及び図８に示すノイズ除去画像を生成する。ここで、棒グラフＢＰｒは、画素のｘ座標とノイズ除去画像の画素値（即ち、ノイズ除去画素値）との対応関係を示す。折れ線グラフＬＰａは、画素のｘ座標と、高感度画像の画素値との対応関係を示す。折れ線グラフＬＰｆ’は、画素のｘ座標と、低感度画像の画素値からオフセット項を減算した値との対応関係を示す。
【００５１】
後処理部１９６は、ノイズ除去画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を画像表示部２１に表示し、画像記録部２２に記録する。
【００５２】
［撮像装置による処理の手順］
次に、図９に示すフローチャートに基づいて、撮像装置１０による処理の手順について説明する。ステップＳ１０において、露出制御部１５は、高感度ＮＲモード、即ち第１の実施形態による処理を実行するモードに設定されているか否かを判定する。露出制御部１５は、高感度ＮＲモードに設定されている場合には、ステップＳ２０に進み、高感度ＮＲモードに設定されていない場合には、処理を終了する。なお、露出制御部１５は、高感度状態での撮像が必要ない場合（例えば、明るいシーンを撮影する場合）や、フラッシュ発光を行なっても露出量が足りない場合にも、本処理を終了する。
【００５３】
ステップＳ２０において、露出制御部１５は、撮像素子を高感度状態に設定する一方、上述した処理により絞り等の設定値を算出し、設定値に関する設定値情報をドライバ１７及びＡＦＥ回路１３に出力する。ドライバ１７は、レンズユニット１１の絞りを設定値情報が示す値に設定し、シャッタを設定値情報が示すスピードにて駆動する。撮像素子１２は、入射した光に基づいて、高感度画像を生成し、ＡＦＥ回路１３に出力する。ＡＦＥ回路１３は、設定値情報に基づいて高感度画像をアナログ・デジタル変換し、変換後の高感度画像を撮像画像取得部１９１に出力する。
【００５４】
次いで、露出制御部１５は、撮像素子を低感度状態に設定する一方、フラッシュ発光を指示する旨のフラッシュ発光指示情報をドライバ１７に出力する。ドライバ１７は、レンズユニット１１の絞りを上述した設定値情報が示す値に設定し、シャッタを上述した設定値情報が示すスピードにて駆動する。さらに、ドライバ１７は、フラッシュ発光指示情報に基づいて、補助光源部１８を駆動する。撮像素子１２は、入射した光に基づいて、低感度画像を生成し、ＡＦＥ回路１３に出力する。ＡＦＥ回路１３は、上述した設定値情報に基づいて低感度画像をアナログ・デジタル変換し、変換後の低感度画像を撮像画像取得部１９１に出力する。撮像画像取得部１９１は、高感度画像及び低感度画像を取得し、前処理部１９２に出力する。なお、撮像順はこれに限られず、低感度画像を先に撮像してもよい。
【００５５】
ステップＳ３０において、前処理部１９２は、高感度画像及び低感度画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、ホワイトバランス補正、及び手ぶれ補正を行なう。前処理部１９２は、特に手ぶれ補正を行なう。これにより、高感度画像と低感度画像との画素ずれが低減される。前処理部１９２は、前処理を行った高感度画像及び低感度画像をフレーム記憶部２０に記憶する一方、差分画像生成部１９３に出力する。
【００５６】
ステップＳ４０〜ステップＳ７０において、撮像装置１０は、高感度画像及び低感度画像のＲ情報、Ｇ情報、及びＲ情報のそれぞれについて以下の処理を行なう。
【００５７】
即ち、ステップＳ４０において、差分画像生成部１９３は、高感度画像及び低感度画像のそれぞれについて、平均輝度を算出する。差分画像生成部１９３は、低感度画像の平均輝度から高感度画像の平均輝度を除算することで輝度差分値を算出し、輝度差分値に基づいて、オフセット項を算出する。
【００５８】
そして、差分画像生成部１９３は、上述した式（２）で示される画素差分値を高感度画像の画素毎に算出する。そして、差分画像生成部１９３は、画素差分値を画素毎に有する差分画像を生成する。差分画像生成部１９３は、差分画像をノイズ画像生成部１９４に出力する。
【００５９】
ステップＳ５０において、ノイズ画像生成部１９４は、画素差分値をノイズ成分と判定し、ノイズ成分を画素毎に有するノイズ画像を生成する。ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００６０】
ステップＳ６０において、ノイズ除去部１９５は、高感度画像の各画素値から画素差分値を除算する、即ちノイズ成分を除去することで、ノイズ除去画素値を算出する。具体的には、ノイズ除去部１９５は、上述した式（３）に基づいて、ノイズ除去画素値を算出する。そして、ノイズ除去部１９５は、ノイズ除去画素値を画素毎に有するノイズ除去画像を生成し、後処理部１９６に出力する。
【００６１】
ステップＳ７０において、後処理部１９６は、ノイズ除去画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を画像表示部２１に表示し、画像記録部２２に記録する。その後、撮像装置１０は、処理を終了する。
【００６２】
以上により、第１の実施形態では、撮像装置１０は、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成し、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成する。そして、撮像装置１０は、高感度画像からノイズ成分を除去する。
【００６３】
したがって、撮像装置１０は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、撮像装置１０は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。したがって、撮像装置１０は、高感度画像からノイズ成分をより効率的かつ効果的に除去することが可能となる。
【００６４】
さらに、撮像装置１０は、ノイズ成分の少ない低感度画像に基づいて、高感度画像からノイズ成分を除去するので、ノイズ成分をより確実に発見、除去することができる。
【００６５】
さらに、撮像装置１０は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値である輝度差分値に基づいて、画素差分値を調整する。具体的には、撮像装置１０は、輝度差分値に応じたオフセット項を高感度画像に加算する。したがって、撮像装置１０は、差分画像をより正確に生成することができる。
【００６６】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態の一部の処理を変更したものであるので、当該変更部分について説明する。まず、第２の実施形態の趣旨について説明する。第１の実施形態では、ノイズ画像生成部１９４は、画素差分値をそのままノイズ成分と判定する。しかし、低感度画像は、フラッシュ発光を伴う撮像により得られるものであるので、アーチファクト領域を含んでいる可能性がある。このようなアーチファクト領域としては、例えば、フラッシュ発光による鏡面反射が生じた鏡面反射領域、フラッシュ発光により陰影が生じた陰影領域等が考えられる。これらのアーチファクト領域では、画素差分値が非常に大きくなる。その一方、ノイズ成分の大きさは予測可能であり、その値の絶対値はアーチファクト領域における画素差分値の絶対値よりも小さい。そこで、第２の実施形態では、アーチファクト領域における画素差分値をノイズ成分から除外することで、高感度画像からノイズ成分をより正確に除去する。
【００６７】
［撮像装置の構成］
次に、第２の実施形態に係る撮像装置１０の構成について説明する。第２の実施形態の撮像装置１０は、ノイズ画像生成部１９４及びノイズ除去部１９５の構成が第１の実施形態と異なる。
【００６８】
即ち、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、以下の式（４）で示される条件が満たされるか否かを判定する。
【００６９】
【数４】
【００７０】
式（４）中、Ｔｌはノイズ成分の最小値であり、負の値を取る。したがって、この条件が満たされる領域では、低感度画像の画素値は高感度画像の画素値に対して過剰に大きいことになるので、当該領域は鏡面反射領域であることがわかる。そこで、ノイズ画像生成部１９４は、この条件が満たされる場合、画素差分値を０に設定し、この条件が満たされない場合には、画素差分値をノイズ成分と判定する。これにより、ノイズ画像生成部１９４は、鏡面反射による画素差分値をノイズ成分から除外する。
【００７１】
一方、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、以下の式（５）で示される条件が満たされるか否かを判定する。
【００７２】
【数５】
【００７３】
式（５）中、Ｔｈはノイズ成分の最大値であり、正の値を取る。したがって、この条件が満たされる領域では、低感度画像の画素値は高感度画像の画素値に対して過剰に小さいことになるので、当該領域は陰影領域であることがわかる。そこで、ノイズ画像生成部１９４は、この条件が満たされる場合、画素差分値を０に設定し、この条件が満たされない場合には、画素差分値をノイズ成分と判定する。これにより、ノイズ画像生成部１９４は、陰影による画素差分値をノイズ成分から除外する。
【００７４】
このように、ノイズ画像生成部１９４は、フラッシュ発光によって生じる不自然なアーチファクトをノイズ成分から除外することができる。図１０及び図１１に画素差分値がノイズ成分と判定される例、図１２及び図１３に画素差分値がノイズ成分から除外される例を示す。
【００７５】
図１０〜図１３中、棒グラフＢＰａ’は高感度画像の画素値にオフセット項を加算した値を示し、棒グラフＢＰｆは低感度画像の画素値を示す。棒グラフＢＰｄは画素差分値を示す。図１０に示す例では、画素差分値が負の値となるが、閾値Ｔｌ、Ｔｈの範囲内に収まっている。したがって、この例では、画素差分値は負のノイズ成分となる。図１１に示す例では、画素差分値が正の値となるが、閾値Ｔｌ、Ｔｈの範囲内に収まっている。したがって、この例では、画素差分値は正のノイズ成分となる。一方、図１２に示す例では、画素差分値が負の値となり、閾値Ｔｌ、Ｔｈの範囲を超えている。したがって、この例では、画素差分値は鏡面反射によるものであるので、ノイズ成分から除外される。図１３に示す例では、画素差分値が正の値となり、閾値Ｔｌ、Ｔｈの範囲を超えている。したがって、この例では、画素差分値は陰影によるものであるので、ノイズ成分から除外される。
【００７６】
ノイズ画像生成部１９４は、上述のように調整された画素差分値に対し、ハイパスフィルタを掛ける。この処理を式で示すと以下の式（６）のようになる。なお、ハイパスフィルタの種類は特に限定されないが、例えばガウシアンフィルタ等が考えられる。これにより、画素差分値から低周波成分が除去される。
【００７７】
【数６】
【００７８】
ノイズ画像生成部１９４は、ハイパスフィルタを掛けた後の画素差分値をノイズ成分と判定し、画素毎にノイズ成分を有するノイズ画像を生成する。そして、ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００７９】
ノイズ除去部１９５は、ノイズ画像と以下の式（７）とに基づいて、ノイズ除去画素値を算出する。
【００８０】
【数７】
ノイズ除去部１９５は、画素毎にノイズ除去画素値を有するノイズ除去画像を生成する。その後の処理は第１の実施形態と同様である。
【００８１】
［撮像装置による処理の手順］
次に、第２の実施形態に係る撮像装置１０による処理の手順を説明する。第２の実施形態の処理は、上述したステップＳ５０及びＳ６０の処理が第１の実施形態と異なるので、ステップＳ５０、Ｓ６０について説明する。
【００８２】
ステップＳ５０において、ノイズ画像生成部１９４は、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、上述した式（４）で示される条件または式（５）で示される条件が満たされるか否かを判定する。
【００８３】
ノイズ画像生成部１９４は、上記の条件のいずれかが満たされると判定した場合、画素差分値を０に設定し、上記の条件がいずれも満たされない場合には、画素差分値をノイズ成分と判定する。
【００８４】
ノイズ画像生成部１９４は、上述のように調整された画素差分値に対し、ハイパスフィルタを掛ける。この処理を式で示すと上述した式（６）のようになる。ノイズ画像生成部１９４は、ハイパスフィルタを掛けた後の画素差分値をノイズ成分と判定し、画素毎にノイズ成分を有するノイズ画像を生成する。そして、ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００８５】
ステップＳ６０において、ノイズ除去部１９５は、ノイズ画像と上述した式（７）とに基づいて、ノイズ除去画素値を算出する。ノイズ除去部１９５は、画素毎にノイズ除去画素値を有するノイズ除去画像を生成する。ノイズ除去部１９５は、ノイズ除去画像を後処理部１９６に出力する。その後の処理は第１の実施形態と同様である。
【００８６】
図１４〜図１６に、第２の実施形態による処理を施した例等を示す。図１４は原画像である高感度画像１００ａを示し、図１５は、高感度画像１００ａにガウシアンフィルタを掛けた比較画像１００ｂを示し、図１６は、高感度画像１００ａに第２の実施形態による処理を施したノイズ除去画像１００ｃをしめす。図１５及び図１６を比較すると、比較画像１００ｂでは、中心部近傍で原画像１００ａのディテールが損なわれているのに対し、ノイズ除去画像１００ｃでは、全領域において原画像１００ａのディテールが維持されている。さらに、ノイズ除去画像１００ｃは、原画像１００ａからノイズ成分が除去されたものであるので、全体的に鮮明な画像となっている。
【００８７】
したがって、第２の実施形態では、撮像装置１０は、画素差分値が高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値（即ち、閾値Ｔｈ、Ｔｌの範囲内の値）となる場合に、画素差分値をノイズ成分と判定するので、アーチファクトによって生じた画素差分値をノイズと誤判定することを防止することができる。したがって、撮像装置１０は、高感度画像からノイズ成分をより正確に除去することができる。
【００８８】
さらに、撮像装置１０は、差分画像の低周波成分を除去することで、ノイズ画像を生成する。具体的には、撮像装置１０は、差分画像にハイパスフィルタを掛けることで、ノイズ画像を生成する。これにより、撮像装置１０は、より正確にノイズ画像を生成することができる。さらに、撮像装置１０は、高感度画像そのものではなく、差分画像にハイパスフィルタを掛けるので、高感度画像のディテールの損失を抑制することができる。また、撮像装置１０は、引用文献１に開示された技術よりも少ない回数のフィルタ処理によって、高感度画像からノイズ成分を除去することができる。
【００８９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９０】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ ＡＦＥ回路
１４ 画像積算部
１５ 露出制御部
１６ タイミングジェネレータ
１７ ドライバ
１８ 補助光源部
１９ 画像信号処理部
１９１ 撮像画像取得部
１９２ 前処理部
１９３ 差分画像生成部
１９４ ノイズ画像生成部
１９５ ノイズ除去部
１９６ 後処理部
【技術分野】
【０００１】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を備えた撮像装置として、撮像素子の感度を調整可能な撮像装置が知られている。この撮像装置は、夜間のような低照明環境下であっても、撮像素子の感度を上げて撮像を行うことで、被写体の色情報（輝度、色相、彩度等）が高精度で再現された撮像画像、即ち高感度画像を生成することができる。しかし、撮像素子の感度が高いため、撮像画像中のノイズが増加するという問題、いわゆるノイズ問題がある。
【０００３】
このノイズ問題を解決する１つの方法として、撮像装置がより多くの光を取り込めるように、露出時間を長くするという方法が考えられる。ノイズが発生する原因の一つに、露出時間が短い、即ち撮像装置が被写体の色情報を再現するのに充分な光を取り込めないということが考えられるからである。しかし、この方法には、ユーザの手ぶれまたは被写体の動きによって撮像画像が乱れるという問題があるので、上記のノイズ問題を根本的に解決することができない。
【０００４】
一方、ノイズ問題を解決する別の方法として、補助光源、即ちフラッシュを利用するという方法が考えられる。この方法では、撮像装置は、撮像素子を低感度に設定し、かつ、フラッシュ発光を伴う撮像を行うことで、低感度の撮像画像、即ち低感度画像を生成する。この方法では、撮像時に被写体にフラッシュ光が照射されるので、短い露出時間、及び低い感度であっても、比較的鮮明で、かつ、ノイズの少ない撮像画像を生成することができる。しかし、この撮像画像は、被写体の色情報の再現性が低いので、ユーザが撮像画像に違和感を持ってしまうという問題がある。したがって、この方法によっても、ノイズ問題を根本的に解決することができない。
【０００５】
一方、特許文献１には、上記のノイズ問題を解決することを目的とした技術を開示する。特許文献１に開示された技術は、フラッシュ発光を伴わない撮像により生成された高感度画像と、フラッシュ発光を伴う撮像により生成された低感度画像とのそれぞれをバイラテラルフィルタで処理し、低感度画像内のアーチファクト発生領域（鏡面反射領域等）にマスキング処理を施す。そして、この技術は、高感度画像と低感度画像とを合成する。これにより、高感度画像内のノイズが低減する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４６６３４２９号公報
【特許文献２】特許第４７６９６３４号公報
【特許文献３】特開２００９−１８８６８４号公報
【特許文献４】特許第４２３５４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に開示された技術では、複数回にわたるフィルタ処理やマスキング処理を行う必要があった。さらに、感度毎に適切なフィルタを用意する必要があった。このため、ノイズ除去に手間がかかっていた。さらに、この技術を撮像装置に実装するためには、大規模な回路を用意する必要があった。
また、この技術では、高感度画像にフィルタ処理を行うので、高感度画像のディテールが損なわれてしまうという問題もあった。
【０００８】
一方、特許文献２〜４にも、ノイズ除去に関する技術が開示されている。しかし、これらの技術によっても、高感度画像からノイズ成分を効果的に除去することができなかった。特に、特許文献２では、露出時間を長くするため、ユーザの手ぶれや被写体の動きによって撮像画像が乱れるという別の問題もあった。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、高感度画像からノイズ成分をより効率的かつ効果的に除去することが可能な、新規かつ改良された情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置が提供される。
【００１１】
この観点によれば、情報処理装置は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、情報処理装置は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。
【００１２】
ここで、差分画像生成部は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値に基づいて、画素差分値を調整してもよい。
【００１３】
この観点によれば、情報処理装置は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値である輝度差分値に基づいて、画素差分値を調整する。したがって、情報処理装置は、これらの画像の露出量を擬似的に近づけることができるので、差分画像をより正確に生成することができる。
【００１４】
また、ノイズ画像生成部は、画素差分値が高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値となる場合に、画素差分値をノイズ成分と判定してもよい。
【００１５】
この観点によれば、情報処理装置は、アーチファクトによって生じた画素差分値をノイズと誤判定することを防止することができる。したがって、情報処理装置は、高感度画像からノイズ成分をより正確に除去することができる。
【００１６】
また、ノイズ画像生成部は、差分画像の低周波成分を除去することで、ノイズ画像を生成してもよい。
【００１７】
この観点によれば、情報処理装置は、差分画像の低周波成分を除去することで、ノイズ画像を生成する。具体的には、情報処理装置は、例えば、差分画像にハイパスフィルタを掛けることで、ノイズ画像を生成する。これにより、情報処理装置は、より正確にノイズ画像を生成することができる。さらに、情報処理装置は、高感度画像そのものではなく、差分画像にハイパスフィルタを掛けるので、高感度画像のディテールの損失を抑制することができる。また、情報処理装置は、引用文献１に開示された技術よりも少ない回数のフィルタ処理によって、高感度画像からノイズ成分を除去することができる。
【００１８】
本発明の他の観点によれば、フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得ステップと、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成ステップと、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成ステップと、高感度画像及びノイズ画像に基づいて、高感度画像からノイズ成分を除去するノイズ除去ステップと、を含むことを特徴とする、情報処理方法が提供される。
【００１９】
この観点による情報処理方法は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、この情報処理方法は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。
【発明の効果】
【００２０】
以上説明したように本発明によれば、高感度画像からノイズ成分をより効率的かつ効果的に除去することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】画像信号処理部の構成を示すブロック図である。
【図３】低感度画像の画素毎の画素値を示す棒グラフである。
【図４】高感度画像の画素毎の画素値を示す棒グラフである。
【図５】高感度画像の画素値にオフセット項を加算した値を示す棒グラフである。
【図６】差分画像の画素毎の画素値を示す棒グラフである。
【図７】ノイズ除去画像の画素毎の画素値を示す棒グラフである。
【図８】ノイズ除去画像の画素毎の画素値を示す棒グラフである。
【図９】撮像装置による処理の手順を示すフローチャートである。
【図１０】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１１】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１２】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１３】第２の実施形態によるノイズ判定を説明するための棒グラフである。
【図１４】ノイズ除去前の高感度画像の一例を示す説明図である。
【図１５】図１４の画像にハイパスフィルタを掛けた画像を示す説明図である。
【図１６】図１４の画像に第２の実施形態によるノイズ除去を行った画像を示す説明図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．第１の実施形態＞
［撮像装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置（情報処理装置）１０の概略構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、ＡＦＥ回路１３と、画像積算部１４と、露出制御部１５と、タイミングジェネレータ１６と、ドライバ１７と、補助光源部１８と、画像信号処理部１９と、フレーム記憶部２０と、画像表示部２１と、画像記録部２２とを備える。
【００２３】
なお、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、補助光源、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特に画像積算部１４と、露出制御部１５と、タイミングジェネレータ１６と、ドライバ１７と、補助光源部１８と、画像信号処理部１９と、フレーム記憶部２０と、画像表示部２１と、画像記録部２２とを実現させるためのプログラムが記憶されている。
【００２４】
なお、他の実施形態としては、画像信号処理部１９を備える情報処理装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、情報処理装置は、撮像装置等から高感度画像及び低感度画像を取得し、これらの画像に基づいて、高輝度画像からノイズ成分を除去する。
【００２５】
レンズユニット１１は、撮像装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮像装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００２６】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素値として有する撮像画像を生成する。これにより、撮像素子１２は、撮像を行なう。
【００２７】
撮像素子制御部は、生成された撮像画像をＡＦＥ回路１３に出力する。撮像素子１２は、各単位素子の感度を変更可能となっており、感度が高いほど、少ない入射光で撮像画像を生成することができる。また、撮像素子１２は、各単位素子の感度が高いほど、被写体の色情報（輝度、色相、彩度等）を正確に反映した撮像画像を生成することができる。撮像素子１２の感度は、例えばＩＳＯ感度として規定される。第１の実施形態では、撮像素子１２は、高感度状態（例えばＩＳＯ感度８００）及び低感度状態（例えばＩＳＯ感度１００）でそれぞれ撮像画像を生成する。以下、高感度状態で生成された撮像画像を高感度画像とも称し、低感度状態で生成された撮像画像を低感度画像とも称する。なお、撮像素子１２には、ｘｙ平面が設定され、撮像画像の各画素には、ｘｙ平面上の座標値が与えられる。ｘ軸、ｙ軸の方向は任意であるが、例えば、ｙ軸は撮像素子１２の上下方向、即ち撮像装置１０の上下方向に延びる軸であり、ｘ軸は、ｙ軸に垂直な方向に延びる軸である。以下、座標（ｘ，ｙ）を有する画素を画素（ｘ，ｙ）とも称する。ｘｙ軸は、例えば図１４〜図１６に表記されている。
【００２８】
ＡＦＥ回路１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像を画像積算部１４及び画像信号処理部１９に出力する。画像積算部１４は、撮像画像の画素値（即ちＲＧＢ情報）を色の種類毎に積算することでＲＧＢ積算値を生成する。さらに、画像積算部１４は、ＲＧＢ積算値と以下の式（１）とに基づいて、輝度積算値を算出し、輝度積算値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００２９】
【数１】
【００３０】
式（１）中、Ｙは輝度積算値、ＲはＲ積算値、ＧはＧ積算値、ＢはＢ積算値である。画像積算部１４は、平均輝度に関する平均輝度情報を露出制御部１５に出力する。
【００３１】
露出制御部１５は、タイミングジェネレータ１６を介して撮像素子１２の駆動タイミング及び感度を調整する。さらに、露出制御部１５は、撮像画像の平均輝度が予め設定された目標輝度に一致するように（即ち、撮像素子１２の露出が適正となるように）、レンズユニット１１の絞り、シャッタスピード、及びＡＦＥ回路１３のゲイン等を設定する。
【００３２】
そして、露出制御部１５は、これらの設定値に関する設定値情報をドライバ１７及びＡＦＥ回路１３に出力する。なお、低感度画像の撮像時及び高感度画像の撮像時の双方で撮像素子１２の露出量が共通するように、絞り及びシャッタスピードはこれらの撮像時で共通することが好ましい。また、手ぶれによる画像のズレを防止するために、シャッタスピードはなるべく早いことが好ましい。
【００３３】
ＡＦＥ回路１３は、設定値情報に基づいて撮像画像をアナログ・デジタル変換する。ドライバ１７は、レンズユニット１１の絞りを設定値情報が示す値に設定し、シャッタを設定値情報が示すスピードにて駆動する。なお、ドライバ１７は、低感度画像の撮像時には、補助光源部１８を駆動する。これにより、低感度状態または高感度状態の撮像素子１２に光が入射するので、撮像素子１２は、入射した光に基づいて、低感度画像または高感度画像を生成する。
【００３４】
高感度画像は、フラッシュ発光を伴わず、かつ、高感度の撮像素子１２により撮像されたものである。したがって、高感度画像は、被写体の色情報をより正確に再現しているが、ノイズ成分を多く含む。一方、低感度画像は、フラッシュ発光を伴い、かつ、低感度の撮像素子１２により撮像されたものである。したがって、低感度画像は、被写体の色情報の再現性が高感度画像よりも低いが、ノイズ成分が高感度画像よりも少ない。第１の実施形態では、これらの画像の特徴を用いて、高感度画像からノイズ成分を除去する。
【００３５】
図３に低感度画像の例を示し、図４に高感度画像の例を示す。図３、４は、撮像画像の各画素値のうち、ｘ軸に平行なあるライン上の画素値を示す。横軸は画素のｘ座標、縦軸は画素値を示す。なお、図５〜図８の横軸及び縦軸の意義も同様である。図５〜図８については後述する。棒グラフＢＰｆは、画素のｘ座標と、低感度画像の画素値との対応関係を示す。棒グラフＢＰａは、画素のｘ座標と、高感度画像の画素値との対応関係を示す。高感度画像は、低感度画像よりも被写体の色情報を正確に再現しており、かつ、ノイズ成分を多く含むため、様々な画素値を有する。
【００３６】
タイミングジェネレータ１６は、露出制御部１５による制御により、撮像素子１２を駆動させる。ドライバ１７は、露出制御部１５による制御により、レンズユニット１１及び補助光源部１８を駆動させる。補助光源部１８は、いわゆるフラッシュであり、撮像時にフラッシュ発光を行う。
【００３７】
画像信号処理部１９は、図２に示すように、撮像画像取得部１９１と、前処理部１９２と、差分画像生成部１９３と、ノイズ画像生成部１９４と、ノイズ除去部１９５と、後処理部１９６とを備える。
【００３８】
撮像画像取得部１９１は、ＡＦＥ回路１３から高感度画像及び低感度画像を取得し、前処理部１９２に出力する。前処理部１９２は、高感度画像及び低感度画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、ホワイトバランス補正、及び手ぶれ補正を行なう。前処理１９２が手ぶれ補正を行なうことで、高感度画像と低感度画像との画素ずれ（同じ被写体がことなる位置の画素に描かれること）が低減される。したがって、前処理１９２は、前処理のうち、特に手ぶれ補正を行うことが好ましい。前処理部１９２は、前処理を行った高感度画像及び低感度画像をフレーム記憶部２０に記憶する一方、差分画像生成部１９３に出力する。
【００３９】
差分画像生成部１９３、ノイズ画像生成部１９４、ノイズ除去部１９５、及び後処理部１９６は、高感度画像及び低感度画像のＲ情報、Ｇ情報、及びＲ情報のそれぞれについて以下の処理を行なう。
【００４０】
即ち、差分画像生成部１９３は、高感度画像及び低感度画像のそれぞれについて、平均輝度を算出する。この平均輝度は、上述した画像積算部１４と同様の処理により求められる。平均輝度は、撮像時の露出量を反映した値である。差分画像生成部１９３は、低感度画像の平均輝度から高感度画像の平均輝度を除算することで輝度差分値を算出し、輝度差分値に基づいて、オフセット項を算出する。輝度差分値の絶対値が大きいほど、オフセット項の絶対値も大きくなる。また、輝度差分値の符号は、オフセット項の符号に一致する。
【００４１】
差分画像生成部１９３がオフセット項を算出する理由は以下の通りである。即ち、高感度画像及び低感度画像は、上述したように、なるべく同じ露出量で撮像されるが、やはり露出量に差が生じる場合がある。そして、この露出量の差が大きい場合には、高感度画像の各画素値と低感度画像の各画素値との差分が大きくなる。したがって、単純に当該差分をノイズ成分と判定すると、ノイズ成分が過剰に大きくなる可能性がある。そこで、差分画像生成部１９３は、オフセット項を算出し、このオフセット項を高感度画像に加算することで、両者の露出量を擬似的に近づけるようにする。
【００４２】
そして、差分画像生成部１９３は、以下の式（２）で示される画素差分値を高感度画像の画素毎に算出する。そして、差分画像生成部１９３は、画素差分値を画素毎に有する差分画像を生成する。差分画像生成部１９３は、差分画像をノイズ画像生成部１９４に出力する。
【００４３】
【数２】
【００４４】
式（２）中、Ｐｄ（ｘ，ｙ）は、差分画像中の画素（ｘ，ｙ）の画素差分値、Ｐａ（ｘ，ｙ）は、高感度画像中の画素（ｘ，ｙ）の画素値（例えばＲ情報）、Ｋはオフセット項、Ｐｆ（ｘ，ｙ）は低感度画像中の画素（ｘ，ｙ）の画素値（例えばＲ情報）である。
【００４５】
差分画像生成部１９３は、例えば図３に示す低感度画像及び図４に示す高感度画像を取得した場合、図５に示すように、高感度画像にオフセット項を加算する。図５中、棒グラフＢＰａ’は、画素のｘ座標と、オフセット項加算後の画素値との対応関係を示す。折れ線グラフＬＰｆは、画素のｘ座標と低感度画像の画素値との対応関係を示す。図５に示されるように、高感度画像にオフセット項を加算することで、高感度画像の画素値が低感度画像の画素値に近づく。これにより、ノイズ成分が過剰に大きくなることが防止される。そして、差分画像生成部１９３は、図６に示す差分画像を生成する。棒グラフＢＰｄは、画素のｘ座標と差分画像の画素値との対応関係を示す。
【００４６】
ノイズ画像生成部１９４は、第１の実施形態では、画素差分値をノイズ成分と判定し、ノイズ成分を画素毎に有するノイズ画像を生成する。ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００４７】
ノイズ除去部１９５は、高感度画像の各画素値から画素差分値を除算する、即ちノイズ成分を除去することで、ノイズ除去画素値を算出する。具体的には、ノイズ除去部１９５は、以下の式（３）に基づいて、ノイズ除去画素値を算出する。そして、ノイズ除去部１９５は、ノイズ除去画素値を画素毎に有するノイズ除去画像を生成し、後処理部１９６に出力する。
【００４８】
【数３】
【００４９】
式（３）中、Ｐｒ（ｘ，ｙ）はノイズ除去画素値であり、Ｋは上述したオフセット項である。式（２）にオフセット項が含まれているのは、画素差分値に含まれるオフセット項の成分を相殺するためである。
【００５０】
ノイズ除去部１９５は、例えば図６に示すノイズ画像を取得した場合、図７及び図８に示すノイズ除去画像を生成する。ここで、棒グラフＢＰｒは、画素のｘ座標とノイズ除去画像の画素値（即ち、ノイズ除去画素値）との対応関係を示す。折れ線グラフＬＰａは、画素のｘ座標と、高感度画像の画素値との対応関係を示す。折れ線グラフＬＰｆ’は、画素のｘ座標と、低感度画像の画素値からオフセット項を減算した値との対応関係を示す。
【００５１】
後処理部１９６は、ノイズ除去画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を画像表示部２１に表示し、画像記録部２２に記録する。
【００５２】
［撮像装置による処理の手順］
次に、図９に示すフローチャートに基づいて、撮像装置１０による処理の手順について説明する。ステップＳ１０において、露出制御部１５は、高感度ＮＲモード、即ち第１の実施形態による処理を実行するモードに設定されているか否かを判定する。露出制御部１５は、高感度ＮＲモードに設定されている場合には、ステップＳ２０に進み、高感度ＮＲモードに設定されていない場合には、処理を終了する。なお、露出制御部１５は、高感度状態での撮像が必要ない場合（例えば、明るいシーンを撮影する場合）や、フラッシュ発光を行なっても露出量が足りない場合にも、本処理を終了する。
【００５３】
ステップＳ２０において、露出制御部１５は、撮像素子を高感度状態に設定する一方、上述した処理により絞り等の設定値を算出し、設定値に関する設定値情報をドライバ１７及びＡＦＥ回路１３に出力する。ドライバ１７は、レンズユニット１１の絞りを設定値情報が示す値に設定し、シャッタを設定値情報が示すスピードにて駆動する。撮像素子１２は、入射した光に基づいて、高感度画像を生成し、ＡＦＥ回路１３に出力する。ＡＦＥ回路１３は、設定値情報に基づいて高感度画像をアナログ・デジタル変換し、変換後の高感度画像を撮像画像取得部１９１に出力する。
【００５４】
次いで、露出制御部１５は、撮像素子を低感度状態に設定する一方、フラッシュ発光を指示する旨のフラッシュ発光指示情報をドライバ１７に出力する。ドライバ１７は、レンズユニット１１の絞りを上述した設定値情報が示す値に設定し、シャッタを上述した設定値情報が示すスピードにて駆動する。さらに、ドライバ１７は、フラッシュ発光指示情報に基づいて、補助光源部１８を駆動する。撮像素子１２は、入射した光に基づいて、低感度画像を生成し、ＡＦＥ回路１３に出力する。ＡＦＥ回路１３は、上述した設定値情報に基づいて低感度画像をアナログ・デジタル変換し、変換後の低感度画像を撮像画像取得部１９１に出力する。撮像画像取得部１９１は、高感度画像及び低感度画像を取得し、前処理部１９２に出力する。なお、撮像順はこれに限られず、低感度画像を先に撮像してもよい。
【００５５】
ステップＳ３０において、前処理部１９２は、高感度画像及び低感度画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、ホワイトバランス補正、及び手ぶれ補正を行なう。前処理部１９２は、特に手ぶれ補正を行なう。これにより、高感度画像と低感度画像との画素ずれが低減される。前処理部１９２は、前処理を行った高感度画像及び低感度画像をフレーム記憶部２０に記憶する一方、差分画像生成部１９３に出力する。
【００５６】
ステップＳ４０〜ステップＳ７０において、撮像装置１０は、高感度画像及び低感度画像のＲ情報、Ｇ情報、及びＲ情報のそれぞれについて以下の処理を行なう。
【００５７】
即ち、ステップＳ４０において、差分画像生成部１９３は、高感度画像及び低感度画像のそれぞれについて、平均輝度を算出する。差分画像生成部１９３は、低感度画像の平均輝度から高感度画像の平均輝度を除算することで輝度差分値を算出し、輝度差分値に基づいて、オフセット項を算出する。
【００５８】
そして、差分画像生成部１９３は、上述した式（２）で示される画素差分値を高感度画像の画素毎に算出する。そして、差分画像生成部１９３は、画素差分値を画素毎に有する差分画像を生成する。差分画像生成部１９３は、差分画像をノイズ画像生成部１９４に出力する。
【００５９】
ステップＳ５０において、ノイズ画像生成部１９４は、画素差分値をノイズ成分と判定し、ノイズ成分を画素毎に有するノイズ画像を生成する。ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００６０】
ステップＳ６０において、ノイズ除去部１９５は、高感度画像の各画素値から画素差分値を除算する、即ちノイズ成分を除去することで、ノイズ除去画素値を算出する。具体的には、ノイズ除去部１９５は、上述した式（３）に基づいて、ノイズ除去画素値を算出する。そして、ノイズ除去部１９５は、ノイズ除去画素値を画素毎に有するノイズ除去画像を生成し、後処理部１９６に出力する。
【００６１】
ステップＳ７０において、後処理部１９６は、ノイズ除去画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を画像表示部２１に表示し、画像記録部２２に記録する。その後、撮像装置１０は、処理を終了する。
【００６２】
以上により、第１の実施形態では、撮像装置１０は、低感度画像の画素値と高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成し、差分画像に基づいて、高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成する。そして、撮像装置１０は、高感度画像からノイズ成分を除去する。
【００６３】
したがって、撮像装置１０は、複数回にわたるフィルタ処理やマスキング処理といった面倒な処理を行うことなく、高感度画像からノイズ成分を除去することができる。さらに、撮像装置１０は、高感度画像にフィルタ処理を行うことなく、高感度画像からノイズ成分を除去するので、高感度画像のディテールの損失を抑制することができる。したがって、撮像装置１０は、高感度画像からノイズ成分をより効率的かつ効果的に除去することが可能となる。
【００６４】
さらに、撮像装置１０は、ノイズ成分の少ない低感度画像に基づいて、高感度画像からノイズ成分を除去するので、ノイズ成分をより確実に発見、除去することができる。
【００６５】
さらに、撮像装置１０は、低感度画像の撮像時の露出量と高感度画像の撮像時の露出量との差分値である輝度差分値に基づいて、画素差分値を調整する。具体的には、撮像装置１０は、輝度差分値に応じたオフセット項を高感度画像に加算する。したがって、撮像装置１０は、差分画像をより正確に生成することができる。
【００６６】
＜２．第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態の一部の処理を変更したものであるので、当該変更部分について説明する。まず、第２の実施形態の趣旨について説明する。第１の実施形態では、ノイズ画像生成部１９４は、画素差分値をそのままノイズ成分と判定する。しかし、低感度画像は、フラッシュ発光を伴う撮像により得られるものであるので、アーチファクト領域を含んでいる可能性がある。このようなアーチファクト領域としては、例えば、フラッシュ発光による鏡面反射が生じた鏡面反射領域、フラッシュ発光により陰影が生じた陰影領域等が考えられる。これらのアーチファクト領域では、画素差分値が非常に大きくなる。その一方、ノイズ成分の大きさは予測可能であり、その値の絶対値はアーチファクト領域における画素差分値の絶対値よりも小さい。そこで、第２の実施形態では、アーチファクト領域における画素差分値をノイズ成分から除外することで、高感度画像からノイズ成分をより正確に除去する。
【００６７】
［撮像装置の構成］
次に、第２の実施形態に係る撮像装置１０の構成について説明する。第２の実施形態の撮像装置１０は、ノイズ画像生成部１９４及びノイズ除去部１９５の構成が第１の実施形態と異なる。
【００６８】
即ち、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、以下の式（４）で示される条件が満たされるか否かを判定する。
【００６９】
【数４】
【００７０】
式（４）中、Ｔｌはノイズ成分の最小値であり、負の値を取る。したがって、この条件が満たされる領域では、低感度画像の画素値は高感度画像の画素値に対して過剰に大きいことになるので、当該領域は鏡面反射領域であることがわかる。そこで、ノイズ画像生成部１９４は、この条件が満たされる場合、画素差分値を０に設定し、この条件が満たされない場合には、画素差分値をノイズ成分と判定する。これにより、ノイズ画像生成部１９４は、鏡面反射による画素差分値をノイズ成分から除外する。
【００７１】
一方、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、以下の式（５）で示される条件が満たされるか否かを判定する。
【００７２】
【数５】
【００７３】
式（５）中、Ｔｈはノイズ成分の最大値であり、正の値を取る。したがって、この条件が満たされる領域では、低感度画像の画素値は高感度画像の画素値に対して過剰に小さいことになるので、当該領域は陰影領域であることがわかる。そこで、ノイズ画像生成部１９４は、この条件が満たされる場合、画素差分値を０に設定し、この条件が満たされない場合には、画素差分値をノイズ成分と判定する。これにより、ノイズ画像生成部１９４は、陰影による画素差分値をノイズ成分から除外する。
【００７４】
このように、ノイズ画像生成部１９４は、フラッシュ発光によって生じる不自然なアーチファクトをノイズ成分から除外することができる。図１０及び図１１に画素差分値がノイズ成分と判定される例、図１２及び図１３に画素差分値がノイズ成分から除外される例を示す。
【００７５】
図１０〜図１３中、棒グラフＢＰａ’は高感度画像の画素値にオフセット項を加算した値を示し、棒グラフＢＰｆは低感度画像の画素値を示す。棒グラフＢＰｄは画素差分値を示す。図１０に示す例では、画素差分値が負の値となるが、閾値Ｔｌ、Ｔｈの範囲内に収まっている。したがって、この例では、画素差分値は負のノイズ成分となる。図１１に示す例では、画素差分値が正の値となるが、閾値Ｔｌ、Ｔｈの範囲内に収まっている。したがって、この例では、画素差分値は正のノイズ成分となる。一方、図１２に示す例では、画素差分値が負の値となり、閾値Ｔｌ、Ｔｈの範囲を超えている。したがって、この例では、画素差分値は鏡面反射によるものであるので、ノイズ成分から除外される。図１３に示す例では、画素差分値が正の値となり、閾値Ｔｌ、Ｔｈの範囲を超えている。したがって、この例では、画素差分値は陰影によるものであるので、ノイズ成分から除外される。
【００７６】
ノイズ画像生成部１９４は、上述のように調整された画素差分値に対し、ハイパスフィルタを掛ける。この処理を式で示すと以下の式（６）のようになる。なお、ハイパスフィルタの種類は特に限定されないが、例えばガウシアンフィルタ等が考えられる。これにより、画素差分値から低周波成分が除去される。
【００７７】
【数６】
【００７８】
ノイズ画像生成部１９４は、ハイパスフィルタを掛けた後の画素差分値をノイズ成分と判定し、画素毎にノイズ成分を有するノイズ画像を生成する。そして、ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００７９】
ノイズ除去部１９５は、ノイズ画像と以下の式（７）とに基づいて、ノイズ除去画素値を算出する。
【００８０】
【数７】
ノイズ除去部１９５は、画素毎にノイズ除去画素値を有するノイズ除去画像を生成する。その後の処理は第１の実施形態と同様である。
【００８１】
［撮像装置による処理の手順］
次に、第２の実施形態に係る撮像装置１０による処理の手順を説明する。第２の実施形態の処理は、上述したステップＳ５０及びＳ６０の処理が第１の実施形態と異なるので、ステップＳ５０、Ｓ６０について説明する。
【００８２】
ステップＳ５０において、ノイズ画像生成部１９４は、ノイズ画像生成部１９４は、差分画像の画素値、即ち画素差分値毎に、上述した式（４）で示される条件または式（５）で示される条件が満たされるか否かを判定する。
【００８３】
ノイズ画像生成部１９４は、上記の条件のいずれかが満たされると判定した場合、画素差分値を０に設定し、上記の条件がいずれも満たされない場合には、画素差分値をノイズ成分と判定する。
【００８４】
ノイズ画像生成部１９４は、上述のように調整された画素差分値に対し、ハイパスフィルタを掛ける。この処理を式で示すと上述した式（６）のようになる。ノイズ画像生成部１９４は、ハイパスフィルタを掛けた後の画素差分値をノイズ成分と判定し、画素毎にノイズ成分を有するノイズ画像を生成する。そして、ノイズ画像生成部１９４は、ノイズ画像をノイズ除去部１９５に出力する。
【００８５】
ステップＳ６０において、ノイズ除去部１９５は、ノイズ画像と上述した式（７）とに基づいて、ノイズ除去画素値を算出する。ノイズ除去部１９５は、画素毎にノイズ除去画素値を有するノイズ除去画像を生成する。ノイズ除去部１９５は、ノイズ除去画像を後処理部１９６に出力する。その後の処理は第１の実施形態と同様である。
【００８６】
図１４〜図１６に、第２の実施形態による処理を施した例等を示す。図１４は原画像である高感度画像１００ａを示し、図１５は、高感度画像１００ａにガウシアンフィルタを掛けた比較画像１００ｂを示し、図１６は、高感度画像１００ａに第２の実施形態による処理を施したノイズ除去画像１００ｃをしめす。図１５及び図１６を比較すると、比較画像１００ｂでは、中心部近傍で原画像１００ａのディテールが損なわれているのに対し、ノイズ除去画像１００ｃでは、全領域において原画像１００ａのディテールが維持されている。さらに、ノイズ除去画像１００ｃは、原画像１００ａからノイズ成分が除去されたものであるので、全体的に鮮明な画像となっている。
【００８７】
したがって、第２の実施形態では、撮像装置１０は、画素差分値が高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値（即ち、閾値Ｔｈ、Ｔｌの範囲内の値）となる場合に、画素差分値をノイズ成分と判定するので、アーチファクトによって生じた画素差分値をノイズと誤判定することを防止することができる。したがって、撮像装置１０は、高感度画像からノイズ成分をより正確に除去することができる。
【００８８】
さらに、撮像装置１０は、差分画像の低周波成分を除去することで、ノイズ画像を生成する。具体的には、撮像装置１０は、差分画像にハイパスフィルタを掛けることで、ノイズ画像を生成する。これにより、撮像装置１０は、より正確にノイズ画像を生成することができる。さらに、撮像装置１０は、高感度画像そのものではなく、差分画像にハイパスフィルタを掛けるので、高感度画像のディテールの損失を抑制することができる。また、撮像装置１０は、引用文献１に開示された技術よりも少ない回数のフィルタ処理によって、高感度画像からノイズ成分を除去することができる。
【００８９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９０】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ ＡＦＥ回路
１４ 画像積算部
１５ 露出制御部
１６ タイミングジェネレータ
１７ ドライバ
１８ 補助光源部
１９ 画像信号処理部
１９１ 撮像画像取得部
１９２ 前処理部
１９３ 差分画像生成部
１９４ ノイズ画像生成部
１９５ ノイズ除去部
１９６ 後処理部
【特許請求の範囲】
【請求項１】
フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、
前記低感度画像の画素値と前記高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、
前記差分画像に基づいて、前記高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、
前記高感度画像及び前記ノイズ画像に基づいて、前記高感度画像から前記ノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記差分画像生成部は、前記低感度画像の撮像時の露出量と前記高感度画像の撮像時の露出量との差分値に基づいて、前記画素差分値を調整することを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記ノイズ画像生成部は、前記画素差分値が前記高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値となる場合に、前記画素差分値をノイズ成分と判定することを特徴とする、請求項１または２記載の情報処理装置。
【請求項４】
前記ノイズ画像生成部は、前記差分画像の低周波成分を除去することで、前記ノイズ画像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得ステップと、
前記低感度画像の画素値と前記高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成ステップと、
前記差分画像に基づいて、前記高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成ステップと、
前記高感度画像及び前記ノイズ画像に基づいて、前記高感度画像から前記ノイズ成分を除去するノイズ除去ステップと、を含むことを特徴とする、情報処理方法。
【請求項１】
フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得部と、
前記低感度画像の画素値と前記高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成部と、
前記差分画像に基づいて、前記高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成部と、
前記高感度画像及び前記ノイズ画像に基づいて、前記高感度画像から前記ノイズ成分を除去するノイズ除去部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記差分画像生成部は、前記低感度画像の撮像時の露出量と前記高感度画像の撮像時の露出量との差分値に基づいて、前記画素差分値を調整することを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記ノイズ画像生成部は、前記画素差分値が前記高感度画像に発生しうるノイズ振幅の最大値に基づいて予め設定された所定範囲内の値となる場合に、前記画素差分値をノイズ成分と判定することを特徴とする、請求項１または２記載の情報処理装置。
【請求項４】
前記ノイズ画像生成部は、前記差分画像の低周波成分を除去することで、前記ノイズ画像を生成することを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
フラッシュ発光を伴う撮像により生成された低感度画像と、フラッシュ発光を伴わない撮像により生成された高感度画像と、を取得する撮像画像取得ステップと、
前記低感度画像の画素値と前記高感度画像の画素値との差分値である画素差分値を画素毎に示す差分画像を生成する差分画像生成ステップと、
前記差分画像に基づいて、前記高感度画像内のノイズ成分を画素毎に示すノイズ画像を生成するノイズ画像生成ステップと、
前記高感度画像及び前記ノイズ画像に基づいて、前記高感度画像から前記ノイズ成分を除去するノイズ除去ステップと、を含むことを特徴とする、情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−１１５４９０（Ｐ２０１３−１１５４９０Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５７７１９（Ｐ２０１１−２５７７１９）
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２５日（２０１１．１１．２５）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]