説明

撮像装置、プログラム、及び記録媒体

【課題】画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを除去する。
【解決手段】 撮像素子21とレンズ25との間に赤外光カットフィルタ22を設ける。赤外光カットフィルタ22は、モータ23によりレンズ25から撮像素子25に向かう赤外光と遮断する位置と、遮断しない位置に移動する。撮像装置1は、赤外光カットフィルタ22を移動することにより、赤外光を除去した赤外光除去画像Removeと赤外光を除去しない赤外光含有画像Holdとの2枚の画像を撮像し、赤外光含有画像Holdを用いて赤外光除去画像Removeのノイズを低減させる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像のエッジを保存しつつノイズを除去する撮像装置、プログラム、及び記録媒体に関する。
【背景技術】
【0002】
カメラで画像を撮像する際、画像の色味はライティングに大きく依存する。例えば、蝋燭の光に照らされた被写体を撮像すると、オレンジがかった色味の画像になり、月の光に照らされた被写体を撮像すると、青みがかった色味の画像になる。同じ場所であっても撮像時のライティングによって全く異なる画像が撮像される。
【0003】
画像を撮像する際には、フラッシュなどの特別な照明器具を使わず、自然の光(以下、自然光と記す)を利用する方が正確な色味を再現することができるが、屋内や夜間に撮像すると露光が少なく画像にノイズが含まれるという問題が生じる。一方、フラッシュを使用すると露光量が増加しエッジや詳細部分が鮮明に撮像されるが、色味が正確でなくなったり、実際には存在しない影やハイライトが発生したりしてしまうという問題が発生する。
【0004】
従来、このような問題を解決するために、図6に示すような画像処理装置50が提案されている。画像処理装置50は、2つのローパスフィルタ52,53と、1つのハイパスフィルタ54と、2つの画像合成部55,57と、1つの陰影抽出部56とを備える。
【0005】
ローパスフィルタ53は、クロスバイラテラルフィルタである。クロスバイラテラルフィルタは、フラッシュを使用した画像(以下、フラッシュ画像と記す)とフラッシュを使用しない画像(以下、自然光画像と記す)の2枚の画像を入力し、フラッシュ画像から検出したエッジを保存しつつ自然光画像のノイズを除去する。
【0006】
ハイパスフィルタ54は、自然光画像の各画素値をフラッシュ画像で除算して、フラッシュ画像のエッジを抽出したエッジ抽出画像を生成する。
【0007】
画像合成部55は、ローパスフィルタ53でノイズを除去した自然光画像とハイパスフィルタ54でエッジを抽出したフラッシュ画像とを合成して合成画像Compを生成する。画像の合成には、ローパスフィルタ53の画素値にハイパスフィルタ54の出力画像の画素値を乗じるという処理を行う。合成画像Compは、フラッシュ画像と自然光画像の長所を備えており色味が正確でノイズが少ない。
【0008】
陰影抽出部56は、フラッシュ画像と自然光画像との2枚の画像の違いを抽出し、ハイライトや影によって画像が変化した確率を評価する。ローパスフィルタ52は、自然光画像のノイズを除去する。ローパスフィルタ52としては、バイラテラルフィルタを用いる。バイラテラルフィルタは、1枚の画像を用いてこの画像のエッジ検出とノイズ除去とを行うフィルタである。
【0009】
画像合成部57は、陰影抽出部56の評価結果に基づいてローパスフィルタ52からの出力画像と画像合成部55の出力画像Compの重み付け加算を行う。画像合成部57は、フラッシュの有無により影やハイライトが生じている可能性が高い部分では画像の重みを高くし、可能性が低い部分では画像の重みを高くする。画像合成部57は、合成画像Compから不要な影やハイライトを除去して出力画像Outを生成する。
【0010】
このように、従来の画像処理装置50では、フラッシュ画像のエッジを合成した画像と、フラッシュ画像のエッジを参照せずにノイズを除去した画像との2枚の画像を生成し、フラッシュにより影やハイライトが発生した可能性の高い画素ではハイパスフィルタ12の出力画像の係数を高くし、フラッシュにより影やハイライトが発生した可能性の低い画素では画像合成部17の出力画像Compの係数を高くすることにより、フラッシュ画像のエッジと自然光画像の色味とを最適にブレンドした画像を得ることができる(例えば、非特許文献1)。
【0011】
【非特許文献1】Georg Petschnigg Et al,Digital Photography with Flash and No−Flash Image pairs,acm Transaction on Graphics,Vol.23,Number 3,pp.664−672,August 2004
【発明の開示】
【発明が解決しようとする課題】
【0012】
上述したように、フラッシュを使用すると画像のエッジや詳細部分が鮮明になるものの、自然光では存在しない影やハイライトが発生することがある。画像処理装置50では、影やハイライトは除去しつつ、エッジや詳細部分のみを残したいが、これらを区別することは容易ではなく多大な演算コストを要する。
【0013】
本発明は、上述した課題に鑑みてなされたものであって、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを除去する撮像装置、プログラム、及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0014】
上述した目的を達成するために、本発明を適用した撮像装置は、撮像手段と、撮像手段に結像する不可視光画像を遮断する不可視光遮断手段と、不可視光を遮断せずに撮像した不可視光画像含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減手段とを備える。
【0015】
本発明を適用したプログラムは、所定の処理をコンピュータに実行させるプログラムにおいて、不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有する。
【0016】
本発明を適用した記録媒体は、所定の処理を実行させるプログラムが記録された記録媒体において、不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有する。
【発明の効果】
【0017】
本発明を適用した撮像装置は、赤外光を除去しない不可視光含有画像と、不可視光を除去した不可視光除去画像とを撮像し、不可視光含有画像を用いて不可視光除去画像のノイズを低減することにより、画像に影響を与える照明器具を使用せず自然の光のもとで撮像した画像のノイズを除去することができる。
【0018】
画像に影響を与える照明器具を使用すると、照明条件の違いを補正する演算コストが増大するが、本発明を適用した撮像装置は、画像に影響を与える照明器具を使用せずに画像のノイズを除去するため照明条件の違いを補正する演算は不要である。
【発明を実施するための最良の形態】
【0019】
以下、図面を参照して本発明を適用した撮像装置について説明する。図1に撮像装置1の構成を示す。撮像装置1は、赤外光除去画像Removeと赤外光含有画像Holdとの両方を撮像する撮像部2と、撮像部2で撮像された画像に信号処理を施す信号処理部3と、赤外光除去画像Removeのノイズを除去する画像処理部4と、画像やデータの記憶領域であるメモリ5と、LCD(Liquid Crystal Display)6への画像出力、シリアルインターフェース7やUSB(Universal Serial Bus)8などのインターフェースを介して外部記録装置10とのデータ送受信を行うシステムコントロール部9とを備える。
【0020】
撮像部2は、赤外光に感度のある撮像素子と、レンズ25の焦点合わせや赤外光カットフィルタ22の切り替えやシャッタの切り替えを行うモータ23と、レンズ25の焦点合わせやシャッタの切り替えを制御するドライバ24と、赤外光カットフィルタ22の動作を制御する赤外光カットフィルタ制御部26とを備える。
【0021】
図2に示すように、赤外光カットフィルタ22は、撮像素子とレンズ25との間に設けられる。赤外光カットフィルタ22には、赤外光カットフィルタ22を回動させるモータ23が取り付けられている。モータ23は赤外光カットフィルタ制御部26の制御に従い、赤外光カットフィルタ22を回動させる。赤外光カットフィルタ22は、モータ23の駆動により、図面A位置と図面B位置に移動する。赤外光カットフィルタ22が図面A位置にあるときには、撮像素子に集光する光が赤外光カットフィルタ22を通過する。赤外光カットフィルタ22が図面B位置にあるときには、赤外光カットフィルタ22をレンズ25の光路から外れ、撮像素子に集光する光は赤外光カットフィルタ22を通過しなくなる。撮像部2は、赤外光カットフィルタ22を回動させることにより、赤外光を除去した赤外光除去画像Removeと、赤外光と可視光との両方を含む赤外光含有画像Holdとを撮像することができる。
【0022】
なお、赤外光カットフィルタ22を上下又は左右に移動させるスライドなどを用いてもよい。また、赤外光カットフィルタ制御部26の機能をドライバ24やシステムコントロール部9が実現する構成にしてもよい。
【0023】
画像処理部4は、赤外光除去画像Removeのエッジを保存しつつノイズを除去した出力画像Outを生成する。図3に画像処理部4の構成を示す。画像処理部4は、赤外光除去画像Removeのゲインを調整するゲイン調整部41と、赤外光除去画像Removeのノイズを除去するローパスフィルタ42と、赤外光含有画像Holdのエッジ及び詳細部分を抽出するハイパスフィルタ43と、ローパスフィルタ42の出力画像とハイパスフィルタ43の出力画像とを合成する画像合成部45とから構成される。
【0024】
ゲイン調整部41は、ゲインを調整することにより、露出不足で暗く撮像された赤外光除去画像Removeの画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。
【0025】
ローパスフィルタ42は、赤外光除去画像Removeのノイズを除去する。ここでは、ローパスフィルタ42としてクロスバイラテラルフィルタを使用する。クロスバイラテラルフィルタは、エッジ評価用画像とフィルタ対象画像とを入力し、エッジ評価用画像の評価結果に従いフィルタ対象画像のノイズを除去する。
【0026】
ここで、赤外光含有画像Holdの3つの画素値R、G、Bと赤外光除去画像Removeの3つの画素値R、G、Bとの6つの画素値に基づいてエッジを評価するクロスバイラテラルフィルタの例を説明する。クロスバイラテラルフィルタの処理単位は、フィルタ対象領域である。クロスバイラテラルフィルタのタップ数をnとすると、フィルタ対象領域はフィルタ対象座標(X、Y)を中心とした縦2n+1×横2n+1の領域となる。クロスバイラテラルフィルタは、フィルタ対象座標(X、Y)を中心としたフィルタ対象領域の入力に対し出力画像Baseの座標(X、Y)における画素値を出力する。
【0027】
クロスバイラテラルフィルタは、フィルタ対象画像の画素値と係数Wから出力画像Baseの画素値を求める。係数Wは、フィルタ対象領域の中心画素の座標(X、Y)とフィルタ対象領域を構成する他の画素の座標(PX、PY)との距離に依存する値Wとフィルタ対象領域の中心座標(X、Y)とその他の座標(PX、PY)との画素値の差に依存する値Wから求められる。係数Wの算出式を式(1)に示す。ここで、σは、フィルタ対象領域の範囲内でPXを変化させたときのX−PXの標準偏差である。
【0028】
【数1】

【0029】
係数Wは、赤外光除去画像Removeの画素値に依存した値DistRGBと、赤外光含有画像Holdの画素値に依存した値IRRGBから求められる。式(2)は、DISTRGBを算出するための式である。式(2)においてR(X、Y)、G(X、Y)、B(X、Y)は座標(X、Y)におけるR、G、Bの画素値であり、R(PX、PY)、G(PX、PY)、B(PX、PY)はフィルタ対象領域の座標(PX、PY)におけるR、G、Bの画素値である。σ、σ、σは赤外光除去画像Remove全体におけるR、G、Bの画素値の標準偏差である。
【0030】
【数2】

【0031】
式(3)は、DISTIRを算出するための式である。式(3)においてRIR(X、Y)、GIR(X、Y)、BIR(X、Y)は座標(X、Y)におけるR、G、Bの画素値であり、RIR(PX、PY)、GIR(PX、PY)、BIR(PX、PY)はフィルタ対象領域の座標(PX、PY)におけるR、G、Bの画素値である。σRIR、σGIR、σBIRは、赤外光含有画像Hold全体におけるR、G、Bの画素値の標準偏差である。
【0032】
【数3】

【0033】
式(4)は、係数Wを算出する式である。式(4)によれば係数Wは、DISTIRとDISTRGBの差分を累乗とする指数として算出される。
【0034】
【数4】

【0035】
係数Wは、以下の式(5)から算出される。式(5)において係数Wは式(1)で算出した値であり、係数Wは式(4)において算出した値である。
【0036】
【数5】

【0037】
出力画像Baseの座標(X、Y)における画素値Base(X、Y)は、以下の式(6)から算出される。式(6)において係数Wは式(5)で算出した値であり、Remove(X、Y)は赤外光除去画像Removeの座標(X、Y)における画素値である。
【0038】
【数6】

【0039】
ローパスフィルタ42の出力画像を基礎画像Baseと呼ぶ。基礎画像Baseは、画像の色味が正確であるという長所と、エッジや詳細部分がはっきりしないという短所がある。
【0040】
ハイパスフィルタ43は、赤外光含有画像Holdのエッジ部分を抽出する。ここでは、ハイパスフィルタ43としてFIRフィルタを使用する。図4は、5×5のFIRフィルタの係数値の例を示している。ハイパスフィルタ43としては、FIRフィルタ以外のものを用いてもよい。また、ハイパスフィルタのタップ数や係数も特に限定しない。ハイパスフィルタ43から出力される画像には、赤外光含有画像Holdのエッジや詳細部分が保存されている。この画像を詳細画像Edgeと呼ぶ。
【0041】
画像合成部45は、基礎画像Baseと詳細画像Edgeと乗算した合成画像を生成する。この画像が画像処理部43の出力画像OUTである。出力画像OUTは、基礎画像Baseと詳細画像Edgeとの2つの画像の長所を合わせた画像であり、色味が正しく詳細部分がはっきりしているという特徴がある。
【0042】
以上説明したように、本発明を適用した撮像装置11では、撮像素子とレンズ25との間に赤外光カットフィルタ22を設け、赤外光を除去した赤外光除去画像Removeと、赤外光を含む赤外光含有画像Holdとの2枚の画像が撮像できる構成とした。
【0043】
撮像装置11は、赤外光除去画像Removeのノイズを除去した基礎画像Baseと、赤外光含有画像Holdのエッジや詳細部分を抽出した詳細画像Edgeとを合成することにより、赤外光除去画像Removeのノイズを除去しつつ、ノイズ除去によって減衰したエッジ部分や詳細部分を補った出力画像OUTを得ることができる。
【0044】
従来の画像処理装置では、フラッシュによって発生する影やハイライトとエッジや詳細部分を区別するために、演算コストが増大していたが、本発明を適用した撮像装置1では、赤外光含有画像Holdは赤外光除去画像Removeと同じ照明条件で撮像することができるので、照明条件の違いを補正しなくてもよい。
【0045】
さらに、従来の画像処理装置では、詳細部分やエッジを影やハイライトと誤判別した場合には、詳細部分の画素が破棄されてしまうという課題があった。赤外光除去画像Removeは赤外光含有画像Holdと同じ照明条件で撮像することができるので、照明条件の違いによる影やハイライトが発生することはなく、必要な画素が破棄されてしまうおそれもない。
【0046】
次いで、図5を参照して撮像装置1の変形例について説明する。この撮像装置11は、撮像装置1に補助光源31及び補助光源制御部32を追加したことを特徴とする。補助光源31及び補助光源制御部32以外の構成は撮像装置1と同じである。撮像装置1と同じ構成要素には同一符号を付してある。これらの構成要素の説明は省略する。
【0047】
補助光源31は、赤外光の帯域に属する波長の光を出力する。補助光源31としては、赤外線フラッシュやキセノンバルブがある。補助光源制御部32は、赤外光含有画像Holdを撮像するとき補助光源31を点灯させ、赤外光除去画像Removeを撮像するとき補助光源31を点灯させない。補助光源制御部32は、補助光源31と赤外光カットフィルタ22の動作を同期させる。すなわち、赤外光カットフィルタ22が赤外光を遮断する位置Aにあるときには補助光源31は点灯させず、赤外光カットフィルタ22が赤外光を遮断しない位置Bにあるときには補助光源31を点灯させる。補助光源制御部32の処理は、補助光源制御部32以外のブロック、例えば、システムコントロール部9やドライバ24が実行してもよい。
【0048】
補助光源31を設けた撮像装置11では、赤外光が少ない環境においても照度の高い赤外光含有画像Holdを得ることができる。また、可視光のフラッシュでは、影やエッジが発生してしまうが、補助光源31は画像に影響を与えず、照明条件の違いを補正する演算が不要である。補助光源31は、可視光のフラッシュの使用が禁止された場所で使用することもできる。
【0049】
なお、赤外光含有画像Holdと赤外光除去画像Removeの代わりに、赤外光のみを撮像した赤外光画像Infrと可視光を撮像した可視光画像Visibleを使用してもよい。赤外光画像Infrは、赤外光含有画像Holdと赤外光除去画像Removeとの差分から求められる。可視光画像Visibleは、赤外光除去画像Removeで代用できる。入力画像が変わっても上述した画像処理部4で出力画像Outが得られる。また、赤外光の代わりに他の不可視光画像、例えば、紫外光を使用してもよい。
【0050】
さらに、ローパスフィルタ42は、赤外光含有画像Holdの3つの画素値R、G、Bと赤外光除去画像Removeの3つの画素値R、G、Bの6つの画素値に基づいてエッジを評価するバイラテラルフィルタとしたが、赤外光含有画像Holdの輝度と赤外光除去画像Removeの輝度との2つの画素値に基づいてエッジを評価するバイラテラルフィルタにしてもよい。
【0051】
画像処理部4におけるフィルタリング処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置1のファームウェアに記録されている。なお、制御プログラムは、外部記録装置9が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体(例えば、磁気テープ、フレキシブルディスク、磁気カード)、光学読取方式の記録媒体(例えば、CD−ROM、MO、CD−R、DVD)、半導体メモリ(メモリカード、ICカード)等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。
【図面の簡単な説明】
【0052】
【図1】撮像素子の構成を示すブロック図である。
【図2】赤外光カットフィルタの構成を模式的に示した図である。
【図3】画像処理部の構成を示すブロック図である。
【図4】ハイパスフィルタの係数の一例を示す図である。
【図5】撮像装置の変形例の構成を示すブロック図である。
【図6】従来の画像処理装置の構成を示すブロック図である。
【符号の説明】
【0053】
1 撮像装置、2 撮像部、21 撮像素子、22 赤外光カットフィルタ、23 モータ、24 ドライバ、25 レンズ、26 赤外光カットフィルタ制御部、4 画像処理部、9 システムコントロール部、41 ゲイン調整部、42 ローパスフィルタ、43 ハイパスフィルタ、45 画像合成部、31 補助光源、32 補助光源制御部

【特許請求の範囲】
【請求項1】
撮像手段と、
上記撮像手段に結像する不可視光を遮断する不可視光遮断手段と、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減手段と
を備えることを特徴とする撮像装置。
【請求項2】
上記不可視光含有画像の撮像時に不可視光を発光する補助光発光手段を備えることを特徴とする請求項1記載の撮像装置。
【請求項3】
上記不可視光とは、赤外光であることを特徴とする請求項1記載の撮像装置。
【請求項4】
上記不可視光とは、紫外光であることを特徴とする請求項1記載の撮像装置。
【請求項5】
上記ノイズ低減手段は、
上記可視光画像にローパスフィルタをかける第1のフィルタリング手段と、
上記不可視光画像のハイパスフィルタをかける第2のフィルタリング手段と、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段と
ことを特徴とする請求項1記載の撮像装置。
【請求項6】
所定の処理をコンピュータに実行させるプログラムにおいて、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有することを特徴とするプログラム。
【請求項7】
所定の処理を実行させるプログラムが記録された記録媒体において、
不可視光を遮断せずに撮像した不可視光含有画像を用いて、不可視光を遮断して撮像した不可視光除去画像のノイズを低減するノイズ低減工程を有することを特徴とするプログラムが記録された記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2006−180271(P2006−180271A)
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願番号】特願2004−371987(P2004−371987)
【出願日】平成16年12月22日(2004.12.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】