画像処理装置及び撮像装置
【課題】入力画像から、ハローがなく、暗部から明部までコントラストの高い高画質な画像を得ることが可能な画像処理装置を提供する。
【解決手段】画像処理装置１０は、入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出する照明光成分算出部１２を備え、照明光成分に基づき階調変換処理を施す。照明光成分算出部１２は、照明光成分の算出に際し、入力画像における被写体までの距離を示す距離情報を取得し、注目画素に対応した距離情報と周辺画素に対応した距離情報の差異に基づいて、明るさに対する重み付けを変え、かつ、注目画素に対応した距離情報に応じて、周辺画素として参照する範囲を異ならせる。
【解決手段】画像処理装置１０は、入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出する照明光成分算出部１２を備え、照明光成分に基づき階調変換処理を施す。照明光成分算出部１２は、照明光成分の算出に際し、入力画像における被写体までの距離を示す距離情報を取得し、注目画素に対応した距離情報と周辺画素に対応した距離情報の差異に基づいて、明るさに対する重み付けを変え、かつ、注目画素に対応した距離情報に応じて、周辺画素として参照する範囲を異ならせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高画質な映像を得るための画像処理装置、及びその画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高機能化や高画質化が進んでいる。撮像画像の画質を決める要因の１つとして、コントラストがある。コントラストとは、画像中の暗部と明部の差を意味し、コントラストの高い方が明瞭な画像になる。また、ダイナミックレンジ（以下、ＤＲ）も画質を決める要因の１つである。ＤＲとは、識別可能な信号の最小値と最大値の比を意味するが、以下では、ＤＲを撮影シーン中の最大輝度と最小輝度の比とする。
【０００３】
液晶ディスプレイなどの表示装置に画像を表示する際、表示装置の表現可能な明るさの幅には限りがあるため、入力される画像と表示装置の性能に依っては、暗部の階調が失われる、いわゆる黒潰れが生じることがある。そこで、元画像の画素値を大きくする階調変換処理を施すことで、黒潰れが解消され暗部の明瞭な画像を得ることができる。しかし、画素値を大きくすることで、明部が飽和する、いわゆる白飛びが生じたりコントラストが低下したりし、明部領域では画質が劣化する。特に、ＤＲの高いシーンを撮影した画像は、暗部と明部が共存する可能性が高く、上述の課題が生じることが多い。
【０００４】
この課題に対し、Ｒｅｔｉｎｅｘ理論に基づく階調変換技術が提案されている。Ｒｅｔｉｎｅｘ理論とは、人間の視覚特性をモデル化した理論であり、物体の明るさは物体の反射率と照明光の積で決まり、物体の明るさに対する目の知覚は物体の反射率に強い相関を示すというものである。したがって、階調変換する際に、入力画像の照明光成分のみを圧縮し、物体の反射率成分を維持すれば、黒潰れ・白飛びがなくコントラストの高い画像を得ることができる。撮影画像から照明光と反射率を正確に分離することは容易ではないが、実空間において照明光は連続的に変化している可能性が高いと仮定すると、入力画像にローパスフィルタをかけて算出した低周波数成分を照明光成分とみなすことができる。そして、照明光成分を圧縮し、圧縮した照明光成分に入力画像の反射率成分を掛け合わせることにより、コントラストの高い画像を得ることができる。
【０００５】
しかし、実際には照明光が不連続に変化している場合もあり、前述の仮定に基づいた階調変換処理を施すと、照明光が急激に変化するエッジ周辺で、ハローと呼ばれるアンダーシュート・オーバーシュートが生じ、画質が劣化する。
【０００６】
ハローの発生原理について、図１３Ａ〜図１３Ｄを参照しながら説明する。図１３Ａは、屋内と屋外を同時に撮影したシーン、つまり屋内と屋外とが混在したシーンの画像の一例を示している。図１３Ｂは、図１３Ａの画像１３０中の矢印１３１がある位置での明るさの変化を示している。図１３Ｂのグラフ１３２で示すように、後景と前景のエッジで明るさが大きく変化しているのが分かる。矢印１３１の部分について、ローパスフィルタをかけて低周波数成分を算出すると、図１３Ｃのグラフ１３３で示すように、明るさが平滑化され急峻なエッジが緩やかになる。そして、算出した低周波数成分を基に、入力画像に対し低周波数成分を圧縮する処理を施すと、図１３Ｄのグラフ１３４で示すように、エッジ周辺でアンダーシュート・オーバーシュートが生じてしまい画質が劣化する。
【０００７】
ハローを抑制するために、特許文献１では、低周波数成分を算出するローパスフィルタにおいて、注目画素と周辺画素の画素値を比較し、その差が所定の閾値以上である場合には参照対象から除外することで、照明光が急激に変化するエッジ部分の低周波数成分が平滑化されエッジが緩やかになるのを回避し、ハローの発生を抑制している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２８１７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では、注目画素と周辺画素との画素値を比較しているため、その差が照明光の違いに起因するものであるか、または物体の反射率の違いに起因するものであるのかが考慮されていない。したがって、特許文献１の方法で照明光成分を算出すると、照明光成分の差異が小さく物体の反射率成分の差異が大きい領域は、照明光成分に物体の反射率成分が反映されてしまい、照明光成分を圧縮した際に物体の反射光成分も圧縮されてしまう。その結果、コントラストが低下して画質が劣化する。
【００１０】
図１４Ａ〜図１４Ｄを参照しながら、従来技術の課題であるコントラストの低下を説明する。図１４Ａに示す入力画像１４０は、反射率が大きく異なる被写体が一様な照明光下に置かれている場合の入力画像である。入力画像１４０について、特許文献１の方法で低周波数成分を算出すると、矢印１４１で示す部分については、図１４Ｂのグラフ１４２で示すようになる。実際の照明光は一様であるが、算出する際に画素値の大きく異なる周辺画素を参照しないため、反射率の差異が照明光成分に反映されてしまう。そして、算出した低周波数成分を圧縮すると、変換後の低周波数成分は図１４Ｃのグラフ１４３で示すようになり、本来ならば反射率成分である成分が圧縮されてしまう。したがって、図１４Ｄに示すように、出力される画像１４４はコントラストが低下し画質が劣化する。
【００１１】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、入力画像から、ハローがなく、暗部から明部までコントラストの高い高画質な画像を得ることが可能な画像処理装置、及びその画像処理装置を備え撮影した画像を入力画像としてその画像処理装置で処理する撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出し、該照明光成分に基づき階調変換処理を施す画像処理装置であって、 前記照明光成分を、前記入力画像における被写体までの距離を示す距離情報から算出した前記注目画素に対応した前記距離情報と前記周辺画素に対応した前記距離情報の差異に応じて、明るさに対する重み付けを変え、かつ、前記注目画素に対応した前記距離情報に応じて、前記周辺画素として参照する範囲を異ならせて算出することを特徴としたものである。
【００１３】
本発明の第２の技術手段は、第１の技術手段において、前記照明光成分を、前記注目画素に対応した前記距離情報が示す被写体までの距離が大きい程、前記周辺画素として参照する範囲を小さくして算出することを特徴としたものである。
【００１４】
本発明の第３の技術手段は、第１または第２の技術手段において、前記階調変換処理が施された結果の画像に対して、更に前記入力画像から抽出した高周波数成分を加算することを特徴としたものである。
【００１５】
本発明の第４の技術手段は、第１〜第３のいずれかの技術手段における画像処理装置を備える撮像装置であって、撮影した画像を前記入力画像として前記画像処理装置に入力することを特徴としたものである。
【発明の効果】
【００１６】
本発明によれば、ハローがなく、暗部から明部までコントラストの高い高画質な画像を得ることが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る撮像装置の基本的な構成を示すブロック図である。
【図２】本発明に係る撮像装置の一例を示す外観図である。
【図３】本発明に係る撮像装置の一構成例を示すブロック図である。
【図４】被写体までの距離と視差の関係を表す図である。
【図５Ａ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｂ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｃ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｄ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｅ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｆ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図６Ａ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｂ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｃ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｄ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ａ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｂ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｃ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｄ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図８】被写体までの距離と視差の関係を、具体的な数値を例に挙げて示す図である。
【図９】本発明における、照明光成分を圧縮する方法の一例を示す図である。
【図１０Ａ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｂ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｃ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｄ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１１Ａ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１１Ｂ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１１Ｃ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１２】本発明において、被写体までの距離に基づき照明光成分を算出するフィルタのサイズを変更する一例を示す図である。
【図１３Ａ】ハローの発生原理を説明するための図である。
【図１３Ｂ】ハローの発生原理を説明するための図である。
【図１３Ｃ】ハローの発生原理を説明するための図である。
【図１３Ｄ】ハローの発生原理を説明するための図である。
【図１４Ａ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｂ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｃ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｄ】従来技術の課題であるコントラストの低下を説明するための図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、添付図面を参照しながら、本発明に係る撮像装置についてその好適な実施の形態について説明する。
【００１９】
図１は、本発明に係る撮像装置の基本的な構成を示すブロック図である。図１で示す撮像装置１は、入力画像及び距離情報について画像処理を行う画像処理装置１０を備える。なお、その他、通常の撮像装置と同様に、撮像装置１には画像処理装置１０で処理された画像を記録する記憶装置（図示せず）を備えてもよい。
【００２０】
画像処理装置１０は、明るさ（Ｙ）算出部１１、照明光成分（Ｌ）算出部１２、及び照明光成分（Ｌ）圧縮部１３を備える。Ｙ算出部１１は、入力画像に対し、注目画素の明るさと周辺画素の明るさを算出する。Ｌ算出部１２は、入力画像に対し、Ｙ算出部１１で算出された注目画素の明るさと周辺画素の明るさに基づいて照明光成分を算出する。なお、元々明るさＹが情報として存在する場合もあるため、画像処理装置１０において、Ｙ算出部１１は必須ではない。
【００２１】
そして、画像処理装置１０は、Ｌ算出部１２で算出した照明光成分に基づき階調変換処理を施す装置である。この例では、この階調変換処理を、Ｌ圧縮部１３が照明光成分を圧縮することで行うものとする。
【００２２】
そして、本発明の主たる特徴として、Ｌ算出部１２は、照明光成分の算出に際し、入力画像における被写体までの距離を示す距離情報を取得し、注目画素に対応した距離情報と周辺画素に対応した距離情報の差異に基づいて、明るさに対する重み付けを変える。更にＬ算出部１２は、照明光成分の算出に際し、注目画素に対応した距離情報に応じて、周辺画素として参照する範囲、つまりフィルタリングの範囲を異ならせるようにする。各部１１〜１３の詳細については図３等を参照しながら説明する。
【００２３】
図２は、本発明に係る撮像装置の一例を示す外観図で、図１の撮像装置１としても適用可能な撮像装置の外観図である。以下では、図２に示すように撮像装置１ａには、左カメラＣL、右カメラＣRがそれぞれ左眼用、右眼用として配置されている場合について述べる。撮像装置１ａは、例えばシャッタＳの押下により、２つのカメラＣL，ＣRから視点の異なる２つの画像が撮影できるものである。ただし、視点の異なる画像は１つのカメラでも手動や撮像装置内の自動の移動機構により移動させ、撮影タイミングをずらして撮影することなどでも得られる。
【００２４】
図３は、本発明に係る撮像装置の一構成例を示すブロック図で、図２の撮像装置１ａの内部の構成例を示すブロック図である。図３に示す撮像装置１ａは、図１の撮像装置１のより好ましい構成例を示しており、画像処理装置１０の代わりに画像処理装置３０を備える。図３の撮像装置１ａは、図１の画像処理装置１０におけるＹ算出部１１、Ｌ算出部１２、及びＬ圧縮部１３を備えており、それぞれ明るさ（Ｙ）算出部３２、照明光成分（Ｌ）算出部３４、及び照明光成分（Ｌ）圧縮部３５として図示している。その他、撮像装置１ａの画像処理装置３０は、高周波数成分（Ｈ）算出部３１、視差算出部３３、及び高周波数成分（Ｈ）加算部３６を備える。
【００２５】
まず、撮像装置１ａでは、左右カメラＣL，ＣRでの撮影により左画像、右画像を入力画像として取得する。左画像は、Ｈ算出部３１、Ｙ算出部３２、及び視差算出部３３に入力され、右画像は、視差算出部３３に入力される。無論、左右の画像は逆に入力しても以下の説明を同様に適用することができる。
【００２６】
次に、視差算出部３３は、被写体までの距離情報として、これら左画像、右画像から視差を算出する。視差を算出する方法として、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を比較する画像から選択し、比較対象の領域と選択された最も類似度の高い領域との位置のずれが視差となる。類似度の評価には様々な評価関数が用いられる。例えば、ＳＡＤ（Sum of Absolute Difference）と言われる、両画像の画素値や輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。
【００２７】
図４を参照しながら、被写体までの距離と視差の関係について説明する。左右カメラＣL，ＣRの画像間の視差ｄは、被写体までの距離Ｚ、基線長Ｂ、焦点距離ｆを用いてｄ＝Ｂｆ／Ｚと表され、被写体までの距離Ｚと反比例の関係にあり、図４のグラフ４０に示すように、被写体までの距離が近いほど視差は大きくなり、被写体までの距離が遠いほど視差は小さくなる。したがって、視差を被写体までの距離を表す指標として扱うことができる。また、被写体までの距離情報を、撮像装置に赤外線センサを備えて測定してもよい。
【００２８】
ただし、後述する画像処理過程において距離情報を用いる際に、入力画像と距離情報とを対応させる必要があることを考慮すると、赤外線センサから得られる情報と入力画像を対応させるよりは、左右カメラＣL，ＣRの画像から対応点を算出している視差を用いる方が好適である。
【００２９】
次に、Ｙ算出部３２が、入力画像から各画素の明るさＹを算出する。明るさＹは入力画像の画素値から算出することができ、例えば、入力画像がＲＧＢ値を持つカラー画像であれば、国際電気通信連合で定義されているＲＧＢからＹＣｂＣｒへの変換式より、
Ｙ＝0.29891×Ｒ＋ 0.58661×Ｇ＋0.11448×Ｂ ・・・（１）
と定義してもよい。
【００３０】
また、明るさＹをＲＧＢ値の最大値、Ｙ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）としてもよい。ＲＧＢ値の最大値を用いることで、後述する階調変換処理において画質改善効果が得られる。なお、Ｙ算出部３２における明るさＹの算出は、視差算出部３３における視差量の算出と並行して或いはその前後に行うことができる。また、照度センサ等により予め明るさの情報がある場合には、入力画像から明るさを算出する必要はなく、入力された明るさの情報を用いてもよい。
【００３１】
次に、Ｈ算出部３１が、入力画像（この例では左画像）から高周波数成分Ｈの抽出、つまり高周波数成分Ｈを算出する。高周波数成分Ｈを算出するにはハイパスフィルタを用いればよく、例えば、ソーベルフィルタのような空間微分フィルタが用いられる。なお、Ｈ算出部３１における算出は、Ｙ算出部３２や視差算出部３３における算出と並行して或いはその前後に行うことができる。
【００３２】
次に、Ｌ算出部３４が、入力画像の照明光成分Ｌを算出する。この算出方法について説明する。照明光成分Ｌは、例えば、上述の明るさＹを平滑化することで算出できる。所定の領域内（フィルタ内）で平滑化処理を行う際、フィルタ中央の照明光成分Ｌを算出する画素（以下、注目画素）とフィルタ内の注目画素周辺の画素（以下、周辺画素）にそれぞれ撮像されている被写体までの距離の差異を距離情報から算出し、その差異に応じて明るさを加重平均する。距離情報として視差を用いる場合、加重平均の重み付けは、視差の差が小さい場合は実空間内で近い位置にあり照明光成分Ｌの差異も小さいと考えられることから重みを大きくし、視差の差が大きい場合は実空間内で離れた位置にあり照明光成分Ｌの差異が大きい可能性があることから重みを小さくする。
【００３３】
図５Ａ〜図５Ｆを参照しながら、フィルタの一例として５×５のフィルタを用いて注目画素の照明光成分Ｌを算出する場合について、その算出を中心とした処理及び本発明の効果を説明する。なお、図５Ａ〜図５Ｆでは、具体的な画像の画素値を挙げて説明するが、他の画素値でも同様の効果が得られる。
【００３４】
図５Ａで示す画像の画素値５１は、注目画素Ｔを中心としたフィルタ範囲内の入力画像の明るさＹを示しており、図５Ｂで示す視差値５２は、同じく入力画像の視差値である。また、図５Ｃで示す照明光成分Ｌと図５Ｄで示す反射率成分Ｒはそれぞれ、照明光成分Ｌの正解値、反射率成分Ｒの正解値とする。したがって、図５Ｃの照明光成分Ｌと図５Ｄの反射率成分Ｒのそれぞれの値の積が、図５Ａの画像の画素値５１となる。
【００３５】
図５Ａの画素値５１を用いて、注目画素Ｔについて単純な平滑化をすると、
Ｌ ＝ （ 50×1 ＋ 100×16 ＋ 150×3 ＋ 200×5 ） ／ 25 ＝ 124
となる。
【００３６】
ここで、特許文献１に記載されている方法に基づき、明るさ（注目画素Ｔとの明るさの差）に応じて平滑化対象とするか否かを判定し、平滑化対象とする画素の重みを１、対象としない画素の重みを０として平滑化する。例えば、平滑化するか否かの画素値の差異を７５とすると、重み付けは図５Ｅに示す重み付け係数５５となり、平滑化すると、
Ｌ ＝ （ 50×1.0×1 ＋ 100×1.00×16 ＋ 150×0.00×3 ＋ 200×0.00×5 ） ／ （ 1.0×1 ＋ 1.00×16 ＋ 0.00×3 ＋ 0.00×5 ）
＝ 97
となり、図５Ｃに示す注目画素Ｔの正解値「２００」と比べてはるかに小さな値となる。
【００３７】
一方、本実施形態では、図５Ｂに示す視差値５２に基づいて図５Ｆに示すように重み付け係数５６を算出し、その重み付け係数５６で重み付けをして平滑化する。その結果は、
Ｌ ＝ （ 50×1.0×1 ＋ 100×0.25×13 ＋ 100×0.50×3 ＋ 150×0.5×3 ＋ 200×1.00×5 ） ／ （ 1.0×6 ＋ 0.50×6 ＋ 0.25×13 ）
＝ 143
となり、従来の方法と比較して、より正解値に近い照明光成分Ｌを算出することができることが分かる。すなわち、反射率成分Ｒを分離した良好な照明光成分Ｌを算出することができる。なお。ここでは、視差値５２に比例するように重み付け係数５６を決めた例を挙げているが、これに限らず、重み付け係数５６が視差値５２の傾向を反映したものであればよい。
【００３８】
その効果を分かりやすくするために、図６Ａ〜図６Ｄを参照しながら、本発明の処理及び効果を実際の入力画像に適用して説明する。図６Ａに示す入力画像６１に対して、本実施形態の方法で照明光成分Ｌを算出すると、図６Ｃに示す照明光成分Ｌの画像６３のようになる。図６Ｂで示す視差画像６２は、図６Ａの入力画像６１に対する視差を示す画像であり、明るい程視差が大きく距離が近く、暗い程視差が小さく距離が遠いことを意味している。照明光成分Ｌの画像６３と視差画像６２とを対応させて比較すると、距離が近い屋内と距離が遠い屋外とのエッジ周辺で照明光成分Ｌが急峻に変化しているのが分かる。
【００３９】
本発明の効果を確認するための比較例として、単純な平滑化フィルタを用いて照明光成分Ｌを算出すると、図６Ｄに示す照明光成分Ｌの画像６４のようになる。図６Ｃで示したように本実施形態で算出した照明光成分Ｌの画像６３が、屋内と屋外とのエッジ周辺で照明光成分Ｌが急峻に変化しているのに対し、単純な平滑化フィルタを用いた場合、図６Ｄの画像６４で示すようにエッジ周辺で照明光成分Ｌが緩やかに変化しており、これがハローの原因となる。
【００４０】
同様に、図７Ａ〜図７Ｄを参照しながら、本発明の処理及び効果を実際の入力画像（図６Ａ〜図６Ｆの例とは異なる入力画像）に適用して説明する。図７Ａに示す入力画像７１に対して、本実施形態の方法で照明光成分Ｌを算出すると、図７Ｃに示す照明光成分Ｌの画像７３のようになる。図７Ｂで示す視差画像７２は、図７Ａの入力画像７１に対する視差を示す画像であり、明るい程視差が大きく距離が近く、暗い程視差が小さく距離が遠いことを意味している。照明光成分Ｌの画像７３は、視差画像７２と比べると、距離が近い手前の被写体（シマウマ）と距離が遠い背景とのエッジ周辺で照明光成分Ｌが急峻に変化しており、かつシマウマの部分の照明光成分Ｌがほぼ均一になっていることが分かる。
【００４１】
本発明の効果を確認するための比較例として、特許文献１に記載されている方法で照明光成分Ｌを算出すると、図７Ｄに示す照明光成分Ｌの画像７４のようになる。図７Ｃで示したように本実施形態で算出した照明光成分Ｌの画像７３が、手前の被写体の照明光成分Ｌがほぼ均一になっているのに対し、特許文献１に記載の方法で処理した場合、図７Ｄの画像７４で示すように、手前の被写体の照明光成分Ｌが平滑化されず、照明光成分Ｌに反射光成分Ｒが含まれてしまっているのが分かる。これにより、特許文献１に記載の方法では、照明光成分Ｌを圧縮すると反射光成分Ｒも圧縮されてしまいコントラストが低下することになる。
【００４２】
ここで、図８を参照しながら、距離情報として視差を用いる場合の重み付けについて更に詳しく述べる。図８は、被写体までの距離と視差の関係を、具体的な数値を例に挙げて示す図である。図４のグラフ４０に示すように、左右カメラＣL，ＣRの画像間の視差は、被写体までの距離が遠くなるにつれて小さくなるとともに、被写体までの距離の変化に対する視差の変化量も小さくなる。すなわち、近い距離で視差が「１」異なるのと、遠い距離で視差が「１」異なるのとでは、実空間内での距離の差は異なる。例えば、被写体までの距離と視差とが図８に示すグラフ８０のような関係であるとすると、視差「１０」と「９」とでは実空間内の距離の差は小さいが、視差「２」と「１」とでは実空間内の距離の差が大きく、視差の差異が同じ「１」であっても、実空間内では距離の差が異なることがわかる。そこで、重み付けをする際、注目画素の視差値と、注目画素と周辺画素との視差の差異の大きさを共に考慮することで、距離情報として視差を用いる場合でも、実空間内の距離の差を反映する重み付けをすることができる。
【００４３】
例えば、照明光成分Ｌを算出する際の重みＷを以下に示す数式（２）のように定義すればよい。ここで、Ｄijは注目画素の視差、｜Ｄij - Ｄi+k,j+l｜は注目画素と参照画素の視差の差異、ｋ、ｌはそれぞれ、フィルタ内における参照画素の注目画素からの横、縦方向のずれ量を表す変数である。なお、数式（２）では、重み付け関数Ｗの一例を視差Ｄijを用いた場合で示しているが、距離情報として視差を用いずに距離を示す情報を用いる場合にも、同様の重み付けの式が一例として適用できる。
【００４４】
【数１】
【００４５】
注目画素の視差を「１０」、周辺画素の視差を「９」とすると、視差「１０」に対して差異は「１」であるから、重みは１−１／１０＝０．９となる。注目画素の視差を「２」、周辺画素の視差を「１」とすると、視差「２」に対して差異は「１」であるから、重みは１−１／２＝０．５となり、視差の差異が同じ値であっても、実空間内の距離の差を反映した重み付けとなる。
【００４６】
注目画素と参照画素の距離の差異を考慮した照明光成分Ｌの算出方法を数式で表すと、以下に示す数式（３）のようになる。
【００４７】
【数２】
【００４８】
ここで、Ｄijは注目画素の距離情報、｜Ｄij - Ｄi+k,j+l｜は注目画素と参照画素の距離情報の差異、ｋ、ｌはそれぞれフィルタの横、縦方向のサイズである。また、Ｗ（Ｄij，｜Ｄij - Ｄi+k,j+l｜）は、Ｄij、｜Ｄij - Ｄi+k,j+l｜を変数とする重み付け関数である。
【００４９】
上述のように、本実施形態では、照明光成分Ｌを算出する際に、注目画素と周辺画素との距離の差異を考慮することで、図６Ａの入力画像６１や図７Ａの入力画像７１ような、従来の算出方法では照明光成分に反射光成分が反映されてしまうシーンにおいても、良好な照明光成分を算出することができる。
【００５０】
次に、階調変換処理について述べる。物体の明るさは物体の反射率と照明光の積で決まることから、入力画像の明るさＹを、照明光成分Ｌと反射光成分Ｒを用いて、
Ｙ＝Ｒ×Ｌ ・・・（４）
と表す。また、階調変換後の画像の明るさをＹ′、照明光成分をＬ′、反射光成分をＲ′とすると、
Ｙ′＝Ｒ′×Ｌ′ ・・・（５）
と表せる。
【００５１】
本実施形態では、入力画像の照明光成分Ｌのみを圧縮し、反射率成分Ｒを維持するよう階調変換を施す。すなわち、階調変換の前後で反射率成分が変化しない処理を施せばよく、次の数式（６）の関係が成り立てばよい。
Ｒ＝Ｒ′ ・・・（６）
【００５２】
数式（４）〜（６）より反射率成分を消去すると、
Ｙ′＝Ｙ×Ｌ′／Ｌ ・・・（７）
となり、階調変換後の画像の明るさＹ′が、入力画像の明るさＹ、照明光成分Ｌ、階調変換後の画像の照明光成分Ｌ′のみで表される。したがって、階調変換後の照明光成分Ｌ′を定義すれば、反射光成分を算出することなく、反射率成分を維持する階調変換処理を施すことができる。
【００５３】
次に、照明光成分Ｌ′の定義について説明する。本実施形態では、図３のＬ圧縮部３５が、照明光成分を圧縮する階調変換処理を施す。すなわち、照明光成分Ｌを圧縮するよう照明光成分Ｌ′を定義する。
【００５４】
図９を参照しながら、この圧縮方法の一例を説明する。図９で示す、グラフ９０のように、照明光成分Ｌに対し照明光成分Ｌ′が上に凸になるよう定義すると、暗部領域はより明るくなり、明部領域は明るさが抑えられ、照明光成分が圧縮される。なお、グラフ９０は各階調値について個別に定めた変換値の一例であるが、表示装置の性能に依って画像の見え方は変わるため、このグラフ９０で示すような階調変換テーブルを数パターン保持しておき、表示装置に合わせて最適なテーブルを選択するようにしておいてもよい。
【００５５】
上述の圧縮の処理を、ＲＧＢ値を有するカラー画像に適用する場合、階調変換後の画素値をＲ′Ｇ′Ｂ′とすると、以下の数式（８）〜（１０）に示すように、入力画像の画素値ＲＧＢに対しＬ′／Ｌを掛ければよい。
【００５６】
Ｒ′＝ Ｒ×Ｌ′／Ｌ ・・・（８）
Ｇ′＝ Ｇ×Ｌ′／Ｌ ・・・（９）
Ｂ′＝ Ｂ×Ｌ′／Ｌ ・・・（１０）
【００５７】
Ｒ′Ｇ′Ｂ′と数式（１）からＹ′を算出すると、
Ｙ′＝0.29891×Ｒ′＋ 0.58661×Ｇ′＋0.11448×Ｂ′
＝（0.29891×Ｒ＋ 0.58661×Ｇ＋0.11448×Ｂ）×Ｌ′／Ｌ
＝Ｙ×Ｌ′／Ｌ
となり、数式（７）の関係を満たしていることがわかる。
【００５８】
また、明るさＹをＲＧＢ値の最大値と定義する場合も同様に、数式（７）の関係が満たされる。明るさＹをＲＧＢ値の最大値を用いる場合、彩度が高い領域において以下のような効果がある。彩度が高い画素、例えば、ＲＧＢ値が（Ｒ，Ｇ，Ｂ）＝（１０，１０，２５５）という画素について、数式（１）を用いて明るさＹを算出すると、Ｙ＝３８となり、ＲＧＢ値の最大値を用いるとＹ＝２５５となる。上述の階調変換処理では、暗い領域をより明るくするため、数式（１）から算出した明るさＹを用いると、暗い領域としてみなし明るくする処理を施し、Ｂ値はすでに飽和しているため、Ｒ、Ｇ値のみが増加し、彩度が低下する可能性がある。一方、明るさＹとしてＲＧＢ値の最大値を用いると、上述の画素は飽和した明るい画素とみなし明るさを抑えるため、彩度が低下しない。したがって、数式（８）〜（１０）に示す階調変換処理を施す場合は、ＲＧＢ値の最大値を明るさＹとする方が好適である。
【００５９】
上述の階調変換処理により、照明光成分を圧縮することで暗部から明部まで明瞭な画像を得ることができる。また、Ｌが連続的な領域では近接する画素間の照明光成分Ｌの値の差異が小さく、すなわち、近接画素間のＬ′／Ｌの差異も小さいため、上述の階調変換処理によって近接画素間のコントラストは維持され、暗部から明部までコントラストの高い高画質な画像が得られる。
【００６０】
また、図３のＬ算出部３４の処理に関し、照明光成分算出に用いるフィルタサイズを被写体までの距離に応じて変えることで、更なる画質改善効果が得られる。この処理について具体的に説明する。
【００６１】
照明光成分を算出する際、フィルタサイズが極端に小さいと照明光成分が十分に平滑化されない可能性があるため、フィルタはある程度の大きさがある方が好適である。しかし、フィルタのサイズが大きい場合、遠方にある被写体については、実空間内では照明光が急峻に変化していても、距離情報上では距離の差異を判別できず、その結果、照明光成分が平滑化されエッジが緩やかになりハローの原因となる可能性がある。実際、赤外線センサや視差情報を得る左右カメラＣL，ＣR（つまりステレオカメラ）といった、距離情報の算出手段は、遠方の算出分解能が低く、例えば、図４のグラフ４０で示したように、被写体までの距離が遠いほど距離の変化に対する視差の変化が小さくなり、視差の距離に対する分解能が低下し、ある閾値以上の距離で視差が収束する。したがって、遠方の異なる距離に２つの被写体が存在する場合、実空間内において異なる距離に存在していても、距離情報上では距離の差異を判別できないことがある。
【００６２】
遠方に複数の被写体がある場合の照明光成分算出方法について、図１０Ａ〜図１０Ｄを参照しながら説明する。図１０Ａで示す入力画像１００には、前景に被写体１０１、後景に２つの被写体１０２，１０３が写っている。なお、この例では遠方に２つの被写体がある例を挙げているが、３つ以上の被写体があっても以下の処理は同様に適用できる。また、入力画像１００に対する距離情報を示す画像は、図１０Ｂで示す距離画像１０４のようになる。距離画像１０４では、明るい色ほど被写体までの距離が小さいことを意味している。
【００６３】
被写体１０２と被写体１０３は実空間内においては異なる距離に存在するが、図１０Ｂの距離画像１０４のように、入力される距離情報は共に同じ距離になってしまう。図１０Ａの入力画像１００及び図１０Ｂの距離画像１０４を用いて照明光成分を算出すると、被写体１０１と被写体１０２、被写体１０１と被写体１０３とはそれぞれ距離情報が異なるため、距離の差異を考慮できる。一方で、被写体１０２と被写体１０３は距離情報に差異がなく、図１０Ｃの画像１０５（図１０Ａの入力画像１００にフィルタを図示したもの）で示すように、フィルタ１０６内で被写体１０２と被写体１０３を同じ距離にある被写体として扱うことになり、実空間内では照明光の異なる領域の照明光成分を平滑化して算出する可能性がある。
【００６４】
そこで、本実施形態では、被写体までの距離が大きい場合は、図１０Ｄの画像１０７（（図１０Ａの入力画像１００に小さくしたフィルタを図示したもの）においてフィルタ１０８で示すように、フィルタサイズを小さくし、照明光成分算出の際に、実空間内で距離の異なる複数の被写体を、同じ距離にある被写体として扱うことを回避する。その結果、距離情報からは距離の判別ができない遠方に、照明光の異なる複数の被写体がある場合でも、実空間内の照明光の急峻な変化を反映する良好な照明光成分を算出することができる。つまり、距離情報に応じてフィルタサイズを異ならせる距離適応フィルタを採用することで、照明光成分算出の際に、実空間内で距離の異なる複数の被写体を、同じ距離にある被写体として扱うことを回避することができる。
【００６５】
また、フィルタサイズを小さくすると、照明光成分が十分に平滑化されない可能性があると述べたが、単位フィルタサイズ当たりの実空間内のフィルタリング領域は、被写体までの距離に増加に伴い増加するため、被写体までの距離が大きい場合はフィルタのサイズを小さくしても実空間内で十分な領域をフィルタリングすることができる。
【００６６】
この点について、図１１Ａ〜図１１Ｃを参照しながら説明する。図１１Ａ〜図１１Ｃは、フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。図１１Ａには、被写体１１１を近距離から撮影する場合の撮影画像を示し、図１１Ｂには、被写体１１１を遠距離から撮影する場合の撮影画像を示している。なお、図１１Ａ〜図１１Ｃにおいて、四角のマス１つ１つは画素を示しており、便宜上、１１×１１画素で構成される画像を示している。図１１Ａでは被写体１１１は大きく写っており、図１１Ｂでは被写体１１１は小さく写っている。また、図１１Ａ、図１１Ｂにおいて、照明光成分算出に用いるフィルタ１１２のサイズを４×４として図中に点線の枠で示している。
【００６７】
被写体１１１とフィルタ１１２の相対的な大きさを比較すると、図１１Ａでは被写体１１１の一部をフィルタリングすることになり、図１１Ｂでは被写体１１１の全体をフィルタリングすることになる。つまり、フィルタサイズが同じ場合、被写体までの距離の増加に伴い、フィルタリングする実空間内の領域も増加する。したがって、照明光成分算出に用いるフィルタサイズを被写体までの距離に応じて小さくしても、実空間内で同じ領域をフィルタリングすることができる。例えば、図１１Ｂにおいては、図１１Ｃに示すフィルタ１１３のように、フィルタサイズ２×２で、図１１Ａに示す４×４のフィルタと同等の実空間内での領域をフィルタリングすることができる。上述のように、被写体までの距離に応じて照明光成分算出に用いるフィルタサイズを小さくしても、照明光成分を平滑化するのに十分な実空間内の領域をフィルタリングすることができる。
【００６８】
ここで、図１２を参照しながら、被写体までの距離に基づき照明光成分を算出するフィルタのサイズを変更する一例を説明する。フィルタサイズは、例えば、図１２のグラフ１２０で示すように、被写体までの距離の増加に伴い減少させればよい。つまり、注目画素に対応した距離情報が示す被写体までの距離が大きい程、周辺画素として参照する範囲を小さくするようにすればよい。このように、被写体までの距離に応じてフィルタのサイズを小さくすることで、照明光成分を算出する際の計算量を低減する効果も得られる。
【００６９】
また、入力画像の高周波数成分Ｈも利用することで、更なる画質改善効果が得られる。よって、図３の撮像装置１ａでは、Ｈ算出部３１及びＨ加算部３６を設けている。Ｌ圧縮部３５において照明光成分Ｌを圧縮する階調変換処理を施すと、照明光成分Ｌのエッジ周辺は、照明光成分Ｌの値が小さい側は明るくなり、照明光成分Ｌの値が大きい側は明るさを抑えるため、照明光成分Ｌのエッジ周辺のコントラストは少なからず低下する。
【００７０】
そこで、照明光成分Ｌを圧縮する階調変換処理を施した画像に、Ｈ加算部３６が、Ｈ算出部３１で算出された入力画像の高周波数成分Ｈを加算することで、照明光成分Ｌのエッジ周辺のコントラストも高くなり、画質が向上する。
【００７１】
なお、高周波数成分を加算せずとも十分な画質改善効果が得られる。その場合、Ｈ加算部３６を設けずに、Ｌ圧縮部３５からの出力値、上述の例で言うと、数式（１）から数式（８）〜（１０）の処理により照明光成分を圧縮したＲＧＢ値を、出力画像として出力すればよい。
【００７２】
また、高周波成分を加算する場合であっても、例えば特許文献１に記載のように拡大してから加算してもよい。ただし、高周波数成分を加算しない場合には、コントラストが低下する領域は照明光成分Ｌのエッジ周辺であってその他の領域のコントラストは維持されることから、拡大した高周波数成分を足し合わせる場合には、過度にエッジが強調されないように調整を行えば、本発明の効果は十分に得られる。
【００７３】
以上、説明したように、本実施形態によれば、入力画像の照明光成分を、被写体までの距離を考慮して算出し、算出した照明光成分を圧縮し反射光成分を維持する階調変換処理を施すことで、暗部から明部までコントラストが高く、ハローの抑制された画像に変換し、入力画像の高周波成分を加算することで、更にコントラストの高い高画質な画像を得ることができる。
【００７４】
＜第２の実施形態＞
第１の実施形態では、画像処理を施す画像処理装置を備える撮像装置について述べたが、本発明に係る画像処理装置（図１の画像処理装置１０や図３の画像処理装置３０）は、図１や図３のように撮像装置内に備えていなくてもよく、例えば、液晶ディスプレイなどの表示装置に備えても、同様の効果は得られる。画像処理装置を表示装置に備える場合、表示装置に入力画像と距離情報が入力され、その画像処理装置で、入力画像に対し第１の実施形態と同様にコントラストが高くハローの抑制された画像に変換する画像処理を施し、表示装置に出力画像を表示する。
【００７５】
また、左右カメラＣL，ＣRの画像のみが入力され、距離情報が入力されない場合は、表示装置内で左右カメラＣL，ＣRの視差を算出して距離情報とすればよい。また、表示装置に限らず、パーソナルコンピュータ（ＰＣ）やブルーレイレコーダなどの映像機器に、本発明に係る画像処理装置を備え、入力画像をコントラストが高くハローの抑制された出力画像に変換してもよい。
【００７６】
＜第１、第２の実施形態の構成例＞
例えば図１で例示した画像処理装置１０における各部１１〜１３、或いは図３で例示した画像処理装置３０における各部３１〜３６など、本発明に係る画像処理装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【００７７】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、画像処理装置となる表示装置、ＰＣ、レコーダ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ、ＤＶＤ、ＢＤなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
【符号の説明】
【００７８】
１，１ａ…撮像装置、１０，３０…画像処理装置、１１，３２…明るさ（Ｙ）算出部、１２，３４…照明光成分（Ｌ）算出部、１３，３５…照明光成分（Ｌ）圧縮部、３１…高周波数成分（Ｈ）算出部、３３…視差算出部、３６…高周波数成分（Ｈ）加算部、ＣR…右カメラ、ＣL…左カメラ、Ｓ…シャッタ。
【技術分野】
【０００１】
本発明は、高画質な映像を得るための画像処理装置、及びその画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置の高機能化や高画質化が進んでいる。撮像画像の画質を決める要因の１つとして、コントラストがある。コントラストとは、画像中の暗部と明部の差を意味し、コントラストの高い方が明瞭な画像になる。また、ダイナミックレンジ（以下、ＤＲ）も画質を決める要因の１つである。ＤＲとは、識別可能な信号の最小値と最大値の比を意味するが、以下では、ＤＲを撮影シーン中の最大輝度と最小輝度の比とする。
【０００３】
液晶ディスプレイなどの表示装置に画像を表示する際、表示装置の表現可能な明るさの幅には限りがあるため、入力される画像と表示装置の性能に依っては、暗部の階調が失われる、いわゆる黒潰れが生じることがある。そこで、元画像の画素値を大きくする階調変換処理を施すことで、黒潰れが解消され暗部の明瞭な画像を得ることができる。しかし、画素値を大きくすることで、明部が飽和する、いわゆる白飛びが生じたりコントラストが低下したりし、明部領域では画質が劣化する。特に、ＤＲの高いシーンを撮影した画像は、暗部と明部が共存する可能性が高く、上述の課題が生じることが多い。
【０００４】
この課題に対し、Ｒｅｔｉｎｅｘ理論に基づく階調変換技術が提案されている。Ｒｅｔｉｎｅｘ理論とは、人間の視覚特性をモデル化した理論であり、物体の明るさは物体の反射率と照明光の積で決まり、物体の明るさに対する目の知覚は物体の反射率に強い相関を示すというものである。したがって、階調変換する際に、入力画像の照明光成分のみを圧縮し、物体の反射率成分を維持すれば、黒潰れ・白飛びがなくコントラストの高い画像を得ることができる。撮影画像から照明光と反射率を正確に分離することは容易ではないが、実空間において照明光は連続的に変化している可能性が高いと仮定すると、入力画像にローパスフィルタをかけて算出した低周波数成分を照明光成分とみなすことができる。そして、照明光成分を圧縮し、圧縮した照明光成分に入力画像の反射率成分を掛け合わせることにより、コントラストの高い画像を得ることができる。
【０００５】
しかし、実際には照明光が不連続に変化している場合もあり、前述の仮定に基づいた階調変換処理を施すと、照明光が急激に変化するエッジ周辺で、ハローと呼ばれるアンダーシュート・オーバーシュートが生じ、画質が劣化する。
【０００６】
ハローの発生原理について、図１３Ａ〜図１３Ｄを参照しながら説明する。図１３Ａは、屋内と屋外を同時に撮影したシーン、つまり屋内と屋外とが混在したシーンの画像の一例を示している。図１３Ｂは、図１３Ａの画像１３０中の矢印１３１がある位置での明るさの変化を示している。図１３Ｂのグラフ１３２で示すように、後景と前景のエッジで明るさが大きく変化しているのが分かる。矢印１３１の部分について、ローパスフィルタをかけて低周波数成分を算出すると、図１３Ｃのグラフ１３３で示すように、明るさが平滑化され急峻なエッジが緩やかになる。そして、算出した低周波数成分を基に、入力画像に対し低周波数成分を圧縮する処理を施すと、図１３Ｄのグラフ１３４で示すように、エッジ周辺でアンダーシュート・オーバーシュートが生じてしまい画質が劣化する。
【０００７】
ハローを抑制するために、特許文献１では、低周波数成分を算出するローパスフィルタにおいて、注目画素と周辺画素の画素値を比較し、その差が所定の閾値以上である場合には参照対象から除外することで、照明光が急激に変化するエッジ部分の低周波数成分が平滑化されエッジが緩やかになるのを回避し、ハローの発生を抑制している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２８１７６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では、注目画素と周辺画素との画素値を比較しているため、その差が照明光の違いに起因するものであるか、または物体の反射率の違いに起因するものであるのかが考慮されていない。したがって、特許文献１の方法で照明光成分を算出すると、照明光成分の差異が小さく物体の反射率成分の差異が大きい領域は、照明光成分に物体の反射率成分が反映されてしまい、照明光成分を圧縮した際に物体の反射光成分も圧縮されてしまう。その結果、コントラストが低下して画質が劣化する。
【００１０】
図１４Ａ〜図１４Ｄを参照しながら、従来技術の課題であるコントラストの低下を説明する。図１４Ａに示す入力画像１４０は、反射率が大きく異なる被写体が一様な照明光下に置かれている場合の入力画像である。入力画像１４０について、特許文献１の方法で低周波数成分を算出すると、矢印１４１で示す部分については、図１４Ｂのグラフ１４２で示すようになる。実際の照明光は一様であるが、算出する際に画素値の大きく異なる周辺画素を参照しないため、反射率の差異が照明光成分に反映されてしまう。そして、算出した低周波数成分を圧縮すると、変換後の低周波数成分は図１４Ｃのグラフ１４３で示すようになり、本来ならば反射率成分である成分が圧縮されてしまう。したがって、図１４Ｄに示すように、出力される画像１４４はコントラストが低下し画質が劣化する。
【００１１】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、入力画像から、ハローがなく、暗部から明部までコントラストの高い高画質な画像を得ることが可能な画像処理装置、及びその画像処理装置を備え撮影した画像を入力画像としてその画像処理装置で処理する撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出し、該照明光成分に基づき階調変換処理を施す画像処理装置であって、 前記照明光成分を、前記入力画像における被写体までの距離を示す距離情報から算出した前記注目画素に対応した前記距離情報と前記周辺画素に対応した前記距離情報の差異に応じて、明るさに対する重み付けを変え、かつ、前記注目画素に対応した前記距離情報に応じて、前記周辺画素として参照する範囲を異ならせて算出することを特徴としたものである。
【００１３】
本発明の第２の技術手段は、第１の技術手段において、前記照明光成分を、前記注目画素に対応した前記距離情報が示す被写体までの距離が大きい程、前記周辺画素として参照する範囲を小さくして算出することを特徴としたものである。
【００１４】
本発明の第３の技術手段は、第１または第２の技術手段において、前記階調変換処理が施された結果の画像に対して、更に前記入力画像から抽出した高周波数成分を加算することを特徴としたものである。
【００１５】
本発明の第４の技術手段は、第１〜第３のいずれかの技術手段における画像処理装置を備える撮像装置であって、撮影した画像を前記入力画像として前記画像処理装置に入力することを特徴としたものである。
【発明の効果】
【００１６】
本発明によれば、ハローがなく、暗部から明部までコントラストの高い高画質な画像を得ることが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る撮像装置の基本的な構成を示すブロック図である。
【図２】本発明に係る撮像装置の一例を示す外観図である。
【図３】本発明に係る撮像装置の一構成例を示すブロック図である。
【図４】被写体までの距離と視差の関係を表す図である。
【図５Ａ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｂ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｃ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｄ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｅ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図５Ｆ】本発明の処理、効果を、画像の画素値を用いて説明するための図である。
【図６Ａ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｂ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｃ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図６Ｄ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ａ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｂ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｃ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図７Ｄ】本発明の処理、効果を、実際の入力画像に適用して説明するための図である。
【図８】被写体までの距離と視差の関係を、具体的な数値を例に挙げて示す図である。
【図９】本発明における、照明光成分を圧縮する方法の一例を示す図である。
【図１０Ａ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｂ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｃ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１０Ｄ】遠方に複数の被写体がある場合における照明光成分算出方法を説明するための図である。
【図１１Ａ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１１Ｂ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１１Ｃ】フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。
【図１２】本発明において、被写体までの距離に基づき照明光成分を算出するフィルタのサイズを変更する一例を示す図である。
【図１３Ａ】ハローの発生原理を説明するための図である。
【図１３Ｂ】ハローの発生原理を説明するための図である。
【図１３Ｃ】ハローの発生原理を説明するための図である。
【図１３Ｄ】ハローの発生原理を説明するための図である。
【図１４Ａ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｂ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｃ】従来技術の課題であるコントラストの低下を説明するための図である。
【図１４Ｄ】従来技術の課題であるコントラストの低下を説明するための図である。
【発明を実施するための形態】
【００１８】
＜第１の実施形態＞
以下、添付図面を参照しながら、本発明に係る撮像装置についてその好適な実施の形態について説明する。
【００１９】
図１は、本発明に係る撮像装置の基本的な構成を示すブロック図である。図１で示す撮像装置１は、入力画像及び距離情報について画像処理を行う画像処理装置１０を備える。なお、その他、通常の撮像装置と同様に、撮像装置１には画像処理装置１０で処理された画像を記録する記憶装置（図示せず）を備えてもよい。
【００２０】
画像処理装置１０は、明るさ（Ｙ）算出部１１、照明光成分（Ｌ）算出部１２、及び照明光成分（Ｌ）圧縮部１３を備える。Ｙ算出部１１は、入力画像に対し、注目画素の明るさと周辺画素の明るさを算出する。Ｌ算出部１２は、入力画像に対し、Ｙ算出部１１で算出された注目画素の明るさと周辺画素の明るさに基づいて照明光成分を算出する。なお、元々明るさＹが情報として存在する場合もあるため、画像処理装置１０において、Ｙ算出部１１は必須ではない。
【００２１】
そして、画像処理装置１０は、Ｌ算出部１２で算出した照明光成分に基づき階調変換処理を施す装置である。この例では、この階調変換処理を、Ｌ圧縮部１３が照明光成分を圧縮することで行うものとする。
【００２２】
そして、本発明の主たる特徴として、Ｌ算出部１２は、照明光成分の算出に際し、入力画像における被写体までの距離を示す距離情報を取得し、注目画素に対応した距離情報と周辺画素に対応した距離情報の差異に基づいて、明るさに対する重み付けを変える。更にＬ算出部１２は、照明光成分の算出に際し、注目画素に対応した距離情報に応じて、周辺画素として参照する範囲、つまりフィルタリングの範囲を異ならせるようにする。各部１１〜１３の詳細については図３等を参照しながら説明する。
【００２３】
図２は、本発明に係る撮像装置の一例を示す外観図で、図１の撮像装置１としても適用可能な撮像装置の外観図である。以下では、図２に示すように撮像装置１ａには、左カメラＣL、右カメラＣRがそれぞれ左眼用、右眼用として配置されている場合について述べる。撮像装置１ａは、例えばシャッタＳの押下により、２つのカメラＣL，ＣRから視点の異なる２つの画像が撮影できるものである。ただし、視点の異なる画像は１つのカメラでも手動や撮像装置内の自動の移動機構により移動させ、撮影タイミングをずらして撮影することなどでも得られる。
【００２４】
図３は、本発明に係る撮像装置の一構成例を示すブロック図で、図２の撮像装置１ａの内部の構成例を示すブロック図である。図３に示す撮像装置１ａは、図１の撮像装置１のより好ましい構成例を示しており、画像処理装置１０の代わりに画像処理装置３０を備える。図３の撮像装置１ａは、図１の画像処理装置１０におけるＹ算出部１１、Ｌ算出部１２、及びＬ圧縮部１３を備えており、それぞれ明るさ（Ｙ）算出部３２、照明光成分（Ｌ）算出部３４、及び照明光成分（Ｌ）圧縮部３５として図示している。その他、撮像装置１ａの画像処理装置３０は、高周波数成分（Ｈ）算出部３１、視差算出部３３、及び高周波数成分（Ｈ）加算部３６を備える。
【００２５】
まず、撮像装置１ａでは、左右カメラＣL，ＣRでの撮影により左画像、右画像を入力画像として取得する。左画像は、Ｈ算出部３１、Ｙ算出部３２、及び視差算出部３３に入力され、右画像は、視差算出部３３に入力される。無論、左右の画像は逆に入力しても以下の説明を同様に適用することができる。
【００２６】
次に、視差算出部３３は、被写体までの距離情報として、これら左画像、右画像から視差を算出する。視差を算出する方法として、例えば、公知の技術として、ブロックマッチング法がある。ブロックマッチング法とは、画像間の類似度を評価する方法であり、一方の画像からある領域を選択し、その領域と最も類似度の高い領域を比較する画像から選択し、比較対象の領域と選択された最も類似度の高い領域との位置のずれが視差となる。類似度の評価には様々な評価関数が用いられる。例えば、ＳＡＤ（Sum of Absolute Difference）と言われる、両画像の画素値や輝度値の差異の絶対値の総和が最小となる領域を最も類似度の高い領域として選択する方法がある。
【００２７】
図４を参照しながら、被写体までの距離と視差の関係について説明する。左右カメラＣL，ＣRの画像間の視差ｄは、被写体までの距離Ｚ、基線長Ｂ、焦点距離ｆを用いてｄ＝Ｂｆ／Ｚと表され、被写体までの距離Ｚと反比例の関係にあり、図４のグラフ４０に示すように、被写体までの距離が近いほど視差は大きくなり、被写体までの距離が遠いほど視差は小さくなる。したがって、視差を被写体までの距離を表す指標として扱うことができる。また、被写体までの距離情報を、撮像装置に赤外線センサを備えて測定してもよい。
【００２８】
ただし、後述する画像処理過程において距離情報を用いる際に、入力画像と距離情報とを対応させる必要があることを考慮すると、赤外線センサから得られる情報と入力画像を対応させるよりは、左右カメラＣL，ＣRの画像から対応点を算出している視差を用いる方が好適である。
【００２９】
次に、Ｙ算出部３２が、入力画像から各画素の明るさＹを算出する。明るさＹは入力画像の画素値から算出することができ、例えば、入力画像がＲＧＢ値を持つカラー画像であれば、国際電気通信連合で定義されているＲＧＢからＹＣｂＣｒへの変換式より、
Ｙ＝0.29891×Ｒ＋ 0.58661×Ｇ＋0.11448×Ｂ ・・・（１）
と定義してもよい。
【００３０】
また、明るさＹをＲＧＢ値の最大値、Ｙ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）としてもよい。ＲＧＢ値の最大値を用いることで、後述する階調変換処理において画質改善効果が得られる。なお、Ｙ算出部３２における明るさＹの算出は、視差算出部３３における視差量の算出と並行して或いはその前後に行うことができる。また、照度センサ等により予め明るさの情報がある場合には、入力画像から明るさを算出する必要はなく、入力された明るさの情報を用いてもよい。
【００３１】
次に、Ｈ算出部３１が、入力画像（この例では左画像）から高周波数成分Ｈの抽出、つまり高周波数成分Ｈを算出する。高周波数成分Ｈを算出するにはハイパスフィルタを用いればよく、例えば、ソーベルフィルタのような空間微分フィルタが用いられる。なお、Ｈ算出部３１における算出は、Ｙ算出部３２や視差算出部３３における算出と並行して或いはその前後に行うことができる。
【００３２】
次に、Ｌ算出部３４が、入力画像の照明光成分Ｌを算出する。この算出方法について説明する。照明光成分Ｌは、例えば、上述の明るさＹを平滑化することで算出できる。所定の領域内（フィルタ内）で平滑化処理を行う際、フィルタ中央の照明光成分Ｌを算出する画素（以下、注目画素）とフィルタ内の注目画素周辺の画素（以下、周辺画素）にそれぞれ撮像されている被写体までの距離の差異を距離情報から算出し、その差異に応じて明るさを加重平均する。距離情報として視差を用いる場合、加重平均の重み付けは、視差の差が小さい場合は実空間内で近い位置にあり照明光成分Ｌの差異も小さいと考えられることから重みを大きくし、視差の差が大きい場合は実空間内で離れた位置にあり照明光成分Ｌの差異が大きい可能性があることから重みを小さくする。
【００３３】
図５Ａ〜図５Ｆを参照しながら、フィルタの一例として５×５のフィルタを用いて注目画素の照明光成分Ｌを算出する場合について、その算出を中心とした処理及び本発明の効果を説明する。なお、図５Ａ〜図５Ｆでは、具体的な画像の画素値を挙げて説明するが、他の画素値でも同様の効果が得られる。
【００３４】
図５Ａで示す画像の画素値５１は、注目画素Ｔを中心としたフィルタ範囲内の入力画像の明るさＹを示しており、図５Ｂで示す視差値５２は、同じく入力画像の視差値である。また、図５Ｃで示す照明光成分Ｌと図５Ｄで示す反射率成分Ｒはそれぞれ、照明光成分Ｌの正解値、反射率成分Ｒの正解値とする。したがって、図５Ｃの照明光成分Ｌと図５Ｄの反射率成分Ｒのそれぞれの値の積が、図５Ａの画像の画素値５１となる。
【００３５】
図５Ａの画素値５１を用いて、注目画素Ｔについて単純な平滑化をすると、
Ｌ ＝ （ 50×1 ＋ 100×16 ＋ 150×3 ＋ 200×5 ） ／ 25 ＝ 124
となる。
【００３６】
ここで、特許文献１に記載されている方法に基づき、明るさ（注目画素Ｔとの明るさの差）に応じて平滑化対象とするか否かを判定し、平滑化対象とする画素の重みを１、対象としない画素の重みを０として平滑化する。例えば、平滑化するか否かの画素値の差異を７５とすると、重み付けは図５Ｅに示す重み付け係数５５となり、平滑化すると、
Ｌ ＝ （ 50×1.0×1 ＋ 100×1.00×16 ＋ 150×0.00×3 ＋ 200×0.00×5 ） ／ （ 1.0×1 ＋ 1.00×16 ＋ 0.00×3 ＋ 0.00×5 ）
＝ 97
となり、図５Ｃに示す注目画素Ｔの正解値「２００」と比べてはるかに小さな値となる。
【００３７】
一方、本実施形態では、図５Ｂに示す視差値５２に基づいて図５Ｆに示すように重み付け係数５６を算出し、その重み付け係数５６で重み付けをして平滑化する。その結果は、
Ｌ ＝ （ 50×1.0×1 ＋ 100×0.25×13 ＋ 100×0.50×3 ＋ 150×0.5×3 ＋ 200×1.00×5 ） ／ （ 1.0×6 ＋ 0.50×6 ＋ 0.25×13 ）
＝ 143
となり、従来の方法と比較して、より正解値に近い照明光成分Ｌを算出することができることが分かる。すなわち、反射率成分Ｒを分離した良好な照明光成分Ｌを算出することができる。なお。ここでは、視差値５２に比例するように重み付け係数５６を決めた例を挙げているが、これに限らず、重み付け係数５６が視差値５２の傾向を反映したものであればよい。
【００３８】
その効果を分かりやすくするために、図６Ａ〜図６Ｄを参照しながら、本発明の処理及び効果を実際の入力画像に適用して説明する。図６Ａに示す入力画像６１に対して、本実施形態の方法で照明光成分Ｌを算出すると、図６Ｃに示す照明光成分Ｌの画像６３のようになる。図６Ｂで示す視差画像６２は、図６Ａの入力画像６１に対する視差を示す画像であり、明るい程視差が大きく距離が近く、暗い程視差が小さく距離が遠いことを意味している。照明光成分Ｌの画像６３と視差画像６２とを対応させて比較すると、距離が近い屋内と距離が遠い屋外とのエッジ周辺で照明光成分Ｌが急峻に変化しているのが分かる。
【００３９】
本発明の効果を確認するための比較例として、単純な平滑化フィルタを用いて照明光成分Ｌを算出すると、図６Ｄに示す照明光成分Ｌの画像６４のようになる。図６Ｃで示したように本実施形態で算出した照明光成分Ｌの画像６３が、屋内と屋外とのエッジ周辺で照明光成分Ｌが急峻に変化しているのに対し、単純な平滑化フィルタを用いた場合、図６Ｄの画像６４で示すようにエッジ周辺で照明光成分Ｌが緩やかに変化しており、これがハローの原因となる。
【００４０】
同様に、図７Ａ〜図７Ｄを参照しながら、本発明の処理及び効果を実際の入力画像（図６Ａ〜図６Ｆの例とは異なる入力画像）に適用して説明する。図７Ａに示す入力画像７１に対して、本実施形態の方法で照明光成分Ｌを算出すると、図７Ｃに示す照明光成分Ｌの画像７３のようになる。図７Ｂで示す視差画像７２は、図７Ａの入力画像７１に対する視差を示す画像であり、明るい程視差が大きく距離が近く、暗い程視差が小さく距離が遠いことを意味している。照明光成分Ｌの画像７３は、視差画像７２と比べると、距離が近い手前の被写体（シマウマ）と距離が遠い背景とのエッジ周辺で照明光成分Ｌが急峻に変化しており、かつシマウマの部分の照明光成分Ｌがほぼ均一になっていることが分かる。
【００４１】
本発明の効果を確認するための比較例として、特許文献１に記載されている方法で照明光成分Ｌを算出すると、図７Ｄに示す照明光成分Ｌの画像７４のようになる。図７Ｃで示したように本実施形態で算出した照明光成分Ｌの画像７３が、手前の被写体の照明光成分Ｌがほぼ均一になっているのに対し、特許文献１に記載の方法で処理した場合、図７Ｄの画像７４で示すように、手前の被写体の照明光成分Ｌが平滑化されず、照明光成分Ｌに反射光成分Ｒが含まれてしまっているのが分かる。これにより、特許文献１に記載の方法では、照明光成分Ｌを圧縮すると反射光成分Ｒも圧縮されてしまいコントラストが低下することになる。
【００４２】
ここで、図８を参照しながら、距離情報として視差を用いる場合の重み付けについて更に詳しく述べる。図８は、被写体までの距離と視差の関係を、具体的な数値を例に挙げて示す図である。図４のグラフ４０に示すように、左右カメラＣL，ＣRの画像間の視差は、被写体までの距離が遠くなるにつれて小さくなるとともに、被写体までの距離の変化に対する視差の変化量も小さくなる。すなわち、近い距離で視差が「１」異なるのと、遠い距離で視差が「１」異なるのとでは、実空間内での距離の差は異なる。例えば、被写体までの距離と視差とが図８に示すグラフ８０のような関係であるとすると、視差「１０」と「９」とでは実空間内の距離の差は小さいが、視差「２」と「１」とでは実空間内の距離の差が大きく、視差の差異が同じ「１」であっても、実空間内では距離の差が異なることがわかる。そこで、重み付けをする際、注目画素の視差値と、注目画素と周辺画素との視差の差異の大きさを共に考慮することで、距離情報として視差を用いる場合でも、実空間内の距離の差を反映する重み付けをすることができる。
【００４３】
例えば、照明光成分Ｌを算出する際の重みＷを以下に示す数式（２）のように定義すればよい。ここで、Ｄijは注目画素の視差、｜Ｄij - Ｄi+k,j+l｜は注目画素と参照画素の視差の差異、ｋ、ｌはそれぞれ、フィルタ内における参照画素の注目画素からの横、縦方向のずれ量を表す変数である。なお、数式（２）では、重み付け関数Ｗの一例を視差Ｄijを用いた場合で示しているが、距離情報として視差を用いずに距離を示す情報を用いる場合にも、同様の重み付けの式が一例として適用できる。
【００４４】
【数１】
【００４５】
注目画素の視差を「１０」、周辺画素の視差を「９」とすると、視差「１０」に対して差異は「１」であるから、重みは１−１／１０＝０．９となる。注目画素の視差を「２」、周辺画素の視差を「１」とすると、視差「２」に対して差異は「１」であるから、重みは１−１／２＝０．５となり、視差の差異が同じ値であっても、実空間内の距離の差を反映した重み付けとなる。
【００４６】
注目画素と参照画素の距離の差異を考慮した照明光成分Ｌの算出方法を数式で表すと、以下に示す数式（３）のようになる。
【００４７】
【数２】
【００４８】
ここで、Ｄijは注目画素の距離情報、｜Ｄij - Ｄi+k,j+l｜は注目画素と参照画素の距離情報の差異、ｋ、ｌはそれぞれフィルタの横、縦方向のサイズである。また、Ｗ（Ｄij，｜Ｄij - Ｄi+k,j+l｜）は、Ｄij、｜Ｄij - Ｄi+k,j+l｜を変数とする重み付け関数である。
【００４９】
上述のように、本実施形態では、照明光成分Ｌを算出する際に、注目画素と周辺画素との距離の差異を考慮することで、図６Ａの入力画像６１や図７Ａの入力画像７１ような、従来の算出方法では照明光成分に反射光成分が反映されてしまうシーンにおいても、良好な照明光成分を算出することができる。
【００５０】
次に、階調変換処理について述べる。物体の明るさは物体の反射率と照明光の積で決まることから、入力画像の明るさＹを、照明光成分Ｌと反射光成分Ｒを用いて、
Ｙ＝Ｒ×Ｌ ・・・（４）
と表す。また、階調変換後の画像の明るさをＹ′、照明光成分をＬ′、反射光成分をＲ′とすると、
Ｙ′＝Ｒ′×Ｌ′ ・・・（５）
と表せる。
【００５１】
本実施形態では、入力画像の照明光成分Ｌのみを圧縮し、反射率成分Ｒを維持するよう階調変換を施す。すなわち、階調変換の前後で反射率成分が変化しない処理を施せばよく、次の数式（６）の関係が成り立てばよい。
Ｒ＝Ｒ′ ・・・（６）
【００５２】
数式（４）〜（６）より反射率成分を消去すると、
Ｙ′＝Ｙ×Ｌ′／Ｌ ・・・（７）
となり、階調変換後の画像の明るさＹ′が、入力画像の明るさＹ、照明光成分Ｌ、階調変換後の画像の照明光成分Ｌ′のみで表される。したがって、階調変換後の照明光成分Ｌ′を定義すれば、反射光成分を算出することなく、反射率成分を維持する階調変換処理を施すことができる。
【００５３】
次に、照明光成分Ｌ′の定義について説明する。本実施形態では、図３のＬ圧縮部３５が、照明光成分を圧縮する階調変換処理を施す。すなわち、照明光成分Ｌを圧縮するよう照明光成分Ｌ′を定義する。
【００５４】
図９を参照しながら、この圧縮方法の一例を説明する。図９で示す、グラフ９０のように、照明光成分Ｌに対し照明光成分Ｌ′が上に凸になるよう定義すると、暗部領域はより明るくなり、明部領域は明るさが抑えられ、照明光成分が圧縮される。なお、グラフ９０は各階調値について個別に定めた変換値の一例であるが、表示装置の性能に依って画像の見え方は変わるため、このグラフ９０で示すような階調変換テーブルを数パターン保持しておき、表示装置に合わせて最適なテーブルを選択するようにしておいてもよい。
【００５５】
上述の圧縮の処理を、ＲＧＢ値を有するカラー画像に適用する場合、階調変換後の画素値をＲ′Ｇ′Ｂ′とすると、以下の数式（８）〜（１０）に示すように、入力画像の画素値ＲＧＢに対しＬ′／Ｌを掛ければよい。
【００５６】
Ｒ′＝ Ｒ×Ｌ′／Ｌ ・・・（８）
Ｇ′＝ Ｇ×Ｌ′／Ｌ ・・・（９）
Ｂ′＝ Ｂ×Ｌ′／Ｌ ・・・（１０）
【００５７】
Ｒ′Ｇ′Ｂ′と数式（１）からＹ′を算出すると、
Ｙ′＝0.29891×Ｒ′＋ 0.58661×Ｇ′＋0.11448×Ｂ′
＝（0.29891×Ｒ＋ 0.58661×Ｇ＋0.11448×Ｂ）×Ｌ′／Ｌ
＝Ｙ×Ｌ′／Ｌ
となり、数式（７）の関係を満たしていることがわかる。
【００５８】
また、明るさＹをＲＧＢ値の最大値と定義する場合も同様に、数式（７）の関係が満たされる。明るさＹをＲＧＢ値の最大値を用いる場合、彩度が高い領域において以下のような効果がある。彩度が高い画素、例えば、ＲＧＢ値が（Ｒ，Ｇ，Ｂ）＝（１０，１０，２５５）という画素について、数式（１）を用いて明るさＹを算出すると、Ｙ＝３８となり、ＲＧＢ値の最大値を用いるとＹ＝２５５となる。上述の階調変換処理では、暗い領域をより明るくするため、数式（１）から算出した明るさＹを用いると、暗い領域としてみなし明るくする処理を施し、Ｂ値はすでに飽和しているため、Ｒ、Ｇ値のみが増加し、彩度が低下する可能性がある。一方、明るさＹとしてＲＧＢ値の最大値を用いると、上述の画素は飽和した明るい画素とみなし明るさを抑えるため、彩度が低下しない。したがって、数式（８）〜（１０）に示す階調変換処理を施す場合は、ＲＧＢ値の最大値を明るさＹとする方が好適である。
【００５９】
上述の階調変換処理により、照明光成分を圧縮することで暗部から明部まで明瞭な画像を得ることができる。また、Ｌが連続的な領域では近接する画素間の照明光成分Ｌの値の差異が小さく、すなわち、近接画素間のＬ′／Ｌの差異も小さいため、上述の階調変換処理によって近接画素間のコントラストは維持され、暗部から明部までコントラストの高い高画質な画像が得られる。
【００６０】
また、図３のＬ算出部３４の処理に関し、照明光成分算出に用いるフィルタサイズを被写体までの距離に応じて変えることで、更なる画質改善効果が得られる。この処理について具体的に説明する。
【００６１】
照明光成分を算出する際、フィルタサイズが極端に小さいと照明光成分が十分に平滑化されない可能性があるため、フィルタはある程度の大きさがある方が好適である。しかし、フィルタのサイズが大きい場合、遠方にある被写体については、実空間内では照明光が急峻に変化していても、距離情報上では距離の差異を判別できず、その結果、照明光成分が平滑化されエッジが緩やかになりハローの原因となる可能性がある。実際、赤外線センサや視差情報を得る左右カメラＣL，ＣR（つまりステレオカメラ）といった、距離情報の算出手段は、遠方の算出分解能が低く、例えば、図４のグラフ４０で示したように、被写体までの距離が遠いほど距離の変化に対する視差の変化が小さくなり、視差の距離に対する分解能が低下し、ある閾値以上の距離で視差が収束する。したがって、遠方の異なる距離に２つの被写体が存在する場合、実空間内において異なる距離に存在していても、距離情報上では距離の差異を判別できないことがある。
【００６２】
遠方に複数の被写体がある場合の照明光成分算出方法について、図１０Ａ〜図１０Ｄを参照しながら説明する。図１０Ａで示す入力画像１００には、前景に被写体１０１、後景に２つの被写体１０２，１０３が写っている。なお、この例では遠方に２つの被写体がある例を挙げているが、３つ以上の被写体があっても以下の処理は同様に適用できる。また、入力画像１００に対する距離情報を示す画像は、図１０Ｂで示す距離画像１０４のようになる。距離画像１０４では、明るい色ほど被写体までの距離が小さいことを意味している。
【００６３】
被写体１０２と被写体１０３は実空間内においては異なる距離に存在するが、図１０Ｂの距離画像１０４のように、入力される距離情報は共に同じ距離になってしまう。図１０Ａの入力画像１００及び図１０Ｂの距離画像１０４を用いて照明光成分を算出すると、被写体１０１と被写体１０２、被写体１０１と被写体１０３とはそれぞれ距離情報が異なるため、距離の差異を考慮できる。一方で、被写体１０２と被写体１０３は距離情報に差異がなく、図１０Ｃの画像１０５（図１０Ａの入力画像１００にフィルタを図示したもの）で示すように、フィルタ１０６内で被写体１０２と被写体１０３を同じ距離にある被写体として扱うことになり、実空間内では照明光の異なる領域の照明光成分を平滑化して算出する可能性がある。
【００６４】
そこで、本実施形態では、被写体までの距離が大きい場合は、図１０Ｄの画像１０７（（図１０Ａの入力画像１００に小さくしたフィルタを図示したもの）においてフィルタ１０８で示すように、フィルタサイズを小さくし、照明光成分算出の際に、実空間内で距離の異なる複数の被写体を、同じ距離にある被写体として扱うことを回避する。その結果、距離情報からは距離の判別ができない遠方に、照明光の異なる複数の被写体がある場合でも、実空間内の照明光の急峻な変化を反映する良好な照明光成分を算出することができる。つまり、距離情報に応じてフィルタサイズを異ならせる距離適応フィルタを採用することで、照明光成分算出の際に、実空間内で距離の異なる複数の被写体を、同じ距離にある被写体として扱うことを回避することができる。
【００６５】
また、フィルタサイズを小さくすると、照明光成分が十分に平滑化されない可能性があると述べたが、単位フィルタサイズ当たりの実空間内のフィルタリング領域は、被写体までの距離に増加に伴い増加するため、被写体までの距離が大きい場合はフィルタのサイズを小さくしても実空間内で十分な領域をフィルタリングすることができる。
【００６６】
この点について、図１１Ａ〜図１１Ｃを参照しながら説明する。図１１Ａ〜図１１Ｃは、フィルタリングする領域と被写体の大きさとの相対的な大きさを比較するための図である。図１１Ａには、被写体１１１を近距離から撮影する場合の撮影画像を示し、図１１Ｂには、被写体１１１を遠距離から撮影する場合の撮影画像を示している。なお、図１１Ａ〜図１１Ｃにおいて、四角のマス１つ１つは画素を示しており、便宜上、１１×１１画素で構成される画像を示している。図１１Ａでは被写体１１１は大きく写っており、図１１Ｂでは被写体１１１は小さく写っている。また、図１１Ａ、図１１Ｂにおいて、照明光成分算出に用いるフィルタ１１２のサイズを４×４として図中に点線の枠で示している。
【００６７】
被写体１１１とフィルタ１１２の相対的な大きさを比較すると、図１１Ａでは被写体１１１の一部をフィルタリングすることになり、図１１Ｂでは被写体１１１の全体をフィルタリングすることになる。つまり、フィルタサイズが同じ場合、被写体までの距離の増加に伴い、フィルタリングする実空間内の領域も増加する。したがって、照明光成分算出に用いるフィルタサイズを被写体までの距離に応じて小さくしても、実空間内で同じ領域をフィルタリングすることができる。例えば、図１１Ｂにおいては、図１１Ｃに示すフィルタ１１３のように、フィルタサイズ２×２で、図１１Ａに示す４×４のフィルタと同等の実空間内での領域をフィルタリングすることができる。上述のように、被写体までの距離に応じて照明光成分算出に用いるフィルタサイズを小さくしても、照明光成分を平滑化するのに十分な実空間内の領域をフィルタリングすることができる。
【００６８】
ここで、図１２を参照しながら、被写体までの距離に基づき照明光成分を算出するフィルタのサイズを変更する一例を説明する。フィルタサイズは、例えば、図１２のグラフ１２０で示すように、被写体までの距離の増加に伴い減少させればよい。つまり、注目画素に対応した距離情報が示す被写体までの距離が大きい程、周辺画素として参照する範囲を小さくするようにすればよい。このように、被写体までの距離に応じてフィルタのサイズを小さくすることで、照明光成分を算出する際の計算量を低減する効果も得られる。
【００６９】
また、入力画像の高周波数成分Ｈも利用することで、更なる画質改善効果が得られる。よって、図３の撮像装置１ａでは、Ｈ算出部３１及びＨ加算部３６を設けている。Ｌ圧縮部３５において照明光成分Ｌを圧縮する階調変換処理を施すと、照明光成分Ｌのエッジ周辺は、照明光成分Ｌの値が小さい側は明るくなり、照明光成分Ｌの値が大きい側は明るさを抑えるため、照明光成分Ｌのエッジ周辺のコントラストは少なからず低下する。
【００７０】
そこで、照明光成分Ｌを圧縮する階調変換処理を施した画像に、Ｈ加算部３６が、Ｈ算出部３１で算出された入力画像の高周波数成分Ｈを加算することで、照明光成分Ｌのエッジ周辺のコントラストも高くなり、画質が向上する。
【００７１】
なお、高周波数成分を加算せずとも十分な画質改善効果が得られる。その場合、Ｈ加算部３６を設けずに、Ｌ圧縮部３５からの出力値、上述の例で言うと、数式（１）から数式（８）〜（１０）の処理により照明光成分を圧縮したＲＧＢ値を、出力画像として出力すればよい。
【００７２】
また、高周波成分を加算する場合であっても、例えば特許文献１に記載のように拡大してから加算してもよい。ただし、高周波数成分を加算しない場合には、コントラストが低下する領域は照明光成分Ｌのエッジ周辺であってその他の領域のコントラストは維持されることから、拡大した高周波数成分を足し合わせる場合には、過度にエッジが強調されないように調整を行えば、本発明の効果は十分に得られる。
【００７３】
以上、説明したように、本実施形態によれば、入力画像の照明光成分を、被写体までの距離を考慮して算出し、算出した照明光成分を圧縮し反射光成分を維持する階調変換処理を施すことで、暗部から明部までコントラストが高く、ハローの抑制された画像に変換し、入力画像の高周波成分を加算することで、更にコントラストの高い高画質な画像を得ることができる。
【００７４】
＜第２の実施形態＞
第１の実施形態では、画像処理を施す画像処理装置を備える撮像装置について述べたが、本発明に係る画像処理装置（図１の画像処理装置１０や図３の画像処理装置３０）は、図１や図３のように撮像装置内に備えていなくてもよく、例えば、液晶ディスプレイなどの表示装置に備えても、同様の効果は得られる。画像処理装置を表示装置に備える場合、表示装置に入力画像と距離情報が入力され、その画像処理装置で、入力画像に対し第１の実施形態と同様にコントラストが高くハローの抑制された画像に変換する画像処理を施し、表示装置に出力画像を表示する。
【００７５】
また、左右カメラＣL，ＣRの画像のみが入力され、距離情報が入力されない場合は、表示装置内で左右カメラＣL，ＣRの視差を算出して距離情報とすればよい。また、表示装置に限らず、パーソナルコンピュータ（ＰＣ）やブルーレイレコーダなどの映像機器に、本発明に係る画像処理装置を備え、入力画像をコントラストが高くハローの抑制された出力画像に変換してもよい。
【００７６】
＜第１、第２の実施形態の構成例＞
例えば図１で例示した画像処理装置１０における各部１１〜１３、或いは図３で例示した画像処理装置３０における各部３１〜３６など、本発明に係る画像処理装置の各構成要素は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【００７７】
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、画像処理装置となる表示装置、ＰＣ、レコーダ等の装置に供給し、その装置内のマイクロプロセッサまたはＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ、ＤＶＤ、ＢＤなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
【符号の説明】
【００７８】
１，１ａ…撮像装置、１０，３０…画像処理装置、１１，３２…明るさ（Ｙ）算出部、１２，３４…照明光成分（Ｌ）算出部、１３，３５…照明光成分（Ｌ）圧縮部、３１…高周波数成分（Ｈ）算出部、３３…視差算出部、３６…高周波数成分（Ｈ）加算部、ＣR…右カメラ、ＣL…左カメラ、Ｓ…シャッタ。
【特許請求の範囲】
【請求項１】
入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出し、該照明光成分に基づき階調変換処理を施す画像処理装置であって、
前記照明光成分を、
前記入力画像における被写体までの距離を示す距離情報から算出した前記注目画素に対応した前記距離情報と前記周辺画素に対応した前記距離情報の差異に応じて、明るさに対する重み付けを変え、
かつ、
前記注目画素に対応した前記距離情報に応じて、前記周辺画素として参照する範囲を異ならせて算出する
ことを特徴とする画像処理装置。
【請求項２】
前記照明光成分を、
前記注目画素に対応した前記距離情報が示す被写体までの距離が大きい程、前記周辺画素として参照する範囲を小さくして算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階調変換処理が施された結果の画像に対して、更に前記入力画像から抽出した高周波数成分を加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理装置を備える撮像装置であって、撮影した画像を前記入力画像として前記画像処理装置に入力することを特徴とする撮像装置。
【請求項１】
入力画像に対し、注目画素の明るさと周辺画素の明るさから照明光成分を算出し、該照明光成分に基づき階調変換処理を施す画像処理装置であって、
前記照明光成分を、
前記入力画像における被写体までの距離を示す距離情報から算出した前記注目画素に対応した前記距離情報と前記周辺画素に対応した前記距離情報の差異に応じて、明るさに対する重み付けを変え、
かつ、
前記注目画素に対応した前記距離情報に応じて、前記周辺画素として参照する範囲を異ならせて算出する
ことを特徴とする画像処理装置。
【請求項２】
前記照明光成分を、
前記注目画素に対応した前記距離情報が示す被写体までの距離が大きい程、前記周辺画素として参照する範囲を小さくして算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記階調変換処理が施された結果の画像に対して、更に前記入力画像から抽出した高周波数成分を加算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理装置を備える撮像装置であって、撮影した画像を前記入力画像として前記画像処理装置に入力することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図５Ｆ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１Ａ】
【図１１Ｂ】
【図１１Ｃ】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【公開番号】特開２０１２−２５６１６８（Ｐ２０１２−２５６１６８Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２８３２２（Ｐ２０１１−１２８３２２）
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月８日（２０１１．６．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]