画像処理装置及び画像処理方法
【課題】画像のノイズに影響を受けずに対象画素の拡散反射成分を分離する方法の提供。
【解決手段】本実施形態の画像処理装置は、入力画像に含まれる画素の色相を算出する色相算出部と、前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部とを有する。
【解決手段】本実施形態の画像処理装置は、入力画像に含まれる画素の色相を算出する色相算出部と、前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、入力画像から拡散反射成分を分離する画像処理装置及び方法に関する。
【背景技術】
【０００２】
入力画像を鏡面反射成分と拡散反射成分に分離する技術が必要とされている。例えば、ロボットビジョンによる物体認識の分野では、光沢のある物体表面の反射特性を取得することで認識精度を高めることが考えられている。これに対して、画像内の物体の色相を用いて画素を抽出し、抽出された画素の中からその表面本来の色成分を表す拡散反射率を推定する技術がある。推定された拡散反射率を用いて照明によって変化する色を分離することで、対象画素の拡散反射成分と鏡面反射成分とを分離する技術が開示されている。しかし、処理対象の画像の画素値にノイズが混入すると、観測される画素の色相が真値から大きくずれる。そのため、固定された閾値で色相を区分する非特許文献１では処理対象の画素と同じ拡散反射率の表面に含まれる画素の抽出精度が落ちる。そのため、結果的に拡散反射成分の分離精度も落ちる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】肥後ら（２００６），"二色性反射モデルに基づくリアルタイム鏡面反射成分除去," 情報処理学会コンピュータビジョンとイメージメディア研究会 (CVIM), pp.２１１-２１８.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本実施形態は、上記に鑑みてなされたものであって、画像のノイズに影響を受けずに対象画素の拡散反射成分を分離する方法の提供にある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本実施形態の画像処理装置は、入力画像に含まれる画素の色相を算出する色相算出部と、前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部とを有する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の画像処理装置１０を示すブロック図。
【図２】第１の実施形態の動作を示すフローチャート。
【図３】第１の実施形態の抽出部１２の動作を示すフローチャート。
【図４】第１の実施形態の画像処理装置２０を示すブロック図。
【図５】第２の実施形態の動作を示すフローチャート。
【図６】第２の実施形態の確率算出部２２の動作の一例。
【図７】第２の実施形態の確率算出部２０３の動作を示すフローチャート。
【図８】第２の実施形態の確率算出部２０３の動作の一例。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本発明の実施形態の画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。
【０００８】
（第１の実施形態）
（１）画像処理装置１０
図１は、本実施形態の画像処理装置１０のブロック図である。
画像処理装置１０は、色相算出部１１、抽出部１２、色度算出部１３、拡散反射率算出部１４、分離部１５を有する。
【０００９】
入力画像信号は、各画素に対する画素値を含む。画素値は、例えば国際電機連合（以下、ＩＴＵと記載）の規格に基づく輝度信号、色信号を有する画像信号であり、三原色であるＲＧＢを成分とする方式と、ＲＧＢから輝度信号および色差信号に変換した方式のどちらであっても構わない。本実施形態では一例として、ＩＴＵ−ＲＢＴ．６０１規格における三原色に対応したＲＧＢを成分とする方式に関して説明する。そのため、入力画像における各画素の画素値は、赤色成分の輝度を有するＲチャンネルと、緑色成分の輝度を有するＧチャンネルと、青色成分の輝度を有するＢチャンネルとで表現される。それぞれ、Ｒチャンネルが０〜ｒ０、Ｇチャンネルが０〜ｇ０、Ｂチャンネルが０〜ｂ０の離散化された画素値を有する。
【００１０】
物体（被写体）からの反射光は２つの物理的に異なった経路で反射する。一つは物体の表面の境界で反射し、この反射は鏡面反射と呼ばれる。もう一方は、物体表面の凹凸に入射した光の散乱によるものであり、この反射を拡散反射と呼ぶ。拡散反射は、光源の色とは異なったオブジェクトの表面に固有の色とされる。
【００１１】
色相算出部１１は、入力画像信号に含まれる各画素の色相を算出する。算出された色相は、抽出部１２へ送られる。色相とは、色の属性の一つで、赤や黄色といった色味の違いを示す。詳細は後述する。
【００１２】
抽出部１２は、対象画素の画素値に応じて基準を設定し、基準よりも対象画素に近い色相を有する画素を含む第１のグループを抽出する。第１のグループとして抽出された画素の情報を色度算出部１３へ送る。
【００１３】
色度算出部１３は、第１のグループに含まれる画素及び対象画素の色度を算出し、算出した色度を拡散反射率算出部１４へ送る。
【００１４】
拡散反射率算出部１４は、対象画素、及び、第１グループに含まれる画素の色度を用いて、対象画素の物体本来の色成分を示す拡散反射率を算出し、分離部１５に送る。
【００１５】
分離部１５は、対象画素の拡散反射率を用いて、対象画素の拡散反射率によって変化する色成分（以下、拡散反射成分と記載）と、対象画素が照明光を鏡面反射することによって変化する色成分（以下、鏡面反射成分）とを分離し、出力する。なお、本実施形態では拡散反射成分と鏡面反射成分の双方を求めて出力する構成について説明するが、いずれか一方のみを出力する構成であっても構わない。
【００１６】
次に、図２を用いて画像処理装置１０の動作について説明する。あわせて、画像処理装置１０の各部の説明も行う。
（２）色相算出部１１
色相算出部１１は、入力画像信号に含まれる各画素の色相を算出する。算出された色相を抽出部１２へ送る（Ｓ１０１）。
本実施形態における色相は、ＩＴＵ−ＲＢＴ．７０９規格における三原色に対応したＲＧＢ色空間における色相を算出することが望ましい。何故なら、ＢＴ．７０９は液晶ディスプレイやプラズマディスプレイの表示における最も一般的な規格であるため、入力画像として伝送される信号の多くは、このＲＧＢ空間内に存在するからである。この時、色相を算出する空間は、ＲＧＢ色空間から変換できる色空間であればどのような空間であっても構わない。具体的には、ＸＹＺ空間、Ｙｘｙ空間、Ｌａｂ空間、ＨＳＩ空間などの一般的な空間内で算出しても構わない。一例として、ＲＧＢ色空間における色相ｈの算出式を下に示す。
ｈ＝１８０×ａｔａｎ（（ｒ／（ｒ＋ｇ＋ｂ））／（ｇ／（ｒ＋ｇ＋ｂ））） …式１
ここで、ｒ、ｇ、ｂは各画素の画素値を、ａｔａｎはアークタンジェント関数を示す。ｈは−１８０〜１８０の値を取る連続値を取る。
【００１７】
（３）抽出部１２
抽出部１２は、対象画素の画素値に応じて基準を設定し、基準よりも対象画素に近い色相を有する画素を含む第１のグループを抽出する（Ｓ１０２）。本実施形態では基準として、対象画素の画素値に応じて異なる色相の閾値を設定し、閾値以下の色相を有する第１グループに含まれる画素を第１の画素グループとして抽出し、色度算出部１３へ送る。
【００１８】
図３は、抽出部１２が行うＳ１０２の詳細な動作を説明する図である。
対象画素ｉの画素値ｒｉ、ｇｉ、ｂｉに応じて異なる閾値εｉを設定する（Ｓ１２０１）。この時、εｉは次式によって設定する。
εｉ＝ｃ×σｉ（ｒｉ，ｇｉ，ｂｉ） …式２
ここで、ｒｉ、ｇｉ、ｂｉは、対象画素ｉの画素値である。ｃは０以上の定数である。
【００１９】
σｉは、対象画素の画素値によってその大きさが変動する値である。例えば、ｒｉが非常に大きくｇｉとｂｉが非常に小さいような画素では、全チャンネルに同じ強さのランダムにノイズがのっても、真の色相（赤）に対する偏差は非常に小さくなる。一方、ｒｉ、ｇｉ、ｂｉが同程度であり、ｒｉがやや大きい画素では、全チャンネルに同じ強さのランダムにノイズがのると、本来は真の色相が赤であるにも関わらず、ノイズがのった画素の色相が緑や青になる場合があるので、真の色相（赤）に対する偏差は非常に大きくなる。そのため、σｉは、対象画素ｉの画素値ｒｉ、ｇｉ、ｂｉに応じて設定されることが望ましい。本実施形態では、画素値ｒ、ｇ、ｂの想定される全ての組み合わせに対してσを予め保持することが望ましい。何故なら、予めσを算出して保持することで演算回数を削減し、処理コストを小さくできるからである。また、上述した関係性からσｉを近似しても構わない。または、画素値ごとに閾値をあらかじめ求めておき、対応させて記憶しておく構成であっても構わない。
【００２０】
対象画素ｉの色相ｈｉと、対象画素ｉの周辺に位置する入力画像に含まれる画素ｎの色相ｈｎとの差がεｉ以下であるか否かを判定する（Ｓ１２０２）。例えば、周辺に位置する画素として、対象画素ｉを中心としたＭ画素×Ｍ画素の領域内に位置する画素を抽出する。Ｓ１２０３がＹｅｓの場合に、周辺画素ｎを第１の画素グループに登録する（Ｓ１２０３）。
【００２１】
一般に、物体表面の色はその表面固有の拡散反射率によって決定される。この時、拡散反射率が等しい表面は同じ色相となる。そのため、色相を用いることで対象画素と拡散反射率が等しい表面素材からの反射光を撮像したと推定される画素を抽出できる。
【００２２】
しかしながら、画素値にノイズがのることで、算出される色相が実際の被写体の色相から大きくずれることが分かった。それにより、本来は対象画素と同じ表面素材の画素の抽出に失敗しやすくなる。本実施形態では、画素値にノイズがのることで色相が真の値から大きくずれても、ノイズに起因するずれの大きさに適応した色相の閾値処理を行なうことで、対象画素に対する第１の画素グループを正確に抽出できる。
【００２３】
本発明の第一の実施形態では、対象画素と同一表面の画素として、対象画素の周辺から前記第１のグループを抽出する。一般に同一の物体表面は連続しており、空間的に近い位置に存在するが、非同一表面は、例え同一の色相を有していても空間的に遠い位置に存在することが多い。そのため、本実施形態によれば、対象画素と同一色相を有する非同一表面を除いて、真に同一である表面の画素値だけを抽出することが可能となる。
【００２４】
（４）色度算出部１３
色度算出部１３は、対象画素、及び、第１の画素グループの画素値を用いて各画素の色度を算出し、拡散反射率算出部１４へ送る。（Ｓ１０３）。本実施形態では、対象画素、及び、第１の画素グループの画素の色度Ｄ（ｄｒ，ｄｇ）は、式３〜６により算出する。
Ｄ（ｄｒ，ｄｇ）， …式３
ｄｒ＝ｒ／（ｒ＋ｇ＋ｂ）， …式４
ｄｇ＝ｇ／（ｒ＋ｇ＋ｂ）． …式５
ｄｂ＝１−ｄｒ−ｄｇ …式６
ここで、ｒ、ｇ、ｂは各画素の画素値である。また、ｄｒは各画素の正規化された赤成分の強さを、ｄｇは各画素の正規化された緑成分の強さを示す。ｄｂは、各画素の正規化された青成分の強さであり、ｄｒとｄｇから算出できる。すなわち色度Ｄは、各画素の各チャンネルの画素値ｒ、ｇ、ｂのバランスを正規化した後、ｒとｇの平面に射影した情報として伝送される。尚、同様の性質を有する色度であれば、上記に示した以外にＹｘｙ色度やＹｕｖ色度によって色度Ｄを算出しても構わない。
【００２５】
（５）拡散反射率算出部１４
拡散反射率算出部１４は、対象画素、及び、第１グループに含まれる画素の色度を用いて、対象画素の本来の色成分を示す拡散反射率を算出し、分離部１５に送る。（Ｓ１０４）。
【００２６】
ここで、拡散反射率Ｄｉは式７によって算出する。
Ｄｉ＝ Σ（Ｄｊ×√（（ｄｒｊ）^２＋（ｄｇｊ）^２））／Σ（√（（ｄｒｊ）^２＋（ｄｇｊ）^２））， ０＜ｊ≦ｎ …式７
ここで、Ｄｊは対象画素ｉを含む領域内に含まれる周辺画素ｎ個の画素のうちのｊ番目の画素の色度を、ｄｒｊはｊ番目の画素の色度における正規化された赤成分の強さを、ｄｒｊはｊ番目の画素の色度における正規化された緑成分の強さを示す。また、ｄｒｊの二乗とｄｇｊの二乗との和の平方根は、ｊ番目の画素の色の濃さ、すなわち、色純度を示す。
【００２７】
第１の画素グループの中で色純度が高い画素は、その表面本来の色成分を有している可能性が高い。そのため、本実施形態では、式７に示した様に各画素の色度を周辺画素の色純度に応じて重み付け加算平均することで、対象画素の本来の色成分を示す拡散反射率を取得することが可能となる。なお、重み付け加算平均による算出手法は一例であり、そのほかの方法であっても構わない。例えば、第１の画素グループの中で最も色純度の高い画素の色成分を拡散反射率として取得してもかまわない。また、第１の画素グループの中の画素を用いて色純度のヒストグラムを生成し、最大値、平均値、中間値、中央値、最小値、パーセンタイルなどの色統計情報を用いて拡散反射率を算出してもかまわない。
【００２８】
（６）分離部１５
分離部１５は、対象画素の拡散反射率を用いて、対象画素の拡散反射成分と、鏡面反射成分とを分離し、出力する（Ｓ１０５）。
【００２９】
物体表面の色を、鏡面反射の輝度と拡散反射の輝度の線形和で表現するモデル（以下、二色性反射モデルと記載）がある。本実施形態では、二色性反射モデルに基づき、拡散反射率Ｄｉを用いて、対象画素の画素値ｒｉ、ｇｉ、ｂｉを、鏡面反射の輝度と拡散反射の輝度の線形和による方程式を立式する。色のチャンネル毎の方程式を以下に示す。
ｒｉ＝αｉ×ｄｒｉ＋βｉ， …式８
ｇｉ＝αｉ×ｄｇｉ＋βｉ， …式９
ｂｉ＝αｉ×（１−ｄｒｉ―ｄｇｉ）＋βｉ． …式１０
この時、ｄｒｉは拡散反射率Ｄｉにおける正規化された赤成分の強さを、ｄｇｉは拡散反射率Ｄｉにおける正規化された緑成分の強さ、（１−ｄｒｉ―ｄｇｉ）は拡散反射率Ｄｉにおける正規化された青成分の強さを示す。また式８〜１０における右辺の第一項は、これを二色性反射モデルにおける拡散反射の輝度を、第二項は鏡面反射の輝度を表す。αｉは拡散反射係数、βｉは鏡面反射係数を意味するが、現段階では未知数である。
【００３０】
次に、式８〜１０を用いて連立方程式を解くことで、αｉとβｉを算出する。この時、これまでに拡散反射率Ｄｉにおける正規化された赤成分の強さｄｒｉと、拡散反射率Ｄｉにおける正規化された緑成分の強さｄｇｉと、拡散反射率Ｄｉにおける正規化された青成分の強さ（１−ｄｒｉ―ｄｇｉ）は既知であり、かつ、対象画素値ｒｉ、ｇｉ、ｂｉも既知であるので、式８〜１０による連立方程式は、式数が３で未知数が２の設定過多な問題となる。そのため、最小二乗法を用いた厳密な解法によって解を求めることが望ましい。何故なら画素値にノイズが乗っていても、最小二乗法を用いることでノイズの影響を除き、より正しい解を求めることができるからである。算出されたαｉを対象画素ｉの拡散反射成分、βｉを対象画素ｉの鏡面反射成分として出力する。
【００３１】
本実施形態によれば、処理対象の画像にノイズがのっていても、高精度に対象画素の拡散反射成分と鏡面反射成分とを分離できる。このように、対象画素の拡散反射成分と鏡面反射成分とを分離することは、精度の高い物体認識において有用である。
【００３２】
さらに、抽出された拡散反射成分と鏡面反射成分とは、画像を強調する用途に応用しても良い。例えば、鏡面反射成分を伸張した後に拡散反射成分と再合成することで、物体表面の光沢感を強調するよう用いても良い。また、鏡面反射成分を抑制した後に拡散反射成分と再合成することで、人の顔のように光沢成分を抑制するよう処理する用途に用いても良い。本実施形態は、処理対象の画像にノイズがのっていても、高精度に対象画素の拡散反射成分と鏡面反射成分とを分離できるので、そういった強調処理の前段で利用しても有用である。
【００３３】
以上のような理由から、本実施形態は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。
【００３４】
（第２の実施形態）
以下、第２の実施形態の画像処理装置２０について図４〜図８を用いて説明する。
図４は、本実施形態の画像処理装置２０のブロック図である。
画像処理装置２０は、色相算出部１１、確率算出部２２、色度算出部２３、拡散反射率算出部２４、分離部１５を有する。
【００３５】
確率算出部２２は、入力画像信号の画素値を用いて、対象画素の偏差と、周辺画素の偏差とを算出する。確率算出部２２は、対象画素の色相と偏差及び周辺画素の色相と偏差を用いて、各周辺画素が対象画素と同じ拡散反射率の表面に属する確率を算出する。算出された確率を色度算出部２３へ送る。
【００３６】
色度算出部２３は、対象画素と、周辺画素の各画素の色度を算出し、拡散反射率算出部２４へ送る。
【００３７】
拡散反射率算出部２４は、対象画素、及び、画素周辺の画素の色度と、周辺画素が対象画素と同一表面に属する確率とを用いた重み付け加算平均により、対象画素の拡散反射率を算出し、分離部１５へ送る。
【００３８】
次に、画像処理装置２０の動作の詳細について図５を用いて説明する。Ｓ１０１、１０５は図２と同様の動作のため、詳細な説明を省略する。
確率算出部２２は、入力画像信号の画素値を用いて、対象画素の偏差と、周辺画素の偏差とを算出し、確率算出部２２へ送る（Ｓ２０２）。
第１の実施形態の画像処理装置において、ノイズに起因する色相の偏差σは、画素値ｒ、ｇ、ｂの想定される全ての組み合わせに対して予め保持する構成とした。画素値ｒ、ｇ、ｂの想定される全ての組み合わせは、２４ビットカラーの場合１６７７万通りになるため、予め保持するためには非常に多くの記憶容量を必要とする。そのため、本実施形態では、ノイズに起因する色相の偏差σを対象画素の画素値と色相とを用いて近似して算出することで、メモリの低コスト化が可能となる。
【００３９】
第１の実施形態で述べたように、偏差σの大きさは対象画素のサブ画素値と相関がある。そのため、確率算出部２２、式１１により偏差σを近似する。
σ＝Ａ／（ｍａｘ（ｒ，ｇ，ｂ）―ｍｉｎ（ｒ，ｇ，ｂ））＋Ｂｆ（ｈ）＋Ｃ …式１１
ここで、Ａ、Ｂ、Ｃは０以上の定数である。ｍａｘ（）は最も大きな値を取得する関数、ｍｉｎ（）は最も小さな値を取得する関数、ｆ（ｈ）は、画素の色相に依存する関数である。
式１１は、第１の実施形態の画像処理装置において算出した全ての偏差σに対する重回帰分析によって得られた回帰式であり、相関係数のＲ＾２は０．９１であった。ここで、相関関数とは、回帰式の当てはまりの良さを示す統計的指標であり、一般に0.9以上であればその回帰式の信頼性が高いと判断される。式１１の第一項によれば、対象画素のサブ画素値の最大値と最小値の差が小さいほど偏差σが大きくなり、画素値の最大値と最小値の差が大きいほど偏差σが小さくなる特性を予測できる。ガウシアンノイズのような信号に対して加法性を有するノイズ条件をシミュレートした場合の、第二項の関数ｆ（ｈ）に対して予測される偏差σの変動の例を図６に記載する。図６の横軸は色相ｈを、縦軸はｆ（ｈ）を示す。ｆ（ｈ）を用いることで、色相に応じて変動する偏差σを予測できる。
以上のように、第２の実施形態によれば、偏差σと相関を有する回帰式を用いることで、偏差σを算出することが可能となる。
【００４０】
確率算出部２２は、対象画素の色相と偏差及び周辺画素の色相と偏差を用いて、周辺画素が対象画素と拡散反射率が等しい表面である確率を算出し、色度算出部２３へ送る（Ｓ２０３）。図７は、Ｓ２０３の詳細な動作を説明する図である。
【００４１】
対象画素の色相ｈｉと周辺画素ｎの色相ｈｎとを用いて、差の絶対値ｈｃ＝｜ｈｉ−ｈｎ｜を算出する（Ｓ２０３１）。対象画素の偏差σｉと周辺画素ｎの偏差σｎを用いて、二乗和の平方根σｃ＝√（σｉ２＋σｎ２）を算出する（Ｓ２０３２）。差の絶対値ｈｃと二乗和の平方根σｃとを用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの色相の差がθである確率密度ｐｉｎを算出する（Ｓ２０３３）。確率密度ｐｉｎを用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの色相の差が±τ以内である確率ｐ（ｉ，ｎ）を算出する（Ｓ２０３４）。
【００４２】
Ｓ２０３１〜Ｓ２０３４の動作について図８を用いて説明する。まず、対象画素ｉの色相ｈｉはノイズがのった後に観測された色相の平均値であり、σｉの偏差を伴って分布する確率密度ｐｉを定義できる（図８（ａ））。同様に、周辺画素ｎの色相ｈnに関する確率密度ｐｎを定義できる。これらの確率密度を用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの差がθである確率密度を求める。図８（ｂ）は、Ｓ２０３１によって算出された差の絶対値ｈｃと、Ｓ２０３２によって算出された二乗和の平方根σｃとを用いて、Ｓ２０３３によって形成された確率密度ｐｉｎを示す。図８（ｂ）のグラフは、横軸に角度θ、縦軸にｈｉとｈｎとの差がθである確率密度を示す。この時、確率密度ｐｉｎは次式によって算出する。
【００４３】
ｐｉｎ＝１／（√（２×π）×σｃ）×ｅｘｐ（−（ｈｎ−ｈｉ）×（ｈｎ−ｈｉ）／（２×σｃ×σｃ）） …式１２
Ｓ２０３４によって、確率密度ｐｉｎ（θ）における−τ＜０＜τの区間を積算することで、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈnの差がτ以内である確率ｐ（ｉ，ｎ）が算出される。区間積算は、色相方向の角度θを−τ〜＋τ範囲で有限区間積分することにより実現される。この時、τは任意の定数であり、−１８０〜１８０の間で設定されることが望ましい。何故なら、全ての画素の色相ｈｎは、対象画素の色相ｈｉを中心として−１８０°〜＋１８０°の範囲に存在するからである。
以上のように、Ｓ２０３１〜Ｓ２０３４によれば、ｎがｉと同一表面に属する確率ｐ（ｉ，ｎ）が算出される。この時、確率ｐ（ｉ，ｎ）は０〜１の連続値で設定されるため、第一の実施形態と比較して、ｎがｉと同一表面であるか否かを定量的に評価できるという効果がある。
【００４４】
色度算出部２３は対象画素、及び、周辺画素の色度を算出し、拡散反射率算出部２４へ送る（Ｓ２０４）。
【００４５】
（７）拡散反射率算出部２４
拡散反射率算出部２４は、対象画素、及び、周辺画素の色度と、周辺画素が対象画素と同一表面に属する確率とを用いて、重み付け加算平均により対象画素の拡散反射率を算出する（Ｓ２０５）。
【００４６】
対象画素ｉの拡散反射率Ｄｉは、次式によって算出する。
Ｄｉ＝ Σ（Ｄｊ×√（（ｄｒｊ）^２＋（ｄｇｊ）^２）×ｐ（ｉ，ｊ））／Σ（ｐ（ｉ，ｊ））， ０＜ｊ≦ｎ …式１３
ここで、Ｄｊは対象画素ｉの画素周辺のｎ個の画素のうちのｊ番目の画素の色度を、ｄｒｊはｊ番目の画素の色度における正規化された赤成分の強さを、ｄｒｊはｊ番目の画素の色度における正規化された緑成分の強さを示す。ｄｒｊの二乗とｄｇｊの二乗との和の平方根は、ｊ番目の画素の色純度を示す。ｐ（ｉ，ｊ）は、ｊ番目の画素が対象画素ｉと同一表面に属する確率である。
【００４７】
以上のように、Ｓ２０５によれば、対象画素の拡散反射率を求める際に、周辺画素が対象画素と同一表面に属する確率を用いて重み付け加算平均を行なうことで、対象画素と同一表面に属する確率が高い画素の色度に大きな重みを設定できる。これにより、周辺画素にノイズがのっていても、拡散反射率を算出できるという効果がある。
【００４８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４９】
画像処理装置１０，２０
色相算出部１１
抽出部１２
色度算出部１３，２３
拡散反射率算出部１４，２４
分離部１５
確率算出部２２
【技術分野】
【０００１】
本実施形態は、入力画像から拡散反射成分を分離する画像処理装置及び方法に関する。
【背景技術】
【０００２】
入力画像を鏡面反射成分と拡散反射成分に分離する技術が必要とされている。例えば、ロボットビジョンによる物体認識の分野では、光沢のある物体表面の反射特性を取得することで認識精度を高めることが考えられている。これに対して、画像内の物体の色相を用いて画素を抽出し、抽出された画素の中からその表面本来の色成分を表す拡散反射率を推定する技術がある。推定された拡散反射率を用いて照明によって変化する色を分離することで、対象画素の拡散反射成分と鏡面反射成分とを分離する技術が開示されている。しかし、処理対象の画像の画素値にノイズが混入すると、観測される画素の色相が真値から大きくずれる。そのため、固定された閾値で色相を区分する非特許文献１では処理対象の画素と同じ拡散反射率の表面に含まれる画素の抽出精度が落ちる。そのため、結果的に拡散反射成分の分離精度も落ちる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】肥後ら（２００６），"二色性反射モデルに基づくリアルタイム鏡面反射成分除去," 情報処理学会コンピュータビジョンとイメージメディア研究会 (CVIM), pp.２１１-２１８.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本実施形態は、上記に鑑みてなされたものであって、画像のノイズに影響を受けずに対象画素の拡散反射成分を分離する方法の提供にある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本実施形態の画像処理装置は、入力画像に含まれる画素の色相を算出する色相算出部と、前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部とを有する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態の画像処理装置１０を示すブロック図。
【図２】第１の実施形態の動作を示すフローチャート。
【図３】第１の実施形態の抽出部１２の動作を示すフローチャート。
【図４】第１の実施形態の画像処理装置２０を示すブロック図。
【図５】第２の実施形態の動作を示すフローチャート。
【図６】第２の実施形態の確率算出部２２の動作の一例。
【図７】第２の実施形態の確率算出部２０３の動作を示すフローチャート。
【図８】第２の実施形態の確率算出部２０３の動作の一例。
【発明を実施するための形態】
【０００７】
以下、図面を参照しながら本発明の実施形態の画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。
【０００８】
（第１の実施形態）
（１）画像処理装置１０
図１は、本実施形態の画像処理装置１０のブロック図である。
画像処理装置１０は、色相算出部１１、抽出部１２、色度算出部１３、拡散反射率算出部１４、分離部１５を有する。
【０００９】
入力画像信号は、各画素に対する画素値を含む。画素値は、例えば国際電機連合（以下、ＩＴＵと記載）の規格に基づく輝度信号、色信号を有する画像信号であり、三原色であるＲＧＢを成分とする方式と、ＲＧＢから輝度信号および色差信号に変換した方式のどちらであっても構わない。本実施形態では一例として、ＩＴＵ−ＲＢＴ．６０１規格における三原色に対応したＲＧＢを成分とする方式に関して説明する。そのため、入力画像における各画素の画素値は、赤色成分の輝度を有するＲチャンネルと、緑色成分の輝度を有するＧチャンネルと、青色成分の輝度を有するＢチャンネルとで表現される。それぞれ、Ｒチャンネルが０〜ｒ０、Ｇチャンネルが０〜ｇ０、Ｂチャンネルが０〜ｂ０の離散化された画素値を有する。
【００１０】
物体（被写体）からの反射光は２つの物理的に異なった経路で反射する。一つは物体の表面の境界で反射し、この反射は鏡面反射と呼ばれる。もう一方は、物体表面の凹凸に入射した光の散乱によるものであり、この反射を拡散反射と呼ぶ。拡散反射は、光源の色とは異なったオブジェクトの表面に固有の色とされる。
【００１１】
色相算出部１１は、入力画像信号に含まれる各画素の色相を算出する。算出された色相は、抽出部１２へ送られる。色相とは、色の属性の一つで、赤や黄色といった色味の違いを示す。詳細は後述する。
【００１２】
抽出部１２は、対象画素の画素値に応じて基準を設定し、基準よりも対象画素に近い色相を有する画素を含む第１のグループを抽出する。第１のグループとして抽出された画素の情報を色度算出部１３へ送る。
【００１３】
色度算出部１３は、第１のグループに含まれる画素及び対象画素の色度を算出し、算出した色度を拡散反射率算出部１４へ送る。
【００１４】
拡散反射率算出部１４は、対象画素、及び、第１グループに含まれる画素の色度を用いて、対象画素の物体本来の色成分を示す拡散反射率を算出し、分離部１５に送る。
【００１５】
分離部１５は、対象画素の拡散反射率を用いて、対象画素の拡散反射率によって変化する色成分（以下、拡散反射成分と記載）と、対象画素が照明光を鏡面反射することによって変化する色成分（以下、鏡面反射成分）とを分離し、出力する。なお、本実施形態では拡散反射成分と鏡面反射成分の双方を求めて出力する構成について説明するが、いずれか一方のみを出力する構成であっても構わない。
【００１６】
次に、図２を用いて画像処理装置１０の動作について説明する。あわせて、画像処理装置１０の各部の説明も行う。
（２）色相算出部１１
色相算出部１１は、入力画像信号に含まれる各画素の色相を算出する。算出された色相を抽出部１２へ送る（Ｓ１０１）。
本実施形態における色相は、ＩＴＵ−ＲＢＴ．７０９規格における三原色に対応したＲＧＢ色空間における色相を算出することが望ましい。何故なら、ＢＴ．７０９は液晶ディスプレイやプラズマディスプレイの表示における最も一般的な規格であるため、入力画像として伝送される信号の多くは、このＲＧＢ空間内に存在するからである。この時、色相を算出する空間は、ＲＧＢ色空間から変換できる色空間であればどのような空間であっても構わない。具体的には、ＸＹＺ空間、Ｙｘｙ空間、Ｌａｂ空間、ＨＳＩ空間などの一般的な空間内で算出しても構わない。一例として、ＲＧＢ色空間における色相ｈの算出式を下に示す。
ｈ＝１８０×ａｔａｎ（（ｒ／（ｒ＋ｇ＋ｂ））／（ｇ／（ｒ＋ｇ＋ｂ））） …式１
ここで、ｒ、ｇ、ｂは各画素の画素値を、ａｔａｎはアークタンジェント関数を示す。ｈは−１８０〜１８０の値を取る連続値を取る。
【００１７】
（３）抽出部１２
抽出部１２は、対象画素の画素値に応じて基準を設定し、基準よりも対象画素に近い色相を有する画素を含む第１のグループを抽出する（Ｓ１０２）。本実施形態では基準として、対象画素の画素値に応じて異なる色相の閾値を設定し、閾値以下の色相を有する第１グループに含まれる画素を第１の画素グループとして抽出し、色度算出部１３へ送る。
【００１８】
図３は、抽出部１２が行うＳ１０２の詳細な動作を説明する図である。
対象画素ｉの画素値ｒｉ、ｇｉ、ｂｉに応じて異なる閾値εｉを設定する（Ｓ１２０１）。この時、εｉは次式によって設定する。
εｉ＝ｃ×σｉ（ｒｉ，ｇｉ，ｂｉ） …式２
ここで、ｒｉ、ｇｉ、ｂｉは、対象画素ｉの画素値である。ｃは０以上の定数である。
【００１９】
σｉは、対象画素の画素値によってその大きさが変動する値である。例えば、ｒｉが非常に大きくｇｉとｂｉが非常に小さいような画素では、全チャンネルに同じ強さのランダムにノイズがのっても、真の色相（赤）に対する偏差は非常に小さくなる。一方、ｒｉ、ｇｉ、ｂｉが同程度であり、ｒｉがやや大きい画素では、全チャンネルに同じ強さのランダムにノイズがのると、本来は真の色相が赤であるにも関わらず、ノイズがのった画素の色相が緑や青になる場合があるので、真の色相（赤）に対する偏差は非常に大きくなる。そのため、σｉは、対象画素ｉの画素値ｒｉ、ｇｉ、ｂｉに応じて設定されることが望ましい。本実施形態では、画素値ｒ、ｇ、ｂの想定される全ての組み合わせに対してσを予め保持することが望ましい。何故なら、予めσを算出して保持することで演算回数を削減し、処理コストを小さくできるからである。また、上述した関係性からσｉを近似しても構わない。または、画素値ごとに閾値をあらかじめ求めておき、対応させて記憶しておく構成であっても構わない。
【００２０】
対象画素ｉの色相ｈｉと、対象画素ｉの周辺に位置する入力画像に含まれる画素ｎの色相ｈｎとの差がεｉ以下であるか否かを判定する（Ｓ１２０２）。例えば、周辺に位置する画素として、対象画素ｉを中心としたＭ画素×Ｍ画素の領域内に位置する画素を抽出する。Ｓ１２０３がＹｅｓの場合に、周辺画素ｎを第１の画素グループに登録する（Ｓ１２０３）。
【００２１】
一般に、物体表面の色はその表面固有の拡散反射率によって決定される。この時、拡散反射率が等しい表面は同じ色相となる。そのため、色相を用いることで対象画素と拡散反射率が等しい表面素材からの反射光を撮像したと推定される画素を抽出できる。
【００２２】
しかしながら、画素値にノイズがのることで、算出される色相が実際の被写体の色相から大きくずれることが分かった。それにより、本来は対象画素と同じ表面素材の画素の抽出に失敗しやすくなる。本実施形態では、画素値にノイズがのることで色相が真の値から大きくずれても、ノイズに起因するずれの大きさに適応した色相の閾値処理を行なうことで、対象画素に対する第１の画素グループを正確に抽出できる。
【００２３】
本発明の第一の実施形態では、対象画素と同一表面の画素として、対象画素の周辺から前記第１のグループを抽出する。一般に同一の物体表面は連続しており、空間的に近い位置に存在するが、非同一表面は、例え同一の色相を有していても空間的に遠い位置に存在することが多い。そのため、本実施形態によれば、対象画素と同一色相を有する非同一表面を除いて、真に同一である表面の画素値だけを抽出することが可能となる。
【００２４】
（４）色度算出部１３
色度算出部１３は、対象画素、及び、第１の画素グループの画素値を用いて各画素の色度を算出し、拡散反射率算出部１４へ送る。（Ｓ１０３）。本実施形態では、対象画素、及び、第１の画素グループの画素の色度Ｄ（ｄｒ，ｄｇ）は、式３〜６により算出する。
Ｄ（ｄｒ，ｄｇ）， …式３
ｄｒ＝ｒ／（ｒ＋ｇ＋ｂ）， …式４
ｄｇ＝ｇ／（ｒ＋ｇ＋ｂ）． …式５
ｄｂ＝１−ｄｒ−ｄｇ …式６
ここで、ｒ、ｇ、ｂは各画素の画素値である。また、ｄｒは各画素の正規化された赤成分の強さを、ｄｇは各画素の正規化された緑成分の強さを示す。ｄｂは、各画素の正規化された青成分の強さであり、ｄｒとｄｇから算出できる。すなわち色度Ｄは、各画素の各チャンネルの画素値ｒ、ｇ、ｂのバランスを正規化した後、ｒとｇの平面に射影した情報として伝送される。尚、同様の性質を有する色度であれば、上記に示した以外にＹｘｙ色度やＹｕｖ色度によって色度Ｄを算出しても構わない。
【００２５】
（５）拡散反射率算出部１４
拡散反射率算出部１４は、対象画素、及び、第１グループに含まれる画素の色度を用いて、対象画素の本来の色成分を示す拡散反射率を算出し、分離部１５に送る。（Ｓ１０４）。
【００２６】
ここで、拡散反射率Ｄｉは式７によって算出する。
Ｄｉ＝ Σ（Ｄｊ×√（（ｄｒｊ）^２＋（ｄｇｊ）^２））／Σ（√（（ｄｒｊ）^２＋（ｄｇｊ）^２））， ０＜ｊ≦ｎ …式７
ここで、Ｄｊは対象画素ｉを含む領域内に含まれる周辺画素ｎ個の画素のうちのｊ番目の画素の色度を、ｄｒｊはｊ番目の画素の色度における正規化された赤成分の強さを、ｄｒｊはｊ番目の画素の色度における正規化された緑成分の強さを示す。また、ｄｒｊの二乗とｄｇｊの二乗との和の平方根は、ｊ番目の画素の色の濃さ、すなわち、色純度を示す。
【００２７】
第１の画素グループの中で色純度が高い画素は、その表面本来の色成分を有している可能性が高い。そのため、本実施形態では、式７に示した様に各画素の色度を周辺画素の色純度に応じて重み付け加算平均することで、対象画素の本来の色成分を示す拡散反射率を取得することが可能となる。なお、重み付け加算平均による算出手法は一例であり、そのほかの方法であっても構わない。例えば、第１の画素グループの中で最も色純度の高い画素の色成分を拡散反射率として取得してもかまわない。また、第１の画素グループの中の画素を用いて色純度のヒストグラムを生成し、最大値、平均値、中間値、中央値、最小値、パーセンタイルなどの色統計情報を用いて拡散反射率を算出してもかまわない。
【００２８】
（６）分離部１５
分離部１５は、対象画素の拡散反射率を用いて、対象画素の拡散反射成分と、鏡面反射成分とを分離し、出力する（Ｓ１０５）。
【００２９】
物体表面の色を、鏡面反射の輝度と拡散反射の輝度の線形和で表現するモデル（以下、二色性反射モデルと記載）がある。本実施形態では、二色性反射モデルに基づき、拡散反射率Ｄｉを用いて、対象画素の画素値ｒｉ、ｇｉ、ｂｉを、鏡面反射の輝度と拡散反射の輝度の線形和による方程式を立式する。色のチャンネル毎の方程式を以下に示す。
ｒｉ＝αｉ×ｄｒｉ＋βｉ， …式８
ｇｉ＝αｉ×ｄｇｉ＋βｉ， …式９
ｂｉ＝αｉ×（１−ｄｒｉ―ｄｇｉ）＋βｉ． …式１０
この時、ｄｒｉは拡散反射率Ｄｉにおける正規化された赤成分の強さを、ｄｇｉは拡散反射率Ｄｉにおける正規化された緑成分の強さ、（１−ｄｒｉ―ｄｇｉ）は拡散反射率Ｄｉにおける正規化された青成分の強さを示す。また式８〜１０における右辺の第一項は、これを二色性反射モデルにおける拡散反射の輝度を、第二項は鏡面反射の輝度を表す。αｉは拡散反射係数、βｉは鏡面反射係数を意味するが、現段階では未知数である。
【００３０】
次に、式８〜１０を用いて連立方程式を解くことで、αｉとβｉを算出する。この時、これまでに拡散反射率Ｄｉにおける正規化された赤成分の強さｄｒｉと、拡散反射率Ｄｉにおける正規化された緑成分の強さｄｇｉと、拡散反射率Ｄｉにおける正規化された青成分の強さ（１−ｄｒｉ―ｄｇｉ）は既知であり、かつ、対象画素値ｒｉ、ｇｉ、ｂｉも既知であるので、式８〜１０による連立方程式は、式数が３で未知数が２の設定過多な問題となる。そのため、最小二乗法を用いた厳密な解法によって解を求めることが望ましい。何故なら画素値にノイズが乗っていても、最小二乗法を用いることでノイズの影響を除き、より正しい解を求めることができるからである。算出されたαｉを対象画素ｉの拡散反射成分、βｉを対象画素ｉの鏡面反射成分として出力する。
【００３１】
本実施形態によれば、処理対象の画像にノイズがのっていても、高精度に対象画素の拡散反射成分と鏡面反射成分とを分離できる。このように、対象画素の拡散反射成分と鏡面反射成分とを分離することは、精度の高い物体認識において有用である。
【００３２】
さらに、抽出された拡散反射成分と鏡面反射成分とは、画像を強調する用途に応用しても良い。例えば、鏡面反射成分を伸張した後に拡散反射成分と再合成することで、物体表面の光沢感を強調するよう用いても良い。また、鏡面反射成分を抑制した後に拡散反射成分と再合成することで、人の顔のように光沢成分を抑制するよう処理する用途に用いても良い。本実施形態は、処理対象の画像にノイズがのっていても、高精度に対象画素の拡散反射成分と鏡面反射成分とを分離できるので、そういった強調処理の前段で利用しても有用である。
【００３３】
以上のような理由から、本実施形態は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。
【００３４】
（第２の実施形態）
以下、第２の実施形態の画像処理装置２０について図４〜図８を用いて説明する。
図４は、本実施形態の画像処理装置２０のブロック図である。
画像処理装置２０は、色相算出部１１、確率算出部２２、色度算出部２３、拡散反射率算出部２４、分離部１５を有する。
【００３５】
確率算出部２２は、入力画像信号の画素値を用いて、対象画素の偏差と、周辺画素の偏差とを算出する。確率算出部２２は、対象画素の色相と偏差及び周辺画素の色相と偏差を用いて、各周辺画素が対象画素と同じ拡散反射率の表面に属する確率を算出する。算出された確率を色度算出部２３へ送る。
【００３６】
色度算出部２３は、対象画素と、周辺画素の各画素の色度を算出し、拡散反射率算出部２４へ送る。
【００３７】
拡散反射率算出部２４は、対象画素、及び、画素周辺の画素の色度と、周辺画素が対象画素と同一表面に属する確率とを用いた重み付け加算平均により、対象画素の拡散反射率を算出し、分離部１５へ送る。
【００３８】
次に、画像処理装置２０の動作の詳細について図５を用いて説明する。Ｓ１０１、１０５は図２と同様の動作のため、詳細な説明を省略する。
確率算出部２２は、入力画像信号の画素値を用いて、対象画素の偏差と、周辺画素の偏差とを算出し、確率算出部２２へ送る（Ｓ２０２）。
第１の実施形態の画像処理装置において、ノイズに起因する色相の偏差σは、画素値ｒ、ｇ、ｂの想定される全ての組み合わせに対して予め保持する構成とした。画素値ｒ、ｇ、ｂの想定される全ての組み合わせは、２４ビットカラーの場合１６７７万通りになるため、予め保持するためには非常に多くの記憶容量を必要とする。そのため、本実施形態では、ノイズに起因する色相の偏差σを対象画素の画素値と色相とを用いて近似して算出することで、メモリの低コスト化が可能となる。
【００３９】
第１の実施形態で述べたように、偏差σの大きさは対象画素のサブ画素値と相関がある。そのため、確率算出部２２、式１１により偏差σを近似する。
σ＝Ａ／（ｍａｘ（ｒ，ｇ，ｂ）―ｍｉｎ（ｒ，ｇ，ｂ））＋Ｂｆ（ｈ）＋Ｃ …式１１
ここで、Ａ、Ｂ、Ｃは０以上の定数である。ｍａｘ（）は最も大きな値を取得する関数、ｍｉｎ（）は最も小さな値を取得する関数、ｆ（ｈ）は、画素の色相に依存する関数である。
式１１は、第１の実施形態の画像処理装置において算出した全ての偏差σに対する重回帰分析によって得られた回帰式であり、相関係数のＲ＾２は０．９１であった。ここで、相関関数とは、回帰式の当てはまりの良さを示す統計的指標であり、一般に0.9以上であればその回帰式の信頼性が高いと判断される。式１１の第一項によれば、対象画素のサブ画素値の最大値と最小値の差が小さいほど偏差σが大きくなり、画素値の最大値と最小値の差が大きいほど偏差σが小さくなる特性を予測できる。ガウシアンノイズのような信号に対して加法性を有するノイズ条件をシミュレートした場合の、第二項の関数ｆ（ｈ）に対して予測される偏差σの変動の例を図６に記載する。図６の横軸は色相ｈを、縦軸はｆ（ｈ）を示す。ｆ（ｈ）を用いることで、色相に応じて変動する偏差σを予測できる。
以上のように、第２の実施形態によれば、偏差σと相関を有する回帰式を用いることで、偏差σを算出することが可能となる。
【００４０】
確率算出部２２は、対象画素の色相と偏差及び周辺画素の色相と偏差を用いて、周辺画素が対象画素と拡散反射率が等しい表面である確率を算出し、色度算出部２３へ送る（Ｓ２０３）。図７は、Ｓ２０３の詳細な動作を説明する図である。
【００４１】
対象画素の色相ｈｉと周辺画素ｎの色相ｈｎとを用いて、差の絶対値ｈｃ＝｜ｈｉ−ｈｎ｜を算出する（Ｓ２０３１）。対象画素の偏差σｉと周辺画素ｎの偏差σｎを用いて、二乗和の平方根σｃ＝√（σｉ２＋σｎ２）を算出する（Ｓ２０３２）。差の絶対値ｈｃと二乗和の平方根σｃとを用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの色相の差がθである確率密度ｐｉｎを算出する（Ｓ２０３３）。確率密度ｐｉｎを用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの色相の差が±τ以内である確率ｐ（ｉ，ｎ）を算出する（Ｓ２０３４）。
【００４２】
Ｓ２０３１〜Ｓ２０３４の動作について図８を用いて説明する。まず、対象画素ｉの色相ｈｉはノイズがのった後に観測された色相の平均値であり、σｉの偏差を伴って分布する確率密度ｐｉを定義できる（図８（ａ））。同様に、周辺画素ｎの色相ｈnに関する確率密度ｐｎを定義できる。これらの確率密度を用いて、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈｎとの差がθである確率密度を求める。図８（ｂ）は、Ｓ２０３１によって算出された差の絶対値ｈｃと、Ｓ２０３２によって算出された二乗和の平方根σｃとを用いて、Ｓ２０３３によって形成された確率密度ｐｉｎを示す。図８（ｂ）のグラフは、横軸に角度θ、縦軸にｈｉとｈｎとの差がθである確率密度を示す。この時、確率密度ｐｉｎは次式によって算出する。
【００４３】
ｐｉｎ＝１／（√（２×π）×σｃ）×ｅｘｐ（−（ｈｎ−ｈｉ）×（ｈｎ−ｈｉ）／（２×σｃ×σｃ）） …式１２
Ｓ２０３４によって、確率密度ｐｉｎ（θ）における−τ＜０＜τの区間を積算することで、対象画素ｉの色相ｈｉと周辺画素ｎの色相ｈnの差がτ以内である確率ｐ（ｉ，ｎ）が算出される。区間積算は、色相方向の角度θを−τ〜＋τ範囲で有限区間積分することにより実現される。この時、τは任意の定数であり、−１８０〜１８０の間で設定されることが望ましい。何故なら、全ての画素の色相ｈｎは、対象画素の色相ｈｉを中心として−１８０°〜＋１８０°の範囲に存在するからである。
以上のように、Ｓ２０３１〜Ｓ２０３４によれば、ｎがｉと同一表面に属する確率ｐ（ｉ，ｎ）が算出される。この時、確率ｐ（ｉ，ｎ）は０〜１の連続値で設定されるため、第一の実施形態と比較して、ｎがｉと同一表面であるか否かを定量的に評価できるという効果がある。
【００４４】
色度算出部２３は対象画素、及び、周辺画素の色度を算出し、拡散反射率算出部２４へ送る（Ｓ２０４）。
【００４５】
（７）拡散反射率算出部２４
拡散反射率算出部２４は、対象画素、及び、周辺画素の色度と、周辺画素が対象画素と同一表面に属する確率とを用いて、重み付け加算平均により対象画素の拡散反射率を算出する（Ｓ２０５）。
【００４６】
対象画素ｉの拡散反射率Ｄｉは、次式によって算出する。
Ｄｉ＝ Σ（Ｄｊ×√（（ｄｒｊ）^２＋（ｄｇｊ）^２）×ｐ（ｉ，ｊ））／Σ（ｐ（ｉ，ｊ））， ０＜ｊ≦ｎ …式１３
ここで、Ｄｊは対象画素ｉの画素周辺のｎ個の画素のうちのｊ番目の画素の色度を、ｄｒｊはｊ番目の画素の色度における正規化された赤成分の強さを、ｄｒｊはｊ番目の画素の色度における正規化された緑成分の強さを示す。ｄｒｊの二乗とｄｇｊの二乗との和の平方根は、ｊ番目の画素の色純度を示す。ｐ（ｉ，ｊ）は、ｊ番目の画素が対象画素ｉと同一表面に属する確率である。
【００４７】
以上のように、Ｓ２０５によれば、対象画素の拡散反射率を求める際に、周辺画素が対象画素と同一表面に属する確率を用いて重み付け加算平均を行なうことで、対象画素と同一表面に属する確率が高い画素の色度に大きな重みを設定できる。これにより、周辺画素にノイズがのっていても、拡散反射率を算出できるという効果がある。
【００４８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４９】
画像処理装置１０，２０
色相算出部１１
抽出部１２
色度算出部１３，２３
拡散反射率算出部１４，２４
分離部１５
確率算出部２２
【特許請求の範囲】
【請求項１】
入力画像に含まれる画素の色相を算出する色相算出部と、
前記入力画像に含まれる対象画素の画素値に応じた基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部と、
を有する画像処理装置。
【請求項２】
前記抽出部は、前記基準として、前記対象画素の画素値に応じた閾値を設定し、前記閾値よりも前記対象画素に近い色相を有する画素を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記抽出部は、画像の劣化前の色相と、画像に特定のノイズがのった際の色相との偏差を予め保持する保持部を備え、前記偏差及び前記対象画素の画素値を用いて、前記閾値を求めること、
を特徴とする請求項２記載画像処理装置。
【請求項４】
前記抽出部は、前記対象画素の画素値に対応する前記偏差が大きいほど、前記閾値を大きくすることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記抽出部は、前記対象画素における画素値の明るさと色相とに基づいて前記閾値を算出することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記抽出部は、あらかじめ画素値と前記閾値とを対応して保持する保持部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記分離部は、前記拡散反射成分を用いて、前記対象画素の画素値から鏡面反射率の変動に応じて変化する画素値の成分を示す鏡面反射成分を分離する分離部を有する請求項１記載の画像処理装置。
【請求項８】
前記反射率算出部は、前記第１グループに含まれる各画素の色純度を求め、前記色純度が高い画素程、前記色度に大きい重みをつけた重み付き加算によって前記拡散反射率を算出することを特徴とする請求項１記載の画像処理装置。
【請求項９】
入力画像に含まれる画素の色相を算出する色相算出部と、
前記入力画像に含まれる対象画素の画素値に応じて設定される値から、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部と、
を有する画像処理装置。
【請求項１０】
入力画像に含まれる画素の色相を算出すること、
前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出すること、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出すること、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出すること、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離すること、
を有する画像処理方法。
【請求項１】
入力画像に含まれる画素の色相を算出する色相算出部と、
前記入力画像に含まれる対象画素の画素値に応じた基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部と、
を有する画像処理装置。
【請求項２】
前記抽出部は、前記基準として、前記対象画素の画素値に応じた閾値を設定し、前記閾値よりも前記対象画素に近い色相を有する画素を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記抽出部は、画像の劣化前の色相と、画像に特定のノイズがのった際の色相との偏差を予め保持する保持部を備え、前記偏差及び前記対象画素の画素値を用いて、前記閾値を求めること、
を特徴とする請求項２記載画像処理装置。
【請求項４】
前記抽出部は、前記対象画素の画素値に対応する前記偏差が大きいほど、前記閾値を大きくすることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記抽出部は、前記対象画素における画素値の明るさと色相とに基づいて前記閾値を算出することを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記抽出部は、あらかじめ画素値と前記閾値とを対応して保持する保持部を備えることを特徴とする請求項２記載の画像処理装置。
【請求項７】
前記分離部は、前記拡散反射成分を用いて、前記対象画素の画素値から鏡面反射率の変動に応じて変化する画素値の成分を示す鏡面反射成分を分離する分離部を有する請求項１記載の画像処理装置。
【請求項８】
前記反射率算出部は、前記第１グループに含まれる各画素の色純度を求め、前記色純度が高い画素程、前記色度に大きい重みをつけた重み付き加算によって前記拡散反射率を算出することを特徴とする請求項１記載の画像処理装置。
【請求項９】
入力画像に含まれる画素の色相を算出する色相算出部と、
前記入力画像に含まれる対象画素の画素値に応じて設定される値から、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出する抽出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出する色度算出部と、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出する拡散反射率算出部と、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離する分離部と、
を有する画像処理装置。
【請求項１０】
入力画像に含まれる画素の色相を算出すること、
前記入力画像に含まれる対象画素の画素値に応じて基準を設定し、前記基準よりも前記対象画素に近い色相を有する画素を含む第１のグループを抽出すること、
前記第１のグループに含まれる画素及び前記対象画素の色度を算出すること、
前記第１のグループに含まれる画素及び前記対象画素の色度を用いて、推定される拡散反射率を算出すること、
前記拡散反射成分を用いて、前記対象画素の画素値から前記拡散反射率の変動に応じて変化する画素値の成分を示す拡散反射成分を分離すること、
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６５２１５（Ｐ２０１３−６５２１５Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０３８３０（Ｐ２０１１−２０３８３０）
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１６日（２０１１．９．１６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]