画像処理装置および画像処理方法
【課題】反射物体と発光物体が混在したシーンの撮影画像に対して、撮影光源とは異なる観察光源への色変換を行うと、特に発光物体について本来の見えとは異なる色再現となってしまう。
【解決手段】撮影光源下でシーンを撮影した撮影画像を入力し(S302)、撮影光源の分光放射輝度を取得し(S306)、該撮影光源とは異なる観察光源の分光放射輝度を取得する(S308)。撮影画像において、シーン内で自らが発光している発光物体に対応する発光物体領域を検出し(S310)、撮影光源と観察光源の分光放射輝度を用いて、撮影画像を観察光源下での見えを再現するように変換する(S313)。この変換の際に、発光物体領域とそれ以外の領域とで観察光源の分光放射輝度を反映させる度合いを異ならせることで、発光物体領域に対して観察光源を反映させないように制御できる。
【解決手段】撮影光源下でシーンを撮影した撮影画像を入力し(S302)、撮影光源の分光放射輝度を取得し(S306)、該撮影光源とは異なる観察光源の分光放射輝度を取得する(S308)。撮影画像において、シーン内で自らが発光している発光物体に対応する発光物体領域を検出し(S310)、撮影光源と観察光源の分光放射輝度を用いて、撮影画像を観察光源下での見えを再現するように変換する(S313)。この変換の際に、発光物体領域とそれ以外の領域とで観察光源の分光放射輝度を反映させる度合いを異ならせることで、発光物体領域に対して観察光源を反映させないように制御できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって撮影された画像を、撮影時とは異なる照明光源下で再現される色に変換する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置によって取得した画像を、その撮影時とは異なる照明光源下で再現される色に変換する方法として、マルチバンドカメラを用いた色変換処理技術がある（例えば、特許文献１、特許文献２参照）。マルチバンドカメラを用いた色変換処理技術では、まず、マルチバンドカメラによって取得した画像から撮影光源の情報を取り除いた分光反射率を推定する。そして、該推定した分光反射率に対して、任意の照明光源の分光放射輝度を乗じることによって、任意の照明光源下における色の再現が可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４６０３６号公報
【特許文献２】特開平９−３２７０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の色変換処理技術では、撮影対象となるシーン中に、自らが発光している発光物体が含まれる場合、その発光物体についても本来とは異なる色へ変換してしまうという課題がある。例えば、ディスプレイ等の発光物体が写り込んでいるシーンを、撮影時とは異なる照明光源下の色へ変換する場合を考える。この場合、当該シーン内の反射物体に関しては、撮影画像から撮影照明の分光放射輝度を取り除いて分光反射率を推定した後に、実際の照明光源の分光放射輝度を乗じることで、実際のシーンの見えを再現することが可能となる。しかしながら、シーン内の発光物体(ディスプレイ等)は、撮影光源や照明光源の影響をそれほど受けないため、反射物体と同様の処理をすると、本来の見えとは異なる色に変換されてしまう。
【０００５】
本発明は上記の課題を顧みてなされたものであり、発光物体を含むシーンの撮影画像に対し、撮影光源とは異なる観察光源への色変換を、該発光物体の色再現を考慮して高精度に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００７】
すなわち、撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力手段と、前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得手段と、前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定手段と、前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換手段と、を有し、前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、発光物体を含むシーンの撮影画像に対し、撮影光源とは異なる観察光源への色変換を、該発光物体の色再現を考慮して高精度に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における画像処理装置の構成を示すブロック図、
【図２】第１実施形態におけるユーザインタフェース例、
【図３】第１実施形態における画像処理を示すフローチャート、
【図４】発光物体判定係数を説明するための図、
【図５】第２実施形態における画像処理装置の構成を示すブロック図、
【図６】第２実施形態における画像処理を示すフローチャート、
【図７】第３実施形態における画像処理を示すフローチャート、である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態について図面を用いて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
＜第１実施形態＞
本実施形態は、反射物体と発光物体が混在したシーンをマルチバンドカメラによって撮影した撮影画像に対し、撮影光源とは異なる観察光源下での見えを再現するための変換処理を行う。この際に、撮影画像内の発光物体領域と反射物体領域とで光源の寄与度を異ならせることによって、観察光源下での正確な色の見えを再現することができる。なお本実施形態における画像変換処理は、ユーザがユーザインタフェース(UI)を介して指示入力を行いながら、実行される。
【００１２】
●装置構成
図１は、本実施形態における画像処理装置の構成を示すブロック図である。同図に示すように本実施形態の画像処理装置100は、画像処理部101と制御部130に大別され、これらはシステムバス116によって接続されている。
画像処理部101において、102は画像データを入力するための画像入力部、103は該入力した画像データを記憶する入力画像記憶部である。104は、画像入力部102から入力した画像データのうち、特にフラッシュを用いて撮影された画像データを記憶するフラッシュ画像記憶部である。105は撮影光源の分光放射輝度データ(撮影光源情報)を入力する撮影光源入力部、106は該撮影光源情報を記憶する撮影光源記憶部である。107は再現する光源情報を予め記憶しておく観察光源記憶部、122は観察光源情報を選択する観察光源選択部である。108は変換処理に必要なパラメータを入力する変換パラメータ入力部、109は該入力された変換パラメータを記憶する変換パラメータ記憶部である。110は、入力画像記憶部103に記憶された画像データに対して、発光物体と反射物体の判定を行う発光・反射判定部である。この判定は、撮影光源記憶部106に記憶された撮影光源の分光放射輝度データ、及び変換パラメータ記憶部109に記憶された変換パラメータを用いて行われるが、その詳細については後述する。111は、発光・反射判定部110による判定結果を記憶する発光・反射判定結果記憶部である。
【００１３】
112は、入力画像記憶部103に記憶された画像データに対し、画像変換処理を行う画像変換部、113は該変換された画像データを記憶する変換画像記憶部である。114は、発光・反射判定結果記憶部111に記憶された判定結果や、変換画像記憶部113に記憶された変換後の画像データをディスプレイ等の画像表示装置に出力する画像出力部である。115は、画像処理部101の動作をユーザが指示するためのユーザインタフェース(UI)部である。
【００１４】
制御部130において、CPU117は各構成の処理の全てに関わり、RAM118やROM119に格納された命令を順に読み込み実行する。また、RAM118とROM119は、その処理に必要なプログラム、データ、作業領域等をCPU117に提供する。また、操作部120はキーボードやマウスポインタであり、画像処理部101に対するユーザからの指示を入力する。外部記憶装置121は、ハードディスク等の記憶装置である。
【００１５】
図２は、UI部115におけるユーザインタフェース例を示す図である。UI画面201において、202は処理対象となる撮影画像の読み込みを指示する画像読み込みボタン、203は変換パラメータの読み込みを指示する変換パラメータ読込ボタンである。204は撮影光源情報の読み込みを指示する撮影光源読込ボタン、205は各種光源をリスト表示することで観察光源を選択する観察光源選択ボタン、208は画像変換処理の実行を指示する変換処理実行ボタンである。206は撮影画像を発光物体の領域と反射物体の領域に分類する発光・反射判定ボタン、207は発光・反射の判定結果を表示する発光・反射判定結果表示部、209は入力画像及び変換結果の画像を表示する画像表示部である。210は変換結果の画像の保存を指示する変換画像保存ボタンである。
【００１６】
●画像変換処理
以下、本実施形態における画像変換処理について、図３のフローチャートを用いて説明する。
【００１７】
まず、S301で画像読込ボタン202が押されるまで待機し、押されたらS302に進んで画像入力処理を行う。S302では、UI部115に入力画像選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持された画像データの一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、同一シーンについて、撮影光源下でフラッシュを用いずに通常撮影した画像と、撮影光源下でフラッシュを使用して撮影した画像の両方を入力対象として選択する。すると画像入力部102が、該選択された通常撮影画像およびフラッシュ撮影画像を、それぞれ入力画像記憶部103とフラッシュ画像記憶部104に格納する。なお、本実施形態における入力画像はマルチバンドカメラによって撮影されたマルチバンド画像であるが、その詳細については後述する。
【００１８】
次にS303で変換パラメータ読込ボタン203が押されるまで待機し、押されたらS304に進む。S304ではUI部115に変換パラメータ選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持されたマルチバンドカメラの機種一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、通常撮影画像およびフラッシュ撮影画像を撮影したマルチバンドカメラの機種を選択する。すると該選択された機種に対応して外部記憶装置121に予め記憶されている変換パラメータが変換パラメータ入力部108によって入力され、変換パラメータ記憶部109に格納される。なお、変換パラメータの詳細については後述する。
【００１９】
次にS305で、撮影光源読込ボタン204が押されるまで待機し、押されたらS306に進む。S306ではUI部115に撮影光源情報選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持された撮影光源種類の一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、通常撮影画像の撮影時における光源の種類を選択する。すると該選択された光源種類に対応して外部記憶装置121に予め記憶されている撮影光源情報が撮影光源入力部105によって入力され、撮影光源記憶部106に格納される。
【００２０】
次にS307で、観察光源選択ボタン205によって、変換対象となる光源の種類が選択されるまで待機し、選択されたらS308に進む。S308では該選択された光源種類(例えば「蛍光灯」)に基づく観察光源情報が観察光源記憶部107から選択される。ここで、S306で読み込む撮影光源情報、およびS308にて選択する観察光源情報は、可視光領域380-730nmに対して10nmごとにサンプリングした分光放射輝度データである。
【００２１】
次にS309で、発光・反射判定ボタン206が押されるまで待機し、押されたらS310に進む。S310では発光・反射判定部110において、通常撮影画像の画素ごとに、シーン内で自らが発光している発光物体が撮影された発光物体領域に属するか否かの判定を行う。ここで発光物体領域に属さない画素はすなわち、反射物体が撮影された反射物体領域に属するものとみなされる。この判定は、入力画像記憶部103とフラッシュ画像記憶部104にそれぞれ格納されている、同一シーンを撮影した通常撮影画像およびフラッシュ撮影画像を用いて行われる。なお、発光・反射判定処理の詳細については後述する。該判定結果は発光・反射判定結果記憶部111に格納され、S311で発光・反射判定結果表示部207に表示される。この表示方法としては、撮影されたシーン内における発光物体領域と反射物体領域をユーザが識別できれば良い。したがって例えば、通常撮影画像の全体を暗く表示した上に、検出された発光物体領域のみを明るく表示する等が考えられる。
【００２２】
次にS312で、変換処理実行ボタン208が押されるまで待機し、押されたらS313に進む。S313では画像変換部112において、入力画像記憶部103に格納されている通常撮影画像に対し、S307で選択された観察光源下での見えとなるような変換処理を施し、該変換結果を変換画像記憶部113に格納する。なお、画像変換処理の詳細については後述する。そしてS314で、変換画像記憶部113に格納されている変換画像を画像表示部209に表示する。
【００２３】
次にS315で、変換画像保存ボタン210が押されるまで待機し、押されたらS316に進み、画像出力部114が、変換画像記憶部113に格納されている画像データを外部記憶装置121に格納する。
【００２４】
●入力画像データ
本実施形態においてS302で入力される画像データとしては、マルチバンドカメラによって撮影されたマルチバンド画像を想定している。ここでマルチバンドカメラとは、4つ以上の分光特性の異なるカラーフィルタを有するカメラであり、このカメラによって撮影された画像データは、各画素について4つ以上の色情報を持つ。以下、本実施形態における入力画像データは、6種類のカラーフィルタを有するマルチバンドカメラによって撮影された画像(以下、マルチバンド画像)であるとする。
【００２５】
●変換パラメータ
本実施形態においてS304で入力される変換パラメータは、マルチバンドカメラによって取得したマルチバンド画像を、各画素に対して分光反射率を持つ分光画像に変換するための変換行列、およびカラーフィルタの分光透過率データである。なお、本実施形態において扱う分光反射率は、可視光領域の380-730nmに対して、10nmにサンプリングした36次元のデータとする。
【００２６】
ここで、6種類のカラーフィルタを有するマルチバンドカメラによって取得したマルチバンド画像から分光画像への変換を行うには、画素ごとに、6次元のデータを36次元のデータに変換する必要がある。そこで、以下の式(1)のように変換を行うことで、マルチバンド画像から分光画像への画素ごとの変換が可能となる。式(1)において、ｏが変換目標となる分光画像を示し、36次元の分光反射率データo380〜o730からなる。ｖが変換対象となるマルチバンド画像であり、6次元のマルチバンド画素値v1〜v6からなる。Ｇは36×6の変換行列である。また、Ｗはホワイトバランス係数であり、w1〜w6の有効係数を有する。
【００２７】
【００２８】
上記ホワイトバランス係数Ｗは、撮影光源の分光データlight(λ)と、カラーフィルタの分光透過率filtern(λ)(nはフィルタ番号)を用いて、以下の式(2)のように算出される。
【００２９】
【００３０】
すなわち上記S304では変換パラメータとして、式(1)に示す変換行列Ｇ、および式(2)に示すカラーフィルタの分光透過率データfiltern(λ)(n=1〜6)を入力する。
【００３１】
●発光・反射判定処理
以下、S310における発光・反射判定処理について詳細に説明する。発光物体領域の判定には、入力画像記憶部103に格納されている通常撮影画像と、フラッシュ画像記憶部104に格納されているフラッシュ撮影画像とにおける画素値の差分を用いる。具体的には以下に示す式(3)によって、画素(x,y)ごとに発光物体領域である度合いを示す発光物体係数αを算出し、これを判定結果とする。
【００３２】
式(3)において、ｐinput(x,y)は通常撮影画像における画素(x,y)の輝度値、ｐflash(x,y)はフラッシュ撮影画像における画素(x,y)の輝度値である。これらの輝度値は、それぞれのマルチバンド画像ｖに対して周知の積分処理を施すことによって導出される。またｐmaxは、通常撮影画像ｐinput(x,y)における最大輝度値である。
【００３３】
【００３４】
式(3)によって算出される発光物体係数αは0≦α≦1の値をとり、αが1に近いほど、当該画素は発光物体領域である度合いが高いと判定される。したがって、S311では、通常撮影画像において発光物体係数αが所定の閾値以上である画素を検出し、発光物体領域として設定、表示すれば良い。
【００３５】
また式(3)におけるｋは、発光物体の判定精度を制御するための発光物体判定係数であるが、本実施形態ではこの値を通常撮影画像の輝度値ｐinputに応じて0≦ｋ≦1の範囲で設定する。ここで図４に、通常撮影画像の輝度値ｐinputに対する発光物体判定係数ｋの値を示す。一般に、通常撮影画像における発光物体領域は、反射物体領域と比較して輝度が高く、ある程度以上の高輝度領域であれば発光物体領域であるとみなせる。そこで本実施形態では図４に示すように、通常撮影画像の輝度値ｐinputが所定値以上の高輝度部であれば発光物体判定係数ｋを0とする。これにより、上記式(3)により算出される発光物体係数αが、該高輝度部において無条件に1となる。また図４に示すように、通常撮影画像の輝度値ｐinputが所定値以下の低輝度部であれば発光物体判定係数ｋを1とする。これにより、上記式(3)により算出される発光物体係数αが、該低輝度部において高精度に設定される。すなわち、低輝度部における発光物体領域の検出精度が高められる。なお、通常撮影画像における低輝度部と高輝度部の間については、図４に示すように輝度値が大きいほど発光物体係数ｋが小さくなるように連続させれば良い。
【００３６】
●画像変換処理
以下、S313における画像変換処理について詳細に説明する。ここではまず、通常撮影画像として入力されたマルチバンド画像ｖを、上記S304で入力された変換パラメータ(変換行列Ｇ、カラーフィルタの分光透過率filtern(λ))を用いて、上記式(1)に従って分光画像ｏに変換する。そして分光画像ｏに対し、上記S310で式(3)により求められた発光物体係数αを用いて、観察光源下におけるリニアsRGBのRGB値への変換を行う。この変換は、以下の式(4)に従う。
【００３７】
【００３８】
式(4)によれば、通常撮影画像の分光画像ｏに対し、撮影光源の分光放射輝度Ｌ0を反映させた第１の反映結果と、観察光源の分光放射輝度Ｌ1を反映させた第２の反映結果をαに応じた割合で合成する。すなわち、発光物体係数αが高いために発光物体領域内にあるとみなせる画素については、観察光源の寄与度が小さくなり、観察光源を反映しない色再現がなされる。逆に、発光物体係数αが低いために発光物体領域外、すなわち反射物体領域内にあるとみなせる画素については、観察光源の寄与度が大きくなり、観察光源を反映した色再現がなされる。
【００３９】
以上の処理によって、入力されたマルチバンド画像がsRGBデータに変換されるが、該sRGBデータをさらにディスプレイ等へ表示する場合には、ガンマ補正処理や、ディスプレイの色特性に応じた色合わせ処理を行えば良い。
【００４０】
以上説明したように本実施形態によれば、マルチバンドカメラを用いて撮影されたシーン内に発光物体が含まれていた場合に、該発光物体領域に対して観察光源を反映させないように制御することができる。したがって、発光物体と反射物体が混在したシーンの撮影画像についても、撮影光源下とは異なる観察光源下での見えを精度良く再現することが可能となる。
【００４１】
なお、本実施形態では、ユーザがUI部115を介して指示しながら変換処理を行う例を示したが、ユーザ指示を入力せずに各ファイルを自動選択しながら変換処理を行う形式であっても良い。
【００４２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、ユーザがUI部115を介した指示を行いながら、画像変換処理を行う例を示した。一般的に、暗いシーンにおいては、光量を確保するためにフラッシュを用いることがある。しかしながら、フラッシュと撮影光源の分光放射輝度が異なる場合には、撮影光源下での見えを再現するためには、フラッシュ画像に対して、光源変換処理が必要となる。その際、シーン中に発光物体を反射物体と同様に扱うと、上記と同様に本来とは異なる見えに変換されてしまう。第２実施形態では、デジタルカメラ等の画像入力装置において、ユーザ指示を介することなく、該装置内で自動変換処理を行う例を示す。またこの自動変換処理として、フラッシュ撮影画像から、発光物体領域を考慮した通常撮影画像への変換を行う例を示す。
【００４３】
図５は、第２実施形態における画像入力装置であるデジタルカメラ（以下、カメラ）の構成を示すブロック図である。なお、上述した第１実施形態で図１に示した構成と同様であるもの(画像処理部101等)については同一番号を付し、説明を省略する。図５に示すカメラ501において、502は光学レンズ等を備える撮像部、503はフラッシュ、504は撮影ボタン、505は4種類以上のカラーフィルタを配置したセンサである。506はカメラ501全体を制御する制御部、507は撮影動作によって取得したデータに対して信号処理を行う信号処理部である。508は、外部記憶装置121等の外部装置や、撮影光源の分光放射輝度を取得する分光放射輝度計509等を制御する外部インタフェースである。
【００４４】
以下、第２実施形態のカメラ501における画像変換処理について、図６のフローチャートを用いて説明する。カメラ501はまずS601にて、撮影ボタン504が押されるまで待機し、押されたらS602に進む。S602では、制御部506が撮像部502およびセンサ部505を動作させて撮影を行う。そしてS603では、S602にて撮影した画像に対して、信号処理部507にてデモザイキング処理やノイズリダクション処理等の信号処理を行うことによって現像を施し、画像処理部101内の入力画像記憶部103に格納する。次にS604では撮影光源情報として、分光放射輝度計509から撮影光源の分光放射輝度を入力する。
【００４５】
次にS605では、制御部506がフラッシュ503、撮像部502及びセンサ部505を動作させて撮影を行う。そしてS606では、S605にて撮影した画像に対して、信号処理部507にて信号処理を行うことで現像を施し、フラッシュ画像記憶部104に格納する。次にS607ではフラッシュ情報として、装置内に予め保持されている、フラッシュ503の分光放射輝度を入力する。
【００４６】
そしてS608では上述した第１実施形態におけるS304と同様に、変換パラメータを読み込んで変換パラメータ記憶部109に格納する。ただしここでは、カメラ501に予め既定された変換パラメータが読み込まれる。
【００４７】
次にS609では、フラッシュを用いて撮影したフラッシュ撮影画像を入力画像（第１実施形態における通常撮影画像）として、上述した第１実施形態と同様の方法によって、撮影光源下での見えを再現する画像への変換処理を行う。すなわち第２実施形態では、上記S604で取得した撮影光源の分光放射輝度を第１実施形態における観察光源の分光放射輝度として扱い、同様にフラッシュ503の分光放射輝度を第１実施形態における撮影光源の分光放射輝度として扱う。
【００４８】
具体的にはS609ではまず、通常撮影画像とフラッシュ撮影画像における画素値の差分に基づき、シーン内で自らが発光している発光物体に対応する発光物体領域をフラッシュ撮影画像から検出する。そしてフラッシュ撮影画像を撮影光源下での見えを再現するように変換する際に、発光物体領域とそれ以外の反射物体領域とで撮影光源の分光放射輝度を反映させる度合いが異なるように制御する。これにより、発光物体領域に対して撮影光源を反映させないような変換が行われる。
【００４９】
そして最後にS610では、S609にて変換した画像を、外部インタフェース508を介して外部記憶装置121に格納する。
【００５０】
以上説明したように第２実施形態によれば、フラッシュを用いて撮影した画像を、該シーン内の発光物体領域を考慮しつつ、フラッシュを使用せずに撮影光源下で撮影した画像へ変換することが可能となる。すなわち、変換後の画像はその発光物体領域において撮影光源の影響が低減されている。
【００５１】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第１実施形態では、発光物体領域を自動判定する例を示したが、第３実施形態では該領域をユーザが指定する例を示す。第３実施形態における画像処理装置の装置およびユーザインタフェースについては上述した第１実施形態とほぼ同様であるため、説明を省略する。
【００５２】
以下、第３実施形態における画像変換処理について、図７のフローチャートを用いて詳細に説明する。まずS701で画像読込ボタン202が押されるまで待機し、押されたらS702に進む。S702では画像入力部102において、入力画像データとして、撮影光源下で撮影した通常撮影画像を選択し、入力画像記憶部103に格納する。
【００５３】
次にS703では、変換パラメータ読込ボタン203が押されるまで待機し、押されたらS704に進む。S704では第１実施形態のS304と同様に、ユーザによって選択された変換パラメータを変換パラメータ入力部108が入力し、変換パラメータ記憶部109に格納する。そしてS705では、撮影光源読込ボタン204が押されるまで待機し、押されたらS706に進む。S706では、第１実施形態のS306と同様に、ユーザによって選択された撮影光源情報を撮影光源入力部105が入力し、撮影光源記憶部106に格納する。次にS707では、観察光源選択ボタン205によって光源が選択されるのを待機し、選択されたらS708に進む。S708では観察光源選択部122にて、該選択された光源に基づく観察光源情報を観察光源記憶部107から選択する。
【００５４】
次にS709では、入力画像記憶部103に格納された通常撮影画像に対し、まずはその全画像領域を反射物体であるとみなし、観察光源を用いた画像変換処理を行う。この画像変換処理は、第１実施形態のS313における観察光源下での見えを再現する画像変換処理と同様であり、すなわち全画素について発光物体係数αを0に設定して、画像変換処理を行う。そしてS710で、S709にて変換した画像を画像表示部209に表示し、S711でユーザによって発光物体領域が指定されるまで待機し、発光物体領域が指定されたらS712に進む。この指定方法については特に規定されないが、例えば表示された画像上における領域をポインティングデバイス等を用いて指定することが考えられる。
【００５５】
S712では、S711で指定された発光物体領域内の画素については発光物体係数αを1に設定し、発光物体領域外の画素については反射物体領域とみなして発光物体係数αを0に設定する。
【００５６】
次にS713で、変換処理実行ボタン208が押されるまで待機し、押されたらS714に進む。S714では画像変換部112において、入力画像記憶部103に格納されている通常撮影画像に対して、S707で選択された観察光源下での見えとなるような変換処理を施し、該変換結果を変換画像記憶部113に格納する。そしてS715では、変換画像記憶部113に格納されている変換画像を画像表示部209に表示する。次にS716で、変換画像保存ボタン210が押されるまで待機し、押されたらS717に進んで、画像出力部114が、変換画像記憶部113に格納されている画像データを外部記憶装置121に格納する。
【００５７】
以上説明したように第３実施形態によれば、ユーザが発光物体領域を指定することによって、フラッシュ撮影画像を取得することなく、通常撮影画像における発光領域と反射領域を区別して処理することができる。
【００５８】
＜その他の実施形態＞
上述した第１および第２実施形態では、フラッシュ撮影画像と通常撮影画像の差の絶対値によって、撮影シーン内の発光物体領域と反射物体領域を判別する例を示したが、発光物体領域の判別方法はこの例に限定されない。例えば、撮影シーン内の高輝度領域において、撮影光源とは異なるホワイトバランス係数が検出された場合に、該領域を発光物体領域と判別する方法も考えられる。
【００５９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはCPUやMPU等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置によって撮影された画像を、撮影時とは異なる照明光源下で再現される色に変換する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置によって取得した画像を、その撮影時とは異なる照明光源下で再現される色に変換する方法として、マルチバンドカメラを用いた色変換処理技術がある（例えば、特許文献１、特許文献２参照）。マルチバンドカメラを用いた色変換処理技術では、まず、マルチバンドカメラによって取得した画像から撮影光源の情報を取り除いた分光反射率を推定する。そして、該推定した分光反射率に対して、任意の照明光源の分光放射輝度を乗じることによって、任意の照明光源下における色の再現が可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４６０３６号公報
【特許文献２】特開平９−３２７０２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の色変換処理技術では、撮影対象となるシーン中に、自らが発光している発光物体が含まれる場合、その発光物体についても本来とは異なる色へ変換してしまうという課題がある。例えば、ディスプレイ等の発光物体が写り込んでいるシーンを、撮影時とは異なる照明光源下の色へ変換する場合を考える。この場合、当該シーン内の反射物体に関しては、撮影画像から撮影照明の分光放射輝度を取り除いて分光反射率を推定した後に、実際の照明光源の分光放射輝度を乗じることで、実際のシーンの見えを再現することが可能となる。しかしながら、シーン内の発光物体(ディスプレイ等)は、撮影光源や照明光源の影響をそれほど受けないため、反射物体と同様の処理をすると、本来の見えとは異なる色に変換されてしまう。
【０００５】
本発明は上記の課題を顧みてなされたものであり、発光物体を含むシーンの撮影画像に対し、撮影光源とは異なる観察光源への色変換を、該発光物体の色再現を考慮して高精度に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。
【０００７】
すなわち、撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力手段と、前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得手段と、前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定手段と、前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換手段と、を有し、前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、発光物体を含むシーンの撮影画像に対し、撮影光源とは異なる観察光源への色変換を、該発光物体の色再現を考慮して高精度に行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態における画像処理装置の構成を示すブロック図、
【図２】第１実施形態におけるユーザインタフェース例、
【図３】第１実施形態における画像処理を示すフローチャート、
【図４】発光物体判定係数を説明するための図、
【図５】第２実施形態における画像処理装置の構成を示すブロック図、
【図６】第２実施形態における画像処理を示すフローチャート、
【図７】第３実施形態における画像処理を示すフローチャート、である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態について図面を用いて詳細に説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１１】
＜第１実施形態＞
本実施形態は、反射物体と発光物体が混在したシーンをマルチバンドカメラによって撮影した撮影画像に対し、撮影光源とは異なる観察光源下での見えを再現するための変換処理を行う。この際に、撮影画像内の発光物体領域と反射物体領域とで光源の寄与度を異ならせることによって、観察光源下での正確な色の見えを再現することができる。なお本実施形態における画像変換処理は、ユーザがユーザインタフェース(UI)を介して指示入力を行いながら、実行される。
【００１２】
●装置構成
図１は、本実施形態における画像処理装置の構成を示すブロック図である。同図に示すように本実施形態の画像処理装置100は、画像処理部101と制御部130に大別され、これらはシステムバス116によって接続されている。
画像処理部101において、102は画像データを入力するための画像入力部、103は該入力した画像データを記憶する入力画像記憶部である。104は、画像入力部102から入力した画像データのうち、特にフラッシュを用いて撮影された画像データを記憶するフラッシュ画像記憶部である。105は撮影光源の分光放射輝度データ(撮影光源情報)を入力する撮影光源入力部、106は該撮影光源情報を記憶する撮影光源記憶部である。107は再現する光源情報を予め記憶しておく観察光源記憶部、122は観察光源情報を選択する観察光源選択部である。108は変換処理に必要なパラメータを入力する変換パラメータ入力部、109は該入力された変換パラメータを記憶する変換パラメータ記憶部である。110は、入力画像記憶部103に記憶された画像データに対して、発光物体と反射物体の判定を行う発光・反射判定部である。この判定は、撮影光源記憶部106に記憶された撮影光源の分光放射輝度データ、及び変換パラメータ記憶部109に記憶された変換パラメータを用いて行われるが、その詳細については後述する。111は、発光・反射判定部110による判定結果を記憶する発光・反射判定結果記憶部である。
【００１３】
112は、入力画像記憶部103に記憶された画像データに対し、画像変換処理を行う画像変換部、113は該変換された画像データを記憶する変換画像記憶部である。114は、発光・反射判定結果記憶部111に記憶された判定結果や、変換画像記憶部113に記憶された変換後の画像データをディスプレイ等の画像表示装置に出力する画像出力部である。115は、画像処理部101の動作をユーザが指示するためのユーザインタフェース(UI)部である。
【００１４】
制御部130において、CPU117は各構成の処理の全てに関わり、RAM118やROM119に格納された命令を順に読み込み実行する。また、RAM118とROM119は、その処理に必要なプログラム、データ、作業領域等をCPU117に提供する。また、操作部120はキーボードやマウスポインタであり、画像処理部101に対するユーザからの指示を入力する。外部記憶装置121は、ハードディスク等の記憶装置である。
【００１５】
図２は、UI部115におけるユーザインタフェース例を示す図である。UI画面201において、202は処理対象となる撮影画像の読み込みを指示する画像読み込みボタン、203は変換パラメータの読み込みを指示する変換パラメータ読込ボタンである。204は撮影光源情報の読み込みを指示する撮影光源読込ボタン、205は各種光源をリスト表示することで観察光源を選択する観察光源選択ボタン、208は画像変換処理の実行を指示する変換処理実行ボタンである。206は撮影画像を発光物体の領域と反射物体の領域に分類する発光・反射判定ボタン、207は発光・反射の判定結果を表示する発光・反射判定結果表示部、209は入力画像及び変換結果の画像を表示する画像表示部である。210は変換結果の画像の保存を指示する変換画像保存ボタンである。
【００１６】
●画像変換処理
以下、本実施形態における画像変換処理について、図３のフローチャートを用いて説明する。
【００１７】
まず、S301で画像読込ボタン202が押されるまで待機し、押されたらS302に進んで画像入力処理を行う。S302では、UI部115に入力画像選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持された画像データの一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、同一シーンについて、撮影光源下でフラッシュを用いずに通常撮影した画像と、撮影光源下でフラッシュを使用して撮影した画像の両方を入力対象として選択する。すると画像入力部102が、該選択された通常撮影画像およびフラッシュ撮影画像を、それぞれ入力画像記憶部103とフラッシュ画像記憶部104に格納する。なお、本実施形態における入力画像はマルチバンドカメラによって撮影されたマルチバンド画像であるが、その詳細については後述する。
【００１８】
次にS303で変換パラメータ読込ボタン203が押されるまで待機し、押されたらS304に進む。S304ではUI部115に変換パラメータ選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持されたマルチバンドカメラの機種一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、通常撮影画像およびフラッシュ撮影画像を撮影したマルチバンドカメラの機種を選択する。すると該選択された機種に対応して外部記憶装置121に予め記憶されている変換パラメータが変換パラメータ入力部108によって入力され、変換パラメータ記憶部109に格納される。なお、変換パラメータの詳細については後述する。
【００１９】
次にS305で、撮影光源読込ボタン204が押されるまで待機し、押されたらS306に進む。S306ではUI部115に撮影光源情報選択画面(不図示)が表示され、該画面には例えば外部記憶装置121に保持された撮影光源種類の一覧がユーザに選択可能な形態で提示される。ユーザは該画面より、通常撮影画像の撮影時における光源の種類を選択する。すると該選択された光源種類に対応して外部記憶装置121に予め記憶されている撮影光源情報が撮影光源入力部105によって入力され、撮影光源記憶部106に格納される。
【００２０】
次にS307で、観察光源選択ボタン205によって、変換対象となる光源の種類が選択されるまで待機し、選択されたらS308に進む。S308では該選択された光源種類(例えば「蛍光灯」)に基づく観察光源情報が観察光源記憶部107から選択される。ここで、S306で読み込む撮影光源情報、およびS308にて選択する観察光源情報は、可視光領域380-730nmに対して10nmごとにサンプリングした分光放射輝度データである。
【００２１】
次にS309で、発光・反射判定ボタン206が押されるまで待機し、押されたらS310に進む。S310では発光・反射判定部110において、通常撮影画像の画素ごとに、シーン内で自らが発光している発光物体が撮影された発光物体領域に属するか否かの判定を行う。ここで発光物体領域に属さない画素はすなわち、反射物体が撮影された反射物体領域に属するものとみなされる。この判定は、入力画像記憶部103とフラッシュ画像記憶部104にそれぞれ格納されている、同一シーンを撮影した通常撮影画像およびフラッシュ撮影画像を用いて行われる。なお、発光・反射判定処理の詳細については後述する。該判定結果は発光・反射判定結果記憶部111に格納され、S311で発光・反射判定結果表示部207に表示される。この表示方法としては、撮影されたシーン内における発光物体領域と反射物体領域をユーザが識別できれば良い。したがって例えば、通常撮影画像の全体を暗く表示した上に、検出された発光物体領域のみを明るく表示する等が考えられる。
【００２２】
次にS312で、変換処理実行ボタン208が押されるまで待機し、押されたらS313に進む。S313では画像変換部112において、入力画像記憶部103に格納されている通常撮影画像に対し、S307で選択された観察光源下での見えとなるような変換処理を施し、該変換結果を変換画像記憶部113に格納する。なお、画像変換処理の詳細については後述する。そしてS314で、変換画像記憶部113に格納されている変換画像を画像表示部209に表示する。
【００２３】
次にS315で、変換画像保存ボタン210が押されるまで待機し、押されたらS316に進み、画像出力部114が、変換画像記憶部113に格納されている画像データを外部記憶装置121に格納する。
【００２４】
●入力画像データ
本実施形態においてS302で入力される画像データとしては、マルチバンドカメラによって撮影されたマルチバンド画像を想定している。ここでマルチバンドカメラとは、4つ以上の分光特性の異なるカラーフィルタを有するカメラであり、このカメラによって撮影された画像データは、各画素について4つ以上の色情報を持つ。以下、本実施形態における入力画像データは、6種類のカラーフィルタを有するマルチバンドカメラによって撮影された画像(以下、マルチバンド画像)であるとする。
【００２５】
●変換パラメータ
本実施形態においてS304で入力される変換パラメータは、マルチバンドカメラによって取得したマルチバンド画像を、各画素に対して分光反射率を持つ分光画像に変換するための変換行列、およびカラーフィルタの分光透過率データである。なお、本実施形態において扱う分光反射率は、可視光領域の380-730nmに対して、10nmにサンプリングした36次元のデータとする。
【００２６】
ここで、6種類のカラーフィルタを有するマルチバンドカメラによって取得したマルチバンド画像から分光画像への変換を行うには、画素ごとに、6次元のデータを36次元のデータに変換する必要がある。そこで、以下の式(1)のように変換を行うことで、マルチバンド画像から分光画像への画素ごとの変換が可能となる。式(1)において、ｏが変換目標となる分光画像を示し、36次元の分光反射率データo380〜o730からなる。ｖが変換対象となるマルチバンド画像であり、6次元のマルチバンド画素値v1〜v6からなる。Ｇは36×6の変換行列である。また、Ｗはホワイトバランス係数であり、w1〜w6の有効係数を有する。
【００２７】
【００２８】
上記ホワイトバランス係数Ｗは、撮影光源の分光データlight(λ)と、カラーフィルタの分光透過率filtern(λ)(nはフィルタ番号)を用いて、以下の式(2)のように算出される。
【００２９】
【００３０】
すなわち上記S304では変換パラメータとして、式(1)に示す変換行列Ｇ、および式(2)に示すカラーフィルタの分光透過率データfiltern(λ)(n=1〜6)を入力する。
【００３１】
●発光・反射判定処理
以下、S310における発光・反射判定処理について詳細に説明する。発光物体領域の判定には、入力画像記憶部103に格納されている通常撮影画像と、フラッシュ画像記憶部104に格納されているフラッシュ撮影画像とにおける画素値の差分を用いる。具体的には以下に示す式(3)によって、画素(x,y)ごとに発光物体領域である度合いを示す発光物体係数αを算出し、これを判定結果とする。
【００３２】
式(3)において、ｐinput(x,y)は通常撮影画像における画素(x,y)の輝度値、ｐflash(x,y)はフラッシュ撮影画像における画素(x,y)の輝度値である。これらの輝度値は、それぞれのマルチバンド画像ｖに対して周知の積分処理を施すことによって導出される。またｐmaxは、通常撮影画像ｐinput(x,y)における最大輝度値である。
【００３３】
【００３４】
式(3)によって算出される発光物体係数αは0≦α≦1の値をとり、αが1に近いほど、当該画素は発光物体領域である度合いが高いと判定される。したがって、S311では、通常撮影画像において発光物体係数αが所定の閾値以上である画素を検出し、発光物体領域として設定、表示すれば良い。
【００３５】
また式(3)におけるｋは、発光物体の判定精度を制御するための発光物体判定係数であるが、本実施形態ではこの値を通常撮影画像の輝度値ｐinputに応じて0≦ｋ≦1の範囲で設定する。ここで図４に、通常撮影画像の輝度値ｐinputに対する発光物体判定係数ｋの値を示す。一般に、通常撮影画像における発光物体領域は、反射物体領域と比較して輝度が高く、ある程度以上の高輝度領域であれば発光物体領域であるとみなせる。そこで本実施形態では図４に示すように、通常撮影画像の輝度値ｐinputが所定値以上の高輝度部であれば発光物体判定係数ｋを0とする。これにより、上記式(3)により算出される発光物体係数αが、該高輝度部において無条件に1となる。また図４に示すように、通常撮影画像の輝度値ｐinputが所定値以下の低輝度部であれば発光物体判定係数ｋを1とする。これにより、上記式(3)により算出される発光物体係数αが、該低輝度部において高精度に設定される。すなわち、低輝度部における発光物体領域の検出精度が高められる。なお、通常撮影画像における低輝度部と高輝度部の間については、図４に示すように輝度値が大きいほど発光物体係数ｋが小さくなるように連続させれば良い。
【００３６】
●画像変換処理
以下、S313における画像変換処理について詳細に説明する。ここではまず、通常撮影画像として入力されたマルチバンド画像ｖを、上記S304で入力された変換パラメータ(変換行列Ｇ、カラーフィルタの分光透過率filtern(λ))を用いて、上記式(1)に従って分光画像ｏに変換する。そして分光画像ｏに対し、上記S310で式(3)により求められた発光物体係数αを用いて、観察光源下におけるリニアsRGBのRGB値への変換を行う。この変換は、以下の式(4)に従う。
【００３７】
【００３８】
式(4)によれば、通常撮影画像の分光画像ｏに対し、撮影光源の分光放射輝度Ｌ0を反映させた第１の反映結果と、観察光源の分光放射輝度Ｌ1を反映させた第２の反映結果をαに応じた割合で合成する。すなわち、発光物体係数αが高いために発光物体領域内にあるとみなせる画素については、観察光源の寄与度が小さくなり、観察光源を反映しない色再現がなされる。逆に、発光物体係数αが低いために発光物体領域外、すなわち反射物体領域内にあるとみなせる画素については、観察光源の寄与度が大きくなり、観察光源を反映した色再現がなされる。
【００３９】
以上の処理によって、入力されたマルチバンド画像がsRGBデータに変換されるが、該sRGBデータをさらにディスプレイ等へ表示する場合には、ガンマ補正処理や、ディスプレイの色特性に応じた色合わせ処理を行えば良い。
【００４０】
以上説明したように本実施形態によれば、マルチバンドカメラを用いて撮影されたシーン内に発光物体が含まれていた場合に、該発光物体領域に対して観察光源を反映させないように制御することができる。したがって、発光物体と反射物体が混在したシーンの撮影画像についても、撮影光源下とは異なる観察光源下での見えを精度良く再現することが可能となる。
【００４１】
なお、本実施形態では、ユーザがUI部115を介して指示しながら変換処理を行う例を示したが、ユーザ指示を入力せずに各ファイルを自動選択しながら変換処理を行う形式であっても良い。
【００４２】
＜第２実施形態＞
以下、本発明に係る第２実施形態について説明する。上述した第１実施形態では、ユーザがUI部115を介した指示を行いながら、画像変換処理を行う例を示した。一般的に、暗いシーンにおいては、光量を確保するためにフラッシュを用いることがある。しかしながら、フラッシュと撮影光源の分光放射輝度が異なる場合には、撮影光源下での見えを再現するためには、フラッシュ画像に対して、光源変換処理が必要となる。その際、シーン中に発光物体を反射物体と同様に扱うと、上記と同様に本来とは異なる見えに変換されてしまう。第２実施形態では、デジタルカメラ等の画像入力装置において、ユーザ指示を介することなく、該装置内で自動変換処理を行う例を示す。またこの自動変換処理として、フラッシュ撮影画像から、発光物体領域を考慮した通常撮影画像への変換を行う例を示す。
【００４３】
図５は、第２実施形態における画像入力装置であるデジタルカメラ（以下、カメラ）の構成を示すブロック図である。なお、上述した第１実施形態で図１に示した構成と同様であるもの(画像処理部101等)については同一番号を付し、説明を省略する。図５に示すカメラ501において、502は光学レンズ等を備える撮像部、503はフラッシュ、504は撮影ボタン、505は4種類以上のカラーフィルタを配置したセンサである。506はカメラ501全体を制御する制御部、507は撮影動作によって取得したデータに対して信号処理を行う信号処理部である。508は、外部記憶装置121等の外部装置や、撮影光源の分光放射輝度を取得する分光放射輝度計509等を制御する外部インタフェースである。
【００４４】
以下、第２実施形態のカメラ501における画像変換処理について、図６のフローチャートを用いて説明する。カメラ501はまずS601にて、撮影ボタン504が押されるまで待機し、押されたらS602に進む。S602では、制御部506が撮像部502およびセンサ部505を動作させて撮影を行う。そしてS603では、S602にて撮影した画像に対して、信号処理部507にてデモザイキング処理やノイズリダクション処理等の信号処理を行うことによって現像を施し、画像処理部101内の入力画像記憶部103に格納する。次にS604では撮影光源情報として、分光放射輝度計509から撮影光源の分光放射輝度を入力する。
【００４５】
次にS605では、制御部506がフラッシュ503、撮像部502及びセンサ部505を動作させて撮影を行う。そしてS606では、S605にて撮影した画像に対して、信号処理部507にて信号処理を行うことで現像を施し、フラッシュ画像記憶部104に格納する。次にS607ではフラッシュ情報として、装置内に予め保持されている、フラッシュ503の分光放射輝度を入力する。
【００４６】
そしてS608では上述した第１実施形態におけるS304と同様に、変換パラメータを読み込んで変換パラメータ記憶部109に格納する。ただしここでは、カメラ501に予め既定された変換パラメータが読み込まれる。
【００４７】
次にS609では、フラッシュを用いて撮影したフラッシュ撮影画像を入力画像（第１実施形態における通常撮影画像）として、上述した第１実施形態と同様の方法によって、撮影光源下での見えを再現する画像への変換処理を行う。すなわち第２実施形態では、上記S604で取得した撮影光源の分光放射輝度を第１実施形態における観察光源の分光放射輝度として扱い、同様にフラッシュ503の分光放射輝度を第１実施形態における撮影光源の分光放射輝度として扱う。
【００４８】
具体的にはS609ではまず、通常撮影画像とフラッシュ撮影画像における画素値の差分に基づき、シーン内で自らが発光している発光物体に対応する発光物体領域をフラッシュ撮影画像から検出する。そしてフラッシュ撮影画像を撮影光源下での見えを再現するように変換する際に、発光物体領域とそれ以外の反射物体領域とで撮影光源の分光放射輝度を反映させる度合いが異なるように制御する。これにより、発光物体領域に対して撮影光源を反映させないような変換が行われる。
【００４９】
そして最後にS610では、S609にて変換した画像を、外部インタフェース508を介して外部記憶装置121に格納する。
【００５０】
以上説明したように第２実施形態によれば、フラッシュを用いて撮影した画像を、該シーン内の発光物体領域を考慮しつつ、フラッシュを使用せずに撮影光源下で撮影した画像へ変換することが可能となる。すなわち、変換後の画像はその発光物体領域において撮影光源の影響が低減されている。
【００５１】
＜第３実施形態＞
以下、本発明に係る第３実施形態について説明する。上述した第１実施形態では、発光物体領域を自動判定する例を示したが、第３実施形態では該領域をユーザが指定する例を示す。第３実施形態における画像処理装置の装置およびユーザインタフェースについては上述した第１実施形態とほぼ同様であるため、説明を省略する。
【００５２】
以下、第３実施形態における画像変換処理について、図７のフローチャートを用いて詳細に説明する。まずS701で画像読込ボタン202が押されるまで待機し、押されたらS702に進む。S702では画像入力部102において、入力画像データとして、撮影光源下で撮影した通常撮影画像を選択し、入力画像記憶部103に格納する。
【００５３】
次にS703では、変換パラメータ読込ボタン203が押されるまで待機し、押されたらS704に進む。S704では第１実施形態のS304と同様に、ユーザによって選択された変換パラメータを変換パラメータ入力部108が入力し、変換パラメータ記憶部109に格納する。そしてS705では、撮影光源読込ボタン204が押されるまで待機し、押されたらS706に進む。S706では、第１実施形態のS306と同様に、ユーザによって選択された撮影光源情報を撮影光源入力部105が入力し、撮影光源記憶部106に格納する。次にS707では、観察光源選択ボタン205によって光源が選択されるのを待機し、選択されたらS708に進む。S708では観察光源選択部122にて、該選択された光源に基づく観察光源情報を観察光源記憶部107から選択する。
【００５４】
次にS709では、入力画像記憶部103に格納された通常撮影画像に対し、まずはその全画像領域を反射物体であるとみなし、観察光源を用いた画像変換処理を行う。この画像変換処理は、第１実施形態のS313における観察光源下での見えを再現する画像変換処理と同様であり、すなわち全画素について発光物体係数αを0に設定して、画像変換処理を行う。そしてS710で、S709にて変換した画像を画像表示部209に表示し、S711でユーザによって発光物体領域が指定されるまで待機し、発光物体領域が指定されたらS712に進む。この指定方法については特に規定されないが、例えば表示された画像上における領域をポインティングデバイス等を用いて指定することが考えられる。
【００５５】
S712では、S711で指定された発光物体領域内の画素については発光物体係数αを1に設定し、発光物体領域外の画素については反射物体領域とみなして発光物体係数αを0に設定する。
【００５６】
次にS713で、変換処理実行ボタン208が押されるまで待機し、押されたらS714に進む。S714では画像変換部112において、入力画像記憶部103に格納されている通常撮影画像に対して、S707で選択された観察光源下での見えとなるような変換処理を施し、該変換結果を変換画像記憶部113に格納する。そしてS715では、変換画像記憶部113に格納されている変換画像を画像表示部209に表示する。次にS716で、変換画像保存ボタン210が押されるまで待機し、押されたらS717に進んで、画像出力部114が、変換画像記憶部113に格納されている画像データを外部記憶装置121に格納する。
【００５７】
以上説明したように第３実施形態によれば、ユーザが発光物体領域を指定することによって、フラッシュ撮影画像を取得することなく、通常撮影画像における発光領域と反射領域を区別して処理することができる。
【００５８】
＜その他の実施形態＞
上述した第１および第２実施形態では、フラッシュ撮影画像と通常撮影画像の差の絶対値によって、撮影シーン内の発光物体領域と反射物体領域を判別する例を示したが、発光物体領域の判別方法はこの例に限定されない。例えば、撮影シーン内の高輝度領域において、撮影光源とは異なるホワイトバランス係数が検出された場合に、該領域を発光物体領域と判別する方法も考えられる。
【００５９】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはCPUやMPU等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力手段と、
前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、
前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得手段と、
前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定手段と、
前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換手段と、を有し、
前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記発光物体領域に対して合成される前記第２の反映結果の割合が、該発光物体領域外の画素に対して合成される該第２の反映結果の割合よりも小さくなるように変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像入力手段は、前記撮影光源下で前記シーンに対し、フラッシュを発光させて撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像を入力し、
前記設定手段は、前記通常撮影画像と前記フラッシュ撮影画像における画素値の差分に基づき、該通常撮影画像における前記発光物体領域を検出し、設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
さらに、前記画像入力手段で入力された撮影画像を分光反射率データに変換するための変換パラメータを取得するパラメータの取得手段を有し、
前記変換手段は、前記変換パラメータを用いて前記撮影画像を分光反射率データに変換し、該分光反射率データに対して前記撮影光源と前記観察光源の分光放射輝度を反映させるように変換処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記設定手段は、前記撮影画像に対するユーザ指示に応じて、前記発光物体領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
撮影光源下における同一シーンに対し、4種類以上のカラーフィルタを有するマルチバンドカメラによって、フラッシュを発光させて撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像を入力する画像入力手段と、
前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、
前記フラッシュの分光放射輝度を取得するフラッシュ情報の取得手段と、
前記通常撮影画像と前記フラッシュ撮影画像における画素値の差分に基づき、該フラッシュ撮影画像における、前記シーン内で自らが発光している発光物体に対応する発光物体領域を検出する検出手段と、
前記フラッシュ撮影画像に前記フラッシュの分光放射輝度を反映させた第１の反映結果と、該フラッシュ撮影画像に前記撮影光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記フラッシュ画像を前記撮影光源下での見えを再現するように変換する変換手段と、を有し、
前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理装置。
【請求項７】
画像入力手段、撮影光源情報の取得手段、観察光源情報の取得手段、設定手段、および変換手段を有する画像処理装置における画像処理方法であって、
前記画像入力手段が、撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力ステップと、
前記撮影光源情報の取得手段が、前記撮影光源の分光放射輝度を取得する撮影光源情報の取得ステップと、
前記観察光源情報の取得手段が、前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得ステップと、
前記設定手段が、前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定ステップと、
前記変換手段が、前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換ステップと、を有し、
前記変換ステップにおいては、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理方法。
【請求項８】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力手段と、
前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、
前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得手段と、
前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定手段と、
前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換手段と、を有し、
前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記発光物体領域に対して合成される前記第２の反映結果の割合が、該発光物体領域外の画素に対して合成される該第２の反映結果の割合よりも小さくなるように変換処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像入力手段は、前記撮影光源下で前記シーンに対し、フラッシュを発光させて撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像を入力し、
前記設定手段は、前記通常撮影画像と前記フラッシュ撮影画像における画素値の差分に基づき、該通常撮影画像における前記発光物体領域を検出し、設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
さらに、前記画像入力手段で入力された撮影画像を分光反射率データに変換するための変換パラメータを取得するパラメータの取得手段を有し、
前記変換手段は、前記変換パラメータを用いて前記撮影画像を分光反射率データに変換し、該分光反射率データに対して前記撮影光源と前記観察光源の分光放射輝度を反映させるように変換処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記設定手段は、前記撮影画像に対するユーザ指示に応じて、前記発光物体領域を設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
撮影光源下における同一シーンに対し、4種類以上のカラーフィルタを有するマルチバンドカメラによって、フラッシュを発光させて撮影したフラッシュ撮影画像と、フラッシュを発光させずに撮影した通常撮影画像を入力する画像入力手段と、
前記撮影光源の分光放射輝度を取得する撮影光源情報の取得手段と、
前記フラッシュの分光放射輝度を取得するフラッシュ情報の取得手段と、
前記通常撮影画像と前記フラッシュ撮影画像における画素値の差分に基づき、該フラッシュ撮影画像における、前記シーン内で自らが発光している発光物体に対応する発光物体領域を検出する検出手段と、
前記フラッシュ撮影画像に前記フラッシュの分光放射輝度を反映させた第１の反映結果と、該フラッシュ撮影画像に前記撮影光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記フラッシュ画像を前記撮影光源下での見えを再現するように変換する変換手段と、を有し、
前記変換手段は、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理装置。
【請求項７】
画像入力手段、撮影光源情報の取得手段、観察光源情報の取得手段、設定手段、および変換手段を有する画像処理装置における画像処理方法であって、
前記画像入力手段が、撮影光源下において、4種類以上のカラーフィルタを有するマルチバンドカメラによって撮影された撮影画像を入力する画像入力ステップと、
前記撮影光源情報の取得手段が、前記撮影光源の分光放射輝度を取得する撮影光源情報の取得ステップと、
前記観察光源情報の取得手段が、前記撮影光源とは異なる観察光源の分光放射輝度を取得する観察光源情報の取得ステップと、
前記設定手段が、前記撮影画像において、そのシーン内で自らが発光している発光物体に対応する発光物体領域を設定する設定ステップと、
前記変換手段が、前記撮影画像に前記撮影光源の分光放射輝度を反映させた第１の反映結果と、該撮影画像に前記観察光源の分光放射輝度を反映させた第２の反映結果を合成することで、前記撮影画像を前記観察光源下での見えを再現するように変換する変換ステップと、を有し、
前記変換ステップにおいては、前記発光物体領域とそれ以外の領域とで、前記第１および第２の反映結果を合成する割合が異なることを特徴とする画像処理方法。
【請求項８】
コンピュータ装置で実行されることにより、該コンピュータ装置を請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１９９８０４（Ｐ２０１２−１９９８０４Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６２９２７（Ｐ２０１１−６２９２７）
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月２２日（２０１１．３．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]