色再現システム及び色再現処理方法
【課題】複雑な処理手順をユーザに強いることなく、色再現性に優れた画像処理を可能とする。
【解決手段】データベース１４０には、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報が蓄積される。処理装置１２０は、ユーザにより設定された検索条件で検索して得られた分光反射率情報をデータベース１４０から取得し、色再現処理に際してカラー画像に写っている被写体像の色を参照するための領域である参照領域をユーザが設定するのを受け付け、データベース１４０から取得した分光反射率情報を用いて、カラー画像の色再現処理をする。このとき色再現処理部３０８は、参照領域中の画像データと、分光反射率情報中の、参照領域に対応する分光反射率情報とに基づいてカラー画像の色再現処理をする。
【解決手段】データベース１４０には、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報が蓄積される。処理装置１２０は、ユーザにより設定された検索条件で検索して得られた分光反射率情報をデータベース１４０から取得し、色再現処理に際してカラー画像に写っている被写体像の色を参照するための領域である参照領域をユーザが設定するのを受け付け、データベース１４０から取得した分光反射率情報を用いて、カラー画像の色再現処理をする。このとき色再現処理部３０８は、参照領域中の画像データと、分光反射率情報中の、参照領域に対応する分光反射率情報とに基づいてカラー画像の色再現処理をする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影して得られたカラー画像をもとに被写体の色を再現する色再現システム及び色再現処理方法に関する。
【背景技術】
【０００２】
被写体の正確な測色値を画像として取得することを目的として、マルチバンドカメラにより撮影された画像から被写体の分光反射率を推定して色再現を行なう方法が提案されている（特許文献１）。ここで、マルチバンドカメラによる画像から被写体の分光反射率を推定する際には、カメラの各バンドの分光感度特性、及び被写体の分光的な統計情報を用いて推定を行っている。また、撮影時に被写体を照明していた光（以下、これを撮影照明光と称する）のスペクトルが撮影時に計測され、被写体の分光反射率を推定する際に利用される。
【０００３】
また、分光反射率が既知である多色の色票を被写体とともに撮影し、被写体の分光反射率を推定する方法が提案されている（特許文献２）。更に、分光反射率が未知の被写体と分光反射率が既知の色票とをそれぞれ同じ条件で撮影することにより、分光反射率が未知の被写体の分光反射率を求める、あるいは色を推定する方法が提案されている（特許文献３）。
【特許文献１】特開平１１−８５９５２号公報
【特許文献２】特開平１１−９６３３３号公報
【特許文献３】特許第３９６０９８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示される技術では、撮影照明光のスペクトルを計測する必要がある。加えて、撮影した被写体のスペクトルの統計的性質（以下、これを被写体特性と称する）が被写体の分光反射率を推定する際に必要となる。撮影装置に撮影照明光のスペクトルを計測可能なスペクトル計測部を設けると、撮影装置の大型化・高価格化を免れない。また、撮影時に被写体を照明していた光は必ずしも一種類とは限らない。例えば撮影画面中に存在する複数の被写体の一部はタングステン光で照明されていて、他部は蛍光灯で照明されている、という状況もあり得る。その場合、どの被写体はどの撮影照明光で、といった画面内の被写体と撮影照明光とを関連付ける作業が必要となり、撮影操作が煩雑なものとなる。
【０００５】
特許文献２、３に開示される技術では、被写体とともに色標を写し込む必要があり、速写性を妨げる可能性がある。また、被写体が遠くの風景などである場合に、被写体を照明している光と撮影装置の近くにある色標を照明している光とで異なっていると必ずしも正確な色再現ができない。
【０００６】
また、画像の色調、コントラスト、シャープネス等を調整して画像を自分の好みに調整するためのソフトウェアとしてフォトレタッチソフトウェアがある。フォトレタッチソフトウェアを用いることにより、ユーザは上記の色調、コントラスト、シャープネス等の調整を自由に行うことができる反面、画像を自分の好みの色調や階調に調整できるようになるにはレタッチに関する多くの知識と経験が必要である。そのため、初心者が自分の好みの色調や階調に画像を調整することは容易では無く、また、ユーザがうまく調整できたと思っても、それが必ずしも正確な色再現には結びついていない場合があった。
【０００７】
本発明は、上述した課題を解決するための手段を提供することを目的としており、色標を被写体と共に撮影することが不要で、手軽で色再現性に優れた画像処理を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１） 本発明の第１の態様は、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースと、撮影して得られたカラー画像の色再現処理をするための画像データ処理装置とを有する色再現システムに適用され、
前記画像データ処理装置は、
ユーザにより設定された検索条件で検索して得られた分光反射率情報を前記データベースから取得する、分光反射率情報取得部と、
前記色再現処理に際して前記カラー画像に写っている被写体像の色を参照するための領域である参照領域を前記ユーザが設定するのを受け付ける参照領域設定部と、
前記分光反射率情報を用い、前記カラー画像の色再現処理をする色再現処理部であって、前記参照領域中の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率情報とに基づいて前記カラー画像の色再現処理をする、色再現処理部と
を有することにより上述した課題を解決する。
（２） 本発明の第２の態様は、色再現処理方法に適用され、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースから、ユーザにより設定された検索条件で検索して得られた分光反射率情報を取得することと、
撮影して得られたカラー画像の色再現処理をすることであって、前記色再現処理に際して、前記カラー画像に写っている被写体像の色を参照する領域として前記ユーザにより設定された参照領域の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率とに基づいて前記カラー画像の色再現処理をすることと
を有する。
【発明の効果】
【０００９】
本発明はデータベースと画像データ処理装置とを有し、データベースには撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されている。画像データ処理装置は、ユーザにより設定された検索条件で検索して得られた分光反射率情報をデータベースから取得し、色再現処理に際してカラー画像に写っている被写体像の色を参照するための領域である参照領域をユーザが設定するのを受け付ける。そして画像データ処理装置が、データベースから取得した分光反射率情報を用い、参照領域中の画像データと、分光反射率情報中の、参照領域に対応する分光反射率情報とに基づいてカラー画像の色再現処理をすることにより、撮影時に撮影照明光の計測をしたり色標を写し込んだりすることなく、より少ない作業手順でより正確な色再現処理結果を得ることが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施の形態に係る色再現システム１００の概略的構成を示す図である。色再現システム１００は、クライアントとしての画像データ処理装置（以下、処理装置と称する）１２０と、データベースシステム１４０を内部に有するサーバとを有する。以下では単にデータベース１４０と称する。処理装置１２０とデータベース１４０とは、ＬＡＮ、又はＷＡＮ等のネットワーク１６０を介して接続される。あるいは、データベース１４０を処理装置１２０の内部に有するものであってもよい。図１においては、データベース１４０および処理装置１２０が一つづつ示されているが、複数の処理装置１２０が接続されるものであってもよい。同様に、データベースも複数存在していてもよい。処理装置１２０は、モニタ表示装置１２２が接続されたパーソナルコンピュータのみならず、テレビ受像器やモニタ表示装置に接続されるセットトップボックスや画像再生装置、画像録画再生装置等であってもよい。
【００１１】
データベース１４０は、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されている。予想撮影対象物は、例えば世界中に存在する景観、建築物、遺構、美術品、動植物などを含むものとすることができる。あるいは、学術、芸術、医学、工業等、あらゆる分野における生成物、創作物、試料、製品等を含むことも可能である。
【００１２】
分光反射率情報は、予想撮影対象物の表面における分光反射率の分布を予め計測して得られた情報である。分光反射率の分布を計測する方法としては、測定視野角の比較的小さい、スポット式の測色計（以下、スポット測色計と称する）を用いる方法がある。この方法では、スポット測色計を用いて、予想撮影対象物の表面上における異なる複数の点における分光反射率を測定する。このとき、予想撮影対象物の表面を格子状に分割し、その格子の各交点に対応する位置で分光反射率を計測することにより、予想撮影対象物の表面における分光反射率の分布に関する情報を得ることが可能となる。予想撮影対象物表面における測定間隔は均等であっても不等間隔であってもよい。以下、本明細書中ではこのようにして得られた分光反射率情報を「離散計測分光反射率情報」と称する。離散計測分光反射率情報は、予想撮影対象物の表面における代表的な部位の分光反射率情報を含むことが可能となる。
【００１３】
分光反射率の分布を計測するもう一つの方法としては、二次元の画像データを得る方法がある。これは、マルチスペクトルカメラ等を用いて分光反射率画像データを得る方法である。マルチスペクトルカメラの一例としては、モノクロ撮像素子を有するカメラの撮影レンズ前面または内部にターレット切り替え式のカラーフィルタを有するものがある。カラーフィルタは、例えば１６色とすることが可能であり、これらのカラーフィルタの分光透過率は予め計測されている。
【００１４】
これらのカラーフィルタを切り替えながら撮影することを繰り返すことにより、同一の被写体に対して得られた１６色分の画像データを処理してマルチバンドの画像データを得る。このとき、撮影時に被写体を照明していた光（以下、これを撮影照明光と称する）の分光特性も計測する。マルチバンドの画像データに対して、撮影照明光の分光特性、カメラのトーン特性、バイアス特性等に基づいて処理をすることにより、被写体の分光反射率画像データを得ることができる。この分光反射率画像データも、分光反射率情報である。以下、本明細書中では上記のようにして得られた二次元の分光反射率情報を「連続計測分光反射率情報」と称する。連続計測分光反射率情報によれば、予想撮影対象物の表面における任意の部位の分光反射率情報を得ることが可能となる。
【００１５】
データベース１４０に分光反射率情報を蓄積するのに要する記憶容量を考慮したとき、離散計測分光反射率情報を記憶するのに必要な記憶容量は、連続計測分光反射率情報を記憶するのに必要な記憶容量に比べて小さくできる利点を有する。一方、連続計測分光反射率情報は、予想撮影対象物の表面の任意の位置における分光反射率情報を得ることができるという利点を有する。
【００１６】
一つの予想撮影対象物に対応する分光反射率情報は、データベース１４０中に複数組含まれることが望ましい。例えば、予想撮影対象物が建築物のようなものである場合、異なる天気（湿度）、表面が乾燥している状態、雨で濡れている状態、計測した面（東面、西面、南面、北面等）、計測方向（例えば東面を斜め右４５度の方向から）等、分光反射率が変わる状況に対応して計測して得られた分光反射率情報がデータベース１４０中に蓄積されていることが望ましい。
【００１７】
また、予想撮影対象物が自然の景観であるならば、異なる天気、異なる季節、計測方向等、分光反射率が異なる状況に対応して計測して得られた分光反射率情報がデータベース１４０中に蓄積されていることが望ましい。何故ならば、計測条件が異なると、予想撮影対象物表面の分光反射率も異なる場合があるからである。
【００１８】
以上のように、撮影者が撮影する際の季節、時期、気象条件やカメラアングル等を予め想定して、それらの撮影条件やカメラアングルに対応した条件で分光反射率情報を得てデータベース１４０中に記録することが後述する色再現処理をより正確なものとする上で望ましい。
【００１９】
図２は、データベース１４０中に上述した分光反射率情報が対応する検索情報とともに蓄積される様子を概念的に示す図である。ある予想撮影対象物の分光反射率情報２００に名称２０２、色の名２０４、分光反射率計測条件２０６、計測対象物情報２０８、キーワード２１０等の検索情報が関連付けられてデータベース１４０中に蓄積される。
【００２０】
一例として、分光反射率情報２００がフランス、パリのシャルル・ド・ゴール広場に建つ凱旋門の東面を計測して得られたものである場合を例に説明する。名称２０２には、「パリ凱旋門東面」というような情報が格納される。色の名２０４には、「クリーム色」、「ベージュ」と云った、パリ凱旋門の色を表す色名の情報が格納される。分光反射率計測条件２０６には、「雨天」、「晴天」、「冬」、「夏」、「高湿度」、「低湿度」等、分光反射率を計測したときの環境条件に関連する情報が格納される。
【００２１】
予想撮影対象物が古い建築物等で、過去に改修が行われているような場合に、分光反射率を測定した年月日の情報が分光反射率計測条件２０６に含まれていてもよい。そのようにすれば、分光反射率情報が改修前のものであるのか、改修後のものであるのかを知ることが可能となる。計測対象物情報２０８には、「建築物」、「門」などの視覚的な情報が格納される。キーワード２１０には、「フランス」、「パリ」、「シャルル・ド・ゴール」、「エトワール」、「凱旋門」などの、予想撮影対象物の位置する場所の名、予想撮影対象物の名称そのものなどの情報等、ユーザが必要とする分光反射率情報を容易に見出すことができるようにするための検索情報が格納される。
【００２２】
図３は、処理装置１２０の内部構成を概略的に説明するブロック図である。処理装置１２０は、検索条件設定部３０２と、カラー画像記憶部３０４と、分光反射率情報取得部３０６と、色再現処理部３０８と、参照領域設定部３１０と、評価領域設定部３１２と、基準情報作成部３１４と、画像評価部３１６と、処理済み画像記憶部３１８と、色再現情報設定部３２０と、画像表示処理部３２２と、評価結果表示処理部３２４とを有する。
【００２３】
図４は、色再現処理部３０８の内部構成を概略的に説明するブロック図である。色再現処理部３０８は、画像切出部４０２と、平均処理部４０４と、色変換マトリクス作成部４０６と色変換演算部４０８とを有する。
【００２４】
以下では、処理装置１２０で行われる色再現処理の内容について図５から図１３を参照して先に説明し、その後に図３、図４を参照して処理装置１２０の構成を説明する。
【００２５】
図５は、ユーザが処理装置１２０を操作し、色再現処理の対象となる画像データ（以下、処理対象画像データと称する）を選択して色再現処理開始操作をしたのに応じて処理装置１２０に接続されるモニタ表示装置１２２上の表示例を示す。ここで、処理対象画像データは、撮影して得られたカラーの画像データである。この処理対象画像データは、ユーザがデジタルカメラ等を用いて撮影して得たものであっても良いし、光ディスク等の記憶媒体に記録されて頒布されたものであってもよい。あるいは、インターネットを介して取得したものであってもよい。この画像データは、いわゆるマルチスペクトルカメラで得られたマルチバンドの画像データであることが、より正確な色再現処理をする上で望ましい。あるいは、ＢＧＲの原色系カラーフィルタあるいはＹＣＭの補色系カラーフィルタを有する従来のデジタルカメラで生成されるＢＧＲ画像データであっても、精度は若干低下するものの、処理対象画像データとすることが可能である。
【００２６】
以下では、処理対象画像データはマルチバンドの画像データであるものとして説明をする。そして、このマルチバンドの画像データには、カメラのトーン・バイアス特性、分光感度特性に関する情報（以下ではこれらを入力プロファイルと称する）が含まれるものとして説明をする。
【００２７】
図５に示されるように、画面上には、処理対象画像データに基づく画像５ａ（以下、処理対象画像５ａと称する）が表示される。この処理対象画像５ａには、分光反射率が既知である可能性の高い（分光反射率情報がデータベース１４０に記録されている可能性が高い）被写体の像５ｂに加えて、分光反射率が既知である可能性の低い被写体の像５ｃを含んでいてもよい。
【００２８】
画面上にはまた、データベース１４０中から分光反射率情報を検索するための検索条件をユーザが入力するのを受け付ける枠５ｄ、５ｅ、５ｆ、５ｇ、５ｈが表示される。ユーザは、コンピュータマウス等のポインティングデバイスとキーボードとを操作して、これらの枠内に検索条件を入力する。例えば、枠５ｄ内に「凱旋門」、枠５ｅ内に「凱旋門東面」、枠５ｆ内に「春 晴れ」、枠５ｇ内に「パリ シャルル・ド・ゴール」、枠５ｈ内に「ベージュ」等の情報を入力して「検索スタート」ボタン５ｋをクリックする。
【００２９】
なお、必ずしも上記枠５ｄから５ｈの全てに情報を入力する必要は無いが、検索条件を詳細に設定することにより、分光反射率情報のより的確な検索結果を得ることが可能となる。
【００３０】
「検索スタート」ボタン５ｋをユーザがクリックするのに応じて、画面上には検索結果表示窓５ｊが表示される。検索結果表示窓５ｊ内には、枠５ｄから５ｈに入力された検索条件に対応する分光反射率情報の検索結果（分光反射率情報の選択候補）が表示される。
【００３１】
検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中で適宜のものが見いだせない場合、あるいは選択候補が多すぎる場合、ユーザは検索条件を新たに設定しなおして「検索スタート」ボタン５ｋを再度クリックすることができる。
【００３２】
ところで、画像入力装置がＧＰＳセンサ、地磁気センサ、姿勢センサなどを有するものである場合、撮影時に計測して得られた測位情報や方位情報、そしてカメラの向き（上向き、水平、下向き等）を画像データに付加されるタグ情報中に格納することが可能である。処理装置１２０は、これらの情報を読み出すことにより、画像入力装置が地球上のどの位置からどの方位、どの向きに向けられて撮影が行われたかを把握することができる。データベース１４０中に蓄積される分光反射率情報に撮影位置、撮影方位、向きに関する検索情報が付加されることにより、ユーザによる検索条件入力の手間を減ずることも可能となる。
【００３３】
図６は、ユーザがポインティングデバイスを操作して、分光反射率情報の候補２の上にカーソルを移動させた直後の表示を示している。図６に示されるように、分光反射率情報（候補２）を囲う枠６ａが表示された状態でユーザがクリック操作をすると、選択された候補２に対応する分光反射率情報がデータベース１４０から取得される。この分光反射率情報には、サンプル画像データが添付されていることが望ましく、このサンプル画像データに基づくサンプル画像７ａを図７に示されるように表示することができる。このサンプル画像７ａは、必ずしも候補２の分光反射率情報を含むものでなくてもよく、予想撮影対象物のどの面の分光反射率情報を含むのかをユーザが直観的に把握可能とする画像とすることが可能である。例えば、分光反射率を計測したときに、分光反射率を測定した位置から通常のＢＧＲ３原色デジタルカメラで撮影して得られた画像をサンプル画像７ａとして表示してもよいし、イラストレーションを表示してもよい。あるいは、分光反射率情報が連続計測分光反射率情報である場合、この情報をもとにサンプル画像７ａを生成、表示することが可能である。
【００３４】
ユーザはサンプル画像７ａを観て、これから行われる色再現処理に用いられるものとして適切な分光反射率情報を含んでいるか否かを判定する。例えば、処理対象画像５ａ中に写っている被写体の像５ｂと、サンプル画像７ａとを比較し、撮影状況が似ていて、撮影方向もほぼ同じである、といった判断をすると、ユーザは「参照領域設定」ボタン７ｂをクリックする。一方、サンプル画像７ａを観て、色再現処理に用いるものとしては適当ではない、といった判断をした場合、ユーザは「戻る」ボタン７ｃまたは「再検索」ボタン７ｄをクリックする。「戻る」ボタン７ｃがクリックされた場合、図６に示す表示に戻る。「再検索」ボタン７ｄがクリックされた場合、図５に示す表示に戻る。
【００３５】
図７に示される「参照領域設定」ボタン７ｂをユーザがクリックすると、図８に示される表示がなされる。ユーザはポインティングデバイスやキーボード等を操作して、処理装置１２０が後述する色再現処理をする際に参照する、処理対象画像５ａ中の部分領域（以下、参照領域と称する）８ａを設定する。ユーザは続いて、ポインティングデバイスやキーボード等を操作してサンプル画像７ａ中の参照領域８ｂを設定する。なお、参照領域８ｂの設定に関しては、ユーザが行うのに代えて、画像認識の技術を用いて処理装置１２０が参照領域８ａに対応する、サンプル画像７ａ中の参照領域８ｂを自動的に設定可能に構成されていてもよい。
【００３６】
上記の参照領域８ａとしては、被写体の像５ｂ中で陰になっていない部分等、照明条件が比較的良く、明度が中庸でノイズの少ない部分を選択すると色再現処理の良好な結果を得ることができる。ユーザによって選択された参照領域８ａが好ましい領域であるか否かについて、処理装置１２０は参照領域８ａ中の画像データを解析することが可能である。この解析結果に基づき、ユーザによって選択された参照領域８ａが好ましい領域であるか否かの表示をするように処理装置１２０が構成されていてもよい。また、参照領域８ａ、８ｂの形状や大きさについては、ユーザが任意に選択可能に構成されていてもよい。
【００３７】
ところで、分光反射率情報が離散計測分光反射率情報である場合、ユーザによって選択された参照領域８ａに対応する部分の分光反射率情報が存在しない可能性がある。その場合には、ユーザによって選択された参照領域８ａに対応する部分に最も近い部分の分光反射率情報を用いるようにすることが可能である。あるいは、処理装置１２０は、ユーザによって選択された参照領域８ａに対応する部分の分光反射率情報が無いことをユーザに告知することが可能である。また、分光反射率情報が存在する部分をサンプル画像７ａ中に表示することができる。ユーザはサンプル画像７ａを見て、処理対象画像５ａ中で設定可能な参照領域を見出すことが可能である。分光反射率情報が連続計測分光反射率情報である場合には、上述した制限が無いので、参照領域８ａ、８ｂの設定の自由度が高まる。
【００３８】
以上に説明した参照領域８ａ、８ｂの設定を完了して、ユーザが「評価領域設定」ボタン８ｃをクリックすると、図９に示される表示がなされる。ユーザはポインティングデバイスやキーボード等を操作して、処理装置１２０が後述する色再現処理の評価をする際に参照する、処理対象画像５ａ中の部分領域（以下、評価領域と称する）９ａを設定する。ユーザは続いて、ポインティングデバイスやキーボード等を操作してサンプル画像７ａ中の評価領域９ｂを設定する。
【００３９】
なお、評価領域９ｂの設定に関しては、ユーザが行うのに代えて、画像認識の技術を用いて処理装置１２０が評価領域９ａに対応するサンプル画像７ａ中の評価領域９ｂを自動的に設定可能に構成されていてもよい。また、評価領域９ａ、９ｂの形状や大きさについても、参照領域８ａ、８ｂと同様に、ユーザが任意に選択可能に構成されていてもよい。
【００４０】
上記の評価領域９ａ、９ｂとしては、処理対象画像５ａ中の目立つ部分、より正確な色再現がなされることをユーザが希望する部分とすることが、より良好な処理結果を得る上で好ましい。
【００４１】
以上の操作を完了したユーザは、「色再現処理開始」ボタン９ｃをクリックする。処理装置１２０は、参照領域８ａの分光反射率として、参照領域８ｂの分光反射率を適用する。すなわち、分光反射率情報中から参照領域８ｂに対応する部分の分光反射率情報を抽出し、それを参照領域８ａの分光反射率として適用する。さらに、処理対象画像データ中に含まれる入力プロファイルをもとに、撮影照明光の分光特性を推定する。このような処理の詳細に関しては、特許文献３に開示されているので、ここではその説明を省略する。
【００４２】
続いて、処理装置１２０は、上記のようにして推定した撮影照明光の分光特性と、入力プロファイルをもとに、処理対象画像データ中の参照領域８ａ以外の部分の分光反射率を推定する処理を行う。このときに、データベース１４０中に分光反射率情報が蓄積されていない被写体の像５ｃに対しても、上記のようにして推定した撮影照明光の分光特性と、入力プロファイルをもとに分光反射率を推定する処理が行われる。以上のようにして、処理対象画像データから分光反射率推定画像データが生成される。
【００４３】
以上の説明からも明らかなように、本発明の実施の形態に係る色再現システムにおいては、分光反射率が既知の色標を被写体とともに写し込む必要がない。いわば、世の中に存在する予想撮影対象物の表面における分光反射率の分布をデータベース１４０に蓄積しておくことにより、処理対象画像中データに基づく被写体像を色標として利用することが可能となる。これにより、分光反射率が既知の被写体は無論のこと、分光反射率が既知の被写体とともに写っている分光反射率が未知の被写体も、より正確な色再現を行うことが可能となる。
【００４４】
ところで、上述のようにして得られた分光反射率推定画像データは、撮影照明光の影響が除かれているので、そのままでは色を呈しない。すなわち、暗闇に置かれた物体は見えず、色も判別できないのと同様である。そこで、暗闇に置かれた物体を照明するごとく、上述した処理をして得られた分光反射率推定画像データに、ある分光特性を有する照明光で照明したときの色を再現する処理を行い、表示する処理を処理装置１２０は行う。本明細書では、分光反射率推定画像データに適用する照明光を観察照明光と称する。また、分光反射率推定画像データに観察照明光を適用する処理を行うことをレンダリングと称する。
【００４５】
処理装置１２０は、分光反射率推定画像データにレンダリングの処理を行い、さらに処理装置１２０に接続されるモニタ表示装置１２２の特性（以下、モニタ表示特性と称する）を適用する処理を行う。さらに、モニタ表示装置１２２がＢＧＲ三原色ディスプレイ装置であるか、多原色ディスプレイ装置であるか、あるいは測色値入力ディスプレイであるか等の仕様、すなわちモニタ表示装置１２２の表示色空間に対応して色再現処理を行い、モニタ表示装置１２２に表示する。
【００４６】
以上のように色再現処理が行われ、色再現処理後の画像（以下、処理後画像と称する）１０ａが図１０に示されるように表示される。ユーザは処理後画像１０ａを見て、それが満足できるものであれば必要に応じて「保存」ボタン１０ｃをクリックし、色再現処理後の画像データを保存することができる。ユーザはまた、「評価」ボタン１０ｂをクリックすることにより、処理後の画像データの評価結果を参照することができる。この、評価結果とは、分光反射率情報（サンプル画像７ａに対応）中の評価領域９ｂの画像データと処理後の画像データ（処理後画像１０ａに対応）中の評価領域９ａの画像データとを比較した結果を意味する。
【００４７】
図１１は、ユーザが「評価」ボタン１０ｂをクリックしたときに、評価領域９ａ、９ｂの画像データを分光反射率で比較した結果がグラフ１１ａとして表示される様子を示す図である。このときに表示される分光反射率のグラフは、評価領域９ａ内の各画素に対応する分光反射率を平均して得られたものと、評価領域９ｂ内の各画素に対応する分光反射率を平均して得られたものとに基づいて表示することができる。
【００４８】
ユーザが評価結果、すなわちグラフ１１ａを参照することにより、処理対象画像データから生成された分光反射率推定画像データが、データベース１４０から検索された分光反射率情報とどの程度一致しているかを直観的に把握することが可能となる。特に、処理後画像１０ａが満足のゆくものでない場合に、分光反射率がどのように乖離しているのかを知ることができるので、参照領域８ａ、８ｂを設定しなおす際の参考とすることができる。
【００４９】
評価結果の表示形態としては、図１１に示される分光反射率を比較するグラフ１１ａの他に、図１２に示されるような表１２ａ、図１３に示されるレーダチャート１３ａとすることができる。図１２、図１３に示される例では、Ｌ＊ａ＊ｂ＊色空間での評価結果が表示される。すなわち、評価領域９ａ内の分光反射率推定画像データ、評価領域９ｂ内の分光反射率情報の双方にＣＩＥ標準光源（例えばＤ６５）が適用され、ＣＩＥＬ＊ａ＊ｂ＊色空間の画像データに変換されて評価が行われる。
【００５０】
図１２に示す例においては、Ｌ＊、ａ＊、ｂ＊それぞれの座標値（Ｌ１、Ｌ２、ａ１、ａ２、ｂ１、ｂ２）およびそれらの差（Ｌ２−Ｌ１、ａ１−ａ２、ｂ２−ｂ２）が表にまとめられて表示されている。Ｌ＊ａ＊ｂ＊の色空間に関する知識のあるユーザが図１２に示されるような評価結果を見たとき、処理後画像１０ａが満足のゆくものでない原因が、明度が異なっているからなのか（Ｌ１とのＬ２との差）、色相や彩度が異なっているからなのか（ａ１とａ２との差およびｂ１とｂ２との差）を知ることが可能となる。
【００５１】
図１３に示す例においては、評価領域９ａ、９ｂそれぞれの中の画像データに基づく色の色差を直観的に把握することが可能となる。
【００５２】
図１４は、図１１に示される処理後画像と基準画像との分光反射率の差の総和、あるいは図１２に示される差分（Ｌ２−Ｌ１、ａ１−ａ２、ｂ１−ｂ２）の二乗和を計算し、その大小を表示する例を示したものである。差の値が大きい場合を「悪い」とし、小さい場合を「良い」とし、その中間を「普通」として表示する。図１２に示される評価結果の表示形態では、画像処理に関する深い知識を有していないユーザや色空間の概念を理解していないユーザであっても、評価結果を直観的に把握することが可能となる。
【００５３】
以上に説明した図１１から図１４の評価結果の表示形態に関して、例えば評価結果表示方法を切り替えるためのボタンをユーザがクリックするのに応じて順次切り替えて表示されるようにしてもよい。以上に説明した評価結果を見たユーザは、必要に応じて「評価領域再設定」ボタン１１ｂまたは「再検索」ボタン１０ｅ（図１１）をクリックすることができる。あるいは、図１１から図１４に例示する評価結果が一つの表示画面中にすべて表示されるようにしてもよい。
【００５４】
評価結果が思わしく無い場合等に、「評価領域再設定」ボタン１１ｂをクリックすることにより、図８、図９を参照して説明した評価領域の設定操作をユーザは再度行うことが可能となる。あるいは、「再検索」ボタン７ｄをクリックすることにより、図５を参照して説明した分光反射率情報を検索するための処理ステップへ直接遡ることが可能となる。
【００５５】
以上では図１２から図１４を参照して、分光反射率推定画像データおよび分光反射率情報の双方にレンダリング処理が施されてＬ＊ａ＊ｂ＊の色空間での比較が行われる例について説明した。Ｌ＊ａ＊ｂ＊表色系で評価を行うと、色差の評価が容易（正確）となるという利点を有する。しかし、本発明はこの例に限られるものではなく、ＬＵＶ表色系、ＸＹＺ表色系等、様々な表色系での評価をすることが可能である。
【００５６】
図３から図１４を参照して処理装置１２０の内部構成について説明する。図３中に示される、処理装置１２０内の各要素（処理ブロック）は、専用のハードウェアロジックによって構成されていても良いし、処理装置１２０のメモリ中に格納されるプログラムが読み出されて処理装置１２０によって実行されることにより構成されていてもよい。以下では、処理装置１２０のメモリ中に格納されるプログラムが読み出されて処理装置１２０によって実行されることにより各要素が構成されるものとして説明する。
【００５７】
検索条件設定部３０２は、ユーザによって入力される、検索キーワード等の検索条件を受け付け、検索条件情報をデータベース１４０に送出する処理を行う。この検索条件は、処理装置１２０で色再現処理が行われる対象の画像データに対応する分光反射率情報をデータベース１４０中から検索するために用いられる。図５、図６を参照して、枠５ｄ、５ｅ、…、５ｈが処理装置１２０に接続されるモニタ表示装置１２２に表示されて、ユーザにより入力される検索条件を処理装置１２０が受け付けることについて説明したが、これが検索条件設定部３０２での動作に相当する。
【００５８】
カラー画像記憶部３０４は、ハードディスク装置やフラッシュメモリ等で構成され、処理装置１２０のユーザが取得したカラーの画像データが記憶されている。この画像データは、先にも説明したように、ユーザがデジタルカメラを用いて撮影して得たもの、光ディスク等の記憶媒体に格納されて頒布されたもの、あるいは、インターネットを介して取得したもの、いずれであってもよい。
【００５９】
分光反射率情報取得部３０６は、上述した検索条件情報をもとにデータベース１４０で検索された分光反射率情報を取得し、それを色再現処理部３０８に出力する処理を行う。図６、図７を参照して、ユーザによって選択された候補２の分光反射率情報を処理装置１２０がデータベース１４０から取得することについて説明したが、これが分光反射率情報取得部３０６の動作に相当する。
【００６０】
参照領域設定部３１０は、色再現処理に際して参照される処理対象画像およびサンプル画像中の参照領域をユーザが設定する操作を受け付ける。図７、図８を参照して、ユーザによって参照領域８ａ、８ｂが設定されるのを処理装置１２０が受け付ける処理をすることについて説明したが、これが参照領域設定部３１０の動作に相当する。参照領域設定部３１０は、参照領域８ａに関する情報を色再現処理部３０８に出力する一方、参照領域８ｂに関する情報を分光反射率情報取得部３０６に出力する。なお、分光反射率情報取得部３０６が色再現処理部３０８に分光反射率情報を出力する処理を行うことについて先に説明したが、ここで出力される分光反射率情報は参照領域８ｂに対応するものである。
【００６１】
評価領域設定部３１２は、色再現処理結果を評価する際に参照される処理対象画像およびサンプル画像中の評価領域をユーザが設定する操作を受け付ける。図８、図９を参照して、ユーザによって評価領域９ａ、９ｂが設定されるのを処理装置１２０が受け付ける処理をすることについて説明したが、これが評価領域設定部３１２の動作に相当する。評価領域設定部３１２はまた、画像評価部３１６で後述する画像評価を行う際に、画像内のどの領域で評価するかを指定する情報である評価対象領域指定情報を画像評価部３１６に出力する。
【００６２】
色再現情報設定部３２０は、観察照明、モニタ表示特性、モニタ表示装置の表示色空間等、色再現処理をしてモニタ表示装置１２２に画像を表示する処理をする際に必要となる色再現情報を設定する。色再現情報設定部３２０による色再現情報の設定は、ユーザによる色再現情報の入力操作を受け付けることによって実施可能である。あるいは、色再現情報の記録されたファイルを読み込むことによっても実施可能である。設定された色再現情報は、色再現情報設定部３２０から色再現処理部３０８および基準情報作成部３１４に出力される。
【００６３】
基準情報作成部３１４は、データベース１４０から取得した分光反射率情報に、色再現情報設定部３２０から入力した色再現情報を適用する色再現処理を行い、画像評価に際しての基準となる基準情報を作成する。この基準情報は、画像評価部３１６に出力される。データベース１４０から取得される分光反射率情報が離散計測分光反射率情報である場合、基準情報は、離散的な基準情報となる。
【００６４】
データベース１４０から取得される分光反射率情報が連続計測分光反射率情報である場合、基準情報は連続的な基準情報となる。連続的な基準情報によれば、予想撮影対象物の表面における任意の部位の基準情報を得ることが可能となる。
【００６５】
また。データベース１４０から取得される分光反射率情報が連続計測分光反射率情報である場合、この連続計測分光反射率情報を用いて図７に示すサンプル画像７ａを表示することが可能となる。その場合、基準情報作成部３１４で作成された基準情報が画像表示処理部３２２にも出力される。
【００６６】
色再現処理部３０８の構成について図４を参照して説明する。色再現処理部３０８は、画像切出部４０２と、平均処理部４０４と、色変換マトリクス作成部４０６と、色変換演算部４０８とを有する。画像切出部４０２は、カラー画像記憶部３０４から読み出された画像データ中から、参照領域設定部３１０で設定された参照領域８ａに対応する部分の画像データ（以下、参照領域画像データと称する）を切り出して平均処理部４０４に出力する。平均処理部４０４は、参照領域画像データに対して平均フィルタ等の手法を用いてノイズの影響を減ずる処理をする。
【００６７】
色変換マトリクス作成部４０６は、平均処理部４０４から出力されたノイズ低減処理後の参照領域画像データと、分光反射率情報取得部３０６から出力された参照領域８ｂの分光反射率情報と、色再現情報設定部３２０から出力された色再現情報と、処理対象画像データ中に入力プロファイルが含まれる場合にはその入力プロファイルとに基づき、色変換パラメータを生成する。色変換マトリクス作成部４０６は、この色変換パラメータを色変換演算部４０８に出力する。色変換演算部４０８は、処理対象画像データに色変換パラメータを適用し、処理後の画像データを画像評価部３１６、処理済み画像記憶部３１８、画像表示処理部３２２に出力する。
【００６８】
再び図３を参照し、画像表示処理部３２２は、図５から図１４に示される画像、ボタンなどをモニタ表示装置１２２に表示するための処理を行う。
【００６９】
画像評価部３１６は、色再現処理部３０８から出力された色再現処理後の画像データと、基準情報作成部３１４から出力された基準情報とを入力する。そして、これらの画像データと基準情報とを、評価領域設定部３１２から出力された評価領域指定情報で指定される領域において比較し、評価する。画像評価部３１６は、この評価結果を評価結果表示処理部３２４に出力する。
【００７０】
評価結果表示処理部３２４は、図１１から図１４を参照して説明した評価結果表示をモニタ表示装置１２２に表示するための処理を行う。
【００７１】
図１５Ａ、図１５Ｂを参照し、処理装置１２０により実行される色再現処理手順について説明する。処理装置１２０がＣＰＵおよびメモリを有していて、ＣＰＵがメモリに格納されたプログラムを実行することにより図１５Ａ、図１５Ｂに示される色再現処理手順が行われる。あるいは、処理装置１２０が専用のハードウェアロジックを有していて、このハードウェアロジックにより図１５Ａ、図１５Ｂに示される色再現処理手順が行われてもよい。
【００７２】
図１５Ａ、図１５Ｂに示される処理手順は、ユーザが処理装置１２０を操作して色再現処理手順を行うように指示を発したのに応じて実行が開始される。以下では、図１５Ａ、図１５Ｂに示される色再現処理手順を実行するのが処理装置１２０であるものとして説明をする。
【００７３】
Ｓ１５００において処理装置１２０は、ユーザがキーボードやコンピュータマウス（以下、単にマウスと称する）等を用いて処理対象画像データを選択するのを受け付ける処理を行う。処理装置１２０はＳ１５０２において、処理対象画像データに基づく画像をモニタ表示装置１２２に表示する。これが図５に示されるように画像５ａが表示されるのに相当する。
【００７４】
Ｓ１５０４において処理装置１２０は、ユーザによる検索情報入力操作を受け付ける処理を行う。すなわち、図５を参照して説明したように、ユーザが枠５ｄから５ｈに必要な検索情報を入力するのを、処理装置１２０は受け付ける処理を行う。
【００７５】
Ｓ１５０６において処理装置１２０は、ユーザによる検索開始操作を受け付ける処理を行う。すなわち、図５を参照して説明したように、ユーザが「検索スタート」ボタン５ｋをクリックするのを、処理装置１２０は受け付ける処理を行う。
【００７６】
処理装置１２０はＳ１５０８においてデータベース１４０に検索情報を送出し、Ｓ１５１０でデータベース１４０から検索結果を受信する。データベース１４０から受信した検索結果をもとに、処理装置１２０はＳ１５１２で分光反射率情報の候補をモニタ表示装置１２２に表示する処理を行う。その結果、モニタ表示装置１２２に検索結果表示窓５ｊ（図５、図６）が表示される。
【００７７】
Ｓ１５１４において処理装置１２０は、図６に示される「再検索」ボタン６ｂがクリックされたか否かを判定し、この判定が肯定されるとＳ１５０４に戻ってユーザによる再検索操作を受け付ける処理を行う。Ｓ１５１４での判定が否定された場合、処理装置１２０はＳ１５１６において、検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中からユーザが所望のものを選択する操作（図６）を受け付ける処理を行う。
【００７８】
Ｓ１５１８において処理装置１２０は、Ｓ１５１６でユーザにより選択された分光反射率情報に対応するサンプル画像７ａ（図７）をモニタ表示装置１２２に表示する処理を行う。Ｓ１５２０において処理装置１２０は、図７に示される「戻る」ボタン７ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５１６に戻り、検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中からユーザが所望のものを選択する操作を受け付ける処理が再度行われる。Ｓ１５２０での判定が否定されると処理はＳ１５２２に進む。
【００７９】
Ｓ１５２２において処理装置１２０は、図７に示される「再検索」ボタン７ｄがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５２２での判定が否定されると処理はＳ１５２４に進む。
【００８０】
Ｓ１５２４において処理装置１２０は、図７に示される「参照領域設定」ボタン７ｂをユーザがクリックし、続いて図８に示される、参照領域８ａ、８ｂの設定操作をユーザが行うのを受け付ける処理を行う。
【００８１】
Ｓ１５２６において処理装置１２０は、図８に示される「評価領域設定」ボタン８ｃをユーザがクリックし、続いて図９に示される、評価領域９ａ、９ｂの設定操作をユーザが行うのを受け付ける処理を行う。処理装置１２０は、Ｓ１５２８において、ユーザが図９に示される「色変換開始」ボタン９ｃをクリックするのを受け付ける処理を行う。
【００８２】
処理装置１２０はＳ１５３０において、以下のような色再現処理を行う。すなわち処理装置１２０は、処理対象画像中の参照領域８ａの分光反射率が、分光反射率情報中の参照領域８ｂの分光反射率に等しいものとして撮影照明光のスペクトルを推定する。処理装置１２０は続いて、撮影照明光の推定スペクトルと処理対象画像を生成した画像入力装置の入力プロファイルを処理対象画像中の参照領域８ａ以外の部分に適用し、分光反射率画像データを得る。処理装置１２０は、この分光反射率画像データに色再現情報を適用する処理をし、色再現処理後の画像（処理後画像）を得る。
【００８３】
処理装置１２０はＳ１５３２において、図１０に示されるように、モニタ表示装置１２２に処理後画像１０ａを表示する処理を行う。
【００８４】
Ｓ１５３４において処理装置１２０は、図１０に示される「戻る」ボタン１０ｄがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５２４に戻り、ユーザによる参照領域設定のための操作を受け付ける処理が行われる。Ｓ１５３４での判定が否定されると処理はＳ１５３６に進む。
【００８５】
Ｓ１５３６において処理装置１２０は、図１０に示される「再検索」ボタン１０ｅがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５３６での判定が否定されると処理はＳ１５３８に進む。
【００８６】
Ｓ１５３８において処理装置１２０は、図１０に示される「保存」ボタン１０ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５４０に進み、色再現処理後の画像データを保存する処理が行われる。Ｓ１５３８での判定が否定された場合には処理はＳ１５４２に進む。また、Ｓ１５４０での画像データ保存処理が行われた後も処理はＳ１５４２に進む。
【００８７】
処理装置１２０は、Ｓ１５４２において、ユーザが図１０に示される「評価」ボタン１０ｂをクリックするのを受け付ける処理を行う。Ｓ１５４４において処理装置１２０は、以下のような評価処理を行う。すなわち処理装置１２０は、評価領域９ａ内の分光反射率画像データと、データベース１４０から取得した分光反射率情報中の評価領域９ｂ内の分光反射率とを波長ごとに比較する処理を行う。
【００８８】
Ｓ１５４６において処理装置１２０は、Ｓ１５４４で行われた評価処理の結果をモニタ表示装置１２２に表示する処理を行う。この結果、図１１に示されるようにグラフ１１ａが表示される。
【００８９】
なお、以上で説明した、Ｓ１５４４、Ｓ１５４６で処理装置１２０により実行される処理は一例であり、先にも図１１から図１４を参照して説明したように、種々の方法を用いての評価と、それに応じた評価結果の表示を行うことが可能である。
【００９０】
Ｓ１５４８において処理装置１２０は、図１１に示される「保存」ボタン１０ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５５０に進み、色再現処理後の画像データを保存する処理が行われる。この処理は、ユーザがグラフ１１ａを見てほぼ満足する画像が得られたと判断して「保存」ボタン１０ｃをクリックしたのに対応して行われる処理に対応する。
【００９１】
Ｓ１５４８での判定が否定された場合には処理はＳ１５５２に進む。また、Ｓ１５５０での画像データ保存処理が行われた後も処理はＳ１５５２に進む。
【００９２】
グラフ１１ａ、あるいは処理後画像１０ａを見て満足できなかった場合、ユーザは「評価領域再設定」ボタン１１ｂまたは「再検索」ボタン１０ｅをクリックする。このユーザ操作に対応して、処理装置１２０は以下に説明する処理を行う。
【００９３】
Ｓ１５５２において処理装置１２０は、図１１に示される「評価領域再設定」ボタン１１ｂがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５２６に戻り、ユーザによる評価領域設定のための操作を受け付ける処理が行われる。Ｓ１５５２での判定が否定されると処理はＳ１５５４に進む。
【００９４】
Ｓ１５５４において処理装置１２０は、図１１に示される「再検索」ボタン１０ｅがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５５４での判定が否定されると処理装置１２０は色再現処理を完了する。
【００９５】
以上に説明したように、本発明の実施の形態に係る色再現システムでは、予想撮影対象物の分光反射率情報がデータベース１４０に蓄積されている。そのため、処理対象画像中に予想撮影対象物が写っている場合に、その予想撮影対象物の分光反射率情報をデータベースから取得することができる。したがって、画像入力装置で画像入力を行う際に撮影照明情報を取得したり、分光反射率が既知の色標を被写体とともに写しこんだりすることなく、優れた色再現の画像を得ることが可能となる。
【００９６】
また、主要被写体が人物等で、データベース１４０に分光反射率情報が蓄積されていない場合であっても、主要被写体とともに予想撮影対象物が写っていれば、それをいわば色標として用いることができるので、主要被写体の色再現性を高めることが可能となる。このとき、本発明の実施の形態によれば、図８、図９を参照して説明した参照領域８ａ、８ｂ、評価領域９ａ、９ｂをユーザが任意に設定可能であるので、色再現処理に適した部位を参照領域として設定することができる。加えて、ユーザが希望する任意の部位を評価領域として設定することができ、必要に応じて評価領域を変えることもできるので、ユーザは色再現処理後の画像データのより的確な評価結果を得ることが可能となる。
【００９７】
加えて、従来からあるフォトレタッチソフトのようにユーザがモニタ表示装置に表示される画像を見ながら試行錯誤を繰り返して色相、彩度、カラーバランス、レベル、コントラスト等を調節して表示される画像が好みの色調となるようにするのとは異なり、より単純な処理手順で色再現性に優れた画像をユーザは手軽に得ることが可能となる。
【００９８】
例えば、ユーザが旅行をして観光地で写真撮影をした場合を例に説明する。ユーザは帰宅して、あるいは宿泊先でパーソナルコンピュータのディスプレイに画像を表示する。このとき、色の再現性に違和感を覚えたユーザは、データベース１４０にアクセスして目的とする分光反射率情報を見つけ出す。データベース１４０には、ユーザが想起しうるさまざまなキーワードと分光反射率情報とが関連づけて蓄積されているので、ユーザは必要とする分光反射率情報を容易に見つけ出すことができる。そして、処理対象画像、分光反射率情報の双方で参照領域、評価領域を設定するだけで、色再現性に優れた画像を手軽に得ることが可能となる。
【産業上の利用可能性】
【００９９】
本発明に係る色再現処理の技術は、パーソナルコンピュータ等の情報処理装置、画像表示装置、そしてモニタ表示装置やテレビ受像器等に接続されるセットトップボックスボックス、ビデオレコーダ、あるいはビデオプレーヤ等に適用することが可能である。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施の形態に係る色再現システムの概略的構成を説明する図である。
【図２】分光反射率情報が、この分光反射率情報に対応する検索情報とともに蓄積される様子を説明する図である。
【図３】情報処理装置の概略的内部構成を説明するブロック図である。
【図４】色再現処理部の概略的内部構成を説明するブロック図である。
【図５】処理対象画像と、この処理対象画像に対応する分光反射率情報を検索するためのユーザインターフェースが表示される様子を説明する図である。
【図６】ユーザが所望の分光反射率情報を選択する様子を説明する図である
【図７】ユーザにより選択された分光反射率情報に対応するサンプル画像が処理対象画像とともに表示される様子を説明する図である。
【図８】ユーザが処理対象画像上およびサンプル画像上の双方で参照領域を設定する様子を説明する図である。
【図９】ユーザが処理対象画像上およびサンプル画像上の双方で評価領域を設定する様子を説明する図である。
【図１０】色再現処理された画像がサンプル画像とともに表示される様子を説明する図である。
【図１１】処理対象画像に色再現処理をし、評価した結果を表示する例を説明する図である。
【図１２】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、Ｌ＊ ａ＊ ｂ＊表色系における色度値で示す例を説明する図である。
【図１３】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、Ｌ＊ ａ＊ ｂ＊表色系における色度値をグラフ化して表示する例を説明する図である。
【図１４】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、色差の大小をもとに、「悪い」、「普通」、「良い」と云った、感覚的な表示をする例を説明する図である。
【図１５Ａ】処理装置で実行される色再現処理の処理手順を説明する概略的フローチャートである。
【図１５Ｂ】処理装置で実行される色再現処理の処理手順を説明する概略的フローチャートであり、図１５Ａに示される処理手順に続く処理手順を説明するフローチャートである。
【符号の説明】
【０１０１】
５ａ … 処理対象画像
５ｊ … 検索結果表示窓
５ｋ … 「検索スタート」ボタン
６ｂ … 「再検索」ボタン
７ａ … サンプル画像
７ｂ … 「参照領域設定」ボタン
７ｃ … 「戻る」ボタン
７ｄ … 「再検索」ボタン
８ａ、８ｂ … 参照領域
８ｃ … 「評価領域設定」ボタン
９ａ、９ｂ … 評価領域
９ｃ … 「色再現処理開始」ボタン
１０ａ … 色再現処理後の画像
１０ｂ … 「評価」ボタン
１０ｃ … 「保存」ボタン
１０ｄ … 「戻る」ボタン
１０ｅ … 「再検索」ボタン
１１ａ … グラフ
１１ｂ … 「評価領域再設定」ボタン
１２ａ … 表
１３ａ … レーダチャート
１４ａ … 評価結果表示
１００ … 色再現システム
１２０ … 処理装置（情報処理装置）
１２２ … モニタ表示装置
１４０ … データベース
１６０ … ネットワーク
２００ … 分光反射率情報
３０２ … 検索条件設定部
３０４ … カラー画像記憶部
３０６ … 分光反射率情報取得部
３０８ … 色再現処理部
３１０ … 参照領域設定部
３１２ … 評価領域設定部
３１４ … 基準情報作成部
３１６ … 画像評価部
３１８ … 処理済み画像記憶部
３２０ … 色再現情報設定部
３２２ … 画像表示処理部
３２４ … 評価結果表示処理部
４０２ … 画像切出部
４０４ … 平均処理部
４０６ … 色変換マトリクス作成部
４０８ … 色変換演算部
【技術分野】
【０００１】
本発明は、撮影して得られたカラー画像をもとに被写体の色を再現する色再現システム及び色再現処理方法に関する。
【背景技術】
【０００２】
被写体の正確な測色値を画像として取得することを目的として、マルチバンドカメラにより撮影された画像から被写体の分光反射率を推定して色再現を行なう方法が提案されている（特許文献１）。ここで、マルチバンドカメラによる画像から被写体の分光反射率を推定する際には、カメラの各バンドの分光感度特性、及び被写体の分光的な統計情報を用いて推定を行っている。また、撮影時に被写体を照明していた光（以下、これを撮影照明光と称する）のスペクトルが撮影時に計測され、被写体の分光反射率を推定する際に利用される。
【０００３】
また、分光反射率が既知である多色の色票を被写体とともに撮影し、被写体の分光反射率を推定する方法が提案されている（特許文献２）。更に、分光反射率が未知の被写体と分光反射率が既知の色票とをそれぞれ同じ条件で撮影することにより、分光反射率が未知の被写体の分光反射率を求める、あるいは色を推定する方法が提案されている（特許文献３）。
【特許文献１】特開平１１−８５９５２号公報
【特許文献２】特開平１１−９６３３３号公報
【特許文献３】特許第３９６０９８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示される技術では、撮影照明光のスペクトルを計測する必要がある。加えて、撮影した被写体のスペクトルの統計的性質（以下、これを被写体特性と称する）が被写体の分光反射率を推定する際に必要となる。撮影装置に撮影照明光のスペクトルを計測可能なスペクトル計測部を設けると、撮影装置の大型化・高価格化を免れない。また、撮影時に被写体を照明していた光は必ずしも一種類とは限らない。例えば撮影画面中に存在する複数の被写体の一部はタングステン光で照明されていて、他部は蛍光灯で照明されている、という状況もあり得る。その場合、どの被写体はどの撮影照明光で、といった画面内の被写体と撮影照明光とを関連付ける作業が必要となり、撮影操作が煩雑なものとなる。
【０００５】
特許文献２、３に開示される技術では、被写体とともに色標を写し込む必要があり、速写性を妨げる可能性がある。また、被写体が遠くの風景などである場合に、被写体を照明している光と撮影装置の近くにある色標を照明している光とで異なっていると必ずしも正確な色再現ができない。
【０００６】
また、画像の色調、コントラスト、シャープネス等を調整して画像を自分の好みに調整するためのソフトウェアとしてフォトレタッチソフトウェアがある。フォトレタッチソフトウェアを用いることにより、ユーザは上記の色調、コントラスト、シャープネス等の調整を自由に行うことができる反面、画像を自分の好みの色調や階調に調整できるようになるにはレタッチに関する多くの知識と経験が必要である。そのため、初心者が自分の好みの色調や階調に画像を調整することは容易では無く、また、ユーザがうまく調整できたと思っても、それが必ずしも正確な色再現には結びついていない場合があった。
【０００７】
本発明は、上述した課題を解決するための手段を提供することを目的としており、色標を被写体と共に撮影することが不要で、手軽で色再現性に優れた画像処理を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
（１） 本発明の第１の態様は、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースと、撮影して得られたカラー画像の色再現処理をするための画像データ処理装置とを有する色再現システムに適用され、
前記画像データ処理装置は、
ユーザにより設定された検索条件で検索して得られた分光反射率情報を前記データベースから取得する、分光反射率情報取得部と、
前記色再現処理に際して前記カラー画像に写っている被写体像の色を参照するための領域である参照領域を前記ユーザが設定するのを受け付ける参照領域設定部と、
前記分光反射率情報を用い、前記カラー画像の色再現処理をする色再現処理部であって、前記参照領域中の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率情報とに基づいて前記カラー画像の色再現処理をする、色再現処理部と
を有することにより上述した課題を解決する。
（２） 本発明の第２の態様は、色再現処理方法に適用され、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースから、ユーザにより設定された検索条件で検索して得られた分光反射率情報を取得することと、
撮影して得られたカラー画像の色再現処理をすることであって、前記色再現処理に際して、前記カラー画像に写っている被写体像の色を参照する領域として前記ユーザにより設定された参照領域の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率とに基づいて前記カラー画像の色再現処理をすることと
を有する。
【発明の効果】
【０００９】
本発明はデータベースと画像データ処理装置とを有し、データベースには撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されている。画像データ処理装置は、ユーザにより設定された検索条件で検索して得られた分光反射率情報をデータベースから取得し、色再現処理に際してカラー画像に写っている被写体像の色を参照するための領域である参照領域をユーザが設定するのを受け付ける。そして画像データ処理装置が、データベースから取得した分光反射率情報を用い、参照領域中の画像データと、分光反射率情報中の、参照領域に対応する分光反射率情報とに基づいてカラー画像の色再現処理をすることにより、撮影時に撮影照明光の計測をしたり色標を写し込んだりすることなく、より少ない作業手順でより正確な色再現処理結果を得ることが可能となる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施の形態に係る色再現システム１００の概略的構成を示す図である。色再現システム１００は、クライアントとしての画像データ処理装置（以下、処理装置と称する）１２０と、データベースシステム１４０を内部に有するサーバとを有する。以下では単にデータベース１４０と称する。処理装置１２０とデータベース１４０とは、ＬＡＮ、又はＷＡＮ等のネットワーク１６０を介して接続される。あるいは、データベース１４０を処理装置１２０の内部に有するものであってもよい。図１においては、データベース１４０および処理装置１２０が一つづつ示されているが、複数の処理装置１２０が接続されるものであってもよい。同様に、データベースも複数存在していてもよい。処理装置１２０は、モニタ表示装置１２２が接続されたパーソナルコンピュータのみならず、テレビ受像器やモニタ表示装置に接続されるセットトップボックスや画像再生装置、画像録画再生装置等であってもよい。
【００１１】
データベース１４０は、撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されている。予想撮影対象物は、例えば世界中に存在する景観、建築物、遺構、美術品、動植物などを含むものとすることができる。あるいは、学術、芸術、医学、工業等、あらゆる分野における生成物、創作物、試料、製品等を含むことも可能である。
【００１２】
分光反射率情報は、予想撮影対象物の表面における分光反射率の分布を予め計測して得られた情報である。分光反射率の分布を計測する方法としては、測定視野角の比較的小さい、スポット式の測色計（以下、スポット測色計と称する）を用いる方法がある。この方法では、スポット測色計を用いて、予想撮影対象物の表面上における異なる複数の点における分光反射率を測定する。このとき、予想撮影対象物の表面を格子状に分割し、その格子の各交点に対応する位置で分光反射率を計測することにより、予想撮影対象物の表面における分光反射率の分布に関する情報を得ることが可能となる。予想撮影対象物表面における測定間隔は均等であっても不等間隔であってもよい。以下、本明細書中ではこのようにして得られた分光反射率情報を「離散計測分光反射率情報」と称する。離散計測分光反射率情報は、予想撮影対象物の表面における代表的な部位の分光反射率情報を含むことが可能となる。
【００１３】
分光反射率の分布を計測するもう一つの方法としては、二次元の画像データを得る方法がある。これは、マルチスペクトルカメラ等を用いて分光反射率画像データを得る方法である。マルチスペクトルカメラの一例としては、モノクロ撮像素子を有するカメラの撮影レンズ前面または内部にターレット切り替え式のカラーフィルタを有するものがある。カラーフィルタは、例えば１６色とすることが可能であり、これらのカラーフィルタの分光透過率は予め計測されている。
【００１４】
これらのカラーフィルタを切り替えながら撮影することを繰り返すことにより、同一の被写体に対して得られた１６色分の画像データを処理してマルチバンドの画像データを得る。このとき、撮影時に被写体を照明していた光（以下、これを撮影照明光と称する）の分光特性も計測する。マルチバンドの画像データに対して、撮影照明光の分光特性、カメラのトーン特性、バイアス特性等に基づいて処理をすることにより、被写体の分光反射率画像データを得ることができる。この分光反射率画像データも、分光反射率情報である。以下、本明細書中では上記のようにして得られた二次元の分光反射率情報を「連続計測分光反射率情報」と称する。連続計測分光反射率情報によれば、予想撮影対象物の表面における任意の部位の分光反射率情報を得ることが可能となる。
【００１５】
データベース１４０に分光反射率情報を蓄積するのに要する記憶容量を考慮したとき、離散計測分光反射率情報を記憶するのに必要な記憶容量は、連続計測分光反射率情報を記憶するのに必要な記憶容量に比べて小さくできる利点を有する。一方、連続計測分光反射率情報は、予想撮影対象物の表面の任意の位置における分光反射率情報を得ることができるという利点を有する。
【００１６】
一つの予想撮影対象物に対応する分光反射率情報は、データベース１４０中に複数組含まれることが望ましい。例えば、予想撮影対象物が建築物のようなものである場合、異なる天気（湿度）、表面が乾燥している状態、雨で濡れている状態、計測した面（東面、西面、南面、北面等）、計測方向（例えば東面を斜め右４５度の方向から）等、分光反射率が変わる状況に対応して計測して得られた分光反射率情報がデータベース１４０中に蓄積されていることが望ましい。
【００１７】
また、予想撮影対象物が自然の景観であるならば、異なる天気、異なる季節、計測方向等、分光反射率が異なる状況に対応して計測して得られた分光反射率情報がデータベース１４０中に蓄積されていることが望ましい。何故ならば、計測条件が異なると、予想撮影対象物表面の分光反射率も異なる場合があるからである。
【００１８】
以上のように、撮影者が撮影する際の季節、時期、気象条件やカメラアングル等を予め想定して、それらの撮影条件やカメラアングルに対応した条件で分光反射率情報を得てデータベース１４０中に記録することが後述する色再現処理をより正確なものとする上で望ましい。
【００１９】
図２は、データベース１４０中に上述した分光反射率情報が対応する検索情報とともに蓄積される様子を概念的に示す図である。ある予想撮影対象物の分光反射率情報２００に名称２０２、色の名２０４、分光反射率計測条件２０６、計測対象物情報２０８、キーワード２１０等の検索情報が関連付けられてデータベース１４０中に蓄積される。
【００２０】
一例として、分光反射率情報２００がフランス、パリのシャルル・ド・ゴール広場に建つ凱旋門の東面を計測して得られたものである場合を例に説明する。名称２０２には、「パリ凱旋門東面」というような情報が格納される。色の名２０４には、「クリーム色」、「ベージュ」と云った、パリ凱旋門の色を表す色名の情報が格納される。分光反射率計測条件２０６には、「雨天」、「晴天」、「冬」、「夏」、「高湿度」、「低湿度」等、分光反射率を計測したときの環境条件に関連する情報が格納される。
【００２１】
予想撮影対象物が古い建築物等で、過去に改修が行われているような場合に、分光反射率を測定した年月日の情報が分光反射率計測条件２０６に含まれていてもよい。そのようにすれば、分光反射率情報が改修前のものであるのか、改修後のものであるのかを知ることが可能となる。計測対象物情報２０８には、「建築物」、「門」などの視覚的な情報が格納される。キーワード２１０には、「フランス」、「パリ」、「シャルル・ド・ゴール」、「エトワール」、「凱旋門」などの、予想撮影対象物の位置する場所の名、予想撮影対象物の名称そのものなどの情報等、ユーザが必要とする分光反射率情報を容易に見出すことができるようにするための検索情報が格納される。
【００２２】
図３は、処理装置１２０の内部構成を概略的に説明するブロック図である。処理装置１２０は、検索条件設定部３０２と、カラー画像記憶部３０４と、分光反射率情報取得部３０６と、色再現処理部３０８と、参照領域設定部３１０と、評価領域設定部３１２と、基準情報作成部３１４と、画像評価部３１６と、処理済み画像記憶部３１８と、色再現情報設定部３２０と、画像表示処理部３２２と、評価結果表示処理部３２４とを有する。
【００２３】
図４は、色再現処理部３０８の内部構成を概略的に説明するブロック図である。色再現処理部３０８は、画像切出部４０２と、平均処理部４０４と、色変換マトリクス作成部４０６と色変換演算部４０８とを有する。
【００２４】
以下では、処理装置１２０で行われる色再現処理の内容について図５から図１３を参照して先に説明し、その後に図３、図４を参照して処理装置１２０の構成を説明する。
【００２５】
図５は、ユーザが処理装置１２０を操作し、色再現処理の対象となる画像データ（以下、処理対象画像データと称する）を選択して色再現処理開始操作をしたのに応じて処理装置１２０に接続されるモニタ表示装置１２２上の表示例を示す。ここで、処理対象画像データは、撮影して得られたカラーの画像データである。この処理対象画像データは、ユーザがデジタルカメラ等を用いて撮影して得たものであっても良いし、光ディスク等の記憶媒体に記録されて頒布されたものであってもよい。あるいは、インターネットを介して取得したものであってもよい。この画像データは、いわゆるマルチスペクトルカメラで得られたマルチバンドの画像データであることが、より正確な色再現処理をする上で望ましい。あるいは、ＢＧＲの原色系カラーフィルタあるいはＹＣＭの補色系カラーフィルタを有する従来のデジタルカメラで生成されるＢＧＲ画像データであっても、精度は若干低下するものの、処理対象画像データとすることが可能である。
【００２６】
以下では、処理対象画像データはマルチバンドの画像データであるものとして説明をする。そして、このマルチバンドの画像データには、カメラのトーン・バイアス特性、分光感度特性に関する情報（以下ではこれらを入力プロファイルと称する）が含まれるものとして説明をする。
【００２７】
図５に示されるように、画面上には、処理対象画像データに基づく画像５ａ（以下、処理対象画像５ａと称する）が表示される。この処理対象画像５ａには、分光反射率が既知である可能性の高い（分光反射率情報がデータベース１４０に記録されている可能性が高い）被写体の像５ｂに加えて、分光反射率が既知である可能性の低い被写体の像５ｃを含んでいてもよい。
【００２８】
画面上にはまた、データベース１４０中から分光反射率情報を検索するための検索条件をユーザが入力するのを受け付ける枠５ｄ、５ｅ、５ｆ、５ｇ、５ｈが表示される。ユーザは、コンピュータマウス等のポインティングデバイスとキーボードとを操作して、これらの枠内に検索条件を入力する。例えば、枠５ｄ内に「凱旋門」、枠５ｅ内に「凱旋門東面」、枠５ｆ内に「春 晴れ」、枠５ｇ内に「パリ シャルル・ド・ゴール」、枠５ｈ内に「ベージュ」等の情報を入力して「検索スタート」ボタン５ｋをクリックする。
【００２９】
なお、必ずしも上記枠５ｄから５ｈの全てに情報を入力する必要は無いが、検索条件を詳細に設定することにより、分光反射率情報のより的確な検索結果を得ることが可能となる。
【００３０】
「検索スタート」ボタン５ｋをユーザがクリックするのに応じて、画面上には検索結果表示窓５ｊが表示される。検索結果表示窓５ｊ内には、枠５ｄから５ｈに入力された検索条件に対応する分光反射率情報の検索結果（分光反射率情報の選択候補）が表示される。
【００３１】
検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中で適宜のものが見いだせない場合、あるいは選択候補が多すぎる場合、ユーザは検索条件を新たに設定しなおして「検索スタート」ボタン５ｋを再度クリックすることができる。
【００３２】
ところで、画像入力装置がＧＰＳセンサ、地磁気センサ、姿勢センサなどを有するものである場合、撮影時に計測して得られた測位情報や方位情報、そしてカメラの向き（上向き、水平、下向き等）を画像データに付加されるタグ情報中に格納することが可能である。処理装置１２０は、これらの情報を読み出すことにより、画像入力装置が地球上のどの位置からどの方位、どの向きに向けられて撮影が行われたかを把握することができる。データベース１４０中に蓄積される分光反射率情報に撮影位置、撮影方位、向きに関する検索情報が付加されることにより、ユーザによる検索条件入力の手間を減ずることも可能となる。
【００３３】
図６は、ユーザがポインティングデバイスを操作して、分光反射率情報の候補２の上にカーソルを移動させた直後の表示を示している。図６に示されるように、分光反射率情報（候補２）を囲う枠６ａが表示された状態でユーザがクリック操作をすると、選択された候補２に対応する分光反射率情報がデータベース１４０から取得される。この分光反射率情報には、サンプル画像データが添付されていることが望ましく、このサンプル画像データに基づくサンプル画像７ａを図７に示されるように表示することができる。このサンプル画像７ａは、必ずしも候補２の分光反射率情報を含むものでなくてもよく、予想撮影対象物のどの面の分光反射率情報を含むのかをユーザが直観的に把握可能とする画像とすることが可能である。例えば、分光反射率を計測したときに、分光反射率を測定した位置から通常のＢＧＲ３原色デジタルカメラで撮影して得られた画像をサンプル画像７ａとして表示してもよいし、イラストレーションを表示してもよい。あるいは、分光反射率情報が連続計測分光反射率情報である場合、この情報をもとにサンプル画像７ａを生成、表示することが可能である。
【００３４】
ユーザはサンプル画像７ａを観て、これから行われる色再現処理に用いられるものとして適切な分光反射率情報を含んでいるか否かを判定する。例えば、処理対象画像５ａ中に写っている被写体の像５ｂと、サンプル画像７ａとを比較し、撮影状況が似ていて、撮影方向もほぼ同じである、といった判断をすると、ユーザは「参照領域設定」ボタン７ｂをクリックする。一方、サンプル画像７ａを観て、色再現処理に用いるものとしては適当ではない、といった判断をした場合、ユーザは「戻る」ボタン７ｃまたは「再検索」ボタン７ｄをクリックする。「戻る」ボタン７ｃがクリックされた場合、図６に示す表示に戻る。「再検索」ボタン７ｄがクリックされた場合、図５に示す表示に戻る。
【００３５】
図７に示される「参照領域設定」ボタン７ｂをユーザがクリックすると、図８に示される表示がなされる。ユーザはポインティングデバイスやキーボード等を操作して、処理装置１２０が後述する色再現処理をする際に参照する、処理対象画像５ａ中の部分領域（以下、参照領域と称する）８ａを設定する。ユーザは続いて、ポインティングデバイスやキーボード等を操作してサンプル画像７ａ中の参照領域８ｂを設定する。なお、参照領域８ｂの設定に関しては、ユーザが行うのに代えて、画像認識の技術を用いて処理装置１２０が参照領域８ａに対応する、サンプル画像７ａ中の参照領域８ｂを自動的に設定可能に構成されていてもよい。
【００３６】
上記の参照領域８ａとしては、被写体の像５ｂ中で陰になっていない部分等、照明条件が比較的良く、明度が中庸でノイズの少ない部分を選択すると色再現処理の良好な結果を得ることができる。ユーザによって選択された参照領域８ａが好ましい領域であるか否かについて、処理装置１２０は参照領域８ａ中の画像データを解析することが可能である。この解析結果に基づき、ユーザによって選択された参照領域８ａが好ましい領域であるか否かの表示をするように処理装置１２０が構成されていてもよい。また、参照領域８ａ、８ｂの形状や大きさについては、ユーザが任意に選択可能に構成されていてもよい。
【００３７】
ところで、分光反射率情報が離散計測分光反射率情報である場合、ユーザによって選択された参照領域８ａに対応する部分の分光反射率情報が存在しない可能性がある。その場合には、ユーザによって選択された参照領域８ａに対応する部分に最も近い部分の分光反射率情報を用いるようにすることが可能である。あるいは、処理装置１２０は、ユーザによって選択された参照領域８ａに対応する部分の分光反射率情報が無いことをユーザに告知することが可能である。また、分光反射率情報が存在する部分をサンプル画像７ａ中に表示することができる。ユーザはサンプル画像７ａを見て、処理対象画像５ａ中で設定可能な参照領域を見出すことが可能である。分光反射率情報が連続計測分光反射率情報である場合には、上述した制限が無いので、参照領域８ａ、８ｂの設定の自由度が高まる。
【００３８】
以上に説明した参照領域８ａ、８ｂの設定を完了して、ユーザが「評価領域設定」ボタン８ｃをクリックすると、図９に示される表示がなされる。ユーザはポインティングデバイスやキーボード等を操作して、処理装置１２０が後述する色再現処理の評価をする際に参照する、処理対象画像５ａ中の部分領域（以下、評価領域と称する）９ａを設定する。ユーザは続いて、ポインティングデバイスやキーボード等を操作してサンプル画像７ａ中の評価領域９ｂを設定する。
【００３９】
なお、評価領域９ｂの設定に関しては、ユーザが行うのに代えて、画像認識の技術を用いて処理装置１２０が評価領域９ａに対応するサンプル画像７ａ中の評価領域９ｂを自動的に設定可能に構成されていてもよい。また、評価領域９ａ、９ｂの形状や大きさについても、参照領域８ａ、８ｂと同様に、ユーザが任意に選択可能に構成されていてもよい。
【００４０】
上記の評価領域９ａ、９ｂとしては、処理対象画像５ａ中の目立つ部分、より正確な色再現がなされることをユーザが希望する部分とすることが、より良好な処理結果を得る上で好ましい。
【００４１】
以上の操作を完了したユーザは、「色再現処理開始」ボタン９ｃをクリックする。処理装置１２０は、参照領域８ａの分光反射率として、参照領域８ｂの分光反射率を適用する。すなわち、分光反射率情報中から参照領域８ｂに対応する部分の分光反射率情報を抽出し、それを参照領域８ａの分光反射率として適用する。さらに、処理対象画像データ中に含まれる入力プロファイルをもとに、撮影照明光の分光特性を推定する。このような処理の詳細に関しては、特許文献３に開示されているので、ここではその説明を省略する。
【００４２】
続いて、処理装置１２０は、上記のようにして推定した撮影照明光の分光特性と、入力プロファイルをもとに、処理対象画像データ中の参照領域８ａ以外の部分の分光反射率を推定する処理を行う。このときに、データベース１４０中に分光反射率情報が蓄積されていない被写体の像５ｃに対しても、上記のようにして推定した撮影照明光の分光特性と、入力プロファイルをもとに分光反射率を推定する処理が行われる。以上のようにして、処理対象画像データから分光反射率推定画像データが生成される。
【００４３】
以上の説明からも明らかなように、本発明の実施の形態に係る色再現システムにおいては、分光反射率が既知の色標を被写体とともに写し込む必要がない。いわば、世の中に存在する予想撮影対象物の表面における分光反射率の分布をデータベース１４０に蓄積しておくことにより、処理対象画像中データに基づく被写体像を色標として利用することが可能となる。これにより、分光反射率が既知の被写体は無論のこと、分光反射率が既知の被写体とともに写っている分光反射率が未知の被写体も、より正確な色再現を行うことが可能となる。
【００４４】
ところで、上述のようにして得られた分光反射率推定画像データは、撮影照明光の影響が除かれているので、そのままでは色を呈しない。すなわち、暗闇に置かれた物体は見えず、色も判別できないのと同様である。そこで、暗闇に置かれた物体を照明するごとく、上述した処理をして得られた分光反射率推定画像データに、ある分光特性を有する照明光で照明したときの色を再現する処理を行い、表示する処理を処理装置１２０は行う。本明細書では、分光反射率推定画像データに適用する照明光を観察照明光と称する。また、分光反射率推定画像データに観察照明光を適用する処理を行うことをレンダリングと称する。
【００４５】
処理装置１２０は、分光反射率推定画像データにレンダリングの処理を行い、さらに処理装置１２０に接続されるモニタ表示装置１２２の特性（以下、モニタ表示特性と称する）を適用する処理を行う。さらに、モニタ表示装置１２２がＢＧＲ三原色ディスプレイ装置であるか、多原色ディスプレイ装置であるか、あるいは測色値入力ディスプレイであるか等の仕様、すなわちモニタ表示装置１２２の表示色空間に対応して色再現処理を行い、モニタ表示装置１２２に表示する。
【００４６】
以上のように色再現処理が行われ、色再現処理後の画像（以下、処理後画像と称する）１０ａが図１０に示されるように表示される。ユーザは処理後画像１０ａを見て、それが満足できるものであれば必要に応じて「保存」ボタン１０ｃをクリックし、色再現処理後の画像データを保存することができる。ユーザはまた、「評価」ボタン１０ｂをクリックすることにより、処理後の画像データの評価結果を参照することができる。この、評価結果とは、分光反射率情報（サンプル画像７ａに対応）中の評価領域９ｂの画像データと処理後の画像データ（処理後画像１０ａに対応）中の評価領域９ａの画像データとを比較した結果を意味する。
【００４７】
図１１は、ユーザが「評価」ボタン１０ｂをクリックしたときに、評価領域９ａ、９ｂの画像データを分光反射率で比較した結果がグラフ１１ａとして表示される様子を示す図である。このときに表示される分光反射率のグラフは、評価領域９ａ内の各画素に対応する分光反射率を平均して得られたものと、評価領域９ｂ内の各画素に対応する分光反射率を平均して得られたものとに基づいて表示することができる。
【００４８】
ユーザが評価結果、すなわちグラフ１１ａを参照することにより、処理対象画像データから生成された分光反射率推定画像データが、データベース１４０から検索された分光反射率情報とどの程度一致しているかを直観的に把握することが可能となる。特に、処理後画像１０ａが満足のゆくものでない場合に、分光反射率がどのように乖離しているのかを知ることができるので、参照領域８ａ、８ｂを設定しなおす際の参考とすることができる。
【００４９】
評価結果の表示形態としては、図１１に示される分光反射率を比較するグラフ１１ａの他に、図１２に示されるような表１２ａ、図１３に示されるレーダチャート１３ａとすることができる。図１２、図１３に示される例では、Ｌ＊ａ＊ｂ＊色空間での評価結果が表示される。すなわち、評価領域９ａ内の分光反射率推定画像データ、評価領域９ｂ内の分光反射率情報の双方にＣＩＥ標準光源（例えばＤ６５）が適用され、ＣＩＥＬ＊ａ＊ｂ＊色空間の画像データに変換されて評価が行われる。
【００５０】
図１２に示す例においては、Ｌ＊、ａ＊、ｂ＊それぞれの座標値（Ｌ１、Ｌ２、ａ１、ａ２、ｂ１、ｂ２）およびそれらの差（Ｌ２−Ｌ１、ａ１−ａ２、ｂ２−ｂ２）が表にまとめられて表示されている。Ｌ＊ａ＊ｂ＊の色空間に関する知識のあるユーザが図１２に示されるような評価結果を見たとき、処理後画像１０ａが満足のゆくものでない原因が、明度が異なっているからなのか（Ｌ１とのＬ２との差）、色相や彩度が異なっているからなのか（ａ１とａ２との差およびｂ１とｂ２との差）を知ることが可能となる。
【００５１】
図１３に示す例においては、評価領域９ａ、９ｂそれぞれの中の画像データに基づく色の色差を直観的に把握することが可能となる。
【００５２】
図１４は、図１１に示される処理後画像と基準画像との分光反射率の差の総和、あるいは図１２に示される差分（Ｌ２−Ｌ１、ａ１−ａ２、ｂ１−ｂ２）の二乗和を計算し、その大小を表示する例を示したものである。差の値が大きい場合を「悪い」とし、小さい場合を「良い」とし、その中間を「普通」として表示する。図１２に示される評価結果の表示形態では、画像処理に関する深い知識を有していないユーザや色空間の概念を理解していないユーザであっても、評価結果を直観的に把握することが可能となる。
【００５３】
以上に説明した図１１から図１４の評価結果の表示形態に関して、例えば評価結果表示方法を切り替えるためのボタンをユーザがクリックするのに応じて順次切り替えて表示されるようにしてもよい。以上に説明した評価結果を見たユーザは、必要に応じて「評価領域再設定」ボタン１１ｂまたは「再検索」ボタン１０ｅ（図１１）をクリックすることができる。あるいは、図１１から図１４に例示する評価結果が一つの表示画面中にすべて表示されるようにしてもよい。
【００５４】
評価結果が思わしく無い場合等に、「評価領域再設定」ボタン１１ｂをクリックすることにより、図８、図９を参照して説明した評価領域の設定操作をユーザは再度行うことが可能となる。あるいは、「再検索」ボタン７ｄをクリックすることにより、図５を参照して説明した分光反射率情報を検索するための処理ステップへ直接遡ることが可能となる。
【００５５】
以上では図１２から図１４を参照して、分光反射率推定画像データおよび分光反射率情報の双方にレンダリング処理が施されてＬ＊ａ＊ｂ＊の色空間での比較が行われる例について説明した。Ｌ＊ａ＊ｂ＊表色系で評価を行うと、色差の評価が容易（正確）となるという利点を有する。しかし、本発明はこの例に限られるものではなく、ＬＵＶ表色系、ＸＹＺ表色系等、様々な表色系での評価をすることが可能である。
【００５６】
図３から図１４を参照して処理装置１２０の内部構成について説明する。図３中に示される、処理装置１２０内の各要素（処理ブロック）は、専用のハードウェアロジックによって構成されていても良いし、処理装置１２０のメモリ中に格納されるプログラムが読み出されて処理装置１２０によって実行されることにより構成されていてもよい。以下では、処理装置１２０のメモリ中に格納されるプログラムが読み出されて処理装置１２０によって実行されることにより各要素が構成されるものとして説明する。
【００５７】
検索条件設定部３０２は、ユーザによって入力される、検索キーワード等の検索条件を受け付け、検索条件情報をデータベース１４０に送出する処理を行う。この検索条件は、処理装置１２０で色再現処理が行われる対象の画像データに対応する分光反射率情報をデータベース１４０中から検索するために用いられる。図５、図６を参照して、枠５ｄ、５ｅ、…、５ｈが処理装置１２０に接続されるモニタ表示装置１２２に表示されて、ユーザにより入力される検索条件を処理装置１２０が受け付けることについて説明したが、これが検索条件設定部３０２での動作に相当する。
【００５８】
カラー画像記憶部３０４は、ハードディスク装置やフラッシュメモリ等で構成され、処理装置１２０のユーザが取得したカラーの画像データが記憶されている。この画像データは、先にも説明したように、ユーザがデジタルカメラを用いて撮影して得たもの、光ディスク等の記憶媒体に格納されて頒布されたもの、あるいは、インターネットを介して取得したもの、いずれであってもよい。
【００５９】
分光反射率情報取得部３０６は、上述した検索条件情報をもとにデータベース１４０で検索された分光反射率情報を取得し、それを色再現処理部３０８に出力する処理を行う。図６、図７を参照して、ユーザによって選択された候補２の分光反射率情報を処理装置１２０がデータベース１４０から取得することについて説明したが、これが分光反射率情報取得部３０６の動作に相当する。
【００６０】
参照領域設定部３１０は、色再現処理に際して参照される処理対象画像およびサンプル画像中の参照領域をユーザが設定する操作を受け付ける。図７、図８を参照して、ユーザによって参照領域８ａ、８ｂが設定されるのを処理装置１２０が受け付ける処理をすることについて説明したが、これが参照領域設定部３１０の動作に相当する。参照領域設定部３１０は、参照領域８ａに関する情報を色再現処理部３０８に出力する一方、参照領域８ｂに関する情報を分光反射率情報取得部３０６に出力する。なお、分光反射率情報取得部３０６が色再現処理部３０８に分光反射率情報を出力する処理を行うことについて先に説明したが、ここで出力される分光反射率情報は参照領域８ｂに対応するものである。
【００６１】
評価領域設定部３１２は、色再現処理結果を評価する際に参照される処理対象画像およびサンプル画像中の評価領域をユーザが設定する操作を受け付ける。図８、図９を参照して、ユーザによって評価領域９ａ、９ｂが設定されるのを処理装置１２０が受け付ける処理をすることについて説明したが、これが評価領域設定部３１２の動作に相当する。評価領域設定部３１２はまた、画像評価部３１６で後述する画像評価を行う際に、画像内のどの領域で評価するかを指定する情報である評価対象領域指定情報を画像評価部３１６に出力する。
【００６２】
色再現情報設定部３２０は、観察照明、モニタ表示特性、モニタ表示装置の表示色空間等、色再現処理をしてモニタ表示装置１２２に画像を表示する処理をする際に必要となる色再現情報を設定する。色再現情報設定部３２０による色再現情報の設定は、ユーザによる色再現情報の入力操作を受け付けることによって実施可能である。あるいは、色再現情報の記録されたファイルを読み込むことによっても実施可能である。設定された色再現情報は、色再現情報設定部３２０から色再現処理部３０８および基準情報作成部３１４に出力される。
【００６３】
基準情報作成部３１４は、データベース１４０から取得した分光反射率情報に、色再現情報設定部３２０から入力した色再現情報を適用する色再現処理を行い、画像評価に際しての基準となる基準情報を作成する。この基準情報は、画像評価部３１６に出力される。データベース１４０から取得される分光反射率情報が離散計測分光反射率情報である場合、基準情報は、離散的な基準情報となる。
【００６４】
データベース１４０から取得される分光反射率情報が連続計測分光反射率情報である場合、基準情報は連続的な基準情報となる。連続的な基準情報によれば、予想撮影対象物の表面における任意の部位の基準情報を得ることが可能となる。
【００６５】
また。データベース１４０から取得される分光反射率情報が連続計測分光反射率情報である場合、この連続計測分光反射率情報を用いて図７に示すサンプル画像７ａを表示することが可能となる。その場合、基準情報作成部３１４で作成された基準情報が画像表示処理部３２２にも出力される。
【００６６】
色再現処理部３０８の構成について図４を参照して説明する。色再現処理部３０８は、画像切出部４０２と、平均処理部４０４と、色変換マトリクス作成部４０６と、色変換演算部４０８とを有する。画像切出部４０２は、カラー画像記憶部３０４から読み出された画像データ中から、参照領域設定部３１０で設定された参照領域８ａに対応する部分の画像データ（以下、参照領域画像データと称する）を切り出して平均処理部４０４に出力する。平均処理部４０４は、参照領域画像データに対して平均フィルタ等の手法を用いてノイズの影響を減ずる処理をする。
【００６７】
色変換マトリクス作成部４０６は、平均処理部４０４から出力されたノイズ低減処理後の参照領域画像データと、分光反射率情報取得部３０６から出力された参照領域８ｂの分光反射率情報と、色再現情報設定部３２０から出力された色再現情報と、処理対象画像データ中に入力プロファイルが含まれる場合にはその入力プロファイルとに基づき、色変換パラメータを生成する。色変換マトリクス作成部４０６は、この色変換パラメータを色変換演算部４０８に出力する。色変換演算部４０８は、処理対象画像データに色変換パラメータを適用し、処理後の画像データを画像評価部３１６、処理済み画像記憶部３１８、画像表示処理部３２２に出力する。
【００６８】
再び図３を参照し、画像表示処理部３２２は、図５から図１４に示される画像、ボタンなどをモニタ表示装置１２２に表示するための処理を行う。
【００６９】
画像評価部３１６は、色再現処理部３０８から出力された色再現処理後の画像データと、基準情報作成部３１４から出力された基準情報とを入力する。そして、これらの画像データと基準情報とを、評価領域設定部３１２から出力された評価領域指定情報で指定される領域において比較し、評価する。画像評価部３１６は、この評価結果を評価結果表示処理部３２４に出力する。
【００７０】
評価結果表示処理部３２４は、図１１から図１４を参照して説明した評価結果表示をモニタ表示装置１２２に表示するための処理を行う。
【００７１】
図１５Ａ、図１５Ｂを参照し、処理装置１２０により実行される色再現処理手順について説明する。処理装置１２０がＣＰＵおよびメモリを有していて、ＣＰＵがメモリに格納されたプログラムを実行することにより図１５Ａ、図１５Ｂに示される色再現処理手順が行われる。あるいは、処理装置１２０が専用のハードウェアロジックを有していて、このハードウェアロジックにより図１５Ａ、図１５Ｂに示される色再現処理手順が行われてもよい。
【００７２】
図１５Ａ、図１５Ｂに示される処理手順は、ユーザが処理装置１２０を操作して色再現処理手順を行うように指示を発したのに応じて実行が開始される。以下では、図１５Ａ、図１５Ｂに示される色再現処理手順を実行するのが処理装置１２０であるものとして説明をする。
【００７３】
Ｓ１５００において処理装置１２０は、ユーザがキーボードやコンピュータマウス（以下、単にマウスと称する）等を用いて処理対象画像データを選択するのを受け付ける処理を行う。処理装置１２０はＳ１５０２において、処理対象画像データに基づく画像をモニタ表示装置１２２に表示する。これが図５に示されるように画像５ａが表示されるのに相当する。
【００７４】
Ｓ１５０４において処理装置１２０は、ユーザによる検索情報入力操作を受け付ける処理を行う。すなわち、図５を参照して説明したように、ユーザが枠５ｄから５ｈに必要な検索情報を入力するのを、処理装置１２０は受け付ける処理を行う。
【００７５】
Ｓ１５０６において処理装置１２０は、ユーザによる検索開始操作を受け付ける処理を行う。すなわち、図５を参照して説明したように、ユーザが「検索スタート」ボタン５ｋをクリックするのを、処理装置１２０は受け付ける処理を行う。
【００７６】
処理装置１２０はＳ１５０８においてデータベース１４０に検索情報を送出し、Ｓ１５１０でデータベース１４０から検索結果を受信する。データベース１４０から受信した検索結果をもとに、処理装置１２０はＳ１５１２で分光反射率情報の候補をモニタ表示装置１２２に表示する処理を行う。その結果、モニタ表示装置１２２に検索結果表示窓５ｊ（図５、図６）が表示される。
【００７７】
Ｓ１５１４において処理装置１２０は、図６に示される「再検索」ボタン６ｂがクリックされたか否かを判定し、この判定が肯定されるとＳ１５０４に戻ってユーザによる再検索操作を受け付ける処理を行う。Ｓ１５１４での判定が否定された場合、処理装置１２０はＳ１５１６において、検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中からユーザが所望のものを選択する操作（図６）を受け付ける処理を行う。
【００７８】
Ｓ１５１８において処理装置１２０は、Ｓ１５１６でユーザにより選択された分光反射率情報に対応するサンプル画像７ａ（図７）をモニタ表示装置１２２に表示する処理を行う。Ｓ１５２０において処理装置１２０は、図７に示される「戻る」ボタン７ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５１６に戻り、検索結果表示窓５ｊ中に表示される分光反射率情報の選択候補中からユーザが所望のものを選択する操作を受け付ける処理が再度行われる。Ｓ１５２０での判定が否定されると処理はＳ１５２２に進む。
【００７９】
Ｓ１５２２において処理装置１２０は、図７に示される「再検索」ボタン７ｄがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５２２での判定が否定されると処理はＳ１５２４に進む。
【００８０】
Ｓ１５２４において処理装置１２０は、図７に示される「参照領域設定」ボタン７ｂをユーザがクリックし、続いて図８に示される、参照領域８ａ、８ｂの設定操作をユーザが行うのを受け付ける処理を行う。
【００８１】
Ｓ１５２６において処理装置１２０は、図８に示される「評価領域設定」ボタン８ｃをユーザがクリックし、続いて図９に示される、評価領域９ａ、９ｂの設定操作をユーザが行うのを受け付ける処理を行う。処理装置１２０は、Ｓ１５２８において、ユーザが図９に示される「色変換開始」ボタン９ｃをクリックするのを受け付ける処理を行う。
【００８２】
処理装置１２０はＳ１５３０において、以下のような色再現処理を行う。すなわち処理装置１２０は、処理対象画像中の参照領域８ａの分光反射率が、分光反射率情報中の参照領域８ｂの分光反射率に等しいものとして撮影照明光のスペクトルを推定する。処理装置１２０は続いて、撮影照明光の推定スペクトルと処理対象画像を生成した画像入力装置の入力プロファイルを処理対象画像中の参照領域８ａ以外の部分に適用し、分光反射率画像データを得る。処理装置１２０は、この分光反射率画像データに色再現情報を適用する処理をし、色再現処理後の画像（処理後画像）を得る。
【００８３】
処理装置１２０はＳ１５３２において、図１０に示されるように、モニタ表示装置１２２に処理後画像１０ａを表示する処理を行う。
【００８４】
Ｓ１５３４において処理装置１２０は、図１０に示される「戻る」ボタン１０ｄがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５２４に戻り、ユーザによる参照領域設定のための操作を受け付ける処理が行われる。Ｓ１５３４での判定が否定されると処理はＳ１５３６に進む。
【００８５】
Ｓ１５３６において処理装置１２０は、図１０に示される「再検索」ボタン１０ｅがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５３６での判定が否定されると処理はＳ１５３８に進む。
【００８６】
Ｓ１５３８において処理装置１２０は、図１０に示される「保存」ボタン１０ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５４０に進み、色再現処理後の画像データを保存する処理が行われる。Ｓ１５３８での判定が否定された場合には処理はＳ１５４２に進む。また、Ｓ１５４０での画像データ保存処理が行われた後も処理はＳ１５４２に進む。
【００８７】
処理装置１２０は、Ｓ１５４２において、ユーザが図１０に示される「評価」ボタン１０ｂをクリックするのを受け付ける処理を行う。Ｓ１５４４において処理装置１２０は、以下のような評価処理を行う。すなわち処理装置１２０は、評価領域９ａ内の分光反射率画像データと、データベース１４０から取得した分光反射率情報中の評価領域９ｂ内の分光反射率とを波長ごとに比較する処理を行う。
【００８８】
Ｓ１５４６において処理装置１２０は、Ｓ１５４４で行われた評価処理の結果をモニタ表示装置１２２に表示する処理を行う。この結果、図１１に示されるようにグラフ１１ａが表示される。
【００８９】
なお、以上で説明した、Ｓ１５４４、Ｓ１５４６で処理装置１２０により実行される処理は一例であり、先にも図１１から図１４を参照して説明したように、種々の方法を用いての評価と、それに応じた評価結果の表示を行うことが可能である。
【００９０】
Ｓ１５４８において処理装置１２０は、図１１に示される「保存」ボタン１０ｃがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５５０に進み、色再現処理後の画像データを保存する処理が行われる。この処理は、ユーザがグラフ１１ａを見てほぼ満足する画像が得られたと判断して「保存」ボタン１０ｃをクリックしたのに対応して行われる処理に対応する。
【００９１】
Ｓ１５４８での判定が否定された場合には処理はＳ１５５２に進む。また、Ｓ１５５０での画像データ保存処理が行われた後も処理はＳ１５５２に進む。
【００９２】
グラフ１１ａ、あるいは処理後画像１０ａを見て満足できなかった場合、ユーザは「評価領域再設定」ボタン１１ｂまたは「再検索」ボタン１０ｅをクリックする。このユーザ操作に対応して、処理装置１２０は以下に説明する処理を行う。
【００９３】
Ｓ１５５２において処理装置１２０は、図１１に示される「評価領域再設定」ボタン１１ｂがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５２６に戻り、ユーザによる評価領域設定のための操作を受け付ける処理が行われる。Ｓ１５５２での判定が否定されると処理はＳ１５５４に進む。
【００９４】
Ｓ１５５４において処理装置１２０は、図１１に示される「再検索」ボタン１０ｅがクリックされたか否かを判定する。この判定が肯定されると処理はＳ１５０４に戻り、ユーザによる検索情報入力操作を受け付ける処理が行われる。Ｓ１５５４での判定が否定されると処理装置１２０は色再現処理を完了する。
【００９５】
以上に説明したように、本発明の実施の形態に係る色再現システムでは、予想撮影対象物の分光反射率情報がデータベース１４０に蓄積されている。そのため、処理対象画像中に予想撮影対象物が写っている場合に、その予想撮影対象物の分光反射率情報をデータベースから取得することができる。したがって、画像入力装置で画像入力を行う際に撮影照明情報を取得したり、分光反射率が既知の色標を被写体とともに写しこんだりすることなく、優れた色再現の画像を得ることが可能となる。
【００９６】
また、主要被写体が人物等で、データベース１４０に分光反射率情報が蓄積されていない場合であっても、主要被写体とともに予想撮影対象物が写っていれば、それをいわば色標として用いることができるので、主要被写体の色再現性を高めることが可能となる。このとき、本発明の実施の形態によれば、図８、図９を参照して説明した参照領域８ａ、８ｂ、評価領域９ａ、９ｂをユーザが任意に設定可能であるので、色再現処理に適した部位を参照領域として設定することができる。加えて、ユーザが希望する任意の部位を評価領域として設定することができ、必要に応じて評価領域を変えることもできるので、ユーザは色再現処理後の画像データのより的確な評価結果を得ることが可能となる。
【００９７】
加えて、従来からあるフォトレタッチソフトのようにユーザがモニタ表示装置に表示される画像を見ながら試行錯誤を繰り返して色相、彩度、カラーバランス、レベル、コントラスト等を調節して表示される画像が好みの色調となるようにするのとは異なり、より単純な処理手順で色再現性に優れた画像をユーザは手軽に得ることが可能となる。
【００９８】
例えば、ユーザが旅行をして観光地で写真撮影をした場合を例に説明する。ユーザは帰宅して、あるいは宿泊先でパーソナルコンピュータのディスプレイに画像を表示する。このとき、色の再現性に違和感を覚えたユーザは、データベース１４０にアクセスして目的とする分光反射率情報を見つけ出す。データベース１４０には、ユーザが想起しうるさまざまなキーワードと分光反射率情報とが関連づけて蓄積されているので、ユーザは必要とする分光反射率情報を容易に見つけ出すことができる。そして、処理対象画像、分光反射率情報の双方で参照領域、評価領域を設定するだけで、色再現性に優れた画像を手軽に得ることが可能となる。
【産業上の利用可能性】
【００９９】
本発明に係る色再現処理の技術は、パーソナルコンピュータ等の情報処理装置、画像表示装置、そしてモニタ表示装置やテレビ受像器等に接続されるセットトップボックスボックス、ビデオレコーダ、あるいはビデオプレーヤ等に適用することが可能である。
【図面の簡単な説明】
【０１００】
【図１】本発明の実施の形態に係る色再現システムの概略的構成を説明する図である。
【図２】分光反射率情報が、この分光反射率情報に対応する検索情報とともに蓄積される様子を説明する図である。
【図３】情報処理装置の概略的内部構成を説明するブロック図である。
【図４】色再現処理部の概略的内部構成を説明するブロック図である。
【図５】処理対象画像と、この処理対象画像に対応する分光反射率情報を検索するためのユーザインターフェースが表示される様子を説明する図である。
【図６】ユーザが所望の分光反射率情報を選択する様子を説明する図である
【図７】ユーザにより選択された分光反射率情報に対応するサンプル画像が処理対象画像とともに表示される様子を説明する図である。
【図８】ユーザが処理対象画像上およびサンプル画像上の双方で参照領域を設定する様子を説明する図である。
【図９】ユーザが処理対象画像上およびサンプル画像上の双方で評価領域を設定する様子を説明する図である。
【図１０】色再現処理された画像がサンプル画像とともに表示される様子を説明する図である。
【図１１】処理対象画像に色再現処理をし、評価した結果を表示する例を説明する図である。
【図１２】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、Ｌ＊ ａ＊ ｂ＊表色系における色度値で示す例を説明する図である。
【図１３】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、Ｌ＊ ａ＊ ｂ＊表色系における色度値をグラフ化して表示する例を説明する図である。
【図１４】処理対象画像に色再現処理をして評価した結果を表示する際の別の例を説明する図であり、色差の大小をもとに、「悪い」、「普通」、「良い」と云った、感覚的な表示をする例を説明する図である。
【図１５Ａ】処理装置で実行される色再現処理の処理手順を説明する概略的フローチャートである。
【図１５Ｂ】処理装置で実行される色再現処理の処理手順を説明する概略的フローチャートであり、図１５Ａに示される処理手順に続く処理手順を説明するフローチャートである。
【符号の説明】
【０１０１】
５ａ … 処理対象画像
５ｊ … 検索結果表示窓
５ｋ … 「検索スタート」ボタン
６ｂ … 「再検索」ボタン
７ａ … サンプル画像
７ｂ … 「参照領域設定」ボタン
７ｃ … 「戻る」ボタン
７ｄ … 「再検索」ボタン
８ａ、８ｂ … 参照領域
８ｃ … 「評価領域設定」ボタン
９ａ、９ｂ … 評価領域
９ｃ … 「色再現処理開始」ボタン
１０ａ … 色再現処理後の画像
１０ｂ … 「評価」ボタン
１０ｃ … 「保存」ボタン
１０ｄ … 「戻る」ボタン
１０ｅ … 「再検索」ボタン
１１ａ … グラフ
１１ｂ … 「評価領域再設定」ボタン
１２ａ … 表
１３ａ … レーダチャート
１４ａ … 評価結果表示
１００ … 色再現システム
１２０ … 処理装置（情報処理装置）
１２２ … モニタ表示装置
１４０ … データベース
１６０ … ネットワーク
２００ … 分光反射率情報
３０２ … 検索条件設定部
３０４ … カラー画像記憶部
３０６ … 分光反射率情報取得部
３０８ … 色再現処理部
３１０ … 参照領域設定部
３１２ … 評価領域設定部
３１４ … 基準情報作成部
３１６ … 画像評価部
３１８ … 処理済み画像記憶部
３２０ … 色再現情報設定部
３２２ … 画像表示処理部
３２４ … 評価結果表示処理部
４０２ … 画像切出部
４０４ … 平均処理部
４０６ … 色変換マトリクス作成部
４０８ … 色変換演算部
【特許請求の範囲】
【請求項１】
撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースと、
撮影して得られたカラー画像の色再現処理をするための画像データ処理装置と
を有する色再現システムであって、
前記画像データ処理装置は、
ユーザにより設定された検索条件で検索して得られた分光反射率情報を前記データベースから取得する、分光反射率情報取得部と、
前記色再現処理に際して前記カラー画像に写っている被写体像の色を参照するための領域である参照領域を前記ユーザが設定するのを受け付ける参照領域設定部と、
前記分光反射率情報を用い、前記カラー画像の色再現処理をする色再現処理部であって、前記参照領域中の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率情報とに基づいて前記カラー画像の色再現処理をする、色再現処理部と
を有することを特徴とする色再現システム。
【請求項２】
前記データベースには、一つの予想撮影対象物に対して異なる計測条件で計測して得られた複数セットの分光反射率情報が蓄積される、請求項１に記載の色再現システム。
【請求項３】
前記色再現処理部による前記色再現処理結果を評価するための評価部を前記画像データ処理装置がさらに有する、請求項１または２に記載の色再現システム。
【請求項４】
前記色再現処理部による前記色再現処理結果を前記評価部で評価する際に参照する、前記カラー画像に写っている被写体像内の領域である評価領域を前記ユーザが設定するのを受け付ける評価領域設定部を前記画像データ処理装置がさらに有し、
前記評価部は、前記評価領域中の画像データに前記色再現処理をした結果と、前記分光反射率情報中の、前記評価領域に対応する分光反射率との比較結果に基づいて前記色再現処理結果を評価する、請求項３に記載の色再現システム。
【請求項５】
前記評価部による評価結果を数値化、グラフ化、または両方によって表示する評価結果表示部を前記画像データ処理装置がさらに有する、請求項３または４に記載の色再現システム。
【請求項６】
撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースから、ユーザにより設定された検索条件で検索して得られた分光反射率情報を取得することと、
撮影して得られたカラー画像の色再現処理をすることであって、前記色再現処理に際して、前記カラー画像に写っている被写体像の色を参照する領域として前記ユーザにより設定された参照領域の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率とに基づいて前記カラー画像の色再現処理をすることと
を有することを特徴とする色再現処理方法。
【請求項７】
色再現処理をした結果を評価することであって、前記色再現処理をした結果を評価する際に参照する、前記カラー画像に写っている被写体像内の領域として前記ユーザにより設定された評価領域中の画像データに前記色再現処理をした結果と、前記分光反射率情報中の、前記評価領域に対応する分光反射率との比較結果に基づいて前記色再現処理の結果を評価する、色再現処理をした結果を評価することをさらに有する、請求項６に記載の色再現処理方法。
【請求項８】
前記色再現処理をした結果を評価することによる評価結果を数値化、グラフ化、または両方によって表示することをさらに有する、請求項７に記載の色再現処理方法。
【請求項１】
撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースと、
撮影して得られたカラー画像の色再現処理をするための画像データ処理装置と
を有する色再現システムであって、
前記画像データ処理装置は、
ユーザにより設定された検索条件で検索して得られた分光反射率情報を前記データベースから取得する、分光反射率情報取得部と、
前記色再現処理に際して前記カラー画像に写っている被写体像の色を参照するための領域である参照領域を前記ユーザが設定するのを受け付ける参照領域設定部と、
前記分光反射率情報を用い、前記カラー画像の色再現処理をする色再現処理部であって、前記参照領域中の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率情報とに基づいて前記カラー画像の色再現処理をする、色再現処理部と
を有することを特徴とする色再現システム。
【請求項２】
前記データベースには、一つの予想撮影対象物に対して異なる計測条件で計測して得られた複数セットの分光反射率情報が蓄積される、請求項１に記載の色再現システム。
【請求項３】
前記色再現処理部による前記色再現処理結果を評価するための評価部を前記画像データ処理装置がさらに有する、請求項１または２に記載の色再現システム。
【請求項４】
前記色再現処理部による前記色再現処理結果を前記評価部で評価する際に参照する、前記カラー画像に写っている被写体像内の領域である評価領域を前記ユーザが設定するのを受け付ける評価領域設定部を前記画像データ処理装置がさらに有し、
前記評価部は、前記評価領域中の画像データに前記色再現処理をした結果と、前記分光反射率情報中の、前記評価領域に対応する分光反射率との比較結果に基づいて前記色再現処理結果を評価する、請求項３に記載の色再現システム。
【請求項５】
前記評価部による評価結果を数値化、グラフ化、または両方によって表示する評価結果表示部を前記画像データ処理装置がさらに有する、請求項３または４に記載の色再現システム。
【請求項６】
撮影対象になることが予想される物体である予想撮影対象物の表面における分光反射率の分布を予め計測して得られた分光反射率情報がそれぞれの予想撮影対象物ごとに蓄積されて形成されたデータベースから、ユーザにより設定された検索条件で検索して得られた分光反射率情報を取得することと、
撮影して得られたカラー画像の色再現処理をすることであって、前記色再現処理に際して、前記カラー画像に写っている被写体像の色を参照する領域として前記ユーザにより設定された参照領域の画像データと、前記分光反射率情報中の、前記参照領域に対応する分光反射率とに基づいて前記カラー画像の色再現処理をすることと
を有することを特徴とする色再現処理方法。
【請求項７】
色再現処理をした結果を評価することであって、前記色再現処理をした結果を評価する際に参照する、前記カラー画像に写っている被写体像内の領域として前記ユーザにより設定された評価領域中の画像データに前記色再現処理をした結果と、前記分光反射率情報中の、前記評価領域に対応する分光反射率との比較結果に基づいて前記色再現処理の結果を評価する、色再現処理をした結果を評価することをさらに有する、請求項６に記載の色再現処理方法。
【請求項８】
前記色再現処理をした結果を評価することによる評価結果を数値化、グラフ化、または両方によって表示することをさらに有する、請求項７に記載の色再現処理方法。
【図１】
【図２】
【図３】
【図４】
【図１１】
【図１２】
【図１５Ａ】
【図１５Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図１１】
【図１２】
【図１５Ａ】
【図１５Ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【公開番号】特開２０１０−５６６２８（Ｐ２０１０−５６６２８Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１６６２９（Ｐ２００８−２１６６２９）
【出願日】平成２０年８月２６日（２００８．８．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２６日（２００８．８．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]