画像処理装置及び画像処理方法
【課題】簡便な処理でマルチバンド画像の色を高い精度で分光的に再現することができる画像処理装置及び画像処理方法等を提供する。
【解決手段】画像処理装置には、マルチバンド画像入力装置１０１から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段１０９と、前記出力信号値を用いて前記マルチバンド画像を、画像出力装置１０２が出力可能な出力画像に変換する色変換実行手段１１３とが設けられている。色変換演算手段１０９には、前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段１１１と、前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段１１０と、前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段１１２と、が設けられている。
【解決手段】画像処理装置には、マルチバンド画像入力装置１０１から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段１０９と、前記出力信号値を用いて前記マルチバンド画像を、画像出力装置１０２が出力可能な出力画像に変換する色変換実行手段１１３とが設けられている。色変換演算手段１０９には、前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段１１１と、前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段１１０と、前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段１１２と、が設けられている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチバンド画像の多原色の画像出力装置での再現に好適な画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
近年、画像のデジタル化により、デジタルカメラ及びスキャナ等の画像入力装置によって取得された画像を、モニタ及びプロジェクタ等の画像表示装置で表示したり、インクジェットプリンタ及びレーザープリンタ等の画像出力装置にて印刷したりする機会が増えている。一般的に、物体の色を再現するための色再現技術において、画像入力機器ではＲＧＢ３色のフィルタを用いて、オリジナルの色を３原色に分解することにより、色情報を取得している。一方、画像表示機器ではＲＧＢ３色の発光体を用い加法混色を行うことによりオリジナルの色を再現し、また、インクジェットプリンタ及びレーザープリンタではＣＭＹＫ４色の色材を用い減法混色することによりオリジナルの色を再現している。
現在、様々な環境下において、様々なデバイスを用いて画像の入力及び出力が行われている。例えば、屋外において太陽光の下で被写体の画像をデジタルカメラで取得し、室内においてプリントアウトした印刷物を蛍光灯の下で観察するということが行われている。また、特にプロカメラマンやデザイナー等のプロユースの現場において、オリジナルの色を忠実に再現したいという要求が増えている。しかしながら、前述のように入力時のデバイス及び環境と出力時のデバイス及び環境とが異なっているため、オリジナルの色を忠実に再現することが困難である。
特に入力時と出力時とで観察光源が異なる場合、上述の３原色を用いた測色的色再現では忠実にオリジナルの色を再現するのは困難である。例えば、色温度が５０００Ｋ程の太陽光の下で画像を撮影し、室内にて色温度が３０００Ｋ程の電球の下で印刷物を観察する場合、被写体の色を正確に再現することは非常に難しい。これは、測色的色再現では光源の情報をも含んだ三刺激値（ＸＹＺ値又はＬａｂ値）を一致させているため、入力時と出力時とで光源が異なる場合には等色関係が成り立たなくなってしまうからである。
そこで、近年、様々な環境下においてオリジナルの色を忠実に再現するための技術として、分光的色再現という技術が注目されている。分光的色再現とは、物体の色を三刺激値を一致させて再現するのではなく、分光反射率をも一致させて、任意の光源下においてオリジナルの色を忠実に再現するという技術である。ここで、分光反射率とは光の波長ごとの反射率を示したものである。分光反射率データは、例えば、可視領域である３８０ｎｍ〜７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた３６チャンネルのデータとして扱われる。しかしながら、現在の技術では入力画像全域にわたって分光反射率データを直接取得することは困難である。替わりに、３原色より多い６チャンネルから１６チャンネル程度の色情報をもつマルチバンド画像を使用する方法が知られている（特許文献１〜４）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２１９３１号公報
【特許文献２】特開２０００−３３３１８６号公報
【特許文献３】特開２００３−１３４３５１号公報
【特許文献４】特開２００６−２８７５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１〜３に記載されているような従来の分光的色再現技術においてはマルチバンド信号値から被写体の分光反射率を推定し、その後、出力装置の信号値に変換している。ところが、マルチバンド画像入力装置で入力した際、あるマルチバンド信号値に変換される分光特性は無数に存在する。即ち、マルチバンド信号値及び分光反射率の間には「１対多数」の関係が存在する。このため、マルチバンド信号値から分光反射率への変換には教師データが必要とされる。
一般的に、自然画像及び美術品等のマルチバンド撮影においては、被写体と同一の分光特性をもつ教師データを使用することは極めて困難である。また、被写体と教師データとの間で分光特性が一致しない場合、推定結果として得られる分光反射率は被写体よりも教師データに近い特性を持つ。このため、教師データを使用した分光反射率の推定では分光的色再現の高い精度を得ることができない。
また、特許文献４に記載されているような方法では、複数の画像入力装置及び画像出力装置が使用される場合、それらの全ての組み合わせについてデバイスモデルを構築する必要があり、複雑な処理が必要となる。
このように、これらの従来の分光的色再現システムによっても被写体の分光特性を高い精度で再現することは困難である。
【０００５】
本発明は、簡便な処理でマルチバンド画像の色を高い精度で分光的に再現することができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段と、前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行手段と、を有し、前記色変換演算手段は、前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段と、前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段と、前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、適切に構成された色変換演算手段が設けられているため、簡便な処理でマルチバンド画像の色を高い精度で分光的に再現することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図３】ユーザインタフェースの一例を示す図である。
【図４】出力信号値と階調との関係を示す図である。
【図５】ステップＳ２０４の詳細を示すフローチャートである。
【図６】第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図７】第２の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図８】パッチ画像の一例を示す図である。
【図９】カラーパッチの内容を示す図である。
【図１０】ステップＳ７０３の詳細を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１０】
（第１の実施形態）
先ず、第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。
第１の実施形態に係る画像処理装置１０３には、図１に示すように、画像入力部１０６、画像入力装置プロファイル入力部１０７、画像出力装置プロファイル入力部１０８、色変換演算部１０９、色変換実行部１１３、及び画像出力部１１４が含まれている。
画像入力部１０６には、マルチバンド画像入力装置１０１からマルチバンド画像が入力される。画像入力装置プロファイル入力部１０７には、画像入力装置プロファイル設定部１０４からフィルタ情報等が入力される。画像出力装置プロファイル入力部１０８には、分光放射輝度測定装置１０５から分光放射輝度が入力される。画像出力部１１４からは画像出力装置１０２に出力画像が出力される。
【００１１】
マルチバンド画像入力装置１０１は、マルチバンドカメラ等、被写体の色を多原色フィルタを用いて取得する。画像出力装置１０２は、多原色モニタ又は多原色プロジェクタ等であり、実際に画像の表示を行う。画像入力装置プロファイル設定部１０４では、マルチバンド画像入力装置１０１の各チャンネルの入出力特性をユーザが設定する。分光放射輝度測定装置１０５は、画像出力装置１０２の分光輝度を測定する。
【００１２】
画像入力部１０６は、マルチバンド画像入力装置１０１及びこれに付随する記憶装置を制御し、画像変換処理の対象となるマルチバンド画像データを取得する。画像入力装置プロファイル入力部１０７は、画像入力装置プロファイル設定部１０４で設定された情報に従って、各チャンネルの入出力特性を示すデータを取得する。画像出力装置プロファイル入力部１０８は、分光放射輝度測定装置１０５及び画像出力装置１０２を制御し、画像出力装置１０２の入出力特性を示すデータを取得する。
色変換演算部１０９には、画像入力装置デバイスモデル部１１０、画像出力装置デバイスモデル部１１１、及びモデル反転部１１２が含まれている。画像入力装置デバイスモデル部１１０は、任意の分光放射輝度で光を照射又は反射している被写体をマルチバンド画像入力装置１０１で撮影した際に生成されるマルチバンド信号値を推定する機能を持ち、マルチバンド信号値推定手段として機能する。画像出力装置デバイスモデル部１１１は、画像出力装置１０２において、ある画素が任意の信号値を出力した際に再現される分光放射輝度を推定する機能を持ち、分光特性推定手段として機能する。モデル反転部１１２は、画像入力装置デバイスモデル部１１０及び画像出力装置デバイスモデル部１１１を逆関数として繰り返し駆動し、任意のマルチバンド信号値を高い精度で再現する出力信号値を探索する機能を持ち、出力信号値導出手段として機能する。そして、色変換演算部１０９は、任意のマルチバンド信号値の持つ色情報を再現可能な出力信号値を導出する。
色変換実行部１１３は、色変換演算部１０９を駆動し、マルチバンド画像を画像出力装置１０２で出力可能な画像データに変換する。画像出力部１１４は、色変換実行部１１３により変換された画像に必要な情報を付加し、画像出力装置１０２に出力する。
【００１３】
なお、以後の説明では、マルチバンド画像入力装置１０１として、６チャンネルのマルチバンドカメラが使用されるものとする。このカメラは各画素の各チャンネルについて０から６５５３５までの１６ビットの整数値をとるマルチバンド画像を生成する。また、画像出力装置１０２として、６原色のディスプレイが使用されるものとする。このディスプレイは各画素の各色について０から６５５３５までの１６ビットの整数値をとる画像データ（信号値）を入力として使用する。信号値が０の場合は発光を行わないことを示す。いずれについても、分光的な色再現を行うために十分な精度が得られるものであれば、本発明を構成する入出力装置の形態はこれに限定されない。また、分光特性データは全て３８０ｎｍ〜７３０ｎｍの範囲について１０ｎｍ間隔でサンプリングされた３６チャンネルのデータであるものとする。この分光特性には分光反射率、分光放射輝度、分光透過率、光電変換素子の分光感度、分光照度等が含まれる。なお、分光特性データの形式はこれに限定されない。
【００１４】
次に、第１の実施形態に係る画像処理装置の動作（画像処理方法）について説明する。図２は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
先ず、ステップＳ２０１において、マルチバンド画像入力装置１０１からマルチバンド画像を画像入力部１０６が取得する。つまり、マルチバンド画像入力装置１０１から画像処理装置１０３にマルチバンド画像が入力される。マルチバンド画像は、例えばマルチバンド画像入力装置１０１を用いた被写体の撮影により取得されたものである。
次いで、ステップＳ２０２において、画像入力装置プロファイル設定部１０４に設定された情報に基づいて画像入力装置プロファイル入力部１０７がフィルタ情報等のデータを取得し、画像入力装置デバイスモデル部１１０の初期化を行う。
【００１５】
ここで、ステップＳ２０２の詳細について説明する。図３は、画像入力装置プロファイル設定部１０４のユーザインタフェースの一例を示す図である。
図３（ａ）は、マルチバンド画像入力装置１０１の各チャンネルのフィルタ特性を設定するフィルタ設定ウィンドウを示す。
このフィルタ設定ウィンドウには、択一式のラジオボタン３０１及び３０２、プルダウンメニュー群３０３、追加ボタン３０４、設定ボタン３０５及びキャンセルボタン３０６が含まれている。
ラジオボタン３０１及び３０２は、どちらか一方のみ選択されるような機能を有する。ラジオボタン３０１は入力画像からフィルタデータを自動取得する場合に選択され、ラジオボタン３０２はフィルタデータを手動で設定する場合に選択される。プルダウンメニュー群３０３は、マルチバンドカメラの各チャンネルに使用されているフィルタを選択する際に使用される。フィルタの分光透過率データはデータベース（図示せず）に記憶されており、プルダウンメニューの各選択肢はそれぞれの分光透過率データと関連付けられている。プルダウンメニュー群３０３の操作は、ラジオボタン３０２が選択されている場合のみ有効となる。追加ボタン３０４は、プルダウンメニュー群３０３の選択肢であるフィルタデータをデータベースに追加する際に操作される。追加ボタン３０４が押下されると、詳細は後述するが、ユーザインタフェースがフィルタデータ追加ウィンドウ（図３（ｂ））に変化する。設定ボタン３０５は、ユーザの入力を反映しフィルタデータの取得を開始する際に操作される。キャンセルボタン３０６は上記設定を取り消す際に操作される。
設定ボタン３０５が押下されると、画像入力装置プロファイル入力部１０７は、図３（ａ）のフィルタ設定ウィンドウを介して設定された情報に基づいて、フィルタ分光透過率データを取得する。例えば、設定ボタン３０５の押下時にラジオボタン３０１が選択されている場合、画像入力装置プロファイル入力部１０７は、ステップＳ２０１で入力された画像データの付属データを参照し、使用されているフィルタの種類を示す識別番号を取得する。その後、取得した識別番号に対応する分光透過率データをデータベースより取得する。画像データからフィルタの種類が取得できない場合、又は取得したフィルタに対応する分光透過率データがデータベースに存在しない場合には、ユーザインタフェースにその旨を表示する。つまり、ユーザに警告する。また、設定ボタン３０５の押下時にラジオボタン３０２が選択されている場合、画像入力装置プロファイル入力部１０７は、プルダウンメニュー群３０３の設定情報に基づいて各チャンネルの分光透過率データをデータベースより取得する。
上記のように、追加ボタン３０４が押下されると、ユーザインタフェースがフィルタデータ追加ウィンドウに変化する。図３（ａ）は、マルチバンド画像入力装置１０１のフィルタデータ追加ウィンドウを示す。
このフィルタ設定ウィンドウには、テキストボックス３０７、テキストボックス３０８、テキストボックス３０９、追加ボタン３１０、及び戻りボタン３１１が含まれている。
テキストボックス３０７は、新しく追加するフィルタデータの名前を記入する際に使用される。テキストボックス３０８は、新しく追加するフィルタの分光透過率データを記述したファイルを指定する際に使用される。テキストボックス３０９は、フィルタデータの自動選択時に使用される識別番号を指定する際に使用される。テキストボックス３０７〜３０９にフィルタの情報が入力された状態で、追加ボタン３１０が押下されると、上記指定を反映したフィルタデータがデータベースに追加される。戻りボタン３１１は、フィルタデータ追加ウィンドウを終了しフィルタ設定ウィンドウへ戻る際に操作される。
ステップＳ２０２では、更に、画像入力装置プロファイル入力部１０７が、フィルタの分光透過率データの取得と同様にして、光電変換素子の分光感度データも取得する。このとき、画像入力装置プロファイル入力部１０７が分光感度取得手段として機能する。また、ホワイトバランス制御及び入力ガンマ特性等の画像入力装置デバイスモデル部１１０の実行に用いるデータも取得する。
このようにして、ステップＳ２０２の処理が行われる。
【００１６】
ステップＳ２０２の後、ステップＳ２０３において、画像出力装置プロファイル入力部１０８が画像出力装置デバイスモデル部１１１の初期化を行う。この際、画像出力装置プロファイル入力部１０８は、画像出力装置１０２及び分光放射輝度測定装置１０５を制御し、画像出力装置１０２の入出力特性を取得する。例えば、図４に示すように、画像出力装置１０２への出力信号値Ｉ0、Ｉ1、Ｉ2、Ｉ3、Ｉ4、及びＩ5のそれぞれについて、０、４０９６、８１９２、・・・、及び６５５３５の１７階調の画像を出力し、単色時の分光放射輝度を測定する。なお、画像出力装置１０２の入出力特性を事前に測定し、外部記憶装置（図示せず）に保存しておき、ステップＳ２０３では保存されている入出力特性データの読み込みを行ってもよい。
次いで、ステップＳ２０４において、色変換演算部１０９が、入力画像の各画素のマルチバンド信号値を高い精度で再現する出力信号値の導出を行う。色変換演算部１０９は、このような出力信号値として、所定の条件下でマルチバンド信号値を最もよく再現するものを導出する。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。
【００１７】
ここで、ステップＳ２０４の詳細について説明する。図５は、ステップＳ２０４の詳細を示すフローチャートである。
先ず、ステップＳ５０１において、モデル反転部１１２が、再現対象となるマルチバンド画素値の取得を行う。
次いで、ステップＳ５０２において、モデル反転部１１２が、最適化のパラメータ信号値となる出力信号値の初期値設定を行う。ここでは、初期値として｛Ｉ0，Ｉ1，Ｉ2，Ｉ3，Ｉ4，Ｉ5｝＝｛０，０，０，０，０，０｝を設定する。
その後、ステップＳ５０３において、モデル反転部１１２が、画像出力装置デバイスモデル部１１１を駆動し、出力信号値から分光放射輝度の推定を行う。６原色の混色の分光放射輝度は単色の分光放射輝度の和として算出され、個々の単色の分光放射輝度は１７階調の測定値から線形補間で算出される。例えば、出力信号値｛１０００，５０００，０，０，０，０｝に対する分光放射輝度は｛１０００，０，０，０，０，０｝及び｛０，５０００，０，０，０，０｝によって再現される分光放射輝度の和として算出される。ここで、｛１０００，０，０，０，０，０｝によって再現される分光放射輝度は｛０，０，０，０，０，０｝及び｛４０９６，０，０，０，０，０｝の測定値より線形補間によって算出される。同様に、｛０，５０００，０，０，０，０｝によって再現される分光放射輝度は｛０，４０９６，０，０，０，０｝及び｛０，８１９２，０，０，０，０｝の測定値より線形補間によって算出される。
続いて、ステップＳ５０４において、モデル反転部１１２が、画像入力装置デバイスモデル部１１０を駆動し、分光放射輝度からマルチバンド信号値の推定を行う。画像入力装置デバイスモデル部１１０は、ステップＳ５０３で推定された分光放射輝度に各チャンネルのフィルタの分光透過率及び光電変換素子の分光感度を積算し、各チャンネルの入力信号値を算出する。そして、画像入力装置デバイスモデル部１１０は、各信号値に対しホワイトバランス処理及び入力ガンマ変換を実施し、マルチバンド画像入力装置１０１による撮影と同等のマルチバンド信号値を推定マルチバンド信号値として生成する。なお、これらの分光放射輝度及びマルチバンド信号値の推定方法は一例であり、各種データの測定方法及び推定値の算出方法はこれらに限定されない。
次いで、ステップＳ５０５において、モデル反転部１１２が、ステップＳ５０１で取得されたマルチバンド信号値とステップＳ５０４で生成された推定マルチバンド信号値との比較を行い、これらがどの程度離れているかについての評価を行う。ここでは、例えば、相互の距離として、各チャンネルの信号値の差分の二乗和平方根を算出する。
その後、ステップＳ５０６において、モデル反転部１１２が、ステップＳ５０５の比較の結果に応じて、所定の条件下での最適化が完了したか否かの判定を行う。最適化が完了していない場合、ステップＳ５０７において、モデル反転部１１２は、パラメータである出力信号値を修正し、ステップＳ５０３に戻る。この判定及び修正は、例えば、ニュートンの反復法に基づいて行われる。但し、ニュートンの反復法に限定されることはなく、例えばシンプレックス法又は粒子群最適化手法等を用いてもよい。最適化が完了している場合、ステップＳ５０８において、モデル反転部１１２が、ステップＳ５０５で算出された距離が最も小さい出力信号値を、ステップＳ５０１で取得されたマルチバンド画素値を高い精度で再現する出力信号値として導出する。つまり、所定条件下でマルチバンド画素値を高い精度で再現する出力信号値として導出する。
このようにして、ステップＳ２０４の処理が行われる。
【００１８】
ステップＳ２０４の後、ステップＳ２０５において、色変換実行部１１３が、ステップＳ２０４で導出された出力信号値に基づいて、ステップＳ５０１で取得されたマルチバンド画像の変換を行う。そして、画像出力部１１４が、色変換実行部１１３による変換後の出力画像に種々の情報を付加し、画像出力装置１０２へ出力する。
【００１９】
このような第１の実施形態によれば、教師データを用いたマルチバンド信号値から分光特性への変換を実施せずとも、マルチバンド画像を出力画像に変換することができる。従って、被写体を撮影したマルチバンド画像の分光特性を多原色表示装置上に忠実に再現することができる。また、複数のマルチバンド画像入力装置と多原色表示装置とが組み合わされる場合であっても、個々の装置についてデバイスモデルが作成されるため、全ての画像入力装置と画像出力装置の組み合わせについて分光的な色再現を行うことができる。
【００２０】
（第２の実施形態）
次に、第２の実施形態について説明する。図６は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。
第１の実施形態に係る画像処理装置６０２には、図６に示すように、画像入力部１０６、画像入力装置プロファイル入力部１０７、色変換実行部１１３、及び画像出力部１１４が含まれている。画像処理装置６０２には、更に、分光照度入力部６０５、画像出力装置プロファイル入力部６０６、パッチ画像作成部６０７、及び色変換演算部６０８が含まれている。
分光照度入力部６０５には、分光照度測定装置６０３から分光照度が入力される。画像出力装置プロファイル入力部６０６には、分光反射率測定装置６０４から分光反射率が入力される。画像出力部１１４からは画像出力装置６０１に出力画像が出力される。
【００２１】
画像出力装置６０１は、多色プリンタ等であり、記録媒体上に実際の印字を行う。分光照度測定装置６０３は、マルチバンド画像の取得時の被写体近傍の分光照度を測定する。分光反射率測定装置６０４は、記録媒体上に形成されたパッチ画像の分光反射率を測定する。
【００２２】
分光照度入力部６０５は、分光照度測定装置６０３により測定された分光照度の分光照度データを取得し、分光照度取得手段として機能する。パッチ画像作成部６０７は、画像出力装置６０１の入出力特性を取得するためのパッチ画像のデータを作成する。画像出力装置プロファイル入力部６０６は、パッチ画像作成部６０７により作成されたパッチ画像のデータ、及び分光反射率測定装置６０４により測定されたパッチ画像の分光反射率を取得する。
色変換演算部１０９には、画像入力装置デバイスモデル部１１０、分光放射輝度算出部６０９、画像出力装置デバイスモデル部６１０、及びモデル反転部６１１が含まれている。画像出力装置デバイスモデル部６１０は、画像出力装置６０１において、ある画素が任意の信号値を出力した際に再現される分光放射率を推定する機能を持ち、分光特性推定手段の分光反射率推定手段として機能する。分光放射輝度算出部６０９は、分光放射輝度を算出する機能を持ち、分光特性推定手段の分光放射輝度算出手段として機能する。モデル反転部６１１は、任意のマルチバンド信号値を高い精度で再現する出力信号値を探索する機能を持つ。そして、色変換演算部６０８は、任意のマルチバンド信号値の持つ色情報を再現可能な出力信号値を導出する。
色変換実行部１１３は、色変換演算部６０８を駆動し、マルチバンド画像を画像出力装置６０１で出力可能な画像データに変換する。画像出力部１１４は、色変換実行部１１３により変換された画像に必要な情報を付加し、画像出力装置６０１に出力する。また、画像出力部１１４は、パッチ画像作成部６０７により作成されたパッチ画像のデータの画像出力装置６０１への出力も行う。
他の構成は、第１の実施形態と同様である。
【００２３】
なお、以降の説明では、マルチバンド画像入力装置１０１として、第１の実施形態と同様に、６チャンネルのマルチバンドカメラが使用されるものとする。また、画像出力装置６０１として、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、及びブラックの７色の色剤を備えたカラーインクジェットプリンタが使用されるものとする。このカラーインクジェットプリンタは各画素の各色剤について０から６５５３５までの１６ビットの整数値をとる画像データ（信号値）を入力として使用する。信号値が０の場合はインクの吐出を行わないことを示す。また、本実施形態において、１回の画像変換処理フロー内で使用する記録媒体は全て同種の物が使用されるものとする。いずれについても、分光的な色再現を行うために十分な精度が得られるものであれば、本発明を構成する入出力装置の形態はこれらに限定されない。
【００２４】
次に、第２の実施形態に係る画像処理装置の動作（画像処理方法）について説明する。図７は、第２の実施形態に係る画像処理装置の動作を示すフローチャートである。
先ず、ステップＳ７０１において、パッチ画像作成部６０７が画像出力装置６０１の色剤構成に基づいてカラーパッチのパッチ画像のデータを作成する。そして、作成されたパッチ画像のデータが画像出力部１１４を介して画像出力装置６０１に出力され、画像出力装置６０１がパッチ画像を印刷する。次いで、分光反射率測定装置６０４が、パッチ画像の分光反射率を測定する。このようにして、画像出力装置６０１の入出力特性が取得される。図８は、パッチ画像の一例を示す図である。図９は、カラーパッチの内容を示す図である。本実施形態では、例えば、図８におけるＮｏ．１からＮｏ．７８１２５の矩形部分に、図９に示すように、各色の色剤を最大使用量の２５％ずつ変化させた全ての組み合わせのカラーパッチの出力が行われる。
ステップＳ７０１の後、第１の実施形態と同様に、ステップＳ２０１の処理が行われる。
次いで、ステップＳ７０２において、分光照度入力部６０５が分光照度測定装置６０３を駆動し、ステップＳ２０１で行われたマルチバンド画像入力時の照明光の分光照度の測定を行う。そして、分光照度入力部は、測定された分光照度のデータを取得する。
その後、第１の実施形態と同様に、ステップＳ２０２及びＳ２０３の処理が行われる。
続いて、ステップＳ７０３において、色変換演算部１０９が、入力画像の各画素のマルチバンド信号値を高い精度で再現する出力信号値の導出を行う。色変換演算部１０９は、このような出力信号値として、所定の条件下でマルチバンド信号値を最もよく再現するものを導出する。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。
【００２５】
ここで、ステップＳ７０３の詳細について説明する。図１０は、ステップＳ７０３の詳細を示すフローチャートである。
先ず、第１の実施形態と同様に、ステップＳ５０１及びＳ５０２の処理が行われる。
次いで、ステップＳ１００１において、モデル反転部６１１が、画像出力装置デバイスモデル部６１０を駆動し、出力信号値から分光反射率の推定を行う。この推定は、例えば、ステップＳ７０１で取得された分光反射率のデータに基づいてセル化ノイゲバウアーの式を用いて行われる。
その後、ステップＳ１００２において、モデル反転部６１１が、ステップＳ７０２で取得された分光照度とＳ１００１で推定した分光反射率とを積算し、出力信号値に対応する分光放射輝度を算出する。
続いて、ステップＳ１００３において、モデル反転部６１１が、画像入力装置デバイスモデル部１１０を駆動し、ステップＳ１００２で推定された分光放射輝度からマルチバンド信号値を推定する。この推定は、例えば、第１の実施形態のステップＳ５０３と同様にして行われる。
次いで、ステップＳ１００４において、モデル反転部６１１が、ステップＳ５０１で取得されたマルチバンド信号値とステップＳ１００３で生成された推定マルチバンド信号値との比較を行い、これらがどの程度離れているかについての評価を行う。ここでは、例えば、相互の距離として、各チャンネルの信号値の差分の二乗和平方根を算出する。
その後、ステップＳ１００５において、モデル反転部６１１が、ステップＳ１００４の比較の結果に応じて、所定の条件下での最適化が完了したか否かの判定を行う。最適化が完了していない場合、ステップＳ５０７において、モデル反転部６１１がパラメータである出力信号値を修正し、ステップＳ１００１に戻る。最適化が完了している場合、第１の実施形態と同様に、ステップＳ５０８の処理が行われる。
このようにして、ステップＳ７０３の処理が行われる。
ステップＳ７０３の後、第１の実施形態と同様にして、ステップＳ２０５の処理が行われる。
【００２６】
このような第２の実施形態によれば、多色プリンタを用いた場合においても、被写体を撮影したマルチバンド画像の分光特性を忠実に再現することができる。また、複数のマルチバンド画像入力装置と多色プリンタとが組み合わされる場合であっても、個々の装置についてデバイスモデルが作成されるため、全ての画像入力装置と画像出力装置の組み合わせについて分光的な色再現を行うことができる。
【００２７】
なお、第１及び第２の実施形態では、単一の画像出力装置が処理の対象となっているが、事前に複数の画像出力装置の入出力特性をデータベース化し、ユーザの指定等に応じて使用する画像出力装置を選択してもよい。この場合、ステップＳ２０３では、指定された画像出力装置に対応する入出力特性データを画像出力装置プロファイル入力部１０８がデータベースから選択的に取得する。更に、指定された画像出力装置の種類によって、第１の実施形態の処理と第２の実施形態の処理とを切り換えてもよい。
また、第１及び第２の実施形態では、ステップＳ２０４又はＳ７０３の処理が入力画像の全ての画素に対して実施されているが、マルチバンド信号値を出力信号値に変換するルックアップテーブル（ＬＵＴ）を使用しても同様の効果を得ることができる。この場合、ＬＵＴを生成するＬＵＴ生成部を画像処理装置１０３又は６０２に設けておき、モデル反転部１１２又は６１１が、ステップＳ２０４又はＳ７０３の処理をＬＵＴの各格子点に対して実施し、マルチバンド画像から出力画像への変換を行う。画像変換処理にＬＵＴを使用することで、画素数の多い画像データに対しても高速で画像変換を行うことが可能となる。
また、ステップＳ５０５において２つのマルチバンド信号値の距離を算出する処理において、Ｗｉｅｎｅｒ推定等を使用し、双方のデータを分光反射率又は分光放射輝度に変換してもよい。先述の通り、単なるマルチバンド信号値から分光特性データへの変換では、教師データに起因する誤差が発生する。しかしながら、第１及び第２の実施形態では、同一の方法によって双方のデータを分光特性に変換するため、双方に同等の誤差が発生し、データ間の距離を算出する上で従来技術のような問題は生じない。出力信号の最適化時に比較データを分光特性に変換することにより、等色関数など、人間の視覚特性を考慮した色特性の比較を行うことが可能となる。
【００２８】
なお、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００２９】
１０１：マルチバンド画像入力装置 １０２、６０１：画像出力装置 １０９、６０８：色変換演算部 １１０：画像入力装置デバイスモデル部 １１１、６１０：画像出力装置デバイスモデル部 １１２、６１１：モデル反転部 ６０９：分光放射輝度算出部
【技術分野】
【０００１】
本発明は、マルチバンド画像の多原色の画像出力装置での再現に好適な画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
近年、画像のデジタル化により、デジタルカメラ及びスキャナ等の画像入力装置によって取得された画像を、モニタ及びプロジェクタ等の画像表示装置で表示したり、インクジェットプリンタ及びレーザープリンタ等の画像出力装置にて印刷したりする機会が増えている。一般的に、物体の色を再現するための色再現技術において、画像入力機器ではＲＧＢ３色のフィルタを用いて、オリジナルの色を３原色に分解することにより、色情報を取得している。一方、画像表示機器ではＲＧＢ３色の発光体を用い加法混色を行うことによりオリジナルの色を再現し、また、インクジェットプリンタ及びレーザープリンタではＣＭＹＫ４色の色材を用い減法混色することによりオリジナルの色を再現している。
現在、様々な環境下において、様々なデバイスを用いて画像の入力及び出力が行われている。例えば、屋外において太陽光の下で被写体の画像をデジタルカメラで取得し、室内においてプリントアウトした印刷物を蛍光灯の下で観察するということが行われている。また、特にプロカメラマンやデザイナー等のプロユースの現場において、オリジナルの色を忠実に再現したいという要求が増えている。しかしながら、前述のように入力時のデバイス及び環境と出力時のデバイス及び環境とが異なっているため、オリジナルの色を忠実に再現することが困難である。
特に入力時と出力時とで観察光源が異なる場合、上述の３原色を用いた測色的色再現では忠実にオリジナルの色を再現するのは困難である。例えば、色温度が５０００Ｋ程の太陽光の下で画像を撮影し、室内にて色温度が３０００Ｋ程の電球の下で印刷物を観察する場合、被写体の色を正確に再現することは非常に難しい。これは、測色的色再現では光源の情報をも含んだ三刺激値（ＸＹＺ値又はＬａｂ値）を一致させているため、入力時と出力時とで光源が異なる場合には等色関係が成り立たなくなってしまうからである。
そこで、近年、様々な環境下においてオリジナルの色を忠実に再現するための技術として、分光的色再現という技術が注目されている。分光的色再現とは、物体の色を三刺激値を一致させて再現するのではなく、分光反射率をも一致させて、任意の光源下においてオリジナルの色を忠実に再現するという技術である。ここで、分光反射率とは光の波長ごとの反射率を示したものである。分光反射率データは、例えば、可視領域である３８０ｎｍ〜７３０ｎｍの範囲において１０ｎｍ間隔でサンプリングされた３６チャンネルのデータとして扱われる。しかしながら、現在の技術では入力画像全域にわたって分光反射率データを直接取得することは困難である。替わりに、３原色より多い６チャンネルから１６チャンネル程度の色情報をもつマルチバンド画像を使用する方法が知られている（特許文献１〜４）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２２１９３１号公報
【特許文献２】特開２０００−３３３１８６号公報
【特許文献３】特開２００３−１３４３５１号公報
【特許文献４】特開２００６−２８７５８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１〜３に記載されているような従来の分光的色再現技術においてはマルチバンド信号値から被写体の分光反射率を推定し、その後、出力装置の信号値に変換している。ところが、マルチバンド画像入力装置で入力した際、あるマルチバンド信号値に変換される分光特性は無数に存在する。即ち、マルチバンド信号値及び分光反射率の間には「１対多数」の関係が存在する。このため、マルチバンド信号値から分光反射率への変換には教師データが必要とされる。
一般的に、自然画像及び美術品等のマルチバンド撮影においては、被写体と同一の分光特性をもつ教師データを使用することは極めて困難である。また、被写体と教師データとの間で分光特性が一致しない場合、推定結果として得られる分光反射率は被写体よりも教師データに近い特性を持つ。このため、教師データを使用した分光反射率の推定では分光的色再現の高い精度を得ることができない。
また、特許文献４に記載されているような方法では、複数の画像入力装置及び画像出力装置が使用される場合、それらの全ての組み合わせについてデバイスモデルを構築する必要があり、複雑な処理が必要となる。
このように、これらの従来の分光的色再現システムによっても被写体の分光特性を高い精度で再現することは困難である。
【０００５】
本発明は、簡便な処理でマルチバンド画像の色を高い精度で分光的に再現することができる画像処理装置及び画像処理方法等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段と、前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行手段と、を有し、前記色変換演算手段は、前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段と、前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段と、前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、適切に構成された色変換演算手段が設けられているため、簡便な処理でマルチバンド画像の色を高い精度で分光的に再現することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図３】ユーザインタフェースの一例を示す図である。
【図４】出力信号値と階調との関係を示す図である。
【図５】ステップＳ２０４の詳細を示すフローチャートである。
【図６】第２の実施形態に係る画像処理装置の構成を示すブロック図である。
【図７】第２の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図８】パッチ画像の一例を示す図である。
【図９】カラーパッチの内容を示す図である。
【図１０】ステップＳ７０３の詳細を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について添付の図面を参照して具体的に説明する。
【００１０】
（第１の実施形態）
先ず、第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理装置の構成を示すブロック図である。
第１の実施形態に係る画像処理装置１０３には、図１に示すように、画像入力部１０６、画像入力装置プロファイル入力部１０７、画像出力装置プロファイル入力部１０８、色変換演算部１０９、色変換実行部１１３、及び画像出力部１１４が含まれている。
画像入力部１０６には、マルチバンド画像入力装置１０１からマルチバンド画像が入力される。画像入力装置プロファイル入力部１０７には、画像入力装置プロファイル設定部１０４からフィルタ情報等が入力される。画像出力装置プロファイル入力部１０８には、分光放射輝度測定装置１０５から分光放射輝度が入力される。画像出力部１１４からは画像出力装置１０２に出力画像が出力される。
【００１１】
マルチバンド画像入力装置１０１は、マルチバンドカメラ等、被写体の色を多原色フィルタを用いて取得する。画像出力装置１０２は、多原色モニタ又は多原色プロジェクタ等であり、実際に画像の表示を行う。画像入力装置プロファイル設定部１０４では、マルチバンド画像入力装置１０１の各チャンネルの入出力特性をユーザが設定する。分光放射輝度測定装置１０５は、画像出力装置１０２の分光輝度を測定する。
【００１２】
画像入力部１０６は、マルチバンド画像入力装置１０１及びこれに付随する記憶装置を制御し、画像変換処理の対象となるマルチバンド画像データを取得する。画像入力装置プロファイル入力部１０７は、画像入力装置プロファイル設定部１０４で設定された情報に従って、各チャンネルの入出力特性を示すデータを取得する。画像出力装置プロファイル入力部１０８は、分光放射輝度測定装置１０５及び画像出力装置１０２を制御し、画像出力装置１０２の入出力特性を示すデータを取得する。
色変換演算部１０９には、画像入力装置デバイスモデル部１１０、画像出力装置デバイスモデル部１１１、及びモデル反転部１１２が含まれている。画像入力装置デバイスモデル部１１０は、任意の分光放射輝度で光を照射又は反射している被写体をマルチバンド画像入力装置１０１で撮影した際に生成されるマルチバンド信号値を推定する機能を持ち、マルチバンド信号値推定手段として機能する。画像出力装置デバイスモデル部１１１は、画像出力装置１０２において、ある画素が任意の信号値を出力した際に再現される分光放射輝度を推定する機能を持ち、分光特性推定手段として機能する。モデル反転部１１２は、画像入力装置デバイスモデル部１１０及び画像出力装置デバイスモデル部１１１を逆関数として繰り返し駆動し、任意のマルチバンド信号値を高い精度で再現する出力信号値を探索する機能を持ち、出力信号値導出手段として機能する。そして、色変換演算部１０９は、任意のマルチバンド信号値の持つ色情報を再現可能な出力信号値を導出する。
色変換実行部１１３は、色変換演算部１０９を駆動し、マルチバンド画像を画像出力装置１０２で出力可能な画像データに変換する。画像出力部１１４は、色変換実行部１１３により変換された画像に必要な情報を付加し、画像出力装置１０２に出力する。
【００１３】
なお、以後の説明では、マルチバンド画像入力装置１０１として、６チャンネルのマルチバンドカメラが使用されるものとする。このカメラは各画素の各チャンネルについて０から６５５３５までの１６ビットの整数値をとるマルチバンド画像を生成する。また、画像出力装置１０２として、６原色のディスプレイが使用されるものとする。このディスプレイは各画素の各色について０から６５５３５までの１６ビットの整数値をとる画像データ（信号値）を入力として使用する。信号値が０の場合は発光を行わないことを示す。いずれについても、分光的な色再現を行うために十分な精度が得られるものであれば、本発明を構成する入出力装置の形態はこれに限定されない。また、分光特性データは全て３８０ｎｍ〜７３０ｎｍの範囲について１０ｎｍ間隔でサンプリングされた３６チャンネルのデータであるものとする。この分光特性には分光反射率、分光放射輝度、分光透過率、光電変換素子の分光感度、分光照度等が含まれる。なお、分光特性データの形式はこれに限定されない。
【００１４】
次に、第１の実施形態に係る画像処理装置の動作（画像処理方法）について説明する。図２は、第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
先ず、ステップＳ２０１において、マルチバンド画像入力装置１０１からマルチバンド画像を画像入力部１０６が取得する。つまり、マルチバンド画像入力装置１０１から画像処理装置１０３にマルチバンド画像が入力される。マルチバンド画像は、例えばマルチバンド画像入力装置１０１を用いた被写体の撮影により取得されたものである。
次いで、ステップＳ２０２において、画像入力装置プロファイル設定部１０４に設定された情報に基づいて画像入力装置プロファイル入力部１０７がフィルタ情報等のデータを取得し、画像入力装置デバイスモデル部１１０の初期化を行う。
【００１５】
ここで、ステップＳ２０２の詳細について説明する。図３は、画像入力装置プロファイル設定部１０４のユーザインタフェースの一例を示す図である。
図３（ａ）は、マルチバンド画像入力装置１０１の各チャンネルのフィルタ特性を設定するフィルタ設定ウィンドウを示す。
このフィルタ設定ウィンドウには、択一式のラジオボタン３０１及び３０２、プルダウンメニュー群３０３、追加ボタン３０４、設定ボタン３０５及びキャンセルボタン３０６が含まれている。
ラジオボタン３０１及び３０２は、どちらか一方のみ選択されるような機能を有する。ラジオボタン３０１は入力画像からフィルタデータを自動取得する場合に選択され、ラジオボタン３０２はフィルタデータを手動で設定する場合に選択される。プルダウンメニュー群３０３は、マルチバンドカメラの各チャンネルに使用されているフィルタを選択する際に使用される。フィルタの分光透過率データはデータベース（図示せず）に記憶されており、プルダウンメニューの各選択肢はそれぞれの分光透過率データと関連付けられている。プルダウンメニュー群３０３の操作は、ラジオボタン３０２が選択されている場合のみ有効となる。追加ボタン３０４は、プルダウンメニュー群３０３の選択肢であるフィルタデータをデータベースに追加する際に操作される。追加ボタン３０４が押下されると、詳細は後述するが、ユーザインタフェースがフィルタデータ追加ウィンドウ（図３（ｂ））に変化する。設定ボタン３０５は、ユーザの入力を反映しフィルタデータの取得を開始する際に操作される。キャンセルボタン３０６は上記設定を取り消す際に操作される。
設定ボタン３０５が押下されると、画像入力装置プロファイル入力部１０７は、図３（ａ）のフィルタ設定ウィンドウを介して設定された情報に基づいて、フィルタ分光透過率データを取得する。例えば、設定ボタン３０５の押下時にラジオボタン３０１が選択されている場合、画像入力装置プロファイル入力部１０７は、ステップＳ２０１で入力された画像データの付属データを参照し、使用されているフィルタの種類を示す識別番号を取得する。その後、取得した識別番号に対応する分光透過率データをデータベースより取得する。画像データからフィルタの種類が取得できない場合、又は取得したフィルタに対応する分光透過率データがデータベースに存在しない場合には、ユーザインタフェースにその旨を表示する。つまり、ユーザに警告する。また、設定ボタン３０５の押下時にラジオボタン３０２が選択されている場合、画像入力装置プロファイル入力部１０７は、プルダウンメニュー群３０３の設定情報に基づいて各チャンネルの分光透過率データをデータベースより取得する。
上記のように、追加ボタン３０４が押下されると、ユーザインタフェースがフィルタデータ追加ウィンドウに変化する。図３（ａ）は、マルチバンド画像入力装置１０１のフィルタデータ追加ウィンドウを示す。
このフィルタ設定ウィンドウには、テキストボックス３０７、テキストボックス３０８、テキストボックス３０９、追加ボタン３１０、及び戻りボタン３１１が含まれている。
テキストボックス３０７は、新しく追加するフィルタデータの名前を記入する際に使用される。テキストボックス３０８は、新しく追加するフィルタの分光透過率データを記述したファイルを指定する際に使用される。テキストボックス３０９は、フィルタデータの自動選択時に使用される識別番号を指定する際に使用される。テキストボックス３０７〜３０９にフィルタの情報が入力された状態で、追加ボタン３１０が押下されると、上記指定を反映したフィルタデータがデータベースに追加される。戻りボタン３１１は、フィルタデータ追加ウィンドウを終了しフィルタ設定ウィンドウへ戻る際に操作される。
ステップＳ２０２では、更に、画像入力装置プロファイル入力部１０７が、フィルタの分光透過率データの取得と同様にして、光電変換素子の分光感度データも取得する。このとき、画像入力装置プロファイル入力部１０７が分光感度取得手段として機能する。また、ホワイトバランス制御及び入力ガンマ特性等の画像入力装置デバイスモデル部１１０の実行に用いるデータも取得する。
このようにして、ステップＳ２０２の処理が行われる。
【００１６】
ステップＳ２０２の後、ステップＳ２０３において、画像出力装置プロファイル入力部１０８が画像出力装置デバイスモデル部１１１の初期化を行う。この際、画像出力装置プロファイル入力部１０８は、画像出力装置１０２及び分光放射輝度測定装置１０５を制御し、画像出力装置１０２の入出力特性を取得する。例えば、図４に示すように、画像出力装置１０２への出力信号値Ｉ0、Ｉ1、Ｉ2、Ｉ3、Ｉ4、及びＩ5のそれぞれについて、０、４０９６、８１９２、・・・、及び６５５３５の１７階調の画像を出力し、単色時の分光放射輝度を測定する。なお、画像出力装置１０２の入出力特性を事前に測定し、外部記憶装置（図示せず）に保存しておき、ステップＳ２０３では保存されている入出力特性データの読み込みを行ってもよい。
次いで、ステップＳ２０４において、色変換演算部１０９が、入力画像の各画素のマルチバンド信号値を高い精度で再現する出力信号値の導出を行う。色変換演算部１０９は、このような出力信号値として、所定の条件下でマルチバンド信号値を最もよく再現するものを導出する。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。
【００１７】
ここで、ステップＳ２０４の詳細について説明する。図５は、ステップＳ２０４の詳細を示すフローチャートである。
先ず、ステップＳ５０１において、モデル反転部１１２が、再現対象となるマルチバンド画素値の取得を行う。
次いで、ステップＳ５０２において、モデル反転部１１２が、最適化のパラメータ信号値となる出力信号値の初期値設定を行う。ここでは、初期値として｛Ｉ0，Ｉ1，Ｉ2，Ｉ3，Ｉ4，Ｉ5｝＝｛０，０，０，０，０，０｝を設定する。
その後、ステップＳ５０３において、モデル反転部１１２が、画像出力装置デバイスモデル部１１１を駆動し、出力信号値から分光放射輝度の推定を行う。６原色の混色の分光放射輝度は単色の分光放射輝度の和として算出され、個々の単色の分光放射輝度は１７階調の測定値から線形補間で算出される。例えば、出力信号値｛１０００，５０００，０，０，０，０｝に対する分光放射輝度は｛１０００，０，０，０，０，０｝及び｛０，５０００，０，０，０，０｝によって再現される分光放射輝度の和として算出される。ここで、｛１０００，０，０，０，０，０｝によって再現される分光放射輝度は｛０，０，０，０，０，０｝及び｛４０９６，０，０，０，０，０｝の測定値より線形補間によって算出される。同様に、｛０，５０００，０，０，０，０｝によって再現される分光放射輝度は｛０，４０９６，０，０，０，０｝及び｛０，８１９２，０，０，０，０｝の測定値より線形補間によって算出される。
続いて、ステップＳ５０４において、モデル反転部１１２が、画像入力装置デバイスモデル部１１０を駆動し、分光放射輝度からマルチバンド信号値の推定を行う。画像入力装置デバイスモデル部１１０は、ステップＳ５０３で推定された分光放射輝度に各チャンネルのフィルタの分光透過率及び光電変換素子の分光感度を積算し、各チャンネルの入力信号値を算出する。そして、画像入力装置デバイスモデル部１１０は、各信号値に対しホワイトバランス処理及び入力ガンマ変換を実施し、マルチバンド画像入力装置１０１による撮影と同等のマルチバンド信号値を推定マルチバンド信号値として生成する。なお、これらの分光放射輝度及びマルチバンド信号値の推定方法は一例であり、各種データの測定方法及び推定値の算出方法はこれらに限定されない。
次いで、ステップＳ５０５において、モデル反転部１１２が、ステップＳ５０１で取得されたマルチバンド信号値とステップＳ５０４で生成された推定マルチバンド信号値との比較を行い、これらがどの程度離れているかについての評価を行う。ここでは、例えば、相互の距離として、各チャンネルの信号値の差分の二乗和平方根を算出する。
その後、ステップＳ５０６において、モデル反転部１１２が、ステップＳ５０５の比較の結果に応じて、所定の条件下での最適化が完了したか否かの判定を行う。最適化が完了していない場合、ステップＳ５０７において、モデル反転部１１２は、パラメータである出力信号値を修正し、ステップＳ５０３に戻る。この判定及び修正は、例えば、ニュートンの反復法に基づいて行われる。但し、ニュートンの反復法に限定されることはなく、例えばシンプレックス法又は粒子群最適化手法等を用いてもよい。最適化が完了している場合、ステップＳ５０８において、モデル反転部１１２が、ステップＳ５０５で算出された距離が最も小さい出力信号値を、ステップＳ５０１で取得されたマルチバンド画素値を高い精度で再現する出力信号値として導出する。つまり、所定条件下でマルチバンド画素値を高い精度で再現する出力信号値として導出する。
このようにして、ステップＳ２０４の処理が行われる。
【００１８】
ステップＳ２０４の後、ステップＳ２０５において、色変換実行部１１３が、ステップＳ２０４で導出された出力信号値に基づいて、ステップＳ５０１で取得されたマルチバンド画像の変換を行う。そして、画像出力部１１４が、色変換実行部１１３による変換後の出力画像に種々の情報を付加し、画像出力装置１０２へ出力する。
【００１９】
このような第１の実施形態によれば、教師データを用いたマルチバンド信号値から分光特性への変換を実施せずとも、マルチバンド画像を出力画像に変換することができる。従って、被写体を撮影したマルチバンド画像の分光特性を多原色表示装置上に忠実に再現することができる。また、複数のマルチバンド画像入力装置と多原色表示装置とが組み合わされる場合であっても、個々の装置についてデバイスモデルが作成されるため、全ての画像入力装置と画像出力装置の組み合わせについて分光的な色再現を行うことができる。
【００２０】
（第２の実施形態）
次に、第２の実施形態について説明する。図６は、第２の実施形態に係る画像処理装置の構成を示すブロック図である。
第１の実施形態に係る画像処理装置６０２には、図６に示すように、画像入力部１０６、画像入力装置プロファイル入力部１０７、色変換実行部１１３、及び画像出力部１１４が含まれている。画像処理装置６０２には、更に、分光照度入力部６０５、画像出力装置プロファイル入力部６０６、パッチ画像作成部６０７、及び色変換演算部６０８が含まれている。
分光照度入力部６０５には、分光照度測定装置６０３から分光照度が入力される。画像出力装置プロファイル入力部６０６には、分光反射率測定装置６０４から分光反射率が入力される。画像出力部１１４からは画像出力装置６０１に出力画像が出力される。
【００２１】
画像出力装置６０１は、多色プリンタ等であり、記録媒体上に実際の印字を行う。分光照度測定装置６０３は、マルチバンド画像の取得時の被写体近傍の分光照度を測定する。分光反射率測定装置６０４は、記録媒体上に形成されたパッチ画像の分光反射率を測定する。
【００２２】
分光照度入力部６０５は、分光照度測定装置６０３により測定された分光照度の分光照度データを取得し、分光照度取得手段として機能する。パッチ画像作成部６０７は、画像出力装置６０１の入出力特性を取得するためのパッチ画像のデータを作成する。画像出力装置プロファイル入力部６０６は、パッチ画像作成部６０７により作成されたパッチ画像のデータ、及び分光反射率測定装置６０４により測定されたパッチ画像の分光反射率を取得する。
色変換演算部１０９には、画像入力装置デバイスモデル部１１０、分光放射輝度算出部６０９、画像出力装置デバイスモデル部６１０、及びモデル反転部６１１が含まれている。画像出力装置デバイスモデル部６１０は、画像出力装置６０１において、ある画素が任意の信号値を出力した際に再現される分光放射率を推定する機能を持ち、分光特性推定手段の分光反射率推定手段として機能する。分光放射輝度算出部６０９は、分光放射輝度を算出する機能を持ち、分光特性推定手段の分光放射輝度算出手段として機能する。モデル反転部６１１は、任意のマルチバンド信号値を高い精度で再現する出力信号値を探索する機能を持つ。そして、色変換演算部６０８は、任意のマルチバンド信号値の持つ色情報を再現可能な出力信号値を導出する。
色変換実行部１１３は、色変換演算部６０８を駆動し、マルチバンド画像を画像出力装置６０１で出力可能な画像データに変換する。画像出力部１１４は、色変換実行部１１３により変換された画像に必要な情報を付加し、画像出力装置６０１に出力する。また、画像出力部１１４は、パッチ画像作成部６０７により作成されたパッチ画像のデータの画像出力装置６０１への出力も行う。
他の構成は、第１の実施形態と同様である。
【００２３】
なお、以降の説明では、マルチバンド画像入力装置１０１として、第１の実施形態と同様に、６チャンネルのマルチバンドカメラが使用されるものとする。また、画像出力装置６０１として、シアン、マゼンタ、イエロー、レッド、グリーン、ブルー、及びブラックの７色の色剤を備えたカラーインクジェットプリンタが使用されるものとする。このカラーインクジェットプリンタは各画素の各色剤について０から６５５３５までの１６ビットの整数値をとる画像データ（信号値）を入力として使用する。信号値が０の場合はインクの吐出を行わないことを示す。また、本実施形態において、１回の画像変換処理フロー内で使用する記録媒体は全て同種の物が使用されるものとする。いずれについても、分光的な色再現を行うために十分な精度が得られるものであれば、本発明を構成する入出力装置の形態はこれらに限定されない。
【００２４】
次に、第２の実施形態に係る画像処理装置の動作（画像処理方法）について説明する。図７は、第２の実施形態に係る画像処理装置の動作を示すフローチャートである。
先ず、ステップＳ７０１において、パッチ画像作成部６０７が画像出力装置６０１の色剤構成に基づいてカラーパッチのパッチ画像のデータを作成する。そして、作成されたパッチ画像のデータが画像出力部１１４を介して画像出力装置６０１に出力され、画像出力装置６０１がパッチ画像を印刷する。次いで、分光反射率測定装置６０４が、パッチ画像の分光反射率を測定する。このようにして、画像出力装置６０１の入出力特性が取得される。図８は、パッチ画像の一例を示す図である。図９は、カラーパッチの内容を示す図である。本実施形態では、例えば、図８におけるＮｏ．１からＮｏ．７８１２５の矩形部分に、図９に示すように、各色の色剤を最大使用量の２５％ずつ変化させた全ての組み合わせのカラーパッチの出力が行われる。
ステップＳ７０１の後、第１の実施形態と同様に、ステップＳ２０１の処理が行われる。
次いで、ステップＳ７０２において、分光照度入力部６０５が分光照度測定装置６０３を駆動し、ステップＳ２０１で行われたマルチバンド画像入力時の照明光の分光照度の測定を行う。そして、分光照度入力部は、測定された分光照度のデータを取得する。
その後、第１の実施形態と同様に、ステップＳ２０２及びＳ２０３の処理が行われる。
続いて、ステップＳ７０３において、色変換演算部１０９が、入力画像の各画素のマルチバンド信号値を高い精度で再現する出力信号値の導出を行う。色変換演算部１０９は、このような出力信号値として、所定の条件下でマルチバンド信号値を最もよく再現するものを導出する。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。なお、本実施形態ではマルチバンド画像が出力画像に変換されるため、この処理は入力画像の全ての画素に対して行われる。
【００２５】
ここで、ステップＳ７０３の詳細について説明する。図１０は、ステップＳ７０３の詳細を示すフローチャートである。
先ず、第１の実施形態と同様に、ステップＳ５０１及びＳ５０２の処理が行われる。
次いで、ステップＳ１００１において、モデル反転部６１１が、画像出力装置デバイスモデル部６１０を駆動し、出力信号値から分光反射率の推定を行う。この推定は、例えば、ステップＳ７０１で取得された分光反射率のデータに基づいてセル化ノイゲバウアーの式を用いて行われる。
その後、ステップＳ１００２において、モデル反転部６１１が、ステップＳ７０２で取得された分光照度とＳ１００１で推定した分光反射率とを積算し、出力信号値に対応する分光放射輝度を算出する。
続いて、ステップＳ１００３において、モデル反転部６１１が、画像入力装置デバイスモデル部１１０を駆動し、ステップＳ１００２で推定された分光放射輝度からマルチバンド信号値を推定する。この推定は、例えば、第１の実施形態のステップＳ５０３と同様にして行われる。
次いで、ステップＳ１００４において、モデル反転部６１１が、ステップＳ５０１で取得されたマルチバンド信号値とステップＳ１００３で生成された推定マルチバンド信号値との比較を行い、これらがどの程度離れているかについての評価を行う。ここでは、例えば、相互の距離として、各チャンネルの信号値の差分の二乗和平方根を算出する。
その後、ステップＳ１００５において、モデル反転部６１１が、ステップＳ１００４の比較の結果に応じて、所定の条件下での最適化が完了したか否かの判定を行う。最適化が完了していない場合、ステップＳ５０７において、モデル反転部６１１がパラメータである出力信号値を修正し、ステップＳ１００１に戻る。最適化が完了している場合、第１の実施形態と同様に、ステップＳ５０８の処理が行われる。
このようにして、ステップＳ７０３の処理が行われる。
ステップＳ７０３の後、第１の実施形態と同様にして、ステップＳ２０５の処理が行われる。
【００２６】
このような第２の実施形態によれば、多色プリンタを用いた場合においても、被写体を撮影したマルチバンド画像の分光特性を忠実に再現することができる。また、複数のマルチバンド画像入力装置と多色プリンタとが組み合わされる場合であっても、個々の装置についてデバイスモデルが作成されるため、全ての画像入力装置と画像出力装置の組み合わせについて分光的な色再現を行うことができる。
【００２７】
なお、第１及び第２の実施形態では、単一の画像出力装置が処理の対象となっているが、事前に複数の画像出力装置の入出力特性をデータベース化し、ユーザの指定等に応じて使用する画像出力装置を選択してもよい。この場合、ステップＳ２０３では、指定された画像出力装置に対応する入出力特性データを画像出力装置プロファイル入力部１０８がデータベースから選択的に取得する。更に、指定された画像出力装置の種類によって、第１の実施形態の処理と第２の実施形態の処理とを切り換えてもよい。
また、第１及び第２の実施形態では、ステップＳ２０４又はＳ７０３の処理が入力画像の全ての画素に対して実施されているが、マルチバンド信号値を出力信号値に変換するルックアップテーブル（ＬＵＴ）を使用しても同様の効果を得ることができる。この場合、ＬＵＴを生成するＬＵＴ生成部を画像処理装置１０３又は６０２に設けておき、モデル反転部１１２又は６１１が、ステップＳ２０４又はＳ７０３の処理をＬＵＴの各格子点に対して実施し、マルチバンド画像から出力画像への変換を行う。画像変換処理にＬＵＴを使用することで、画素数の多い画像データに対しても高速で画像変換を行うことが可能となる。
また、ステップＳ５０５において２つのマルチバンド信号値の距離を算出する処理において、Ｗｉｅｎｅｒ推定等を使用し、双方のデータを分光反射率又は分光放射輝度に変換してもよい。先述の通り、単なるマルチバンド信号値から分光特性データへの変換では、教師データに起因する誤差が発生する。しかしながら、第１及び第２の実施形態では、同一の方法によって双方のデータを分光特性に変換するため、双方に同等の誤差が発生し、データ間の距離を算出する上で従来技術のような問題は生じない。出力信号の最適化時に比較データを分光特性に変換することにより、等色関数など、人間の視覚特性を考慮した色特性の比較を行うことが可能となる。
【００２８】
なお、本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。
【符号の説明】
【００２９】
１０１：マルチバンド画像入力装置 １０２、６０１：画像出力装置 １０９、６０８：色変換演算部 １１０：画像入力装置デバイスモデル部 １１１、６１０：画像出力装置デバイスモデル部 １１２、６１１：モデル反転部 ６０９：分光放射輝度算出部
【特許請求の範囲】
【請求項１】
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段と、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行手段と、
を有し、
前記色変換演算手段は、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段と、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段と、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記色変換演算手段は、
前記マルチバンド画像が前記マルチバンド画像入力装置に入力された際の照明光の分光照度を取得する分光照度取得手段を有し、
前記分光特性推定手段は、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光反射率を推定する分光反射率推定手段と、
前記分光反射率及び前記分光照度から前記分光放射輝度を算出する分光放射輝度算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像出力装置は記録媒体上に画像を形成する多色プリンタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記マルチバンド画像入力装置の各チャンネルの分光感度に関する情報を取得する分光感度取得手段を有し、
前記マルチバンド信号値推定手段は、前記分光放射輝度及び前記分光感度を用いて前記推定マルチバンド信号値を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
マルチバンド信号値を出力信号値に変換するルックアップテーブルを生成するＬＵＴ生成手段を有し、
前記出力信号値導出手段は、前記ルックアップテーブルの各格子点について前記出力信号値を導出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算ステップと、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行ステップと、
を有し、
前記色変換演算ステップは、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定ステップと、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定ステップと、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
コンピュータに、
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算ステップと、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行ステップと、
を実行させ、
前記色変換演算ステップは、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定ステップと、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定ステップと、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出ステップと、
を有することを特徴とするプログラム。
【請求項１】
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算手段と、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行手段と、
を有し、
前記色変換演算手段は、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定手段と、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定手段と、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記色変換演算手段は、
前記マルチバンド画像が前記マルチバンド画像入力装置に入力された際の照明光の分光照度を取得する分光照度取得手段を有し、
前記分光特性推定手段は、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光反射率を推定する分光反射率推定手段と、
前記分光反射率及び前記分光照度から前記分光放射輝度を算出する分光放射輝度算出手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像出力装置は記録媒体上に画像を形成する多色プリンタであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記マルチバンド画像入力装置の各チャンネルの分光感度に関する情報を取得する分光感度取得手段を有し、
前記マルチバンド信号値推定手段は、前記分光放射輝度及び前記分光感度を用いて前記推定マルチバンド信号値を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
マルチバンド信号値を出力信号値に変換するルックアップテーブルを生成するＬＵＴ生成手段を有し、
前記出力信号値導出手段は、前記ルックアップテーブルの各格子点について前記出力信号値を導出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算ステップと、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行ステップと、
を有し、
前記色変換演算ステップは、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定ステップと、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定ステップと、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出ステップと、
を有することを特徴とする画像処理方法。
【請求項７】
コンピュータに、
マルチバンド画像入力装置から取得したマルチバンド画像のマルチバンド信号値から出力信号値を導出する色変換演算ステップと、
前記出力信号値を用いて前記マルチバンド画像を、画像出力装置が出力可能な出力画像に変換する色変換実行ステップと、
を実行させ、
前記色変換演算ステップは、
前記画像出力装置の入出力特性に基づいて、任意の出力信号値によって再現される分光放射輝度を推定する分光特性推定ステップと、
前記分光放射輝度を用いて、推定マルチバンド信号値を生成するマルチバンド信号値推定ステップと、
前記推定マルチバンド信号値と前記マルチバンド信号値との比較の結果に応じて前記出力信号値を導出する出力信号値導出ステップと、
を有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１０９３０７（Ｐ２０１１−１０９３０７Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６０８５３（Ｐ２００９−２６０８５３）
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１６日（２００９．１１．１６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]