画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体
【課題】 色再現性を補償する上で正確に色管理された画像を得るための画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体を得る。
【解決手段】 分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換する。
【解決手段】 分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、テレビやカラープリンタなどのカラー画像を取り扱う各種電気機器が、インターネットなどで接続されることによって、各機器間で画像データをやり取りできるシステムにおいて、色管理（カラーマネージメント）を行う際にディジタルカメラやディジタルスチルカメラ等の撮像装置の色彩特性や、汎用の画像データをどの様な画像データとして変換するか、またその変換方法に関するものである。
【０００２】
【従来の技術】従来の画像の送受信システムとして、放送システムなどを挙げることができる。図１２に放送システムの簡単な構成図を示す。１は被写体を照明している光源、２は被写体、１３は放送カメラなどに挙げられる撮像装置、１４は各家庭などで撮像画像を表示してみるＴＶなどに挙げられる表示装置である。従来は撮像装置１３によって、撮像された画像は伝送され各表示装置１４にて受信され表示される。このとき、撮像装置１３の分光応答度特性（Spectral responsivity Characteristic）と表示装置１４の分光特性が一致しておれば、撮像した被写体の色再現性は正確に再現することができる。
【０００３】いま、光源の分光特性をＬ（λ）、被写体の分光反射率をＲ（λ）、撮像装置１３の分光応答度特性をＤｃ（λ）、ここでｃは撮像装置１３の色のチャンネル数に依存し、例えばＲＧＢの３チャンネルの撮像装置１３とすると撮像装置１３の分光応答度特性はＤＲ（λ）、ＤＧ（λ）、ＤＢ（λ）を３つ所持することになる。撮像装置１３から得られる信号Ｓは次式にて表すことができる。
【数１】
よって表示装置１４の分光特性を表すＭｃ（λ）がＤｃ（λ）と同一である場合は問題ないが、そうでない場合は異なった色再現となる。また、撮像する撮像装置１３の機種や製造メーカ毎に、また表示装置１４の機種や製造メーカ毎に上記特性が異なっていると色再現性は用いた装置毎に異なってしまう。
【０００４】従来ではこのような問題を解決するため、例えば表示装置１４上に図１３に示すようなカラーバーを表示し、使用者がそれを見ながら適切な色再現となるように色彩度（ＴＩＮＴ）や色相（ＨＵＥ）を図１４に示すように調整していた。図１４はベクトルスコープ上のカラーバーにて表示される色を示しており、図１４内において色相を調整すると、黒玉から白玉へと色相が変化している。
【０００５】
【発明が解決しようとする課題】従来の画像装置（撮像装置および表示装置）における色の管理は上記のような色合わせによるもので、はなはだ主観的であるためユーザ側がその色が本当に正しい色なのか、また他のプリンタやモニタなどによる表示装置にて表示を行った場合でも同じ色が表示されるという補償はなく、各表示装置および各撮像装置毎に色合わせを行っており、それらは製造側やユーザ側が独自に行っていることが多く、色彩特性は一般に開示されていないためカラーマネージメント（色管理）はされていなかった。このような画像システムの場合、例えば各撮像装置と各表示装置が一つの伝送形態でつながれたシステムでは各画像での色再現はバラバラであり、大きく色差が生じてしまうと言う問題があった。実際に図１５に示すように撮像装置や表示装置などの各ディジタル装置がインターネットなどで接続され画像を送受信おこなえる現在のシステムの場合、従来技術では正確な色管理がされていないため、色が装置毎に異なるなどの問題があった。
【０００６】本発明は上記の問題点を解消するためになされたもので、色再現性を補償する上で正確に色管理された画像を得るための画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体を得る事を目的としている。
【０００７】
【課題を解決するための手段】この発明に係る画像データ変換方法は、分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換したものである。
【０００８】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、撮像装置のｎ種類の分光応答度特性を補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置から入力された画像データを別の画像データに変換する演算を行うものである。
【０００９】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うものである。
【００１０】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換するものである。
【００１１】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、撮像装置から得られる画像データをマトリクスにより変換し、変換された画像データにホワイトバランスに係わる補正のための係数を乗じたものである。
【００１２】この発明に係る画像データ構成方法は、動画像データあるいは静止画像データに、画像データを撮影した撮像装置についての分光応答度特性に関する情報及び画像データの撮影に供した光源に関する情報を付加するものである。
【００１３】この発明に係る画像データ変換装置は、他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は他の装置から入力された画像データの撮影に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき入力された画像データを変換するための変換係数を決定する係数決定手段と、受信された画像データを決定された変換係数に基づき変換する変換処理手段とを備えたものである。
【００１４】この発明に係る画像データを変換するプログラムを記録した記録媒体は、動画像データあるいは静止画像データを受信する処理、画像データの撮像時における光源に関する情報、画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき画像データを変換するための変換係数を決定する処理、決定された変換係数に基づいて画像データを変換する処理をコンピュータに実行させるためのプログラムを記録したものである。
【００１５】
【発明の実施の形態】実施の形態１．図１はこの発明に係る実施の形態１における撮像装置を説明した図である。図において１は撮像するための被写体を照明する光源、２は被写体、３は撮像装置、４は撮像素子、５は前段信号処理手段、６はホワイトバランス調整手段、７はマトリクス処理手段、８は画像データ変換手段である。
【００１６】撮像装置３は光源１によって照明された被写体２を撮像する。撮像装置３は光電変換を行う撮像素子４と、前段信号処理手段５と、ホワイトバランス調整手段６と、マトリクス処理手段７とから構成されている。撮像素子４によって得られた画像は、前段信号処理手段５によって利得調整などの信号処理が施される。次にホワイトバランス調整手段６によって、ホワイトバランスが調整される。
【００１７】ホワイトバランス調整手段６へ入力された画像は、光源の分光特性分布Ｌ（λ）、被写体の反射率分布Ｒ（λ）、及び撮像素子４の分光応答度特性Ｃｃ（λ）のそれぞれの積｛Ｌ（λ）・Ｒ（λ）・Ｃｃ（λ）｝にて求められる（ここでｃは撮像素子４の色のチャンネルであり、ＲＧＢの色フィルタを具備している場合には、ＣＲ（λ）、ＣＧ（λ）、ＣＢ（λ）となる。また、λは波長である）。
【００１８】光源１の種類が変わる毎に光源１の分光分布特性も異なる。そのため、ホワイトバランス調整手段６は得られた画像のホワイトバランスが合うように少なくとも２チャンネル（Ｃｈ）以上について色信号の利得を調整する。例えば、通常はＲＧＢ信号を取り扱う撮像装置３においてはＧ信号レベルを基準にＲ信号及びＢ信号の信号利得を調整することによりホワイトバランスを行う。
【００１９】マトリクス処理手段７は、通常撮像素子４の分光応答度特性は正の特性しか持たず、またＢの感度が低いなどの問題からＢの分光特性のピークをＧ側に近づけるなど、必ずしも適正な色再現となるようにその特性を設計しているわけではない。その場合、次式に示すようなマトリクス演算を行うことによって製造者側が適切とみなす色再現性となるように調整している。
【数２】
式（２）においてＲ’，Ｇ’，Ｂ’はマトリクス処理手段７の出力信号、Ｒ，Ｇ，Ｂはマトリクス処理手段７の入力信号、マトリクス処理手段７のｍ11〜ｍ33はマトリクス係数である。
【００２０】ところで、一般には必ずしもすべての撮像装置３が理想とする分光応答度特性を有しているわけではなく、製造側の設計によって装置ごとに色再現性が大きく異なってしまうという問題がある（詳細は後述する）。実施の形態１の撮像装置においては、図１に示すように画像データ変換手段８を撮像装置３に付加しており、これにより撮像装置３の分光応答度特性を変更することが可能となっている。
【００２１】なお、ここでは画像データ変換手段８は撮像装置３の外部装置として接続されているがその他の形態としても実現可能である。例えば、図２に示すように、撮像装置３からの出力画像データをパーソナルコンピュータなどの演算装置９を介して送信するシステムにおいて、画像データ変換手段８を演算装置９内のソフトウエアとして実現することも可能である。また、図３に示すように予め撮像装置３内に内蔵することも可能である。
【００２２】以下、図１の実施形態を例にとり、画像データ変換手段８の詳細について順次に説明していく。図４にディジタル画像データの送受信を行うことができる画像システムの一例を示す。撮像装置３や、スキャナーなどの画像入力手段によって取得した画像信号はインターネットなどに挙げられる標準デジタルネットワーク１１へ送られる。モニターやプリンタなどの表示装置は前記標準デジタルネットワークから画像を取得してその画像を表示する。しかしながら上記に示すそれぞれの装置はその色空間が機種ごとにばらばらである。そのため同じＲＧＢ信号を入出力信号として名称している機器間、例えば撮像装置３からモニターへ又は撮像装置３からプリンターへ同値のＲＧＢ信号を送受信しても表示される色再現性は異なってしまう。これらの問題を避けるために理想的な所定の色空間を設けておく方法があり、現に一例としてＩＥＣでは“IEC61966:Part2Default RGB colour space-sRGB”が提案されている。上記のようなすべての機器が所定の色空間に対して分光特性と同一であるか、機器の分光特性に対して得られた画像信号の色空間を把握していれば色管理を行うことが可能である。
【００２３】撮像装置３は先に示した理由にて、必ずしもすべての撮像装置３が理想とする分光応答度特性をしているわけではなく、製造側の設計によって色再現性も大きく異なることから、その分光応答度特性も大きく異なる。しかし、所定の色空間に対して理想的な分光応答度特性と同一としておくか、合わせるように、即ち近似のためのマトリクス演算を撮像装置３の分光応答度特性に施しておけば常に同一の色再現を行うことが可能となる。
【００２４】図５に特定の照明下で得られた撮像装置３の分光応答度特性を示す。図５に示した分光応答度特性は、例えば撮像装置３の光源１として典型的な５５００Ｋの太陽光に近い照明（Ｄ５５等）にて得られた分光応答度特性とする。前述のように撮像装置３にはホワイトバランス機能があるため光源の相関色温度が異なると、Ｒ信号およびＢ信号の利得のバランスが異なるため、図６に示すように照明１の相関色温度によってホワイトバランス調整手段６が各チャンネルの利得をかえるため、撮像装置３の分光応答度特性は異なる。相関色温度が高い光源１の時は、照明２の短波長側のスペクトルが高いため、図６の左図に示すように撮像装置３のＲ信号側の利得は高くなる。逆に相関色温度が低いときは、図６の右図に示すように照明１の長波長側のスペクトルが高いため、撮像装置３のＢ信号側の利得は高くなる。
【００２５】図７には標準色空間において代表的なｓＲＧＢ（ＩＥＣ）にて定められる理想撮像特性を示す。等色関数はＤ６５（約６５０４Ｋ）の光源を元に考えられた等色関数であり、この等色関数に前記撮像装置３の分光応答度特性を合わせるように近似しようとした場合、撮像装置３により撮像された画像はすべて５５００Ｋの光源１の条件下にてホワイトバランスされているため、図７に示した等色関数へ近似するマトリクス演算をそのまま画像データへ行った場合、大きくホワイトバランスの異なった画像となってしまう。そこで、まず図７に示した等色関数に、撮像に供した光源１の分光分布から定まるホワイトバランスに関わる少なくとも２つの係数、図７の等色関数に関しては３つの関数であるため２つの係数を次式に示すように施す。
【数３】
ここで、ＷＢＲはＲ信号側のホワイトバランスの補正のための係数であり、ＷＢＢはＢ信号側のホワイトバランスの補正のための係数である。ただし、前記ＷＢＲ、ＷＢＢはホワイトバランス調整手段６によるホワイトバランス調整値を意味するものではなく、画像データ変換手段８によって、変換目標とすべき理想的分光応答度特性のホワイトバランスを補正するための係数である。
【００２６】式（３）に示した関数に対して、撮像装置３の分光応答度特性Ｄｃ（λ）は次式に示すマトリクス係数を用いた式にて近似できる。
【数４】
ここで、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性であり、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は撮像装置３に画像データ変換手段８を付加した際に得られる分光応答度特性である。また、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は式（３）にて示したｒ’（λ），ｇ’（λ），ｂ’（λ）に近似させた関数である。また、ａ11〜ａ33は近似のためのマトリクス係数である。一例として図８に撮像装置３に画像データ変換手段８を付加することにより得られた分光応答度特性を示す。なおここではｓＲＧＢに近似させた例を示している。
【００２７】また、式（４）は式（３）にて演算した後のｓＲＧＢに近似をさせるためのマトリクスであるため次式が成り立つ。
【数５】
【００２８】そこで、式（４）を満たすマトリクス係数ａ11〜ａ33を用いて、撮像装置３から得られた画像データを次式で示すように変更する。
【数６】
式（６）において、Ｒ’，Ｇ’，Ｂ’は撮像装置３が出力する画像データ、Ｒ’’，Ｇ’’，Ｂ’’は画像データ変換手段８が画像を変換した後の画像データである。このように画像データを変換する手段を有することにより先に示した問題を解決することができ色管理を行ううえで有益な画像データを得ることができる。
【００２９】本実施の形態１では理想的なｎ種類の分光応答度特性としてｓＲＧＢ（ＩＥＣ）を一例として挙げたが、これに限られるものではなく色管理をするにあたって基準として定めた分光特性が定められておれば、その特性を用いても同様の効果が得られることは言うまでもない。
【００３０】さらに、撮像装置３の分光応答度特性として代表的な５５００Ｋのときの特性を示したが、相関色温度はこれに限らず、いかなる相関色温度のときにおいても、用いた光源の特性から定めることのできるホワイトバランスの補正のための係数を用いて式（３）に示したＷＢＲ，ＷＢＢの値を変えれば同様の効果を得ることができる。
【００３１】また、「撮影に供した光源の分光分布特性」としては実施の形態１で示した例のほか「光源の種類（例えば、太陽や蛍光灯）」や「照明器具の型番」といった情報であってもよい。「光源が太陽光であった」といった情報が分かっていれば画像データ変換手段８に予め一般的な太陽光の分光分布特性について記憶させておくこと等が可能だからである。他の例として「光源が白色蛍光灯であった」といった情報が分かっている場合も同様である。画像データ変換手段８に予め一般的な白色蛍光灯の分光分布特性について記憶させておくこと等が可能だからである。
【００３２】実施の形態１においては以上のような画像データを変換する手段を有することにより、所定の色空間に対して理想的な分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００３３】実施の形態２．図１を用いてこの発明に係る実施の形態２について説明する。実施の形態２は実施の形態１と同様に図３の構成にても実現することができる。実施の形態２は実施の形態１と同様の構成にて実現でき、その画像変換手段の処理手順のみ異なるため、その差異のみを説明する。
【００３４】まず、撮像装置３の既知の分光応答度特性を次式に示すマトリクス演算により所定の色空間に対して理想的な、例えば実施の形態１で挙げたｓＲＧＢの分光特性に近似する。式（７）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の既知の分光応答度特性、ｂ11〜ｂ33はマトリクス係数、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は撮像装置３に画像データ変換手段８を付加することによって得られる分光応答度特性である。
【数７】
【００３５】また、式（７）は理想的な分光特性に近似をさせているためのマトリクス演算であるため次式が成り立つ。
【数８】
ここで、ｒ（λ），ｇ（λ），ｂ（λ）は所定の色空間における理想的な分光特性である。
【００３６】実施の形態１で述べたように撮像装置３の既知の分光応答度特性に対応している撮影に供した光源１と、所定の色空間に対して理想的な分光特性の光源（ｓＲＧＢの場合はＤ６５）が異なる場合は、それぞれの光源１の相関色温度や分光特性が異なることからホワイトバランスの差異が生じる。よって上記光源１の差異を該撮像装置３の撮像に用いた光源１の分光分布特性から定まるホワイトバランスの補正のための係数を次式に示すように乗じる。
【数９】
【００３７】上記式によって用いたホワイトバランスの補正のための係数およびマトリクス係数を撮像装置３から得られた画像データに乗ずることによって次式に示す画像データ変換をする。
【数１０】
このように画像データを変換する手段を有することにより先に示した問題を解決することができ色管理を行ううえで有益な画像データを得ることができる。
【００３８】実施の形態３．この発明に係る実施の形態３においては、実施の形態１及び実施の形態２にて示した画像データ変換方法と異なり、得られた画像データに対してまず、ホワイトバランスに関わる補正のためのデータを乗算し、その後画像データがｎ種の場合は、ｎ種の各チャンネルのデータを変換するための３行ｎ列のマトリクスを乗じる。例えば撮像装置３の分光応答度特性がＲＧＢ３種の場合、次式にて示すことができる。
【数１１】
【数１２】
ここで、ＷＢＲ，ＷＢＢはホワイトバランスの補正のための係数、ｃ11〜ｃ33はマトリクス係数、Ｒ，Ｇ，Ｂは得られた画像データ、Ｒ’，Ｇ’，Ｂ’は画像データ変換後の画像データである。ただし、当該マトリクス係数及びホワイトバランス係数は式（１２）を満たす係数であり、式（１２）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）はマトリクス変換後の分光応答度特性である。
【００３９】このように画像データを変換する手段を有することにより、いかなる色空間でも定めた分光特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４０】また、実施の形態３は実施の形態１で示した図１から図３に示した構成にて同様に実現することができる。
【００４１】実施の形態４．この発明に係る実施の形態４は、実施の形態１及び実施の形態２にて示した画像データ変換方法と異なり、得られた画像データに対してまず、画像データがｎ種の場合は、ｎ種のデータを変換するための３行ｎ列のマトリクスを乗じ、その後、ホワイトバランスに関わる補正のためのデータを乗算ずる。例えば撮像装置３の分光応答度特性がＲＧＢ３種の場合、次式にて示すことができる。
【数１３】
【数１４】
ここで、ＷＢＲ，ＷＢＢはホワイトバランスの補正のための係数、ｄ11〜ｄ33はマトリクス係数、Ｒ，Ｇ，Ｂは得られた画像データ、Ｒ’，Ｇ’，Ｂ’は画像データ変換後の画像データである。ただし、当該マトリクス係数及びホワイトバランス係数は式（１４）を満たす係数であり、式（１４）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）はマトリクス変換後の分光応答度特性である。
【００４２】このように画像データを変換する手段を有することにより、いかなる色空間でも、予め定めた分光特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４３】また、実施の形態４による構成は実施の形態１で示した図１〜図３に示した構成にて同様に実現することができる。
【００４４】実施の形態５．図９はこの発明に係る実施の形態５を説明した図である。図９において１から７は実施の形態１で示した図１と同様のためその説明を省略する。１２は撮像装置３で撮像した画像データに実施の形態１から実施の形態４で既に説明したホワイトバランスの補正のための係数およびマトリクス係数を付加するデータ付加手段である。図９に示すようにデータ付加手段１２は、他の手段として具備していても良いし、図２に示すように撮像装置３の画像データを取り扱うＰＣ９内に具備していても実現できる。また、図１０に示すようにデータ付加手段１２自身を撮像装置３内に具備しておいても良い。
【００４５】図１１に画像データの構成図を示す。図１１例１に示すように画像データのヘッダーやフッダーの部分に、前述したホワイトバランスの補正のための係数およびマトリクス係数の両方を付加する。これにより、撮像装置３側にて予め画像データを変換しておかなくとも、画像を受け取った側でどの様な光源１の状態にて、どのような撮像装置３の分光応答度特性にて撮像されたか知ることができ、画像を受信した側で画像を処理することが容易になる。また、撮像装置３の分光応答度特性をそのままデータに付加するに比べ、マトリクス係数だけの添付であり、画像データの容量が大きく増加する弊害もない。
【００４６】またはデータ量をさらに減らす手段として予め前記ホワイトバランスの補正のための係数とマトリクス係数を演算し、一つのマトリクス係数として図１１の例２に示すように画像データに付加することでも同様の効果を測ることができる。
【００４７】
【発明の効果】この発明に係る画像データ変換方法においては、分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換するので、色管理を行ううえで有益な画像データを得ることを得ることができる。
【００４８】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、撮像装置のｎ種類の分光応答度特性を補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置から入力された画像データを別の画像データに変換する演算を行うので、所望の分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４９】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うので、所望の分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００５０】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換するので、色管理を行ううえで有益な画像データを得ることができる。
【００５１】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、撮像装置から得られる画像データをマトリクスにより変換し、変換された画像データにホワイトバランスに係わる補正のための係数を乗じるので、いかなる色空間でも、予め定めた分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００５２】また、この発明に係る画像データ構成方法においては、動画像データあるいは静止画像データに、画像データを撮影した撮像装置についての分光応答度特性に関する情報及び画像データの撮影に供した光源に関する情報を付加するので、撮像装置側にて予め画像データを変換しておかなくとも、画像を受け取った側でどの様な光源の状態にて、どのような撮像装置の分光応答度特性にて撮像されたか知ることができ、画像を受信した側で画像を処理することが容易になる。また、撮像装置の分光応答度特性をそのままデータに付加するに比べ、画像データの容量が大きく増加する弊害もない。
【００５３】また、この発明に係る画像データ変換装置においては、他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は他の装置から入力された画像データの撮影に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき入力された画像データを変換するための変換係数を決定する係数決定手段と、受信された画像データを決定された変換係数に基づき変換する変換処理手段とを備えたので、色管理を行ううえで有益な画像データを得ることを得ることができる画像データ変換装置を得ることができる。
【００５４】さらにまた、この発明に係る画像データを変換するプログラムを記録した記録媒体においては、動画像データあるいは静止画像データを受信する処理、画像データの撮像時における光源に関する情報、画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき画像データを変換するための変換係数を決定する処理、決定された変換係数に基づいて画像データを変換する処理をコンピュータに実行させるための画像データを変換するプログラムを記録したので、撮像装置の出力する画像データを色管理を行ううえで有益な画像データに変換することができるプログラムを記録した記録媒体を得ることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による撮像装置及び画像データ変換方法を実現する手段を示す図である。
【図２】 本発明の実施の形態１による撮像装置及びＰＣを示す図である。
【図３】 本発明の実施の形態１による撮像装置及び画像データ変換方法を実現する他の手段を示す図である。
【図４】 画像データを送受信する一般的な画像システムを示す図である。
【図５】 撮像装置の分光応答度特性の一例を示す図である。
【図６】 異なる照明時に得られる各分光感度応答特性を示す図である。
【図７】 ｓＲＧＢの等色関数を示す図である。
【図８】 本発明の実施の形態１による撮像装置の分光感度応答度特性を変換した図である。
【図９】 本発明の実施の形態５による画像データ構成を実現する手段を示す図である。
【図１０】 本発明の実施の形態５による画像データ構成を実現する他の手段を示す図である。
【図１１】 本発明の実施の形態５による画像データ構成を示す図である。
【図１２】 従来の放送システムを示す図である。
【図１３】 表示装置にカラーバーを表示した図である。
【図１４】 ベクトルスコープ上で位相調整された色信号を示す図である。
【図１５】 画像データを送受信する画像システムを示す図である。
【符号の説明】
１ 光源、 ２ 被写体、 ３ 撮像装置、 ４ 撮像素子、５ 前段信号処理、 ６ ホワイトバランス調整手段、７ マトリクス処理手段、 ８ 画像データ変換手段、 ９ ＰＣ、１０ 画像システム、 １１ 標準デジタルネットワーク、１２ データ付加手段、 １３ 撮像装置、 １４ 表示装置。
【０００１】
【発明の属する技術分野】本発明は、テレビやカラープリンタなどのカラー画像を取り扱う各種電気機器が、インターネットなどで接続されることによって、各機器間で画像データをやり取りできるシステムにおいて、色管理（カラーマネージメント）を行う際にディジタルカメラやディジタルスチルカメラ等の撮像装置の色彩特性や、汎用の画像データをどの様な画像データとして変換するか、またその変換方法に関するものである。
【０００２】
【従来の技術】従来の画像の送受信システムとして、放送システムなどを挙げることができる。図１２に放送システムの簡単な構成図を示す。１は被写体を照明している光源、２は被写体、１３は放送カメラなどに挙げられる撮像装置、１４は各家庭などで撮像画像を表示してみるＴＶなどに挙げられる表示装置である。従来は撮像装置１３によって、撮像された画像は伝送され各表示装置１４にて受信され表示される。このとき、撮像装置１３の分光応答度特性（Spectral responsivity Characteristic）と表示装置１４の分光特性が一致しておれば、撮像した被写体の色再現性は正確に再現することができる。
【０００３】いま、光源の分光特性をＬ（λ）、被写体の分光反射率をＲ（λ）、撮像装置１３の分光応答度特性をＤｃ（λ）、ここでｃは撮像装置１３の色のチャンネル数に依存し、例えばＲＧＢの３チャンネルの撮像装置１３とすると撮像装置１３の分光応答度特性はＤＲ（λ）、ＤＧ（λ）、ＤＢ（λ）を３つ所持することになる。撮像装置１３から得られる信号Ｓは次式にて表すことができる。
【数１】
よって表示装置１４の分光特性を表すＭｃ（λ）がＤｃ（λ）と同一である場合は問題ないが、そうでない場合は異なった色再現となる。また、撮像する撮像装置１３の機種や製造メーカ毎に、また表示装置１４の機種や製造メーカ毎に上記特性が異なっていると色再現性は用いた装置毎に異なってしまう。
【０００４】従来ではこのような問題を解決するため、例えば表示装置１４上に図１３に示すようなカラーバーを表示し、使用者がそれを見ながら適切な色再現となるように色彩度（ＴＩＮＴ）や色相（ＨＵＥ）を図１４に示すように調整していた。図１４はベクトルスコープ上のカラーバーにて表示される色を示しており、図１４内において色相を調整すると、黒玉から白玉へと色相が変化している。
【０００５】
【発明が解決しようとする課題】従来の画像装置（撮像装置および表示装置）における色の管理は上記のような色合わせによるもので、はなはだ主観的であるためユーザ側がその色が本当に正しい色なのか、また他のプリンタやモニタなどによる表示装置にて表示を行った場合でも同じ色が表示されるという補償はなく、各表示装置および各撮像装置毎に色合わせを行っており、それらは製造側やユーザ側が独自に行っていることが多く、色彩特性は一般に開示されていないためカラーマネージメント（色管理）はされていなかった。このような画像システムの場合、例えば各撮像装置と各表示装置が一つの伝送形態でつながれたシステムでは各画像での色再現はバラバラであり、大きく色差が生じてしまうと言う問題があった。実際に図１５に示すように撮像装置や表示装置などの各ディジタル装置がインターネットなどで接続され画像を送受信おこなえる現在のシステムの場合、従来技術では正確な色管理がされていないため、色が装置毎に異なるなどの問題があった。
【０００６】本発明は上記の問題点を解消するためになされたもので、色再現性を補償する上で正確に色管理された画像を得るための画像データ変換方法、画像データ構成方法、画像データ変換装置および画像データを変換するプログラムを記録した記録媒体を得る事を目的としている。
【０００７】
【課題を解決するための手段】この発明に係る画像データ変換方法は、分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換したものである。
【０００８】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、撮像装置のｎ種類の分光応答度特性を補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置から入力された画像データを別の画像データに変換する演算を行うものである。
【０００９】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うものである。
【００１０】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換するものである。
【００１１】この発明に係る画像データ変換方法は、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、撮像装置から得られる画像データをマトリクスにより変換し、変換された画像データにホワイトバランスに係わる補正のための係数を乗じたものである。
【００１２】この発明に係る画像データ構成方法は、動画像データあるいは静止画像データに、画像データを撮影した撮像装置についての分光応答度特性に関する情報及び画像データの撮影に供した光源に関する情報を付加するものである。
【００１３】この発明に係る画像データ変換装置は、他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は他の装置から入力された画像データの撮影に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき入力された画像データを変換するための変換係数を決定する係数決定手段と、受信された画像データを決定された変換係数に基づき変換する変換処理手段とを備えたものである。
【００１４】この発明に係る画像データを変換するプログラムを記録した記録媒体は、動画像データあるいは静止画像データを受信する処理、画像データの撮像時における光源に関する情報、画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき画像データを変換するための変換係数を決定する処理、決定された変換係数に基づいて画像データを変換する処理をコンピュータに実行させるためのプログラムを記録したものである。
【００１５】
【発明の実施の形態】実施の形態１．図１はこの発明に係る実施の形態１における撮像装置を説明した図である。図において１は撮像するための被写体を照明する光源、２は被写体、３は撮像装置、４は撮像素子、５は前段信号処理手段、６はホワイトバランス調整手段、７はマトリクス処理手段、８は画像データ変換手段である。
【００１６】撮像装置３は光源１によって照明された被写体２を撮像する。撮像装置３は光電変換を行う撮像素子４と、前段信号処理手段５と、ホワイトバランス調整手段６と、マトリクス処理手段７とから構成されている。撮像素子４によって得られた画像は、前段信号処理手段５によって利得調整などの信号処理が施される。次にホワイトバランス調整手段６によって、ホワイトバランスが調整される。
【００１７】ホワイトバランス調整手段６へ入力された画像は、光源の分光特性分布Ｌ（λ）、被写体の反射率分布Ｒ（λ）、及び撮像素子４の分光応答度特性Ｃｃ（λ）のそれぞれの積｛Ｌ（λ）・Ｒ（λ）・Ｃｃ（λ）｝にて求められる（ここでｃは撮像素子４の色のチャンネルであり、ＲＧＢの色フィルタを具備している場合には、ＣＲ（λ）、ＣＧ（λ）、ＣＢ（λ）となる。また、λは波長である）。
【００１８】光源１の種類が変わる毎に光源１の分光分布特性も異なる。そのため、ホワイトバランス調整手段６は得られた画像のホワイトバランスが合うように少なくとも２チャンネル（Ｃｈ）以上について色信号の利得を調整する。例えば、通常はＲＧＢ信号を取り扱う撮像装置３においてはＧ信号レベルを基準にＲ信号及びＢ信号の信号利得を調整することによりホワイトバランスを行う。
【００１９】マトリクス処理手段７は、通常撮像素子４の分光応答度特性は正の特性しか持たず、またＢの感度が低いなどの問題からＢの分光特性のピークをＧ側に近づけるなど、必ずしも適正な色再現となるようにその特性を設計しているわけではない。その場合、次式に示すようなマトリクス演算を行うことによって製造者側が適切とみなす色再現性となるように調整している。
【数２】
式（２）においてＲ’，Ｇ’，Ｂ’はマトリクス処理手段７の出力信号、Ｒ，Ｇ，Ｂはマトリクス処理手段７の入力信号、マトリクス処理手段７のｍ11〜ｍ33はマトリクス係数である。
【００２０】ところで、一般には必ずしもすべての撮像装置３が理想とする分光応答度特性を有しているわけではなく、製造側の設計によって装置ごとに色再現性が大きく異なってしまうという問題がある（詳細は後述する）。実施の形態１の撮像装置においては、図１に示すように画像データ変換手段８を撮像装置３に付加しており、これにより撮像装置３の分光応答度特性を変更することが可能となっている。
【００２１】なお、ここでは画像データ変換手段８は撮像装置３の外部装置として接続されているがその他の形態としても実現可能である。例えば、図２に示すように、撮像装置３からの出力画像データをパーソナルコンピュータなどの演算装置９を介して送信するシステムにおいて、画像データ変換手段８を演算装置９内のソフトウエアとして実現することも可能である。また、図３に示すように予め撮像装置３内に内蔵することも可能である。
【００２２】以下、図１の実施形態を例にとり、画像データ変換手段８の詳細について順次に説明していく。図４にディジタル画像データの送受信を行うことができる画像システムの一例を示す。撮像装置３や、スキャナーなどの画像入力手段によって取得した画像信号はインターネットなどに挙げられる標準デジタルネットワーク１１へ送られる。モニターやプリンタなどの表示装置は前記標準デジタルネットワークから画像を取得してその画像を表示する。しかしながら上記に示すそれぞれの装置はその色空間が機種ごとにばらばらである。そのため同じＲＧＢ信号を入出力信号として名称している機器間、例えば撮像装置３からモニターへ又は撮像装置３からプリンターへ同値のＲＧＢ信号を送受信しても表示される色再現性は異なってしまう。これらの問題を避けるために理想的な所定の色空間を設けておく方法があり、現に一例としてＩＥＣでは“IEC61966:Part2Default RGB colour space-sRGB”が提案されている。上記のようなすべての機器が所定の色空間に対して分光特性と同一であるか、機器の分光特性に対して得られた画像信号の色空間を把握していれば色管理を行うことが可能である。
【００２３】撮像装置３は先に示した理由にて、必ずしもすべての撮像装置３が理想とする分光応答度特性をしているわけではなく、製造側の設計によって色再現性も大きく異なることから、その分光応答度特性も大きく異なる。しかし、所定の色空間に対して理想的な分光応答度特性と同一としておくか、合わせるように、即ち近似のためのマトリクス演算を撮像装置３の分光応答度特性に施しておけば常に同一の色再現を行うことが可能となる。
【００２４】図５に特定の照明下で得られた撮像装置３の分光応答度特性を示す。図５に示した分光応答度特性は、例えば撮像装置３の光源１として典型的な５５００Ｋの太陽光に近い照明（Ｄ５５等）にて得られた分光応答度特性とする。前述のように撮像装置３にはホワイトバランス機能があるため光源の相関色温度が異なると、Ｒ信号およびＢ信号の利得のバランスが異なるため、図６に示すように照明１の相関色温度によってホワイトバランス調整手段６が各チャンネルの利得をかえるため、撮像装置３の分光応答度特性は異なる。相関色温度が高い光源１の時は、照明２の短波長側のスペクトルが高いため、図６の左図に示すように撮像装置３のＲ信号側の利得は高くなる。逆に相関色温度が低いときは、図６の右図に示すように照明１の長波長側のスペクトルが高いため、撮像装置３のＢ信号側の利得は高くなる。
【００２５】図７には標準色空間において代表的なｓＲＧＢ（ＩＥＣ）にて定められる理想撮像特性を示す。等色関数はＤ６５（約６５０４Ｋ）の光源を元に考えられた等色関数であり、この等色関数に前記撮像装置３の分光応答度特性を合わせるように近似しようとした場合、撮像装置３により撮像された画像はすべて５５００Ｋの光源１の条件下にてホワイトバランスされているため、図７に示した等色関数へ近似するマトリクス演算をそのまま画像データへ行った場合、大きくホワイトバランスの異なった画像となってしまう。そこで、まず図７に示した等色関数に、撮像に供した光源１の分光分布から定まるホワイトバランスに関わる少なくとも２つの係数、図７の等色関数に関しては３つの関数であるため２つの係数を次式に示すように施す。
【数３】
ここで、ＷＢＲはＲ信号側のホワイトバランスの補正のための係数であり、ＷＢＢはＢ信号側のホワイトバランスの補正のための係数である。ただし、前記ＷＢＲ、ＷＢＢはホワイトバランス調整手段６によるホワイトバランス調整値を意味するものではなく、画像データ変換手段８によって、変換目標とすべき理想的分光応答度特性のホワイトバランスを補正するための係数である。
【００２６】式（３）に示した関数に対して、撮像装置３の分光応答度特性Ｄｃ（λ）は次式に示すマトリクス係数を用いた式にて近似できる。
【数４】
ここで、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性であり、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は撮像装置３に画像データ変換手段８を付加した際に得られる分光応答度特性である。また、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は式（３）にて示したｒ’（λ），ｇ’（λ），ｂ’（λ）に近似させた関数である。また、ａ11〜ａ33は近似のためのマトリクス係数である。一例として図８に撮像装置３に画像データ変換手段８を付加することにより得られた分光応答度特性を示す。なおここではｓＲＧＢに近似させた例を示している。
【００２７】また、式（４）は式（３）にて演算した後のｓＲＧＢに近似をさせるためのマトリクスであるため次式が成り立つ。
【数５】
【００２８】そこで、式（４）を満たすマトリクス係数ａ11〜ａ33を用いて、撮像装置３から得られた画像データを次式で示すように変更する。
【数６】
式（６）において、Ｒ’，Ｇ’，Ｂ’は撮像装置３が出力する画像データ、Ｒ’’，Ｇ’’，Ｂ’’は画像データ変換手段８が画像を変換した後の画像データである。このように画像データを変換する手段を有することにより先に示した問題を解決することができ色管理を行ううえで有益な画像データを得ることができる。
【００２９】本実施の形態１では理想的なｎ種類の分光応答度特性としてｓＲＧＢ（ＩＥＣ）を一例として挙げたが、これに限られるものではなく色管理をするにあたって基準として定めた分光特性が定められておれば、その特性を用いても同様の効果が得られることは言うまでもない。
【００３０】さらに、撮像装置３の分光応答度特性として代表的な５５００Ｋのときの特性を示したが、相関色温度はこれに限らず、いかなる相関色温度のときにおいても、用いた光源の特性から定めることのできるホワイトバランスの補正のための係数を用いて式（３）に示したＷＢＲ，ＷＢＢの値を変えれば同様の効果を得ることができる。
【００３１】また、「撮影に供した光源の分光分布特性」としては実施の形態１で示した例のほか「光源の種類（例えば、太陽や蛍光灯）」や「照明器具の型番」といった情報であってもよい。「光源が太陽光であった」といった情報が分かっていれば画像データ変換手段８に予め一般的な太陽光の分光分布特性について記憶させておくこと等が可能だからである。他の例として「光源が白色蛍光灯であった」といった情報が分かっている場合も同様である。画像データ変換手段８に予め一般的な白色蛍光灯の分光分布特性について記憶させておくこと等が可能だからである。
【００３２】実施の形態１においては以上のような画像データを変換する手段を有することにより、所定の色空間に対して理想的な分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００３３】実施の形態２．図１を用いてこの発明に係る実施の形態２について説明する。実施の形態２は実施の形態１と同様に図３の構成にても実現することができる。実施の形態２は実施の形態１と同様の構成にて実現でき、その画像変換手段の処理手順のみ異なるため、その差異のみを説明する。
【００３４】まず、撮像装置３の既知の分光応答度特性を次式に示すマトリクス演算により所定の色空間に対して理想的な、例えば実施の形態１で挙げたｓＲＧＢの分光特性に近似する。式（７）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の既知の分光応答度特性、ｂ11〜ｂ33はマトリクス係数、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）は撮像装置３に画像データ変換手段８を付加することによって得られる分光応答度特性である。
【数７】
【００３５】また、式（７）は理想的な分光特性に近似をさせているためのマトリクス演算であるため次式が成り立つ。
【数８】
ここで、ｒ（λ），ｇ（λ），ｂ（λ）は所定の色空間における理想的な分光特性である。
【００３６】実施の形態１で述べたように撮像装置３の既知の分光応答度特性に対応している撮影に供した光源１と、所定の色空間に対して理想的な分光特性の光源（ｓＲＧＢの場合はＤ６５）が異なる場合は、それぞれの光源１の相関色温度や分光特性が異なることからホワイトバランスの差異が生じる。よって上記光源１の差異を該撮像装置３の撮像に用いた光源１の分光分布特性から定まるホワイトバランスの補正のための係数を次式に示すように乗じる。
【数９】
【００３７】上記式によって用いたホワイトバランスの補正のための係数およびマトリクス係数を撮像装置３から得られた画像データに乗ずることによって次式に示す画像データ変換をする。
【数１０】
このように画像データを変換する手段を有することにより先に示した問題を解決することができ色管理を行ううえで有益な画像データを得ることができる。
【００３８】実施の形態３．この発明に係る実施の形態３においては、実施の形態１及び実施の形態２にて示した画像データ変換方法と異なり、得られた画像データに対してまず、ホワイトバランスに関わる補正のためのデータを乗算し、その後画像データがｎ種の場合は、ｎ種の各チャンネルのデータを変換するための３行ｎ列のマトリクスを乗じる。例えば撮像装置３の分光応答度特性がＲＧＢ３種の場合、次式にて示すことができる。
【数１１】
【数１２】
ここで、ＷＢＲ，ＷＢＢはホワイトバランスの補正のための係数、ｃ11〜ｃ33はマトリクス係数、Ｒ，Ｇ，Ｂは得られた画像データ、Ｒ’，Ｇ’，Ｂ’は画像データ変換後の画像データである。ただし、当該マトリクス係数及びホワイトバランス係数は式（１２）を満たす係数であり、式（１２）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）はマトリクス変換後の分光応答度特性である。
【００３９】このように画像データを変換する手段を有することにより、いかなる色空間でも定めた分光特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４０】また、実施の形態３は実施の形態１で示した図１から図３に示した構成にて同様に実現することができる。
【００４１】実施の形態４．この発明に係る実施の形態４は、実施の形態１及び実施の形態２にて示した画像データ変換方法と異なり、得られた画像データに対してまず、画像データがｎ種の場合は、ｎ種のデータを変換するための３行ｎ列のマトリクスを乗じ、その後、ホワイトバランスに関わる補正のためのデータを乗算ずる。例えば撮像装置３の分光応答度特性がＲＧＢ３種の場合、次式にて示すことができる。
【数１３】
【数１４】
ここで、ＷＢＲ，ＷＢＢはホワイトバランスの補正のための係数、ｄ11〜ｄ33はマトリクス係数、Ｒ，Ｇ，Ｂは得られた画像データ、Ｒ’，Ｇ’，Ｂ’は画像データ変換後の画像データである。ただし、当該マトリクス係数及びホワイトバランス係数は式（１４）を満たす係数であり、式（１４）において、Ｄｒ（λ），Ｄｇ（λ），Ｄｂ（λ）は撮像装置３の分光応答度特性、Ｄｒ’（λ），Ｄｇ’（λ），Ｄｂ’（λ）はマトリクス変換後の分光応答度特性である。
【００４２】このように画像データを変換する手段を有することにより、いかなる色空間でも、予め定めた分光特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４３】また、実施の形態４による構成は実施の形態１で示した図１〜図３に示した構成にて同様に実現することができる。
【００４４】実施の形態５．図９はこの発明に係る実施の形態５を説明した図である。図９において１から７は実施の形態１で示した図１と同様のためその説明を省略する。１２は撮像装置３で撮像した画像データに実施の形態１から実施の形態４で既に説明したホワイトバランスの補正のための係数およびマトリクス係数を付加するデータ付加手段である。図９に示すようにデータ付加手段１２は、他の手段として具備していても良いし、図２に示すように撮像装置３の画像データを取り扱うＰＣ９内に具備していても実現できる。また、図１０に示すようにデータ付加手段１２自身を撮像装置３内に具備しておいても良い。
【００４５】図１１に画像データの構成図を示す。図１１例１に示すように画像データのヘッダーやフッダーの部分に、前述したホワイトバランスの補正のための係数およびマトリクス係数の両方を付加する。これにより、撮像装置３側にて予め画像データを変換しておかなくとも、画像を受け取った側でどの様な光源１の状態にて、どのような撮像装置３の分光応答度特性にて撮像されたか知ることができ、画像を受信した側で画像を処理することが容易になる。また、撮像装置３の分光応答度特性をそのままデータに付加するに比べ、マトリクス係数だけの添付であり、画像データの容量が大きく増加する弊害もない。
【００４６】またはデータ量をさらに減らす手段として予め前記ホワイトバランスの補正のための係数とマトリクス係数を演算し、一つのマトリクス係数として図１１の例２に示すように画像データに付加することでも同様の効果を測ることができる。
【００４７】
【発明の効果】この発明に係る画像データ変換方法においては、分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、画像データの撮影時に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき撮像装置から入力された画像データを別の画像データに変換するので、色管理を行ううえで有益な画像データを得ることを得ることができる。
【００４８】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、撮像装置のｎ種類の分光応答度特性を補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置から入力された画像データを別の画像データに変換する演算を行うので、所望の分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００４９】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うので、所望の分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００５０】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換するので、色管理を行ううえで有益な画像データを得ることができる。
【００５１】また、この発明に係る画像データ変換方法においては、３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、撮像装置から得られる画像データをマトリクスにより変換し、変換された画像データにホワイトバランスに係わる補正のための係数を乗じるので、いかなる色空間でも、予め定めた分光応答度特性に近似することができ、色管理を行ううえで有益な画像データを得ることができる。
【００５２】また、この発明に係る画像データ構成方法においては、動画像データあるいは静止画像データに、画像データを撮影した撮像装置についての分光応答度特性に関する情報及び画像データの撮影に供した光源に関する情報を付加するので、撮像装置側にて予め画像データを変換しておかなくとも、画像を受け取った側でどの様な光源の状態にて、どのような撮像装置の分光応答度特性にて撮像されたか知ることができ、画像を受信した側で画像を処理することが容易になる。また、撮像装置の分光応答度特性をそのままデータに付加するに比べ、画像データの容量が大きく増加する弊害もない。
【００５３】また、この発明に係る画像データ変換装置においては、他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は他の装置から入力された画像データの撮影に供した光源に関する情報、他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき入力された画像データを変換するための変換係数を決定する係数決定手段と、受信された画像データを決定された変換係数に基づき変換する変換処理手段とを備えたので、色管理を行ううえで有益な画像データを得ることを得ることができる画像データ変換装置を得ることができる。
【００５４】さらにまた、この発明に係る画像データを変換するプログラムを記録した記録媒体においては、動画像データあるいは静止画像データを受信する処理、画像データの撮像時における光源に関する情報、画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき画像データを変換するための変換係数を決定する処理、決定された変換係数に基づいて画像データを変換する処理をコンピュータに実行させるための画像データを変換するプログラムを記録したので、撮像装置の出力する画像データを色管理を行ううえで有益な画像データに変換することができるプログラムを記録した記録媒体を得ることができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による撮像装置及び画像データ変換方法を実現する手段を示す図である。
【図２】 本発明の実施の形態１による撮像装置及びＰＣを示す図である。
【図３】 本発明の実施の形態１による撮像装置及び画像データ変換方法を実現する他の手段を示す図である。
【図４】 画像データを送受信する一般的な画像システムを示す図である。
【図５】 撮像装置の分光応答度特性の一例を示す図である。
【図６】 異なる照明時に得られる各分光感度応答特性を示す図である。
【図７】 ｓＲＧＢの等色関数を示す図である。
【図８】 本発明の実施の形態１による撮像装置の分光感度応答度特性を変換した図である。
【図９】 本発明の実施の形態５による画像データ構成を実現する手段を示す図である。
【図１０】 本発明の実施の形態５による画像データ構成を実現する他の手段を示す図である。
【図１１】 本発明の実施の形態５による画像データ構成を示す図である。
【図１２】 従来の放送システムを示す図である。
【図１３】 表示装置にカラーバーを表示した図である。
【図１４】 ベクトルスコープ上で位相調整された色信号を示す図である。
【図１５】 画像データを送受信する画像システムを示す図である。
【符号の説明】
１ 光源、 ２ 被写体、 ３ 撮像装置、 ４ 撮像素子、５ 前段信号処理、 ６ ホワイトバランス調整手段、７ マトリクス処理手段、 ８ 画像データ変換手段、 ９ ＰＣ、１０ 画像システム、 １１ 標準デジタルネットワーク、１２ データ付加手段、 １３ 撮像装置、 １４ 表示装置。
【特許請求の範囲】
【請求項１】 分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、前記画像データの撮影時に供した光源に関する情報、前記他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき前記撮像装置から入力された画像データを別の画像データに変換することを特徴とする画像データ変換方法。
【請求項２】 ３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、前記撮像装置のｎ種類の分光応答度特性を前記補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うことを特徴とする画像データ変換方法。
【請求項３】 ３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、前記撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて前記撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うことを特徴とする画像データ変換方法。
【請求項４】 ３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、前記ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換することを特徴とする画像データ変換方法。
【請求項５】 ３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、前記ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、前記撮像装置から得られる画像データを前記マトリクスにより変換し、前記変換された画像データに前記ホワイトバランスに係わる補正のための係数を乗じることを特徴とした画像データ変換方法。
【請求項６】 動画像データあるいは静止画像データに、前記画像データを撮影した撮像装置についての分光応答度特性に関する情報及び前記画像データの撮影に供した光源に関する情報を付加することを特徴とする画像データ構成方法。
【請求項７】 他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は前記他の装置から入力された前記画像データの撮影に供した光源に関する情報、前記他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき前記入力された画像データを変換するための変換係数を決定する係数決定手段と、前記受信された画像データを前記決定された変換係数に基づき変換する変換処理手段とを備えたことを特徴とする画像データ変換装置。
【請求項８】 動画像データあるいは静止画像データを受信する処理、前記画像データの撮像時における光源に関する情報、前記画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、前記記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき前記画像データを変換するための変換係数を決定する処理、前記決定された変換係数に基づいて前記画像データを変換する処理、をコンピュータに実行させるための画像データを変換するプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】 分光応答度特性に関する情報が既知である他の装置から入力される動画像データあるいは静止画像データを受信して、前記画像データの撮影時に供した光源に関する情報、前記他の装置の分光応答度特性に関する情報及び設定された別の分光応答度特性に基づき前記撮像装置から入力された画像データを別の画像データに変換することを特徴とする画像データ変換方法。
【請求項２】 ３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、設定された別のｎ種類の分光応答度特性のうちの少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、前記撮像装置のｎ種類の分光応答度特性を前記補正係数を乗じた別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うことを特徴とする画像データ変換方法。
【請求項３】 ３種類以上のｎ種類の色チャンネルを有するとともに該ｎ種類の色チャンネルにそれぞれ対応したｎ種類の分光応答度特性が既知である撮像装置から入力される動画像データあるいは静止画像データを受信し、前記撮像装置のｎ種類の分光応答度特性を別のｎ種類の分光応答度特性に近似する変換に関わるマトリクスを決定し、該マトリクスを用いて前記撮像装置のｎ種類の分光応答度特性を変換し、前記マトリクスによって変換されたｎ種類の分光応答度特性のうち少なくとも２種類の分光応答度特性に対して、前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに関わる補正係数を乗じ、該補正のための係数と前記マトリクスを用いて前記撮像装置から入力された画像データを別の画像データに変換する演算を行うことを特徴とする画像データ変換方法。
【請求項４】 ３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、前記ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも2種類の係数を決定し、前記画像データに前記ホワイトバランスに係る補正のための係数を乗じ、該補正係数を乗じた画像データを前記マトリクスにより変換することを特徴とする画像データ変換方法。
【請求項５】 ３種類以上のｎ種類の色チャンネルを有する撮像装置により得られる動画像データあるいは静止画像データを変換する画像データ変換方法において、前記ｎ種類の各チャンネルの画像データを変換するためのマトリクス及び前記画像データの撮影に供した光源の分光分布特性から定まるホワイトバランスに係わる補正のための少なくとも２種類の係数を決定し、前記撮像装置から得られる画像データを前記マトリクスにより変換し、前記変換された画像データに前記ホワイトバランスに係わる補正のための係数を乗じることを特徴とした画像データ変換方法。
【請求項６】 動画像データあるいは静止画像データに、前記画像データを撮影した撮像装置についての分光応答度特性に関する情報及び前記画像データの撮影に供した光源に関する情報を付加することを特徴とする画像データ構成方法。
【請求項７】 他の装置が出力する動画像データあるいは静止画像データを受信する受信手段と、光源を検出する手段を備えて検出した又は前記他の装置から入力された前記画像データの撮影に供した光源に関する情報、前記他の装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき前記入力された画像データを変換するための変換係数を決定する係数決定手段と、前記受信された画像データを前記決定された変換係数に基づき変換する変換処理手段とを備えたことを特徴とする画像データ変換装置。
【請求項８】 動画像データあるいは静止画像データを受信する処理、前記画像データの撮像時における光源に関する情報、前記画像データを撮像した撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報をメモリ領域に記憶する処理、前記記憶された光源に関する情報、撮像装置の分光応答度特性に関する情報及び別の分光応答度特性に関する情報に基づき前記画像データを変換するための変換係数を決定する処理、前記決定された変換係数に基づいて前記画像データを変換する処理、をコンピュータに実行させるための画像データを変換するプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図６】
【図１２】
【図１３】
【図４】
【図５】
【図１４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【図２】
【図３】
【図６】
【図１２】
【図１３】
【図４】
【図５】
【図１４】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１５】
【公開番号】特開２０００−２７８７０７（Ｐ２０００−２７８７０７Ａ）
【公開日】平成１２年１０月６日（２０００．１０．６）
【国際特許分類】
【出願番号】特願平１１−７８３５７
【出願日】平成１１年３月２３日（１９９９．３．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１２年１０月６日（２０００．１０．６）
【国際特許分類】
【出願日】平成１１年３月２３日（１９９９．３．２３）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]