画像処理装置
【課題】水中撮影時に精度の高い色復元処理を簡易な手法で実現する。
【解決手段】画像処理装置は、イメージセンサ１と、Ａ／Ｄ変換器２と、ＯＢ（Optical Black）減算器３と、デモザイク処理部４と、ホワイトバランスゲイン乗算器５と、水中光路長算出部６と、色復元マトリックス生成部７と、色復元マトリックス乗算器８と、水陸切換器９と、マトリックス乗算器１０と、ガンマ処理部１１と、映像記録部１２とを備える。水中撮影時に、水中光路長またはホワイトバランスゲインに応じた色復元マトリックスを生成し、生成した色復元マトリックス、色空間変換マトリックスおよびホワイトバランスゲインを用いてピクセル値を算出するため、陸上同様に青みの少ない自然な画像が得られる。
【解決手段】画像処理装置は、イメージセンサ１と、Ａ／Ｄ変換器２と、ＯＢ（Optical Black）減算器３と、デモザイク処理部４と、ホワイトバランスゲイン乗算器５と、水中光路長算出部６と、色復元マトリックス生成部７と、色復元マトリックス乗算器８と、水陸切換器９と、マトリックス乗算器１０と、ガンマ処理部１１と、映像記録部１２とを備える。水中撮影時に、水中光路長またはホワイトバランスゲインに応じた色復元マトリックスを生成し、生成した色復元マトリックス、色空間変換マトリックスおよびホワイトバランスゲインを用いてピクセル値を算出するため、陸上同様に青みの少ない自然な画像が得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ホワイトバランスを調整可能な画像処理装置に関し、特に水中撮影に適したホワイトバランス調整と水中特有の色の消失を復元する技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラや家庭用小型ビデオカメラの普及に伴って、スノーケリングやスクーバダイビングの際に、水中にカメラを持ち込んで、水中撮影を楽しむ人が増えてきた。
【０００３】
しかしながら、水中で撮影を行うと、そのままでは青みの強い不自然な色合いの画像が得られる。その理由は、水中に降り注ぐ自然光は、水深に応じて色温度が高くなるためである。
【０００４】
例えば、５ｍ程度の水深でも、水中を通過した自然光は、色温度が10000Ｋ（ケルビン）にも達する。また、被写体とカメラの間の距離が長い場合、水中を通過する距離も長くなるため、撮影画像はより青みが強くなる。
【０００５】
このような青みの強い撮影画像は、水中での撮影だけでなく、水面付近から水中を撮影するスノーケリングを行う際にも問題となる。例えば、３ｍ程度の水深の魚や珊瑚等を水面付近から撮影する場合、太陽光は３ｍの水中を通過して被写体で反射し、さらに３ｍの水中を通過してカメラに入射することになり、往復で６ｍの水中を通過することになるためである。
【０００６】
一方、人間は、光に対する順応能力が高く、目が慣れてしまうため、撮影画像と目視との色合いのギャップが大きくなる。
【０００７】
現在市販されているデジタルカメラやビデオカメラは、水中のような特殊な光源下での撮影を前提としていないため、水中撮影時にはオートホワイトバランスも正常に機能しない。このため、撮影者は、オレンジやマゼンダ系の光学フィルタをレンズに装着して撮影を行い、正常なホワイトバランスを得ようとしている。ところが、フィルタは、水中での交換が容易ではなく、水深によって刻々と変わる水中光には対応できない。
【０００８】
高級カメラの一部には、マニュアルでホワイトバランスを調整できるものがある（特許文献１参照）。このようなカメラを用いれば、調整の手間はかかるものの、正常なホワイトバランスを得ることができる。あるいは、カメラ側の機能としてホワイトバランスを調整できない場合でも、撮影後にフォトレタッチソフトやＲＡＷ現像ソフト、ビデオ編集装置（ソフト）などを用いてホワイトバランスを調整することも可能である。
【特許文献１】特開2006-157316号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ホワイトバランスの調整によって、無彩色の被写体の画像を無彩色に調整することはできるが、これだけでは正常な色再現は望めない。なせならば、水中に降り注ぐ光のスペクトルは、地上とは大きく異なり、演色性が極端に低いためである。これは、長波長の光が減少するために起きる現象で、ダイバーの間では「水中での色の消失」と呼ばれて理解されている。つまり、正常なホワイトバランスを得た場合でも、色が薄くなったり（彩度が低下したり）、赤系統の色が暗くなったり（明度が低下したり）、色相が変化してしまう。
【００１０】
このため、水中にビデオライトやストロボなどの光源を持ち込む撮影者もいるが、光源を水中に持ち込むことには数多くのデメリットが存在する。
【００１１】
まずは、撮影機材の大きさや重量が増して、水中での行動が制限されたり、不自由になる可能性がある。また、方向性の強い光を照射するため、影が強く現れる。さらに、画角の広い撮影を行う場合、通常は広角レンズを用いるが、このような場合、光源の光を広範囲に照射し、かつ被写体距離も長く設定するため、光源から被写体、そして被写体からカメラまでの距離が長くなり、やはり色の変化が生じてしまう。より具体的には、光源に近い場所と遠い場所とで輝度差が大きくなり、広い範囲で適正露出を得ることが困難になる。また、光源としてストロボを用いると、充電に時間がかかるため、撮影間隔が長くなるという問題もある。
【００１２】
以上の理由により、光源を持ち込んでの水中撮影は、撮影距離の短いマクロ撮影に限定されるのが実情である。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、水中撮影時に精度の高い色復元処理を簡易な手法で実現可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置が提供される。
【００１５】
また、本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。
【００１６】
また、本発明の一態様によれば、水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【００１７】
本発明によれば、水中撮影時に精度の高い色復元処理を簡易な手法で行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１９】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、例えばデジタルカメラに内蔵される。
【００２０】
図１の画像処理装置は、イメージセンサ１と、Ａ／Ｄ変換器２と、ＯＢ（Optical Black）減算器３と、デモザイク処理部４と、ホワイトバランスゲイン乗算器５と、水中光路長算出部６と、色復元マトリックス生成部７と、色復元マトリックス乗算器８と、水陸切換器９と、マトリックス乗算器１０と、ガンマ処理部１１と、映像記録部１２とを備えている。
【００２１】
イメージセンサ１で撮像された撮像信号は、Ａ／Ｄ変換器２でデジタルのピクセル値に変換される。デモザイク処理部４は、各画素にすべての色情報を持たせる処理を行う。このデモザイク処理が必要になる理由は、一般的なイメージセンサ１の画素配列はＧ画素を他の色画素よりも多く配置したベイヤー配列になっているためであり、デモザイク処理部４では、色補間処理を行って、各画素にＲＧＢの色情報を持たせる処理を行う。
【００２２】
ホワイトバランスゲイン乗算器５は、所定の手法により設定したホワイトバランスゲインを用いて、デモザイク処理後のピクセル値に対してホワイトバランス調整を行う。ホワイトバランスゲインの設定方法については後述する。
【００２３】
水中光路長算出部６は、水面に降り注いだ光がイメージセンサ１に到達するまでの光路長（以下、水中光路長）を算出する。この算出方法についても後述する。
【００２４】
色復元マトリックス生成部７は、水中光路長算出部６で算出された水中光路長に基づいて、水中で失われた色を復元するための色復元マトリックスを生成する。
【００２５】
色復元マトリックス乗算器８は、ホワイトバランスゲイン乗算器５で乗算した結果に、色復元マトリックスを乗じる処理を行う。
【００２６】
水陸切換器９は、水中と陸上のどちらで撮影を行うのかを切り替える。マトリックス乗算器１０は、色復元マトリックス乗算器８の乗算結果に色空間変換マトリックスを乗じる処理を行う。
【００２７】
ガンマ処理部１１は、マトリックス乗算器１０の乗算結果に対してガンマ補正を行う。ガンマ補正後のピクセル値は、ＪＰＥＧ等の形式にて映像記録部１２に記録される。
【００２８】
図１に破線で示す水中光路長算出部６、色復元マトリックス生成部７、色復元マトリックス乗算器８および水中切換器９が本実施形態の主要部である。すなわち、本実施形態は、従来のデジタルカメラの構成に、図１の破線部の構成を追加することで実現可能である。
【００２９】
図２は図１の主要部であるホワイトバランスゲインの乗算後のピクセル値からマトリックスの乗算結果を得るまでの処理手順を詳細に示すフローチャートである。まず、ホワイトバランスゲインを設定する（ステップＳ１）。ここで、ホワイトバランスゲインとは、イメージセンサ１がＲＧＢの原色を扱う場合には、イメージセンサ１のＲＧＢ値に対するＲとＢのゲインを指す。
【００３０】
ホワイトバランスゲインの設定方法には複数通りが考えられる。以下、ホワイトバランスを設定するための第１〜第５の方法について説明する。なお、下記以外の方法でホワイトバランスを設定してもよい。
【００３１】
第１の方法は、無彩色のグレーの色見本を水中で撮影して得られる映像により、ホワイトバランスを設定するものである。より具体的には、水中の目的とする撮影場所付近でグレーの色見本を予め撮影しておき、後にソフトウェアにより、その色見本の映像がグレーになるようにホワイトバランスを調整し、その調整により得られたホワイトバランスゲインを他の映像にも適用する。これにより、かなり正確なホワイトバランスを得ることができる。
【００３２】
ところが、ただでさえ行動が制限される水中に、グレーの色見本を持ち込んで撮影を行うのは撮影者にとって大変な手間になる。そこで、例えば図３に示すように、ダイビング用のフィン１４にグレーのシール１５を貼り付けておき、本来の撮影を行う際にそのシール１５も撮影しておく。
【００３３】
水中では、浮力が働いて、体を比較的自由に動かせるため、フィンのシール１５もそれほど無理なく撮影可能であり、撮影者はグレーの色見本を携帯する必要がなくなる。
【００３４】
撮影者の手間を省くさらなる方法として、図４に示すようにシール１５の脇に例えばバーコード状のパターンを貼り付けておき、シール１５の撮影の際にバーコード１５ａのパターンも合わせて撮影し、カメラ内部で撮影された映像からバーコード１５ａの位置を検出し、それらの中心にあるシール１５をグレーにバランスするゲインを算出することで、自動的にホワイトバランスゲインを設定し、その設定前後に撮影した他の映像に対して、設定したホワイトバランスゲインを適用することが考えられる。これにより、後に、撮影者自身でホワイトバランスの調整を行わなくて済み、手間が省けて使い勝手がよくなる。もちろん、カメラに組み込む以外に、撮影後に行う画像処理ソフトウェアにおいても同様に、バーコード１５ａの位置を検出し、シール１５をグレーにバランスするホワイトバランスゲインを算出するように構成すれば、利便性を上げることができる。
【００３５】
シール１５は、図３のようなグレー単色のもの以外に、図４に示すように、色々な色パターンを含んでいてもよい。
【００３６】
第２の方法は、ホワイトバランスを測定可能な環境光センサをカメラに取り付けるものである。この方法では、環境光センサにより、カメラ周辺の水中光を直接測定してホワイトバランスゲインを設定する。このため、このままでは、被写体とカメラの間の光路長を加味してホワイトバランスを測定することはできない。そこで、例えば、カメラにより被写体までの距離を検出し、検出された距離によりホワイトバランスの調整を行うことで、ホワイトバランスの精度向上が図れる。
【００３７】
第３の方法は、いわゆるオートバランスである。この方法は、本実施形態による画像処理装置をカメラに適用する場合と撮影後に行う画像処理ソフトウェアに適用する場合のいずれにおいても有効である。
【００３８】
先に本発明者が出願した発明（特開2007-13415号公報）を用いれば、物体に降り注ぐ光源色をかなり正確に特定できる。実際に、多くの水中映像において良好な結果を得ており、最も期待される方法の一つである。
【００３９】
ただし、陸上と水中の両方の映像を処理できるようにする場合、誤判定を防止するために、映像処理前に水中か陸上の切替を行うのが望ましい。陸上では、水中のような青い光源はまずありえないし、仮にあったとしても青を白くバランスせずにその場の雰囲気を残すために、青く再現する方が望ましい場合があり、水中と陸上ではホワイトバランスの算出方法や、検出したホワイトバランスゲイン値を人間の色順応に合わせて制限する際のリミットを変える必要があるためである。
【００４０】
陸上と水中の切替をカメラに設ける場合には、切替スイッチを設けてもよいし、メニュー画面で切替ができるようにしてもよい。切替スイッチを設けたカメラを水中ハウジングに収納して水中撮影を行う場合には、例えば図５および図６に示すように、カメラには水中切り替えスイッチ１６を設けておき、水中ハウジングには、その切り替えスイッチが押下されるような突起１７を設けておくのが望ましい。図５は水中ハウジングを展開した状態を示しており、突起１７は、ハウジングの内部が出っ張っている。図６は、水中ハウジングにカメラを収納して閉じた状態を示している。ハウジングの突起１７に押されて、カメラの水中切り替えスイッチ１６が押下される。
【００４１】
第４の方法は、ユーザがホワイトバランスを設定するものである。この場合、ユーザは、カメラのスイッチやメニュー画面により、あるいはソフトウェアのユーザーインタフェースにより、ホワイトバランスを設定する。多くのカメラでは、光源の種類（電球、蛍光灯、晴れ、曇り、日陰等）を指定したり、色温度を指定することにより、ホワイトバランスの設定が可能であるが、これらの指定は水中では役に立たない。水中では、色度座標が黒体放射線（や昼光線）から大きくずれる上に、水中経路長によって色度座標が広い範囲に分布するため、「水中」というプリセットを用意しても正常なホワイトバランス調整は行えない可能性が高い。
【００４２】
そこで、水中経路長をパラメータとして与えて、ユーザがホワイトバランスを設定できるようにすると便利である。多くのカメラやＲＡＷ現像処理ソフトウェアが搭載している色温度の指定に倣って、水中光路長を指定すれば、その光路長によって決まる水中透過光の色度座標についてホワイトバランスの設定を行うような設計が可能となる。
【００４３】
第５の方法は、カメラやカメラを収納する水中ハウジングに水深計を取り付けて、水深計で測定した水深をカメラに伝達する配線を設けるものである。カメラでは、水深を例えば１〜１．５倍した値を水中光路長としてホワイトバランスを設定する。なぜならば、太陽高度が高く水面に対して直角に太陽光が降り注ぐ赤道付近の晴れの日は、水深と水中光路長は、ほぼ一致するが、くもりの日や太陽高度が低い地域では、水面から斜めに光が降り注ぐために、水中光路長は、実際の水深よりも大きくなる傾向があるからである。冬にスポーツダイバーがダイビングを行えるほぼ北限の関東地方周辺では、実際の水深と水中光路長は１．５倍ほど異なることもある。このため、１〜１．５倍する必要がある。この倍率の設定をカメラのメニューによって行わせても良いし、緯度を入力させて、カメラ内部の時計から季節を算出し、その結果から自動的に設定するようにしても良い。
【００４４】
この第５の方法は、正確なホワイトバランスを設定できない上に、機構が複雑でコストがかかるため、実用性はあまりないかもしれない。ただし、映像の付属情報として水深データを記録することが可能であり、事後的に水深データを活用できるという利点がある。例えば、静止画像の付属情報を記録したEXIF情報には、規格上、水深を記録するタグが現時点では定義されていないが、メーカーが独自の情報を記録するメーカーノートタグ(MakerNote Tag)等に水深データを記録しておけば、事後的に、各画像が水深何ｍで撮影されたものかを正確に特定でき、非常に便利である。したがって、将来的には、EXIF情報の一部として水深データを記録できるような規格変更も考えられる。
【００４５】
以上に説明した第１〜第５の方法のいずれかにより、ホワイトバランスゲインが設定されると、次に、水陸切換器９は、水中と陸上のどちらで撮影を行うのかを選択する（図２のステップＳ２）。上述したように、水陸切換器９は、例えばカメラに設けられる専用のスイッチで実現してもよいし、カメラのメニュー画面によるソフト的な選択で実現してもよい。
【００４６】
ステップＳ２で水中撮影が選択された場合、水中光路長算出部６により水中光路長を算出する（ステップＳ３）。以下に、水中光路長算出部６の処理内容を詳述する。
【００４７】
ここで、カメラがＲＧＢの３色のイメージセンサ１を有するものとする。イメージセンサーの色特性を示すために、ＣＩＥ（国際照明委員会）の標準的な色表現方法であるＣＩＥ１９３１ＸＹＺから、カメラが撮像する３つの色コンポーネント（これは通常ＲＧＢの３色である）に変換するためのカラーマトリックスをＣとする。この場合、Ｃは、３×３マトリックスであり、カメラのカラーフィルタやイメージセンサ１、ローパスフィルタ等の特性によって決まる。
【００４８】
なお、ＣＩＥ１９３１ＸＹＺは、ＲＧＢの代わりに、ＸＹＺの３値を用いて実在色のすべてを表記可能な色の表現方法である。
【００４９】
ここで、ある光源色をＣＩＥ１９３１ＸＹＺで標記した場合の値を（WP_X，WP_Y，WP_Z）とすると、以下の（１）式の右辺におけるＣ＊（WP_X，WP_Y，WP_Z）は、そのカメラでの線形ＲＡＷ値（ＯＢ減算処理後の値）になる。
【００５０】
ホワイトバランスゲインＷＢＲ，ＷＢＢは、光源色がグレーになるように設定するものであり、Ｃ＊（WP_X，WP_Y，WP_Z）のＲ成分をＷＢＲで、Ｇ成分を１で、Ｂ成分をＷＢＢでそれぞれ重み付けすると、グレー色に調整される。この重み付けを、（１）式の右辺では３×３マトリックスで表現している。
【数１】
【００５１】
グレー色に調整するということは、やはりＣＩＥのＤ６５を撮影した場合の線形ＲＡＷ値と一致することになり、（１）式の右辺は、左辺のＣ＊Ｄ６５標準光源のＸＹＺ値と一致することになる。
【００５２】
ところで、Ｄ６５は、ＣＩＥが定めた標準光源の一つであり、地上に降り注ぐ光の平均値である。Ｄ６５は、現在、白点として最も広く使用されており、デジタルカメラの標準的な色空間であるｓＲＧＢやアドビ（登録商標）ＲＧＢも白点をＤ６５と定めている。なお、他の光源を標準光源として用いてもよい。理想的には、所定の色温度を持つ完全放射体または地上に降り注ぐ光の平均値から算出された昼光を標準光源として用いるのが望ましい。
【００５３】
ｓＲＧＢやアドビＲＧＢで、Ｒ＝Ｇ＝Ｂのとき、例えばＲＧＢ＝（１１８，１１８，１１８）のとき、この値は無彩色であり、正常に校正されたモニタではＤ６５として表示される。
【００５４】
上述した（１）式により、（WP_X，WP_Y，WP_Z）を算出することができる。ところが、ＸＹＺの３軸による表記では、光の強さを含んでしまう。光の強さは色とは無関係であり、色だけを表記する場合には、Ｘ＋Ｙ＋Ｚ＝１となる面（等エネルギー面）で色を表記したものがＣＩＥ１９３１ｘｙ座標である。
【００５５】
ここでは、光源の強さではなく、その色（色度座標）のみを問題にしているため、光源色をＸＹＺの３軸ではなく、等エネルギー面の２軸（ｘｙ）で表記した色度座標wp_xy＝（WP_X／（WP_X＋WP_Y＋WP_Z），WP_Y／（WP_X＋WP_Y＋WP_Z））を計算する。この色度座標wp_xyが光源色に相当する。
【００５６】
上記の手順で光源色が算出されると、次に以下の手順で水中光路長を算出する。図７は水中透過光のＣＩＥ１９３１ｘｙ色座標を示す図である。図７の逆Ｕ字状曲線ｃｂ１は、単色光の色座標曲線であり、この逆Ｕ字状曲線の内部に実際の色が存在する。図７の曲線ｃｂ２は黒体放射の色座標曲線である。
【００５７】
この曲線ｃｂ２は、物体の温度を上げたときに発光する光をプロットしており、図７の左側が温度が高く、右側が温度が低い。図７において、５０００Ｋと表示している場所が５０００度のときの色座標である。また、地上に降り注ぐ昼光も、ほぼこの黒体放射線に近似しており、晴れの日の昼に地上に降り注ぐ光の色座標は、約５０００Ｋ程度である。
【００５８】
図７の曲線ｃｂ３は、水面に５０００Ｋの光が降り注いでいる場合に、水中光路長によって水中光の色座標が変化する様子を示している。すなわち、曲線ｃｂ３は、水中光路長ごとの色座標曲線である。
【００５９】
上述した（１）式により計算された光源色wp_xyを図７にプロットし、そのプロット位置から曲線ｃｂ３に向けて垂線を下ろして、曲線ｃｂ３と交わった位置により、水中光路長を求めることができる。
【００６０】
上記の手法により水中光路長を算出できることは、本発明者が種々の実験により見出したものである。
【００６１】
上記の手法で図２のステップＳ３にて水中光路長が算出されると、次に、色復元マトリックス生成部７により、色復元マトリックスの生成を行う（ステップＳ４）。ここでは、水中光路長に応じた色復元マトリックスを選択できるように、予めテーブルを用意しておく。
【００６２】
図８はテーブルの一例を示す図である。図８のテーブルには、テーブル番号と、水中光路長と、３×３マトリックスとが対応づけて記憶されている。このテーブルは、例えば、基準チャートを水中に持ち込んで、水深ごとに撮影を行って画像サンプルを取得し、カラーマッチングを行って３×３マトリックスを生成する。また、各画像に対応したホワイトバランスにより、上述した（１）式を用いて水中光路長を計算し、得られた結果を基に、図８のテーブルを予め生成しておく。
【００６３】
図２のステップＳ４では、ステップＳ３で算出された水中光路長に応じた３×３マトリックスを図８のテーブルから抽出し、抽出したものを色復元マトリックスとして利用する。
【００６４】
図８のテーブルには、水中光路長が１００ｃｍ刻みでしか登録されていないが、もっと細かい単位で３×３マトリックスを用意しておいてもよいし、あるいは、図８のステップＳ３で計算された水中光路長が図８のテーブルに登録された水中光路長の中間の値の場合には、線形補間等の補間処理を行うことにより、新たな３×３マトリックスを生成してもよい。
【００６５】
上述した説明では、算出した水中光路長をパラメータとして色復元マトリックスを選択する例を示したが、水中光路長算出部６と色復元マトリックス生成部７の処理を一つにまとめて、水中光路長を算出することなく、色復元マトリックスを生成してもよい。この場合は、ホワイトバランスゲインと色復元マトリックスとを対応づけたテーブルを用意しておき、ホワイトバランスゲインをパラメータとして、対応する色復元マトリックスを抽出する。
【００６６】
図９はこの種のテーブルの一例を示す図である。図９のテーブルには、ホワイトバランスゲインGainR，GainBと３×３マトリックスとが対応づけて登録されている。このテーブルは、例えば基準チャートを水中に持ち込んで、水深ごとに撮影して画像サンプルを取得し、カラーマッチングを行った結果の３×３マトリックスと、そのときのホワイトバランスゲインとを対応づけて作成される。
【００６７】
図９のテーブルを用いて最終的な色復元マトリックスを得るには、例えば図１０の処理を行う。まず、３×３の色復元マトリックスの各要素Matrix[j]（ｊ＝０〜９）をゼロに初期化する（ステップＳ１１）。次に、マトリックスの種類を表す変数ｉをゼロに初期化する（ステップＳ１２）。ｉ＝０であれば、図９の一番上の段のホワイトバランスゲインとマトリックスが選択され、ｉ＝３であれば、一番下の段のホワイトバランスゲインとマトリックスが選択される。
【００６８】
次に、ホワイトバランスゲインＷＢＲ，ＷＢＢの逆数と、３×３マトリックスの値とGainRまたはGainBとの積の逆数との差分dR，dBを算出する（ステップＳ１３）。
【００６９】
次に、差分dRまたはdBがゼロか否かを判定し（ステップＳ１４）、ゼロでなければ、dRとdBから重みFact[i]を算出する（ステップＳ１５）。一方、ステップＳ１４の判定がＮＯの場合には、WBR,WBBがテーブルに記録されているゲイン値と一致していることを示すので、重みFact[i]を非常に大きな固定値（１．０Ｅ＋９９）に設定する（ステップＳ１６）。
【００７０】
ステップＳ１５，Ｓ１６の処理が終わると、次に、色復元マトリックスの各要素Matrix[j]＝Matrix[j]＋Fact[i]＊Table[i]．Matrix[j]を算出する（ステップＳ１７）。次に、重みの総計値FactSum＝FactSum＋Fact[i]を算出する（ステップＳ１８）。
【００７１】
次に、図９のテーブルの最後の段まで処理を行ったか否かを判定し（ステップＳ１９）、処理を行うべきマトリックスがまだ残っていれば、変数ｉをインクリメントして（ステップＳ２０）、ステップＳ１３以降の処理を繰り返す。
【００７２】
すべての行の処理が終わった場合には、３×３マトリックスの各要素を重みFact[i]で加重平均した値を要素とする色復元マトリックスを生成する（ステップＳ２１）。
【００７３】
上述した処理手順にて、図８または図９のテーブルを用いて色復元マトリックスが生成されると、次に、色復元マトリックス乗算器８は、ホワイトバランスゲイン乗算器５の乗算結果と、生成した色復元マトリックスとを乗じる処理を行う（図２のステップＳ５）。
【００７４】
図２のステップＳ３〜Ｓ５の処理は、水中撮影を行う場合のみ行われる。ステップＳ５の処理が終わると、水中撮影と陸上撮影のどちらを行う場合も、マトリックス乗算器１０によるマトリックス乗算処理を行う（ステップＳ６）。この処理では、イメージセンサ１で撮像したＲＧＢ値をｓＲＧＢなどの色空間に変換するための色空間変換マトリックスを用いて乗算処理を行って、ピクセル値を算出する。
【００７５】
例えば、水中撮影を行う場合のステップＳ６で得られるピクセル値は、以下の（２）式で表される。
マトリックス乗算後のピクセル値＝色空間変換マトリックス×（色復元マトリックス×ホワイトバランスゲイン乗算器５の乗算結果） …（２）
【００７６】
一方、陸上撮影を行う場合のステップＳ６で得られるピクセル値は、以下の（３）式で表される。
マトリックス乗算後のピクセル値＝色空間変換マトリックス×ホワイトバランスゲイン乗算器５の乗算結果 …（３）
【００７７】
図２のステップＳ６の処理により得られたピクセル値は、図１に示すように、ガンマ処理部１１によりガンマ補正された後に映像記録部１２に記録される。
【００７８】
このように、第１の実施形態では、水中撮影時に、水中光路長またはホワイトバランスゲインに応じた色復元マトリックスを生成し、生成した色復元マトリックス、色空間変換マトリックスおよびホワイトバランスゲインを用いてピクセル値を算出するため、陸上同様に青みの少ない自然な画像が得られる。
【００７９】
本実施形態では、水深や水中光路長がわかれば比較的簡易な処理で正確な色復元処理を行えるため、カメラに組み込むことも容易で、また撮影後に画像処理ソフトウェアにて実現することも容易に行える。
【００８０】
また、水深がわからなくても、水中で色見本を撮影した結果を利用してホワイトバランスゲインを取得することによっても、正確な色復元処理を行える。
【００８１】
このように、本実施形態によれば、水中撮影時の色復元処理を自動化することができ、撮影者の手間を煩わすことなく、水中の被写体の本来の色を復元することができる。
【００８２】
（第２の実施形態）
第１の実施形態では、水中撮影時のピクセル値を計算するために、上述した（２）式による演算処理を行った。行列演算には、結合法則が成立するため、この（２）式は、以下の（４）式と同じである。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス）×ホワイトバランスゲイン乗算器５の乗算結果 …（４）
【００８３】
この（４）式では、あらかじめ、色空間変換マトリックスと色復元マトリックスの乗算処理（以下、マトリックス合成処理）を行った後に、マトリックス合成処理により得られたマトリックスとホワイトバランスゲイン乗算器５の乗算結果のピクセル値との乗算処理を行う。以下に説明する第２の実施形態は、上記の（４）式に基づいてピクセル値を算出するものである。
【００８４】
図１１は本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図である。図１１では、図１と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。
【００８５】
図１１の画像処理装置は、図１になかったものとして、マトリックス合成部２１を備えている。このマトリックス合成部２１は、色復元マトリックス生成部７で生成された色復元マトリックスと色空間変換マトリックスとを乗算する。
【００８６】
また、図１１のマトリックス乗算器１０は、マトリックス合成部２１の乗算結果とホワイトバランスゲイン乗算器５で乗算されたピクセル値とを乗算して、最終的なピクセル値を算出する。
【００８７】
図１１に破線で示す水中光路長算出部６、色復元マトリックス生成部７、マトリックス合成部２１および水中切換器９が本実施形態の主要部である。
【００８８】
この第２の実施形態においても、演算順序が異なるだけで、演算処理の内容自体は第１の実施形態と同様であるため、第１の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。
【００８９】
（第３の実施形態）
第１および第２の実施形態では、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を別個に設けたが、これらの乗算器を一つにまとめることも可能である。
【００９０】
ピクセル値を３次のベクトル（例えばＲ値、Ｇ値、Ｂ値）で表し、マトリックスを３×３とすると、ホワイトバランスゲイン乗算器５は、以下の（５）式に示すマトリックスを演算することに等しい。
【数２】
【００９１】
したがって、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を一つにまとめて、演算結果を一つのマトリックスで表現することができる。
【００９２】
上述した第２の実施形態では、（４）式に基づいてマトリックス乗算後のピクセル値を算出する旨を説明したが、（４）式は以下の（６）式のようにも書き直せる。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス）×（ホワイトバランスマトリックス×デモザイク処理後のピクセル値） …（６）
【００９３】
行列演算には、結合法則が成立するため、この（６）式は、（７）式のように書き直すことも可能である。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス×ホワイトバランスマトリックス）×デモザイク処理後のピクセル値 …（７）
【００９４】
以上の背景から、以下に説明する第３の実施形態では、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を一つにまとめて、上記（７）式に基づく演算を行うことを特徴とする。
【００９５】
図１２は本発明の第３の実施形態に係る画像処理装置の概略構成を示すブロック図である。図１２では、図１や図１１と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。
【００９６】
図１２の画像処理装置は、図１や図１１になかった構成として、ホワイトバランスマトリックス合成部２２、第１のマトリックス合成部２３および第２のマトリックス合成部２４を有する。また、図１や図１１にはホワイトバランスゲイン乗算器５が存在したが、図１２では省略されている。
【００９７】
図１２に破線で示す水中光路長算出部６、色復元マトリックス生成部７、ホワイトバランスマトリックス生成部２２、第１のマトリックス合成部２３、水中切換器９および第２のマトリックス合成部２４が本実施形態の主要部である。
【００９８】
ホワイトバランスマトリックス生成部２２は、ホワイトバランスゲインを含む３×３マトリックスを生成する。
【００９９】
第１のマトリックス合成部２３は、色復元マトリックスとホワイトバランスマトリックスとの乗算を行う。また、第２のマトリックス合成部２４は、第１のマトリックス合成部２３の演算結果であるマトリックスと色空間変換マトリックスとの乗算を行う。これにより、第２のマトリックス合成部２４からは、上記（７）式の括弧内の演算結果が出力される。
【０１００】
次に、マトリックス乗算器１０は、デモザイク処理後のピクセル値と第２のマトリックス合成部２４の出力結果であるマトリックスとの乗算を行って、上記（７）式の演算が完了する。
【０１０１】
この第３の実施形態においても、マトリックスの演算順序が異なるだけで、演算処理の内容自体は第１および第２の実施形態と同様であるため、第１および第２の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。
【０１０２】
（第４の実施形態）
第１〜第３の実施形態では、カメラ内に組み込むことが可能な画像処理装置について説明したが、以下に説明する第４の実施形態は、イメージセンサ１から出力されたＲＡＷデータの現像処理を行うＲＡＷ現像ソフトウェアに組み込めることが可能な画像処理装置であることを特徴とする。
【０１０３】
図１３は本発明の第４の実施形態による画像処理装置の概略構成を示すブロック図である。図１３の画像処理装置は、図１の画像処理装置と基本構成は同じであるが、ソフトウェアの形態でＲＡＷ現像ソフトウェアに組み込まれるため、イメージセンサ１やＡ／Ｄ変換器２は省略されている。その代わりに、ＲＡＷデータを取り込むための画像入力部３１を備えている。
【０１０４】
図１３の代わりに、図１１または図１２と基本構成を同じにしてもよく、その場合はそれぞれ図１４または図１５のブロック図に示す構成となる。
【０１０５】
一方、入力データがＲＡＷデータではなく、ＪＰＥＧなどの既に色空間変換がされた後のデータの場合には、図１６のようなブロック構成になる。図１６の画像処理装置は、図１３になかった構成として逆ガンマ処理部３２を有し、図１３のＯＢ減算部３、デモザイク処理部４およびマトリックス乗算器１０は省略されている。
【０１０６】
逆ガンマ処理部３２は、例えばＪＰＥＧ形式にて記録された画像データのガンマ特性と逆特性の非線形変換を行って、光量とピクセル値とが比例関係になるような処理を行う。すなわち、逆ガンマ処理部３２は、ガンマ処理部１１とは逆の処理を行う。
【０１０７】
式で表すと、逆ガンマ処理部３２は例えば以下の（８）式の処理を行い、ガンマ処理部１１は（９）式の処理を行う。
出力＝power（入力／２５５，２．２）×２５５ …（８）
出力＝power（入力／２５５，１／２．２）×２５５ …（９）
【０１０８】
このように、本発明は、ＲＡＷ現像や画像処理を行うソフトウェアに組み込むことも可能であり、水中撮影後にＰＣを用いて簡易に高精度のホワイトバランス調整を行える。
【０１０９】
上述した第１〜第３の実施形態では、カメラに組み込む例について説明したが、図１、図１１および図１２に示した構成の少なくとも一部はハードウェアで構成してもよいし、ソフトウェアで構成してもよい。また、図１等の破線で示した以外の構成については本発明の本質的な部分ではないため、種々に構成を変更してもよい。
【０１１０】
また、上述した各実施形態では、原色系のイメージセンサ１を用いる例を説明したが、補色系のイメージセンサを用いる場合にも本発明は適用可能である。
【０１１１】
上述した第１〜第４の実施形態では、色復元マトリックス乗算器８とマトリックス乗算器１０とを用いてマトリックス演算を行って水中色の復元処理を行う例を説明したが、マトリックス演算以外の色変換情報を用いて水中色の復元処理を行ってもよい。このような色変換情報を求める式のパラメータとして水中光路長を含めれば、別個に水中光路長との演算処理を行う必要がなくなり、色復元処理を簡略化できる。
【０１１２】
この場合、色復元マトリックス生成部７の代わりに、水中光路長に基づいて色復元情報を生成する色復元情報生成部を設け、かつ、マトリックス乗算器１０の代わりに、色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正部を設けることになる。
【０１１３】
色変換情報の一例としては、色と色とを対応づけるカラーマッピングを使用することが考えられる。このようなカラーマッピングでは、水中光路長ごとに色変換マップを設けるか、色変換の式の中に直接的に水中光路長の乗算を含む場合には、一種類の色変換マップを設けるだけで済み、メモリ容量を削減できる。
【図面の簡単な説明】
【０１１４】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図。
【図２】図１の主要部であるホワイトバランスゲインの乗算からマトリックスの乗算結果を得るまでの処理手順を詳細に示すフローチャート。
【図３】グレーのシールを貼付したフィンの一例を示す外観図。
【図４】グレーパターンの周囲にバーコードを配置したシールの一例を示す平面図。
【図５】水中ハウジングを展開した状態を示す図。
【図６】水中ハウジングにカメラを収納して閉じた状態を示す図。
【図７】水中透過光のＣＩＥ１９３１ｘｙ色座標を示す図。
【図８】テーブルの一例を示す図。
【図９】他のテーブルの一例を示す図。
【図１０】図９のテーブルを利用して色復元マトリックスを生成する処理手順の一例を示すフローチャート。
【図１１】本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図。
【図１２】本発明の第３の実施形態に係る画像処理装置の概略構成を示すブロック図。
【図１３】本発明の第４の実施形態による画像処理装置の概略構成を示すブロック図。
【図１４】図１３の変形例を示すブロック図。
【図１５】図１３の変形例を示すブロック図。
【図１６】色空間変換がされた後のデータを入力する場合の画像処理装置の概略構成を示すブロック図。
【符号の説明】
【０１１５】
１ イメージセンサ
２ Ａ／Ｄ変換器
３ ＯＢ減算器
４ デモザイク処理部
５ ホワイトバランスゲイン乗算器
６ 水中光路長算出部
７ 色復元マトリックス生成部
８ 色復元マトリックス乗算器
９ 水陸切換器
１０ マトリックス乗算器
１１ ガンマ処理部
１２ 映像記録部
２１ マトリックス合成部
２２ ホワイトバランスマトリックス生成部
２３ 第１のマトリックス合成部
２４ 第２のマトリックス合成部
３１ 画像入力部
３２ 逆ガンマ処理部
【技術分野】
【０００１】
本発明は、ホワイトバランスを調整可能な画像処理装置に関し、特に水中撮影に適したホワイトバランス調整と水中特有の色の消失を復元する技術に関する。
【背景技術】
【０００２】
近年のデジタルカメラや家庭用小型ビデオカメラの普及に伴って、スノーケリングやスクーバダイビングの際に、水中にカメラを持ち込んで、水中撮影を楽しむ人が増えてきた。
【０００３】
しかしながら、水中で撮影を行うと、そのままでは青みの強い不自然な色合いの画像が得られる。その理由は、水中に降り注ぐ自然光は、水深に応じて色温度が高くなるためである。
【０００４】
例えば、５ｍ程度の水深でも、水中を通過した自然光は、色温度が10000Ｋ（ケルビン）にも達する。また、被写体とカメラの間の距離が長い場合、水中を通過する距離も長くなるため、撮影画像はより青みが強くなる。
【０００５】
このような青みの強い撮影画像は、水中での撮影だけでなく、水面付近から水中を撮影するスノーケリングを行う際にも問題となる。例えば、３ｍ程度の水深の魚や珊瑚等を水面付近から撮影する場合、太陽光は３ｍの水中を通過して被写体で反射し、さらに３ｍの水中を通過してカメラに入射することになり、往復で６ｍの水中を通過することになるためである。
【０００６】
一方、人間は、光に対する順応能力が高く、目が慣れてしまうため、撮影画像と目視との色合いのギャップが大きくなる。
【０００７】
現在市販されているデジタルカメラやビデオカメラは、水中のような特殊な光源下での撮影を前提としていないため、水中撮影時にはオートホワイトバランスも正常に機能しない。このため、撮影者は、オレンジやマゼンダ系の光学フィルタをレンズに装着して撮影を行い、正常なホワイトバランスを得ようとしている。ところが、フィルタは、水中での交換が容易ではなく、水深によって刻々と変わる水中光には対応できない。
【０００８】
高級カメラの一部には、マニュアルでホワイトバランスを調整できるものがある（特許文献１参照）。このようなカメラを用いれば、調整の手間はかかるものの、正常なホワイトバランスを得ることができる。あるいは、カメラ側の機能としてホワイトバランスを調整できない場合でも、撮影後にフォトレタッチソフトやＲＡＷ現像ソフト、ビデオ編集装置（ソフト）などを用いてホワイトバランスを調整することも可能である。
【特許文献１】特開2006-157316号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ホワイトバランスの調整によって、無彩色の被写体の画像を無彩色に調整することはできるが、これだけでは正常な色再現は望めない。なせならば、水中に降り注ぐ光のスペクトルは、地上とは大きく異なり、演色性が極端に低いためである。これは、長波長の光が減少するために起きる現象で、ダイバーの間では「水中での色の消失」と呼ばれて理解されている。つまり、正常なホワイトバランスを得た場合でも、色が薄くなったり（彩度が低下したり）、赤系統の色が暗くなったり（明度が低下したり）、色相が変化してしまう。
【００１０】
このため、水中にビデオライトやストロボなどの光源を持ち込む撮影者もいるが、光源を水中に持ち込むことには数多くのデメリットが存在する。
【００１１】
まずは、撮影機材の大きさや重量が増して、水中での行動が制限されたり、不自由になる可能性がある。また、方向性の強い光を照射するため、影が強く現れる。さらに、画角の広い撮影を行う場合、通常は広角レンズを用いるが、このような場合、光源の光を広範囲に照射し、かつ被写体距離も長く設定するため、光源から被写体、そして被写体からカメラまでの距離が長くなり、やはり色の変化が生じてしまう。より具体的には、光源に近い場所と遠い場所とで輝度差が大きくなり、広い範囲で適正露出を得ることが困難になる。また、光源としてストロボを用いると、充電に時間がかかるため、撮影間隔が長くなるという問題もある。
【００１２】
以上の理由により、光源を持ち込んでの水中撮影は、撮影距離の短いマクロ撮影に限定されるのが実情である。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、水中撮影時に精度の高い色復元処理を簡易な手法で実現可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置が提供される。
【００１５】
また、本発明の一態様によれば、被写体光の水中光路長を算出する水中光路長算出手段と、算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。
【００１６】
また、本発明の一態様によれば、水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置が提供される。
【発明の効果】
【００１７】
本発明によれば、水中撮影時に精度の高い色復元処理を簡易な手法で行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の一実施形態について説明する。
【００１９】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。この画像処理装置は、例えばデジタルカメラに内蔵される。
【００２０】
図１の画像処理装置は、イメージセンサ１と、Ａ／Ｄ変換器２と、ＯＢ（Optical Black）減算器３と、デモザイク処理部４と、ホワイトバランスゲイン乗算器５と、水中光路長算出部６と、色復元マトリックス生成部７と、色復元マトリックス乗算器８と、水陸切換器９と、マトリックス乗算器１０と、ガンマ処理部１１と、映像記録部１２とを備えている。
【００２１】
イメージセンサ１で撮像された撮像信号は、Ａ／Ｄ変換器２でデジタルのピクセル値に変換される。デモザイク処理部４は、各画素にすべての色情報を持たせる処理を行う。このデモザイク処理が必要になる理由は、一般的なイメージセンサ１の画素配列はＧ画素を他の色画素よりも多く配置したベイヤー配列になっているためであり、デモザイク処理部４では、色補間処理を行って、各画素にＲＧＢの色情報を持たせる処理を行う。
【００２２】
ホワイトバランスゲイン乗算器５は、所定の手法により設定したホワイトバランスゲインを用いて、デモザイク処理後のピクセル値に対してホワイトバランス調整を行う。ホワイトバランスゲインの設定方法については後述する。
【００２３】
水中光路長算出部６は、水面に降り注いだ光がイメージセンサ１に到達するまでの光路長（以下、水中光路長）を算出する。この算出方法についても後述する。
【００２４】
色復元マトリックス生成部７は、水中光路長算出部６で算出された水中光路長に基づいて、水中で失われた色を復元するための色復元マトリックスを生成する。
【００２５】
色復元マトリックス乗算器８は、ホワイトバランスゲイン乗算器５で乗算した結果に、色復元マトリックスを乗じる処理を行う。
【００２６】
水陸切換器９は、水中と陸上のどちらで撮影を行うのかを切り替える。マトリックス乗算器１０は、色復元マトリックス乗算器８の乗算結果に色空間変換マトリックスを乗じる処理を行う。
【００２７】
ガンマ処理部１１は、マトリックス乗算器１０の乗算結果に対してガンマ補正を行う。ガンマ補正後のピクセル値は、ＪＰＥＧ等の形式にて映像記録部１２に記録される。
【００２８】
図１に破線で示す水中光路長算出部６、色復元マトリックス生成部７、色復元マトリックス乗算器８および水中切換器９が本実施形態の主要部である。すなわち、本実施形態は、従来のデジタルカメラの構成に、図１の破線部の構成を追加することで実現可能である。
【００２９】
図２は図１の主要部であるホワイトバランスゲインの乗算後のピクセル値からマトリックスの乗算結果を得るまでの処理手順を詳細に示すフローチャートである。まず、ホワイトバランスゲインを設定する（ステップＳ１）。ここで、ホワイトバランスゲインとは、イメージセンサ１がＲＧＢの原色を扱う場合には、イメージセンサ１のＲＧＢ値に対するＲとＢのゲインを指す。
【００３０】
ホワイトバランスゲインの設定方法には複数通りが考えられる。以下、ホワイトバランスを設定するための第１〜第５の方法について説明する。なお、下記以外の方法でホワイトバランスを設定してもよい。
【００３１】
第１の方法は、無彩色のグレーの色見本を水中で撮影して得られる映像により、ホワイトバランスを設定するものである。より具体的には、水中の目的とする撮影場所付近でグレーの色見本を予め撮影しておき、後にソフトウェアにより、その色見本の映像がグレーになるようにホワイトバランスを調整し、その調整により得られたホワイトバランスゲインを他の映像にも適用する。これにより、かなり正確なホワイトバランスを得ることができる。
【００３２】
ところが、ただでさえ行動が制限される水中に、グレーの色見本を持ち込んで撮影を行うのは撮影者にとって大変な手間になる。そこで、例えば図３に示すように、ダイビング用のフィン１４にグレーのシール１５を貼り付けておき、本来の撮影を行う際にそのシール１５も撮影しておく。
【００３３】
水中では、浮力が働いて、体を比較的自由に動かせるため、フィンのシール１５もそれほど無理なく撮影可能であり、撮影者はグレーの色見本を携帯する必要がなくなる。
【００３４】
撮影者の手間を省くさらなる方法として、図４に示すようにシール１５の脇に例えばバーコード状のパターンを貼り付けておき、シール１５の撮影の際にバーコード１５ａのパターンも合わせて撮影し、カメラ内部で撮影された映像からバーコード１５ａの位置を検出し、それらの中心にあるシール１５をグレーにバランスするゲインを算出することで、自動的にホワイトバランスゲインを設定し、その設定前後に撮影した他の映像に対して、設定したホワイトバランスゲインを適用することが考えられる。これにより、後に、撮影者自身でホワイトバランスの調整を行わなくて済み、手間が省けて使い勝手がよくなる。もちろん、カメラに組み込む以外に、撮影後に行う画像処理ソフトウェアにおいても同様に、バーコード１５ａの位置を検出し、シール１５をグレーにバランスするホワイトバランスゲインを算出するように構成すれば、利便性を上げることができる。
【００３５】
シール１５は、図３のようなグレー単色のもの以外に、図４に示すように、色々な色パターンを含んでいてもよい。
【００３６】
第２の方法は、ホワイトバランスを測定可能な環境光センサをカメラに取り付けるものである。この方法では、環境光センサにより、カメラ周辺の水中光を直接測定してホワイトバランスゲインを設定する。このため、このままでは、被写体とカメラの間の光路長を加味してホワイトバランスを測定することはできない。そこで、例えば、カメラにより被写体までの距離を検出し、検出された距離によりホワイトバランスの調整を行うことで、ホワイトバランスの精度向上が図れる。
【００３７】
第３の方法は、いわゆるオートバランスである。この方法は、本実施形態による画像処理装置をカメラに適用する場合と撮影後に行う画像処理ソフトウェアに適用する場合のいずれにおいても有効である。
【００３８】
先に本発明者が出願した発明（特開2007-13415号公報）を用いれば、物体に降り注ぐ光源色をかなり正確に特定できる。実際に、多くの水中映像において良好な結果を得ており、最も期待される方法の一つである。
【００３９】
ただし、陸上と水中の両方の映像を処理できるようにする場合、誤判定を防止するために、映像処理前に水中か陸上の切替を行うのが望ましい。陸上では、水中のような青い光源はまずありえないし、仮にあったとしても青を白くバランスせずにその場の雰囲気を残すために、青く再現する方が望ましい場合があり、水中と陸上ではホワイトバランスの算出方法や、検出したホワイトバランスゲイン値を人間の色順応に合わせて制限する際のリミットを変える必要があるためである。
【００４０】
陸上と水中の切替をカメラに設ける場合には、切替スイッチを設けてもよいし、メニュー画面で切替ができるようにしてもよい。切替スイッチを設けたカメラを水中ハウジングに収納して水中撮影を行う場合には、例えば図５および図６に示すように、カメラには水中切り替えスイッチ１６を設けておき、水中ハウジングには、その切り替えスイッチが押下されるような突起１７を設けておくのが望ましい。図５は水中ハウジングを展開した状態を示しており、突起１７は、ハウジングの内部が出っ張っている。図６は、水中ハウジングにカメラを収納して閉じた状態を示している。ハウジングの突起１７に押されて、カメラの水中切り替えスイッチ１６が押下される。
【００４１】
第４の方法は、ユーザがホワイトバランスを設定するものである。この場合、ユーザは、カメラのスイッチやメニュー画面により、あるいはソフトウェアのユーザーインタフェースにより、ホワイトバランスを設定する。多くのカメラでは、光源の種類（電球、蛍光灯、晴れ、曇り、日陰等）を指定したり、色温度を指定することにより、ホワイトバランスの設定が可能であるが、これらの指定は水中では役に立たない。水中では、色度座標が黒体放射線（や昼光線）から大きくずれる上に、水中経路長によって色度座標が広い範囲に分布するため、「水中」というプリセットを用意しても正常なホワイトバランス調整は行えない可能性が高い。
【００４２】
そこで、水中経路長をパラメータとして与えて、ユーザがホワイトバランスを設定できるようにすると便利である。多くのカメラやＲＡＷ現像処理ソフトウェアが搭載している色温度の指定に倣って、水中光路長を指定すれば、その光路長によって決まる水中透過光の色度座標についてホワイトバランスの設定を行うような設計が可能となる。
【００４３】
第５の方法は、カメラやカメラを収納する水中ハウジングに水深計を取り付けて、水深計で測定した水深をカメラに伝達する配線を設けるものである。カメラでは、水深を例えば１〜１．５倍した値を水中光路長としてホワイトバランスを設定する。なぜならば、太陽高度が高く水面に対して直角に太陽光が降り注ぐ赤道付近の晴れの日は、水深と水中光路長は、ほぼ一致するが、くもりの日や太陽高度が低い地域では、水面から斜めに光が降り注ぐために、水中光路長は、実際の水深よりも大きくなる傾向があるからである。冬にスポーツダイバーがダイビングを行えるほぼ北限の関東地方周辺では、実際の水深と水中光路長は１．５倍ほど異なることもある。このため、１〜１．５倍する必要がある。この倍率の設定をカメラのメニューによって行わせても良いし、緯度を入力させて、カメラ内部の時計から季節を算出し、その結果から自動的に設定するようにしても良い。
【００４４】
この第５の方法は、正確なホワイトバランスを設定できない上に、機構が複雑でコストがかかるため、実用性はあまりないかもしれない。ただし、映像の付属情報として水深データを記録することが可能であり、事後的に水深データを活用できるという利点がある。例えば、静止画像の付属情報を記録したEXIF情報には、規格上、水深を記録するタグが現時点では定義されていないが、メーカーが独自の情報を記録するメーカーノートタグ(MakerNote Tag)等に水深データを記録しておけば、事後的に、各画像が水深何ｍで撮影されたものかを正確に特定でき、非常に便利である。したがって、将来的には、EXIF情報の一部として水深データを記録できるような規格変更も考えられる。
【００４５】
以上に説明した第１〜第５の方法のいずれかにより、ホワイトバランスゲインが設定されると、次に、水陸切換器９は、水中と陸上のどちらで撮影を行うのかを選択する（図２のステップＳ２）。上述したように、水陸切換器９は、例えばカメラに設けられる専用のスイッチで実現してもよいし、カメラのメニュー画面によるソフト的な選択で実現してもよい。
【００４６】
ステップＳ２で水中撮影が選択された場合、水中光路長算出部６により水中光路長を算出する（ステップＳ３）。以下に、水中光路長算出部６の処理内容を詳述する。
【００４７】
ここで、カメラがＲＧＢの３色のイメージセンサ１を有するものとする。イメージセンサーの色特性を示すために、ＣＩＥ（国際照明委員会）の標準的な色表現方法であるＣＩＥ１９３１ＸＹＺから、カメラが撮像する３つの色コンポーネント（これは通常ＲＧＢの３色である）に変換するためのカラーマトリックスをＣとする。この場合、Ｃは、３×３マトリックスであり、カメラのカラーフィルタやイメージセンサ１、ローパスフィルタ等の特性によって決まる。
【００４８】
なお、ＣＩＥ１９３１ＸＹＺは、ＲＧＢの代わりに、ＸＹＺの３値を用いて実在色のすべてを表記可能な色の表現方法である。
【００４９】
ここで、ある光源色をＣＩＥ１９３１ＸＹＺで標記した場合の値を（WP_X，WP_Y，WP_Z）とすると、以下の（１）式の右辺におけるＣ＊（WP_X，WP_Y，WP_Z）は、そのカメラでの線形ＲＡＷ値（ＯＢ減算処理後の値）になる。
【００５０】
ホワイトバランスゲインＷＢＲ，ＷＢＢは、光源色がグレーになるように設定するものであり、Ｃ＊（WP_X，WP_Y，WP_Z）のＲ成分をＷＢＲで、Ｇ成分を１で、Ｂ成分をＷＢＢでそれぞれ重み付けすると、グレー色に調整される。この重み付けを、（１）式の右辺では３×３マトリックスで表現している。
【数１】
【００５１】
グレー色に調整するということは、やはりＣＩＥのＤ６５を撮影した場合の線形ＲＡＷ値と一致することになり、（１）式の右辺は、左辺のＣ＊Ｄ６５標準光源のＸＹＺ値と一致することになる。
【００５２】
ところで、Ｄ６５は、ＣＩＥが定めた標準光源の一つであり、地上に降り注ぐ光の平均値である。Ｄ６５は、現在、白点として最も広く使用されており、デジタルカメラの標準的な色空間であるｓＲＧＢやアドビ（登録商標）ＲＧＢも白点をＤ６５と定めている。なお、他の光源を標準光源として用いてもよい。理想的には、所定の色温度を持つ完全放射体または地上に降り注ぐ光の平均値から算出された昼光を標準光源として用いるのが望ましい。
【００５３】
ｓＲＧＢやアドビＲＧＢで、Ｒ＝Ｇ＝Ｂのとき、例えばＲＧＢ＝（１１８，１１８，１１８）のとき、この値は無彩色であり、正常に校正されたモニタではＤ６５として表示される。
【００５４】
上述した（１）式により、（WP_X，WP_Y，WP_Z）を算出することができる。ところが、ＸＹＺの３軸による表記では、光の強さを含んでしまう。光の強さは色とは無関係であり、色だけを表記する場合には、Ｘ＋Ｙ＋Ｚ＝１となる面（等エネルギー面）で色を表記したものがＣＩＥ１９３１ｘｙ座標である。
【００５５】
ここでは、光源の強さではなく、その色（色度座標）のみを問題にしているため、光源色をＸＹＺの３軸ではなく、等エネルギー面の２軸（ｘｙ）で表記した色度座標wp_xy＝（WP_X／（WP_X＋WP_Y＋WP_Z），WP_Y／（WP_X＋WP_Y＋WP_Z））を計算する。この色度座標wp_xyが光源色に相当する。
【００５６】
上記の手順で光源色が算出されると、次に以下の手順で水中光路長を算出する。図７は水中透過光のＣＩＥ１９３１ｘｙ色座標を示す図である。図７の逆Ｕ字状曲線ｃｂ１は、単色光の色座標曲線であり、この逆Ｕ字状曲線の内部に実際の色が存在する。図７の曲線ｃｂ２は黒体放射の色座標曲線である。
【００５７】
この曲線ｃｂ２は、物体の温度を上げたときに発光する光をプロットしており、図７の左側が温度が高く、右側が温度が低い。図７において、５０００Ｋと表示している場所が５０００度のときの色座標である。また、地上に降り注ぐ昼光も、ほぼこの黒体放射線に近似しており、晴れの日の昼に地上に降り注ぐ光の色座標は、約５０００Ｋ程度である。
【００５８】
図７の曲線ｃｂ３は、水面に５０００Ｋの光が降り注いでいる場合に、水中光路長によって水中光の色座標が変化する様子を示している。すなわち、曲線ｃｂ３は、水中光路長ごとの色座標曲線である。
【００５９】
上述した（１）式により計算された光源色wp_xyを図７にプロットし、そのプロット位置から曲線ｃｂ３に向けて垂線を下ろして、曲線ｃｂ３と交わった位置により、水中光路長を求めることができる。
【００６０】
上記の手法により水中光路長を算出できることは、本発明者が種々の実験により見出したものである。
【００６１】
上記の手法で図２のステップＳ３にて水中光路長が算出されると、次に、色復元マトリックス生成部７により、色復元マトリックスの生成を行う（ステップＳ４）。ここでは、水中光路長に応じた色復元マトリックスを選択できるように、予めテーブルを用意しておく。
【００６２】
図８はテーブルの一例を示す図である。図８のテーブルには、テーブル番号と、水中光路長と、３×３マトリックスとが対応づけて記憶されている。このテーブルは、例えば、基準チャートを水中に持ち込んで、水深ごとに撮影を行って画像サンプルを取得し、カラーマッチングを行って３×３マトリックスを生成する。また、各画像に対応したホワイトバランスにより、上述した（１）式を用いて水中光路長を計算し、得られた結果を基に、図８のテーブルを予め生成しておく。
【００６３】
図２のステップＳ４では、ステップＳ３で算出された水中光路長に応じた３×３マトリックスを図８のテーブルから抽出し、抽出したものを色復元マトリックスとして利用する。
【００６４】
図８のテーブルには、水中光路長が１００ｃｍ刻みでしか登録されていないが、もっと細かい単位で３×３マトリックスを用意しておいてもよいし、あるいは、図８のステップＳ３で計算された水中光路長が図８のテーブルに登録された水中光路長の中間の値の場合には、線形補間等の補間処理を行うことにより、新たな３×３マトリックスを生成してもよい。
【００６５】
上述した説明では、算出した水中光路長をパラメータとして色復元マトリックスを選択する例を示したが、水中光路長算出部６と色復元マトリックス生成部７の処理を一つにまとめて、水中光路長を算出することなく、色復元マトリックスを生成してもよい。この場合は、ホワイトバランスゲインと色復元マトリックスとを対応づけたテーブルを用意しておき、ホワイトバランスゲインをパラメータとして、対応する色復元マトリックスを抽出する。
【００６６】
図９はこの種のテーブルの一例を示す図である。図９のテーブルには、ホワイトバランスゲインGainR，GainBと３×３マトリックスとが対応づけて登録されている。このテーブルは、例えば基準チャートを水中に持ち込んで、水深ごとに撮影して画像サンプルを取得し、カラーマッチングを行った結果の３×３マトリックスと、そのときのホワイトバランスゲインとを対応づけて作成される。
【００６７】
図９のテーブルを用いて最終的な色復元マトリックスを得るには、例えば図１０の処理を行う。まず、３×３の色復元マトリックスの各要素Matrix[j]（ｊ＝０〜９）をゼロに初期化する（ステップＳ１１）。次に、マトリックスの種類を表す変数ｉをゼロに初期化する（ステップＳ１２）。ｉ＝０であれば、図９の一番上の段のホワイトバランスゲインとマトリックスが選択され、ｉ＝３であれば、一番下の段のホワイトバランスゲインとマトリックスが選択される。
【００６８】
次に、ホワイトバランスゲインＷＢＲ，ＷＢＢの逆数と、３×３マトリックスの値とGainRまたはGainBとの積の逆数との差分dR，dBを算出する（ステップＳ１３）。
【００６９】
次に、差分dRまたはdBがゼロか否かを判定し（ステップＳ１４）、ゼロでなければ、dRとdBから重みFact[i]を算出する（ステップＳ１５）。一方、ステップＳ１４の判定がＮＯの場合には、WBR,WBBがテーブルに記録されているゲイン値と一致していることを示すので、重みFact[i]を非常に大きな固定値（１．０Ｅ＋９９）に設定する（ステップＳ１６）。
【００７０】
ステップＳ１５，Ｓ１６の処理が終わると、次に、色復元マトリックスの各要素Matrix[j]＝Matrix[j]＋Fact[i]＊Table[i]．Matrix[j]を算出する（ステップＳ１７）。次に、重みの総計値FactSum＝FactSum＋Fact[i]を算出する（ステップＳ１８）。
【００７１】
次に、図９のテーブルの最後の段まで処理を行ったか否かを判定し（ステップＳ１９）、処理を行うべきマトリックスがまだ残っていれば、変数ｉをインクリメントして（ステップＳ２０）、ステップＳ１３以降の処理を繰り返す。
【００７２】
すべての行の処理が終わった場合には、３×３マトリックスの各要素を重みFact[i]で加重平均した値を要素とする色復元マトリックスを生成する（ステップＳ２１）。
【００７３】
上述した処理手順にて、図８または図９のテーブルを用いて色復元マトリックスが生成されると、次に、色復元マトリックス乗算器８は、ホワイトバランスゲイン乗算器５の乗算結果と、生成した色復元マトリックスとを乗じる処理を行う（図２のステップＳ５）。
【００７４】
図２のステップＳ３〜Ｓ５の処理は、水中撮影を行う場合のみ行われる。ステップＳ５の処理が終わると、水中撮影と陸上撮影のどちらを行う場合も、マトリックス乗算器１０によるマトリックス乗算処理を行う（ステップＳ６）。この処理では、イメージセンサ１で撮像したＲＧＢ値をｓＲＧＢなどの色空間に変換するための色空間変換マトリックスを用いて乗算処理を行って、ピクセル値を算出する。
【００７５】
例えば、水中撮影を行う場合のステップＳ６で得られるピクセル値は、以下の（２）式で表される。
マトリックス乗算後のピクセル値＝色空間変換マトリックス×（色復元マトリックス×ホワイトバランスゲイン乗算器５の乗算結果） …（２）
【００７６】
一方、陸上撮影を行う場合のステップＳ６で得られるピクセル値は、以下の（３）式で表される。
マトリックス乗算後のピクセル値＝色空間変換マトリックス×ホワイトバランスゲイン乗算器５の乗算結果 …（３）
【００７７】
図２のステップＳ６の処理により得られたピクセル値は、図１に示すように、ガンマ処理部１１によりガンマ補正された後に映像記録部１２に記録される。
【００７８】
このように、第１の実施形態では、水中撮影時に、水中光路長またはホワイトバランスゲインに応じた色復元マトリックスを生成し、生成した色復元マトリックス、色空間変換マトリックスおよびホワイトバランスゲインを用いてピクセル値を算出するため、陸上同様に青みの少ない自然な画像が得られる。
【００７９】
本実施形態では、水深や水中光路長がわかれば比較的簡易な処理で正確な色復元処理を行えるため、カメラに組み込むことも容易で、また撮影後に画像処理ソフトウェアにて実現することも容易に行える。
【００８０】
また、水深がわからなくても、水中で色見本を撮影した結果を利用してホワイトバランスゲインを取得することによっても、正確な色復元処理を行える。
【００８１】
このように、本実施形態によれば、水中撮影時の色復元処理を自動化することができ、撮影者の手間を煩わすことなく、水中の被写体の本来の色を復元することができる。
【００８２】
（第２の実施形態）
第１の実施形態では、水中撮影時のピクセル値を計算するために、上述した（２）式による演算処理を行った。行列演算には、結合法則が成立するため、この（２）式は、以下の（４）式と同じである。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス）×ホワイトバランスゲイン乗算器５の乗算結果 …（４）
【００８３】
この（４）式では、あらかじめ、色空間変換マトリックスと色復元マトリックスの乗算処理（以下、マトリックス合成処理）を行った後に、マトリックス合成処理により得られたマトリックスとホワイトバランスゲイン乗算器５の乗算結果のピクセル値との乗算処理を行う。以下に説明する第２の実施形態は、上記の（４）式に基づいてピクセル値を算出するものである。
【００８４】
図１１は本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図である。図１１では、図１と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。
【００８５】
図１１の画像処理装置は、図１になかったものとして、マトリックス合成部２１を備えている。このマトリックス合成部２１は、色復元マトリックス生成部７で生成された色復元マトリックスと色空間変換マトリックスとを乗算する。
【００８６】
また、図１１のマトリックス乗算器１０は、マトリックス合成部２１の乗算結果とホワイトバランスゲイン乗算器５で乗算されたピクセル値とを乗算して、最終的なピクセル値を算出する。
【００８７】
図１１に破線で示す水中光路長算出部６、色復元マトリックス生成部７、マトリックス合成部２１および水中切換器９が本実施形態の主要部である。
【００８８】
この第２の実施形態においても、演算順序が異なるだけで、演算処理の内容自体は第１の実施形態と同様であるため、第１の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。
【００８９】
（第３の実施形態）
第１および第２の実施形態では、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を別個に設けたが、これらの乗算器を一つにまとめることも可能である。
【００９０】
ピクセル値を３次のベクトル（例えばＲ値、Ｇ値、Ｂ値）で表し、マトリックスを３×３とすると、ホワイトバランスゲイン乗算器５は、以下の（５）式に示すマトリックスを演算することに等しい。
【数２】
【００９１】
したがって、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を一つにまとめて、演算結果を一つのマトリックスで表現することができる。
【００９２】
上述した第２の実施形態では、（４）式に基づいてマトリックス乗算後のピクセル値を算出する旨を説明したが、（４）式は以下の（６）式のようにも書き直せる。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス）×（ホワイトバランスマトリックス×デモザイク処理後のピクセル値） …（６）
【００９３】
行列演算には、結合法則が成立するため、この（６）式は、（７）式のように書き直すことも可能である。
マトリックス乗算後のピクセル値＝（色空間変換マトリックス×色復元マトリックス×ホワイトバランスマトリックス）×デモザイク処理後のピクセル値 …（７）
【００９４】
以上の背景から、以下に説明する第３の実施形態では、ホワイトバランスゲイン乗算器５とマトリックス乗算器１０を一つにまとめて、上記（７）式に基づく演算を行うことを特徴とする。
【００９５】
図１２は本発明の第３の実施形態に係る画像処理装置の概略構成を示すブロック図である。図１２では、図１や図１１と共通する構成部分には同一符号を付しており、以下では相違点を中心に説明する。
【００９６】
図１２の画像処理装置は、図１や図１１になかった構成として、ホワイトバランスマトリックス合成部２２、第１のマトリックス合成部２３および第２のマトリックス合成部２４を有する。また、図１や図１１にはホワイトバランスゲイン乗算器５が存在したが、図１２では省略されている。
【００９７】
図１２に破線で示す水中光路長算出部６、色復元マトリックス生成部７、ホワイトバランスマトリックス生成部２２、第１のマトリックス合成部２３、水中切換器９および第２のマトリックス合成部２４が本実施形態の主要部である。
【００９８】
ホワイトバランスマトリックス生成部２２は、ホワイトバランスゲインを含む３×３マトリックスを生成する。
【００９９】
第１のマトリックス合成部２３は、色復元マトリックスとホワイトバランスマトリックスとの乗算を行う。また、第２のマトリックス合成部２４は、第１のマトリックス合成部２３の演算結果であるマトリックスと色空間変換マトリックスとの乗算を行う。これにより、第２のマトリックス合成部２４からは、上記（７）式の括弧内の演算結果が出力される。
【０１００】
次に、マトリックス乗算器１０は、デモザイク処理後のピクセル値と第２のマトリックス合成部２４の出力結果であるマトリックスとの乗算を行って、上記（７）式の演算が完了する。
【０１０１】
この第３の実施形態においても、マトリックスの演算順序が異なるだけで、演算処理の内容自体は第１および第２の実施形態と同様であるため、第１および第２の実施形態と同様に、水中撮影時の高精度の色復元処理が可能となる。
【０１０２】
（第４の実施形態）
第１〜第３の実施形態では、カメラ内に組み込むことが可能な画像処理装置について説明したが、以下に説明する第４の実施形態は、イメージセンサ１から出力されたＲＡＷデータの現像処理を行うＲＡＷ現像ソフトウェアに組み込めることが可能な画像処理装置であることを特徴とする。
【０１０３】
図１３は本発明の第４の実施形態による画像処理装置の概略構成を示すブロック図である。図１３の画像処理装置は、図１の画像処理装置と基本構成は同じであるが、ソフトウェアの形態でＲＡＷ現像ソフトウェアに組み込まれるため、イメージセンサ１やＡ／Ｄ変換器２は省略されている。その代わりに、ＲＡＷデータを取り込むための画像入力部３１を備えている。
【０１０４】
図１３の代わりに、図１１または図１２と基本構成を同じにしてもよく、その場合はそれぞれ図１４または図１５のブロック図に示す構成となる。
【０１０５】
一方、入力データがＲＡＷデータではなく、ＪＰＥＧなどの既に色空間変換がされた後のデータの場合には、図１６のようなブロック構成になる。図１６の画像処理装置は、図１３になかった構成として逆ガンマ処理部３２を有し、図１３のＯＢ減算部３、デモザイク処理部４およびマトリックス乗算器１０は省略されている。
【０１０６】
逆ガンマ処理部３２は、例えばＪＰＥＧ形式にて記録された画像データのガンマ特性と逆特性の非線形変換を行って、光量とピクセル値とが比例関係になるような処理を行う。すなわち、逆ガンマ処理部３２は、ガンマ処理部１１とは逆の処理を行う。
【０１０７】
式で表すと、逆ガンマ処理部３２は例えば以下の（８）式の処理を行い、ガンマ処理部１１は（９）式の処理を行う。
出力＝power（入力／２５５，２．２）×２５５ …（８）
出力＝power（入力／２５５，１／２．２）×２５５ …（９）
【０１０８】
このように、本発明は、ＲＡＷ現像や画像処理を行うソフトウェアに組み込むことも可能であり、水中撮影後にＰＣを用いて簡易に高精度のホワイトバランス調整を行える。
【０１０９】
上述した第１〜第３の実施形態では、カメラに組み込む例について説明したが、図１、図１１および図１２に示した構成の少なくとも一部はハードウェアで構成してもよいし、ソフトウェアで構成してもよい。また、図１等の破線で示した以外の構成については本発明の本質的な部分ではないため、種々に構成を変更してもよい。
【０１１０】
また、上述した各実施形態では、原色系のイメージセンサ１を用いる例を説明したが、補色系のイメージセンサを用いる場合にも本発明は適用可能である。
【０１１１】
上述した第１〜第４の実施形態では、色復元マトリックス乗算器８とマトリックス乗算器１０とを用いてマトリックス演算を行って水中色の復元処理を行う例を説明したが、マトリックス演算以外の色変換情報を用いて水中色の復元処理を行ってもよい。このような色変換情報を求める式のパラメータとして水中光路長を含めれば、別個に水中光路長との演算処理を行う必要がなくなり、色復元処理を簡略化できる。
【０１１２】
この場合、色復元マトリックス生成部７の代わりに、水中光路長に基づいて色復元情報を生成する色復元情報生成部を設け、かつ、マトリックス乗算器１０の代わりに、色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正部を設けることになる。
【０１１３】
色変換情報の一例としては、色と色とを対応づけるカラーマッピングを使用することが考えられる。このようなカラーマッピングでは、水中光路長ごとに色変換マップを設けるか、色変換の式の中に直接的に水中光路長の乗算を含む場合には、一種類の色変換マップを設けるだけで済み、メモリ容量を削減できる。
【図面の簡単な説明】
【０１１４】
【図１】本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図。
【図２】図１の主要部であるホワイトバランスゲインの乗算からマトリックスの乗算結果を得るまでの処理手順を詳細に示すフローチャート。
【図３】グレーのシールを貼付したフィンの一例を示す外観図。
【図４】グレーパターンの周囲にバーコードを配置したシールの一例を示す平面図。
【図５】水中ハウジングを展開した状態を示す図。
【図６】水中ハウジングにカメラを収納して閉じた状態を示す図。
【図７】水中透過光のＣＩＥ１９３１ｘｙ色座標を示す図。
【図８】テーブルの一例を示す図。
【図９】他のテーブルの一例を示す図。
【図１０】図９のテーブルを利用して色復元マトリックスを生成する処理手順の一例を示すフローチャート。
【図１１】本発明の第２の実施形態による画像処理装置の概略構成を示すブロック図。
【図１２】本発明の第３の実施形態に係る画像処理装置の概略構成を示すブロック図。
【図１３】本発明の第４の実施形態による画像処理装置の概略構成を示すブロック図。
【図１４】図１３の変形例を示すブロック図。
【図１５】図１３の変形例を示すブロック図。
【図１６】色空間変換がされた後のデータを入力する場合の画像処理装置の概略構成を示すブロック図。
【符号の説明】
【０１１５】
１ イメージセンサ
２ Ａ／Ｄ変換器
３ ＯＢ減算器
４ デモザイク処理部
５ ホワイトバランスゲイン乗算器
６ 水中光路長算出部
７ 色復元マトリックス生成部
８ 色復元マトリックス乗算器
９ 水陸切換器
１０ マトリックス乗算器
１１ ガンマ処理部
１２ 映像記録部
２１ マトリックス合成部
２２ ホワイトバランスマトリックス生成部
２３ 第１のマトリックス合成部
２４ 第２のマトリックス合成部
３１ 画像入力部
３２ 逆ガンマ処理部
【特許請求の範囲】
【請求項１】
被写体光の水中光路長を算出する水中光路長算出手段と、
算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、
前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記色復元情報生成手段は、色と色とを対応づけるカラーマッピングを使用して前記色復元情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体光の水中光路長を算出する水中光路長算出手段と、
算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。
【請求項４】
水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、
設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。
【請求項５】
水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、
設定された前記ホワイトバランスゲインに基づいて、被写体の光源色を算出する光源色算出手段と、を備え、
前記水中光路長算出手段は、前記光源色算出手段にて算出された光源色に基づいて、被写体光の水中光路長を算出することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項６】
前記水中光路長算出手段は、所定の色温度を持つ完全放射体または地上に降り注ぐ光の平均値から算出された昼光からの光が水面に降り注ぐ場合における、水中光路長と色座標との対応関係を示すデータを参照して、前記光源色算出手段にて算出された光源色を用いて被写体光の水中光路長を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記光源色算出手段は、前記ホワイトバランスゲインを与えた場合に光源色が無彩色になる条件に基づいて、光源色を算出することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記ホワイトバランス設定手段は、水中で無彩色の被写体を撮像装置により撮像して得られた画像の色が本来の無彩色になるように前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記ホワイトバランス設定手段は、撮像装置に取り付けられたホワイトバランスを測定可能な環境光センサにて検出された情報に基づいて前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１０】
撮像装置による撮像が水中で行われたのか、あるいは陸上で行われたのかを選択する水陸選択手段を備え、
前記ホワイトバランス設定手段は、前記水陸選択手段の選択結果に応じて、前記撮像装置で撮像されて入力されたピクセル値に対して画像処理を行って、水中撮影に対応した前記ホワイトバランスゲイン、または陸上撮影に対応した前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１１】
水中光路長または水深に関する情報を入力する水中光路長情報入力手段を備え、
前記ホワイトバランス設定手段は、入力された前記情報に基づいて、前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１２】
水深を測定する水深測定手段を備え、
前記水中光路長算出手段は、前記水深測定手段にて測定された水深に基づいて、被写体光の水中光路長を算出することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項１３】
前記入力されたピクセル値は、ＲＡＷデータであり、
前記マトリックス乗算手段は、前記ＲＡＷデータに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記ＲＡＷデータに対応するピクセル値を算出することを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
【請求項１４】
前記入力されたピクセル値は、所定の画像ファイル形式からなる画像データを入力光量と比例関係になるようにガンマ変換されたものであり、
前記マトリックス乗算手段は、前記画像データに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記画像データに対応するピクセル値を算出することを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
【請求項１】
被写体光の水中光路長を算出する水中光路長算出手段と、
算出された水中光路長に基づいて色復元情報を生成する色復元情報生成手段と、
前記色復元情報とホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するピクセル値補正手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記色復元情報生成手段は、色と色とを対応づけるカラーマッピングを使用して前記色復元情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体光の水中光路長を算出する水中光路長算出手段と、
算出された水中光路長に基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスとホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。
【請求項４】
水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、
設定された前記ホワイトバランスゲインに基づいて色復元マトリックスを生成する色復元マトリックス生成手段と、
前記色復元マトリックスと前記ホワイトバランスゲインとに基づいて、入力されたピクセル値を補正するマトリックス乗算手段と、を備えることを特徴とする画像処理装置。
【請求項５】
水中撮影時の被写体周辺のホワイトバランスゲインを設定するホワイトバランス設定手段と、
設定された前記ホワイトバランスゲインに基づいて、被写体の光源色を算出する光源色算出手段と、を備え、
前記水中光路長算出手段は、前記光源色算出手段にて算出された光源色に基づいて、被写体光の水中光路長を算出することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項６】
前記水中光路長算出手段は、所定の色温度を持つ完全放射体または地上に降り注ぐ光の平均値から算出された昼光からの光が水面に降り注ぐ場合における、水中光路長と色座標との対応関係を示すデータを参照して、前記光源色算出手段にて算出された光源色を用いて被写体光の水中光路長を算出することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記光源色算出手段は、前記ホワイトバランスゲインを与えた場合に光源色が無彩色になる条件に基づいて、光源色を算出することを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記ホワイトバランス設定手段は、水中で無彩色の被写体を撮像装置により撮像して得られた画像の色が本来の無彩色になるように前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項９】
前記ホワイトバランス設定手段は、撮像装置に取り付けられたホワイトバランスを測定可能な環境光センサにて検出された情報に基づいて前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１０】
撮像装置による撮像が水中で行われたのか、あるいは陸上で行われたのかを選択する水陸選択手段を備え、
前記ホワイトバランス設定手段は、前記水陸選択手段の選択結果に応じて、前記撮像装置で撮像されて入力されたピクセル値に対して画像処理を行って、水中撮影に対応した前記ホワイトバランスゲイン、または陸上撮影に対応した前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１１】
水中光路長または水深に関する情報を入力する水中光路長情報入力手段を備え、
前記ホワイトバランス設定手段は、入力された前記情報に基づいて、前記ホワイトバランスゲインを設定することを特徴とする請求項４乃至７のいずれかに記載の画像処理装置。
【請求項１２】
水深を測定する水深測定手段を備え、
前記水中光路長算出手段は、前記水深測定手段にて測定された水深に基づいて、被写体光の水中光路長を算出することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項１３】
前記入力されたピクセル値は、ＲＡＷデータであり、
前記マトリックス乗算手段は、前記ＲＡＷデータに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記ＲＡＷデータに対応するピクセル値を算出することを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
【請求項１４】
前記入力されたピクセル値は、所定の画像ファイル形式からなる画像データを入力光量と比例関係になるようにガンマ変換されたものであり、
前記マトリックス乗算手段は、前記画像データに応じたピクセル値と、前記色復元マトリックスと、前記ホワイトバランスゲインと、色空間変換マトリックスとを乗じることにより、前記画像データに対応するピクセル値を算出することを特徴とする請求項１乃至１２のいずれかに記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２２７９５１（Ｐ２００８−２２７９５１Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６３８９２（Ｐ２００７−６３８９２）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５９６０４６１１８）株式会社市川ソフトラボラトリー (19)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（５９６０４６１１８）株式会社市川ソフトラボラトリー (19)
【Ｆターム（参考）】
[ Back to top ]