ホワイトバランス制御装置、ホワイトバランス制御方法
【課題】複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味が揃うホワイトバランス制御装置、ホワイトバランス制御方法を提供する。
【解決手段】撮像装置１００は、外部の撮像装置（１０１〜１０３）からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
【解決手段】撮像装置１００は、外部の撮像装置（１０１〜１０３）からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ、デジタルスチルカメラなどに用いられるホワイトバランス制御装置、及び、ホワイトバランス制御方法に関するものである。
【背景技術】
【０００２】
従来、複数のカメラで協調して撮影し、撮影した画像をカメラ間で通信して画像を共有するシステムが提案されている（例えば、特許文献１参照）。
このようなシステムにおいて、協調して撮影を行うカメラは、撮影前にホワイトバランス調整を行い、それぞれのカメラが適正な色味を再現できるようにしている。ホワイトバランスの調整とは、或る白い被写体を撮影し、そのときのＣＣＤ（Charge Coupled Device）などの撮像素子の色情報Ｒ、Ｇ、Ｂの出力レベルの比率が１：１：１となるような補正を行うことである。具体的には、白い被写体から得られた色情報の中のＧの出力レベルを１として、ＲとＢの出力レベルがそれぞれＧと同等になるまで補正をかけることでＲ、Ｇ、Ｂの出力レベルが１：１：１になるように調整を行っている。
【０００３】
前述のように、複数のカメラで協調して撮影する場合には、それぞれのカメラでホワイトバランス調整を行う必要があり、通常は、白い壁などの被写体を利用してカメラ毎にホワイトバランス調整を行うことが考えられる。
【０００４】
しかし、特に屋外での撮影などでは、撮影位置やアングルによっては、ホワイトバランスの制御に用いる白い被写体が撮像画像中に存在しない場合もしばしば発生する。
図１２は、撮影アングルの違う３台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。図１２（ａ），（ｂ）は、被写体として白が含まれないシーンの例である。一方、図１２（ｃ）は、背景に白の建物１２０１が含まれている。
このように、同一の被写体を撮影している場合であっても撮影アングルの違いにより白い被写体が含まれたり、含まれなかったりする。図１２（ｃ）の撮影アングルの場合は、背景にある白の建物１２０１を利用してホワイトバランスを適切に制御することが可能である。一方、図１２（ａ），（ｂ）のように白い被写体が含まれない場合は、輝度など他の情報を利用して被写体の色温度を推定して、ホワイトバランス制御を行っている。あるいは、ホワイトバランス調整用の白色の板や紙などを常備し、設置場所で簡易的にホワイトバランス調整を行うことで対応している。しかし、このような方法は、ホワイトバランス調整を行うためだけに、白色の板や紙を常に持ち歩く必要があり、少しでも撮影機材を減らして機動性を高めたいという撮影者の意図に反する。
【０００５】
このように、白い被写体が含まれないカメラであっても白色の板などを利用して調整することなく、適切にホワイトバランス制御が行えるカメラが求められている。また、複数のカメラで撮影するときに、カメラ毎にホワイトバランスの制御が異なっていることは、好ましくない。すなわち、カメラ毎にホワイトバランスの制御が異なっていると、複数のカメラで撮影した画像を一度に表示する場合に、カメラ毎に色味が異なって見えるなどの問題が発生する。
このような問題を解決するために、複数のカメラで協調して撮影するとき、１台のカメラのホワイトバランス情報を基準データとして、その情報を他の電子カメラと共有化するという手法が開示されている（例えば、特許文献２参照）。
【特許文献１】特開２００３−１１０９９９号公報
【特許文献２】特開２００４−３４９９５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２のような手法では、セッティング時間の短縮や調整の手間の軽減は図れるが、どのカメラに合わせるかは、ユーザが判断し、手動で操作する必要があり、操作が煩雑であった。また、被写体が移動したり、光源の条件が変化したりする場合には、手動による操作では、これらの変化に対応することが困難であった。
【０００７】
本発明の課題は、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味が揃うホワイトバランス制御装置、ホワイトバランス制御方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面としてのホワイトバランス制御装置は、外部装置と通信を行う通信部と、前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部とを備える。
【０００９】
本発明の第２の側面としてのホワイトバランス制御方法は、他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する。
【発明の効果】
【００１０】
本発明によれば、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味を揃えることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
【００１２】
（第１実施形態）
図１は、第１実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、動作などを示して説明を行うが、これらは、適宜変更することができる。
撮像装置１００，１０１，１０２，１０３は、デジタルビデオカメラやデジタルスチルカメラなどのカメラである。
本実施形態では、撮像装置１００〜１０３を使用し、これら複数の撮像装置が協調して撮影を行う。これら撮像装置の内、撮像装置１００は、複数の撮像装置同士の制御を統括する親機である。撮像装置１０１〜１０３は、親機である撮像装置１００によって制御される子機である。各撮像装置は、無線もしくは有線で接続されており、親機（１００）と子機（１０１〜１０３）の間で後述するホワイトバランス情報をやりとりすることが可能である。
【００１３】
次に、撮像装置１００〜１０３の詳細について説明する。
図２は、撮像装置１００〜１０３のブロック図である。なお、図１では、親機と子機とを区別して示したが、本実施形態の撮像装置１００〜１０３は、同一の形態をしており、親機として動作するか子機として動作するのかは、使用者の設定により決められる。したがって、撮像装置１００〜１０３は、そのブロック構成が共通となっている。
撮像装置１００〜１０３は、撮像系２０１，輝度・色信号生成部２０２，輝度処理部２０３，ホワイトバランス増幅部２０４，色処理部２０５，圧縮符号化部２０６，記録部２０７，座標変換部２０８，白抽出部２０９，通信部２１０，ホワイトバランス制御部２２０を備えている。
【００１４】
撮像系２０１は、被写体の光束を結像するレンズを含む不図示の撮影光学系と、撮影光学系により結像した被写体像を光電変換して出力するセンサ部である不図示の撮像素子とを有している。撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary
Metal Oxide Semiconductor）イメージセンサなどを用いることができる。また、本実施形態では、撮像系２０１が有する撮像素子は、後述するホワイトバランスゲインの算出に必要な光源情報を取得する役割も果たしている。撮像系２０１は、撮像素子により得られた情報を輝度・色信号生成部２０２へ送信可能に接続されている。
輝度・色信号生成部２０２は、撮像系２０１で生成された信号を輝度信号（Y）と色信号（R、G、B）に変換する部分である。輝度・色信号生成部２０２は、上記信号を輝度処理部２０３，色処理部２０５，座標変換部２０８へ送信可能に接続されている。
【００１５】
輝度処理部２０３は、輝度・色信号生成部２０２から出力される輝度信号（Y）に対して、輪郭強調やガンマ処理などを行う部分である。輝度処理部２０３は、上記処理後の信号を圧縮符号化部２０６へ送信可能に接続されている。
ホワイトバランス増幅部２０４は、輝度・色信号生成部２０２から出力される色信号（R、G、B）をホワイトバランスゲインに従って増幅する部分である。ホワイトバランス増幅部２０４が色信号（R、G、B）を増幅するときに用いるホワイトバランスゲインは、後述するホワイトバランス制御部２２０から受け取る。ホワイトバランス増幅部２０４は、増幅した信号を色処理部２０５へ送信可能に接続されている。
【００１６】
色処理部２０５は、色差信号（R-Y、B-Y）の生成、カラーバランス調整などを行う部分である。色処理部２０５は、上記色処理後の信号を圧縮符号化部２０６へ送る。
圧縮符号化部２０６は、画像信号を圧縮符号化する部分である。圧縮符号化部２０６は、圧縮符号化した画像信号を記録部２０７及び通信部２１０へ送信可能に接続されている。
記録部２０７は、画像信号をメモリカードなどの記録媒体に記録する部分である。
座標変換部２０８は、輝度・色信号生成部２０２から出力された色信号（R、G、B）を輝度・色差信号（Y，R−Y、B−Y）に変換する部分である。座標変換部２０８は、輝度・色差信号（Y，R−Y、B−Y）を白抽出部２０９へ送信可能に接続されている。
【００１７】
白抽出部２０９は、輝度信号（Y）、色差信号（R−Y、B−Y）から白色（無彩色）に近い信号を抽出する部分である。白抽出部２０９は、抽出した結果をホワイトバランス制御部２２０へ送信可能に接続されている。
通信部２１０は、外部装置と通信を行う部分であり、本実施形態では、各撮像装置１００〜１０３間で通信を行う。なお、通信部２１０の通信方法は、特定周波数の電磁波や光通信を用いた無線通信であってもよいし、各撮像装置間の一部又は全部をケーブルで接続して有線で行ってもよい。通信部２１０は、通信結果を必要に応じてホワイトバランス制御部２２０や記録部２０７へ送信可能に接続されている。
【００１８】
ホワイトバランス制御部２２０は、ホワイトバランス増幅部２０４が色信号（R、G、B）を増幅するときに用いるホワイトバランスゲインに関する各種制御を行う部分であり、ホワイトバランス制御装置としての主要部を形成する。ホワイトバランス制御部２２０は、ゲイン算出部２２１，信頼度算出部２２２，ホワイトバランス情報取得部２２３，ゲイン決定部２２４，ゲイン補正部２２５を含んでいる。
ゲイン算出部２２１は、撮像系２０１のセンサである撮像素子から、輝度・色信号生成部２０２，座標変換部２０８，白抽出部２０９を介して得た光源情報から、自機のホワイトバランスゲインを算出する部分である。なお、自機とは、当該撮像装置自体を指しており、通信部２１０を介して通信する通信対象である外部装置としての撮像装置（他機）と区別して示すものである。
信頼度算出部２２２は、ゲイン算出部２２１が算出した自機のホワイトバランスゲインの信頼度に関する情報である自機のホワイトバランス信頼度情報を算出する部分である。ホワイトバランスゲインの信頼度については、後述する。
【００１９】
ホワイトバランス情報取得部２２３は、通信部２１０を介して外部装置である他の撮像装置（例えば、撮像装置１００から見て、撮像装置１０１〜１０３）と通信を行い、ホワイトバランス情報を取得する部分である。ここで、本実施形態では、ホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報とを含んでいる。
ゲイン決定部２２４は、ホワイトバランスゲインの信頼度に基づいて、ホワイトバランス増幅部２０４が用いるホワイトバランスゲインとして採用するホワイトバランスゲインを決定する部分である。
ゲイン補正部２２５は、ゲイン決定部２２４が決定したホワイトバランスゲインとなるように、自機のホワイトバランスゲインを補正する部分である。
【００２０】
次に、本実施形態の撮像装置の動作について説明する。
撮像系２０１では、撮影光学系を通して入射された光を撮像素子で光電変換し、画像信号を輝度・色信号生成部２０２に出力する。
輝度・色信号生成部２０２は、入力した画像信号から輝度信号（Y）、色信号（R、G、B）を生成し、輝度信号は、輝度処理部２０３へ、色信号は、ホワイトバランス増幅部２０４へ出力する。
輝度処理部２０３は、輝度信号に対して輪郭強調やガンマ処理などを施す。
ホワイトバランス増幅部２０４では、ホワイトバランスゲイン制御部２２０から出力されるホワイトバランスゲインに基づき色信号（R、G、B）を増幅し、増幅された色信号を色処理部２０５へ出力する。
色処理部２０５では、色信号（R、G、B）から色差信号（R−Y、B−Y）を生成するとともに、カラーバランス調整などの色処理を施し、色差信号を圧縮符号化部２０６へ出力する。
【００２１】
圧縮符号化部２０７は、画像信号をＪＰＥＧ形式やＭＰＥＧ形式など所定の形式で圧縮符号化し記録部２０７へ出力する。
記録部２０７では、圧縮符号化された画像データをメモリカードなどの記録媒体に記録する。また、圧縮符号化部２０６で圧縮符号化された画像データは、通信部２１０にも送信される。
通信部２１０は、画像データを協調撮影している他の撮像装置に送信する。
座標変換部２０８は、輝度・色信号生成部２０２から出力された色信号（R、G、B）を輝度・色差信号（Y，R−Y、B−Y）に変換し白抽出部２０９へ出力する。
【００２２】
白抽出部２０９は、輝度信号（Y）、色差信号（R−Y、B−Y）から白色（無彩色）に近い信号を抽出する。
図３は、白色として抽出する白抽出範囲の例を示した図である。
図３では、色差（R−Y、B−Y）平面を示しており、白（無彩色）に近い色の範囲である白抽出範囲３０１が図示されている。
白抽出部２０９は、所定の輝度範囲に含まれる信号であり、且つ白抽出範囲３０１内に含まれる信号を抽出する。また、抽出した色信号の平均値（白抽出平均値）と白抽出した白色信号の量（白色量）を算出し、ホワイトバランスゲイン制御部２２０に出力する。
【００２３】
ホワイトバランスゲイン制御部２２０は、白抽出部２０９の白抽出結果に基づき、ゲイン算出部２２１により自機のホワイトバランスゲインを算出するとともに、信頼度算出部２２２がそのホワイトバランスゲインの信頼度に関する自機のホワイトバランス信頼度情報を算出する。また、ホワイトバランス情報取得部２２３が通信部２１０を介して他の撮像装置が算出した外部のホワイトバランスゲイン情報及び外部のホワイトバランス信頼度情報を取得する。これらの情報に基づき、ゲイン決定部２２４は、採用するホワイトバランスゲインを決定する。ゲイン補正部２２５は、ゲイン決定部２２４が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正し、補正後のホワイトバランスゲインをホワイトバランス増幅部２０４に設定する。
また、決定したホワイトバランスゲインに関する情報は、ホワイトバランス情報として通信部２１０に出力され、他の撮像素子に送信される。なお、ホワイトバランスゲイン決定の詳細については、後述する。
ホワイトバランス増幅部２０４は、設定されたホワイトバランスゲインに従ってＲＧＢ信号を増幅する。
以上が図２に示した撮像装置（１００〜１０３）の基本動作である。
【００２４】
次に、複数の撮像装置（１００〜１０３）間でどのような情報のやり取りを行うかの流れを説明する。撮像装置間の通信は、大きく分けると以下の３つの段階で行う。
（１）子機の送信動作：子機は、ホワイトバランス情報を親機に送る。
（２）親機の動作：親機は、ホワイトバランス情報から最も信頼度が高いものを選択し、子機に送信。
（３）子機の受信動作：子機は、受け取ったホワイトバランス情報に基づきホワイトバランスゲインを設定。
以下、上記の各段階に対応する詳細な動作について説明する。
【００２５】
（１）子機の送信動作
まず、図２に示す構成の撮像装置が図１の子機１０１〜１０３として動作する場合について説明する。
図４は、ホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
ステップ（以下、Ｓとする）４０１では、ゲイン算出部２２１で自機のホワイトバランスゲインを算出する。ゲイン算出部２２１が算出するホワイトバランスゲインは、白抽出部２０９で抽出した白色の平均値（Ｒ−Ｙ，Ｂ−Ｙ）をＲＧＢ値に変換し、このＲＧＢ値の比率が１：１：１になるようなＲゲインとＢゲインである。
【００２６】
Ｓ４０２では、算出したホワイトバランスゲインからホワイトバランス補正量を算出する。本実施形態では、ホワイトバランス補正量として色温度を利用する。ホワイトバランス補正量について、以下に図５を用いて説明する。
図５は、ホワイトバランスゲインの制御状態を示す図である。
図５において、横軸は、ホワイトバランスのＲゲインを示し、縦軸は、Ｂゲインを示している。曲線５００は、黒体放射軸を示している。撮像装置が採り得るホワイトバランスゲインは、基本的には、この黒体放射軸（曲線５００）上を動くように制御される。また、黒体放射軸上の位置から被写体の色温度を算出できる。図５の例では、曲線５００上のＰ５０１は、色温度が２０００Ｋ、Ｐ５０２は、７０００Ｋの位置を示している。また、Ｐ５０３は、現在制御されているホワイトバランスゲイン状態を示している。この黒体放射軸上の位置から色温度を算出する。この例では、Ｐ５０３は、４０００Ｋである。このようにホワイトバランスゲイン値そのものを使うのではなく、補正量として色温度を利用する理由は、ＣＣＤなどの撮像素子のばらつきを吸収するためである。撮像素子は、製造誤差によってそれぞれ特性に若干のばらつきを有している。そのため、同じゲインの値を設定しても全ての撮像装置で同じ色味になるとは限らない。そこで、共通の指標であるホワイトバランス補正量（色温度）を用いてばらつきを吸収する。
【００２７】
図４に戻って、Ｓ４０３では、Ｓ４０１で算出したホワイトバランスゲインの信頼度を算出する。具体的には、白抽出部２０９において抽出した白色と思われる色の量から信頼度を算出する。画面全体の画素数に対して白と判断した画素数が多いとき信頼度は、高くなり、白と判断した画素数が少ないとき信頼度は、低くなる。すなわち、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される。そして、白色が占める割合が多いほど信頼度が高くなる。例えば、画面全体の画素数に対して白と判断した画素数が半分を占める場合、信頼度を５０％として定義できる。
先に示した図１２の例では、白色を含まない（ａ），（ｂ）の構図の撮像装置のホワイトバランスゲインの信頼度は、低くなり、背景に白色を含む（ｃ）の構図のホワイトバランスゲインの信頼度は、高くなる。また、自機がホワイトバランスを白板などを用いて撮影者がマニュアル（手動）調整している場合は、信頼度を最大に補正する。
【００２８】
Ｓ４０４では、算出したホワイトバランス補正量である色温度をホワイトバランスゲイン情報として含み、かつ、その信頼度をホワイトバランス信頼度情報として含むホワイトバランス情報を、通信部２１０を介して親機に送信する。
【００２９】
（２）親機の動作
次に、図２に示す撮像装置が、図１の親機１００として動作する場合について説明する。
図６は、親機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
Ｓ６０１では、自機のホワイトバランスゲイン、ホワイトバランス補正量（色温度）、ホワイトバランスゲインの信頼度を算出する。算出方法は、子機における図４のＳ４０１〜Ｓ４０３の処理と同様である。
【００３０】
Ｓ６０２では、前述のように子機から送信されたホワイトバランス情報（ホワイトバランス補正量と信頼度）を、通信部２１０を介して取得する。
Ｓ６０３では、自機（ここでは、親機）、子機を含む全ての撮像装置の中から最もホワイトバランスゲインの信頼度の高い撮像装置を選択する。また、当該選択された撮像装置のホワイトバランス補正量を自機及び他の子機が使用するホワイトバランス補正量に決める。さらに、上述のようにして決めたホワイトバランス補正量（色温度）からホワイトバランスゲインを算出し（図５）、自機のホワイトバランスゲインをこれに合わせて補正する。
Ｓ６０４では、Ｓ６０３で選択した信頼度の高い撮像装置のホワイトバランス補正量を、通信部２１０を介して子機に送信する。
【００３１】
（３）子機の受信動作
次に、親機から送信されたホワイトバランス補正量に基づき子機がホワイトバランス補正を行う処理について説明する。
図７は、子機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
Ｓ７０１では、前述のように親機から送信されたホワイトバランス補正量を、通信部２１０を介して取得する。
Ｓ７０２では、親機から送信されたホワイトバランス補正量（色温度）と自機で算出したホワイトバランス補正量（色温度）とを比較する。
【００３２】
図８は、ホワイトバランス補正の閾値を示す図である。
図８においてＰ８０１は、自機で算出した色温度である。また、Ｐ８０２、Ｐ８０３は、親機から送信された信頼度の高い撮像装置の色温度である。図７のＳ７０２では、自機で算出した色温度Ｐ８０１に対して、親機から取得した信頼度の高い色温度が閾値以上離れているか否かを判定する。Ｐ８０２に示すように閾値内であればＳ７０３に進み、Ｐ８０３に示すように閾値以上離れていればＳ７０５に進む。
【００３３】
図７に戻って、Ｓ７０３では、親機から取得したホワイトバランス補正量（色温度）からホワイトバランスゲインを算出する。ホワイトバランスゲインは、各撮像装置におけるホワイトバランスゲインと色温度の関係（図５）から算出する。補正量からホワイトバランスゲインを算出することで、前述のように撮像素子の特性のばらつきを吸収することが可能となる。
Ｓ７０４では、Ｓ７０３で算出したホワイトバランスゲインを自機に設定する。一方、Ｓ７０５では、自機で算出したホワイトバランスゲインを自機に設定する。
このように、自機で算出したホワイトバランス補正量と、親機から送信された信頼度の高いホワイトバランス情報とが大きく異なる場合は、自機のホワイトバランス情報を優先して使用する。これは、異なる被写体を撮影している可能性が高いからである。
【００３４】
次に、親機及び子機がホワイトバランス補正量及び信頼度を送受信するタイミングについて説明する。
図９は、親機（１００）及び子機（１０１，１０２）の動作を示すシーケンス図である。なお、図１に示したもう一台の子機（１０３）については、図示を省略する。また、以下では、子機（１０１，１０２）をそれぞれ子機１，２として説明する。
図９において、Ｓ９０１からＳ９１２は、図１に示すような複数の撮像装置間のネットワークが確立したタイミングでホワイトバランス情報を送受信する例を示している。
【００３５】
Ｓ９０１，Ｓ９０２，Ｓ９０３では、親機と子機１，２が相互に通信ネットワークを介して接続を確立する。これにより、親機と子機１，２は、画像やホワイトバランス情報を送受信できる状態になる。Ｓ９０４，Ｓ９０５，Ｓ９０６では、同一の通信ネットワークに接続している全ての撮像装置（この場合は、親機及び子機１，２）でホワイトバランス補正量と信頼度を算出する。この算出処理は、撮像装置間の接続が確立されてから一定時間後に行う。また、ホワイトバランス補正量及び信頼度の算出方法に関しては、前述の通りである。
Ｓ９０７では、子機１，２が算出したホワイトバランス補正量と信頼度を親機に送信する。
Ｓ９０８では、親機は、自機を含むホワイトバランスゲインの信頼度の中から最も信頼度の高い撮像装置を選択する。
Ｓ９０９では、親機がＳ９０８で選択した最も信頼度の高いホワイトバランス補正量を子機１，２に出力する。Ｓ９１０，Ｓ９１１，Ｓ９１２では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
【００３６】
また、図９において、Ｓ９２０からＳ９２７は、白板などを利用してホワイトバランスをマニュアル調整されたタイミングでホワイトバランスの情報を送受信する例を示している。
Ｓ９２０では、使用者により子機２がホワイトバランスをマニュアル（手動）で調整される。
Ｓ９２１では、子機２においてホワイトバランスの補正量と信頼度を算出する。このとき、前述したように、子機２のホワイトバランスゲインの信頼度が高くなる。
Ｓ９２２では、子機２がホワイトバランス補正量及び信頼度を親機に対して送信する。
Ｓ９２３では、親機が、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択する。この場合、マニュアル調整している子機２が最も信頼度が高くなる。
Ｓ９２４では、最も信頼度が高いホワイトバランス補正量を親機から子機１，２に送信する。
Ｓ９２５，Ｓ９２６，Ｓ９２７では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
【００３７】
以上説明したように、本実施形態によれば、撮像装置は、外部の撮像装置からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が存在しない場合であっても、他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度が向上する。
また、複数の撮像装置間で通信ネットワークを構成し画像を共有するときに、ホワイトバランスを揃えることができ、撮像装置間の色味のばらつきを低減させることができる。
【００３８】
（第２実施形態）
図１０は、第２実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
第２実施形態は、自機のホワイトバランスゲインの信頼度が低い場合に、他の撮像装置からホワイトバランス情報を取得する形態である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第２実施形態の撮像装置１０００，１００１，１００２は、第１実施形態の撮像装置１００〜１０３と同様のカメラである。これらは、第１実施形態のものと同様の形態をしているが、親機、子機の関係が無い点が異なる。また、各撮像装置は、無線もしくは有線で接続されており、各撮像装置の間でホワイトバランス情報をやりとりすることが可能である点は、第１実施形態と同様である。
【００３９】
次に、撮像装置１０００〜１００２の詳細について説明する。撮像装置１０００〜１００２の構成は、第１実施形態で説明した図２と同一の形態であるため詳細な説明は省略する。また、画像を撮像するときの基本動作に関しても第１実施形態と同様であるため詳細な説明は省略する。ただし本実施形態では、ホワイトバランス制御部２２０（図２参照）の動作が第１実施形態と異なる。以下、ホワイトバランス制御部２２０の動作について説明する。
【００４０】
図１１は、ホワイトバランス制御部２２０の動作を示したフローチャートである。
Ｓ１１０１では、撮像装置は、自機のホワイトバランス補正量及び信頼度を算出する。算出方法は、第１実施形態で説明した方法と同様である。
Ｓ１１０２では、算出した自機のホワイトバランスゲインの信頼度が予め定めた閾値以上であるか判定する。閾値以上である場合は、Ｓ１１０３へ進み、信頼度が閾値よりも小さい場合は、Ｓ１１０４に進む。第２実施形態では、第１実施形態と同様に、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出されている。よって、ここで使用する閾値には、例えば、被写体画像中で白色が占める割合が２０％というように設定することができる。
Ｓ１１０３では、自機で算出したホワイトバランス補正量に基づきホワイトバランスゲインを設定する。
【００４１】
一方、Ｓ１１０４では、自機から見て外部装置である他の撮像装置（他機）に対してホワイトバランス情報（ホワイトバランス補正量及び信頼度）を送信するように通信部２１０を介して要求を出す。ホワイトバランス情報の送信を要求された他機は、第１実施形態の図４で説明した内容と同様の処理を行い、ホワイトバランス情報（ホワイトバランス補正量及び信頼度）を送信する。
Ｓ１１０５では、他機から送信されたホワイトバランス情報（ホワイトバランス補正量及び信頼度）を取得する。
Ｓ１１０６では、信頼度が最も高い撮像装置を選択する。
Ｓ１１０７では、信頼度が最も高い撮像装置が算出したホワイトバランス補正量に基づきホワイトバランスゲインを自機に設定する。
これにより、自機のホワイトバランスゲインの信頼度が低いときのみ、他機のホワイトバランス情報を取得して補正を行うことが可能となる。
【００４２】
以上説明したように、本実施形態の撮像装置は、自機のホワイトバランスゲインの信頼度を算出し、自機のホワイトバランスゲインの信頼度が所定の閾値よりも小さい場合に、他機から取得したホワイトバランス補正量及び信頼度に基づき、自機のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が少ない場合であっても他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度を向上できる。
【００４３】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、通信部２１０が通信するホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報との両方を含む例を示した。しかし、本発明の実施形態は、これに限らず、例えば、必要に応じて適宜ホワイトバランスゲイン情報とホワイトバランス信頼度情報とを選択的に通信してもよい。
【００４４】
（２）各実施形態において、ホワイトバランス制御部２２０のゲイン決定部２２４は、ホワイトバランスゲインの信頼度が最も高いホワイトバランスゲインを、採用するホワイトバランスゲインとした例を示した。しかし、本発明の実施形態は、これに限らず、ホワイトバランスゲインの信頼度に基づいて、採用するホワイトバランスゲインを演算などにより決定してもよい。例えば、ホワイトバランスゲインの信頼度に応じて、各ホワイトバランスゲインに重み付けをする演算を行って、採用するホワイトバランスゲインを決定してもよい。
【００４５】
（３）各実施形態において、自機のホワイトバランスゲインを算出するために用いる光源情報は、撮像素子から得る例を示したが、これに限らず、例えば、別途設けたいわゆる外光センサから得た光源情報を用いてホワイトバランスゲインを算出してもよいし、これらを組み合わせてもよい。
【００４６】
（４）各実施形態において、いずれも同一の形態をした撮像装置を通信可能に接続して使用する例を示した。しかし、これに限らず、例えば、撮影機能を持たず各撮像装置を統括的に制御する機能を有したホワイトバランス制御装置を含めて通信ネットワークを構築してもよい。この場合、例えば図２の一体化された装置が、ホワイトバランス制御部２２０と、それ以外の撮像装置としての機能部が分離された構成になる。そして撮像装置のブロックとホワイトバランス制御部２２０がネットワークを介して接続され、ホワイトバランス制御部２２０が統括的な機能を実行する。
【００４７】
（５）第１実施形態では、親機から送信されたホワイトバランス補正量が自機のホワイトバランス補正量と比較して閾値以上異なっていた場合、自機のホワイトバランス補正量を採用する例について説明した。これに限らず、例えば、自機のホワイトバランス補正量と比較して閾値以上異なっていた場合には、子機は、親機に対して次に（２番目に）信頼度が高いホワイトバランス情報を送信するように要求する制御を行ってもよい。
【００４８】
（６）第１実施形態では、ホワイトバランスの信頼度は、画像中の白色と思われる色の量（撮像した被写体画像中で白色が占める割合）と、マニュアル（手動）調整の有無とを用いて判断する例を示した。しかし、これに限らず、これ以外の情報から信頼度を算出してもよい。例えば、ホワイトバランスゲインの時間的な変化量に基づき信頼度を算出してもよい。この場合、時間的な変化量が小さければ、安定していると判断できるので、信頼度が高くなり、時間的な変化量が大きい場合に信頼度が低くなる。
【００４９】
（７）第１実施形態では、親機は、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択するが、信頼度が同じ撮像装置が複数ある場合は、信頼度を算出した時間が最も新しいものを選択するような制御を加えてもよい。
【００５０】
（８）第１実施形態では、親機と子機の間で接続が確立した時、及び、ネットワーク内の撮像装置がマニュアルでホワイトバランスを設定されたときに、ホワイトバランス情報（ホワイトバランス補正量及び信頼度）を通信する例について説明した。しかし、ホワイトバランス情報を取得したり送信したりする通信タイミングをこれらに限定するものではない。
例えば、通信が確立してから所定時間が経過した後にホワイトバランス情報を通信してもよいし、一定時間毎に定期的にホワイトバランス情報を通信してもよい。
また、既に接続されていた他の撮像装置に加えて、新たに新規の撮像装置がネットワークに追加接続された場合や、何れかの撮像装置が大きな色温度変化を検出したときにホワイトバランス情報を通信してもよい。
さらに、被写体の輝度が大きく変化した場合、何れかの撮像装置が撮影を行った場合などにホワイトバランス情報を通信してもよい。
【００５１】
（９）第１実施形態では、ホワイトバランス補正量として色温度を用いた例を説明したが、ホワイトバランス補正量は、色温度以外の指標で表現してもよい。例えば、Ｒゲイン、Ｂゲインの最大値、最小値に対する割合などの指標で表現することが可能である。
【００５２】
（１０）第２実施形態では、他機のホワイトバランスゲインの信頼度が最も高いものを採用する例について説明したが、他機のホワイトバランスゲインの信頼度が最も高いものよりも自機のホワイトバランスゲインの信頼度が高ければ自機のホワイトバランス情報を利用する制御を行ってもよい。
【００５３】
（１１）第２実施形態では、第１実施形態と同様に、他機のホワイトバランス補正量（色温度）が自機と大きく離れている場合、違う被写体を撮影していると判断して自機のホワイトバランス情報を利用してホワイトバランス制御を行うこととしてもよい。
なお、第１実施形態，第２実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した各実施形態によって限定されることはない。
【図面の簡単な説明】
【００５４】
【図１】第１実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
【図２】撮像装置１００〜１０３のブロック図である。
【図３】白色として抽出する白抽出範囲の例を示した図である。
【図４】ホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図５】ホワイトバランスゲインの制御状態を示す図である。
【図６】親機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図７】子機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図８】ホワイトバランス補正の閾値を示す図である。
【図９】親機（１００）及び子機（１０１，１０２）の動作を示すシーケンス図である。
【図１０】第２実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
【図１１】ホワイトバランス制御部２２０の動作を示したフローチャートである。
【図１２】撮影アングルの違う３台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。
【符号の説明】
【００５５】
１００ 撮像装置（親機）
１０１，１０２，１０３ 撮像装置（子機）
２０１ 撮像系
２０２ 輝度・色信号生成部
２０３ 輝度処理部
２０４ ホワイトバランス増幅部
２０５ 色処理部
２０６ 圧縮符号化部
２０７ 記録部
２０８ 座標変換部
２０９ 白抽出部
２１０ 通信部
２２０ ホワイトバランス制御部
２２１ ゲイン算出部
２２２ 信頼度算出部
２２３ ホワイトバランス情報取得部
２２４ ゲイン決定部
２２５ ゲイン補正部
１０００，１００１，１００２ 撮像装置
【技術分野】
【０００１】
本発明は、ビデオカメラ、デジタルスチルカメラなどに用いられるホワイトバランス制御装置、及び、ホワイトバランス制御方法に関するものである。
【背景技術】
【０００２】
従来、複数のカメラで協調して撮影し、撮影した画像をカメラ間で通信して画像を共有するシステムが提案されている（例えば、特許文献１参照）。
このようなシステムにおいて、協調して撮影を行うカメラは、撮影前にホワイトバランス調整を行い、それぞれのカメラが適正な色味を再現できるようにしている。ホワイトバランスの調整とは、或る白い被写体を撮影し、そのときのＣＣＤ（Charge Coupled Device）などの撮像素子の色情報Ｒ、Ｇ、Ｂの出力レベルの比率が１：１：１となるような補正を行うことである。具体的には、白い被写体から得られた色情報の中のＧの出力レベルを１として、ＲとＢの出力レベルがそれぞれＧと同等になるまで補正をかけることでＲ、Ｇ、Ｂの出力レベルが１：１：１になるように調整を行っている。
【０００３】
前述のように、複数のカメラで協調して撮影する場合には、それぞれのカメラでホワイトバランス調整を行う必要があり、通常は、白い壁などの被写体を利用してカメラ毎にホワイトバランス調整を行うことが考えられる。
【０００４】
しかし、特に屋外での撮影などでは、撮影位置やアングルによっては、ホワイトバランスの制御に用いる白い被写体が撮像画像中に存在しない場合もしばしば発生する。
図１２は、撮影アングルの違う３台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。図１２（ａ），（ｂ）は、被写体として白が含まれないシーンの例である。一方、図１２（ｃ）は、背景に白の建物１２０１が含まれている。
このように、同一の被写体を撮影している場合であっても撮影アングルの違いにより白い被写体が含まれたり、含まれなかったりする。図１２（ｃ）の撮影アングルの場合は、背景にある白の建物１２０１を利用してホワイトバランスを適切に制御することが可能である。一方、図１２（ａ），（ｂ）のように白い被写体が含まれない場合は、輝度など他の情報を利用して被写体の色温度を推定して、ホワイトバランス制御を行っている。あるいは、ホワイトバランス調整用の白色の板や紙などを常備し、設置場所で簡易的にホワイトバランス調整を行うことで対応している。しかし、このような方法は、ホワイトバランス調整を行うためだけに、白色の板や紙を常に持ち歩く必要があり、少しでも撮影機材を減らして機動性を高めたいという撮影者の意図に反する。
【０００５】
このように、白い被写体が含まれないカメラであっても白色の板などを利用して調整することなく、適切にホワイトバランス制御が行えるカメラが求められている。また、複数のカメラで撮影するときに、カメラ毎にホワイトバランスの制御が異なっていることは、好ましくない。すなわち、カメラ毎にホワイトバランスの制御が異なっていると、複数のカメラで撮影した画像を一度に表示する場合に、カメラ毎に色味が異なって見えるなどの問題が発生する。
このような問題を解決するために、複数のカメラで協調して撮影するとき、１台のカメラのホワイトバランス情報を基準データとして、その情報を他の電子カメラと共有化するという手法が開示されている（例えば、特許文献２参照）。
【特許文献１】特開２００３−１１０９９９号公報
【特許文献２】特開２００４−３４９９５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献２のような手法では、セッティング時間の短縮や調整の手間の軽減は図れるが、どのカメラに合わせるかは、ユーザが判断し、手動で操作する必要があり、操作が煩雑であった。また、被写体が移動したり、光源の条件が変化したりする場合には、手動による操作では、これらの変化に対応することが困難であった。
【０００７】
本発明の課題は、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味が揃うホワイトバランス制御装置、ホワイトバランス制御方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１の側面としてのホワイトバランス制御装置は、外部装置と通信を行う通信部と、前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部とを備える。
【０００９】
本発明の第２の側面としてのホワイトバランス制御方法は、他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する。
【発明の効果】
【００１０】
本発明によれば、複数の撮像装置で協調して撮影するとき、白い被写体を含まない撮像装置でもホワイトバランスを簡単かつ適切に補正でき、また、撮像装置毎の色味を揃えることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明を実施するための最良の形態について図面等を参照して説明する。
【００１２】
（第１実施形態）
図１は、第１実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
なお、図１を含め、以下に示す各図は、模式的に示した図であり、各部の大きさ、形状は、理解を容易にするために、適宜誇張して示している。
また、以下の説明では、具体的な数値、動作などを示して説明を行うが、これらは、適宜変更することができる。
撮像装置１００，１０１，１０２，１０３は、デジタルビデオカメラやデジタルスチルカメラなどのカメラである。
本実施形態では、撮像装置１００〜１０３を使用し、これら複数の撮像装置が協調して撮影を行う。これら撮像装置の内、撮像装置１００は、複数の撮像装置同士の制御を統括する親機である。撮像装置１０１〜１０３は、親機である撮像装置１００によって制御される子機である。各撮像装置は、無線もしくは有線で接続されており、親機（１００）と子機（１０１〜１０３）の間で後述するホワイトバランス情報をやりとりすることが可能である。
【００１３】
次に、撮像装置１００〜１０３の詳細について説明する。
図２は、撮像装置１００〜１０３のブロック図である。なお、図１では、親機と子機とを区別して示したが、本実施形態の撮像装置１００〜１０３は、同一の形態をしており、親機として動作するか子機として動作するのかは、使用者の設定により決められる。したがって、撮像装置１００〜１０３は、そのブロック構成が共通となっている。
撮像装置１００〜１０３は、撮像系２０１，輝度・色信号生成部２０２，輝度処理部２０３，ホワイトバランス増幅部２０４，色処理部２０５，圧縮符号化部２０６，記録部２０７，座標変換部２０８，白抽出部２０９，通信部２１０，ホワイトバランス制御部２２０を備えている。
【００１４】
撮像系２０１は、被写体の光束を結像するレンズを含む不図示の撮影光学系と、撮影光学系により結像した被写体像を光電変換して出力するセンサ部である不図示の撮像素子とを有している。撮像素子としては、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary
Metal Oxide Semiconductor）イメージセンサなどを用いることができる。また、本実施形態では、撮像系２０１が有する撮像素子は、後述するホワイトバランスゲインの算出に必要な光源情報を取得する役割も果たしている。撮像系２０１は、撮像素子により得られた情報を輝度・色信号生成部２０２へ送信可能に接続されている。
輝度・色信号生成部２０２は、撮像系２０１で生成された信号を輝度信号（Y）と色信号（R、G、B）に変換する部分である。輝度・色信号生成部２０２は、上記信号を輝度処理部２０３，色処理部２０５，座標変換部２０８へ送信可能に接続されている。
【００１５】
輝度処理部２０３は、輝度・色信号生成部２０２から出力される輝度信号（Y）に対して、輪郭強調やガンマ処理などを行う部分である。輝度処理部２０３は、上記処理後の信号を圧縮符号化部２０６へ送信可能に接続されている。
ホワイトバランス増幅部２０４は、輝度・色信号生成部２０２から出力される色信号（R、G、B）をホワイトバランスゲインに従って増幅する部分である。ホワイトバランス増幅部２０４が色信号（R、G、B）を増幅するときに用いるホワイトバランスゲインは、後述するホワイトバランス制御部２２０から受け取る。ホワイトバランス増幅部２０４は、増幅した信号を色処理部２０５へ送信可能に接続されている。
【００１６】
色処理部２０５は、色差信号（R-Y、B-Y）の生成、カラーバランス調整などを行う部分である。色処理部２０５は、上記色処理後の信号を圧縮符号化部２０６へ送る。
圧縮符号化部２０６は、画像信号を圧縮符号化する部分である。圧縮符号化部２０６は、圧縮符号化した画像信号を記録部２０７及び通信部２１０へ送信可能に接続されている。
記録部２０７は、画像信号をメモリカードなどの記録媒体に記録する部分である。
座標変換部２０８は、輝度・色信号生成部２０２から出力された色信号（R、G、B）を輝度・色差信号（Y，R−Y、B−Y）に変換する部分である。座標変換部２０８は、輝度・色差信号（Y，R−Y、B−Y）を白抽出部２０９へ送信可能に接続されている。
【００１７】
白抽出部２０９は、輝度信号（Y）、色差信号（R−Y、B−Y）から白色（無彩色）に近い信号を抽出する部分である。白抽出部２０９は、抽出した結果をホワイトバランス制御部２２０へ送信可能に接続されている。
通信部２１０は、外部装置と通信を行う部分であり、本実施形態では、各撮像装置１００〜１０３間で通信を行う。なお、通信部２１０の通信方法は、特定周波数の電磁波や光通信を用いた無線通信であってもよいし、各撮像装置間の一部又は全部をケーブルで接続して有線で行ってもよい。通信部２１０は、通信結果を必要に応じてホワイトバランス制御部２２０や記録部２０７へ送信可能に接続されている。
【００１８】
ホワイトバランス制御部２２０は、ホワイトバランス増幅部２０４が色信号（R、G、B）を増幅するときに用いるホワイトバランスゲインに関する各種制御を行う部分であり、ホワイトバランス制御装置としての主要部を形成する。ホワイトバランス制御部２２０は、ゲイン算出部２２１，信頼度算出部２２２，ホワイトバランス情報取得部２２３，ゲイン決定部２２４，ゲイン補正部２２５を含んでいる。
ゲイン算出部２２１は、撮像系２０１のセンサである撮像素子から、輝度・色信号生成部２０２，座標変換部２０８，白抽出部２０９を介して得た光源情報から、自機のホワイトバランスゲインを算出する部分である。なお、自機とは、当該撮像装置自体を指しており、通信部２１０を介して通信する通信対象である外部装置としての撮像装置（他機）と区別して示すものである。
信頼度算出部２２２は、ゲイン算出部２２１が算出した自機のホワイトバランスゲインの信頼度に関する情報である自機のホワイトバランス信頼度情報を算出する部分である。ホワイトバランスゲインの信頼度については、後述する。
【００１９】
ホワイトバランス情報取得部２２３は、通信部２１０を介して外部装置である他の撮像装置（例えば、撮像装置１００から見て、撮像装置１０１〜１０３）と通信を行い、ホワイトバランス情報を取得する部分である。ここで、本実施形態では、ホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報とを含んでいる。
ゲイン決定部２２４は、ホワイトバランスゲインの信頼度に基づいて、ホワイトバランス増幅部２０４が用いるホワイトバランスゲインとして採用するホワイトバランスゲインを決定する部分である。
ゲイン補正部２２５は、ゲイン決定部２２４が決定したホワイトバランスゲインとなるように、自機のホワイトバランスゲインを補正する部分である。
【００２０】
次に、本実施形態の撮像装置の動作について説明する。
撮像系２０１では、撮影光学系を通して入射された光を撮像素子で光電変換し、画像信号を輝度・色信号生成部２０２に出力する。
輝度・色信号生成部２０２は、入力した画像信号から輝度信号（Y）、色信号（R、G、B）を生成し、輝度信号は、輝度処理部２０３へ、色信号は、ホワイトバランス増幅部２０４へ出力する。
輝度処理部２０３は、輝度信号に対して輪郭強調やガンマ処理などを施す。
ホワイトバランス増幅部２０４では、ホワイトバランスゲイン制御部２２０から出力されるホワイトバランスゲインに基づき色信号（R、G、B）を増幅し、増幅された色信号を色処理部２０５へ出力する。
色処理部２０５では、色信号（R、G、B）から色差信号（R−Y、B−Y）を生成するとともに、カラーバランス調整などの色処理を施し、色差信号を圧縮符号化部２０６へ出力する。
【００２１】
圧縮符号化部２０７は、画像信号をＪＰＥＧ形式やＭＰＥＧ形式など所定の形式で圧縮符号化し記録部２０７へ出力する。
記録部２０７では、圧縮符号化された画像データをメモリカードなどの記録媒体に記録する。また、圧縮符号化部２０６で圧縮符号化された画像データは、通信部２１０にも送信される。
通信部２１０は、画像データを協調撮影している他の撮像装置に送信する。
座標変換部２０８は、輝度・色信号生成部２０２から出力された色信号（R、G、B）を輝度・色差信号（Y，R−Y、B−Y）に変換し白抽出部２０９へ出力する。
【００２２】
白抽出部２０９は、輝度信号（Y）、色差信号（R−Y、B−Y）から白色（無彩色）に近い信号を抽出する。
図３は、白色として抽出する白抽出範囲の例を示した図である。
図３では、色差（R−Y、B−Y）平面を示しており、白（無彩色）に近い色の範囲である白抽出範囲３０１が図示されている。
白抽出部２０９は、所定の輝度範囲に含まれる信号であり、且つ白抽出範囲３０１内に含まれる信号を抽出する。また、抽出した色信号の平均値（白抽出平均値）と白抽出した白色信号の量（白色量）を算出し、ホワイトバランスゲイン制御部２２０に出力する。
【００２３】
ホワイトバランスゲイン制御部２２０は、白抽出部２０９の白抽出結果に基づき、ゲイン算出部２２１により自機のホワイトバランスゲインを算出するとともに、信頼度算出部２２２がそのホワイトバランスゲインの信頼度に関する自機のホワイトバランス信頼度情報を算出する。また、ホワイトバランス情報取得部２２３が通信部２１０を介して他の撮像装置が算出した外部のホワイトバランスゲイン情報及び外部のホワイトバランス信頼度情報を取得する。これらの情報に基づき、ゲイン決定部２２４は、採用するホワイトバランスゲインを決定する。ゲイン補正部２２５は、ゲイン決定部２２４が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正し、補正後のホワイトバランスゲインをホワイトバランス増幅部２０４に設定する。
また、決定したホワイトバランスゲインに関する情報は、ホワイトバランス情報として通信部２１０に出力され、他の撮像素子に送信される。なお、ホワイトバランスゲイン決定の詳細については、後述する。
ホワイトバランス増幅部２０４は、設定されたホワイトバランスゲインに従ってＲＧＢ信号を増幅する。
以上が図２に示した撮像装置（１００〜１０３）の基本動作である。
【００２４】
次に、複数の撮像装置（１００〜１０３）間でどのような情報のやり取りを行うかの流れを説明する。撮像装置間の通信は、大きく分けると以下の３つの段階で行う。
（１）子機の送信動作：子機は、ホワイトバランス情報を親機に送る。
（２）親機の動作：親機は、ホワイトバランス情報から最も信頼度が高いものを選択し、子機に送信。
（３）子機の受信動作：子機は、受け取ったホワイトバランス情報に基づきホワイトバランスゲインを設定。
以下、上記の各段階に対応する詳細な動作について説明する。
【００２５】
（１）子機の送信動作
まず、図２に示す構成の撮像装置が図１の子機１０１〜１０３として動作する場合について説明する。
図４は、ホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
ステップ（以下、Ｓとする）４０１では、ゲイン算出部２２１で自機のホワイトバランスゲインを算出する。ゲイン算出部２２１が算出するホワイトバランスゲインは、白抽出部２０９で抽出した白色の平均値（Ｒ−Ｙ，Ｂ−Ｙ）をＲＧＢ値に変換し、このＲＧＢ値の比率が１：１：１になるようなＲゲインとＢゲインである。
【００２６】
Ｓ４０２では、算出したホワイトバランスゲインからホワイトバランス補正量を算出する。本実施形態では、ホワイトバランス補正量として色温度を利用する。ホワイトバランス補正量について、以下に図５を用いて説明する。
図５は、ホワイトバランスゲインの制御状態を示す図である。
図５において、横軸は、ホワイトバランスのＲゲインを示し、縦軸は、Ｂゲインを示している。曲線５００は、黒体放射軸を示している。撮像装置が採り得るホワイトバランスゲインは、基本的には、この黒体放射軸（曲線５００）上を動くように制御される。また、黒体放射軸上の位置から被写体の色温度を算出できる。図５の例では、曲線５００上のＰ５０１は、色温度が２０００Ｋ、Ｐ５０２は、７０００Ｋの位置を示している。また、Ｐ５０３は、現在制御されているホワイトバランスゲイン状態を示している。この黒体放射軸上の位置から色温度を算出する。この例では、Ｐ５０３は、４０００Ｋである。このようにホワイトバランスゲイン値そのものを使うのではなく、補正量として色温度を利用する理由は、ＣＣＤなどの撮像素子のばらつきを吸収するためである。撮像素子は、製造誤差によってそれぞれ特性に若干のばらつきを有している。そのため、同じゲインの値を設定しても全ての撮像装置で同じ色味になるとは限らない。そこで、共通の指標であるホワイトバランス補正量（色温度）を用いてばらつきを吸収する。
【００２７】
図４に戻って、Ｓ４０３では、Ｓ４０１で算出したホワイトバランスゲインの信頼度を算出する。具体的には、白抽出部２０９において抽出した白色と思われる色の量から信頼度を算出する。画面全体の画素数に対して白と判断した画素数が多いとき信頼度は、高くなり、白と判断した画素数が少ないとき信頼度は、低くなる。すなわち、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される。そして、白色が占める割合が多いほど信頼度が高くなる。例えば、画面全体の画素数に対して白と判断した画素数が半分を占める場合、信頼度を５０％として定義できる。
先に示した図１２の例では、白色を含まない（ａ），（ｂ）の構図の撮像装置のホワイトバランスゲインの信頼度は、低くなり、背景に白色を含む（ｃ）の構図のホワイトバランスゲインの信頼度は、高くなる。また、自機がホワイトバランスを白板などを用いて撮影者がマニュアル（手動）調整している場合は、信頼度を最大に補正する。
【００２８】
Ｓ４０４では、算出したホワイトバランス補正量である色温度をホワイトバランスゲイン情報として含み、かつ、その信頼度をホワイトバランス信頼度情報として含むホワイトバランス情報を、通信部２１０を介して親機に送信する。
【００２９】
（２）親機の動作
次に、図２に示す撮像装置が、図１の親機１００として動作する場合について説明する。
図６は、親機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
Ｓ６０１では、自機のホワイトバランスゲイン、ホワイトバランス補正量（色温度）、ホワイトバランスゲインの信頼度を算出する。算出方法は、子機における図４のＳ４０１〜Ｓ４０３の処理と同様である。
【００３０】
Ｓ６０２では、前述のように子機から送信されたホワイトバランス情報（ホワイトバランス補正量と信頼度）を、通信部２１０を介して取得する。
Ｓ６０３では、自機（ここでは、親機）、子機を含む全ての撮像装置の中から最もホワイトバランスゲインの信頼度の高い撮像装置を選択する。また、当該選択された撮像装置のホワイトバランス補正量を自機及び他の子機が使用するホワイトバランス補正量に決める。さらに、上述のようにして決めたホワイトバランス補正量（色温度）からホワイトバランスゲインを算出し（図５）、自機のホワイトバランスゲインをこれに合わせて補正する。
Ｓ６０４では、Ｓ６０３で選択した信頼度の高い撮像装置のホワイトバランス補正量を、通信部２１０を介して子機に送信する。
【００３１】
（３）子機の受信動作
次に、親機から送信されたホワイトバランス補正量に基づき子機がホワイトバランス補正を行う処理について説明する。
図７は、子機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
Ｓ７０１では、前述のように親機から送信されたホワイトバランス補正量を、通信部２１０を介して取得する。
Ｓ７０２では、親機から送信されたホワイトバランス補正量（色温度）と自機で算出したホワイトバランス補正量（色温度）とを比較する。
【００３２】
図８は、ホワイトバランス補正の閾値を示す図である。
図８においてＰ８０１は、自機で算出した色温度である。また、Ｐ８０２、Ｐ８０３は、親機から送信された信頼度の高い撮像装置の色温度である。図７のＳ７０２では、自機で算出した色温度Ｐ８０１に対して、親機から取得した信頼度の高い色温度が閾値以上離れているか否かを判定する。Ｐ８０２に示すように閾値内であればＳ７０３に進み、Ｐ８０３に示すように閾値以上離れていればＳ７０５に進む。
【００３３】
図７に戻って、Ｓ７０３では、親機から取得したホワイトバランス補正量（色温度）からホワイトバランスゲインを算出する。ホワイトバランスゲインは、各撮像装置におけるホワイトバランスゲインと色温度の関係（図５）から算出する。補正量からホワイトバランスゲインを算出することで、前述のように撮像素子の特性のばらつきを吸収することが可能となる。
Ｓ７０４では、Ｓ７０３で算出したホワイトバランスゲインを自機に設定する。一方、Ｓ７０５では、自機で算出したホワイトバランスゲインを自機に設定する。
このように、自機で算出したホワイトバランス補正量と、親機から送信された信頼度の高いホワイトバランス情報とが大きく異なる場合は、自機のホワイトバランス情報を優先して使用する。これは、異なる被写体を撮影している可能性が高いからである。
【００３４】
次に、親機及び子機がホワイトバランス補正量及び信頼度を送受信するタイミングについて説明する。
図９は、親機（１００）及び子機（１０１，１０２）の動作を示すシーケンス図である。なお、図１に示したもう一台の子機（１０３）については、図示を省略する。また、以下では、子機（１０１，１０２）をそれぞれ子機１，２として説明する。
図９において、Ｓ９０１からＳ９１２は、図１に示すような複数の撮像装置間のネットワークが確立したタイミングでホワイトバランス情報を送受信する例を示している。
【００３５】
Ｓ９０１，Ｓ９０２，Ｓ９０３では、親機と子機１，２が相互に通信ネットワークを介して接続を確立する。これにより、親機と子機１，２は、画像やホワイトバランス情報を送受信できる状態になる。Ｓ９０４，Ｓ９０５，Ｓ９０６では、同一の通信ネットワークに接続している全ての撮像装置（この場合は、親機及び子機１，２）でホワイトバランス補正量と信頼度を算出する。この算出処理は、撮像装置間の接続が確立されてから一定時間後に行う。また、ホワイトバランス補正量及び信頼度の算出方法に関しては、前述の通りである。
Ｓ９０７では、子機１，２が算出したホワイトバランス補正量と信頼度を親機に送信する。
Ｓ９０８では、親機は、自機を含むホワイトバランスゲインの信頼度の中から最も信頼度の高い撮像装置を選択する。
Ｓ９０９では、親機がＳ９０８で選択した最も信頼度の高いホワイトバランス補正量を子機１，２に出力する。Ｓ９１０，Ｓ９１１，Ｓ９１２では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
【００３６】
また、図９において、Ｓ９２０からＳ９２７は、白板などを利用してホワイトバランスをマニュアル調整されたタイミングでホワイトバランスの情報を送受信する例を示している。
Ｓ９２０では、使用者により子機２がホワイトバランスをマニュアル（手動）で調整される。
Ｓ９２１では、子機２においてホワイトバランスの補正量と信頼度を算出する。このとき、前述したように、子機２のホワイトバランスゲインの信頼度が高くなる。
Ｓ９２２では、子機２がホワイトバランス補正量及び信頼度を親機に対して送信する。
Ｓ９２３では、親機が、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択する。この場合、マニュアル調整している子機２が最も信頼度が高くなる。
Ｓ９２４では、最も信頼度が高いホワイトバランス補正量を親機から子機１，２に送信する。
Ｓ９２５，Ｓ９２６，Ｓ９２７では、各撮像装置において最も信頼度の高いホワイトバランス補正量に基づきホワイトバランスゲインを算出し、各撮像装置でホワイトバランスを設定する。
【００３７】
以上説明したように、本実施形態によれば、撮像装置は、外部の撮像装置からホワイトバランス補正量とその信頼度に関する情報であるホワイトバランス情報を取得する。また、自機のホワイトバランス補正量とその信頼度を算出し、取得したホワイトバランス情報を含めて、信頼度の最も高いホワイトバランス補正量に基づき、自機を含む複数の撮像装置のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が存在しない場合であっても、他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度が向上する。
また、複数の撮像装置間で通信ネットワークを構成し画像を共有するときに、ホワイトバランスを揃えることができ、撮像装置間の色味のばらつきを低減させることができる。
【００３８】
（第２実施形態）
図１０は、第２実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
第２実施形態は、自機のホワイトバランスゲインの信頼度が低い場合に、他の撮像装置からホワイトバランス情報を取得する形態である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第２実施形態の撮像装置１０００，１００１，１００２は、第１実施形態の撮像装置１００〜１０３と同様のカメラである。これらは、第１実施形態のものと同様の形態をしているが、親機、子機の関係が無い点が異なる。また、各撮像装置は、無線もしくは有線で接続されており、各撮像装置の間でホワイトバランス情報をやりとりすることが可能である点は、第１実施形態と同様である。
【００３９】
次に、撮像装置１０００〜１００２の詳細について説明する。撮像装置１０００〜１００２の構成は、第１実施形態で説明した図２と同一の形態であるため詳細な説明は省略する。また、画像を撮像するときの基本動作に関しても第１実施形態と同様であるため詳細な説明は省略する。ただし本実施形態では、ホワイトバランス制御部２２０（図２参照）の動作が第１実施形態と異なる。以下、ホワイトバランス制御部２２０の動作について説明する。
【００４０】
図１１は、ホワイトバランス制御部２２０の動作を示したフローチャートである。
Ｓ１１０１では、撮像装置は、自機のホワイトバランス補正量及び信頼度を算出する。算出方法は、第１実施形態で説明した方法と同様である。
Ｓ１１０２では、算出した自機のホワイトバランスゲインの信頼度が予め定めた閾値以上であるか判定する。閾値以上である場合は、Ｓ１１０３へ進み、信頼度が閾値よりも小さい場合は、Ｓ１１０４に進む。第２実施形態では、第１実施形態と同様に、ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出されている。よって、ここで使用する閾値には、例えば、被写体画像中で白色が占める割合が２０％というように設定することができる。
Ｓ１１０３では、自機で算出したホワイトバランス補正量に基づきホワイトバランスゲインを設定する。
【００４１】
一方、Ｓ１１０４では、自機から見て外部装置である他の撮像装置（他機）に対してホワイトバランス情報（ホワイトバランス補正量及び信頼度）を送信するように通信部２１０を介して要求を出す。ホワイトバランス情報の送信を要求された他機は、第１実施形態の図４で説明した内容と同様の処理を行い、ホワイトバランス情報（ホワイトバランス補正量及び信頼度）を送信する。
Ｓ１１０５では、他機から送信されたホワイトバランス情報（ホワイトバランス補正量及び信頼度）を取得する。
Ｓ１１０６では、信頼度が最も高い撮像装置を選択する。
Ｓ１１０７では、信頼度が最も高い撮像装置が算出したホワイトバランス補正量に基づきホワイトバランスゲインを自機に設定する。
これにより、自機のホワイトバランスゲインの信頼度が低いときのみ、他機のホワイトバランス情報を取得して補正を行うことが可能となる。
【００４２】
以上説明したように、本実施形態の撮像装置は、自機のホワイトバランスゲインの信頼度を算出し、自機のホワイトバランスゲインの信頼度が所定の閾値よりも小さい場合に、他機から取得したホワイトバランス補正量及び信頼度に基づき、自機のホワイトバランスゲインを補正する。
これにより、自機の被写体中に白と考えられる色が少ない場合であっても他の撮像装置の信頼度が高いホワイトバランス情報を利用することができ、ホワイトバランスの精度を向上できる。
【００４３】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、通信部２１０が通信するホワイトバランス情報には、ホワイトバランスゲインに関するホワイトバランスゲイン情報と、このホワイトバランスゲインの信頼度に関する情報を含むホワイトバランス信頼度情報との両方を含む例を示した。しかし、本発明の実施形態は、これに限らず、例えば、必要に応じて適宜ホワイトバランスゲイン情報とホワイトバランス信頼度情報とを選択的に通信してもよい。
【００４４】
（２）各実施形態において、ホワイトバランス制御部２２０のゲイン決定部２２４は、ホワイトバランスゲインの信頼度が最も高いホワイトバランスゲインを、採用するホワイトバランスゲインとした例を示した。しかし、本発明の実施形態は、これに限らず、ホワイトバランスゲインの信頼度に基づいて、採用するホワイトバランスゲインを演算などにより決定してもよい。例えば、ホワイトバランスゲインの信頼度に応じて、各ホワイトバランスゲインに重み付けをする演算を行って、採用するホワイトバランスゲインを決定してもよい。
【００４５】
（３）各実施形態において、自機のホワイトバランスゲインを算出するために用いる光源情報は、撮像素子から得る例を示したが、これに限らず、例えば、別途設けたいわゆる外光センサから得た光源情報を用いてホワイトバランスゲインを算出してもよいし、これらを組み合わせてもよい。
【００４６】
（４）各実施形態において、いずれも同一の形態をした撮像装置を通信可能に接続して使用する例を示した。しかし、これに限らず、例えば、撮影機能を持たず各撮像装置を統括的に制御する機能を有したホワイトバランス制御装置を含めて通信ネットワークを構築してもよい。この場合、例えば図２の一体化された装置が、ホワイトバランス制御部２２０と、それ以外の撮像装置としての機能部が分離された構成になる。そして撮像装置のブロックとホワイトバランス制御部２２０がネットワークを介して接続され、ホワイトバランス制御部２２０が統括的な機能を実行する。
【００４７】
（５）第１実施形態では、親機から送信されたホワイトバランス補正量が自機のホワイトバランス補正量と比較して閾値以上異なっていた場合、自機のホワイトバランス補正量を採用する例について説明した。これに限らず、例えば、自機のホワイトバランス補正量と比較して閾値以上異なっていた場合には、子機は、親機に対して次に（２番目に）信頼度が高いホワイトバランス情報を送信するように要求する制御を行ってもよい。
【００４８】
（６）第１実施形態では、ホワイトバランスの信頼度は、画像中の白色と思われる色の量（撮像した被写体画像中で白色が占める割合）と、マニュアル（手動）調整の有無とを用いて判断する例を示した。しかし、これに限らず、これ以外の情報から信頼度を算出してもよい。例えば、ホワイトバランスゲインの時間的な変化量に基づき信頼度を算出してもよい。この場合、時間的な変化量が小さければ、安定していると判断できるので、信頼度が高くなり、時間的な変化量が大きい場合に信頼度が低くなる。
【００４９】
（７）第１実施形態では、親機は、ホワイトバランスゲインの信頼度が最も高い撮像装置を選択するが、信頼度が同じ撮像装置が複数ある場合は、信頼度を算出した時間が最も新しいものを選択するような制御を加えてもよい。
【００５０】
（８）第１実施形態では、親機と子機の間で接続が確立した時、及び、ネットワーク内の撮像装置がマニュアルでホワイトバランスを設定されたときに、ホワイトバランス情報（ホワイトバランス補正量及び信頼度）を通信する例について説明した。しかし、ホワイトバランス情報を取得したり送信したりする通信タイミングをこれらに限定するものではない。
例えば、通信が確立してから所定時間が経過した後にホワイトバランス情報を通信してもよいし、一定時間毎に定期的にホワイトバランス情報を通信してもよい。
また、既に接続されていた他の撮像装置に加えて、新たに新規の撮像装置がネットワークに追加接続された場合や、何れかの撮像装置が大きな色温度変化を検出したときにホワイトバランス情報を通信してもよい。
さらに、被写体の輝度が大きく変化した場合、何れかの撮像装置が撮影を行った場合などにホワイトバランス情報を通信してもよい。
【００５１】
（９）第１実施形態では、ホワイトバランス補正量として色温度を用いた例を説明したが、ホワイトバランス補正量は、色温度以外の指標で表現してもよい。例えば、Ｒゲイン、Ｂゲインの最大値、最小値に対する割合などの指標で表現することが可能である。
【００５２】
（１０）第２実施形態では、他機のホワイトバランスゲインの信頼度が最も高いものを採用する例について説明したが、他機のホワイトバランスゲインの信頼度が最も高いものよりも自機のホワイトバランスゲインの信頼度が高ければ自機のホワイトバランス情報を利用する制御を行ってもよい。
【００５３】
（１１）第２実施形態では、第１実施形態と同様に、他機のホワイトバランス補正量（色温度）が自機と大きく離れている場合、違う被写体を撮影していると判断して自機のホワイトバランス情報を利用してホワイトバランス制御を行うこととしてもよい。
なお、第１実施形態，第２実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した各実施形態によって限定されることはない。
【図面の簡単な説明】
【００５４】
【図１】第１実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
【図２】撮像装置１００〜１０３のブロック図である。
【図３】白色として抽出する白抽出範囲の例を示した図である。
【図４】ホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図５】ホワイトバランスゲインの制御状態を示す図である。
【図６】親機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図７】子機のホワイトバランス制御部２２０での制御の流れを示したフローチャートである。
【図８】ホワイトバランス補正の閾値を示す図である。
【図９】親機（１００）及び子機（１０１，１０２）の動作を示すシーケンス図である。
【図１０】第２実施形態のホワイトバランス制御装置を含む撮像装置を複数用いて協調して撮影を行う場合の、各撮像装置の関係を示す図である。
【図１１】ホワイトバランス制御部２２０の動作を示したフローチャートである。
【図１２】撮影アングルの違う３台のカメラが同一の被写体を撮影している場合の撮影画像の例を示している。
【符号の説明】
【００５５】
１００ 撮像装置（親機）
１０１，１０２，１０３ 撮像装置（子機）
２０１ 撮像系
２０２ 輝度・色信号生成部
２０３ 輝度処理部
２０４ ホワイトバランス増幅部
２０５ 色処理部
２０６ 圧縮符号化部
２０７ 記録部
２０８ 座標変換部
２０９ 白抽出部
２１０ 通信部
２２０ ホワイトバランス制御部
２２１ ゲイン算出部
２２２ 信頼度算出部
２２３ ホワイトバランス情報取得部
２２４ ゲイン決定部
２２５ ゲイン補正部
１０００，１００１，１００２ 撮像装置
【特許請求の範囲】
【請求項１】
外部装置と通信を行う通信部と、
前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、
前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部と、
を備えるホワイトバランス制御装置。
【請求項２】
請求項１に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランスゲイン情報が複数あるとき、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。
【請求項３】
請求項２に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインが複数存在したときは、ホワイトバランス信頼度情報を算出した時間が最も新しいホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載のホワイトバランス制御装置において、
前記決定部は、決定したホワイトバランスゲインを前記通信部を介して前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載のホワイトバランス制御装置において、
ホワイトバランスゲインを自ら算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出するホワイトバランスゲインについての自機のホワイトバランス信頼度情報を算出する信頼度算出部と、
を備え、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報に加えて、前記ゲイン算出部が算出した自機の前記ホワイトバランスゲイン及び前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報に基づき、採用するホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。
【請求項６】
請求項５に記載のホワイトバランス制御装置において、
前記ゲイン決定部が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正するゲイン補正部を有すること、
を特徴とするホワイトバランス制御装置。
【請求項７】
請求項５又は請求項６に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報により得られる信頼度が、予め決めた閾値よりも低いときに、前記通信部を介して前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランス信頼度情報とを取得し、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した情報を用いてホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される値であり、白色が占める割合が多いほど信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項９】
請求項１から請求項８までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインを手動で設定したか否かによって変化する値であり、ホワイトバランスゲインを手動で設定した場合には、信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインの時間的な変化量に基づき算出される値であり、ホワイトバランスゲインの時間的な変化量が小さいときに信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項１１】
請求項１から請求項１０までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置との通信が確立してから予め決めた時間が経過した後に、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１２】
請求項１から請求項１１までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置において他の撮像装置のホワイトバランスゲインが手動で設定されたときに、前記外部装置から前記他の撮像装置のホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１３】
請求項１から請求項１２までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、一定時間毎に前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１４】
請求項１から請求項１３までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記他の撮像装置が撮影を行ったときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１５】
請求項１から請求項１４までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、他の撮像装置の前記ホワイトバランスゲイン情報の変化量が予め決めた閾値を超えて変化したときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１６】
他の撮像装置を制御する外部装置と通信を行う通信部と、
自機に係わる撮像装置のホワイトバランスゲインを算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機に係わる撮像装置のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインについての自機に係わる撮像装置のホワイトバランス信頼度情報を算出する信頼度算出部と、
前記ゲイン算出部が算出した自機のホワイトバランスゲインに関する自機に係わる撮像装置のホワイトバランスゲイン情報と前記信頼度算出部が算出した自機に係わる撮像装置のホワイトバランス信頼度情報とを前記通信部を介して前記外部装置へ送信するホワイトバランス制御部と、
を備えるホワイトバランス制御装置。
【請求項１７】
請求項１６に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、ホワイトバランスゲインが手動で設定されたときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項１８】
請求項１６又は請求項１７に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、一定時間毎に、自機のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項１９】
請求項１６から請求項１８までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、自機に係わる撮像装置が撮影を行ったときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項２０】
請求項１６から請求項１９までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインの変化量が予め決めた閾値を超えて変化したときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項２１】
請求項１から請求項２０までのいずれか１項に記載のホワイトバランス制御装置において、前記自機に係わる撮像装置は、一体化されていることを特徴とするホワイトバランス制御装置。
【請求項２２】
他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、
前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、
前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する、
ことを特徴とするホワイトバランス制御方法。
【請求項１】
外部装置と通信を行う通信部と、
前記通信部を介して、前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得するホワイトバランス情報取得部と、
前記ホワイトバランス情報取得部が取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、自機に係わる撮像装置に採用するホワイトバランスゲインを決定するゲイン決定部と、
を備えるホワイトバランス制御装置。
【請求項２】
請求項１に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランスゲイン情報が複数あるとき、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。
【請求項３】
請求項２に記載のホワイトバランス制御装置において、
前記ゲイン決定部は、前記ホワイトバランス信頼度情報により得られる信頼度が最も高いホワイトバランスゲイン情報のホワイトバランスゲインが複数存在したときは、ホワイトバランス信頼度情報を算出した時間が最も新しいホワイトバランスゲイン情報のホワイトバランスゲインを採用するホワイトバランスゲインとして決定すること、
を特徴とするホワイトバランス制御装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載のホワイトバランス制御装置において、
前記決定部は、決定したホワイトバランスゲインを前記通信部を介して前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載のホワイトバランス制御装置において、
ホワイトバランスゲインを自ら算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出するホワイトバランスゲインについての自機のホワイトバランス信頼度情報を算出する信頼度算出部と、
を備え、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報に加えて、前記ゲイン算出部が算出した自機の前記ホワイトバランスゲイン及び前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報に基づき、採用するホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。
【請求項６】
請求項５に記載のホワイトバランス制御装置において、
前記ゲイン決定部が決定したホワイトバランスゲインとなるように自機のホワイトバランスゲインを補正するゲイン補正部を有すること、
を特徴とするホワイトバランス制御装置。
【請求項７】
請求項５又は請求項６に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記信頼度算出部が算出した自機の前記ホワイトバランス信頼度情報により得られる信頼度が、予め決めた閾値よりも低いときに、前記通信部を介して前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランス信頼度情報とを取得し、
前記ゲイン決定部は、前記ホワイトバランス情報取得部が取得した情報を用いてホワイトバランスゲインを決定すること、
を特徴とするホワイトバランス制御装置。
【請求項８】
請求項１から請求項７までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、撮像した被写体画像中で白色が占める割合に基づき算出される値であり、白色が占める割合が多いほど信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項９】
請求項１から請求項８までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインを手動で設定したか否かによって変化する値であり、ホワイトバランスゲインを手動で設定した場合には、信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項１０】
請求項１から請求項９までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランスゲインの信頼度は、ホワイトバランスゲインの時間的な変化量に基づき算出される値であり、ホワイトバランスゲインの時間的な変化量が小さいときに信頼度が高くなること、
を特徴とするホワイトバランス制御装置。
【請求項１１】
請求項１から請求項１０までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置との通信が確立してから予め決めた時間が経過した後に、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１２】
請求項１から請求項１１までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記外部装置において他の撮像装置のホワイトバランスゲインが手動で設定されたときに、前記外部装置から前記他の撮像装置のホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１３】
請求項１から請求項１２までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、一定時間毎に前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１４】
請求項１から請求項１３までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、前記他の撮像装置が撮影を行ったときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１５】
請求項１から請求項１４までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス情報取得部は、他の撮像装置の前記ホワイトバランスゲイン情報の変化量が予め決めた閾値を超えて変化したときに、前記外部装置から他の撮像装置の前記ホワイトバランスゲイン情報及び他の撮像装置の前記ホワイトバランス信頼度情報を取得すること、
を特徴とするホワイトバランス制御装置。
【請求項１６】
他の撮像装置を制御する外部装置と通信を行う通信部と、
自機に係わる撮像装置のホワイトバランスゲインを算出するために必要な光源情報を検知するセンサ部と、
前記センサ部が検知した前記光源情報に基づき、自機に係わる撮像装置のホワイトバランスゲインを算出するゲイン算出部と、
前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインについての自機に係わる撮像装置のホワイトバランス信頼度情報を算出する信頼度算出部と、
前記ゲイン算出部が算出した自機のホワイトバランスゲインに関する自機に係わる撮像装置のホワイトバランスゲイン情報と前記信頼度算出部が算出した自機に係わる撮像装置のホワイトバランス信頼度情報とを前記通信部を介して前記外部装置へ送信するホワイトバランス制御部と、
を備えるホワイトバランス制御装置。
【請求項１７】
請求項１６に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、ホワイトバランスゲインが手動で設定されたときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項１８】
請求項１６又は請求項１７に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、一定時間毎に、自機のホワイトバランスゲイン情報及び自機のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項１９】
請求項１６から請求項１８までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、自機に係わる撮像装置が撮影を行ったときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項２０】
請求項１６から請求項１９までのいずれか１項に記載のホワイトバランス制御装置において、
前記ホワイトバランス制御部は、前記ゲイン算出部が算出する自機に係わる撮像装置のホワイトバランスゲインの変化量が予め決めた閾値を超えて変化したときに、自機に係わる撮像装置のホワイトバランスゲイン情報及び自機に係わる撮像装置のホワイトバランス信頼度情報を前記外部装置へ送信すること、
を特徴とするホワイトバランス制御装置。
【請求項２１】
請求項１から請求項２０までのいずれか１項に記載のホワイトバランス制御装置において、前記自機に係わる撮像装置は、一体化されていることを特徴とするホワイトバランス制御装置。
【請求項２２】
他の撮像装置に係わる外部装置と通信することにより実行される撮像装置のホワイトバランス制御方法であって、
前記外部装置が算出した他の撮像装置のホワイトバランスゲインに関する他の撮像装置のホワイトバランスゲイン情報と他の撮像装置の前記ホワイトバランスゲインの信頼度に関する情報を含む他の撮像装置のホワイトバランス信頼度情報とを取得し、
前記取得した前記他の撮像装置のホワイトバランスゲイン情報、前記他の撮像装置のホワイトバランス信頼度情報、に基づき、前記撮像装置に採用するホワイトバランスゲインを決定する、
ことを特徴とするホワイトバランス制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−４４６４（Ｐ２０１０−４４６４Ａ）
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願番号】特願２００８−１６３３８９（Ｐ２００８−１６３３８９）
【出願日】平成２０年６月２３日（２００８．６．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１月７日（２０１０．１．７）
【国際特許分類】
【出願日】平成２０年６月２３日（２００８．６．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]