色調調整装置、色調調整方法およびプログラム
【課題】互いの照明光の色が異なる拠点においてそれぞれ撮影された画像を他拠点において出力する際に、照明光の違いによって生じ得る見え方の違いを自拠点の照明光に応じて調整すること。
【解決手段】キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、第１色情報と第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、を備えることを特徴とする。
【解決手段】キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、第１色情報と第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばネットワークで接続される複数の出力装置によってそれぞれ出力される映像を出力装置が設置されている照明環境に応じて調整する色調調整装置、色調調整方法およびプログラムに関するものである。
【背景技術】
【０００２】
例えば、ネットワークを介して接続されるテレビ会議装置において、自拠点の様子をテレビ会議装置に設けられたカメラで撮影して、他拠点にあるテレビ会議装置に送信するとともに、他拠点で撮影された映像を受信して自拠点のテレビ会議装置に表示するものがある（例えば、特許文献１参照）。
また、映像の入出力においては、カメラやスキャナ等の撮像装置、モニタやプロジェクタ等の出力装置のそれぞれに応じた固有の入出力特性があり、映像内（映像空間）における被写体の色が実空間における被写体の色と異なることが知られている（例えば、非特許文献１参照）。
これは、色を表現する色空間の違い（ＲＧＢやＣＭＹＫ）や、色表現可能な範囲（色域）が機器毎に異なることに起因するためである。この各機器の入出力特性は、ＩＣＣ（インターナショナルカラーコンソーシアム：http://www.color.org/index.xalter）において規定された様式に従う。これにより、機器が接続されたコンピュータにおいて、この入出力特性に応じて映像の色変換を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０１３９９号公報
【非特許文献】
【０００４】
【非特許文献１】画像電子学会編「カラー画像処理とデバイス」第２１章ｐｐ．２９８−３１２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、会議が行われる各拠点で、照明光の色が異なっている場合、機器の入出力特性に応じて実空間と映像空間における被写体の色のずれを補正したとしても、自拠点と他拠点の照明光による環境が異なる場合、各拠点で再生された映像に対してユーザが違和感を覚える場合がある。
例えば、自拠点において青みがかった光源の下で撮影された自拠点の映像を他拠点で出力し、他拠点において黄みがかった光源の下で撮影された他拠点の映像を自拠点で出力した場合、機器の入出力特性に応じた補正をしても、両拠点での照明光の色が異なっていることにより、それを見るユーザが違和感を覚えるおそれがある。
【０００６】
つまり、自拠点において青みがかった光源の下で撮影された自拠点の映像を、他拠点において黄みがかった光源の下で出力した場合、自拠点で撮影された映像が全体的に黄みがかった映像として他拠点において出力される。
同様に、他拠点において黄みがかった光源の下で撮影された他拠点の映像を、自拠点において青みがかった光源の下で出力した場合、他拠点で撮影された映像が全体的に青みがかった映像として自拠点において出力される。
このように、互いの照明光の色が異なることによって、相手方で撮影された映像を自身側の環境で表示した場合、色によって表現される自身側の雰囲気と、相手側の映像の雰囲気とが異なることによって、相手側の映像を見る者が違和感を覚えるおそれがある。これにより、実際に会議をしているという臨場感を再現できないことになる。
【０００７】
上述の課題を鑑み、本発明は、互いの照明光の色が異なる拠点においてそれぞれ撮影された画像を他拠点において出力する際に、照明光の違いによって生じ得る見え方の違いを自拠点の照明光に応じて調整することができる色調調整装置、色調調整方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を鑑み、本発明に係る色調調整装置は、ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整装置であって、当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力部と、他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信部と、前記映像受信部が受信した前記他の色調調整装置において撮影された映像を出力する映像出力部と、前記映像入力部が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算部と、前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信部と、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力部に出力される映像に適した色に色変換する色変換量を計算する色変換量計算部と、を備えることを特徴とする。
【０００９】
また、上述の課題を鑑み、本発明に係る色調調整方法は、ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整方法であって、当該色調調整装置において第１照明の下で撮影されるキャリブレーション用被写体を含むキャリブレーション映像を入力する行程と、前記キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、を備えることを特徴とする。
【００１０】
さらに、上述の課題を鑑み、本発明に係るプログラムは、ネットワークを介して接続される複数のコンピュータを含む色調調整システムにおけるコンピュータを、当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力手段、他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信手段、前記映像受信手段が受信した前記他の色調調整装置において撮影された映像を出力する映像出力手段、前記映像入力手段が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算手段、前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信手段、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力手段に出力される映像に適した色に色変換する色変換量を計算する色変換量計算手段、として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、互いの照明光の色が異なる拠点においてそれぞれ撮影された画像を他拠点において出力する際に、照明光の違いによって生じ得る見え方の違いを自拠点の照明光に応じて調整することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図２】本発明の第１実施形態にかかる色調調整システムの概要を説明するための図ある。
【図３】本発明にかかるキャリブレーション用被写体の一例を示す図である。
【図４】本発明の第１実施形態にかかるキャリブレーション部の構成の一例を示すブロック図である。
【図５】本発明の第１実施形態にかかる色変換量計算処理の一例を示すフローチャートである。
【図６】本発明の第１実施形態にかかる色調調整処理の一例を示すフローチャートである。
【図７】本発明の第１実施形態にかかる色変換量の一例を示す図である。
【図８】本発明の第２実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図９】本発明の第２実施形態にかかる色調調整方法の一部を示す図である。
【図１０】ＲＧＢで表現される画像の照明光の色の範囲を示す図である。
【図１１】本発明の第２実施形態にかかる処理フローの一例を示すフローチャートである。
【図１２】本発明の第３実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図１３】本発明の第３実施形態にかかる色調調整方法の一部を示す図である。
【図１４】ＲＧＢで表現される画像の照明光の色の範囲を示す図である。
【図１５】本発明の第３実施形態にかかる処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
［第１実施形態］
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る色調調整システムにおける色調調整装置の構成を示すブロック図である。
【００１４】
図１に示すように、本発明の第１実施形態に係る色調調整システムは、ネットワークＮＷを介して接続される色調調整装置１と色調調整装置１００とを含む。
この色調調整装置１は、例えば、図２に示す通り、拠点Ａの会議室等に置かれており、光源Ｌａの下にいるユーザαを撮影して、この光源Ｌａ下で撮影された映像をネットワークＮＷを介して色調調整装置１００に送信する。
また、色調調整装置１００は、拠点Ａと異なる拠点Ｂの会議室等に置かれており、光源Ｌｂの下にいるユーザβを撮影して、この光源Ｌｂ下で撮影された映像をネットワークＮＷを介して色調調整装置１に送信する。
この色調調整装置１は、色調調整装置１００から受信した光源Ｌｂ下で撮影された映像を表示する。また、色調調整装置１００は、色調調整装置１から受信した光源Ｌａ下で撮影された映像を表示する。
なお、光源Ｌａと光源Ｌｂはそれぞれ異なる色の光を発する光源であって、光源Ｌａからは青みがかった光が、光源Ｌｂからは黄みがかった光が、それぞれ照射される。
【００１５】
図１に戻って、色調調整装置１および色調調整装置１００について詳細に説明する。なお、色調調整装置１と色調調整装置１００は、その構成が同じであるため、色調調整装置１について説明することで、色調調整装置１００の構成についての説明を省略する。なお、同じ構成部については、同一の符号を付す。
色調調整装置１は、映像入力部１１、映像送信部１２、映像受信部１３、映像出力部１４、映像蓄積部１５、色情報送信部１６、色情報受信部１７、色変換実行部１８およびキャリブレーション部１９を含む。
【００１６】
映像入力部１１は、例えば人物を含む被写体の映像を入力する部であって、ビデオカメラ等の撮像装置である。この映像入力部１１は、例えば、色変換量計算モードが設定されている場合、入力する映像を映像蓄積部１５に出力し、映像蓄積部１５のキャリブレーション映像記憶領域（図４において符号１５１で示す）に記憶させる。ここで、キャリブレーション映像記憶領域に記憶される映像を、以下、キャリブレーション映像という。
一方、色調調整モードが設定されている場合、入力する映像を映像送信部１２に出力する。この色変換量計算モードとは、色変換実行部１８によって色変換が行われる際に用いる色変換情報を計算する処理を行うモードである。また、色調調整モードとは、算出された色変換情報を用いて色変換が行われた映像を表示する処理を行うモードである。
なお、この色変換量計算モードと色調調整モードは、例えば、色調調整装置１に含まれる操作部（図示せず）を介してユーザによって指定されるものであってもよく、色調調整装置１が起動した後、一定時間の間だけ、色変換量計算モードとなり、その後、色調調整モードに切り替わる構成であってもよい。
【００１７】
また、色変換量計算モードにおいては、ユーザによりキャリブレーション用の被写体Ｋが映像入力部１１によって撮像される位置に配置され、映像入力部１１は、キャリブレーション用の被写体Ｋを含む画像データを入力する。
このキャリブレーション用の被写体Ｋは、色調が均一な媒体であって、例えば、白の色票や無彩色の色票、もしくは白色の紙である。なお、キャリブレーション用の被写体Ｋを含む画像データについて、その一例を図３に示す。図３に示すように、キャリブレーション用の被写体Ｋが画像のフレーム内に入るようにユーザによって操作されることが好ましい。
【００１８】
この映像入力部１１がキャリブレーション用の被写体Ｋを含む映像を抽出する方法としては、例えば、画像データの中から最も輝度の高い画素値をもつ点を抽出し、その点を中心として、四近傍もしくは八近傍の隣接画素に対して色が近い画素を一つのまとまりとして類似の色をもつ領域を拡大させることによって行う方法ある。また、映像入力部１１は、マウスやデジタイザ等の外部入力装置を用いてユーザからの指示を受け付け、ユーザによって指定された画像データをキャリブレーション用の被写体Ｋを含む映像して抽出するものであってもよい。
【００１９】
また、映像入力部１１は、このキャリブレーション用の被写体Ｋを含む画像データに基づきマスク画像を生成し、映像蓄積部１５に記憶させる。このマスク画像とは、２値からなる画像データであり、キャリブレーション用の被写体Ｋとして抽出された画像領域の画素値を「１」、映像Ｐのうちキャリブレーション用の被写体Ｋ以外の画像領域を「０」とするものである。
【００２０】
映像送信部１２は、ネットワークを介して拠点Ｂの色調調整装置１００と接続され、映像入力部１１から入力された画像データを、拠点Ｂの色調調整装置１００に送信する。 映像受信部１３は、ネットワークを介して拠点Ｂの色調調整装置１００と接続され、色調調整装置１から送信される映像を受信して、色変換実行部１８に出力する。
映像出力部１４は、例えば表示画面等を備える液晶ディスプレイやプラズマディスプレイ等のモニタを備える表示装置であり、映像受信部１３が受信した情報に基づき映像を出力する装置であればよく、プロジェクタやプリンタ等であってもよい。この映像出力部１４は、映像受信部１３を介して、拠点Ｂの色調調整装置１００から受信した画像データに基づき、色変換実行部１８によって変換された映像をモニタ（表示画面）に出力する。
【００２１】
映像蓄積部１５は、映像入力部１１から入力される映像や、キャリブレーション部１９における処理途中の結果やデータを一時的に格納するものであり、コンピュータにおけるメモリに相当する。
【００２２】
色情報送信部１６は、キャリブレーション部１９で得られた色情報を、ネットワークを経由して遠隔で会議を行う拠点Ｂの色調調整装置１００に送信する。
色情報受信部１７は、拠点Ｂの色調調整装置１００から送信される色情報を受信して、キャリブレーション部１９に出力する。
【００２３】
色変換実行部１８は、キャリブレーション部１９で得られた結果に基づき、送信元である拠点Ｂの色調調整装置１００において得られた色調に対応する色変換を、ネットワークを経由して拠点Ｂの色調調整装置１００から受信した映像に対して行い、映像出力部１４に出力する。なお、詳細については後述するが、色変換実行部１８は、キャリブレーション部１９によって得られる色変換情報に基づき、色調調整装置１００から受信した映像に対して色変換を行うか否かを判断し、色変換を行うと判断した場合、色調調整装置１００から受信した画像データに対して色変換を行う。一方、色変換を行わないと判断した場合、色調調整装置１００から受信した画像データに対して色変換を行うことなく、映像出力部１４に出力する。
【００２４】
キャリブレーション部１９は、本実施形態に係る色調調整システムにおける映像会議に先立ち、自拠点（拠点Ａ）の映像入力環境情報を抽出するとともに、他拠点（拠点Ｂ）の映像入力環境情報を収集することによって、ユーザαとβのそれぞれにとって違和感の少ない色で表わされた映像を表示するための色変換量計算処理を行う。
なお、キャリブレーション部１９は、色変換量計算モードが設定されている場合にこの色変換量計算処理を行う。この色変換量計算処理については、図５を参照して、後述する。また、キャリブレーション部１９は、色調調整モードが設定されている場合に、この色調調整処理を行う。この色調調整処理については、図６を参照して、後述する。
【００２５】
このキャリブレーション部１９について、図４を用いて詳細に説明する。図４は、キャリブレーション部１９の構成の一例を示すブロック図である。
図４に示す通り、キャリブレーション部１９は、領域抽出部１９１、色情報計算部１９２、色情報比較部１９３、色変換量計算部１９４を含む。
【００２６】
領域抽出部１９１は、映像蓄積部１５のキャリブレーション映像記憶領域１５１に記憶されているキャリブレーション映像を読み出し、このキャリブレーション映像に含まれるキャリブレーション用の被写体Ｋに対応する画像領域（以下、マスク領域という）を抽出し、このマスク領域とそれ以外の画像領域を区別したマスク画像を得て、映像蓄積部１５のマスク画像記憶領域１５２に記憶させる。
この領域抽出部１９１がマスク画像を抽出する方法としては、例えば、キャリブレーション映像記憶領域１５１から読み出したキャリブレーション映像（ここでは、１枚の画像データ）の中から最も輝度の高い画素値をもつ点を抽出し、その点を中心として、四近傍もしくは八近傍の隣接画素に対して色が近い画素を一つのまとまりとして類似の色をもつ領域を拡大させてマスク領域を抽出する。そしれ、例えば、領域抽出部１９１は、このマスク領域の画素値を「１」と、その他の画像領域の画素値を「０」とする２値からなるマスク画像を得る。
また、領域抽出部１９１は、マウスやデジタイザ等の外部入力装置と接続されてユーザからの指示を示す指示信号を入力して、ユーザによって指定された画像データをキャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）として認識し、この画像データに基づきマスク画像を抽出するものであってもよい。
【００２７】
色情報計算部１９２は、領域抽出部１９１によって得られたマスク画像に含まれるマスク領域（例えば、画素値「１」で表わされる領域）に該当する入力映像の色情報を計算し、この色情報を色情報送信部１６に出力するとともに、この色情報を映像蓄積部１５の色情報記憶領域１５３に記憶する。
ここでは、色情報計算部１９２は、色情報として色成分毎の画素値の平均を色情報として求める場合について説明するが、最大値や中央値を色情報としても構わない。
また、色情報の計算やキャリブレーション映像からのマスク画像の抽出においては、ＲＧＢ空間の場合を例にして以下説明するが、ＹＣｂＣｒ、ＹＩＱのような色空間を用いても構わない。
【００２８】
色情報比較部１９３は、映像蓄積部１５の色情報記憶領域１５３に記憶されている自拠点（拠点Ａ）における被写体の色情報（以下、自拠点色情報という）と、ネットワークＮＷを経由して他拠点（拠点Ｂ）の色調調整装置１００から受信した他拠点の色情報（以下、他拠点色情報という）を比較し、比較結果が予め決められている条件に該当するか否かを判断し、比較結果に応じた情報（以下、比較結果情報という）を色変換量計算部１９４に出力する。なお、この他拠点色情報も、自拠点色情報と同様、色調調整装置１００の映像入力部１１によって得られたキャリブレーション映像に基づき計算された色情報である。
【００２９】
この色情報比較部１９３は、比較結果が予め決められている条件に該当する場合、各拠点での色情報を色変換量計算部１９４に出力する。つまり、比較結果が予め決められている条件に該当する場合、色情報比較部１９３は、色調調整装置１に割り振られている識別子（ここではＩＤ００Ａ）を、色調調整装置１によって得られた自拠点色情報に対応付けた情報と、色調調整装置１００に割り振られている識別子（ここではＩＤ００Ｂ）を、色調調整装置１００によって得られた他拠点色情報に対応付けた情報と、比較結果情報として得る。
一方、比較結果が予め決められている条件に該当しない場合、色情報比較部１９３は、フラグ情報を色変換量計算部１９４に送信する。つまり、比較結果が予め決められている条件に該当しない場合、色情報比較部１９３は、色調調整装置１００に割り振られている識別子（ここではＩＤ００Ｂ）に、比較結果が予め決められている条件に該当しないことを示すフラグ情報（例えば、信号レベル「０」）を対応付けた情報と、比較結果情報として得る。
【００３０】
色変換量計算部１９４は、色情報比較部１９３から入力される比較結果情報に基づき、他拠点からの映像に対して色変換を行う際に必要な色変換情報を求め、映像蓄積部１５の色変換情報記憶領域１５４に記憶させる。
【００３１】
次に、図５、６を参照して、本実施形態に係る色調調整システムにおける色調調整方法の処理フローの一例について説明する。図５は、本実施形態に係る色調調整システムにおける色変換量計算処理の処理フローの一例を示すフローチャートである。
【００３２】
図５は、拠点Ａ−Ｂ間における映像会議に先立って、拠点Ａおよび拠点Ｂでの映像入力環境の特性を事前に確認し、補正するための色変換情報を得るための処理の一例を示すフローチャートである。
【００３３】
図５に示す通り、映像入力部１１が、入力された映像からキャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）を得た場合、映像蓄積部１５のキャリブレーション映像記憶領域１５１に格納する。次いで、キャリブレーション部１９の領域抽出部１９１は、この映像蓄積部１５のキャリブレーション映像記憶領域１５１から、キャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）を読み出す（ステップＳＴ１）。そして、領域抽出部１９１は、この画像データ（キャリブレーション映像）に対して画像処理を行い、キャリブレーション用の被写体Ｋに対応する画像領域（マスク領域）をキャリブレーション映像から抽出する（ステップＳＴ２）。つまり、キャリブレーションの対象であるキャリブレーション対象領域（マスク領域）を抽出する。
そして、領域抽出部１９１は、抽出したキャリブレーション対象領域（マスク領域）を含むマスク画像を映像蓄積部１５のマスク画像記憶領域１５２に格納する。このマスク画像は、例えば、キャリブレーション対象領域（マスク領域）の画素値を「１」、それ以外の画像領域を「０」とする画像である。
【００３４】
次いで、色情報計算部１９２は、映像蓄積部１５のマスク画像記憶領域１５２からマスク画像を読み出し、このマスク画像に基づき、マスク画像のうち画素値が「１」であるキャリブレーション対象領域（マスク領域）の色情報を計算する（ステップＳＴ３）。
そして、色情報計算部１９２は、計算によって得られた色情報（色成分毎の画素値の平均値）を、拠点Ａの色調調整装置１を示す端末識別子「ＩＤ００Ａ」とともに、色情報送信部１６からネットワークで接続された拠点Ｂの色調調整装置１００の色情報受信部１７に送信する（ステップＳＴ４）。
【００３５】
一方、拠点Ｂにおいて、当該色調調整装置１００は、上述同様、拠点Ｂの会議室の環境下において撮影されたキャリブレーション用の被写体Ｋに対応する画像領域の色情報（他拠点色情報）を計算する。そして、色調調整装置１００は、自身の色情報送信部１６から計算された他拠点色情報を、拠点Ｂの色調調整装置１００を示す端末識別子「ＩＤ００Ｂ」とともに、拠点Ａの色調調整装置１に送信する。これにより、色調調整装置１の色情報受信部１７は、拠点Ｂの色調調整装置１００によって得られた他拠点色情報を受信する（ステップＳＴ５）。
【００３６】
次いで、色情報受信部１７は、受信した他拠点色情報を色情報比較部１９３に出力する。そして、色情報比較部１９３は、色情報計算部１９２によって計算された拠点Ａの自拠点色情報と、色情報受信部１７から出力された拠点Ｂの他拠点色情報とを比較する（ステップＳＴ６）。ここで、色情報比較部１９３は、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報との比較結果が、下の式（１)に示すような条件に基づき、この条件を満たすか否かを判断する。つまり、色情報比較部１９３は、色変換の必要性有無を判定し、条件を満たす場合、色変換の必要性があると判断する。
【００３７】
【数１】
【００３８】
なお、式（１）において、Ｒ０，Ｇ０，Ｂ０、は、拠点Ａの自拠点色情報を示し、Ｒi，Ｇi，Ｂiは、拠点Ｂの他拠点色情報を示す。
ただし、ｉ＝１，２，・・・,ｎとし、ｎは、色調調整装置１とネットワークＮＷを介して通信する対象の拠点の数である。
また、式（１）におけるｔｈｒ（Ｒ閾値），ｔｈｇ（Ｇ閾値），ｔｈｂ（Ｂ閾値）は、ＲＧＢ成分それぞれの閾値である。
なお、式（１）は、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報の差分の絶対値をＲＧＢ成分毎に求め、これらの差分の絶対値が、それぞれＲ閾値、Ｇ閾値、Ｂ閾値未満であるか否かを判断する判定条件である。
【００３９】
しかし、本発明はこれに限られず、ＲＧＢ色空間上の２点における３次元ユークリッド距離によって判定しても構わないし、ＣＩＥＬＡＢのような均等色空間にマッピングし、その空間内での色差で判定しても構わない。
【００４０】
次いで、色情報比較部１９３は、式（１）に従って、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報の差分の絶対値をＲＧＢ成分毎に求め、これらの差分の絶対値がそれぞれＲ閾値、Ｇ閾値、Ｂ閾値未満であるか否かを判断する。
この判断の結果、式(１)に示す条件を満たさない場合、色情報比較部１９３は、拠点Ａと拠点Ｂでの映像取得環境における色情報の差が大きいため拠点Ｂからの映像に対して色変換が必要であると判断する。そして、色情報比較部１９３は、自拠点色情報に端末識別子「ＩＤ００Ａ」を対応付けた情報、および他拠点色情報に端末識別子「ＩＤ００Ｂ」を対応付けた情報を、色変換量計算部１９４に出力する。
一方、式（１）に示す条件を満たす場合は、色変換が不要と判断し、他拠点を示す端末識別子「ＩＤ００Ｂ」とフラグ情報（ここでは“０”とするが、固定の数値であれば、何でも構わない）を色変換量計算部１９４に出力する。
【００４１】
また、上述の判定は、通信する対象の他拠点の全てに対して行われ、他拠点毎に条件を満たすか否かの判定結果に応じて、色変換量計算部１９４に出力される情報が異なる。最後に、他拠点から受信した映像に対して色変換を行う際の色変換情報を計算する（ステップＳＴ７）。
【００４２】
色情報比較部１９３から出力される自拠点色情報をＲ０，Ｇ０，Ｂ０、他拠点色情報をＲi，Ｇi，Ｂi（ｉ＝１，２，・・・，ｎ）とすると、ＲＧＢ成分毎の色変換情報は、以下のように求められる。
【００４３】
【数２】
【００４４】
色情報比較部１９３からフラグ情報が送信された場合の色変換情報は、Ｒ，Ｇ，Ｂ成分とともに「１」に設定する。
このようにして得られた色変換情報は映像蓄積部１５の色変換情報記憶領域に格納される。
なお、格納される色変換情報は、上述のように、色変換を行うための係数であってもよく、また、図７に示すＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）のような形式で、ＲＧＢの画素値毎に変換前と後の対応関係を表にしたものでもよい。
図７では、ＲＧＢの各画素値が０〜２５５の全ての値に対して、色変換を行う際の係数をそれぞれ０．９、１．０５、１．２とした場合の色変換後の画素値を表形式にしたものである。色変換後の値が２５５を越える場合には２５５に固定する。
【００４５】
次に、上述のキャリブレーション結果を利用して、複数の拠点間で遠隔会議を行う際の色変換を行い表示させる色調調整処理について図６を参照して説明する。図６は、この色調調整処理の一例を示すフローチャートである。
例えば、色調調整装置１は、色調調整装置１００との通信接続の確立後（ステップＳＴ１１）、自拠点の映像入力部１１によって得られた遠隔会議の映像を入力し（ステップＳＴ１２）、その映像を端末識別子「ＩＤ００Ａ」とともに映像送信部１２からネットワークＮＷ経由で他拠点Ｂの色調調整装置１００に送信する（ステップＳＴ１３）。
一方、他拠点の色調調整装置１００においても、他拠点Ｂの映像入力部１１によって得られた遠隔会議の映像を入力し、その映像を端末識別子「ＩＤ００Ｂ」とともに映像送信部１２からネットワークＮＷ経由で自拠点Ａの色調調整装置１に送信する。
これにより、自拠点Ａの色調調整装置１の映像受信部１３では、他拠点Ｂの映像を他拠点の端末識別子「ＩＤ００Ｂ」とともに受信する（ステップＳＴ１４）。
【００４６】
そして、自拠点の色調調整装置１の色変換実行部１８は、映像蓄積部１５の色変換情報記憶領域１５４を参照して、受信した端末識別子の示す他拠点に対応する色変換情報を取得し、色変換を行う（ステップＳＴ１５）。
具体的に説明すると、映像蓄積部１５の色変換情報記憶領域１５４にて、色変換情報として、色変換の係数が格納されている場合、他拠点の映像の画素値（変換前）を［Ｒ，Ｇ，Ｂ］、変換後の画素値を［Ｒ‘、Ｇ’、Ｂ’］、色変換係数を
【００４７】
【数３】
とする。
そして、次式に示す変換を映像の各画素について行う。
【００４８】
【数４】
【００４９】
一方、色変換情報が、ＬＵＴの形式で色変換情報記憶領域１５４に格納されている場合は、色変換実行部１８は、図７に示したような表にしたがって、映像の各画素値に対応した変換後の画素値におきかえることによって色変換を行う。そして、色変換実行部１８は、色変換後の映像を映像出力部１４から出力する（ステップＳＴ１６）。ここで、会議が終了したか否かを判断する（ステップＳＴ１７）。例えば通信が切断された場合、あるいは、色変換処理の終了が指示された場合、会議が終了したことを判断し、通信の接続を切断する（ステップＳＴ１８）。一方、会議が終了していない場合、上述の一連の流れを会議終了まで繰り返し行う。
【００５０】
なお、上記第１の実施の形態においては、他拠点から受信した映像に対して色変換を行う構成を説明したが、自拠点から複数の他拠点に映像を送付する段階で相手側の環境に応じた色変換を施した映像を送信する構成であっても構わない。この場合、色変換実行部１８は、映像受信部１３と映像出力部１４の間ではなく、映像入力部１１と映像送信部１２の間に位置し、色変換量計算部１９４で得られる色変換の係数は、上述の説明で得られた係数の逆数となる。
【００５１】
［第２実施形態］
次に、本発明の第２の実施の形態について、図８のブロック図および図１１のフローチャートおよび図９、１０に示す図を参照しながら説明する。本構成は、第1の実施の形態の構成に加えて、色変換調整部３２０を有することを特徴とする。
この色変換調整部３２０は、色調調整装置３と色調調整装置３００との通信が確立し、キャリブレーション部３１９での結果に基づき色変換実行部３１８によって色情報の変換を行った映像の送受信が行われている段階で、遠隔会議の各拠点におけるユーザが色調整を行う機能を有することを特徴とする。
【００５２】
以下、図９−１１を参照しながら色変換調整部３２０内での詳細な動作について説明する。
色変換調整部３２０では、映像蓄積部３１５の色情報記憶領域に格納されている自拠点色情報および他拠点色情報を取得し（ステップＳＴ２１）、色調整に必要なユーザ入力のためのインタフェースを画面に表示する（ステップＳＴ２２）。図９に、インタフェースの一例として、遠隔会議の映像の下部にスライドバーによる色調整を行う仕組みを搭載した場合を示す。
ここで、色変換調整部３２０は、操作部（図示せず）から入力されるユーザからの操作指示を待ち（ステップＳＴ２３）、ユーザはスライドバー上に符号「△」で示すアイコンＱ１を左右に操作することによって、映像の色を調整することができる（ステップＳＴ２４）。スライドバー上の「△」で示すアイコンＱ１は現在の色環境を表し、中央付近にある二重線で示したマーカは、標準的な観察環境への変換を表す。
【００５３】
スライドバーで示す色調整の仕組みを以下に説明する。
例えば、オフィス内で利用されている人工照明光は、自然光下での物体の見えに近くなるように設計されている。一方、自然光は黒体放射の分光分布で近似できることも知られている。したがって、人工照明光および自然光の色は黒体放射に対応した色で近似できると言える。
図１０に示す曲線は、１５００Ｋ〜３００００Ｋまでの色温度をもつ黒体放射の色をＲ／Ｇ、Ｂ／Ｇを軸とする座標面上にプロットしたものであり、ＲＧＢで表現される画像の照明光の色はこの曲線上の範囲を動く。
よって図９に示すスライドバーを使った色調整は、図１０のＲ／Ｇ，Ｂ／Ｇ座標面上の曲線上を動くことに相当する。
【００５４】
なお、図１０において「●（黒丸）」を自環境でのキャリブレーションで得られた色情報とすると、図９の「△」で示すアイコンＱ１に対応する。また、図１０のＸは座標（１，１）で示す点であり、ＲＧＢに関して色みの偏りがない色、即ち、標準的な観察環境であることを表し、図９の二重線のマーカに対応する。
【００５５】
ユーザが図９に示すスライドバー上の「△」で示すアイコンＱ１を右もしくは左に移動させた場合の色変換量を求める。
「△」アイコンＱ１が二重線マーカの方に移動した場合（図９での「▲」アイコンＱ２の位置）は、「△」アイコンＱ１と二重線マーカとの距離に対する移動の割合を、図１０に破線で示す、原点とＸ、原点と「●（黒丸）」アイコンを結ぶ直線の角度に対する割合に対応させて、図１０の矢印で示した線分上かもしくは曲線上の色をユーザの指定した色とする。「△」アイコンＱ１を二重線マーカとは逆の方向に移動させた場合も同様に、同じ割合でＸと逆の方向に移動させる。
【００５６】
人間には色順応と呼ばれる視覚特性があり、有色の照明、もしくは有色で視野の多くが占められる環境下においては、その色に対する感度がにぶくなることが知られている。つまり、図２に示した拠点Ａにおいて、青みがかった環境下にいる人間は、色順応することによって、その環境内の物体の色を、青みがかった色というより、むしろ、白色下の照明下で観察する際の色に近い色として知覚する傾向がある。
【００５７】
本発明の第1の実施の形態では、各拠点に照明環境に合わせた色変換を行った映像を表示する構成であるが、上述の色順応の影響により、ユーザが自拠点の照明光の色を強く知覚しなくなるため、他拠点からの映像を色みに偏りがあると感じることが想定される。そこで、本発明の第2の実施の形態においては、色順応の影響を考慮し、ユーザが自拠点下で違和感のないような色表示が行えるように色調整の仕組みを提供する。
【００５８】
図１０の「●（黒丸）」の座標を（ａ０,ｂ０）とし、図９のスライドバーでのユーザが指定した「▲」アイコンＱ２の位置に対応させた、図１０上の座標を（ａ´，ｂ´）とすると、色変換の際の色変換係数をＲ成分はａ´／ａ０、Ｇ成分は１、Ｂ成分はｂ´／ｂ０のように求める。
色変換実行部３１８にて上記処理で得られた色変換係数を色変換情報として映像の色を変換し（変換式は式(２) と同様）、映像出力部３１４にて色調整した映像を表示する。
【００５９】
上述の説明では、色変換調整部３２０における実現形態の一例としてスライドバーを利用する方法を説明したが、直接数値を入れる形態であるとか、複数の調整結果の画像から所望のものを選択する方法であっても構わない。
【００６０】
［第３実施形態］
次に、本発明の第３実施の形態について、図１２のブロック図および図１５のフローチャートおよび図１３、１４に示す図を参照しながら説明する。
また、本発明の別な実施の形態として、第２実施の形態から、映像会議の前に色情報を送受信する部分を取り除いた形態であり、図１２にブロック図を示す。この構成では、各拠点で映像をみながら最適な表示になるように調整が行えることを特徴とする。
図１２に示すブロック図において、ほとんどの構成は、第1実施形態および第２実施形態を説明する際に説明済みであるため、ここではフレーム情報取得部５１６での映像フレームの取得から色変換調整、色変換量計算、色変換実行、映像出力までの流れを中心に説明する。
フレーム情報取得部５１６では、映像出力部５１４に表示されている他拠点の映像に対して、ユーザが指定するフレーム（ある時刻の画像）を１ないし複数枚分から色情報を取得し、その結果を映像蓄積部に格納する。
ここで、色情報とは、映像フレームの平均画素値とする場合について説明するが最大値、中央値であっても構わない。また、映像フレームが複数の場合は、各フレームから得られた色情報の平均を求める。なお、ユーザの指定は、会議映像のポーズや画面キャプチャ機能等を用いて行う方法もあるが、映像のフレームが取得できる方法であればどのような方法でも構わない。
【００６１】
次に、色変換調整部５１７にて、色調整に必要なユーザ入力のためのインタフェースを画面に表示する。図１３にインタフェースの一例として、遠隔会議の映像の下部にスライドバーによる色調整を行う仕組みを搭載した場合を示す。ユーザは中央に表示された「△」アイコンＱ３をスライドバー上で左右に移動させることによって映像に表示される色を調整する。
以下、図１５に示すフローチャートについて、図１３，１４に示す図を参照しながら処理の流れを説明する。
【００６２】
まず、ユーザがスライドバーを左右どちらかの方向に移動させると、フレーム情報取得部によって、該当フレームをキャプチャし、全体の平均の色を色情報として取得し、映像蓄積部５１５に格納する（ステップＳＴ３１）。得られたフレームの色情報をＲ／Ｇ，Ｂ／Ｇを座標軸とする空間に射影する（図１４での「●（黒丸）」）（ステップＳＴ３２）。ここで、ユーザからの操作入力を待ち（ステップＳＴ３３）、ユーザからの操作においてスライドバー上で右に移動した場合は、図１４の右側の矢印の方向に、左に移動した場合は、左側の矢印の方向になるように色を変化させる。
すなわち、移動した量に応じて、図１４の破線で示すように原点との結んだ線分間の角度を対応させて、曲線上を移動させる。
フレーム情報取得部５１６で得られた色情報をＲａｖｅ、Ｇａｖｅ、Ｂａｖｅ、即ち、図１４の座標系では、ａ０＝Ｒａｖｅ／Ｇａｖｅ、ｂ０＝Ｂａｖｅ／Ｇａｖｅ、とし、ユーザ入力に対応した色を（ａ´，ｂ´）とすると、色変換係数は、第２実施例の場合と同様、Ｒ成分はａ´／ａ０、Ｇ成分は１、Ｂ成分はｂ´／ｂ０のように求める（図１４）。色変換実行部５１９にて上記処理で得られた色変換係数を色変換情報として映像の色を変換し（変換式は式(２) と同様）、映像出力部５１４にて色調整した映像を表示する。
【００６３】
上述の説明では、色変換調整部５１７における実現形態の一例としてスライドバーを利用する方法を説明したが、直接数値を入れる形態であるとか、複数の調整結果の画像から所望のものを選択する方法であっても構わない。
【００６４】
上述の通り、本発明にかかる色調調整システムは、遠隔地間をネットワークで接続した映像会議において、拠点間で色に関するキャリブレーション用の情報を交換し、相手から送信された映像、もしくは相手に送信する映像に対して色変換を施すことにより、双方の照明光環境の違いによる映像の色表示に関する違和感を逓減させるという効果が期待される。また、上記に加え、各拠点に個別の調整機能を設けることにより、人間の順応状態に応じた映像の色に調整できるという効果もある。
【００６５】
また、本発明では、映像通信会議を行う際に、各拠点での照明光環境の情報を通信対象とする拠点間で共有し、色変換に必要な色変換係数もしくは色変換表（ＬＵＴ）を求める機構を設けることによって、会議の照明光環境下にあわせて表示装置に映像の色を表示することができ、違和感のない通信会議を実現できる。また、色順応という人間の視覚特性を考慮し拠点内で色調整ができる仕組みを有すると共に、照明光の色を黒体放射と仮定することによって色調整を1次元の移動で実現することができる。
【００６６】
なお、上述した第１〜３実施形態において、色調調整装置１による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６８】
１ 色調調整装置、１１ 映像入力部、１２ 映像送信部、１３ 映像受信部、１４ 映像出力部、１５ 映像蓄積部、１６ 色情報送信部、１７ 色情報受信部、１８ 色変換実行部、１９ キャリブレーション部、１５１ キャリブレーション映像記憶領域、１５２ マスク画像記憶領域、１５３ 色情報記憶領域、１５４ 色変換情報記憶領域、１９１ 領域抽出部、１９２ 色情報計算部、１９３ 色情報比較部、１９４ 色変換量計算部
【技術分野】
【０００１】
本発明は、例えばネットワークで接続される複数の出力装置によってそれぞれ出力される映像を出力装置が設置されている照明環境に応じて調整する色調調整装置、色調調整方法およびプログラムに関するものである。
【背景技術】
【０００２】
例えば、ネットワークを介して接続されるテレビ会議装置において、自拠点の様子をテレビ会議装置に設けられたカメラで撮影して、他拠点にあるテレビ会議装置に送信するとともに、他拠点で撮影された映像を受信して自拠点のテレビ会議装置に表示するものがある（例えば、特許文献１参照）。
また、映像の入出力においては、カメラやスキャナ等の撮像装置、モニタやプロジェクタ等の出力装置のそれぞれに応じた固有の入出力特性があり、映像内（映像空間）における被写体の色が実空間における被写体の色と異なることが知られている（例えば、非特許文献１参照）。
これは、色を表現する色空間の違い（ＲＧＢやＣＭＹＫ）や、色表現可能な範囲（色域）が機器毎に異なることに起因するためである。この各機器の入出力特性は、ＩＣＣ（インターナショナルカラーコンソーシアム：http://www.color.org/index.xalter）において規定された様式に従う。これにより、機器が接続されたコンピュータにおいて、この入出力特性に応じて映像の色変換を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３０１３９９号公報
【非特許文献】
【０００４】
【非特許文献１】画像電子学会編「カラー画像処理とデバイス」第２１章ｐｐ．２９８−３１２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、会議が行われる各拠点で、照明光の色が異なっている場合、機器の入出力特性に応じて実空間と映像空間における被写体の色のずれを補正したとしても、自拠点と他拠点の照明光による環境が異なる場合、各拠点で再生された映像に対してユーザが違和感を覚える場合がある。
例えば、自拠点において青みがかった光源の下で撮影された自拠点の映像を他拠点で出力し、他拠点において黄みがかった光源の下で撮影された他拠点の映像を自拠点で出力した場合、機器の入出力特性に応じた補正をしても、両拠点での照明光の色が異なっていることにより、それを見るユーザが違和感を覚えるおそれがある。
【０００６】
つまり、自拠点において青みがかった光源の下で撮影された自拠点の映像を、他拠点において黄みがかった光源の下で出力した場合、自拠点で撮影された映像が全体的に黄みがかった映像として他拠点において出力される。
同様に、他拠点において黄みがかった光源の下で撮影された他拠点の映像を、自拠点において青みがかった光源の下で出力した場合、他拠点で撮影された映像が全体的に青みがかった映像として自拠点において出力される。
このように、互いの照明光の色が異なることによって、相手方で撮影された映像を自身側の環境で表示した場合、色によって表現される自身側の雰囲気と、相手側の映像の雰囲気とが異なることによって、相手側の映像を見る者が違和感を覚えるおそれがある。これにより、実際に会議をしているという臨場感を再現できないことになる。
【０００７】
上述の課題を鑑み、本発明は、互いの照明光の色が異なる拠点においてそれぞれ撮影された画像を他拠点において出力する際に、照明光の違いによって生じ得る見え方の違いを自拠点の照明光に応じて調整することができる色調調整装置、色調調整方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を鑑み、本発明に係る色調調整装置は、ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整装置であって、当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力部と、他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信部と、前記映像受信部が受信した前記他の色調調整装置において撮影された映像を出力する映像出力部と、前記映像入力部が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算部と、前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信部と、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力部に出力される映像に適した色に色変換する色変換量を計算する色変換量計算部と、を備えることを特徴とする。
【０００９】
また、上述の課題を鑑み、本発明に係る色調調整方法は、ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整方法であって、当該色調調整装置において第１照明の下で撮影されるキャリブレーション用被写体を含むキャリブレーション映像を入力する行程と、前記キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、を備えることを特徴とする。
【００１０】
さらに、上述の課題を鑑み、本発明に係るプログラムは、ネットワークを介して接続される複数のコンピュータを含む色調調整システムにおけるコンピュータを、当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力手段、他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信手段、前記映像受信手段が受信した前記他の色調調整装置において撮影された映像を出力する映像出力手段、前記映像入力手段が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算手段、前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信手段、前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力手段に出力される映像に適した色に色変換する色変換量を計算する色変換量計算手段、として機能させるためのプログラムである。
【発明の効果】
【００１１】
本発明によれば、互いの照明光の色が異なる拠点においてそれぞれ撮影された画像を他拠点において出力する際に、照明光の違いによって生じ得る見え方の違いを自拠点の照明光に応じて調整することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図２】本発明の第１実施形態にかかる色調調整システムの概要を説明するための図ある。
【図３】本発明にかかるキャリブレーション用被写体の一例を示す図である。
【図４】本発明の第１実施形態にかかるキャリブレーション部の構成の一例を示すブロック図である。
【図５】本発明の第１実施形態にかかる色変換量計算処理の一例を示すフローチャートである。
【図６】本発明の第１実施形態にかかる色調調整処理の一例を示すフローチャートである。
【図７】本発明の第１実施形態にかかる色変換量の一例を示す図である。
【図８】本発明の第２実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図９】本発明の第２実施形態にかかる色調調整方法の一部を示す図である。
【図１０】ＲＧＢで表現される画像の照明光の色の範囲を示す図である。
【図１１】本発明の第２実施形態にかかる処理フローの一例を示すフローチャートである。
【図１２】本発明の第３実施形態にかかる色調調整システムの構成の一例を示すブロック図である。
【図１３】本発明の第３実施形態にかかる色調調整方法の一部を示す図である。
【図１４】ＲＧＢで表現される画像の照明光の色の範囲を示す図である。
【図１５】本発明の第３実施形態にかかる処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
［第１実施形態］
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１実施形態に係る色調調整システムにおける色調調整装置の構成を示すブロック図である。
【００１４】
図１に示すように、本発明の第１実施形態に係る色調調整システムは、ネットワークＮＷを介して接続される色調調整装置１と色調調整装置１００とを含む。
この色調調整装置１は、例えば、図２に示す通り、拠点Ａの会議室等に置かれており、光源Ｌａの下にいるユーザαを撮影して、この光源Ｌａ下で撮影された映像をネットワークＮＷを介して色調調整装置１００に送信する。
また、色調調整装置１００は、拠点Ａと異なる拠点Ｂの会議室等に置かれており、光源Ｌｂの下にいるユーザβを撮影して、この光源Ｌｂ下で撮影された映像をネットワークＮＷを介して色調調整装置１に送信する。
この色調調整装置１は、色調調整装置１００から受信した光源Ｌｂ下で撮影された映像を表示する。また、色調調整装置１００は、色調調整装置１から受信した光源Ｌａ下で撮影された映像を表示する。
なお、光源Ｌａと光源Ｌｂはそれぞれ異なる色の光を発する光源であって、光源Ｌａからは青みがかった光が、光源Ｌｂからは黄みがかった光が、それぞれ照射される。
【００１５】
図１に戻って、色調調整装置１および色調調整装置１００について詳細に説明する。なお、色調調整装置１と色調調整装置１００は、その構成が同じであるため、色調調整装置１について説明することで、色調調整装置１００の構成についての説明を省略する。なお、同じ構成部については、同一の符号を付す。
色調調整装置１は、映像入力部１１、映像送信部１２、映像受信部１３、映像出力部１４、映像蓄積部１５、色情報送信部１６、色情報受信部１７、色変換実行部１８およびキャリブレーション部１９を含む。
【００１６】
映像入力部１１は、例えば人物を含む被写体の映像を入力する部であって、ビデオカメラ等の撮像装置である。この映像入力部１１は、例えば、色変換量計算モードが設定されている場合、入力する映像を映像蓄積部１５に出力し、映像蓄積部１５のキャリブレーション映像記憶領域（図４において符号１５１で示す）に記憶させる。ここで、キャリブレーション映像記憶領域に記憶される映像を、以下、キャリブレーション映像という。
一方、色調調整モードが設定されている場合、入力する映像を映像送信部１２に出力する。この色変換量計算モードとは、色変換実行部１８によって色変換が行われる際に用いる色変換情報を計算する処理を行うモードである。また、色調調整モードとは、算出された色変換情報を用いて色変換が行われた映像を表示する処理を行うモードである。
なお、この色変換量計算モードと色調調整モードは、例えば、色調調整装置１に含まれる操作部（図示せず）を介してユーザによって指定されるものであってもよく、色調調整装置１が起動した後、一定時間の間だけ、色変換量計算モードとなり、その後、色調調整モードに切り替わる構成であってもよい。
【００１７】
また、色変換量計算モードにおいては、ユーザによりキャリブレーション用の被写体Ｋが映像入力部１１によって撮像される位置に配置され、映像入力部１１は、キャリブレーション用の被写体Ｋを含む画像データを入力する。
このキャリブレーション用の被写体Ｋは、色調が均一な媒体であって、例えば、白の色票や無彩色の色票、もしくは白色の紙である。なお、キャリブレーション用の被写体Ｋを含む画像データについて、その一例を図３に示す。図３に示すように、キャリブレーション用の被写体Ｋが画像のフレーム内に入るようにユーザによって操作されることが好ましい。
【００１８】
この映像入力部１１がキャリブレーション用の被写体Ｋを含む映像を抽出する方法としては、例えば、画像データの中から最も輝度の高い画素値をもつ点を抽出し、その点を中心として、四近傍もしくは八近傍の隣接画素に対して色が近い画素を一つのまとまりとして類似の色をもつ領域を拡大させることによって行う方法ある。また、映像入力部１１は、マウスやデジタイザ等の外部入力装置を用いてユーザからの指示を受け付け、ユーザによって指定された画像データをキャリブレーション用の被写体Ｋを含む映像して抽出するものであってもよい。
【００１９】
また、映像入力部１１は、このキャリブレーション用の被写体Ｋを含む画像データに基づきマスク画像を生成し、映像蓄積部１５に記憶させる。このマスク画像とは、２値からなる画像データであり、キャリブレーション用の被写体Ｋとして抽出された画像領域の画素値を「１」、映像Ｐのうちキャリブレーション用の被写体Ｋ以外の画像領域を「０」とするものである。
【００２０】
映像送信部１２は、ネットワークを介して拠点Ｂの色調調整装置１００と接続され、映像入力部１１から入力された画像データを、拠点Ｂの色調調整装置１００に送信する。 映像受信部１３は、ネットワークを介して拠点Ｂの色調調整装置１００と接続され、色調調整装置１から送信される映像を受信して、色変換実行部１８に出力する。
映像出力部１４は、例えば表示画面等を備える液晶ディスプレイやプラズマディスプレイ等のモニタを備える表示装置であり、映像受信部１３が受信した情報に基づき映像を出力する装置であればよく、プロジェクタやプリンタ等であってもよい。この映像出力部１４は、映像受信部１３を介して、拠点Ｂの色調調整装置１００から受信した画像データに基づき、色変換実行部１８によって変換された映像をモニタ（表示画面）に出力する。
【００２１】
映像蓄積部１５は、映像入力部１１から入力される映像や、キャリブレーション部１９における処理途中の結果やデータを一時的に格納するものであり、コンピュータにおけるメモリに相当する。
【００２２】
色情報送信部１６は、キャリブレーション部１９で得られた色情報を、ネットワークを経由して遠隔で会議を行う拠点Ｂの色調調整装置１００に送信する。
色情報受信部１７は、拠点Ｂの色調調整装置１００から送信される色情報を受信して、キャリブレーション部１９に出力する。
【００２３】
色変換実行部１８は、キャリブレーション部１９で得られた結果に基づき、送信元である拠点Ｂの色調調整装置１００において得られた色調に対応する色変換を、ネットワークを経由して拠点Ｂの色調調整装置１００から受信した映像に対して行い、映像出力部１４に出力する。なお、詳細については後述するが、色変換実行部１８は、キャリブレーション部１９によって得られる色変換情報に基づき、色調調整装置１００から受信した映像に対して色変換を行うか否かを判断し、色変換を行うと判断した場合、色調調整装置１００から受信した画像データに対して色変換を行う。一方、色変換を行わないと判断した場合、色調調整装置１００から受信した画像データに対して色変換を行うことなく、映像出力部１４に出力する。
【００２４】
キャリブレーション部１９は、本実施形態に係る色調調整システムにおける映像会議に先立ち、自拠点（拠点Ａ）の映像入力環境情報を抽出するとともに、他拠点（拠点Ｂ）の映像入力環境情報を収集することによって、ユーザαとβのそれぞれにとって違和感の少ない色で表わされた映像を表示するための色変換量計算処理を行う。
なお、キャリブレーション部１９は、色変換量計算モードが設定されている場合にこの色変換量計算処理を行う。この色変換量計算処理については、図５を参照して、後述する。また、キャリブレーション部１９は、色調調整モードが設定されている場合に、この色調調整処理を行う。この色調調整処理については、図６を参照して、後述する。
【００２５】
このキャリブレーション部１９について、図４を用いて詳細に説明する。図４は、キャリブレーション部１９の構成の一例を示すブロック図である。
図４に示す通り、キャリブレーション部１９は、領域抽出部１９１、色情報計算部１９２、色情報比較部１９３、色変換量計算部１９４を含む。
【００２６】
領域抽出部１９１は、映像蓄積部１５のキャリブレーション映像記憶領域１５１に記憶されているキャリブレーション映像を読み出し、このキャリブレーション映像に含まれるキャリブレーション用の被写体Ｋに対応する画像領域（以下、マスク領域という）を抽出し、このマスク領域とそれ以外の画像領域を区別したマスク画像を得て、映像蓄積部１５のマスク画像記憶領域１５２に記憶させる。
この領域抽出部１９１がマスク画像を抽出する方法としては、例えば、キャリブレーション映像記憶領域１５１から読み出したキャリブレーション映像（ここでは、１枚の画像データ）の中から最も輝度の高い画素値をもつ点を抽出し、その点を中心として、四近傍もしくは八近傍の隣接画素に対して色が近い画素を一つのまとまりとして類似の色をもつ領域を拡大させてマスク領域を抽出する。そしれ、例えば、領域抽出部１９１は、このマスク領域の画素値を「１」と、その他の画像領域の画素値を「０」とする２値からなるマスク画像を得る。
また、領域抽出部１９１は、マウスやデジタイザ等の外部入力装置と接続されてユーザからの指示を示す指示信号を入力して、ユーザによって指定された画像データをキャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）として認識し、この画像データに基づきマスク画像を抽出するものであってもよい。
【００２７】
色情報計算部１９２は、領域抽出部１９１によって得られたマスク画像に含まれるマスク領域（例えば、画素値「１」で表わされる領域）に該当する入力映像の色情報を計算し、この色情報を色情報送信部１６に出力するとともに、この色情報を映像蓄積部１５の色情報記憶領域１５３に記憶する。
ここでは、色情報計算部１９２は、色情報として色成分毎の画素値の平均を色情報として求める場合について説明するが、最大値や中央値を色情報としても構わない。
また、色情報の計算やキャリブレーション映像からのマスク画像の抽出においては、ＲＧＢ空間の場合を例にして以下説明するが、ＹＣｂＣｒ、ＹＩＱのような色空間を用いても構わない。
【００２８】
色情報比較部１９３は、映像蓄積部１５の色情報記憶領域１５３に記憶されている自拠点（拠点Ａ）における被写体の色情報（以下、自拠点色情報という）と、ネットワークＮＷを経由して他拠点（拠点Ｂ）の色調調整装置１００から受信した他拠点の色情報（以下、他拠点色情報という）を比較し、比較結果が予め決められている条件に該当するか否かを判断し、比較結果に応じた情報（以下、比較結果情報という）を色変換量計算部１９４に出力する。なお、この他拠点色情報も、自拠点色情報と同様、色調調整装置１００の映像入力部１１によって得られたキャリブレーション映像に基づき計算された色情報である。
【００２９】
この色情報比較部１９３は、比較結果が予め決められている条件に該当する場合、各拠点での色情報を色変換量計算部１９４に出力する。つまり、比較結果が予め決められている条件に該当する場合、色情報比較部１９３は、色調調整装置１に割り振られている識別子（ここではＩＤ００Ａ）を、色調調整装置１によって得られた自拠点色情報に対応付けた情報と、色調調整装置１００に割り振られている識別子（ここではＩＤ００Ｂ）を、色調調整装置１００によって得られた他拠点色情報に対応付けた情報と、比較結果情報として得る。
一方、比較結果が予め決められている条件に該当しない場合、色情報比較部１９３は、フラグ情報を色変換量計算部１９４に送信する。つまり、比較結果が予め決められている条件に該当しない場合、色情報比較部１９３は、色調調整装置１００に割り振られている識別子（ここではＩＤ００Ｂ）に、比較結果が予め決められている条件に該当しないことを示すフラグ情報（例えば、信号レベル「０」）を対応付けた情報と、比較結果情報として得る。
【００３０】
色変換量計算部１９４は、色情報比較部１９３から入力される比較結果情報に基づき、他拠点からの映像に対して色変換を行う際に必要な色変換情報を求め、映像蓄積部１５の色変換情報記憶領域１５４に記憶させる。
【００３１】
次に、図５、６を参照して、本実施形態に係る色調調整システムにおける色調調整方法の処理フローの一例について説明する。図５は、本実施形態に係る色調調整システムにおける色変換量計算処理の処理フローの一例を示すフローチャートである。
【００３２】
図５は、拠点Ａ−Ｂ間における映像会議に先立って、拠点Ａおよび拠点Ｂでの映像入力環境の特性を事前に確認し、補正するための色変換情報を得るための処理の一例を示すフローチャートである。
【００３３】
図５に示す通り、映像入力部１１が、入力された映像からキャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）を得た場合、映像蓄積部１５のキャリブレーション映像記憶領域１５１に格納する。次いで、キャリブレーション部１９の領域抽出部１９１は、この映像蓄積部１５のキャリブレーション映像記憶領域１５１から、キャリブレーション用の被写体Ｋを含む画像データ（キャリブレーション映像）を読み出す（ステップＳＴ１）。そして、領域抽出部１９１は、この画像データ（キャリブレーション映像）に対して画像処理を行い、キャリブレーション用の被写体Ｋに対応する画像領域（マスク領域）をキャリブレーション映像から抽出する（ステップＳＴ２）。つまり、キャリブレーションの対象であるキャリブレーション対象領域（マスク領域）を抽出する。
そして、領域抽出部１９１は、抽出したキャリブレーション対象領域（マスク領域）を含むマスク画像を映像蓄積部１５のマスク画像記憶領域１５２に格納する。このマスク画像は、例えば、キャリブレーション対象領域（マスク領域）の画素値を「１」、それ以外の画像領域を「０」とする画像である。
【００３４】
次いで、色情報計算部１９２は、映像蓄積部１５のマスク画像記憶領域１５２からマスク画像を読み出し、このマスク画像に基づき、マスク画像のうち画素値が「１」であるキャリブレーション対象領域（マスク領域）の色情報を計算する（ステップＳＴ３）。
そして、色情報計算部１９２は、計算によって得られた色情報（色成分毎の画素値の平均値）を、拠点Ａの色調調整装置１を示す端末識別子「ＩＤ００Ａ」とともに、色情報送信部１６からネットワークで接続された拠点Ｂの色調調整装置１００の色情報受信部１７に送信する（ステップＳＴ４）。
【００３５】
一方、拠点Ｂにおいて、当該色調調整装置１００は、上述同様、拠点Ｂの会議室の環境下において撮影されたキャリブレーション用の被写体Ｋに対応する画像領域の色情報（他拠点色情報）を計算する。そして、色調調整装置１００は、自身の色情報送信部１６から計算された他拠点色情報を、拠点Ｂの色調調整装置１００を示す端末識別子「ＩＤ００Ｂ」とともに、拠点Ａの色調調整装置１に送信する。これにより、色調調整装置１の色情報受信部１７は、拠点Ｂの色調調整装置１００によって得られた他拠点色情報を受信する（ステップＳＴ５）。
【００３６】
次いで、色情報受信部１７は、受信した他拠点色情報を色情報比較部１９３に出力する。そして、色情報比較部１９３は、色情報計算部１９２によって計算された拠点Ａの自拠点色情報と、色情報受信部１７から出力された拠点Ｂの他拠点色情報とを比較する（ステップＳＴ６）。ここで、色情報比較部１９３は、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報との比較結果が、下の式（１)に示すような条件に基づき、この条件を満たすか否かを判断する。つまり、色情報比較部１９３は、色変換の必要性有無を判定し、条件を満たす場合、色変換の必要性があると判断する。
【００３７】
【数１】
【００３８】
なお、式（１）において、Ｒ０，Ｇ０，Ｂ０、は、拠点Ａの自拠点色情報を示し、Ｒi，Ｇi，Ｂiは、拠点Ｂの他拠点色情報を示す。
ただし、ｉ＝１，２，・・・,ｎとし、ｎは、色調調整装置１とネットワークＮＷを介して通信する対象の拠点の数である。
また、式（１）におけるｔｈｒ（Ｒ閾値），ｔｈｇ（Ｇ閾値），ｔｈｂ（Ｂ閾値）は、ＲＧＢ成分それぞれの閾値である。
なお、式（１）は、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報の差分の絶対値をＲＧＢ成分毎に求め、これらの差分の絶対値が、それぞれＲ閾値、Ｇ閾値、Ｂ閾値未満であるか否かを判断する判定条件である。
【００３９】
しかし、本発明はこれに限られず、ＲＧＢ色空間上の２点における３次元ユークリッド距離によって判定しても構わないし、ＣＩＥＬＡＢのような均等色空間にマッピングし、その空間内での色差で判定しても構わない。
【００４０】
次いで、色情報比較部１９３は、式（１）に従って、拠点Ａの自拠点色情報と拠点Ｂの他拠点色情報の差分の絶対値をＲＧＢ成分毎に求め、これらの差分の絶対値がそれぞれＲ閾値、Ｇ閾値、Ｂ閾値未満であるか否かを判断する。
この判断の結果、式(１)に示す条件を満たさない場合、色情報比較部１９３は、拠点Ａと拠点Ｂでの映像取得環境における色情報の差が大きいため拠点Ｂからの映像に対して色変換が必要であると判断する。そして、色情報比較部１９３は、自拠点色情報に端末識別子「ＩＤ００Ａ」を対応付けた情報、および他拠点色情報に端末識別子「ＩＤ００Ｂ」を対応付けた情報を、色変換量計算部１９４に出力する。
一方、式（１）に示す条件を満たす場合は、色変換が不要と判断し、他拠点を示す端末識別子「ＩＤ００Ｂ」とフラグ情報（ここでは“０”とするが、固定の数値であれば、何でも構わない）を色変換量計算部１９４に出力する。
【００４１】
また、上述の判定は、通信する対象の他拠点の全てに対して行われ、他拠点毎に条件を満たすか否かの判定結果に応じて、色変換量計算部１９４に出力される情報が異なる。最後に、他拠点から受信した映像に対して色変換を行う際の色変換情報を計算する（ステップＳＴ７）。
【００４２】
色情報比較部１９３から出力される自拠点色情報をＲ０，Ｇ０，Ｂ０、他拠点色情報をＲi，Ｇi，Ｂi（ｉ＝１，２，・・・，ｎ）とすると、ＲＧＢ成分毎の色変換情報は、以下のように求められる。
【００４３】
【数２】
【００４４】
色情報比較部１９３からフラグ情報が送信された場合の色変換情報は、Ｒ，Ｇ，Ｂ成分とともに「１」に設定する。
このようにして得られた色変換情報は映像蓄積部１５の色変換情報記憶領域に格納される。
なお、格納される色変換情報は、上述のように、色変換を行うための係数であってもよく、また、図７に示すＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）のような形式で、ＲＧＢの画素値毎に変換前と後の対応関係を表にしたものでもよい。
図７では、ＲＧＢの各画素値が０〜２５５の全ての値に対して、色変換を行う際の係数をそれぞれ０．９、１．０５、１．２とした場合の色変換後の画素値を表形式にしたものである。色変換後の値が２５５を越える場合には２５５に固定する。
【００４５】
次に、上述のキャリブレーション結果を利用して、複数の拠点間で遠隔会議を行う際の色変換を行い表示させる色調調整処理について図６を参照して説明する。図６は、この色調調整処理の一例を示すフローチャートである。
例えば、色調調整装置１は、色調調整装置１００との通信接続の確立後（ステップＳＴ１１）、自拠点の映像入力部１１によって得られた遠隔会議の映像を入力し（ステップＳＴ１２）、その映像を端末識別子「ＩＤ００Ａ」とともに映像送信部１２からネットワークＮＷ経由で他拠点Ｂの色調調整装置１００に送信する（ステップＳＴ１３）。
一方、他拠点の色調調整装置１００においても、他拠点Ｂの映像入力部１１によって得られた遠隔会議の映像を入力し、その映像を端末識別子「ＩＤ００Ｂ」とともに映像送信部１２からネットワークＮＷ経由で自拠点Ａの色調調整装置１に送信する。
これにより、自拠点Ａの色調調整装置１の映像受信部１３では、他拠点Ｂの映像を他拠点の端末識別子「ＩＤ００Ｂ」とともに受信する（ステップＳＴ１４）。
【００４６】
そして、自拠点の色調調整装置１の色変換実行部１８は、映像蓄積部１５の色変換情報記憶領域１５４を参照して、受信した端末識別子の示す他拠点に対応する色変換情報を取得し、色変換を行う（ステップＳＴ１５）。
具体的に説明すると、映像蓄積部１５の色変換情報記憶領域１５４にて、色変換情報として、色変換の係数が格納されている場合、他拠点の映像の画素値（変換前）を［Ｒ，Ｇ，Ｂ］、変換後の画素値を［Ｒ‘、Ｇ’、Ｂ’］、色変換係数を
【００４７】
【数３】
とする。
そして、次式に示す変換を映像の各画素について行う。
【００４８】
【数４】
【００４９】
一方、色変換情報が、ＬＵＴの形式で色変換情報記憶領域１５４に格納されている場合は、色変換実行部１８は、図７に示したような表にしたがって、映像の各画素値に対応した変換後の画素値におきかえることによって色変換を行う。そして、色変換実行部１８は、色変換後の映像を映像出力部１４から出力する（ステップＳＴ１６）。ここで、会議が終了したか否かを判断する（ステップＳＴ１７）。例えば通信が切断された場合、あるいは、色変換処理の終了が指示された場合、会議が終了したことを判断し、通信の接続を切断する（ステップＳＴ１８）。一方、会議が終了していない場合、上述の一連の流れを会議終了まで繰り返し行う。
【００５０】
なお、上記第１の実施の形態においては、他拠点から受信した映像に対して色変換を行う構成を説明したが、自拠点から複数の他拠点に映像を送付する段階で相手側の環境に応じた色変換を施した映像を送信する構成であっても構わない。この場合、色変換実行部１８は、映像受信部１３と映像出力部１４の間ではなく、映像入力部１１と映像送信部１２の間に位置し、色変換量計算部１９４で得られる色変換の係数は、上述の説明で得られた係数の逆数となる。
【００５１】
［第２実施形態］
次に、本発明の第２の実施の形態について、図８のブロック図および図１１のフローチャートおよび図９、１０に示す図を参照しながら説明する。本構成は、第1の実施の形態の構成に加えて、色変換調整部３２０を有することを特徴とする。
この色変換調整部３２０は、色調調整装置３と色調調整装置３００との通信が確立し、キャリブレーション部３１９での結果に基づき色変換実行部３１８によって色情報の変換を行った映像の送受信が行われている段階で、遠隔会議の各拠点におけるユーザが色調整を行う機能を有することを特徴とする。
【００５２】
以下、図９−１１を参照しながら色変換調整部３２０内での詳細な動作について説明する。
色変換調整部３２０では、映像蓄積部３１５の色情報記憶領域に格納されている自拠点色情報および他拠点色情報を取得し（ステップＳＴ２１）、色調整に必要なユーザ入力のためのインタフェースを画面に表示する（ステップＳＴ２２）。図９に、インタフェースの一例として、遠隔会議の映像の下部にスライドバーによる色調整を行う仕組みを搭載した場合を示す。
ここで、色変換調整部３２０は、操作部（図示せず）から入力されるユーザからの操作指示を待ち（ステップＳＴ２３）、ユーザはスライドバー上に符号「△」で示すアイコンＱ１を左右に操作することによって、映像の色を調整することができる（ステップＳＴ２４）。スライドバー上の「△」で示すアイコンＱ１は現在の色環境を表し、中央付近にある二重線で示したマーカは、標準的な観察環境への変換を表す。
【００５３】
スライドバーで示す色調整の仕組みを以下に説明する。
例えば、オフィス内で利用されている人工照明光は、自然光下での物体の見えに近くなるように設計されている。一方、自然光は黒体放射の分光分布で近似できることも知られている。したがって、人工照明光および自然光の色は黒体放射に対応した色で近似できると言える。
図１０に示す曲線は、１５００Ｋ〜３００００Ｋまでの色温度をもつ黒体放射の色をＲ／Ｇ、Ｂ／Ｇを軸とする座標面上にプロットしたものであり、ＲＧＢで表現される画像の照明光の色はこの曲線上の範囲を動く。
よって図９に示すスライドバーを使った色調整は、図１０のＲ／Ｇ，Ｂ／Ｇ座標面上の曲線上を動くことに相当する。
【００５４】
なお、図１０において「●（黒丸）」を自環境でのキャリブレーションで得られた色情報とすると、図９の「△」で示すアイコンＱ１に対応する。また、図１０のＸは座標（１，１）で示す点であり、ＲＧＢに関して色みの偏りがない色、即ち、標準的な観察環境であることを表し、図９の二重線のマーカに対応する。
【００５５】
ユーザが図９に示すスライドバー上の「△」で示すアイコンＱ１を右もしくは左に移動させた場合の色変換量を求める。
「△」アイコンＱ１が二重線マーカの方に移動した場合（図９での「▲」アイコンＱ２の位置）は、「△」アイコンＱ１と二重線マーカとの距離に対する移動の割合を、図１０に破線で示す、原点とＸ、原点と「●（黒丸）」アイコンを結ぶ直線の角度に対する割合に対応させて、図１０の矢印で示した線分上かもしくは曲線上の色をユーザの指定した色とする。「△」アイコンＱ１を二重線マーカとは逆の方向に移動させた場合も同様に、同じ割合でＸと逆の方向に移動させる。
【００５６】
人間には色順応と呼ばれる視覚特性があり、有色の照明、もしくは有色で視野の多くが占められる環境下においては、その色に対する感度がにぶくなることが知られている。つまり、図２に示した拠点Ａにおいて、青みがかった環境下にいる人間は、色順応することによって、その環境内の物体の色を、青みがかった色というより、むしろ、白色下の照明下で観察する際の色に近い色として知覚する傾向がある。
【００５７】
本発明の第1の実施の形態では、各拠点に照明環境に合わせた色変換を行った映像を表示する構成であるが、上述の色順応の影響により、ユーザが自拠点の照明光の色を強く知覚しなくなるため、他拠点からの映像を色みに偏りがあると感じることが想定される。そこで、本発明の第2の実施の形態においては、色順応の影響を考慮し、ユーザが自拠点下で違和感のないような色表示が行えるように色調整の仕組みを提供する。
【００５８】
図１０の「●（黒丸）」の座標を（ａ０,ｂ０）とし、図９のスライドバーでのユーザが指定した「▲」アイコンＱ２の位置に対応させた、図１０上の座標を（ａ´，ｂ´）とすると、色変換の際の色変換係数をＲ成分はａ´／ａ０、Ｇ成分は１、Ｂ成分はｂ´／ｂ０のように求める。
色変換実行部３１８にて上記処理で得られた色変換係数を色変換情報として映像の色を変換し（変換式は式(２) と同様）、映像出力部３１４にて色調整した映像を表示する。
【００５９】
上述の説明では、色変換調整部３２０における実現形態の一例としてスライドバーを利用する方法を説明したが、直接数値を入れる形態であるとか、複数の調整結果の画像から所望のものを選択する方法であっても構わない。
【００６０】
［第３実施形態］
次に、本発明の第３実施の形態について、図１２のブロック図および図１５のフローチャートおよび図１３、１４に示す図を参照しながら説明する。
また、本発明の別な実施の形態として、第２実施の形態から、映像会議の前に色情報を送受信する部分を取り除いた形態であり、図１２にブロック図を示す。この構成では、各拠点で映像をみながら最適な表示になるように調整が行えることを特徴とする。
図１２に示すブロック図において、ほとんどの構成は、第1実施形態および第２実施形態を説明する際に説明済みであるため、ここではフレーム情報取得部５１６での映像フレームの取得から色変換調整、色変換量計算、色変換実行、映像出力までの流れを中心に説明する。
フレーム情報取得部５１６では、映像出力部５１４に表示されている他拠点の映像に対して、ユーザが指定するフレーム（ある時刻の画像）を１ないし複数枚分から色情報を取得し、その結果を映像蓄積部に格納する。
ここで、色情報とは、映像フレームの平均画素値とする場合について説明するが最大値、中央値であっても構わない。また、映像フレームが複数の場合は、各フレームから得られた色情報の平均を求める。なお、ユーザの指定は、会議映像のポーズや画面キャプチャ機能等を用いて行う方法もあるが、映像のフレームが取得できる方法であればどのような方法でも構わない。
【００６１】
次に、色変換調整部５１７にて、色調整に必要なユーザ入力のためのインタフェースを画面に表示する。図１３にインタフェースの一例として、遠隔会議の映像の下部にスライドバーによる色調整を行う仕組みを搭載した場合を示す。ユーザは中央に表示された「△」アイコンＱ３をスライドバー上で左右に移動させることによって映像に表示される色を調整する。
以下、図１５に示すフローチャートについて、図１３，１４に示す図を参照しながら処理の流れを説明する。
【００６２】
まず、ユーザがスライドバーを左右どちらかの方向に移動させると、フレーム情報取得部によって、該当フレームをキャプチャし、全体の平均の色を色情報として取得し、映像蓄積部５１５に格納する（ステップＳＴ３１）。得られたフレームの色情報をＲ／Ｇ，Ｂ／Ｇを座標軸とする空間に射影する（図１４での「●（黒丸）」）（ステップＳＴ３２）。ここで、ユーザからの操作入力を待ち（ステップＳＴ３３）、ユーザからの操作においてスライドバー上で右に移動した場合は、図１４の右側の矢印の方向に、左に移動した場合は、左側の矢印の方向になるように色を変化させる。
すなわち、移動した量に応じて、図１４の破線で示すように原点との結んだ線分間の角度を対応させて、曲線上を移動させる。
フレーム情報取得部５１６で得られた色情報をＲａｖｅ、Ｇａｖｅ、Ｂａｖｅ、即ち、図１４の座標系では、ａ０＝Ｒａｖｅ／Ｇａｖｅ、ｂ０＝Ｂａｖｅ／Ｇａｖｅ、とし、ユーザ入力に対応した色を（ａ´，ｂ´）とすると、色変換係数は、第２実施例の場合と同様、Ｒ成分はａ´／ａ０、Ｇ成分は１、Ｂ成分はｂ´／ｂ０のように求める（図１４）。色変換実行部５１９にて上記処理で得られた色変換係数を色変換情報として映像の色を変換し（変換式は式(２) と同様）、映像出力部５１４にて色調整した映像を表示する。
【００６３】
上述の説明では、色変換調整部５１７における実現形態の一例としてスライドバーを利用する方法を説明したが、直接数値を入れる形態であるとか、複数の調整結果の画像から所望のものを選択する方法であっても構わない。
【００６４】
上述の通り、本発明にかかる色調調整システムは、遠隔地間をネットワークで接続した映像会議において、拠点間で色に関するキャリブレーション用の情報を交換し、相手から送信された映像、もしくは相手に送信する映像に対して色変換を施すことにより、双方の照明光環境の違いによる映像の色表示に関する違和感を逓減させるという効果が期待される。また、上記に加え、各拠点に個別の調整機能を設けることにより、人間の順応状態に応じた映像の色に調整できるという効果もある。
【００６５】
また、本発明では、映像通信会議を行う際に、各拠点での照明光環境の情報を通信対象とする拠点間で共有し、色変換に必要な色変換係数もしくは色変換表（ＬＵＴ）を求める機構を設けることによって、会議の照明光環境下にあわせて表示装置に映像の色を表示することができ、違和感のない通信会議を実現できる。また、色順応という人間の視覚特性を考慮し拠点内で色調整ができる仕組みを有すると共に、照明光の色を黒体放射と仮定することによって色調整を1次元の移動で実現することができる。
【００６６】
なお、上述した第１〜３実施形態において、色調調整装置１による機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００６７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００６８】
１ 色調調整装置、１１ 映像入力部、１２ 映像送信部、１３ 映像受信部、１４ 映像出力部、１５ 映像蓄積部、１６ 色情報送信部、１７ 色情報受信部、１８ 色変換実行部、１９ キャリブレーション部、１５１ キャリブレーション映像記憶領域、１５２ マスク画像記憶領域、１５３ 色情報記憶領域、１５４ 色変換情報記憶領域、１９１ 領域抽出部、１９２ 色情報計算部、１９３ 色情報比較部、１９４ 色変換量計算部
【特許請求の範囲】
【請求項１】
ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整装置であって、
当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力部と、
他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信部と、
前記映像受信部が受信した前記他の色調調整装置において撮影された映像を出力する映像出力部と、
前記映像入力部が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算部と、
前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信部と、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力部に出力される映像に適した色に色変換する色変換量を計算する色変換量計算部と、
を備えることを特徴とする色調調整装置。
【請求項２】
ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整方法であって、
当該色調調整装置において第１照明の下で撮影されるキャリブレーション用被写体を含むキャリブレーション映像を入力する行程と、
前記キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、
他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、
を備えることを特徴とする色調調整方法。
【請求項３】
ネットワークを介して接続される複数のコンピュータを含む色調調整システムにおけるコンピュータを、
当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力手段、
他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信手段、
前記映像受信手段が受信した前記他の色調調整装置において撮影された映像を出力する映像出力手段、
前記映像入力手段が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算手段、
前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信手段、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力手段に出力される映像に適した色に色変換する色変換量を計算する色変換量計算手段、
として機能させるためのプログラム。
【請求項１】
ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整装置であって、
当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力部と、
他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信部と、
前記映像受信部が受信した前記他の色調調整装置において撮影された映像を出力する映像出力部と、
前記映像入力部が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算部と、
前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信部と、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力部に出力される映像に適した色に色変換する色変換量を計算する色変換量計算部と、
を備えることを特徴とする色調調整装置。
【請求項２】
ネットワークを介して接続される複数の色調調整装置を含む色調調整システムにおける前記色調調整方法であって、
当該色調調整装置において第１照明の下で撮影されるキャリブレーション用被写体を含むキャリブレーション映像を入力する行程と、
前記キャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する行程と、
他の色調調整装置における第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき、前記他の色調調整装置によって得られる、当該キャリブレーション用被写体の色調を示す第２色情報を受信する行程と、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で映像出力部に出力される映像に適した色に色変換する色変換量を計算する行程と、
を備えることを特徴とする色調調整方法。
【請求項３】
ネットワークを介して接続される複数のコンピュータを含む色調調整システムにおけるコンピュータを、
当該色調調整装置において第１照明の下で撮影される映像を入力する映像入力手段、
他の色調調整装置において第２照明の下で撮影される映像を受信する映像受信手段、
前記映像受信手段が受信した前記他の色調調整装置において撮影された映像を出力する映像出力手段、
前記映像入力手段が入力するキャリブレーション用被写体を含むキャリブレーション映像に基づき、当該キャリブレーション用被写体の色調を示す第１色情報を計算する色情報計算手段、
前記他の色調調整装置において第２照明の下で撮影される前記キャリブレーション用被写体を含むキャリブレーション映像に基づき得られる前記キャリブレーション用被写体の色調を示す第２色情報を受信する色情報受信手段、
前記第１色情報および前記第２色情報に基づき、前記第２照明の下で撮影された映像の色を前記第１照明の下で前記映像出力手段に出力される映像に適した色に色変換する色変換量を計算する色変換量計算手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１６５０９１（Ｐ２０１１−１６５０９１Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２９４９５（Ｐ２０１０−２９４９５）
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１２日（２０１０．２．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]