高度な色再現が可能な映像表示システム
【課題】映像信号送出するサーバにネットワークを介して接続される可搬式端末装置に映像データをダウンロードして表示する際に、被写体の色をより正確に再現することを可能とする。
【解決手段】可搬式端末装置１１０を取り巻く環境を照明する環境照明光の分光特性が環境照明検出部１１４で検出され、可搬式端末装置１１０の機種を特定する端末識別情報とともに環境照明光の分光情報がサーバ１３０に出力される。サーバ１３０は、端末識別情報に対応するモニタプロファイルをモニタプロファイル記憶部１３８中から抽出し、多原色映像保管部１３２に保管される映像データに対して環境照明光の分光特性および可搬式端末装置１１０のモニタプロファイルを加味して色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０に送出する。
【解決手段】可搬式端末装置１１０を取り巻く環境を照明する環境照明光の分光特性が環境照明検出部１１４で検出され、可搬式端末装置１１０の機種を特定する端末識別情報とともに環境照明光の分光情報がサーバ１３０に出力される。サーバ１３０は、端末識別情報に対応するモニタプロファイルをモニタプロファイル記憶部１３８中から抽出し、多原色映像保管部１３２に保管される映像データに対して環境照明光の分光特性および可搬式端末装置１１０のモニタプロファイルを加味して色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０に送出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話やＰＤＡ（携帯情報端末）、ノートＰＣ等の可搬式端末装置を用い、ネットワークを介して映像をダウンロードして高度な色再現の映像を視聴可能とする技術に関する。
【背景技術】
【０００２】
被写体の正確な色再現をカラーディスプレイ装置で可能とする技術として、種々の方法が提案されている。例えば、特許文献１には、カラーディスプレイ装置の色特性（モニタプロファイル）を、カラーディスプレイ装置に表示した色標（カラーパッチ）をカラーカメラで撮影することにより取得し、また、カラーディスプレイ装置の置かれる環境の照明条件（観察環境照明情報）を、照明光センサを用いて取得し、ネットワークを介して画像サーバから送られて来る画像データに対して上述したモニタプロファイルおよび観察環境照明情報に基づいて色変換の処理をし、映像を表示するものが開示されている。このような構成によって、例えばネットワークを介しての電子ショッピングに際し、顧客がカラーディスプレイ装置を観視している観察環境下で商品を観たときにどのような色調となるかをシミュレートすることが可能となり、注文して顧客の元に届けられた商品の色が予想していたものと異なっていたと云った理由で返品される不都合を抑制することが可能となる。
【特許文献１】特開２００１−６００８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した特許文献１の構成では、モニタプロファイルを計測するためのカラーカメラが必要で、高価となる。また、特に携帯電話やＰＤＡ等の軽量・小型であることを求められる機器に、それらの機器のディスプレイを撮影するためのカラーカメラを設けることは現実的ではない。加えて、携帯電話等の移動式端末装置、ＰＤＡ、ノートＰＣ等を用いて公衆回線にアクセスし、サーバから映像をダウンロードして視聴するような環境においては、それらの機器の情報処理能力、電池の容量等に制限があることから、ダウンロードした画像データに色変換の処理を行うような重い処理を長時間にわたり実行させることは困難な場合がある。
【０００４】
本発明は、上述した課題を解決するための手段を提供することを目的としており、可搬式の端末装置にモニタプロファイルを検出するためのセンサ等を用いることなく安価に、しかも情報処理能力がさほど高くなくても被写体の色を正確に再現して表示することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１） 本発明の第１の態様は、ネットワークを介して互いに接続される可搬式端末装置および映像データ送出サーバを有する映像表示システムに適用される。
そして前記可搬式端末装置は、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバは、
４つ以上の原色からなる多原色映像データを保管する多原色映像保管部と、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するモニタプロファイル記憶部と、
前記可搬式端末装置から送出される前記環境照明情報と、前記可搬式端末装置から送出される前記端末特定情報に対応する前記モニタプロファイルとに基づいて前記多原色映像データに色変換処理を行い、当該の色変換処理後の映像データを前記可搬式端末装置に送出するように構成される映像データ処理部と
を有する、
ことにより上述した課題を解決する。
（２） 本発明の第２の態様は、映像データ送出サーバにネットワークを介して接続可能な可搬式端末装置に適用される。そしてこの可搬式端末装置が、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するために前記映像データ送出サーバ内に備えられるモニタプロファイル記憶部中から前記端末特定情報に対応するものとして取り出されたモニタプロファイルと、前記可搬式端末装置から前記映像データ送出サーバに送られた前記環境照明情報とに基づいて、前記映像データ送出サーバ中に保管される４つ以上の原色からなる多原色映像データに対して色変換処理が行われて生成され、出力される色変換処理後の映像データを前記映像データ送出サーバから入力して前記映像表示部に映像を表示可能に構成されることにより、上述した課題を解決する。
【発明の効果】
【０００６】
本発明によれば、観察環境照明情報を可搬式端末装置が映像データ送出サーバに出力可能であることにより、可搬式端末装置がどのような観察環境に置かれていても、その観察環境に対応した映像を表示することが可能となる。また、可搬式端末装置が移動することによって観察環境が目まぐるしく変わる状況においてもその状況に対応して色変換の処理がなされた映像データに基づく映像をユーザは観ることが可能となる。さらに、色変換の処理が可搬式端末装置ではなく映像データ送出サーバの側で行われることにより、可搬式端末装置に求められる情報処理能力はさほど高いものではなくなるとともに、可搬式端末装置の映像表示部が有する原色数および表示解像度に対応して最適化された映像データが映像データ送出サーバから可搬式端末装置に送出されるので無駄な回線容量の浪費を抑制することが可能となる。
【発明を実施するための最良の形態】
【０００７】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る映像表示システム１００の概略的構成を示すブロック図である。映像表示システム１００は、可搬式端末装置１１０と、映像データを可搬式端末装置１１０に送出するためのサーバ１３０とがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。
【０００８】
可搬式端末装置１１０は、ＰＤＡ、ノートＰＣ等の可搬式のコンピュータや携帯電話、あるいはネットワークに接続して映像データを受信し、映像を表示可能なモニタ装置などで構成することが可能である。可搬式端末装置１１０は、映像表示部１１２と、環境照明検出部１１４とキー入力部１１６とを有する。これらの構成要素は一体に構成されていても別体で構成されていてもよい。映像表示部１１２は、カラー液晶表示デバイスや有機ＥＬ表示デバイス等で構成され、様々な情報および映像を表示可能に構成される。
【０００９】
環境照明検出部１１４は、可搬式端末装置１１０を取り巻く環境の照明の状況（分光スペクトル）を計測可能に構成される。以下、本明細書においては、可搬式端末装置１１０を取り巻く環境を観察環境と称し、この観察環境に存在して観察環境を照明する自然光、あるいはタングステン灯や蛍光灯などを総称して観察環境照明と称する。そして観察環境照明からの光を観察環境照明光と称する。環境照明検出部１１４は一例として、図２にその概略が示されるような構成を有するものとすることが可能である。
【００１０】
図２において、環境照明検出部１１４は、コサインコレクタ２０２と、光ファイバ２０４と、スリット２０６と、コリメータ・ミラー２０８と、グレーティング２１０と、結像ミラー２１２と、ラインセンサ２１４と、信号処理回路２１６とを有する。外光、すなわち観察環境照明光がコサインコレクタ２０２を介して光ファイバ２０４の入射端に導かれる。コサインコレクタ２０２は、１８０°の入射角で光を入射してそれを光ファイバ２０４の入射端に導くことにより測光特性を改善するためのものである。光ファイバ２０４の出射端から射出した光は、上記出射端近傍に配置されるスリット（開口）２０６で絞られてコリメータ・ミラー２０８に入射し、コリメータ・ミラー２０８の反射面で反射された際に平行光となるようにコリメートされ、グレーティング２１０に導かれる。グレーティング２１０で回折されて生成された一次スペクトル光は、結像ミラー２１２で反射・集光されてラインセンサ２１４に導かれる。
【００１１】
上述のようにして分光されてラインセンサ２１４に入射する光の強度が信号処理回路２１６で求められ、ラインセンサ２１４を構成する各画素の位置および画素値から観察環境照明光の分光スペクトルを知ることが可能となる。なお、環境照明検出部１１４の構成としては、図２を参照して以上に説明したものに限られるものではなく、プリズム等を用いて分光された光をラインセンサやエリアセンサ等で受光して分光スペクトルを計測するものであってもよい。あるいは、互いに異なる透過帯域を有する複数（４以上）のカラーフィルタをＣＣＤ等の受光素子の光入射部に設置して観察環境照明光の分光スペクトルを計測可能としてもよい。
【００１２】
図１に戻り、キー入力部１１６は、数字や文字等を入力するためのキー、あるいは映像表示部１１２に表示されるカーソル等の動きを観察者が制御したりメニュー操作をしたりすることが可能に構成される操作部材を含む。
【００１３】
ネットワーク１２０は、可搬式端末装置１１０が携帯電話である場合には移動体通信網およびインターネットで構成される。また、可搬式端末装置１１０が、アダプタを介して移動体通信網に接続可能なＰＤＡやノートＰＣである場合にもネットワーク１２０は移動体通信網およびインターネットで構成される。ネットワーク１２０はまた、ＬＡＮ、ＷＡＮ、公衆回線網などで構成することも可能である。その場合、可搬式端末装置１１０は無線のアクセスポイントを介してネットワーク１２０に接続することも、あるいは有線でネットワーク１２０に接続することも可能である。
【００１４】
サーバ１３０は、可搬式端末装置１１０から要求される映像データを送出可能に構成され、いわゆるコンテンツプロバイダによって提供されるものであっても、個人が所有するコンピュータによって構成されるものであってもよい。
【００１５】
可搬式端末装置１１０は、ネットワーク１２０を介してサーバ１３０に接続され、環境照明検出部１１４で検出された観察環境照明光の分光スペクトルに関連する情報と、可搬式端末装置１１０の種類をサーバ１３０が特定することが可能に構成される端末識別情報とが、ダウンロードすることを観察者が欲している映像データの種類を特定する情報とともにサーバ１３０へ送出される。
【００１６】
可搬式端末装置１１０からの要求に応じて映像データを送出可能に構成されるサーバ１３０は、多原色映像保管部１３２と、映像データ処理部１３４と、モニタプロファイル選択部１３６と、モニタプロファイル記憶部１３８とを有する。
【００１７】
多原色映像保管部１３２には、Ｍ原色（Ｍは４以上）の多原色映像が多数保管される。多原色映像とは、従来のカラー映像がＲＧＢ３原色の映像信号で構成されていたのと異なり、原色数が４以上、好ましくは６以上の映像信号で構成される映像である。例えば６バンドマルチスペクトルカメラで被写体を撮影して６バンドの多原色映像信号が生成される例について以下に説明する。
【００１８】
６バンドマルチスペクトルカメラ（不図示）の撮影レンズを透過した被写体光はビームスプリッタによって第１および第２の光路上を進む光に分離される。そのうち、第１の光路上を進む光は第１の分光透過特性を有する干渉フィルタを透過し、その後ダイクロイックプリズムによって例えばＲ１、Ｇ２、Ｂ１という分光波長帯域を有する３色の光に分離され、それぞれの色の光が異なる撮像素子上で被写体像を形成してＲ１、Ｇ２、Ｂ１の映像信号が形成される。第２の光路上を進む光は第２の分光透過特性を有する干渉フィルタを透過し、その後上述したのとは別のダイクロイックプリズムによって例えばＲ２、Ｇ１、Ｂ２という分光帯域を有する３色の光に分離され、それぞれの色の光が異なる撮像素子上で被写体像を形成してＲ２、Ｇ１、Ｂ２の映像信号が形成される。すなわち、撮影レンズを透過した被写体光はビームスプリッタによって二つの光に分離され、それぞれが互いに異なる分光透過特性を有する干渉フィルタおよびダイクロイックプリズムを経て６つの撮像素子上に導かれる、６板式のマルチスペクトルカメラ（ＭＳＣ）によって、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６バンド多原色映像信号が生成される。このとき、撮影時に被写体を照明していた照明光のスペクトルが計測され、この被写体を照明していた照明光のスペクトルに関連する情報（以下、本明細書ではこれを撮影環境照明情報と称する）が多原色映像データとともに記録される。多原色映像データにはまた、撮影レンズ、色分解光学系、撮像素子などによって決まる、各原色に対応する分光特性、階調（ガンマ）特性、レベル等の入力機器情報も含まれる。
【００１９】
観察者、すなわちサーバ１３０から映像データをダウンロードして、可搬式端末装置１１０の映像表示部１１２に表示される映像を観察する人は、キー入力部１１６を操作することによって、多原色映像保管部１３２中に保管される複数の映像データ中で所望のものを選択する。
【００２０】
モニタプロファイル記憶部１３８は、サーバ１３０に接続される可能性のある複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を網羅的に記録するデータベースである。このモニタプロファイル記憶部１３８には、一例として、各モニタの原色点（モニタがＲＧＢモニタである場合、Ｒ色のみ、Ｇ色のみ、Ｂ色のみの画像を表示した際の表示色）の色度値（ＣＩＥ ｘｙ色度図上のｘ、ｙ座標値）に関連する情報、ガンマ特性（Ｒ、Ｇ、Ｂそれぞれの入力信号の変化量に対する表示される色の変化量の割合）、バイアス値（Ｒ、Ｇ、Ｂそれぞれの入力信号を０、すなわち最も暗い黒を表示したときの表示輝度レベル）等が可搬式端末装置の種類に対応して記録される。
【００２１】
なお、可搬式端末装置１１０の映像表示部１１２は、ＸＹＺの測色値表示や多原色による表示が可能な構成とすることもできる。その場合には、それらの表示方式に対応した表示特性をモニタプロファイル記憶部１３８は記憶可能に構成される。
【００２２】
モニタプロファイル選択部１３６は、サーバに接続されている可搬式端末装置１１０から送出された端末識別情報に対応するモニタプロファイルを選択して映像データ処理部１３４に出力する。この映像データ処理部１３４には、可搬式端末装置１１０から出力される観察環境照明情報も入力される。映像データ処理部１３４は、観察者が選択した映像に対応する映像データを多原色映像保管部１３２から取り出し、この映像データに対して上述したモニタプロファイルおよび観察環境照明情報に基づく色変換処理を行う。この色変換処理の詳細については後で図３および図４を参照して詳述する。映像データ処理部１３４は、ネットワーク１２０を介して色変換処理後の映像データを可搬式端末装置１１０に送出する。
【００２３】
図３は、図１に示される映像データ処理部１３４の内部構成を概略的に示す図である。映像データ処理部１３４には、上述したように多原色映像保管部１３２から撮影環境照明情報および映像データが入力され、可搬式端末装置１１０からネットワーク１２０を介して観察環境照明情報が入力され、モニタプロファイル選択部１３６からモニタプロファイルが入力される。
【００２４】
映像データ処理部１３４は、色変換データ演算部３０２と、モニタ色変換データ演算部３０４と、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０とを有する。
【００２５】
撮影特性情報分離部３０６は、多原色映像保管部１３２から入力した映像データ中から入力機器情報を分離抽出して撮影環境照明情報とともに色変換データ演算部３０２に出力する。撮影特性情報分離部３０６はまた、多原色映像保管部１３２から入力した映像データ中から分離抽出した多原色映像データを色変換処理部３０８に出力する。
【００２６】
色変換データ演算部３０２は、撮影特性情報分離部３０６から入力した撮影環境照明情報および入力機器情報から、画像データの色変換処理に際して用いる演算パラメータ（以下、これを「演算パラメータ１」と称する）を求め、それを色変換処理部３０８に出力する。
【００２７】
モニタ色変換データ演算部３０４は、モニタプロファイル選択部１３６から入力したモニタプロファイルから、モニタ色変換部３１０で後述するモニタ色変換の処理をする際に用いる演算パラメータ（以下、これを「演算パラメータ２」と称する）を求め、求めた演算パラメータ２をモニタ色変換部３１０に出力する。
【００２８】
図４は、上述した色変換処理部３０８およびモニタ色変換部３１０の詳細を説明するブロック図である。色変換処理部３０８では、色変換データ演算部３０２から入力される演算パラメータ１に基づき、ルックアップ・テーブル（ＬＵＴ）１，ＬＵＴ２，…，ＬＵＴ Ｍ （以下、これらのＬＵＴを「ＬＵＴ ４０２」と総称する）と、マトリクス演算部４０４内のＭ×３マトリクスとが生成される。これらのＬＵＴ４０２およびＭ×３マトリクスは、色変換処理部３０８に入力される多原色映像データ（図４に示す例においてはＭバンド、すなわち原色数Ｍの多原色映像データが示される）を処理する際に用いられる。
【００２９】
ところで、多原色の映像データに基づいて高度の色再現を行う技術分野において、レンダリング照明による色再現の技術が知られている。この技術は、マルチスペクトルカメラで得られる映像データから、撮影機器の特性や撮影環境照明光の分光スペクトルに基づいて被写体の分光反射率を推定し、任意の分光強度を有する照明光のスペクトルデータを上記のようにして求められた分光反射率に乗じることにより、被写体が任意の照明光で照明されたときの色（被写体で反射された光のスペクトル）を再現（シミュレート）して表示する技術である。例えば、観察環境における照明光の分光スペクトルデータを上記分光反射率に乗じることにより、表示装置と、この表示装置に表示される映像を観察する観察者を取り巻く環境に被写体が存在していたときの色を再現して表示することにより、観察者にとってその映像は非常にリアルなものとして感じられるようになる。本発明においては、或る分光特性を有する照明光を当てたときに被写体がどのような色合いに観えるかをシミュレートする際に、被写体の推定された分光反射率に対して適用する照明光をレンダリング照明光と称する。また、本発明においては、レンダリング照明光として観察環境照明光を適用して可搬式端末装置１１０の映像表示部１１２に映像を表示することにより、撮影時とは異なる、観察環境における照明光源下での被写体の色を再現する。
【００３０】
色変換処理部３０８における色変換処理の説明に戻ると、色変換処理部３０８に入力される多原色映像データは、レンダリング照明光が適用される前の、推定分光反射率の映像データであり、暗闇に被写体があっても見えず、色が分からないのと同様に、レンダリング照明光が適用される前の映像データは、そのままでは色をなさない。色変換処理部３０８内において、多原色映像データには先ずＬＵＴ４０２が適用され、多原色映像データのそれぞれに対していわゆるトーンカーブの補正がなされてカメラのレベル・ガンマ特性の影響が除去される。続いて、マトリクス演算部４０４では多原色映像データに対してマトリクス演算がなされ、レンダリング照明光を適用する処理およびＸ、Ｙ、Ｚの測色値映像データに変換する処理が行われる。このようにして得られたＸ、Ｙ、Ｚ測色値映像データはモニタ色変換部３１０に送出される。
【００３１】
モニタ色変換部３１０では、モニタ色変換データ演算部３０４から入力される演算パラメータ２に基づき、色分解演算部４１４内のデータテーブルと、ルックアップ・テーブル（ＬＵＴ）１，ＬＵＴ２，…，ＬＵＴ Ｎ（以下、「ＬＵＴ ４１２」と称する）とが生成される。これらのデータテーブルおよびＬＵＴ４１２は、モニタ色変換部３１０に入力される３バンドの映像信号を処理する際に用いられる。
【００３２】
色分解演算部４１４内のデータテーブルは、入力される３バンド（Ｘ、Ｙ、Ｚ）の映像信号を原色１から原色Ｎの映像データに分解するために用いられる。ＬＵＴ４１２は、可搬式端末装置１１０の映像表示部１１２のガンマ特性およびバイアス値を補正するために用いられる。色分解演算部４１４内の上記データテーブルは、可搬式端末装置１１０に送出される映像データがＲＧＢ、ＸＹＺ等の３原色のものである場合には３×３のマトリクスとすることができる。可搬式端末装置１１０に送出される映像データの原色数が４以上の場合には、モニタ色変換部３１０に入力される３バンドの映像データから４色以上の原色の映像データを生成するためのルックアップ・テーブルが色分解演算部４１４内に生成される。
【００３３】
以上に説明したように、可搬式端末装置１１０の観察者はネットワーク１２０を介してサーバ１３０にアクセスし、観たい映像を選択する。その際に可搬式端末装置１１０からは環境照明検出部１１４で検出された環境照明の分光特性に関連する観察環境照明情報が端末識別情報とともにサーバ１３０に送出される。サーバ１３０では、選択された映像データに対して、端末識別情報に対応するモニタプロファイルと、観察環境照明情報とに基づいて色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０に送出する。その結果、映像表示部１１２に表示される映像中の被写体があたかも観察環境照明で照明されているかのような色合いで表示がなされるので、観察者は非常にリアルな映像を観察することが可能となる。また、インターネットを介してのショッピング等においても商品の色味が観察者の居る環境に置かれたときの色合いが再現可能となるので、発注して後日届けられた商品の色がイメージしていたものと異なる、といった不具合を抑制することが可能となる。
【００３４】
また、可搬式端末装置１１０からは端末識別情報がサーバ１３０に送出されて、その端末識別情報に基づいて、サーバ１３０内のモニタプロファイル記憶部１３８内に記憶されるモニタプロファイル中から可搬式端末装置１１０用のモニタプロファイルが選択され、映像データ処理部１３４での色変換処理に際して参照される構成を有することにより、可搬式端末装置１１０の側にモニタプロファイル計測用の構成を備える必要がない。
【００３５】
そして、映像データに対する色変換の処理はサーバ１３０の側で行われることにより、可搬式端末装置１１０の情報処理能力がさほど高くなくても高品位の映像を観察することが可能となる。加えて、映像表示部１１２の原色数が３しかないような場合には、サーバ１３０の側で３原色の映像データに変換してから可搬式端末装置１１０に送出されるので回線容量を浪費することがない。このとき、可搬式端末装置１１０の側の表示解像度をサーバ１３０が端末識別情報をもとに判定し、送出する映像データの解像度を最適なものに設定することによって、必要とする回線容量をさらに削減することが可能となる。
【００３６】
以上の実施の形態の説明において、観察環境照明情報が可搬式端末装置１１０からサーバ１３０に送出されるタイミングについて詳しく述べていないが、以下のようなタイミングで送出可能である。すなわち、可搬式端末装置１１０からサーバ１３０に対して映像データの送出を要求する際に観察環境照明情報を送出可能である。あるいは、一定時間ごとに送出することも、送られてくる映像データのシーンの変わり目、あるいは映像データが静止画のデータである場合には異なる映像に切り替えられるタイミングで観察環境照明情報を送出することもできる。また、予め定められたタイミングで環境照明検出部１１４が環境照明光の検出を行い、検出された環境照明光の特性に予め定められた量を超す変化があったかどうかを可搬式端末装置１１０の側で判定し、上記予め定められた量を超す変化があったと判定される場合に可搬式端末装置１１０からサーバ１３０に新たな観察照明情報を送出するように構成されていてもよい。さらにまた、観察者が観察環境照明情報の更新操作をした際に可搬式端末装置１１０からサーバ１３０に新たな観察環境照明情報を送出するように構成されていてもよい。
【００３７】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報は、可搬式端末装置１１０のメーカからサーバ１３０を所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００３８】
− 第２の実施の形態 −
図５は、本発明の第２の実施の形態に係る映像表示システム１００Ａの概略的構成を示すブロック図である。なお、以下の説明において、図１から図４に示される本発明の第１の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００３９】
第１の実施の形態においては、可搬式端末装置１１０から送出される観察環境照明情報に対応して、サーバ１３０からいわばリアルタイムで色変換の処理がなされた映像データが送出されるものであった。これに対して、第２の実施の形態においては、観察環境照明光として予め想定されるもの、例えば自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）などの状況と、モニタプロファイルの種類との組み合わせに対応して予め色変換の処理をしたものを保管しておく。そして、それらの映像データの中から最も適したものを可搬式端末装置１１０に送出する。
【００４０】
図５に示す映像表示システム１００Ａは、可搬式端末装置１１０とサーバ１３０Ａとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ａは、多原色映像保管部１３２と、映像データ処理部１３４Ａと、モニタプロファイル記憶部１３８と、観察環境照明情報記憶部５０２と、表示用映像保管部５０４と、映像選択部５０６と、観察環境照明類似度判定部５０８とを有する。
【００４１】
これらの構成要素のうち、観察環境照明情報記憶部５０２には、上述したように観察環境照明光として予め想定されるものに対応する観察環境照明情報が予め記憶されている。表示用映像保管部５０４には、映像データ処理部１３４Ａにおいて後述するようにオフラインで色変換処理されて生成された表示用の映像データが多数保管される。
【００４２】
観察環境照明類似度判定部５０８は、ネットワーク１２０を介して可搬式端末装置１１０から観察環境照明情報、すなわち観察環境照明光の分光スペクトルに関連する情報を入力する。そして観察環境照明類似度判定部５０８は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０より上述のように入力した観察環境照明情報に最も類似するものを選択し、その最も類似するものに対応する情報である類似観察環境照明情報を映像選択部５０６に出力する。映像選択部５０６は、表示用映像保管部５０４に保管される映像データ中から、ネットワーク１２０を介して可搬式端末装置１１０から入力した端末識別情報および上記の類似観察環境照明情報の組み合わせに対応して最も適した映像データを選択し、ネットワーク１２０を介して可搬式端末装置１１０に送出する。
【００４３】
図６は、映像データ処理部１３４Ａの内部構成を説明するブロック図である。映像データ処理部１３４Ａは、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０と、色変換データ演算部３０２とモニタ色変換データ演算部３０４とを有する。図３と図６とを比較すると明らかなように、第１の実施の形態中における映像データ処理部１３４と第２の実施の形態中における映像データ処理部１３４Ａとで内部構成に違いはなく、これらの映像データ処理部が入出力する情報あるいはデータの内容と、それらの情報あるいはデータをどこから入力してどこへ出力するかという点に違いがある。
【００４４】
図５および図６を参照して説明すると、映像データ処理部１３４Ａは、以下に説明する処理をオフラインにて最初に行う。すなわち、色変換データ演算部３０２は観察環境照明情報記憶部５０２から複数の種類の観察環境照明情報を順次入力し、この観察環境照明情報と、撮影特性情報分離部３０６から入力した撮影環境照明情報および入力機器情報とに基づいて、これらの情報の組み合わせに対応する演算パラメータ１を色変換処理部３０８に順次出力する。同様に、モニタ色変換データ演算部３０４は、モニタプロファイル記憶部１３８から複数の種類のモニタプロファイルを順次入力し、このモニタプロファイルに対応する演算パラメータ２をモニタ色変換部３１０に順次出力する。映像データ処理部１３４Ａは、多原色映像保管部１３２から入力される映像データに対して上記の演算パラメータ１および演算パラメータ２を適用して処理済み映像データを順次生成し、表示用映像保管部５０４に出力する。
【００４５】
図７は、表示用映像保管部５０４に保管される処理済み映像データを概念的に示す図である。図７に例示されるように、処理済み映像データは、コンテントごとに機種（可搬式端末装置の種類）および観察環境照明の種類に対応して生成・保管される。図７に示す例では、機種１の映像表示部はＲＧＢ表示であるため、機種１用の映像データはＲＧＢ映像データとなっている。また、機種２の映像表示部はＸＹＺの測色値表示仕様となっているので機種２用の映像データはＸＹＺ映像データとなっている。さらに、機種３の映像表示部は４つの原色を有する仕様となっているので、機種３用の映像データは４バンド映像データとなっている。このように、サーバ１３０Ａに接続される可能性のある可搬式端末装置それぞれが有する映像表示部と、予め想定される観察環境照明との組み合わせに対応して映像データが生成され、表示用映像保管部５０４に保管される。
【００４６】
観察者は可搬式端末装置１１０を操作し、ネットワーク１２０を介してサーバ１３０Ａにアクセスし、観たい映像（コンテント）を選択する。その際に可搬式端末装置１１０からは環境照明検出部１１４で検出された環境照明の分光特性に関連する観察環境照明情報が端末識別情報とともにサーバ１３０Ａに送出される。観察環境照明情報記憶部５０２中に記憶される複数種類の観察照明情報中から、サーバ１３０Ａ内の観察環境照明類似度判定部５０８に入力された観察環境照明情報に最も類似するものである類似観察環境照明情報が映像選択部５０６に入力される。その類似観察環境照明情報に基づいて映像選択部５０６は表示用映像保管部５０４に保管される映像データ中から最適の映像データを可搬式端末装置１１０に送出する。
【００４７】
本発明の第２の実施の形態においては、サーバ１３０Ａに接続される可能性のある可搬式端末装置１１０の種類と、予め想定される観察環境照明光の種類との組み合わせに基づいて映像データが予め処理されて表示用映像保管部５０４に保管される。そのため、サーバ１３０Ａが処理済みの映像データを可搬式端末装置１１０に送出する際に映像データを処理する必要がないのでサーバ１３０Ａの処理負荷を軽減することが可能となる。
【００４８】
以上に説明したように、観察環境照明類似度判定部５０８は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０より入力される観察環境照明情報に最も類似するものを選択する構成を有しているので、第２の実施の形態における可搬式端末装置１１０の環境照明検出部１１４は観察環境照明光の分光特性を厳密に測定可能なものでなくてもよい。例えば、Ｒ、Ｇ、Ｂ各色のフィルタが受光部に設けられるＣＣＤあるいはＣ−ＭＯＳセンサ等を用いて観察環境照明光のホワイトバランスあるいは色温度を測定可能な構成としてもよい。
【００４９】
また、以上に説明したオフライン処理による表示用映像データの生成処理に関して、サーバ１３０Ａ以外の処理システムで処理がなされて、処理後の映像データがサーバ１３０Ａの表示用映像保管部５０４に転送あるいはコピーされるものであってもよい。
【００５０】
第２の形態の説明においても、可搬式端末装置１１０からサーバ１３０Ａに観察環境照明情報を送出するタイミングは第１の実施の形態で説明したのと同様のものとすることが可能である。
【００５１】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１の実施の形態と同様、可搬式端末装置１１０のメーカからサーバ１３０Ａを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００５２】
− 第３の実施の形態 −
図８は、本発明の第３の実施の形態に係る映像表示システム１００Ｂの概略的構成を示すブロック図である。以下の説明において、図１から図７に示される本発明の第１および第２の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１および第２の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００５３】
第１および第２の実施の形態においては、可搬式端末装置１１０が環境照明検出部１１４を有していて、観察環境照明光の分光特性を検出可能に構成されるものであった。これに対して、第３の実施の形態においては、可搬式端末装置１１０Ａは観察環境照明光の分光特性を検出可能な構成を有していない。代わりに、可搬式端末装置１１０Ａは観察環境照明情報設定部８０２を有する。観察者は、可搬式端末装置１１０Ａおよび観察者を取り巻く観察環境を照明する光の種類を判断し、観察環境照明情報設定部８０２を操作して最適の観察環境照明情報を設定する。観察環境照明情報設定部８０２で設定可能な観察環境照明の種類としては、自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）などとすることが可能である。
【００５４】
図８に示す映像表示システム１００Ｂは、可搬式端末装置１１０Ａとサーバ１３０Ｂとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ｂは、多原色映像保管部１３２と、映像データ処理部１３４Ａと、モニタプロファイル記憶部１３８と、観察環境照明情報記憶部５０２と、表示用映像保管部５０４と、映像選択部５０６とを有する。映像データ処理部１３４Ａの内部構成は、図６に示されるものと同様である。
【００５５】
本発明の第３の実施の形態においても、第２の実施の形態と同様に、サーバ１３０Ｂに接続される可能性のある可搬式端末装置１１０Ａの種類と、予め想定される観察環境照明光の種類との組み合わせに基づいて映像データがオフライン時に予め処理されて表示用映像保管部５０４に保管される。
【００５６】
観察者は可搬式端末装置１１０Ａを操作し、ネットワーク１２０を介してサーバ１３０Ｂにアクセスし、観たい映像（コンテント）を選択する。このとき観察者が観察環境照明情報設定部８０２を操作して適宜の観察環境照明に設定するのに応じて可搬式端末装置１１０Ａからは上記のように観察者が設定した観察環境照明に対応する観察環境照明設定情報が端末識別情報とともにサーバ１３０Ｂに送出される。観察環境照明設定情報および端末識別情報は映像選択部５０６に入力される。映像選択部５０６は、入力された観察環境照明設定情報および端末識別情報に基づいて表示用映像保管部５０４に保管される映像データ中から最適の映像データを可搬式端末装置１１０Ａに送出する。
【００５７】
第３の実施の形態の説明において、可搬式端末装置１１０Ａからサーバ１３０Ｂに観察環境照明設定情報を送出するタイミングは、可搬式端末装置１１０Ａからサーバ１３０Ｂに対して映像データの送出を要求する際とすることが可能である。あるいは、観察者が必要を感じたときに観察環境照明情報設定部８０２を操作し、その際に観察環境照明設定情報が可搬式端末装置１１０Ａからサーバ１３０Ｂに送出されるものであってもよい。この場合サーバ１３０Ａは、送出するべき映像データを、入力した観察環境照明設定情報に対応するものに即切り替えてもよいし、動画であればシーンの切り替えタイミングで、静止画であれば次の映像データを送出するタイミングで切り替えてもよい。
【００５８】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１および第２の実施の形態と同様、可搬式端末装置１１０Ａのメーカからサーバ１３０Ｂを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００５９】
− 第４の実施の形態 −
図９は、本発明の第４の実施の形態に係る映像表示システム１００Ｃの概略的構成を示すブロック図である。なお、以下の説明において、図１から図８に示される本発明の第１から第３の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１から第３の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００６０】
第４の実施の形態においては、以下に詳述するように可搬式端末装置１１０Ａは観察環境照明情報設定部８０２を有し、観察者は可搬式端末装置１１０Ａおよび観察者を取り巻く観察環境を照明する光の種類を判断し、観察環境照明情報設定部８０２を操作して最適の観察環境照明情報を設定する。サーバ１３０Ｃは、可搬式端末装置１１０Ａから入力した観察環境照明設定情報をもとに色変換の処理をリアルタイムで行い、可搬式端末装置１１０Ａに送出する。
【００６１】
図９に示す映像表示システム１００Ｃは、可搬式端末装置１１０Ａとサーバ１３０Ｃとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ｃは、多原色映像保管部１３２と、映像データ処理部１３４Ｂと、モニタプロファイル記憶部１３８と、モニタプロファイル選択部１３６と、観察環境照明情報記憶部５０２と、適用観察環境照明選択部９０２とを有する。観察環境照明情報記憶部５０２には、第２および第３の実施の形態で説明したように観察環境照明光として予め想定されるもの、一例として自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）に対応する観察環境照明情報が予め記憶されている。
【００６２】
適用観察環境照明選択部９０２は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０Ａより入力した観察環境照明設定情報に対応、あるいは最も類似する観察環境照明情報を選択し、映像データ処理部１３４Ｂに出力する。
【００６３】
図１０は、映像データ処理部１３４Ｂの内部構成を説明するブロック図である。映像データ処理部１３４Ｂは、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０と、色変換データ演算部３０２とモニタ色変換データ演算部３０４とを有する。図３、図６、および図１０を比較すると明らかなように、第１、第２の実施の形態中における映像データ処理部１３４、１３４Ａと第４の実施の形態中における映像データ処理部１３４Ｂとで内部構成に違いはなく、これらの映像データ処理部が入出力する情報あるいはデータの内容と、それらの情報あるいはデータをどこから入力してどこへ出力するかという点に違いがある。
【００６４】
図９および図１０を参照して説明すると、映像データ処理部１３４Ｂ内の色変換データ演算部３０２は、適用観察環境照明選択部９０２から出力される観察環境照明情報を、撮影特性情報分離部３０６から出力される撮影環境照明情報および入力機器情報とともに入力する。色変換データ演算部３０２は、上述のように入力した情報に基づいて演算パラメータ１を求め、それを色変換処理部３０８に出力する。
【００６５】
観察者は可搬式端末装置１１０Ａを操作し、ネットワーク１２０を介してサーバ１３０Ｃにアクセスし、観たい映像（コンテント）を選択する。このとき観察者が観察環境照明情報設定部８０２を操作して適宜の観察環境照明に設定するのに応じて可搬式端末装置１１０Ａからは上記のように観察者が設定した観察環境照明に対応する観察環境照明設定情報が端末識別情報とともにサーバ１３０Ｃに送出される。端末識別情報は、モニタプロファイル選択部１３６に入力され、この端末識別情報に対応するモニタプロファイルがモニタプロファイル記憶部１３８中から選択されて映像データ処理部１３４Ｂ内のモニタ色変換データ演算部３０４に入力される。観察環境照明設定情報は、適用観察環境照明選択部９０２に入力され、この観察環境照明設定情報に対応する観察環境照明情報が観察環境照明情報記憶部５０２中から選択されて映像データ処理部１３４Ｂ内の色変換データ演算部３０２に入力される。
【００６６】
映像データ処理部１３４Ｂでは、選択された映像データに対して、端末識別情報に対応するモニタプロファイルと、観察環境照明情報とに基づいて色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０Ａに送出する。その結果、映像表示部１１２に表示される映像中の被写体があたかも観察環境照明で照明されているかのような色合いで表示がなされる。
【００６７】
第４の実施の形態においても、第３の実施の形態と同様に、可搬式端末装置１１０Ａからサーバ１３０Ｃに観察環境照明設定情報を送出するタイミングは、可搬式端末装置１１０Ａからサーバ１３０Ｃに対して映像データの送出を要求する際とすることが可能である。あるいは、観察者が必要を感じたときに観察環境照明情報設定部８０２を操作し、その際に観察環境照明設定情報が可搬式端末装置１１０Ａからサーバ１３０Ｃに送出されるものであってもよい。この場合サーバ１３０Ｃは、送出するべき映像データを、入力した観察環境照明設定情報に対応するものに即切り替えてもよいし、動画であればシーンの切り替えタイミングで、静止画であれば次の映像データを送出するタイミングで切り替えてもよい。
【００６８】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１および第２の実施の形態と同様、可搬式端末装置１１０Ａのメーカからサーバ１３０Ｂを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【産業上の利用可能性】
【００６９】
本発明に係る映像信号処理の技術は、映像データを送出可能なサーバと、有線および無線の形態を問わずにネットワークを介してこのサーバに接続される、携帯電話、ＰＤＡ、ノートＰＣ、モニタ装置等の可搬式の端末装置とで構成される映像表示システムに利用可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図２】環境照明検出部の内部構成例を概略的に示すブロック図である。
【図３】映像データ処理部の内部構成例を概略的に示すブロック図である。
【図４】色変換処理部およびモニタ色変換部の内部構成例を概略的に示すブロック図である。
【図５】本発明の第２の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図６】映像データ処理部の内部構成例を概略的に示すブロック図である。
【図７】表示用映像保管部に保管される映像データの保管形式を概念的に示す図である。
【図８】本発明の第３の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図９】本発明の第４の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図１０】映像データ処理部の内部構成例を概略的に示すブロック図である。
【符号の説明】
【００７１】
１００、１００Ａ、１００Ｂ、１００Ｃ … 映像表示システム
１１０、１１０Ａ … 可搬式端末装置
１１２ … 映像表示部
１１４ … 環境照明検出部
１１６ … キー入力部
１２０ … ネットワーク
１３０、１３０Ａ、１３０Ｂ、１３０Ｃ … サーバ
１３２ … 多原色映像保管部
１３４、１３４Ａ、１３４Ｂ … 映像データ処理部
１３６ … モニタプロファイル選択部
１３８ … モニタプロファイル記憶部
２０２ … コサインコレクタ
２０４ … 光ファイバ
２０６ … スリット
２０８ … コリメータ・ミラー
２１０ … グレーティング
２１２ … 結像ミラー
２１４ … ラインセンサ
２１６ … 信号処理回路
３０２ … 色変換データ演算部
３０４ … モニタ色変換データ演算部
３０６ … 撮影特性情報分離部
３０８ … 色変換処理部
３１０ … モニタ色変換部
４０２、４１２ … ＬＵＴ
４０４ … マトリクス演算部
４１４ … 色分解演算部
５０２ … 観察環境照明情報記憶部
５０４ … 表示用映像保管部
５０６ … 映像選択部
５０８ … 観察環境照明類似度判定部
８０２ … 観察環境照明情報設定部
９０２ … 適用観察環境照明選択部
【技術分野】
【０００１】
本発明は、携帯電話やＰＤＡ（携帯情報端末）、ノートＰＣ等の可搬式端末装置を用い、ネットワークを介して映像をダウンロードして高度な色再現の映像を視聴可能とする技術に関する。
【背景技術】
【０００２】
被写体の正確な色再現をカラーディスプレイ装置で可能とする技術として、種々の方法が提案されている。例えば、特許文献１には、カラーディスプレイ装置の色特性（モニタプロファイル）を、カラーディスプレイ装置に表示した色標（カラーパッチ）をカラーカメラで撮影することにより取得し、また、カラーディスプレイ装置の置かれる環境の照明条件（観察環境照明情報）を、照明光センサを用いて取得し、ネットワークを介して画像サーバから送られて来る画像データに対して上述したモニタプロファイルおよび観察環境照明情報に基づいて色変換の処理をし、映像を表示するものが開示されている。このような構成によって、例えばネットワークを介しての電子ショッピングに際し、顧客がカラーディスプレイ装置を観視している観察環境下で商品を観たときにどのような色調となるかをシミュレートすることが可能となり、注文して顧客の元に届けられた商品の色が予想していたものと異なっていたと云った理由で返品される不都合を抑制することが可能となる。
【特許文献１】特開２００１−６００８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した特許文献１の構成では、モニタプロファイルを計測するためのカラーカメラが必要で、高価となる。また、特に携帯電話やＰＤＡ等の軽量・小型であることを求められる機器に、それらの機器のディスプレイを撮影するためのカラーカメラを設けることは現実的ではない。加えて、携帯電話等の移動式端末装置、ＰＤＡ、ノートＰＣ等を用いて公衆回線にアクセスし、サーバから映像をダウンロードして視聴するような環境においては、それらの機器の情報処理能力、電池の容量等に制限があることから、ダウンロードした画像データに色変換の処理を行うような重い処理を長時間にわたり実行させることは困難な場合がある。
【０００４】
本発明は、上述した課題を解決するための手段を提供することを目的としており、可搬式の端末装置にモニタプロファイルを検出するためのセンサ等を用いることなく安価に、しかも情報処理能力がさほど高くなくても被写体の色を正確に再現して表示することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
（１） 本発明の第１の態様は、ネットワークを介して互いに接続される可搬式端末装置および映像データ送出サーバを有する映像表示システムに適用される。
そして前記可搬式端末装置は、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバは、
４つ以上の原色からなる多原色映像データを保管する多原色映像保管部と、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するモニタプロファイル記憶部と、
前記可搬式端末装置から送出される前記環境照明情報と、前記可搬式端末装置から送出される前記端末特定情報に対応する前記モニタプロファイルとに基づいて前記多原色映像データに色変換処理を行い、当該の色変換処理後の映像データを前記可搬式端末装置に送出するように構成される映像データ処理部と
を有する、
ことにより上述した課題を解決する。
（２） 本発明の第２の態様は、映像データ送出サーバにネットワークを介して接続可能な可搬式端末装置に適用される。そしてこの可搬式端末装置が、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するために前記映像データ送出サーバ内に備えられるモニタプロファイル記憶部中から前記端末特定情報に対応するものとして取り出されたモニタプロファイルと、前記可搬式端末装置から前記映像データ送出サーバに送られた前記環境照明情報とに基づいて、前記映像データ送出サーバ中に保管される４つ以上の原色からなる多原色映像データに対して色変換処理が行われて生成され、出力される色変換処理後の映像データを前記映像データ送出サーバから入力して前記映像表示部に映像を表示可能に構成されることにより、上述した課題を解決する。
【発明の効果】
【０００６】
本発明によれば、観察環境照明情報を可搬式端末装置が映像データ送出サーバに出力可能であることにより、可搬式端末装置がどのような観察環境に置かれていても、その観察環境に対応した映像を表示することが可能となる。また、可搬式端末装置が移動することによって観察環境が目まぐるしく変わる状況においてもその状況に対応して色変換の処理がなされた映像データに基づく映像をユーザは観ることが可能となる。さらに、色変換の処理が可搬式端末装置ではなく映像データ送出サーバの側で行われることにより、可搬式端末装置に求められる情報処理能力はさほど高いものではなくなるとともに、可搬式端末装置の映像表示部が有する原色数および表示解像度に対応して最適化された映像データが映像データ送出サーバから可搬式端末装置に送出されるので無駄な回線容量の浪費を抑制することが可能となる。
【発明を実施するための最良の形態】
【０００７】
− 第１の実施の形態 −
図１は、本発明の第１の実施の形態に係る映像表示システム１００の概略的構成を示すブロック図である。映像表示システム１００は、可搬式端末装置１１０と、映像データを可搬式端末装置１１０に送出するためのサーバ１３０とがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。
【０００８】
可搬式端末装置１１０は、ＰＤＡ、ノートＰＣ等の可搬式のコンピュータや携帯電話、あるいはネットワークに接続して映像データを受信し、映像を表示可能なモニタ装置などで構成することが可能である。可搬式端末装置１１０は、映像表示部１１２と、環境照明検出部１１４とキー入力部１１６とを有する。これらの構成要素は一体に構成されていても別体で構成されていてもよい。映像表示部１１２は、カラー液晶表示デバイスや有機ＥＬ表示デバイス等で構成され、様々な情報および映像を表示可能に構成される。
【０００９】
環境照明検出部１１４は、可搬式端末装置１１０を取り巻く環境の照明の状況（分光スペクトル）を計測可能に構成される。以下、本明細書においては、可搬式端末装置１１０を取り巻く環境を観察環境と称し、この観察環境に存在して観察環境を照明する自然光、あるいはタングステン灯や蛍光灯などを総称して観察環境照明と称する。そして観察環境照明からの光を観察環境照明光と称する。環境照明検出部１１４は一例として、図２にその概略が示されるような構成を有するものとすることが可能である。
【００１０】
図２において、環境照明検出部１１４は、コサインコレクタ２０２と、光ファイバ２０４と、スリット２０６と、コリメータ・ミラー２０８と、グレーティング２１０と、結像ミラー２１２と、ラインセンサ２１４と、信号処理回路２１６とを有する。外光、すなわち観察環境照明光がコサインコレクタ２０２を介して光ファイバ２０４の入射端に導かれる。コサインコレクタ２０２は、１８０°の入射角で光を入射してそれを光ファイバ２０４の入射端に導くことにより測光特性を改善するためのものである。光ファイバ２０４の出射端から射出した光は、上記出射端近傍に配置されるスリット（開口）２０６で絞られてコリメータ・ミラー２０８に入射し、コリメータ・ミラー２０８の反射面で反射された際に平行光となるようにコリメートされ、グレーティング２１０に導かれる。グレーティング２１０で回折されて生成された一次スペクトル光は、結像ミラー２１２で反射・集光されてラインセンサ２１４に導かれる。
【００１１】
上述のようにして分光されてラインセンサ２１４に入射する光の強度が信号処理回路２１６で求められ、ラインセンサ２１４を構成する各画素の位置および画素値から観察環境照明光の分光スペクトルを知ることが可能となる。なお、環境照明検出部１１４の構成としては、図２を参照して以上に説明したものに限られるものではなく、プリズム等を用いて分光された光をラインセンサやエリアセンサ等で受光して分光スペクトルを計測するものであってもよい。あるいは、互いに異なる透過帯域を有する複数（４以上）のカラーフィルタをＣＣＤ等の受光素子の光入射部に設置して観察環境照明光の分光スペクトルを計測可能としてもよい。
【００１２】
図１に戻り、キー入力部１１６は、数字や文字等を入力するためのキー、あるいは映像表示部１１２に表示されるカーソル等の動きを観察者が制御したりメニュー操作をしたりすることが可能に構成される操作部材を含む。
【００１３】
ネットワーク１２０は、可搬式端末装置１１０が携帯電話である場合には移動体通信網およびインターネットで構成される。また、可搬式端末装置１１０が、アダプタを介して移動体通信網に接続可能なＰＤＡやノートＰＣである場合にもネットワーク１２０は移動体通信網およびインターネットで構成される。ネットワーク１２０はまた、ＬＡＮ、ＷＡＮ、公衆回線網などで構成することも可能である。その場合、可搬式端末装置１１０は無線のアクセスポイントを介してネットワーク１２０に接続することも、あるいは有線でネットワーク１２０に接続することも可能である。
【００１４】
サーバ１３０は、可搬式端末装置１１０から要求される映像データを送出可能に構成され、いわゆるコンテンツプロバイダによって提供されるものであっても、個人が所有するコンピュータによって構成されるものであってもよい。
【００１５】
可搬式端末装置１１０は、ネットワーク１２０を介してサーバ１３０に接続され、環境照明検出部１１４で検出された観察環境照明光の分光スペクトルに関連する情報と、可搬式端末装置１１０の種類をサーバ１３０が特定することが可能に構成される端末識別情報とが、ダウンロードすることを観察者が欲している映像データの種類を特定する情報とともにサーバ１３０へ送出される。
【００１６】
可搬式端末装置１１０からの要求に応じて映像データを送出可能に構成されるサーバ１３０は、多原色映像保管部１３２と、映像データ処理部１３４と、モニタプロファイル選択部１３６と、モニタプロファイル記憶部１３８とを有する。
【００１７】
多原色映像保管部１３２には、Ｍ原色（Ｍは４以上）の多原色映像が多数保管される。多原色映像とは、従来のカラー映像がＲＧＢ３原色の映像信号で構成されていたのと異なり、原色数が４以上、好ましくは６以上の映像信号で構成される映像である。例えば６バンドマルチスペクトルカメラで被写体を撮影して６バンドの多原色映像信号が生成される例について以下に説明する。
【００１８】
６バンドマルチスペクトルカメラ（不図示）の撮影レンズを透過した被写体光はビームスプリッタによって第１および第２の光路上を進む光に分離される。そのうち、第１の光路上を進む光は第１の分光透過特性を有する干渉フィルタを透過し、その後ダイクロイックプリズムによって例えばＲ１、Ｇ２、Ｂ１という分光波長帯域を有する３色の光に分離され、それぞれの色の光が異なる撮像素子上で被写体像を形成してＲ１、Ｇ２、Ｂ１の映像信号が形成される。第２の光路上を進む光は第２の分光透過特性を有する干渉フィルタを透過し、その後上述したのとは別のダイクロイックプリズムによって例えばＲ２、Ｇ１、Ｂ２という分光帯域を有する３色の光に分離され、それぞれの色の光が異なる撮像素子上で被写体像を形成してＲ２、Ｇ１、Ｂ２の映像信号が形成される。すなわち、撮影レンズを透過した被写体光はビームスプリッタによって二つの光に分離され、それぞれが互いに異なる分光透過特性を有する干渉フィルタおよびダイクロイックプリズムを経て６つの撮像素子上に導かれる、６板式のマルチスペクトルカメラ（ＭＳＣ）によって、Ｒ１、Ｒ２、Ｇ１、Ｇ２、Ｂ１、Ｂ２の６バンド多原色映像信号が生成される。このとき、撮影時に被写体を照明していた照明光のスペクトルが計測され、この被写体を照明していた照明光のスペクトルに関連する情報（以下、本明細書ではこれを撮影環境照明情報と称する）が多原色映像データとともに記録される。多原色映像データにはまた、撮影レンズ、色分解光学系、撮像素子などによって決まる、各原色に対応する分光特性、階調（ガンマ）特性、レベル等の入力機器情報も含まれる。
【００１９】
観察者、すなわちサーバ１３０から映像データをダウンロードして、可搬式端末装置１１０の映像表示部１１２に表示される映像を観察する人は、キー入力部１１６を操作することによって、多原色映像保管部１３２中に保管される複数の映像データ中で所望のものを選択する。
【００２０】
モニタプロファイル記憶部１３８は、サーバ１３０に接続される可能性のある複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を網羅的に記録するデータベースである。このモニタプロファイル記憶部１３８には、一例として、各モニタの原色点（モニタがＲＧＢモニタである場合、Ｒ色のみ、Ｇ色のみ、Ｂ色のみの画像を表示した際の表示色）の色度値（ＣＩＥ ｘｙ色度図上のｘ、ｙ座標値）に関連する情報、ガンマ特性（Ｒ、Ｇ、Ｂそれぞれの入力信号の変化量に対する表示される色の変化量の割合）、バイアス値（Ｒ、Ｇ、Ｂそれぞれの入力信号を０、すなわち最も暗い黒を表示したときの表示輝度レベル）等が可搬式端末装置の種類に対応して記録される。
【００２１】
なお、可搬式端末装置１１０の映像表示部１１２は、ＸＹＺの測色値表示や多原色による表示が可能な構成とすることもできる。その場合には、それらの表示方式に対応した表示特性をモニタプロファイル記憶部１３８は記憶可能に構成される。
【００２２】
モニタプロファイル選択部１３６は、サーバに接続されている可搬式端末装置１１０から送出された端末識別情報に対応するモニタプロファイルを選択して映像データ処理部１３４に出力する。この映像データ処理部１３４には、可搬式端末装置１１０から出力される観察環境照明情報も入力される。映像データ処理部１３４は、観察者が選択した映像に対応する映像データを多原色映像保管部１３２から取り出し、この映像データに対して上述したモニタプロファイルおよび観察環境照明情報に基づく色変換処理を行う。この色変換処理の詳細については後で図３および図４を参照して詳述する。映像データ処理部１３４は、ネットワーク１２０を介して色変換処理後の映像データを可搬式端末装置１１０に送出する。
【００２３】
図３は、図１に示される映像データ処理部１３４の内部構成を概略的に示す図である。映像データ処理部１３４には、上述したように多原色映像保管部１３２から撮影環境照明情報および映像データが入力され、可搬式端末装置１１０からネットワーク１２０を介して観察環境照明情報が入力され、モニタプロファイル選択部１３６からモニタプロファイルが入力される。
【００２４】
映像データ処理部１３４は、色変換データ演算部３０２と、モニタ色変換データ演算部３０４と、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０とを有する。
【００２５】
撮影特性情報分離部３０６は、多原色映像保管部１３２から入力した映像データ中から入力機器情報を分離抽出して撮影環境照明情報とともに色変換データ演算部３０２に出力する。撮影特性情報分離部３０６はまた、多原色映像保管部１３２から入力した映像データ中から分離抽出した多原色映像データを色変換処理部３０８に出力する。
【００２６】
色変換データ演算部３０２は、撮影特性情報分離部３０６から入力した撮影環境照明情報および入力機器情報から、画像データの色変換処理に際して用いる演算パラメータ（以下、これを「演算パラメータ１」と称する）を求め、それを色変換処理部３０８に出力する。
【００２７】
モニタ色変換データ演算部３０４は、モニタプロファイル選択部１３６から入力したモニタプロファイルから、モニタ色変換部３１０で後述するモニタ色変換の処理をする際に用いる演算パラメータ（以下、これを「演算パラメータ２」と称する）を求め、求めた演算パラメータ２をモニタ色変換部３１０に出力する。
【００２８】
図４は、上述した色変換処理部３０８およびモニタ色変換部３１０の詳細を説明するブロック図である。色変換処理部３０８では、色変換データ演算部３０２から入力される演算パラメータ１に基づき、ルックアップ・テーブル（ＬＵＴ）１，ＬＵＴ２，…，ＬＵＴ Ｍ （以下、これらのＬＵＴを「ＬＵＴ ４０２」と総称する）と、マトリクス演算部４０４内のＭ×３マトリクスとが生成される。これらのＬＵＴ４０２およびＭ×３マトリクスは、色変換処理部３０８に入力される多原色映像データ（図４に示す例においてはＭバンド、すなわち原色数Ｍの多原色映像データが示される）を処理する際に用いられる。
【００２９】
ところで、多原色の映像データに基づいて高度の色再現を行う技術分野において、レンダリング照明による色再現の技術が知られている。この技術は、マルチスペクトルカメラで得られる映像データから、撮影機器の特性や撮影環境照明光の分光スペクトルに基づいて被写体の分光反射率を推定し、任意の分光強度を有する照明光のスペクトルデータを上記のようにして求められた分光反射率に乗じることにより、被写体が任意の照明光で照明されたときの色（被写体で反射された光のスペクトル）を再現（シミュレート）して表示する技術である。例えば、観察環境における照明光の分光スペクトルデータを上記分光反射率に乗じることにより、表示装置と、この表示装置に表示される映像を観察する観察者を取り巻く環境に被写体が存在していたときの色を再現して表示することにより、観察者にとってその映像は非常にリアルなものとして感じられるようになる。本発明においては、或る分光特性を有する照明光を当てたときに被写体がどのような色合いに観えるかをシミュレートする際に、被写体の推定された分光反射率に対して適用する照明光をレンダリング照明光と称する。また、本発明においては、レンダリング照明光として観察環境照明光を適用して可搬式端末装置１１０の映像表示部１１２に映像を表示することにより、撮影時とは異なる、観察環境における照明光源下での被写体の色を再現する。
【００３０】
色変換処理部３０８における色変換処理の説明に戻ると、色変換処理部３０８に入力される多原色映像データは、レンダリング照明光が適用される前の、推定分光反射率の映像データであり、暗闇に被写体があっても見えず、色が分からないのと同様に、レンダリング照明光が適用される前の映像データは、そのままでは色をなさない。色変換処理部３０８内において、多原色映像データには先ずＬＵＴ４０２が適用され、多原色映像データのそれぞれに対していわゆるトーンカーブの補正がなされてカメラのレベル・ガンマ特性の影響が除去される。続いて、マトリクス演算部４０４では多原色映像データに対してマトリクス演算がなされ、レンダリング照明光を適用する処理およびＸ、Ｙ、Ｚの測色値映像データに変換する処理が行われる。このようにして得られたＸ、Ｙ、Ｚ測色値映像データはモニタ色変換部３１０に送出される。
【００３１】
モニタ色変換部３１０では、モニタ色変換データ演算部３０４から入力される演算パラメータ２に基づき、色分解演算部４１４内のデータテーブルと、ルックアップ・テーブル（ＬＵＴ）１，ＬＵＴ２，…，ＬＵＴ Ｎ（以下、「ＬＵＴ ４１２」と称する）とが生成される。これらのデータテーブルおよびＬＵＴ４１２は、モニタ色変換部３１０に入力される３バンドの映像信号を処理する際に用いられる。
【００３２】
色分解演算部４１４内のデータテーブルは、入力される３バンド（Ｘ、Ｙ、Ｚ）の映像信号を原色１から原色Ｎの映像データに分解するために用いられる。ＬＵＴ４１２は、可搬式端末装置１１０の映像表示部１１２のガンマ特性およびバイアス値を補正するために用いられる。色分解演算部４１４内の上記データテーブルは、可搬式端末装置１１０に送出される映像データがＲＧＢ、ＸＹＺ等の３原色のものである場合には３×３のマトリクスとすることができる。可搬式端末装置１１０に送出される映像データの原色数が４以上の場合には、モニタ色変換部３１０に入力される３バンドの映像データから４色以上の原色の映像データを生成するためのルックアップ・テーブルが色分解演算部４１４内に生成される。
【００３３】
以上に説明したように、可搬式端末装置１１０の観察者はネットワーク１２０を介してサーバ１３０にアクセスし、観たい映像を選択する。その際に可搬式端末装置１１０からは環境照明検出部１１４で検出された環境照明の分光特性に関連する観察環境照明情報が端末識別情報とともにサーバ１３０に送出される。サーバ１３０では、選択された映像データに対して、端末識別情報に対応するモニタプロファイルと、観察環境照明情報とに基づいて色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０に送出する。その結果、映像表示部１１２に表示される映像中の被写体があたかも観察環境照明で照明されているかのような色合いで表示がなされるので、観察者は非常にリアルな映像を観察することが可能となる。また、インターネットを介してのショッピング等においても商品の色味が観察者の居る環境に置かれたときの色合いが再現可能となるので、発注して後日届けられた商品の色がイメージしていたものと異なる、といった不具合を抑制することが可能となる。
【００３４】
また、可搬式端末装置１１０からは端末識別情報がサーバ１３０に送出されて、その端末識別情報に基づいて、サーバ１３０内のモニタプロファイル記憶部１３８内に記憶されるモニタプロファイル中から可搬式端末装置１１０用のモニタプロファイルが選択され、映像データ処理部１３４での色変換処理に際して参照される構成を有することにより、可搬式端末装置１１０の側にモニタプロファイル計測用の構成を備える必要がない。
【００３５】
そして、映像データに対する色変換の処理はサーバ１３０の側で行われることにより、可搬式端末装置１１０の情報処理能力がさほど高くなくても高品位の映像を観察することが可能となる。加えて、映像表示部１１２の原色数が３しかないような場合には、サーバ１３０の側で３原色の映像データに変換してから可搬式端末装置１１０に送出されるので回線容量を浪費することがない。このとき、可搬式端末装置１１０の側の表示解像度をサーバ１３０が端末識別情報をもとに判定し、送出する映像データの解像度を最適なものに設定することによって、必要とする回線容量をさらに削減することが可能となる。
【００３６】
以上の実施の形態の説明において、観察環境照明情報が可搬式端末装置１１０からサーバ１３０に送出されるタイミングについて詳しく述べていないが、以下のようなタイミングで送出可能である。すなわち、可搬式端末装置１１０からサーバ１３０に対して映像データの送出を要求する際に観察環境照明情報を送出可能である。あるいは、一定時間ごとに送出することも、送られてくる映像データのシーンの変わり目、あるいは映像データが静止画のデータである場合には異なる映像に切り替えられるタイミングで観察環境照明情報を送出することもできる。また、予め定められたタイミングで環境照明検出部１１４が環境照明光の検出を行い、検出された環境照明光の特性に予め定められた量を超す変化があったかどうかを可搬式端末装置１１０の側で判定し、上記予め定められた量を超す変化があったと判定される場合に可搬式端末装置１１０からサーバ１３０に新たな観察照明情報を送出するように構成されていてもよい。さらにまた、観察者が観察環境照明情報の更新操作をした際に可搬式端末装置１１０からサーバ１３０に新たな観察環境照明情報を送出するように構成されていてもよい。
【００３７】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報は、可搬式端末装置１１０のメーカからサーバ１３０を所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００３８】
− 第２の実施の形態 −
図５は、本発明の第２の実施の形態に係る映像表示システム１００Ａの概略的構成を示すブロック図である。なお、以下の説明において、図１から図４に示される本発明の第１の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００３９】
第１の実施の形態においては、可搬式端末装置１１０から送出される観察環境照明情報に対応して、サーバ１３０からいわばリアルタイムで色変換の処理がなされた映像データが送出されるものであった。これに対して、第２の実施の形態においては、観察環境照明光として予め想定されるもの、例えば自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）などの状況と、モニタプロファイルの種類との組み合わせに対応して予め色変換の処理をしたものを保管しておく。そして、それらの映像データの中から最も適したものを可搬式端末装置１１０に送出する。
【００４０】
図５に示す映像表示システム１００Ａは、可搬式端末装置１１０とサーバ１３０Ａとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ａは、多原色映像保管部１３２と、映像データ処理部１３４Ａと、モニタプロファイル記憶部１３８と、観察環境照明情報記憶部５０２と、表示用映像保管部５０４と、映像選択部５０６と、観察環境照明類似度判定部５０８とを有する。
【００４１】
これらの構成要素のうち、観察環境照明情報記憶部５０２には、上述したように観察環境照明光として予め想定されるものに対応する観察環境照明情報が予め記憶されている。表示用映像保管部５０４には、映像データ処理部１３４Ａにおいて後述するようにオフラインで色変換処理されて生成された表示用の映像データが多数保管される。
【００４２】
観察環境照明類似度判定部５０８は、ネットワーク１２０を介して可搬式端末装置１１０から観察環境照明情報、すなわち観察環境照明光の分光スペクトルに関連する情報を入力する。そして観察環境照明類似度判定部５０８は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０より上述のように入力した観察環境照明情報に最も類似するものを選択し、その最も類似するものに対応する情報である類似観察環境照明情報を映像選択部５０６に出力する。映像選択部５０６は、表示用映像保管部５０４に保管される映像データ中から、ネットワーク１２０を介して可搬式端末装置１１０から入力した端末識別情報および上記の類似観察環境照明情報の組み合わせに対応して最も適した映像データを選択し、ネットワーク１２０を介して可搬式端末装置１１０に送出する。
【００４３】
図６は、映像データ処理部１３４Ａの内部構成を説明するブロック図である。映像データ処理部１３４Ａは、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０と、色変換データ演算部３０２とモニタ色変換データ演算部３０４とを有する。図３と図６とを比較すると明らかなように、第１の実施の形態中における映像データ処理部１３４と第２の実施の形態中における映像データ処理部１３４Ａとで内部構成に違いはなく、これらの映像データ処理部が入出力する情報あるいはデータの内容と、それらの情報あるいはデータをどこから入力してどこへ出力するかという点に違いがある。
【００４４】
図５および図６を参照して説明すると、映像データ処理部１３４Ａは、以下に説明する処理をオフラインにて最初に行う。すなわち、色変換データ演算部３０２は観察環境照明情報記憶部５０２から複数の種類の観察環境照明情報を順次入力し、この観察環境照明情報と、撮影特性情報分離部３０６から入力した撮影環境照明情報および入力機器情報とに基づいて、これらの情報の組み合わせに対応する演算パラメータ１を色変換処理部３０８に順次出力する。同様に、モニタ色変換データ演算部３０４は、モニタプロファイル記憶部１３８から複数の種類のモニタプロファイルを順次入力し、このモニタプロファイルに対応する演算パラメータ２をモニタ色変換部３１０に順次出力する。映像データ処理部１３４Ａは、多原色映像保管部１３２から入力される映像データに対して上記の演算パラメータ１および演算パラメータ２を適用して処理済み映像データを順次生成し、表示用映像保管部５０４に出力する。
【００４５】
図７は、表示用映像保管部５０４に保管される処理済み映像データを概念的に示す図である。図７に例示されるように、処理済み映像データは、コンテントごとに機種（可搬式端末装置の種類）および観察環境照明の種類に対応して生成・保管される。図７に示す例では、機種１の映像表示部はＲＧＢ表示であるため、機種１用の映像データはＲＧＢ映像データとなっている。また、機種２の映像表示部はＸＹＺの測色値表示仕様となっているので機種２用の映像データはＸＹＺ映像データとなっている。さらに、機種３の映像表示部は４つの原色を有する仕様となっているので、機種３用の映像データは４バンド映像データとなっている。このように、サーバ１３０Ａに接続される可能性のある可搬式端末装置それぞれが有する映像表示部と、予め想定される観察環境照明との組み合わせに対応して映像データが生成され、表示用映像保管部５０４に保管される。
【００４６】
観察者は可搬式端末装置１１０を操作し、ネットワーク１２０を介してサーバ１３０Ａにアクセスし、観たい映像（コンテント）を選択する。その際に可搬式端末装置１１０からは環境照明検出部１１４で検出された環境照明の分光特性に関連する観察環境照明情報が端末識別情報とともにサーバ１３０Ａに送出される。観察環境照明情報記憶部５０２中に記憶される複数種類の観察照明情報中から、サーバ１３０Ａ内の観察環境照明類似度判定部５０８に入力された観察環境照明情報に最も類似するものである類似観察環境照明情報が映像選択部５０６に入力される。その類似観察環境照明情報に基づいて映像選択部５０６は表示用映像保管部５０４に保管される映像データ中から最適の映像データを可搬式端末装置１１０に送出する。
【００４７】
本発明の第２の実施の形態においては、サーバ１３０Ａに接続される可能性のある可搬式端末装置１１０の種類と、予め想定される観察環境照明光の種類との組み合わせに基づいて映像データが予め処理されて表示用映像保管部５０４に保管される。そのため、サーバ１３０Ａが処理済みの映像データを可搬式端末装置１１０に送出する際に映像データを処理する必要がないのでサーバ１３０Ａの処理負荷を軽減することが可能となる。
【００４８】
以上に説明したように、観察環境照明類似度判定部５０８は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０より入力される観察環境照明情報に最も類似するものを選択する構成を有しているので、第２の実施の形態における可搬式端末装置１１０の環境照明検出部１１４は観察環境照明光の分光特性を厳密に測定可能なものでなくてもよい。例えば、Ｒ、Ｇ、Ｂ各色のフィルタが受光部に設けられるＣＣＤあるいはＣ−ＭＯＳセンサ等を用いて観察環境照明光のホワイトバランスあるいは色温度を測定可能な構成としてもよい。
【００４９】
また、以上に説明したオフライン処理による表示用映像データの生成処理に関して、サーバ１３０Ａ以外の処理システムで処理がなされて、処理後の映像データがサーバ１３０Ａの表示用映像保管部５０４に転送あるいはコピーされるものであってもよい。
【００５０】
第２の形態の説明においても、可搬式端末装置１１０からサーバ１３０Ａに観察環境照明情報を送出するタイミングは第１の実施の形態で説明したのと同様のものとすることが可能である。
【００５１】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１の実施の形態と同様、可搬式端末装置１１０のメーカからサーバ１３０Ａを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００５２】
− 第３の実施の形態 −
図８は、本発明の第３の実施の形態に係る映像表示システム１００Ｂの概略的構成を示すブロック図である。以下の説明において、図１から図７に示される本発明の第１および第２の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１および第２の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００５３】
第１および第２の実施の形態においては、可搬式端末装置１１０が環境照明検出部１１４を有していて、観察環境照明光の分光特性を検出可能に構成されるものであった。これに対して、第３の実施の形態においては、可搬式端末装置１１０Ａは観察環境照明光の分光特性を検出可能な構成を有していない。代わりに、可搬式端末装置１１０Ａは観察環境照明情報設定部８０２を有する。観察者は、可搬式端末装置１１０Ａおよび観察者を取り巻く観察環境を照明する光の種類を判断し、観察環境照明情報設定部８０２を操作して最適の観察環境照明情報を設定する。観察環境照明情報設定部８０２で設定可能な観察環境照明の種類としては、自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）などとすることが可能である。
【００５４】
図８に示す映像表示システム１００Ｂは、可搬式端末装置１１０Ａとサーバ１３０Ｂとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ｂは、多原色映像保管部１３２と、映像データ処理部１３４Ａと、モニタプロファイル記憶部１３８と、観察環境照明情報記憶部５０２と、表示用映像保管部５０４と、映像選択部５０６とを有する。映像データ処理部１３４Ａの内部構成は、図６に示されるものと同様である。
【００５５】
本発明の第３の実施の形態においても、第２の実施の形態と同様に、サーバ１３０Ｂに接続される可能性のある可搬式端末装置１１０Ａの種類と、予め想定される観察環境照明光の種類との組み合わせに基づいて映像データがオフライン時に予め処理されて表示用映像保管部５０４に保管される。
【００５６】
観察者は可搬式端末装置１１０Ａを操作し、ネットワーク１２０を介してサーバ１３０Ｂにアクセスし、観たい映像（コンテント）を選択する。このとき観察者が観察環境照明情報設定部８０２を操作して適宜の観察環境照明に設定するのに応じて可搬式端末装置１１０Ａからは上記のように観察者が設定した観察環境照明に対応する観察環境照明設定情報が端末識別情報とともにサーバ１３０Ｂに送出される。観察環境照明設定情報および端末識別情報は映像選択部５０６に入力される。映像選択部５０６は、入力された観察環境照明設定情報および端末識別情報に基づいて表示用映像保管部５０４に保管される映像データ中から最適の映像データを可搬式端末装置１１０Ａに送出する。
【００５７】
第３の実施の形態の説明において、可搬式端末装置１１０Ａからサーバ１３０Ｂに観察環境照明設定情報を送出するタイミングは、可搬式端末装置１１０Ａからサーバ１３０Ｂに対して映像データの送出を要求する際とすることが可能である。あるいは、観察者が必要を感じたときに観察環境照明情報設定部８０２を操作し、その際に観察環境照明設定情報が可搬式端末装置１１０Ａからサーバ１３０Ｂに送出されるものであってもよい。この場合サーバ１３０Ａは、送出するべき映像データを、入力した観察環境照明設定情報に対応するものに即切り替えてもよいし、動画であればシーンの切り替えタイミングで、静止画であれば次の映像データを送出するタイミングで切り替えてもよい。
【００５８】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１および第２の実施の形態と同様、可搬式端末装置１１０Ａのメーカからサーバ１３０Ｂを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【００５９】
− 第４の実施の形態 −
図９は、本発明の第４の実施の形態に係る映像表示システム１００Ｃの概略的構成を示すブロック図である。なお、以下の説明において、図１から図８に示される本発明の第１から第３の実施の形態に係る映像表示システムが有するものと同様の構成要素には同じ符号を付してその説明を省略する。また、機能的に類似している構成要素に対しては第１から第３の実施の形態を説明する上記各図に示されるものと同じ番号にアルファベットを付加したものを参照符号として付している。
【００６０】
第４の実施の形態においては、以下に詳述するように可搬式端末装置１１０Ａは観察環境照明情報設定部８０２を有し、観察者は可搬式端末装置１１０Ａおよび観察者を取り巻く観察環境を照明する光の種類を判断し、観察環境照明情報設定部８０２を操作して最適の観察環境照明情報を設定する。サーバ１３０Ｃは、可搬式端末装置１１０Ａから入力した観察環境照明設定情報をもとに色変換の処理をリアルタイムで行い、可搬式端末装置１１０Ａに送出する。
【００６１】
図９に示す映像表示システム１００Ｃは、可搬式端末装置１１０Ａとサーバ１３０Ｃとがネットワーク１２０を介して有線又は無線の方式で接続されて構成される。サーバ１３０Ｃは、多原色映像保管部１３２と、映像データ処理部１３４Ｂと、モニタプロファイル記憶部１３８と、モニタプロファイル選択部１３６と、観察環境照明情報記憶部５０２と、適用観察環境照明選択部９０２とを有する。観察環境照明情報記憶部５０２には、第２および第３の実施の形態で説明したように観察環境照明光として予め想定されるもの、一例として自然光（晴天昼光、朝、夕方、曇天等）、人工光（タングステン光、普通形蛍光灯、高演色タイプ蛍光灯等）に対応する観察環境照明情報が予め記憶されている。
【００６２】
適用観察環境照明選択部９０２は、観察環境照明情報記憶部５０２に記憶される観察環境照明情報中から、可搬式端末装置１１０Ａより入力した観察環境照明設定情報に対応、あるいは最も類似する観察環境照明情報を選択し、映像データ処理部１３４Ｂに出力する。
【００６３】
図１０は、映像データ処理部１３４Ｂの内部構成を説明するブロック図である。映像データ処理部１３４Ｂは、撮影特性情報分離部３０６と、色変換処理部３０８と、モニタ色変換部３１０と、色変換データ演算部３０２とモニタ色変換データ演算部３０４とを有する。図３、図６、および図１０を比較すると明らかなように、第１、第２の実施の形態中における映像データ処理部１３４、１３４Ａと第４の実施の形態中における映像データ処理部１３４Ｂとで内部構成に違いはなく、これらの映像データ処理部が入出力する情報あるいはデータの内容と、それらの情報あるいはデータをどこから入力してどこへ出力するかという点に違いがある。
【００６４】
図９および図１０を参照して説明すると、映像データ処理部１３４Ｂ内の色変換データ演算部３０２は、適用観察環境照明選択部９０２から出力される観察環境照明情報を、撮影特性情報分離部３０６から出力される撮影環境照明情報および入力機器情報とともに入力する。色変換データ演算部３０２は、上述のように入力した情報に基づいて演算パラメータ１を求め、それを色変換処理部３０８に出力する。
【００６５】
観察者は可搬式端末装置１１０Ａを操作し、ネットワーク１２０を介してサーバ１３０Ｃにアクセスし、観たい映像（コンテント）を選択する。このとき観察者が観察環境照明情報設定部８０２を操作して適宜の観察環境照明に設定するのに応じて可搬式端末装置１１０Ａからは上記のように観察者が設定した観察環境照明に対応する観察環境照明設定情報が端末識別情報とともにサーバ１３０Ｃに送出される。端末識別情報は、モニタプロファイル選択部１３６に入力され、この端末識別情報に対応するモニタプロファイルがモニタプロファイル記憶部１３８中から選択されて映像データ処理部１３４Ｂ内のモニタ色変換データ演算部３０４に入力される。観察環境照明設定情報は、適用観察環境照明選択部９０２に入力され、この観察環境照明設定情報に対応する観察環境照明情報が観察環境照明情報記憶部５０２中から選択されて映像データ処理部１３４Ｂ内の色変換データ演算部３０２に入力される。
【００６６】
映像データ処理部１３４Ｂでは、選択された映像データに対して、端末識別情報に対応するモニタプロファイルと、観察環境照明情報とに基づいて色変換の処理を行い、色変換処理後の映像データを可搬式端末装置１１０Ａに送出する。その結果、映像表示部１１２に表示される映像中の被写体があたかも観察環境照明で照明されているかのような色合いで表示がなされる。
【００６７】
第４の実施の形態においても、第３の実施の形態と同様に、可搬式端末装置１１０Ａからサーバ１３０Ｃに観察環境照明設定情報を送出するタイミングは、可搬式端末装置１１０Ａからサーバ１３０Ｃに対して映像データの送出を要求する際とすることが可能である。あるいは、観察者が必要を感じたときに観察環境照明情報設定部８０２を操作し、その際に観察環境照明設定情報が可搬式端末装置１１０Ａからサーバ１３０Ｃに送出されるものであってもよい。この場合サーバ１３０Ｃは、送出するべき映像データを、入力した観察環境照明設定情報に対応するものに即切り替えてもよいし、動画であればシーンの切り替えタイミングで、静止画であれば次の映像データを送出するタイミングで切り替えてもよい。
【００６８】
モニタプロファイル記憶部１３８に記憶されるモニタプロファイルの情報も、第１および第２の実施の形態と同様、可搬式端末装置１１０Ａのメーカからサーバ１３０Ｂを所有・管理するコンテンツプロバイダあるいは個人に供給するようにしても、上記コンテンツプロバイダで計測し、得られた情報を記憶するようにしてもよい。
【産業上の利用可能性】
【００６９】
本発明に係る映像信号処理の技術は、映像データを送出可能なサーバと、有線および無線の形態を問わずにネットワークを介してこのサーバに接続される、携帯電話、ＰＤＡ、ノートＰＣ、モニタ装置等の可搬式の端末装置とで構成される映像表示システムに利用可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図２】環境照明検出部の内部構成例を概略的に示すブロック図である。
【図３】映像データ処理部の内部構成例を概略的に示すブロック図である。
【図４】色変換処理部およびモニタ色変換部の内部構成例を概略的に示すブロック図である。
【図５】本発明の第２の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図６】映像データ処理部の内部構成例を概略的に示すブロック図である。
【図７】表示用映像保管部に保管される映像データの保管形式を概念的に示す図である。
【図８】本発明の第３の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図９】本発明の第４の実施の形態に係る映像表示システムの概略的構成を説明するブロック図である。
【図１０】映像データ処理部の内部構成例を概略的に示すブロック図である。
【符号の説明】
【００７１】
１００、１００Ａ、１００Ｂ、１００Ｃ … 映像表示システム
１１０、１１０Ａ … 可搬式端末装置
１１２ … 映像表示部
１１４ … 環境照明検出部
１１６ … キー入力部
１２０ … ネットワーク
１３０、１３０Ａ、１３０Ｂ、１３０Ｃ … サーバ
１３２ … 多原色映像保管部
１３４、１３４Ａ、１３４Ｂ … 映像データ処理部
１３６ … モニタプロファイル選択部
１３８ … モニタプロファイル記憶部
２０２ … コサインコレクタ
２０４ … 光ファイバ
２０６ … スリット
２０８ … コリメータ・ミラー
２１０ … グレーティング
２１２ … 結像ミラー
２１４ … ラインセンサ
２１６ … 信号処理回路
３０２ … 色変換データ演算部
３０４ … モニタ色変換データ演算部
３０６ … 撮影特性情報分離部
３０８ … 色変換処理部
３１０ … モニタ色変換部
４０２、４１２ … ＬＵＴ
４０４ … マトリクス演算部
４１４ … 色分解演算部
５０２ … 観察環境照明情報記憶部
５０４ … 表示用映像保管部
５０６ … 映像選択部
５０８ … 観察環境照明類似度判定部
８０２ … 観察環境照明情報設定部
９０２ … 適用観察環境照明選択部
【特許請求の範囲】
【請求項１】
ネットワークを介して互いに接続される可搬式端末装置および映像データ送出サーバを有する映像表示システムであって、
前記可搬式端末装置は、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバは、
４つ以上の原色からなる多原色映像データを保管する多原色映像保管部と、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するモニタプロファイル記憶部と、
前記可搬式端末装置から送出される前記環境照明情報と、前記可搬式端末装置から送出される前記端末特定情報に対応する前記モニタプロファイルとに基づいて前記多原色映像データに色変換処理を行い、当該の色変換処理後の映像データを前記可搬式端末装置に送出するように構成される映像データ処理部と
を有する
ことを特徴とする映像表示システム。
【請求項２】
前記可搬式端末装置が、前記環境照明光の分光特性を検出するための環境照明検出部をさらに有することを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記環境照明検出部は予め定められたタイミングで前記環境照明光の分光特性を検出し、検出された前記分光特性に予め定められた量を超す変化があったときに前記可搬式端末装置から前記映像データ送出サーバへ新たな観察照明情報を送出するように構成されることを特徴とする請求項２に記載の映像表示システム。
【請求項４】
前記映像表示部に表示される映像を観察するユーザによって前記環境照明光情報を入力又は設定することが可能に構成される環境照明光情報入力部が前記可搬式端末装置に備えられることを特徴とする請求項１に記載の映像表示システム。
【請求項５】
前記映像データ送出サーバが、
予め想定される複数種類の所定環境照明光と複数の前記モニタプロファイルとの網羅的組み合わせに対応して予め前記色変換処理を行って得られる複数の色変換処理後映像データを保管する色変換処理後映像データ保管部と、
前記予め想定される複数種類の所定環境照明光のうち、前記可搬式端末装置から送出される環境照明情報で特定される環境照明光に最も類似する所定環境照明光を特定する類似環境照明光特定部と、
前記色変換処理後映像データ保管部中に保管される前記複数の色変換処理後映像データ中から、前記類似環境照明光特定部で特定された所定環境照明光と、前記端末特定情報との組み合わせに対応する色変換処理後映像データを選択して前記可搬式端末装置に送出する映像選択送出部と
をさらに有することを特徴とする請求項１から４のいずれか一つに記載の映像表示システム。
【請求項６】
映像データ送出サーバにネットワークを介して接続可能な可搬式端末装置であって、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するために前記映像データ送出サーバ内に備えられるモニタプロファイル記憶部中から前記端末特定情報に対応するものとして取り出されたモニタプロファイルと、前記可搬式端末装置から前記映像データ送出サーバに送られた前記環境照明情報とに基づいて、前記映像データ送出サーバ中に保管される４つ以上の原色からなる多原色映像データに対して色変換処理が行われて生成され、出力される色変換処理後の映像データを前記映像データ送出サーバから入力して前記映像表示部に映像を表示可能に構成されることを特徴とする可搬式端末装置。
【請求項１】
ネットワークを介して互いに接続される可搬式端末装置および映像データ送出サーバを有する映像表示システムであって、
前記可搬式端末装置は、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバは、
４つ以上の原色からなる多原色映像データを保管する多原色映像保管部と、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するモニタプロファイル記憶部と、
前記可搬式端末装置から送出される前記環境照明情報と、前記可搬式端末装置から送出される前記端末特定情報に対応する前記モニタプロファイルとに基づいて前記多原色映像データに色変換処理を行い、当該の色変換処理後の映像データを前記可搬式端末装置に送出するように構成される映像データ処理部と
を有する
ことを特徴とする映像表示システム。
【請求項２】
前記可搬式端末装置が、前記環境照明光の分光特性を検出するための環境照明検出部をさらに有することを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記環境照明検出部は予め定められたタイミングで前記環境照明光の分光特性を検出し、検出された前記分光特性に予め定められた量を超す変化があったときに前記可搬式端末装置から前記映像データ送出サーバへ新たな観察照明情報を送出するように構成されることを特徴とする請求項２に記載の映像表示システム。
【請求項４】
前記映像表示部に表示される映像を観察するユーザによって前記環境照明光情報を入力又は設定することが可能に構成される環境照明光情報入力部が前記可搬式端末装置に備えられることを特徴とする請求項１に記載の映像表示システム。
【請求項５】
前記映像データ送出サーバが、
予め想定される複数種類の所定環境照明光と複数の前記モニタプロファイルとの網羅的組み合わせに対応して予め前記色変換処理を行って得られる複数の色変換処理後映像データを保管する色変換処理後映像データ保管部と、
前記予め想定される複数種類の所定環境照明光のうち、前記可搬式端末装置から送出される環境照明情報で特定される環境照明光に最も類似する所定環境照明光を特定する類似環境照明光特定部と、
前記色変換処理後映像データ保管部中に保管される前記複数の色変換処理後映像データ中から、前記類似環境照明光特定部で特定された所定環境照明光と、前記端末特定情報との組み合わせに対応する色変換処理後映像データを選択して前記可搬式端末装置に送出する映像選択送出部と
をさらに有することを特徴とする請求項１から４のいずれか一つに記載の映像表示システム。
【請求項６】
映像データ送出サーバにネットワークを介して接続可能な可搬式端末装置であって、
前記映像データ送出サーバから出力される映像データに基づく映像を表示可能な映像表示部と、
前記可搬式端末装置を取り巻く環境を照明する光である環境照明光の分光特性に関連する情報である環境照明情報を前記映像データ送出サーバに送出するための環境照明情報送出部と、
前記可搬式端末装置の種類を前記映像データ送出サーバが特定することが可能に構成される端末特定情報を前記映像データ送出サーバに送出するための端末特定情報送出部と
を有し、
前記映像データ送出サーバに接続しうる複数種類の可搬式端末装置それぞれが有する映像表示部の表示特性を表すモニタプロファイルを記憶するために前記映像データ送出サーバ内に備えられるモニタプロファイル記憶部中から前記端末特定情報に対応するものとして取り出されたモニタプロファイルと、前記可搬式端末装置から前記映像データ送出サーバに送られた前記環境照明情報とに基づいて、前記映像データ送出サーバ中に保管される４つ以上の原色からなる多原色映像データに対して色変換処理が行われて生成され、出力される色変換処理後の映像データを前記映像データ送出サーバから入力して前記映像表示部に映像を表示可能に構成されることを特徴とする可搬式端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２８８８５９（Ｐ２００８−２８８８５９Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３１６４６（Ｐ２００７−１３１６４６）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]