立体映像処理装置、立体表示装置および立体映像処理方法
【課題】
立体映像の左右の映像の色ズレを好適に補正する。
【解決手段】
映像が入力される入力部と、入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部とを備えるように構成する。
立体映像の左右の映像の色ズレを好適に補正する。
【解決手段】
映像が入力される入力部と、入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部とを備えるように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像の色補正技術に関する。
【背景技術】
【０００２】
立体（３Ｄ）映像を作成する場合に、右目から見た映像、左目から見た映像を撮影するためのカメラまたはレンズを２つ用意して、映像を撮影したそれぞれの映像を同時(偏光方式や視差バリアやレンチキュラ方式など)またはタイムシーケンシャル(シャッタ眼鏡方式など)に表示装置に立体映像を表現する方法がある。視差のある左右の映像を右目、左目に見せることにより、視聴者が左右視差を脳で立体化することにより、映像を立体的に見せることができる。この様な立体映像の作成、表示方法において、複数のカメラやレンズの個体差や光の入射量や入射角度などにより、同じ映像を撮影している場合でも、それぞれの映像の色合いや明度などが異なる場合がある。
【０００３】
このように、左右の映像の色合いや明度などの差がある状態で、左右の眼に映像を見せた場合の現象として、左右像に色ズレが大きいと視野闘争が生じて融合しにくくなる可能性左右像の色ズレは眼精疲労の原因となる可能性がある。
【０００４】
立体表示用の左右画像の補正方法として、特許文献１には、左右画像の垂直位置ずれを補正する方法が開示されている。特許文献２には、左眼用映像信号と右眼用映像信号の平均輝度レベルとダイナミックレンジとを一致させる補正方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６１１１６
【特許文献２】特開平２−５８９９３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１や特許文献２に開示される左右映像の補正技術には、左右映像の色ズレに関する補正技術については述べられていない。複数のカメラで撮影した際の、個々のカメラの特性の違いや、それぞれのカメラのピント、フォーカスずれ、ホワイトバランス調整の差異による色ズレが生じる場合がある。その場合、視聴者は、右目、左目に色ズレがある映像を見ることになる。
【０００７】
本発明は上記課題を鑑みてなされたものであり、その目的は、立体映像において、左右の眼に入るそれぞれの映像の色合いをより好適に補正することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一実施の態様は、映像が入力される入力部と、入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部とを備えるように構成する。
【発明の効果】
【０００９】
立体映像において、左右の眼に入るそれぞれの映像の色合いをより好適に補正する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る立体映像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施例１に係る左右映像色補正処理部の一例を示すブロック図である。
【図３】本発明の実施例１に係る左右映像色補正処理部の左右色補正処理シーケンスを示した例である。
【図４】ＨＳＶ色空間の説明を示した例である。
【図５】本発明の実施例１に係る左右色補正処理部の色相ヒストグラムを示した例である。
【図６】本発明の実施例１に係る左右色補正処理部の色相ヒストグラムの特徴を示した例である。
【図７】本発明の実施例２に係る立体映像処理装置の構成の一例を示すブロック図である。
【図８】本発明の実施例２に係る立体映像処理装置のユーザ操作と左右色補正処理の連動の例を示した図である。
【図９】本発明の実施例３に係る立体映像処理装置の構成の一例を示すブロック図である。
【図１０】本発明の実施例３に係る立体映像処理装置のオクルージョン検出時の左右映像イメージを示した例である。
【図１１】本発明の実施例３に係る立体映像処理装置のオクルージョン検出時の動作シーケンスを示した例である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を、図面を用いて以下に説明する。
【実施例１】
【００１２】
以下、本発明の実施例１について、図１〜図６を参照して説明する。
【００１３】
図１は、本発明の実施例１に係る立体映像処理装置の構成の一例を示すブロック図である。
【００１４】
図1において、１００は映像入力Ｉ／Ｆ、１０１は映像デコーダ回路、１０２は立体映像色補正処理部、１０３は立体映像処理部、１０４は左右色補正処理部、１０５は立体表示処理部、１０６は表示部である。
【００１５】
映像入力Ｉ／Ｆ１００は、放送や光ディスクなどのプレーヤ装置やゲーム機などから映像や音声、文字などのコンテンツの入力を行うインタフェースである。映像デコーダ回路１０１は映像のデコード処理などを行い、映像信号を出力する。立体映像色補正処理部１０２では、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ（ＳＢＳ）方式やＴｏｐ−ａｎｄ−Ｂｏｔｔｏｍ（ＴＡＢ）方式、Ｆｒａｍｅ−Ｐａｃｋｉｎｇ（ＦＰ）方式や多眼方式などの立体映像が入力された場合に、立体映像処理部１０３にて、左右のそれぞれの目に対応する映像を分離する映像信号処理を行う。左右色補正処理部１０４では、左右のそれぞれの目に対応する映像の色の差分が小さくなるように色補正（色空間上の補正）を行う。左右色補正処理部１０４にて色補正がなされた映像を立体表示処理部１０５にて、左目用映像Ｌ、右目用映像Ｒを切替えて表示部１０６に出力し、その切替えタイミングをシャッタ眼鏡に伝送する赤外線信号処理などを行う。偏光眼鏡方式の３Ｄ表示部場合には、表示部１０６に設置された視差バリアに合わせて、Ｌ、Ｒの映像が表示されるように表示画素を調整する処理も行う。裸眼方式の場合には、表示部に設置したレンチキュラレンズなどに合わせた映像信号処理を行う。表示部１０６は液晶デバイスやＯＬＥＤ（Organic light-emitting diode）、プラズマなどを利用した表示部であり、立体表示処理部１０５で出力されたＬ、Ｒの映像を調整されたタイミングで切替えて表示や、設置された視差バリアに合わせた画素での表示、または設置されたレンチキュラレンズに合わせた画素での表示などを行い、立体表示を行う。
【００１６】
次に、立体映像表示時に右目用映像と左目用映像の色の差異を軽減する仕組みを説明する。
【００１７】
図２は、第一の実施形態本発明の実施例１に係るである左右映像色補正処理装置部の詳細な構成の一例を示すブロック図である。 ＳＢＳ方式やＴＡＢ方式、ＦＰ方式などの立体表示用の映像は図１の立体映像信号処理部１０３にて左目用映像２０１と右目用映像２０２に分離をしされ、図２の左右映像色補正処理部１０４へ入力される。例えばＳＢＳ方式であれば、映像デコーダ回路１０１にてデコードされた映像の左半分を左目用映像、右半分を右目用映像として分離する。その後、左右色補正処理部１０４にて、左右それぞれの映像の色分析を行う。
【００１８】
図２の左右色補正処理部１０４において、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４は、左右映像の色空間解析をそれぞれ行う。色相補正処理部２０５は、例えば左右それぞれのヒストグラムのピークや色相幅、ヒストグラムの重心などの特徴パラメータ（以下、単に「特徴」と記す）を抽出し、その特徴の差分を求める。さらに差分を低減する様に、左右映像の色相をそれぞれ変化させる補正を行う。これにより、色相の差異が少ない左目用映像２０６と右目用映像２０７が出力される。
【００１９】
ここで、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４、色相補正処理部２０５における処理に用いられる色相ヒストグラムについて説明する。
【００２０】
本実施例では、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４において、左目用映像と右目用映像のそれぞれの色相のヒストグラムを算出する。まず、色相の数値の定義を図４に示す。ＨＳＶ色空間において円柱の円一周が色相を表し、赤を０度として、黄、緑、青、紫と３６０度変化する。この色相を横軸にとり、左（または右）目用映像１画面に含まれる色相毎の画素の数を数えてグラフ化した例が、図５に示す色相ヒストグラムである。この色相ヒストグラムの分布を使って、左右映像それぞれの色相の差異を算出する。ヒストグラムの算出と色相補正の詳細については図３を用いて後述する。
【００２１】
本例では、ＨＳＶ色空間の色相でのヒストグラム解析の例を示しているが、色分析としては、例えば、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ／Ｃｈｒｏｍａ）、明度（Ｂｒｉｇｈｔｎｅｓｓ／Ｌｉｇｈｔｎｅｓｓ／Ｖａｌｕｅ）を使ったＨＳＶ／ＨＳＢ色空間に分離して、それぞれのヒストグラム分布などを求めてもよい。これは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｌｉｇｈｔｎｅｓｓ／Ｌｕｍｉｎａｎｃｅ または Ｉｎｔｅｎｓｉｔｙ）を使ったＨＬＳ／ＨＳＩ色空間や、ＣＩＥ表色系（ＲＧＢ、ＸＹＺ、ｘｙＹ、Ｌ*ｕ*ｖ*、Ｌ*ａ*ｂ*）やｓＲＧＢカラートライアングルなど様々な色空間を表すそれぞれの軸でヒストグラム分布を算出する色分析などでよい。
【００２２】
また、本例においては、ＨＳＶ色空間の色相、彩度、明度の軸で表現されるヒストグラムの内、色相ヒストグラムを解析し、左右映像のヒストグラム特徴を近づけることで、色空間の差異を低減する。色相のみでなく、彩度や明度もヒストグラム分布を解析して、その特徴の差分量を算出し、この差分量を低減しても良い。この処理は、色相のヒストグラム解析と同時に行っても良いし、または時間的に異なるフレームに対して行っても良い。
【００２３】
次に、図３は、本発明の実施例１の左右映像色補正処理部１０４の左右色補正処理シーケンスの例について図３、図５、図６を用いて説明する。
【００２４】
Ｓ３００では、左右映像色補正処理部１０４に左右の映像が入力されて、処理が開始される。Ｓ３０１では、Ｌ映像色相ヒストグラム解析部２０３が左目用映像に含まれる各色相の画素数を集計する。同様にＳ３０３では、Ｒ映像色相ヒストグラム解析部２０４が右目用映像に含まれる各色相の画総数を集計する。Ｓ３０２では、Ｌ映像色相ヒストグラム解析部２０３が左目用映像色相ヒストグラムの色相の特徴を検出する。ここで色相の特徴とは、ピーク色相位置、ピーク色相の度数、ピーク色相周辺の分布幅、ピーク色相周辺分布の重心の位置、またはこれらの組合せである。図５が左右色補正処理部のＬ映像色相ヒストグラム解析部２０３またはＲ映像色相ヒストグラム解析部２０４が集計した色相ヒストグラムの例である。例えば、青い空が表現されているような映像であれば、青の色相周辺にヒストグラムが現れ、ピーク色相、ピーク色相周辺の分布の幅、ピーク周辺の重心の色相を検出することで、映像の色相の特徴を判断することができる。同様にＳ３０４において、映像色相ヒストグラム解析部２０４が右目用映像の色相ヒストグラムの特徴を検出する。次に、Ｓ３０５において、色相補正処理部２０５が、左目用映像の色相の特徴と右目用映像の色相の特徴とを比較する。例えば、ピーク色相位置やピーク度数、ピーク色相周辺分布の幅、ピーク周辺色相分布の重心位置などが、どのくらいずれているのか等を算出して、特徴の差分を数値化する。Ｓ３０６において、色相補正処理部２０５は、Ｓ３０５で算出したヒストグラム分布の特徴の差分量が、所定の閾値以上だった場合には、色補正をしないと判断する（Ｓ３０７）。Ｓ３０７の判断に加えて、左右映像の色分析の結果、特徴の差分量が大きい場合には、入力が３D映像信号ではないと判断してもよい。この場合、立体映像信号処理部１０３に対して入力映像を左右映像に分離しない指示をしてもよい（Ｓ３０８）。このとき図１の立体映像処理装置は2Dの映像信号処理を行う。
【００２５】
Ｓ３０８の処理を行う利点を以下に説明する。まず、Ｓ３０７において特徴の差分量が大きい場合には、入力映像が３D映像ではない入力映像信号に対して、立体表示装置の設定で強制的にＳＢＳやＴＡＢなどの３Ｄのように映像を半分に分離して左目用映像と右目用映像を作成して３D表示をしようとしている可能性がある。この場合には、映像が破綻してしまっているので、左右映像の色合わせは必要なく（Ｓ３０７）、さらに、左右映像に分離する必要がない。そこで、立体映像信号処理部１０３に対して左右映像分離処理をしない制御を指示する（Ｓ３０８）。
【００２６】
立体映像信号処理部１０３がＳ３０８の指示を受けた場合の処理としては、立体映像信号処理部１０３が、映像デコーダ回路で出力された映像信号をそのまま、左目用映像出力、右目用映像出力として同じ映像を出力し、立体表示処理１０５が３D表示と同様の表示（左右映像を交互に表示／左右映像をラインバイラインで表示）を行って２Ｄ表示を実現してもよい。
【００２７】
また、立体映像信号処理部１０３がＳ３０８の指示を受けた場合の処理の別の例としては、立体映像色補正処理部１０２ともに何もせず、映像デコーダ回路１０１の２Ｄの出力映像信号をそのまま立体表示部１０５に送信し、出力映像信号を立体表示部１０５が表示処理設定を３Ｄ表示から２Ｄ表示に切換えて表示してもよい。
【００２８】
また、Ｓ３０５において、色相のヒストグラム特徴の差分量が大きくても、ある所定の差分である場合には、赤青メガネを利用したアナグリフ方式で映像が入力されていると判断して、色補正はせずにそのまま左右映像を出力する処理を行ってもよい。
【００２９】
また、色相のヒストグラム特徴の差分量が大きい場合には、左右のピントやホワイトバランスが合っていないカメラを２台使って、撮影された映像の可能性もある。この場合は、眼精疲労等を考慮し、立体感はなくなってしまうが、左目用または右目用映像のどちらかのみを選択して、左右同じ映像を出力し、左右の目に見える映像の色ズレを無くす処理をおこなってもよい。
【００３０】
また、上述したアナグリフ方式と判定する色分布の左右映像の差異の閾値と、カメラのピントやホワイトバランスの差による色分布の左右映像の差異の閾値は、異なる閾値を有しても良い。すなわち、複数の閾値を設定することにより、差異の大きさに応じてこれらの複数の判断を切換えてもよい。
【００３１】
図６は、Ｓ３０５で算出する、左右色補正処理における左右の装置の色相ヒストグラムの特徴を示した例を示している。であり、色相ピークの色相位置、やピーク色相の度数、ピーク色相周辺の分布幅（ヒストグラム集中範囲）などがヒストグラムの特徴を表している。ここで、さらにヒストグラム度数とヒストグラム集中範囲を利用して、ヒストグラムが集中している部分のヒストグラム重心を算出したりすることができる。図６中には、色相ヒストグラムの特徴を表すために算出する数値の例を示している。例えば、まず、左目用映像と右目用映像のそれぞれの色相のピークを示す色相位置（ＰＬ0、ＰＬ1、ＰＲ0、ＰＲ1）、ヒストグラムの各ピーク度数（ΔＰＬ0、ΔＰＲ0、ΔＰＬ1、ΔＰＲ1）を算出する。さらに、ヒストグラムにおいて設定した閾値以上のヒストグラム度数が集中している範囲ΔＷL0、ΔWL1、ΔWR0、ΔWR1を算出する。これらをヒストグラムの特徴として利用し、左右映像の特徴の差分量を算出する。以上のように、図３のＳ３０６において左右映像の色相の特徴差分量の大きさの判定際に、色相ピークの位置の差である｜ＰＬ0−ＰＲ0｜や｜ＰＬ1−ＰＲ1｜と所定の閾値を比較してもよい。また、ピーク度数の差である｜ΔＰＬ0−ΔＰＲ0｜や｜ΔＰＬ1−ΔＰＲ1｜と所定の閾値を比較してもよい。さらに、ヒストグラム集中範囲の差を判定に用いてもよい。
【００３２】
次に、Ｓ３０９では上記のとおり、Ｓ３０５で算出した特徴の差分量を色相の補正量として決定する。例えば、Ｓ３０５で算出した左目用映像と右目用映像の色相のピークの色相ズレ（ＰＬ0−ＰＲ0、ＰＬ1−ＰＲ1；ＰＬ0、ＰＲ0、ＰＬ1、ＰＲ1はヒストグラムの各ピーク度数の色相位置）、ピーク度数差分（ΔＰＬ0−ΔＰＲ0、ΔＰＬ1−ΔＰＲ1；ΔＰＬ0、ΔＰＲ0、ΔＰＬ1、ΔＰＲ1はヒストグラムの各ピーク度数）を色相補正量とする。さらに、Ｓ３０９ではヒストグラムにおいて設定した閾値以上のヒストグラム度数が集中している範囲ΔＷｎ（ｎ：整数）を算出し、色相補正の補正範囲とする。
【００３３】
Ｓ３１０において、Ｓ３０９で決定した補正量に応じて、左目用映像、右目用映像の色相補正処理を行う。映像の色相補正は少なくとも一方の映像に対して行えばよい。例えば、右目用映像のピーク色相ＰＲ0の周辺ΔＷL0の範囲を｜ＰＬ0−ＰＲ0｜だけ色相を右方向にずらし、ＰＲ1の周辺ΔＷL1の範囲を｜ＰＬ１−ＰＲ1｜だけ色相を左方向にずらすような色相補正を行う。このように、補正範囲をΔＷL0やΔＷL1に制限し、その範囲にある色相の画素を補正することで、補正の精度を上げるとともに、補正による弊害を少なくすることができる。
【００３４】
さらに、ΔＷL0、ΔＷL1それぞれの範囲内の画素を補正し、ピーク度数や周辺の色相の度数を合わせる処理を行ってもよい。
【００３５】
このような色相補正によって左右映像のヒストグラム分布の特徴を近づける際は、右目用映像のヒストグラム分布の特徴を変化させて、左目用映像のヒストグラム分布の特徴に近づけても良い。また、左目用映像の特徴を変化させて、右目用映像の特徴に近づけても良い。または、左目用映像のヒストグラム分布の特徴と右目用映像のヒストグラム分布の特徴の平均を取り、左右映像の両方を算出した平均のヒストグラム分布の特徴に近づけても良い。
【００３６】
また、本処理は、毎フレーム行っても良いし、数フレーム毎に行っても良い。数フレーム毎に行う場合には、数フレームの間は同じ色相補正を行うことで、処理負荷を低減できる。
【００３７】
以上説明した処理により、左右の映像の色相のズレ量を定量化し、ズレ量に応じた左右映像の色相のヒストグラムの近似が可能となる。
【００３８】
なお、上述の例では色相の補正例を説明したが、他の色空間をについて、左右映像の色の特徴の差異量に応じた左右映像の色補正を行ってもよい。
【００３９】
なお、左目用映像と右目用映像とのうちいずれの映像を補正対象にするかについては、処理部に後に入力される映像を補正対象としてもよい。この場合、先入力映像をラインメモリに格納し、先入力映像のヒストグラム分布の特徴を先に解析し、当該解析結果を利用して、後入力映像の色相を先入力映像の解析結果に応じて色相補正する方が、処理高速化の観点で利点がある。例えば、Ｆｒａｍｅ Ｐａｃｋｉｎｇ方式などにおいて、左目用映像が先に伝送される場合には、左目用の映像のヒストグラム分布の特徴の解析結果を利用して、右目用映像の色相を左目用映像のヒストグラム分布の特徴に合わせることが望ましい。また、ＳＢＳ方式、ＴＡＢ方式においても受信した映像が左目用映像からラインメモリに納められる場合も同様である。
【００４０】
なお、図１において、映像入力Ｉ／Ｆ１００から立体表示処理部１０５までを一体として立体映像処理装置を構成し、表示部１０６を有する別体の表示装置と接続してもよく、映像入力Ｉ／Ｆ１００から表示部１０６までを一体として立体表示装置を構成してもよい。
【実施例２】
【００４１】
以下、本発明の実施例２について、図７、図８を参照して説明する。 図７は、本発明の実施例２に係る立体映像処理装置の構成の一例を示すブロック図である。
【００４２】
図７に示す構成は、図１の構成にユーザの操作を入力するインタフェースであるユーザI／F（インタフェース）７００を追加した構成である。本ユーザＩ／Ｆを搭載することで、ユーザが3D視聴を選択したことを検知してから、左右色補正処理を実施することが可能となる。
【００４３】
図８にユーザ操作と左右色補正処理の連動の例を示す。表示装置１０６は、まずは、放送やネットからＳＢＳ方式で受信した３Ｄ映像信号は、表示例８００のように表示する。また、ＴＡＢ方式で受信した３Ｄ映像信号は、表示例８０１の様に表示する。次に、リモコン８０２から、２Ｄから３Ｄへの切替え指示信号が送信された場合、ユーザＩ／Ｆ７００が当該切換え指示信号を受信する。ユーザＩ／Ｆ７００が切換え指示信号の受信を立体映像色補正処理部１０２に伝達して、立体映像色補正処理部１０２が、そのタイミングで左右色補正処理を開始し、3D表示時には左右色補正がなされた映像を見ることができる。逆の動作も同様で、３D表示時には左右色補正がなされているが、リモコン８０２からの指示信号により、２D表示に切替えたタイミングで立体映像色補正処理部１０２の左右色補正処理を終了する制御を行う。
【００４４】
これにより、ユーザが３Ｄ視聴を行う状態か否かを容易に判別することが可能となり、実施例の図３のＳ３０６のような判断処理が不要となる。
【００４５】
表示例８９００や表示例８９０１などの２D表示時には、ピントやフォーカス、ホワイトバランスなどが調整されていない２台のカメラを利用して撮影した映像を表示装置で視聴する際に、左右の色ズレ等がないかを確認することもできる。ユーザが３D表示に切替えたタイミングでは、左右色補正を行い、良好な表示特性を提供できる。
【００４６】
また、（１）左目用映像の色分布を補正して、右目用映像の色分布に合わせるのか、（２）右目用映像の色分布を補正して、左目用映像の色分布に合わせるのか、または、（３）左右映像の色分布の特徴の平均に左右映像の色分布を合わせるのかをリモコン８０２とユーザＩ／Ｆ７００を介して、ユーザが選択できるようにしても良い。
【００４７】
また、ユーザＩ／Ｆに替えて人感センサを搭載しても良い。例えば人体の体の熱から出る赤外線センサによる人検知やカメラによる人検知や動き検知などにより、視聴範囲に人の存在を検知するセンサを搭載する場合には、センサにより装置近くに人が居ると判断した場合にのみ左右色補正を行い、人が居ない場合には左右色補正をしないことも可能である。このとき、人が居るという条件に加えて、３Ｄ表示設定がされていることを条件に加えても良い。このような処理により視聴者が不在の場合には、左右色補正処理を省略することが可能となり、処理負荷を低減することができる。
【実施例３】
【００４８】
以下、本発明の実施例３について、図９〜図１１を用いて説明する。
【００４９】
図９は、本発明の実施例３に係る立体表示制御装置の構成の一例を示すブロック図である。
【００５０】
図９に示す構成は、図１の構成に、オクルージョン検出部を追加した構成である。オクルージョン検出部は、図１０に示すような、一方の目（視点）では見えずに、他方の目（視点）では見えるような物体を検出する。このオクルージョンの領域は、一方の目の映像のみに存在し、他方の目の映像には存在しない。よって、左右映像の色差分として算出されてしまうと、色相補性の誤差成分となり、悪影響を生じる恐れがある。そこで、本実施例では、、オクルージョン領域を検出して、その領域を補正範囲から外し、他の部分に弊害をもたらせないようにヒストグラム分析にも利用しないようにする。なお、オクルージョン検出は、映像内のオブジェクト検出や、左右色差分の領域を検出することなどで実現する。
【００５１】
ここで、図１０は、本発明の第３の実施例に係るオクルージョン検出部におけるオクルージョン検出処理時の左右映像イメージを示した例である。色の異なる立方体１０００と球１００１が少しずれて置いてあった場合に、左目では立方体しか見えず、右目では立方体と球の両方が見えている状況を示している。これを、両目に対応する２つのカメラを使って撮影した場合には、左目用映像１００２、右目用映像１００３が撮影されることとなる。
【００５２】
これが、立体映像処理装置に入力され、、左右映像の色相などのヒストグラム解析を行うと、左目用映像には無い球の色の領域が右目用映像には存在するので、ヒストグラム特徴の差分量が大きく検出されることとなる。しかし、これは色相の相違ではなく、もともとの映像の撮像対象が異なるのであり、カメラのピントやホワイトバランスの違いによる左右色差分ではないことがわかる。
【００５３】
図１１は、本発明の第３の実施例に係る立体映像処理装置のオクルージョン検出の動作シーケンスを示した例である。
【００５４】
Ｓ１１００から処理を開始し、Ｓ１１０１において、左右映像内のオクルージョン領域を検出する。そして、Ｓ１１０２において、オクルージョン領域をヒストグラム解析の対象外とする。次に、Ｓ１１０３において、オクルージョン領域は、左右色補正領域から外す。図１１の動作は、例えば、オクルージョン検出部９００において、左右色補正処理部１０４の処理と連動して行えばよい。このとき、オクルージョン領域をヒストグラム解析対象外とするためには、図１１のＳ１１０１は、図３のＳ３０１、Ｓ３０２の前に行う必要がある。また、図１１のＳ１１０２では、図３のＳ３０１、Ｓ３０２と連動して、Ｓ３０１、Ｓ３０２のヒストグラムの集計処理からオクルージョン領域の数の部分を除外する。また、図１１のＳ１１０３では、図３のＳ３０９と連動して、Ｓ３０９の補正範囲からオクルージョン領域を除外する。
【００５５】
以上の処理により、オクルージョン領域の色に影響されることなく、オクルージョン領域以外の左右映像色補正をおこなうことが可能となる。さらには、一方の目にしか関係のないオクルージョン領域内の色は補正が不要となるメリットがある。
【００５６】
以上説明した各実施例において、３D表示方式が液晶シャッタ方式、偏光メガネ方式、裸眼方式のいずれの場合でも同様な処理が可能である。
【００５７】
また、立体表示制御装置で動作するプログラムは、立体表示制御装置内に実装してあっても良いし、記録媒体に記録して提供するようにしても良いし、ネットワークを介してダウンロードして提供するようにしても良い。
【００５８】
なお、以上説明した各実施例では色相の解析例、補正例を説明した。しかしながら、これらの解析、補正の適用は色相に限られない。彩度、明度、輝度などの他の色空間について、左右映像の色の特徴の差異量に応じた左右映像の色補正を行ってもよい。または、色相、彩度、明度、輝度などの複数の色空間のうちの複数の色空間に対する解析、補正をあわせておこなってもよい。
【符号の説明】
【００５９】
１００ 映像入力Ｉ／Ｆ部
１０１ 映像デコーダ回路部
１０２ 立体映像色補正処理部
１０３ 立体映像信号処理部
１０４ 左右色補正処理部
１０５ 立体表示処理部
１０６ 表示装置部
２０１ 左目用映像（入力）
２０２ 右目用映像（入力）
２０３ 左目用映像色相ヒストグラム解析
２０４ 右目用映像色相ヒストグラム解析
２０５ 色補正処理
２０６ 左目用映像（出力）
２０７ 右目用映像（出力）
４００ ＨＳＶ色空間
５００ 色相ヒストグラム
６００ 左目用映像の色相ヒストグラム
６０１ 右目用映像の色相ヒストグラム
７００ ユーザＩ／Ｆ部
８００ ＳＢＳ表示映像（２D表示時）
８０１ ＴＡＢ表示映像（２D表示時）
８０２ リモコン
８０３ ３D表示映像
９００ オクルージョン検出部
１０００ 立方体（被写体）
１００１ 球（被写体）
１００２ 左目用映像
１００３ 右目用映像
【技術分野】
【０００１】
本発明は、立体映像の色補正技術に関する。
【背景技術】
【０００２】
立体（３Ｄ）映像を作成する場合に、右目から見た映像、左目から見た映像を撮影するためのカメラまたはレンズを２つ用意して、映像を撮影したそれぞれの映像を同時(偏光方式や視差バリアやレンチキュラ方式など)またはタイムシーケンシャル(シャッタ眼鏡方式など)に表示装置に立体映像を表現する方法がある。視差のある左右の映像を右目、左目に見せることにより、視聴者が左右視差を脳で立体化することにより、映像を立体的に見せることができる。この様な立体映像の作成、表示方法において、複数のカメラやレンズの個体差や光の入射量や入射角度などにより、同じ映像を撮影している場合でも、それぞれの映像の色合いや明度などが異なる場合がある。
【０００３】
このように、左右の映像の色合いや明度などの差がある状態で、左右の眼に映像を見せた場合の現象として、左右像に色ズレが大きいと視野闘争が生じて融合しにくくなる可能性左右像の色ズレは眼精疲労の原因となる可能性がある。
【０００４】
立体表示用の左右画像の補正方法として、特許文献１には、左右画像の垂直位置ずれを補正する方法が開示されている。特許文献２には、左眼用映像信号と右眼用映像信号の平均輝度レベルとダイナミックレンジとを一致させる補正方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−６１１１６
【特許文献２】特開平２−５８９９３
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１や特許文献２に開示される左右映像の補正技術には、左右映像の色ズレに関する補正技術については述べられていない。複数のカメラで撮影した際の、個々のカメラの特性の違いや、それぞれのカメラのピント、フォーカスずれ、ホワイトバランス調整の差異による色ズレが生じる場合がある。その場合、視聴者は、右目、左目に色ズレがある映像を見ることになる。
【０００７】
本発明は上記課題を鑑みてなされたものであり、その目的は、立体映像において、左右の眼に入るそれぞれの映像の色合いをより好適に補正することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一実施の態様は、映像が入力される入力部と、入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部とを備えるように構成する。
【発明の効果】
【０００９】
立体映像において、左右の眼に入るそれぞれの映像の色合いをより好適に補正する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１に係る立体映像処理装置の構成の一例を示すブロック図である。
【図２】本発明の実施例１に係る左右映像色補正処理部の一例を示すブロック図である。
【図３】本発明の実施例１に係る左右映像色補正処理部の左右色補正処理シーケンスを示した例である。
【図４】ＨＳＶ色空間の説明を示した例である。
【図５】本発明の実施例１に係る左右色補正処理部の色相ヒストグラムを示した例である。
【図６】本発明の実施例１に係る左右色補正処理部の色相ヒストグラムの特徴を示した例である。
【図７】本発明の実施例２に係る立体映像処理装置の構成の一例を示すブロック図である。
【図８】本発明の実施例２に係る立体映像処理装置のユーザ操作と左右色補正処理の連動の例を示した図である。
【図９】本発明の実施例３に係る立体映像処理装置の構成の一例を示すブロック図である。
【図１０】本発明の実施例３に係る立体映像処理装置のオクルージョン検出時の左右映像イメージを示した例である。
【図１１】本発明の実施例３に係る立体映像処理装置のオクルージョン検出時の動作シーケンスを示した例である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を、図面を用いて以下に説明する。
【実施例１】
【００１２】
以下、本発明の実施例１について、図１〜図６を参照して説明する。
【００１３】
図１は、本発明の実施例１に係る立体映像処理装置の構成の一例を示すブロック図である。
【００１４】
図1において、１００は映像入力Ｉ／Ｆ、１０１は映像デコーダ回路、１０２は立体映像色補正処理部、１０３は立体映像処理部、１０４は左右色補正処理部、１０５は立体表示処理部、１０６は表示部である。
【００１５】
映像入力Ｉ／Ｆ１００は、放送や光ディスクなどのプレーヤ装置やゲーム機などから映像や音声、文字などのコンテンツの入力を行うインタフェースである。映像デコーダ回路１０１は映像のデコード処理などを行い、映像信号を出力する。立体映像色補正処理部１０２では、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ（ＳＢＳ）方式やＴｏｐ−ａｎｄ−Ｂｏｔｔｏｍ（ＴＡＢ）方式、Ｆｒａｍｅ−Ｐａｃｋｉｎｇ（ＦＰ）方式や多眼方式などの立体映像が入力された場合に、立体映像処理部１０３にて、左右のそれぞれの目に対応する映像を分離する映像信号処理を行う。左右色補正処理部１０４では、左右のそれぞれの目に対応する映像の色の差分が小さくなるように色補正（色空間上の補正）を行う。左右色補正処理部１０４にて色補正がなされた映像を立体表示処理部１０５にて、左目用映像Ｌ、右目用映像Ｒを切替えて表示部１０６に出力し、その切替えタイミングをシャッタ眼鏡に伝送する赤外線信号処理などを行う。偏光眼鏡方式の３Ｄ表示部場合には、表示部１０６に設置された視差バリアに合わせて、Ｌ、Ｒの映像が表示されるように表示画素を調整する処理も行う。裸眼方式の場合には、表示部に設置したレンチキュラレンズなどに合わせた映像信号処理を行う。表示部１０６は液晶デバイスやＯＬＥＤ（Organic light-emitting diode）、プラズマなどを利用した表示部であり、立体表示処理部１０５で出力されたＬ、Ｒの映像を調整されたタイミングで切替えて表示や、設置された視差バリアに合わせた画素での表示、または設置されたレンチキュラレンズに合わせた画素での表示などを行い、立体表示を行う。
【００１６】
次に、立体映像表示時に右目用映像と左目用映像の色の差異を軽減する仕組みを説明する。
【００１７】
図２は、第一の実施形態本発明の実施例１に係るである左右映像色補正処理装置部の詳細な構成の一例を示すブロック図である。 ＳＢＳ方式やＴＡＢ方式、ＦＰ方式などの立体表示用の映像は図１の立体映像信号処理部１０３にて左目用映像２０１と右目用映像２０２に分離をしされ、図２の左右映像色補正処理部１０４へ入力される。例えばＳＢＳ方式であれば、映像デコーダ回路１０１にてデコードされた映像の左半分を左目用映像、右半分を右目用映像として分離する。その後、左右色補正処理部１０４にて、左右それぞれの映像の色分析を行う。
【００１８】
図２の左右色補正処理部１０４において、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４は、左右映像の色空間解析をそれぞれ行う。色相補正処理部２０５は、例えば左右それぞれのヒストグラムのピークや色相幅、ヒストグラムの重心などの特徴パラメータ（以下、単に「特徴」と記す）を抽出し、その特徴の差分を求める。さらに差分を低減する様に、左右映像の色相をそれぞれ変化させる補正を行う。これにより、色相の差異が少ない左目用映像２０６と右目用映像２０７が出力される。
【００１９】
ここで、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４、色相補正処理部２０５における処理に用いられる色相ヒストグラムについて説明する。
【００２０】
本実施例では、Ｌ映像色相ヒストグラム解析部２０３、Ｒ映像色相ヒストグラム解析部２０４において、左目用映像と右目用映像のそれぞれの色相のヒストグラムを算出する。まず、色相の数値の定義を図４に示す。ＨＳＶ色空間において円柱の円一周が色相を表し、赤を０度として、黄、緑、青、紫と３６０度変化する。この色相を横軸にとり、左（または右）目用映像１画面に含まれる色相毎の画素の数を数えてグラフ化した例が、図５に示す色相ヒストグラムである。この色相ヒストグラムの分布を使って、左右映像それぞれの色相の差異を算出する。ヒストグラムの算出と色相補正の詳細については図３を用いて後述する。
【００２１】
本例では、ＨＳＶ色空間の色相でのヒストグラム解析の例を示しているが、色分析としては、例えば、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ／Ｃｈｒｏｍａ）、明度（Ｂｒｉｇｈｔｎｅｓｓ／Ｌｉｇｈｔｎｅｓｓ／Ｖａｌｕｅ）を使ったＨＳＶ／ＨＳＢ色空間に分離して、それぞれのヒストグラム分布などを求めてもよい。これは、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｌｉｇｈｔｎｅｓｓ／Ｌｕｍｉｎａｎｃｅ または Ｉｎｔｅｎｓｉｔｙ）を使ったＨＬＳ／ＨＳＩ色空間や、ＣＩＥ表色系（ＲＧＢ、ＸＹＺ、ｘｙＹ、Ｌ*ｕ*ｖ*、Ｌ*ａ*ｂ*）やｓＲＧＢカラートライアングルなど様々な色空間を表すそれぞれの軸でヒストグラム分布を算出する色分析などでよい。
【００２２】
また、本例においては、ＨＳＶ色空間の色相、彩度、明度の軸で表現されるヒストグラムの内、色相ヒストグラムを解析し、左右映像のヒストグラム特徴を近づけることで、色空間の差異を低減する。色相のみでなく、彩度や明度もヒストグラム分布を解析して、その特徴の差分量を算出し、この差分量を低減しても良い。この処理は、色相のヒストグラム解析と同時に行っても良いし、または時間的に異なるフレームに対して行っても良い。
【００２３】
次に、図３は、本発明の実施例１の左右映像色補正処理部１０４の左右色補正処理シーケンスの例について図３、図５、図６を用いて説明する。
【００２４】
Ｓ３００では、左右映像色補正処理部１０４に左右の映像が入力されて、処理が開始される。Ｓ３０１では、Ｌ映像色相ヒストグラム解析部２０３が左目用映像に含まれる各色相の画素数を集計する。同様にＳ３０３では、Ｒ映像色相ヒストグラム解析部２０４が右目用映像に含まれる各色相の画総数を集計する。Ｓ３０２では、Ｌ映像色相ヒストグラム解析部２０３が左目用映像色相ヒストグラムの色相の特徴を検出する。ここで色相の特徴とは、ピーク色相位置、ピーク色相の度数、ピーク色相周辺の分布幅、ピーク色相周辺分布の重心の位置、またはこれらの組合せである。図５が左右色補正処理部のＬ映像色相ヒストグラム解析部２０３またはＲ映像色相ヒストグラム解析部２０４が集計した色相ヒストグラムの例である。例えば、青い空が表現されているような映像であれば、青の色相周辺にヒストグラムが現れ、ピーク色相、ピーク色相周辺の分布の幅、ピーク周辺の重心の色相を検出することで、映像の色相の特徴を判断することができる。同様にＳ３０４において、映像色相ヒストグラム解析部２０４が右目用映像の色相ヒストグラムの特徴を検出する。次に、Ｓ３０５において、色相補正処理部２０５が、左目用映像の色相の特徴と右目用映像の色相の特徴とを比較する。例えば、ピーク色相位置やピーク度数、ピーク色相周辺分布の幅、ピーク周辺色相分布の重心位置などが、どのくらいずれているのか等を算出して、特徴の差分を数値化する。Ｓ３０６において、色相補正処理部２０５は、Ｓ３０５で算出したヒストグラム分布の特徴の差分量が、所定の閾値以上だった場合には、色補正をしないと判断する（Ｓ３０７）。Ｓ３０７の判断に加えて、左右映像の色分析の結果、特徴の差分量が大きい場合には、入力が３D映像信号ではないと判断してもよい。この場合、立体映像信号処理部１０３に対して入力映像を左右映像に分離しない指示をしてもよい（Ｓ３０８）。このとき図１の立体映像処理装置は2Dの映像信号処理を行う。
【００２５】
Ｓ３０８の処理を行う利点を以下に説明する。まず、Ｓ３０７において特徴の差分量が大きい場合には、入力映像が３D映像ではない入力映像信号に対して、立体表示装置の設定で強制的にＳＢＳやＴＡＢなどの３Ｄのように映像を半分に分離して左目用映像と右目用映像を作成して３D表示をしようとしている可能性がある。この場合には、映像が破綻してしまっているので、左右映像の色合わせは必要なく（Ｓ３０７）、さらに、左右映像に分離する必要がない。そこで、立体映像信号処理部１０３に対して左右映像分離処理をしない制御を指示する（Ｓ３０８）。
【００２６】
立体映像信号処理部１０３がＳ３０８の指示を受けた場合の処理としては、立体映像信号処理部１０３が、映像デコーダ回路で出力された映像信号をそのまま、左目用映像出力、右目用映像出力として同じ映像を出力し、立体表示処理１０５が３D表示と同様の表示（左右映像を交互に表示／左右映像をラインバイラインで表示）を行って２Ｄ表示を実現してもよい。
【００２７】
また、立体映像信号処理部１０３がＳ３０８の指示を受けた場合の処理の別の例としては、立体映像色補正処理部１０２ともに何もせず、映像デコーダ回路１０１の２Ｄの出力映像信号をそのまま立体表示部１０５に送信し、出力映像信号を立体表示部１０５が表示処理設定を３Ｄ表示から２Ｄ表示に切換えて表示してもよい。
【００２８】
また、Ｓ３０５において、色相のヒストグラム特徴の差分量が大きくても、ある所定の差分である場合には、赤青メガネを利用したアナグリフ方式で映像が入力されていると判断して、色補正はせずにそのまま左右映像を出力する処理を行ってもよい。
【００２９】
また、色相のヒストグラム特徴の差分量が大きい場合には、左右のピントやホワイトバランスが合っていないカメラを２台使って、撮影された映像の可能性もある。この場合は、眼精疲労等を考慮し、立体感はなくなってしまうが、左目用または右目用映像のどちらかのみを選択して、左右同じ映像を出力し、左右の目に見える映像の色ズレを無くす処理をおこなってもよい。
【００３０】
また、上述したアナグリフ方式と判定する色分布の左右映像の差異の閾値と、カメラのピントやホワイトバランスの差による色分布の左右映像の差異の閾値は、異なる閾値を有しても良い。すなわち、複数の閾値を設定することにより、差異の大きさに応じてこれらの複数の判断を切換えてもよい。
【００３１】
図６は、Ｓ３０５で算出する、左右色補正処理における左右の装置の色相ヒストグラムの特徴を示した例を示している。であり、色相ピークの色相位置、やピーク色相の度数、ピーク色相周辺の分布幅（ヒストグラム集中範囲）などがヒストグラムの特徴を表している。ここで、さらにヒストグラム度数とヒストグラム集中範囲を利用して、ヒストグラムが集中している部分のヒストグラム重心を算出したりすることができる。図６中には、色相ヒストグラムの特徴を表すために算出する数値の例を示している。例えば、まず、左目用映像と右目用映像のそれぞれの色相のピークを示す色相位置（ＰＬ0、ＰＬ1、ＰＲ0、ＰＲ1）、ヒストグラムの各ピーク度数（ΔＰＬ0、ΔＰＲ0、ΔＰＬ1、ΔＰＲ1）を算出する。さらに、ヒストグラムにおいて設定した閾値以上のヒストグラム度数が集中している範囲ΔＷL0、ΔWL1、ΔWR0、ΔWR1を算出する。これらをヒストグラムの特徴として利用し、左右映像の特徴の差分量を算出する。以上のように、図３のＳ３０６において左右映像の色相の特徴差分量の大きさの判定際に、色相ピークの位置の差である｜ＰＬ0−ＰＲ0｜や｜ＰＬ1−ＰＲ1｜と所定の閾値を比較してもよい。また、ピーク度数の差である｜ΔＰＬ0−ΔＰＲ0｜や｜ΔＰＬ1−ΔＰＲ1｜と所定の閾値を比較してもよい。さらに、ヒストグラム集中範囲の差を判定に用いてもよい。
【００３２】
次に、Ｓ３０９では上記のとおり、Ｓ３０５で算出した特徴の差分量を色相の補正量として決定する。例えば、Ｓ３０５で算出した左目用映像と右目用映像の色相のピークの色相ズレ（ＰＬ0−ＰＲ0、ＰＬ1−ＰＲ1；ＰＬ0、ＰＲ0、ＰＬ1、ＰＲ1はヒストグラムの各ピーク度数の色相位置）、ピーク度数差分（ΔＰＬ0−ΔＰＲ0、ΔＰＬ1−ΔＰＲ1；ΔＰＬ0、ΔＰＲ0、ΔＰＬ1、ΔＰＲ1はヒストグラムの各ピーク度数）を色相補正量とする。さらに、Ｓ３０９ではヒストグラムにおいて設定した閾値以上のヒストグラム度数が集中している範囲ΔＷｎ（ｎ：整数）を算出し、色相補正の補正範囲とする。
【００３３】
Ｓ３１０において、Ｓ３０９で決定した補正量に応じて、左目用映像、右目用映像の色相補正処理を行う。映像の色相補正は少なくとも一方の映像に対して行えばよい。例えば、右目用映像のピーク色相ＰＲ0の周辺ΔＷL0の範囲を｜ＰＬ0−ＰＲ0｜だけ色相を右方向にずらし、ＰＲ1の周辺ΔＷL1の範囲を｜ＰＬ１−ＰＲ1｜だけ色相を左方向にずらすような色相補正を行う。このように、補正範囲をΔＷL0やΔＷL1に制限し、その範囲にある色相の画素を補正することで、補正の精度を上げるとともに、補正による弊害を少なくすることができる。
【００３４】
さらに、ΔＷL0、ΔＷL1それぞれの範囲内の画素を補正し、ピーク度数や周辺の色相の度数を合わせる処理を行ってもよい。
【００３５】
このような色相補正によって左右映像のヒストグラム分布の特徴を近づける際は、右目用映像のヒストグラム分布の特徴を変化させて、左目用映像のヒストグラム分布の特徴に近づけても良い。また、左目用映像の特徴を変化させて、右目用映像の特徴に近づけても良い。または、左目用映像のヒストグラム分布の特徴と右目用映像のヒストグラム分布の特徴の平均を取り、左右映像の両方を算出した平均のヒストグラム分布の特徴に近づけても良い。
【００３６】
また、本処理は、毎フレーム行っても良いし、数フレーム毎に行っても良い。数フレーム毎に行う場合には、数フレームの間は同じ色相補正を行うことで、処理負荷を低減できる。
【００３７】
以上説明した処理により、左右の映像の色相のズレ量を定量化し、ズレ量に応じた左右映像の色相のヒストグラムの近似が可能となる。
【００３８】
なお、上述の例では色相の補正例を説明したが、他の色空間をについて、左右映像の色の特徴の差異量に応じた左右映像の色補正を行ってもよい。
【００３９】
なお、左目用映像と右目用映像とのうちいずれの映像を補正対象にするかについては、処理部に後に入力される映像を補正対象としてもよい。この場合、先入力映像をラインメモリに格納し、先入力映像のヒストグラム分布の特徴を先に解析し、当該解析結果を利用して、後入力映像の色相を先入力映像の解析結果に応じて色相補正する方が、処理高速化の観点で利点がある。例えば、Ｆｒａｍｅ Ｐａｃｋｉｎｇ方式などにおいて、左目用映像が先に伝送される場合には、左目用の映像のヒストグラム分布の特徴の解析結果を利用して、右目用映像の色相を左目用映像のヒストグラム分布の特徴に合わせることが望ましい。また、ＳＢＳ方式、ＴＡＢ方式においても受信した映像が左目用映像からラインメモリに納められる場合も同様である。
【００４０】
なお、図１において、映像入力Ｉ／Ｆ１００から立体表示処理部１０５までを一体として立体映像処理装置を構成し、表示部１０６を有する別体の表示装置と接続してもよく、映像入力Ｉ／Ｆ１００から表示部１０６までを一体として立体表示装置を構成してもよい。
【実施例２】
【００４１】
以下、本発明の実施例２について、図７、図８を参照して説明する。 図７は、本発明の実施例２に係る立体映像処理装置の構成の一例を示すブロック図である。
【００４２】
図７に示す構成は、図１の構成にユーザの操作を入力するインタフェースであるユーザI／F（インタフェース）７００を追加した構成である。本ユーザＩ／Ｆを搭載することで、ユーザが3D視聴を選択したことを検知してから、左右色補正処理を実施することが可能となる。
【００４３】
図８にユーザ操作と左右色補正処理の連動の例を示す。表示装置１０６は、まずは、放送やネットからＳＢＳ方式で受信した３Ｄ映像信号は、表示例８００のように表示する。また、ＴＡＢ方式で受信した３Ｄ映像信号は、表示例８０１の様に表示する。次に、リモコン８０２から、２Ｄから３Ｄへの切替え指示信号が送信された場合、ユーザＩ／Ｆ７００が当該切換え指示信号を受信する。ユーザＩ／Ｆ７００が切換え指示信号の受信を立体映像色補正処理部１０２に伝達して、立体映像色補正処理部１０２が、そのタイミングで左右色補正処理を開始し、3D表示時には左右色補正がなされた映像を見ることができる。逆の動作も同様で、３D表示時には左右色補正がなされているが、リモコン８０２からの指示信号により、２D表示に切替えたタイミングで立体映像色補正処理部１０２の左右色補正処理を終了する制御を行う。
【００４４】
これにより、ユーザが３Ｄ視聴を行う状態か否かを容易に判別することが可能となり、実施例の図３のＳ３０６のような判断処理が不要となる。
【００４５】
表示例８９００や表示例８９０１などの２D表示時には、ピントやフォーカス、ホワイトバランスなどが調整されていない２台のカメラを利用して撮影した映像を表示装置で視聴する際に、左右の色ズレ等がないかを確認することもできる。ユーザが３D表示に切替えたタイミングでは、左右色補正を行い、良好な表示特性を提供できる。
【００４６】
また、（１）左目用映像の色分布を補正して、右目用映像の色分布に合わせるのか、（２）右目用映像の色分布を補正して、左目用映像の色分布に合わせるのか、または、（３）左右映像の色分布の特徴の平均に左右映像の色分布を合わせるのかをリモコン８０２とユーザＩ／Ｆ７００を介して、ユーザが選択できるようにしても良い。
【００４７】
また、ユーザＩ／Ｆに替えて人感センサを搭載しても良い。例えば人体の体の熱から出る赤外線センサによる人検知やカメラによる人検知や動き検知などにより、視聴範囲に人の存在を検知するセンサを搭載する場合には、センサにより装置近くに人が居ると判断した場合にのみ左右色補正を行い、人が居ない場合には左右色補正をしないことも可能である。このとき、人が居るという条件に加えて、３Ｄ表示設定がされていることを条件に加えても良い。このような処理により視聴者が不在の場合には、左右色補正処理を省略することが可能となり、処理負荷を低減することができる。
【実施例３】
【００４８】
以下、本発明の実施例３について、図９〜図１１を用いて説明する。
【００４９】
図９は、本発明の実施例３に係る立体表示制御装置の構成の一例を示すブロック図である。
【００５０】
図９に示す構成は、図１の構成に、オクルージョン検出部を追加した構成である。オクルージョン検出部は、図１０に示すような、一方の目（視点）では見えずに、他方の目（視点）では見えるような物体を検出する。このオクルージョンの領域は、一方の目の映像のみに存在し、他方の目の映像には存在しない。よって、左右映像の色差分として算出されてしまうと、色相補性の誤差成分となり、悪影響を生じる恐れがある。そこで、本実施例では、、オクルージョン領域を検出して、その領域を補正範囲から外し、他の部分に弊害をもたらせないようにヒストグラム分析にも利用しないようにする。なお、オクルージョン検出は、映像内のオブジェクト検出や、左右色差分の領域を検出することなどで実現する。
【００５１】
ここで、図１０は、本発明の第３の実施例に係るオクルージョン検出部におけるオクルージョン検出処理時の左右映像イメージを示した例である。色の異なる立方体１０００と球１００１が少しずれて置いてあった場合に、左目では立方体しか見えず、右目では立方体と球の両方が見えている状況を示している。これを、両目に対応する２つのカメラを使って撮影した場合には、左目用映像１００２、右目用映像１００３が撮影されることとなる。
【００５２】
これが、立体映像処理装置に入力され、、左右映像の色相などのヒストグラム解析を行うと、左目用映像には無い球の色の領域が右目用映像には存在するので、ヒストグラム特徴の差分量が大きく検出されることとなる。しかし、これは色相の相違ではなく、もともとの映像の撮像対象が異なるのであり、カメラのピントやホワイトバランスの違いによる左右色差分ではないことがわかる。
【００５３】
図１１は、本発明の第３の実施例に係る立体映像処理装置のオクルージョン検出の動作シーケンスを示した例である。
【００５４】
Ｓ１１００から処理を開始し、Ｓ１１０１において、左右映像内のオクルージョン領域を検出する。そして、Ｓ１１０２において、オクルージョン領域をヒストグラム解析の対象外とする。次に、Ｓ１１０３において、オクルージョン領域は、左右色補正領域から外す。図１１の動作は、例えば、オクルージョン検出部９００において、左右色補正処理部１０４の処理と連動して行えばよい。このとき、オクルージョン領域をヒストグラム解析対象外とするためには、図１１のＳ１１０１は、図３のＳ３０１、Ｓ３０２の前に行う必要がある。また、図１１のＳ１１０２では、図３のＳ３０１、Ｓ３０２と連動して、Ｓ３０１、Ｓ３０２のヒストグラムの集計処理からオクルージョン領域の数の部分を除外する。また、図１１のＳ１１０３では、図３のＳ３０９と連動して、Ｓ３０９の補正範囲からオクルージョン領域を除外する。
【００５５】
以上の処理により、オクルージョン領域の色に影響されることなく、オクルージョン領域以外の左右映像色補正をおこなうことが可能となる。さらには、一方の目にしか関係のないオクルージョン領域内の色は補正が不要となるメリットがある。
【００５６】
以上説明した各実施例において、３D表示方式が液晶シャッタ方式、偏光メガネ方式、裸眼方式のいずれの場合でも同様な処理が可能である。
【００５７】
また、立体表示制御装置で動作するプログラムは、立体表示制御装置内に実装してあっても良いし、記録媒体に記録して提供するようにしても良いし、ネットワークを介してダウンロードして提供するようにしても良い。
【００５８】
なお、以上説明した各実施例では色相の解析例、補正例を説明した。しかしながら、これらの解析、補正の適用は色相に限られない。彩度、明度、輝度などの他の色空間について、左右映像の色の特徴の差異量に応じた左右映像の色補正を行ってもよい。または、色相、彩度、明度、輝度などの複数の色空間のうちの複数の色空間に対する解析、補正をあわせておこなってもよい。
【符号の説明】
【００５９】
１００ 映像入力Ｉ／Ｆ部
１０１ 映像デコーダ回路部
１０２ 立体映像色補正処理部
１０３ 立体映像信号処理部
１０４ 左右色補正処理部
１０５ 立体表示処理部
１０６ 表示装置部
２０１ 左目用映像（入力）
２０２ 右目用映像（入力）
２０３ 左目用映像色相ヒストグラム解析
２０４ 右目用映像色相ヒストグラム解析
２０５ 色補正処理
２０６ 左目用映像（出力）
２０７ 右目用映像（出力）
４００ ＨＳＶ色空間
５００ 色相ヒストグラム
６００ 左目用映像の色相ヒストグラム
６０１ 右目用映像の色相ヒストグラム
７００ ユーザＩ／Ｆ部
８００ ＳＢＳ表示映像（２D表示時）
８０１ ＴＡＢ表示映像（２D表示時）
８０２ リモコン
８０３ ３D表示映像
９００ オクルージョン検出部
１０００ 立方体（被写体）
１００１ 球（被写体）
１００２ 左目用映像
１００３ 右目用映像
【特許請求の範囲】
【請求項１】
映像が入力される入力部と、
入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、
前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部と
を備えることを特徴とする立体映像処理装置。
【請求項２】
請求項１に記載の立体映像処理装置であって、
前記補正部による補正処理は、前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像の特徴パラメータとの差分が所定の閾値以下の場合に行うことを特徴とする立体映像処理装置。
【請求項３】
請求項２に記載の立体映像処理装置であって、
前記補正部は、前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分が所定の閾値より大きい場合には前記補正を行わないことを特徴とする立体映像処理装置。
【請求項４】
請求項３に記載の立体映像処理装置であって、
入力された映像に３Ｄ映像用の信号処理と２Ｄ映像用の信号処理を選択的に行う立体映像処理部をさらに備え、
前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分が前記所定の閾値より大きい場合には前記立体映像処理部の信号処理を２Ｄ映像用の信号処理に切換えることを特徴とする立体映像処理装置。
【請求項５】
請求項１に記載の立体映像処理装置であって、
ユーザインタフェースを備え、
前記ユーザインタフェースに２Ｄ表示から３Ｄ表示への切り替え指示が入力された場合に、前記補正部が前記色空間上の補正を開始することを特徴とする立体映像処理装置。
【請求項６】
請求項５に記載の立体映像処理装置であって、
前記ユーザインタフェースに３Ｄ表示から２Ｄ表示への切り替え指示が入力された場合に、前記補正部が前記色空間上の補正を終了することを特徴とする立体映像処理装置。
【請求項７】
請求項１に記載の立体映像処理装置であって、
人感センサを備え、
前記人感センサが人がいると判断する場合は前記補正部が前記色空間上の補正を行い、
前記人感センサが人がいないと判断する場合は前記補正部が前記色空間上の補正を行なわないことを特徴とする立体映像処理装置。
【請求項８】
請求項１に記載の立体映像処理装置であって、
オクルージョン検出部を備え、
前記オクルージョン検出部は、入力された映像含まれる左目用映像と右目用映像とにおいて、一方の視点では見えずに他方の視点では見える物体が存在するオクルージョン領域を検出し、
前記解析部は、前記オクルージョン領域については、前記色空間のヒストグラムの生成処理において除外し、
前記補正部は、前記オクルージョン領域については、色空間上の補正の対象から除外することを特徴とする立体映像処理装置。
【請求項９】
請求項１乃至８に記載の立体映像処理装置であって、
前記解析部が検出する特徴パラメータは映像の色空間のヒストグラムのピーク位置、ピーク位置における度数、ピーク位置周辺の分布の幅、またはピーク位置周辺の分布の重心であることを特徴とする立体映像処理装置。
【請求項１０】
請求項９に記載の立体映像処理装置であって、
前記補正部における色空間上の補正は、前記左目用映像と前記右目用映像とのピーク位置、ピーク位置における度数、ピーク位置周辺の分布の幅、またはピーク位置周辺の分布の重心を近づける補正であることを特徴とする立体映像処理装置。
【請求項１１】
請求項１乃至１０に記載の立体映像処理装置にさらに表示部を備えることを特徴とする立体映像表示装置。
【請求項１２】
映像が入力する入力ステップと、
入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析ステップと、
前記解析ステップで検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正ステップと
を備えることを特徴とする立体映像処理方法。
【請求項１３】
請求項１２に記載の立体映像処理方法であって、
前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像の特徴パラメータとの差分と所定の閾値の比較結果によって、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１４】
請求項１２に記載の立体映像処理方法であって、
ユーザからの２Ｄ表示および３Ｄ表示の切り替え指示に連動して、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１５】
請求項１２に記載の立体映像処理方法であって、
人感センサによる検知結果に応じて、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１６】
請求項１２に記載の立体映像処理方法であって、
前記左目用映像と前記右目用映像とについてオクルージョン領域を検出するオクルージョン検出ステップを備え、
前記オクルージョン検出ステップで検出されたオクルージョン領域については、前記解析ステップにおけるヒストグラムの生成から除外し、前記補正ステップにおける補正対象からも除外することを特徴とする立体映像処理方法。
【請求項１】
映像が入力される入力部と、
入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析部と、
前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正部と
を備えることを特徴とする立体映像処理装置。
【請求項２】
請求項１に記載の立体映像処理装置であって、
前記補正部による補正処理は、前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像の特徴パラメータとの差分が所定の閾値以下の場合に行うことを特徴とする立体映像処理装置。
【請求項３】
請求項２に記載の立体映像処理装置であって、
前記補正部は、前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分が所定の閾値より大きい場合には前記補正を行わないことを特徴とする立体映像処理装置。
【請求項４】
請求項３に記載の立体映像処理装置であって、
入力された映像に３Ｄ映像用の信号処理と２Ｄ映像用の信号処理を選択的に行う立体映像処理部をさらに備え、
前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分が前記所定の閾値より大きい場合には前記立体映像処理部の信号処理を２Ｄ映像用の信号処理に切換えることを特徴とする立体映像処理装置。
【請求項５】
請求項１に記載の立体映像処理装置であって、
ユーザインタフェースを備え、
前記ユーザインタフェースに２Ｄ表示から３Ｄ表示への切り替え指示が入力された場合に、前記補正部が前記色空間上の補正を開始することを特徴とする立体映像処理装置。
【請求項６】
請求項５に記載の立体映像処理装置であって、
前記ユーザインタフェースに３Ｄ表示から２Ｄ表示への切り替え指示が入力された場合に、前記補正部が前記色空間上の補正を終了することを特徴とする立体映像処理装置。
【請求項７】
請求項１に記載の立体映像処理装置であって、
人感センサを備え、
前記人感センサが人がいると判断する場合は前記補正部が前記色空間上の補正を行い、
前記人感センサが人がいないと判断する場合は前記補正部が前記色空間上の補正を行なわないことを特徴とする立体映像処理装置。
【請求項８】
請求項１に記載の立体映像処理装置であって、
オクルージョン検出部を備え、
前記オクルージョン検出部は、入力された映像含まれる左目用映像と右目用映像とにおいて、一方の視点では見えずに他方の視点では見える物体が存在するオクルージョン領域を検出し、
前記解析部は、前記オクルージョン領域については、前記色空間のヒストグラムの生成処理において除外し、
前記補正部は、前記オクルージョン領域については、色空間上の補正の対象から除外することを特徴とする立体映像処理装置。
【請求項９】
請求項１乃至８に記載の立体映像処理装置であって、
前記解析部が検出する特徴パラメータは映像の色空間のヒストグラムのピーク位置、ピーク位置における度数、ピーク位置周辺の分布の幅、またはピーク位置周辺の分布の重心であることを特徴とする立体映像処理装置。
【請求項１０】
請求項９に記載の立体映像処理装置であって、
前記補正部における色空間上の補正は、前記左目用映像と前記右目用映像とのピーク位置、ピーク位置における度数、ピーク位置周辺の分布の幅、またはピーク位置周辺の分布の重心を近づける補正であることを特徴とする立体映像処理装置。
【請求項１１】
請求項１乃至１０に記載の立体映像処理装置にさらに表示部を備えることを特徴とする立体映像表示装置。
【請求項１２】
映像が入力する入力ステップと、
入力された映像に左目用映像と右目用映像とが含まれる場合にそれぞれについて色空間のヒストグラムを生成してそれぞれの映像についての特徴パラメータを検出する解析ステップと、
前記解析ステップで検出した前記左目用映像の特徴パラメータと前記右目用映像特徴パラメータとの差分を低減する色空間上の補正を行う補正ステップと
を備えることを特徴とする立体映像処理方法。
【請求項１３】
請求項１２に記載の立体映像処理方法であって、
前記前記解析部で検出した前記左目用映像の特徴パラメータと前記右目用映像の特徴パラメータとの差分と所定の閾値の比較結果によって、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１４】
請求項１２に記載の立体映像処理方法であって、
ユーザからの２Ｄ表示および３Ｄ表示の切り替え指示に連動して、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１５】
請求項１２に記載の立体映像処理方法であって、
人感センサによる検知結果に応じて、前記補正ステップによる補正処理のを行うか否かを切り替えるをことを特徴とする立体映像処理方法。
【請求項１６】
請求項１２に記載の立体映像処理方法であって、
前記左目用映像と前記右目用映像とについてオクルージョン領域を検出するオクルージョン検出ステップを備え、
前記オクルージョン検出ステップで検出されたオクルージョン領域については、前記解析ステップにおけるヒストグラムの生成から除外し、前記補正ステップにおける補正対象からも除外することを特徴とする立体映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１１４７５７（Ｐ２０１２−１１４７５７Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６３０７７（Ｐ２０１０−２６３０７７）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（５０９１８９４４４）日立コンシューマエレクトロニクス株式会社 (998)
【Ｆターム（参考）】
[ Back to top ]