説明

映像処理装置、映像処理方法および映像表示装置

【課題】テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。
【解決手段】映像表示装置は、テロップ検出部と、補正係数算出部と、奥行き補正部と、視差画像生成部と、表示部と、を備える。テロップ検出部は、入力画像における画素ブロックのそれぞれがテロップである確率を算出する。補正係数算出部は、前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する。奥行き補正部は、前記補正係数を用いて各画素の奥行き値を補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部には、前記視差画像が立体表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像処理装置、映像処理方法および映像表示装置に関する。
【背景技術】
【0002】
近年、映像信号を立体的に表示する立体映像表示装置が普及しつつある。立体映像表示装置では、視点が異なる複数の視差画像が表示されており、左目と右目で異なる視差画像を見ることにより、映像信号が立体的に見える。
【0003】
表示装置によっては、表示可能な奥行き範囲の最前面あるいは最背面付近に表示される映像が二重に見えてしまうことがあり、特にテロップが二重に見えると非常に読みづらくなるという問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−273333号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。
【課題を解決するための手段】
【0006】
実施形態によれば、映像表示装置は、テロップ検出部と、補正係数算出部と、奥行き補正部と、視差画像生成部と、表示部と、を備える。テロップ検出部は、入力画像における画素ブロックのそれぞれがテロップである確率を算出する。補正係数算出部は、前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する。奥行き補正部は、前記補正係数を用いて各画素の奥行き値を補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部には、前記視差画像が立体表示される。
【図面の簡単な説明】
【0007】
【図1】一実施形態に係る映像表示装置の概略ブロック図。
【図2】奥行き値xを説明する図。
【図3】映像表示装置の処理動作の一例を示すフローチャート。
【発明を実施するための形態】
【0008】
以下、実施形態について、図面を参照しながら具体的に説明する。
【0009】
図1は、一実施形態に係る映像表示装置の概略ブロック図である。映像表示装置は、テロップ検出部1と、補正係数算出部2と、奥行き補正部3と、視差画像生成部4と、表示部5とを備えている。テロップ検出部1、補正係数算出部2、奥行き補正部3および視差画像生成部4の少なくとも一部を映像処理装置として、例えば半導体チップにより構成してもよいし、これらの少なくとも一部をソフトウェアにより構成してもよい。
【0010】
テロップ検出部1は、入力画像における画素ブロックのそれぞれがテロップである確率Pを算出し、各画素ブロックがテロップである確率を示す確率マップを生成する。補正係数算出部2は、確率Pが最大である画素ブロックの奥行き値x(後述)が所定範囲内の値となるよう、補正対象フレームについて、奥行き値xの補正係数を算出する。奥行き補正部3は補正係数を用いて各画素の奥行き値を補正し、補正後の奥行き値x’を生成する。視差画像生成部4は、補正後の奥行き値x’に基づいて、入力画像の視差画像を生成する。表示部5には視差画像が立体的に見えるように表示される。
【0011】
図2は、奥行き値xを説明する図である。奥行き値xは画素ブロックごとに設定されてもよいが、画素ごとに設定されてもよい。本映像表示装置では、奥行き中心、すなわち、表示部5の位置に対して、最大でZf[cm]手前に見えるように表示され、最大でZr[cm]奥に見えるように表示されるものとする。Zf,Zrは視差画像生成部4により調整可能である。
【0012】
奥行き値xは、どの程度、画素が表示部5の手前または奥に見えるよう表示するか、を示すパラメータである。本実施形態では、xは0〜x0の範囲のデジタル値であり、x=0の画素は最も手前(最前面)に見えるように表示され、x=x0の画素は最も奥(最背面)に見えるように表示されるものと定義する。x0は、例えば255である。このとき、奥行き値xである画素は、最前面を基準として下記(1)式で表される位置Z[cm]に見えるように表示される。
Z = (Zf + Zr) * x / x0 ・・・(1)
また、奥行き中心を示す奥行き値xsは、下記(2)式で表される。
xs = x0 * Zf / (Zf + Zr) ・・・(2)
すなわち、x=xsである画素は表示部5上に見えるように表示され、x<xsである画素は表示部5より手前に見えるように表示され、x>xsである画素は表示部5より奥に見えるように表示される。
【0013】
また、奥行き中心から手前にlf[cm]以下、および、奥にlr[cm]以下の範囲に表示されるテロップは、二重に見えたりぼやけたりすることなく、適正に表示されるものとする。言い換えると、奥行き中心からlf[cm]より手前に、あるいは、lr[cm]より奥には、テロップを適正に表示できないことがある。lf,lrの値は予め実験等によって知ることができる。
【0014】
テロップが適正に表示される最前面を示す奥行き値xf、テロップが適正に表示される最背面を示す奥行き値xrは、下記(3),(4)式でそれぞれ表すことができる。なお、MaxおよびMinはそれぞれ、引数の最大値および最小値を返す関数である。
xf = x0 * Max (0, (Zf - lf) / (Zf + Zr)) ・・・(3)
xr = x0 * Min (1, (Zf + lr) / (Zf + Zr)) ・・・(4)
【0015】
奥行き値xは予め入力画像に付加されていてもよいし、奥行き生成部(不図示)を設けて、入力画像の特徴に基づいて奥行き値xを生成してもよい。奥行き値xを生成する場合、動きベクトルの大きさに基づいて奥行き値xを設定することができる。また、入力画像の色やエッジ等の特徴量から入力画像全体の構図を判定し、構図ごとに予め学習された映像の特徴量と比較して奥行き値xを算出してもよい。さらに、入力画像から人物の顔を検出し、検出された顔の位置や大きさに応じてテンプレートにあてはめて奥行き値xを算出してもよい。
【0016】
図3は、映像表示装置の処理動作の一例を示すフローチャートである。図3を用いて、各部の動作を詳しく説明する。
【0017】
まず、テロップ検出部1は、画素ブロックのそれぞれがテロップである確率Pを算出し、各画素ブロックがテロップである確率を示す確率マップを生成する(ステップS1)。確率マップは、必要に応じて、テロップ検出部1内のメモリ(不図示)に記憶される。画素ブロックは、入力画像における複数の画素からなる。画素ブロック内の画素数が少なすぎると確率Pの精度が低下するが、多すぎるとテロップ検出部1の処理量が多くなる。これらを考慮し、例えば、画素ブロックは水平方向16画素×垂直方向16画素とする。ここで、テロップとは字幕やチャンネル表示等も含むものとする。
【0018】
確率Pの算出手法は種々考えられるが、一例として、予め、多数のサンプル画像を用いてテロップが多く表示される座標を学習しておき、当該画素ブロックの中心座標が学習された座標と近いほどテロップである確率Pを高く設定してもよい。例えば字幕は画面の下側に表示されることが多いし、チャンネル表示は画面の右上や左上に表示されることが多い。したがって、テロップ検出部1は、これらの位置にある画素ブロックほど、テロップである確率Pを高くすることができる。
【0019】
また、予めサンプル画像を用いてテロップである画素ブロック内の輝度勾配を学習しておき、当該画素ブロック内の輝度勾配が学習された輝度勾配と近いほどテロップである確率Pを高く設定してもよい。輝度勾配とは、例えば画素ブロック内の隣接する画素値の差の絶対値を積算した値である。
【0020】
さらに、外部から画素ブロックの動きベクトルを受信し、動きベクトルの大きさが小さいほどテロップである確率Pを高く設定してもよい。通常、テロップはほとんど移動しないためである。
【0021】
また、文字認識を行ってテロップである確率Pを算出してもよい。テロップの算出手法は上記のいずれかに限定されるわけではなく、上記の手法を組み合わせてもよいし、他の手法により確率Pを算出してもよい。
【0022】
次に、補正係数算出部2は、以下のようにして、確率Pが最大である画素ブロックの奥行き値xが所定範囲内の値となるよう、補正対象フレームについて、奥行き値xの補正係数を算出する。
【0023】
補正係数算出部2は、シーンチェンジの有無を示すシーンチェンジ情報に基づき、補正対象フレームがシーンチェンジであるか否かを判断する(ステップS2)。シーンチェンジである場合(ステップS2のYES)、補正対象フレームより1フレーム前の補正係数Rf_prev,Rr_prevをそれぞれ下記(5),(6)式を用いて初期化する(ステップS3)。なお、補正係数Rf_prevは表示部5の手前に見えるように表示される奥行き値xについての補正係数であり、補正係数Rr_prevは表示部5の奥に見えるように表示される奥行き値xについての補正係数である。
Rf_prev = 1 ・・・(5)
Rr_prev = 1 ・・・(6)
【0024】
シーンチェンジ情報は、例えば図1の外部に設けられるシーンチェンジ検出部(不図示)から入力される。シーンチェンジ検出部は、例えば前フレームの輝度ヒストグラムと補正対象フレームの輝度ヒストグラムとの違いに基づいて、シーンチェンジ情報を生成することができる。あるいは、シーンチェンジ検出部は、1フレームを複数領域に分割し、前フレームと補正対象フレームとで、各領域の輝度信号および色差信号の差分に基づいてシーンチェンジ信号を生成してもよい。また、上記の手法を組み合わせてもよいし、他の手法でシーンチェンジの有無を検出してもよい。
【0025】
次に、補正係数算出部2はテロップ検出部1により生成された確率マップを参照し、テロップである確率Pの最大値Pmaxと、予め定めた閾値Thpとを比較する(ステップS4)。Pmax>Thpである場合(ステップS4のYES)、テロップである確率Pが最大となる1つ以上の画素ブロックについて、補正係数算出部2は、奥行き値の最大値xmaxおよび最小値xminを取得する。xmaxおよびxminは、画素ブロック内の1つ以上の画素の奥行き値を参照して求めることができる。また、画素ブロック内の2つ以上の画素の奥行き値の平均値あるいは中央値を用いて求めてもよい。
【0026】
続いて、補正係数算出部2は、最大値xmaxおよび最小値xminが、テロップが適正に表示される範囲の奥行き値に補正されるよう、以下のようにして補正対象フレームの補正係数Rf,Rrを算出する。なお、補正係数Rfは表示部5の手前に見えるように表示される奥行き値xについての補正係数であり、補正係数Rrは表示部5の奥に見えるように表示される奥行き値xについての補正係数である。補正係数Rf,Rrは奥行き値xを補正するための1以下の係数である。
【0027】
xmin<Min(xf,Thf)である場合(ステップS6のYES、Thfは予め定めた定数)、すなわち、補正対象フレーム内で最も手前に見えるように表示される画素の奥行き値xminがxfより小さく、かつ、最前面x=0に比較的近い場合、補正係数算出部2は下記(7)式を用いて補正係数Rfを補正対象フレーム用に更新する(ステップS7)。
【数1】

このように、奥行き値xminが小さいほど補正係数Rfが小さくなり、補正が強くかかる。
【0028】
一方、xmin≧Min(xf,Thf)である場合(ステップS6のNO)、すなわち、補正対象フレーム内で最も手前に見えるように表示される画素の奥行き値xminがxfより大きいか、または、奥行き中心x=xsに比較的近い場合、その画素ブロックがテロップである確率Pが高かったとしてもテロップの誤検出である可能性がある。そのため、補正係数算出部2は1フレーム前の補正係数Rf_prevを維持し、補正対象フレームの補正係数Rfとする。つまり、Rf=Rf_prevとする(ステップS7’)。
【0029】
同様に、xmax>Max(xr, Thr)である場合(ステップS8のYES、Thrは予め定めた定数)、補正係数算出部2は下記(8)式を用いて補正係数Rrを補正対象フレーム用に更新する(ステップS9)。
【数2】

【0030】
一方、xmax≦Max(xr, Thr)である場合(ステップS8のNO)、補正係数算出部2は1フレーム前の補正係数Rr_prevを維持し、補正対象フレームの補正係数Rrとする。つまり、Rr=Rr_prevとする(ステップS9’)。
【0031】
また、Pmax≦Thpである場合(ステップS4のNO)、すなわち、テロップである確率の最大値Pmaxが小さい場合、補正対象フレーム内にはテロップがないと考えられる。よって、この場合も、補正係数Rf_prev,Rr_prevを維持し、Rf=Rf_prev,Rr=Rr_prevとする(ステップS10)。なお、補正対象フレームがシーンチェンジである場合、補正係数Rf_prev,Rr_prevが1に初期化されている(ステップS3)ため、Rf=Rr=1となる。
【0032】
ステップS7’,S9’S10で示すように、補正対象フレーム内にテロップが存在しないと考えられる場合は、1フレーム前の補正係数Rf_prev,Rr_prevを維持する。これにより、同一シーンにおいて、テロップの有無に応じてフレーム間で補正係数が大きく変動するのを抑制できる。
【0033】
以上のようにして補正係数Rf,Rrが算出されると、奥行き補正部3は下記(9)式を用いて奥行き値xの補正を行う(ステップS11)。xは補正前の奥行き値、x’は補正後の奥行き値である。
x' = xs + (x - xs) * Rf if (x < xs)
x' = xs + (x - xs) * Rr else ・・・(9)
これにより、テロップである確率Pが最大である画素ブロックの奥行き値xはxf≦x’≦xrを満たす範囲内の値x’に補正される。
【0034】
テロップである確率Pが最大である画素ブロックだけでなく、補正対象フレーム内の全ての画素ブロックについて、上記(9)式による奥行き値xの補正が行われる。すなわち、本実施形態の奥行き補正部3は、補正対象フレーム内の全ての画素に対して、同一の補正係数RfまたはRrを用いて、奥行き値xを補正する。仮に、テロップである確率が高い画素ブロックほど大きく補正をしてしまうと、画素同士の前後関係が逆転してしまうおそれがある。これに対し、本実施形態では、フレーム内の各画素の奥行き値が一定の比率で奥行き中心方向へ圧縮されるため、画素同士の前後関係を維持できる。
【0035】
補正処理の後、補正係数算出部2は、次のフレームの奥行き値xを補正するために、下記(10),(11)式を用いて、補正係数Rf_prev,Rr_prevを更新する(ステップS12)。
Rf_prev = Rf ・・・(10)
Rr_prev = Rr ・・・(11)
【0036】
以上のようにして得られた補正後の奥行き値x’に基づき、視差画像生成部4は入力画像の視差画像を生成する。本実施形態の表示部5がめがね式の立体映像表示装置に用いられる場合、視差画像生成部4は左目用および右目用の2個の視差画像を生成する。また、裸眼式立体映像表示装置に用いられる場合、視差画像生成部4は、例えば9方向から見た9個の視差画像を生成する。例えば、左の方向から見た視差画像の場合、手前にある(すなわち補正後の奥行き値x’が小さい)画素は、奥にある(すなわち補正後の奥行き値x’が大きい)画素より右側にずれて見える。そのため、補正後の奥行き値x’に基づき、視差画像生成部4は入力画像における手前にある画素を右側にずらす処理を行う。補正後の奥行き値x’が大きいほどずらす量を大きくする。そして、もともと画素があった場所を周辺の画素を用いて適宜補間する。
【0037】
このようにして生成された視差画像を、表示部5は立体表示する。例えば、めがね式立体映像表示装置の場合、所定のタイミングで右目用の視差画像と左目用の視差画像を順繰りに表示する。また、裸眼式立体映像表示装置の場合、表示部5上に例えばレンチキュラレンズ(不図示)が貼り付けられる。そして、表示部5には複数の視差画像が同時に表示され、視聴者はレンチキュラレンズを介して、ある1つの視差画像を右目で見て、他の1つの視差画像を左目で見る。いずれの場合でも、右目と左目で異なる視差画像を見ることで、映像が立体的に見える。上記のように奥行き値xが補正されているため、最前面または最背面の近くにあり、テロップである確率Pが高い画素ブロックは奥行き中心の近くに、適正に表示される。
【0038】
このように、本実施形態では、テロップである確率が最大である画素ブロックが、テロップが適正に表示される最前面または最背面に見えるように、奥行き値xを補正する。結果として、テロップを高品位に立体表示できる。加えて、各画素について、テロップである確率Pに関わらず一定の補正係数Rf,Rrを用いて奥行き値xを補正するため、画素の前後関係を維持できる。
【0039】
上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0040】
また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0041】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0042】
1 テロップ検出部
2 補正係数算出部
3 奥行き補正部
4 視差画像生成部
5 表示部

【特許請求の範囲】
【請求項1】
入力画像における画素ブロックのそれぞれがテロップである確率を算出するテロップ検出部と、
前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する補正係数算出部と、
前記補正係数を用いて各画素の奥行き値を補正する奥行き補正部と、
前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する視差画像生成部と、
前記視差画像が立体表示される表示部と、を備える映像表示装置。
【請求項2】
前記所定範囲は、テロップが適正に立体表示される奥行き値の範囲である請求項1に記載の映像表示装置。
【請求項3】
前記奥行き値の補正係数は、基準位置より手前に見えるように表示される画素についての第1の補正係数と、前記基準位置より奥に見えるように表示される画素についての第2の補正係数と、を含む請求項1に記載の映像表示装置。
【請求項4】
前記補正係数算出部は、前記テロップである確率の最大値が所定値以下である場合、および、前記テロップである確率が最大である前記画素ブロックの奥行き値の最大値または最小値が所定範囲内である場合、補正対象フレームより1フレーム前の補正係数を、補正対象フレームの補正係数とする請求項1に記載の映像表示装置。
【請求項5】
前記補正係数算出部は、補正対象フレームがシーンチェンジである場合、補正対象フレームより1フレーム前の前記補正係数を初期化して、補正対象フレームの補正係数とする請求項4に記載の映像表示装置。
【請求項6】
入力画像における画素ブロックのそれぞれがテロップである確率を算出するテロップ検出部と、
前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出する補正係数算出部と、
前記補正係数を用いて各画素の奥行き値を補正する奥行き補正部と、
前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する視差画像生成部と、を備える映像処理装置。
【請求項7】
前記所定範囲は、テロップが適正に立体表示される奥行き値の範囲である請求項6に記載の映像処理装置。
【請求項8】
前記奥行き値の補正係数は、基準位置より手前に見えるように表示される画素についての第1の補正係数と、前記基準位置より奥に見えるように表示される画素についての第2の補正係数と、を含む請求項6に記載の映像処理装置。
【請求項9】
前記補正係数算出部は、前記テロップである確率の最大値が所定値以下である場合、および、前記テロップである確率が最大である前記画素ブロックの奥行き値の最大値または最小値が所定範囲内である場合、補正対象フレームより1フレーム前の補正係数を、補正対象フレームの補正係数とする請求項6に記載の映像処理装置。
【請求項10】
前記補正係数算出部は、補正対象フレームがシーンチェンジである場合、補正対象フレームより1フレーム前の前記補正係数を初期化して、補正対象フレームの補正係数とする請求項9に記載の映像処理装置。
【請求項11】
入力画像における画素ブロックのそれぞれがテロップである確率を算出するステップと、
前記テロップである確率が最大である画素ブロックの奥行き値が所定範囲内の値になるよう、補正対象フレームについて、前記奥行き値の補正係数を算出するステップと、
前記補正係数を用いて各画素の奥行き値を補正するステップと、
前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成するステップと、を備える映像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−90272(P2013−90272A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−231628(P2011−231628)
【出願日】平成23年10月21日(2011.10.21)
【特許番号】特許第5127973号(P5127973)
【特許公報発行日】平成25年1月23日(2013.1.23)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】