説明

映像出力装置及び映像出力方法

【課題】立体視映像を好適に出力することのできる映像出力装置及び映像出力方法を提供する。
【解決手段】実施形態の映像出力装置は、入力手段と、変換手段と、出力手段とを具備する。入力手段は、立体映像の奥行きを生成するための情報を有する映像を入力する。変換手段は、前記入力手段で入力した映像について、奥行き階調を拡張するように奥行きを変換する。出力手段は、前記変換手段によって奥行きが変更された映像を出力する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、映像出力装置及び映像出力方法に関する。
【背景技術】
【0002】
視差を有する複数の光学系を備えた撮像装置に関する提案がある。例えば、特徴点抽出
、対応点検出により第1・第2画像から視差分布(ヒストグラム)を求め、それに基づい
て移動体検出を行うというものがある。また、立体撮像装置が、ピントの合った被写体に
合わせて電子的に輻輳角を調整できるようにすることを目的とするというものもある(例
えば、特許文献1参照。)。これは概要として、合焦状態にある第1画像データと第2画
像データからそれぞれ検出された特徴点と対応点の組の総数が、所定の閾値th1を超え
た場合、視差量のヒストグラムを生成するよう制御し、視差量のヒストグラムのビンから
、代表視差量を決定するよう制御するというものである。
【0003】
しかしながら他方で、問題点として外れ視差除外処理への要望があるが、かかる要望
を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2011−29905号公報(第5図)
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の実施の形態は、立体視映像を好適に出力することのできる映像出力装置及び映
像出力方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、実施形態の映像出力装置は、入力手段と、変換手段と、出
力手段とを具備する。入力手段は、立体映像の奥行きを生成するための情報を有する映像
を入力する。変換手段は、前記入力手段で入力した映像について、奥行き階調を拡張する
ように奥行きを変換する。出力手段は、前記変換手段によって奥行きが変更された映像を
出力する。
【図面の簡単な説明】
【0007】
【図1】この発明の一実施形態を示すディジタルテレビジョン放送受信装置の信号処理系を示すブロック構成図。
【図2】実施形態に関わる視差/奥行き変換グラフの一例を示す図。
【図3】実施形態に関わる従来の視差/奥行き変換の一例を説明するために示す図。
【図4】実施形態に関わる新規の視差/奥行き変換の一例を示す図。
【図5】実施形態に関わる新規のステレオ3Dの処理イメージを示す図。
【図6】実施形態に関わるステレオ3D処理に関するフローチャート。
【図7】実施形態に関わる外れ視差除外処理のイメージを示す図。
【図8】実施形態に関わる従来のステレオ3Dの処理イメージを示す図。
【発明を実施するための形態】
【0008】
以下、本発明の一実施形態を説明する。
【0009】
(第1の実施形態)
第1の実施形態を図1乃至図8を参照して説明する。
【0010】
図1は、実施形態にかかるディジタルテレビジョン放送受信装置の信号処理系を示すブ
ロック図である。
【0011】
図1に示すディジタルテレビジョン放送受信装置(以下、ディジタルテレビジョンと称
する)11は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけ
でなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
【0012】
図1に示すように、ディジタルテレビジョン11は、アンテナ12で受信したディジタ
ルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより
、所望のチャンネルの放送信号を選局することが可能になっている。ディジタルテレビジ
ョン11は映像出力装置として機能する。
【0013】
ディジタルテレビジョン11は、チューナ部14で選局された放送信号を、復調復号部
15に供給してディジタル映像信号及びディジタル音声信号等に復元した後、信号処理部
16に出力する。信号処理部16は、復調復号部15から供給されたディジタルの映像信
号及び音声信号に対してそれぞれ所定のディジタル信号処理を施す。
【0014】
ここで、信号処理部16が行なう所定のディジタル信号処理には、通常の平面視(2次
元)表示用の映像信号を立体視(3次元)表示用の映像信号及び音声信号に変換する処理
、その際に復調復号部15から入力されたディジタル映像信号及びディジタル音声信号あ
るいは後述のOSD信号生成部19から入力された字幕などのOSD信号に基づいて立体
視表示用の映像信号を生成する際の奥行き情報を生成する処理、立体視表示用の映像信号
を平面視表示用の映像信号に変換する処理等も含まれている。
【0015】
また、信号処理部16は、ディジタル映像信号を合成処理部17に出力し、ディジタル
音声信号を音声処理部18に出力する。
【0016】
合成処理部17は、信号処理部16から供給されるディジタル映像信号に、OSD(on
screen display)信号生成部19で生成される字幕、GUI(Graphical User Interfac
e)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合
、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映
像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をその
まま重畳して出力している。
【0017】
また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映
像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力され
た立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信
号を入力映像信号に重畳して出力している。
【0018】
ディジタルテレビジョン11は、合成処理部17から出力したディジタルの映像信号を
、映像処理部20に供給する。映像処理部20は、入力されたディジタル映像信号を、後
段の、例えば液晶表示パネル等を有する平面型の映像表示部21で表示可能なフォーマッ
トのアナログ映像信号に変換している。ディジタルテレビジョン11は、映像処理部20
から出力されたアナログ映像信号を、映像表示部21に供給して映像表示に供する(映像
を出力する)。
【0019】
音声処理部18は、入力されたディジタル音声信号を、後段のスピーカ22で再生可能
なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出
力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される

【0020】
ここで、ディジタルテレビジョン11は、上記した各種の受信動作を含むその全ての動
作を制御部23によって統括的に制御している。この制御部23は、CPU(central pr
ocessing nit)23aを内蔵しており、ディジタルテレビジョン11の本体に設置された
操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受
信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ
制御している。
【0021】
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU
23aが実行する制御プログラムを格納したROM(Read Only Memory)と、CPU23
aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及
び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディ
スクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digi
tal Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディス
ク28に対してディジタルデータの記録再生を行なう機能を有している。
【0022】
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて
、復調復号部15から得られるディジタルの映像信号及び音声信号を、記録再生処理部2
9によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供
給して光ディスク28に記録させるように制御することができる。
【0023】
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、ディスクドライブ部27により光ディスク28からディジタルの映像信号及び音
声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に
供給することによって、以後、上記した映像表示及び音声再生に供させるように制御する
ことができる。
【0024】
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、
視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15
から得られるディジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化
し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに
記録させるように制御することができる。
【0025】
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、HDD30によりハードディスク30aからディジタルの映像信号及び音声信号
を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給するこ
とによって、以後、上記した映像表示及び音声再生に供させるように制御することができ
る。
【0026】
さらに、ディジタルテレビジョン11には、入力端子31が接続されている。入力端子
31は、ディジタルテレビジョン11の外部からディジタルの映像信号及び音声信号を直
接入力するためのものである。この入力端子31を介して入力されたディジタルの映像信
号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号
処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
【0027】
また、入力端子31を介して入力されたディジタル映像信号及びディジタル音声信号は
、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部2
7による光ディスク28に対しての記録再生や、HDD30によるハードディスク30a
に対しての記録再生に供される。
【0028】
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基
づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されてい
るディジタル映像信号及びディジタル音声信号をハードディスク30aに記録したり、ハ
ードディスク30aに記録されているディジタル映像信号及びディジタル音声信号を光デ
ィスク28に記録したりすることも制御している。
【0029】
また、制御部23には、ネットワークインターフェース32が接続されている。このネ
ットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に
接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通
信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワ
ークサーバ35,36が接続されている。このため、制御部23は、ネットワークインタ
ーフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサ
ーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービ
スを利用することができるようになっている。
【0030】
さて図5(a)は、映像の視差量変換を行わない場合のステレオ3Dの処理イメージを
示す図である。ステレオ3Dとは立体視向けに用意された左右画像から、それらの視差情
報を検出し、その奥行き情報を取得するアルゴリズムを指す。なお、生成された奥行き情
報は、それを元に多視差の画像を生成する使い方がある。
【0031】
本実施形態において、信号処理部16はヒストグラム取得部(視差量検出部)、マップ
加工部(視差変換部/奥行き変換部)とを具備する(図示しない)。
【0032】
ヒストグラム取得部(視差量検出部)は左眼用画像と右眼用画像とから視差の情報を検
出(取得)し、これに基づいて視差のヒストグラムを作成(取得)する機能を有している

【0033】
マップ加工部(視差変換部/奥行き変換部)は、ヒストグラム取得部が作成したヒスト
グラムに基づいて、オブジェクトの奥行きを変換し、映像の視差を変換する機能を有して
いる。
【0034】
マップ加工部は、外れ視差を検出(取得)する外れ視差検出部(図示しない)を有して
いる。外れ視差検出部はヒストグラムに基づいて外れ視差を検出する機能を有している。
更に、マップ加工部は検出された外れ視差を除外する機能を有する除外部(図示しない)
を有している。この外れ視差及び外れ視差の除外については後述にて説明する。
【0035】
また、信号処理部16は多視差画像作成部(図示しない)を有する。多視差画像作成部
はマップ加工部から出力される映像の視差情報に基づいて左右の視差映像を作成する機能
を有している。
【0036】
なお、上記のヒストグラム取得部(視差量検出部)、マップ加工部(視差変換部/奥行
き変換部)、外れ視差検出部、除外部、および多視差画像作成部はHWで構成されていて
も、SWで構成されていてもよい。
【0037】
上記のステレオ3Dの処理は以下のような流れで行われる。
【0038】
最初に、ヒストグラム取得部(視差検出部)は左右画像から視差情報を検出し、それを
視差マップ(ヒストグラム)として記録する。なお、視差情報の検出方法の一例として左
右画像の輝度情報を元に、ブロックマッチングを用いる方法がある。ヒストグラム取得部
(視差検出部)は、ブロックマッチングに基づいて左右の画像の比較を行い、映像におけ
る(各オブジェクトの)視差を検出する。
【0039】
次に、マップ加工部が生成した視差マップを奥行きマップに変換する。視差を奥行きに
変換する式には様々なものがあるが、図2に示すように、視差と奥行きの関係を線形とす
る変換が一例として挙げられる。ここでは視差の値で−64から63までを、奥行きの値
で−128から127へと対応づけている。
【0040】
最後に、多視差画像を作成する多視差画像作成部が生成された奥行きマップを元に、多
視差画像を生成し、パネルに立体視画像が表示される。
【0041】
図3は、実施形態に関わる一般的な視差/奥行き変換の一例を説明するために示す図で
ある。上記のような流れで奥行きマップを生成したときの一例を示したものである。
【0042】
視差マップの情報をヒストグラム化したものを視差ヒストグラムとして取り扱うとき、
図3のように、視差情報が局所的に集中する場合がある。このとき、視差を奥行きに線形
変換する場合、生成される奥行きも視差と同様に、局所的に集中し、結果として奥行き範
囲Rが狭く奥行きの階調性が低くなる。
【0043】
奥行きの階調性は、実際にパネルで立体画像を見たときの飛び出し感、奥行き感に関わ
っており、これが高いほど、より立体感のある画像を体験できる。つまり、立体感を感じ
たい場合は、奥行きの階調性は高いほうが望ましいと言える。
【0044】
図4は、実施形態の処理における視差/奥行き変換の一例を示す図である。これは、図
3のように視差情報が局所的に集中した場合に、奥行きの階調を拡張する手法を示す図で
ある。以下にその手順を示す。
【0045】
まず、ヒストグラム取得部(視差検出部)は視差情報から、視差ヒストグラムを生成し
、値の入っているビンで最大、最小のものを探索し、それらを“max_dv”、“min_dv”と
して取り扱う。
【0046】
次に、視差“dv”に対して、以下の変換式を施す。なお“bin_num”は視差ヒストグラム
のビン数を示し、この値は任意である。
【数1】

【0047】
上記の変換式は、画像中の最大の視差量と最小の視差量との差を大きくする(存在する
視差量の上限と下限の差を大きくする)ことのできる変換式である。
【0048】
上記、式1を視差に施すことにより、例えば、dvがmax_dvおよびmin_dvの場合、その値
は視差の上限、下限に変換される(図4の場合は63、−64)。
【0049】
また、その他の視差も変換され、図4に示すように、ヒストグラムの形状を保ちつつ、
全体的に視差の範囲が拡張される。このようにして、視差拡張後に、奥行き変換すること
で、奥行き範囲R’として奥行きの階調性を上げることが可能である。すなわち、従来の
システムでは、立体感の乏しい画像も、本システムを適用することで立体感のある画像と
して体験(視聴)できる。
【0050】
なお、上記においては、最大の視差量と最小の視差量とをそれぞれ視差の上限、下限と
するように変換しているが、第1の視差量と第1の視差量より小さい第2視差量との差が
大きくなるように変換するのであれば、これに限定されない。
【0051】
図5は、実施形態に関わるステレオ3Dの処理イメージを示す図である。特に図5(b
)が奥行き変換(視差量変換)を行った場合のステレオ3Dの処理イメージを示したもの
であり、図6は、信号処理部16もしくは制御部23におけるその処理をフローチャート
化したものである。上記で説明したように、一般的なシステムとの違いは、視差をヒスト
グラム化し、その情報を元に視差を加工する点で、これにより、図5(b)に示すように
、図5(a)より立体感の大きい画像を出力可能となる。
【0052】
ステップS61: まず、ヒストグラム取得部(視差量検出部)が視差検出を行う。
【0053】
ステップS62: 次に、ヒストグラム取得部(視差量検出部)が視差ヒストグラム取
得を行う。
【0054】
ステップS63: 次に、マップ加工部(視差変換部/奥行き変換部)がステップS6
2にて得られたヒストグラムに基づいて、各種パラメータ計算を行う。例えば、式1や視
差ヒストグラムのMAX値やMIN値を求める。
【0055】
ステップS64: さらに、マップ加工部(視差変換部/奥行き変換部)が視差マップ
加工を行う。
【0056】
ステップS65: 最後に、マップ加工部(視差変換部/奥行き変換部)が視差/奥行
き変換を行う。
【0057】
これらの処理の詳細は上述にも記載している。
【0058】
入力された映像に基づいてヒストグラム取得部(視差量検出部)が映像内の各オブジェ
クトの視差量を検出し、視差量についてのヒストグラムを作成(取得)する。マップ加工
部(視差変換部/奥行き変換部)は得られたヒストグラムに基づいて映像における奥行き
階調が大きくなるように、奥行きの変換と視差量の変換を行う。視差量の変換を行うと、
多視差画像作成部は変換された視差の情報に基づいて映像を作成し、出力部が映像を出力
する。
【0059】
以上の実施形態の手法により、ステレオ3D処理を行ったときの立体感を、一般的には
高めることができる。
【0060】
以下では、更なる改良について説明する。
【0061】
まず図8は、上記で説明したステレオ3Dの処理を示したものである。ここでは、視差
ヒストグラムを生成した後に、値が入っているビンで最大、最少のものをパラメータとし
て、視差変換を行う場合についての例が図8に示されている。ビンに入っている値が1以
上であれば、その値に関わらず、“min_dv”、“max_dv”が決定されるため、図8のよう
に僅かな数しかない視差の情報を使って、視差変換が行われるケースが有り得る。この結
果、上記の処理手順によれば、図8(a)から図8(b)への変換のように、飛び出して
(外れて)存在する最小及び最大の視差量が影響するため、視差ヒストグラムが十分に拡
張されなくなってしまう。そもそも、少数しかない視差は、誤検出された視差(以後、外
れ視差と呼ぶ)である可能性が高く、これらの視差情報を元に全体の視差を補正すること
は、望ましいとは言えない。
【0062】
そこで、図7のように、外れ視差を除外した上で、“min_dv”、“max_dv”を決定する
方法を採用する。例えば間単には、ヒストグラム全体の1パーセントに相当する、外れた
ビンに有る値のものを除外する。
【0063】
視差量/奥行き量の変換の際に外れ視差を除外することで、図7のように視差の階調性
が高まり、ユーザーはより立体感のある画像を楽しむことができる。
【0064】
ここでは、ヒストグラム取得部(視差量検出部)がヒストグラムを取得した後に、上述
の外れ視差検出部がはずれ視差を検出し、マップ加工部(視差変換部/奥行き変換部)が
視差量/奥行き変換の前にこの外れ視差を除外する。マップ加工部(視差変換部/奥行き
変換部)は、外れ視差が除外されたヒストグラムに基づいて視差量/奥行き変換を行う。
【0065】
なお、外れ視差の求め方は、ベクトル値が極端に大きいものは外れ視差である経験則か
ら、ヒストグラムの両端から任意のデータ数を除外する方法、ステレオ画像は、主にx方
向(視聴時の左右方向)に視差があり、y方向(視聴時の上下方向)にはほとんど視差が
ないことから、y方向に一定以上の視差がある場合、それを外れ視差と判断する方法など
もある。本実施形態の手法により、ステレオ3D処理を行ったときの立体感を、高めるこ
とができる。
【0066】
(第2の実施形態)
本発明による第2の実施形態を図1乃至図8を参照して説明する。実施形態1と共通す
る部分は説明を省略する。
【0067】
実施形態1で示した式(1)は、次の式(2)のように、各パラメータに重みをつける
ような変形例もある。
【数2】

【0068】
例えばαは0から1の値で重みをつける。また、βはヒストグラムの偏りに対処するも
のであり、あるいはユーザーの選好を表現するように設定可能なものである。
【0069】
以上、立体視向けの左右2枚の画像から視差情報を検出し、その奥行き情報を推定する
アルゴリズムにおいて、奥行きの幅を拡張する方法を説明した。
【0070】
概要として、視差ヒストグラムからパラメータを取得する際に、誤情報を除外し、より
正確な処理を行う方法であって、更には視差ヒストグラムからパラメータを取得する際に
、誤情報を除外し、より正確な処理を行う方法である。
【0071】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
【0072】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
【符号の説明】
【0073】
11 ディジタルテレビジョン放送受信装置
15 復調復号部
16 信号処理部
17 合成処理部
18 音声処理部
19 OSD信号生成部
20 映像処理部
21 映像表示部
22 スピーカ
23 制御部

【特許請求の範囲】
【請求項1】
立体映像の奥行きを生成するための情報を有する映像を入力する入力手段と、
前記入力手段で入力した映像について、奥行き階調を拡張するように奥行きを変換する
変換手段と、
前記変換手段によって奥行きが変更された映像を出力する出力手段と、
を具備する映像出力装置。
【請求項2】
前記変換手段によって変換された奥行きに基づいて、視差映像を作成する作成手段を更
に具備し、
前記出力手段は、前記作成手段によって作成された視差映像を出力する請求項1記載の
映像出力装置。
【請求項3】
入力手段によって入力された映像から視差を検出する検出手段を更に具備し、
前記変換手段は、前記検出された視差に基づいて、前記奥行き変換を行う請求項1記載
の映像出力装置。
【請求項4】
前記検出手段が検出した視差のヒストグラムを取得するヒストグラム取得手段を更に具
備し、
前記変換手段は、前記ヒストグラム取得手段が取得した視差のヒストグラムに基づいて
、前記奥行き変換を行う請求項3記載の映像出力装置。
【請求項5】
入力された映像における外れ視差を検出する外れ視差検出手段と、
前記外れ視差検出した外れ視差を除外する除外手段を更に具備し、
前記変換手段は、前記除外手段によって外れ視差が除外された視差について、前記奥行
き変換を行う請求項1記載の映像出力装置。
【請求項6】
前記出力手段が出力した視差映像を表示する表示部を更に具備する請求項2記載の映像
出力装置。
【請求項7】
立体映像の奥行きを生成するための情報を有する映像を入力し、
入力した前記映像について、奥行き階調を拡張するように奥行きを変換し、
前記奥行きが変更された映像を出力する映像出力方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−55629(P2013−55629A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2012−9213(P2012−9213)
【出願日】平成24年1月19日(2012.1.19)
【出願人】(000003078)株式会社東芝 (54,554)
【Fターム(参考)】