説明

映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラム

【課題】既存のインターフェースを用いて、浮動小数点形式の画像データをYUV方式の映像データに変換して出力するのに好適な映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラムを提供する。
【解決手段】映像処理システム1を、浮動小数点形式のHDR映像信号をYUV方式の映像信号に変換して映像処理装置30に出力する映像出力装置20と、映像出力装置20からのY信号、UVEp多重信号に基づき、浮動小数点形式のHDR映像信号を生成する映像処理装置30とを含んだ構成とし、映像出力装置20において、UV信号に前記HDR画像データを構成する各画素データの指数部のデータを多重化して前記UVEp多重信号を構成し、当該UVEp多重信号を既存のUV信号ポートを介して映像処理装置30に出力するようにした。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データをYUV方式の映像信号に変換して出力する装置に係り、特に、浮動小数点形式の画像データをYUV方式の映像信号に変換して出力するのに好適な映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラムに関する。
【背景技術】
【0002】
従来、撮像素子のダイナミックレンジ(以下、Dレンジという)の狭さを補うために、1フレーム期間に2種類以上の露光時間で撮影できる撮像素子が提案されている。また、2フィールドで1フレームを構成する撮像素子においては、奇数、偶数フィールドで露光時間を替えて撮像する方法も提案されている。
つまり、上記2種類以上の露光時間(例えば、標準露光時間T1、短露光時間T2(T1>T2)など)で撮影して得られた画像データを、センサ外部もしくは内部で合成することで、Dレンジの拡大された画像データを得る。比較的広いDレンジを有する画像データは、一般に、HDR(High Dynamic Range)画像データと呼ばれる。
【0003】
上記のような撮像画像データのDレンジの拡大に関する技術として、例えば、特許文献1に記載の撮像装置がある。
特許文献1の撮像装置は、異なる露光時間で蓄積された電荷を、複数回読み出し、当該読み出した露光時間の異なる電荷から構成される画素データのうち、より長い露光時間において飽和している画素データを、より短い露光時間において飽和していない画素データに置き換えることでDレンジの拡大された画像データを得るものである。
【0004】
また、特許文献1などの撮像装置において得られる、ダイナミックレンジの拡大された画像データは、固定小数点形式のデータとして、しかも出力装置の性能に合わせて情報量を削減した後に出力されることが多い。例えば、この情報量の削減によって、Dレンジは50dB程度となる。
一方、Dレンジの狭さに起因する白とびや黒つぶれという問題は、画素情報の欠落であり、システムに目的の動作を行わせる際の問題となり得る。特に、白とびは、マシンビジョンにおいては、それが画像なのか欠陥なのかを判別できず、致命的となる。また、マシンビジョンでは、領域検出(ラベリング)、エッジ検出、相関検出、2値化処理など、画像を大域的(マクロ)に捉えるので、画素値の演算誤差よりも、白とびや黒つぶれ等の情報損失の方が、認識等のシステム性能を大きく左右する。
【0005】
この問題を解決する手段として、HDR映像を送受信する画像処理システムが注目されている。
HDR画像形式としては、画素値を浮動小数点で表現するRadianceと呼ばれる形式が知られている。Radiance形式は、各画素のRGB(各8ビット)の他に、指数部E(8ビット)を加え、画素あたり32ビットの浮動小数点形式で表現したものである。画素値が、Radiance形式(Ri,Gi,Bi,E)で表現された場合、実際の各色の輝度値は、下式(1)に示す浮動小数点形式で表現される。

R=Ri×2(E-128)
G=Gi×2(E-128)
B=Bi×2(E-128) ・・・(1)
【0006】
次に、映像の出力側である電子カメラ等の映像信号源と、映像の受信側である映像処理・表示装置(以降、単に映像処理装置と呼ぶ)との間の映像信号の出力フォーマットについて記述する。
【0007】
映像信号源からの出力はカラー画像の場合、RGB信号やYUV信号(輝度信号と色差信号)などのフォーマットで映像処理装置に出力される。YUV信号は、国際電気通信連合(ITU:International Telecommunication Union)にてITU-R BT.601で規格化されている。この規格は、人間の眼の視覚特性を考慮し、人間の眼に認識されない範囲で情報量を削減する方式でNTSCやJPEGなどに利用されている。NTSCは限られた周波数帯域を有効活用する目的、JPEGはファイルサイズを小さくする目的で、情報量を削減できるYUV方式を採用している。
【0008】
YUV方式は、輝度信号を示すY信号と、色差信号を示すU信号及びV信号(これらをまとめてUV信号ともいう)とで構成される。Y信号は画像を形成する総画素数分が映像処理装置に出力される。一方、UV信号は、人間の眼の、色に対する空間解像度の低さを利用し、出力する情報量が削減(間引き処理)される。例えばYUV411フォーマットのU信号とV信号とは、当該U信号及びV信号を画像を形成する総画素数分を出力したときと比較して、出力する情報量が1/4に削減される。
【0009】
また、映像信号源と映像処理装置とのインターフェースについて記述する。例えば、電子カメラなどの映像信号源と映像処理装置との間の映像データの出力には、映像情報の情報量の削減による出力効率の向上が目的でYUV411フォーマットが利用されることが多い。
このとき、映像信号源側は、例えば30[fps(frame/sec)]のフレームレートで、映像処理装置に映像信号を所定のインターフェースを介して出力する場合に、例えば、図13(a)に示すように、Y信号出力用の8ビットのポート、色差信号UとV信号の出力用の8ビットのポート、映像信号源と映像処理装置との同期を確立するための同期信号ポートの3つのポートを利用し、高速なデータ伝送を実現している。また、図13(b)に示すように、Y信号及びUV信号伝送用の8ビットのポートと、上記同期信号ポートとの2つのポートを利用してYUV方式の映像信号の出力を実現する構成もある。
【0010】
図13(a)において、同期信号ポートは、フレームの開始を示す垂直同期信号、ラインの開始を示す水平同期信号、画素の同期を取るための画素同期信号の3信号を出力するか、もしくはそれらが多重化された復号同期信号を出力する。Y信号用ポートは、全画像データを出力するので、画素同期信号に同期してデータが出力される。一方、UV出力用ポートは、UV信号が間引かれるので、色差信号UとV信号を多重化して出力(U、Vの順で切り替えて出力)する。また、間引きによって、偶数ラインにおいては、出力すべきUV信号は無いので、ダミーデータを出力する。
【特許文献2】特開平5−22670号公報
【発明の開示】
【発明が解決しようとする課題】
【0011】
しかしながら、上記従来技術においては、例えば、上記特許文献1の撮像装置等においてDレンジの拡大された画像データを、浮動小数点形式のデータとして且つYUV方式で映像処理装置に出力する場合に、既存のY信号用のポート及びUV信号用のポートとは別に、指数部のデータ信号を出力するためのポートを設ける必要がある。
【0012】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、既存のインターフェースを用いて、浮動小数点形式の画像データをYUV方式の映像データに変換して出力するのに好適な映像出力装置、映像出力方法及び映像出力プログラム、映像処理システム、並びに映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【0013】
〔形態1〕 上記目的を達成するために、形態1の映像出力装置は、
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力装置であって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データを構成する各画素データの仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換手段と、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重手段と、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力手段と、を備えることを特徴とする。
【0014】
このような構成であれば、仮数部変換手段によって、画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される画像データについて、当該画像データの各画素データにおける仮数部のデータを、前記YUV方式の映像信号に変換することが可能であり、多重手段によって、前記画像データの各画素データにおける指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化することが可能であり、映像信号出力手段によって、輝度信号Y及び指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力することが可能である。
【0015】
従って、浮動小数点形式の各画素データの指数部のデータを、色差信号UVに多重化して出力することができるので、指数部のデータを出力するためのインターフェース(ポート)を別途設けることなく、YUV方式の既存のインターフェースをそのまま利用して指数部のデータを含む映像信号を出力することができるという効果が得られる。
また、浮動小数点形式の画像データを扱えることから、浮動小数点形式のHDR画像データを既存のインターフェースを用いて簡易に出力することが可能となる。つまり、白とびや黒つぶれの発生しない、十分なコントラスト比及びダイナミックレンジを有したHDR画像データを簡易に出力することができる。例えば、仮数部8ビット、指数部4ビットの浮動小数点形式のHDR画像データであれば、従来の8ビットの整数値で表現されていたHDR画像データと比較して、約32000倍(90dB)のダイナミックレンジを表現することができる。
【0016】
〔形態2〕 更に、形態2の映像出力装置は、形態1の映像出力装置において、
前記第1の画像データを構成する各画素データの前記Mビットの指数部を、mビット(mは、M>mの自然数)の指数部に変換する指数部変換手段と、
前記指数部変換手段で指数部を変換した後の画像データである第2の画像データにおいて、所定走査方向に連続する所定数の画素の画素データ毎に、当該所定数の画素の画素データにおける指数部のデータによって構成されたパッキング指数部データを生成するパッキング指数部データ生成手段と、を備え、
前記仮数部変換手段は、前記第2の画像データを構成する各画素データの仮数部のデータを前記YUV方式の映像信号に変換し、
前記多重手段は、前記パッキング指数部データを、前記YUV方式の映像信号における色差信号UVに多重化することを特徴とする。
【0017】
このような構成であれば、浮動小数点形式の各画素データの指数部のデータ量を削減してデータ出力量を低減することができるという効果が得られる。
更に、指数部のデータをYUV方式で取り扱いやすいビット数に変換することによって、簡易に、浮動小数点形式の画像データの指数部のデータを、色差信号UVに多重化することができるという効果が得られる。
【0018】
〔形態3〕 更に、形態3の映像出力装置は、形態2の映像出力装置において、
前記第1の画像データは、RGB(Red,Green,Blue)形式のカラー画像データであって、前記画素値を構成するR、G、Bの各色要素を表す値が、仮数部が前記Nビット、基数が2及び指数部が前記Mビットの浮動小数点形式で表され、且つ前記Mビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第1の画像データを構成する各画素データの前記各色要素に対応する前記Mビットの指数部を、前記各色要素において同じ値となる4ビット以下の指数部に変換し、
前記仮数部変換手段は、前記第2の画像データを構成する各画素データの前記各色要素に対応する仮数部のデータを、前記YUV方式の1種であるYUV411方式の映像信号に変換し、
前記パッキング指数部データ生成手段は、前記第2の画像データにおいて、水平走査方向に連続する4画素の画素データ毎に、当該4画素の画素データにおける指数部のデータから構成されたパッキング指数部データを生成することを特徴とする。
【0019】
このような構成であれば、画像の2画素×2画素の各画素領域に対して、例えば、4バイトの輝度信号Y、1バイトの色差信号U、1バイトの色差信号V、及び2バイトのダミー信号が出力される、YUV411方式を用いた映像出力において、パッキング指数部データを2バイト以下で構成することができる。
これにより、色差信号UVに対して、色差信号U及び色差信号Vを多重化するときに間引いた2バイト分のデータ(ダミー信号に相当)の代わりに、パッキング指数部データを多重化することができるので、簡易に、色差信号UVに指数部のデータを多重化することができるという効果が得られる。
【0020】
〔形態4〕 更に、形態4の映像出力装置は、形態3の映像出力装置において、
前記第1の画像データは、前記画素値を構成するR、G、Bの各色要素を表す値が、仮数部が8ビット、基数が2及び指数部が8ビットの浮動小数点形式で表され、且つ前記8ビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第1の画像データを構成する各画素データの前記各色要素に対応する前記8ビットの指数部を、前記各色要素において同じ値となる4ビットの指数部に変換することを特徴とする。
【0021】
このような構成であれば、画像の2画素×2画素の各画素領域に対して、4バイトの輝度信号Y、1バイトの色差信号U、1バイトの色差信号V、及び2バイトのダミー信号が出力される、YUV411方式を用いた映像出力において、パッキング指数部データを2バイトで構成することができる。
これにより、色差信号UVに対して、色差信号U及び色差信号Vを多重化するときに間引いた2バイト分のデータ(ダミー信号に相当)の代わりに、2バイトのパッキング指数部データを多重化することができるので、無駄なく且つ簡易に、色差信号UVに指数部のデータを多重化することができるという効果が得られる。
【0022】
〔形態5〕 更に、形態5の映像出力装置は、形態1乃至4のいずれか1の映像出力装置において、
前記多重手段は、前記指数部のデータを、画像の奇数ライン又は偶数ラインのいずれか一方に対応する前記色差信号UVに多重化することを特徴とする。
このような構成であれば、色差信号UVを出力する際に、従来はダミー信号を出力する画像のライン(偶数ライン又は奇数ラインのいずれか一方)の信号出力において、ダミー信号に代えて指数部のデータ信号を出力することができるので、YUV方式を用いた映像出力側における既存の画像データ処理手段の構成を大きく変更することなく、簡易に、指数部のデータを多重化して出力することができるという効果が得られる。
【0023】
〔形態6〕 一方、上記目的を達成するために、形態6の映像処理システムは、
映像出力装置と映像処理装置とを備え、前記映像処理装置は、前記映像出力装置から出力された映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理システムであって、
前記映像出力装置は、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データの各画素データにおける仮数部のデータを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換する仮数部変換手段と、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重手段と、
前記仮数部変換手段で変換して得られたYUV方式の映像信号における前記輝度信号Yと、前記多重手段で前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力手段と、を備え、
前記映像信号出力手段は、前記輝度信号Yと前記色差信号UVとを、それぞれ独立に前記映像処理装置に出力し、
前記映像処理装置は、
前記映像出力装置から入力された前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離手段と、
前記映像出力装置から入力された輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする。
【0024】
このような構成であれば、映像出力装置は、仮数部変換手段によって、画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される画像データについて、当該画像データの各画素データにおける仮数部のデータを、前記YUV方式の映像信号に変換することが可能であり、多重手段によって、前記画像データの各画素データにおける指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化することが可能であり、映像信号出力手段によって、輝度信号Y及び指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力することが可能である。
【0025】
更に、映像処理装置は、信号分離手段によって、前記映像出力装置から入力された前記色差信号UVを、前記仮数部の色差信号UVと、指数部のデータ信号とに分離することが可能であり、形式変換手段によって、前記映像出力装置から入力された輝度信号Y及び前記指数部のデータが分離された色差信号UVを、前記YUV方式に変換前の仮数部のデータ形式の信号に変換することが可能であり、表示データ生成手段によって、前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成することが可能である。
【0026】
従って、浮動小数点形式の画像データの映像信号を、既存のYUV方式のインターフェースを変更することなく映像処理装置に出力できるという効果が得られると共に、映像出力装置で出力された映像信号から、所定の表示形式で表示し得る表示データを生成することができるので、例えば、浮動小数点形式のHDR画像データの映像を表示する表示システムや、HDR画像データ映像を利用した監視システム、セキュリティーシステム等を簡易に構築することができるという効果が得られる。
【0027】
ここで、所定の表示形式で映像を表示し得る表示データとは、例えば、出力側の装置が、浮動小数点形式の画像データに対応していれば、浮動小数点形式のHDR画像データなどが該当し、出力側の装置が浮動小数点形式の画像データに対応していなければ、浮動小数点形式の画像データを変換してなる、各画素値が整数値で表現されたRGB画像データなどが該当する。以下、映像処理装置に関する形態、映像処理方法に関する形態において同じである。
【0028】
〔形態7〕 更に、形態7の映像処理システムは、形態6の映像処理システムにおいて、
前記仮数部変換手段は、前記第2画像データを、隣接するj個(jは、2以上の自然数)の画素から構成される画素領域のデータ単位で複数に分割する分割部と、各前記画素領域のj個の画素に対応する前記画素データにおける前記仮数部のデータを、画素毎に1つの輝度信号Yと、前記画素領域毎にk個(kは、k<jの自然数)の画素に対応する色差信号UVとから構成されたYUV方式の映像信号に変換する変換部とを含み、
前記映像処理装置は、前記仮数部変換手段において前記仮数部のデータを前記YUV方式の映像信号に変換したときに、前記画素領域毎に間引かれた(j−k)個の画素に対応する色差信号UVを補間する色差信号補間手段を備えることを特徴とする。
【0029】
このような構成であれば、第2画像データを、YUV411、YUV211、YUV422などの様々なフォーマットに対応した映像信号に変換することができる。
更に、第2の画像データをYUV方式の映像信号に変換したときに間引かれた画素の色差信号UVを補間することができるので、より画質の高い表示データを生成することができるという効果が得られる。
【0030】
〔形態8〕 また、上記目的を達成するために、形態8の映像処理装置は、
画素値を浮動小数点形式で表した画素データから構成される画像データの各前記画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理装置であって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離手段と、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする。
【0031】
これにより、上記形態6の映像処理システムにおける映像処理装置と同様に、指数部のデータが多重化されたYUV方式の映像信号から、所定の表示形式で表示し得る表示データを生成することができるので、例えば、浮動小数点形式のHDR画像データの映像を表示する表示システム等を簡易に構築できるという効果が得られる。
【0032】
〔形態9〕 また、上記目的を達成するために、形態9の映像出力方法は、
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力方法であって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データの各画素データにおける仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換ステップと、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重ステップと、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力ステップと、を含むことを特徴とする。
これにより、形態1の映像出力装置と同等の作用及び効果が得られる。
【0033】
〔形態10〕 また、上記目的を達成するために、形態10の映像処理方法は、
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理方法であって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップと、を含むことを特徴とする。
これにより、形態8の映像処理装置と同等の作用及び効果が得られる。
【0034】
〔形態11〕 一方、上記目的を達成するために、形態11の映像出力プログラムは、
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力プログラムであって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データを構成する各画素データの仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換ステップと、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重ステップと、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態1の映像出力装置と同等の作用および効果が得られる。
【0035】
〔形態12〕 一方、上記目的を達成するために、形態12の映像処理プログラムは、
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理プログラムであって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする。
【0036】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態8の映像処理装置と同等の作用および効果が得られる。
【発明を実施するための最良の形態】
【0037】
以下、本発明に係る映像出力装置、映像出力方法、映像処理システム、映像処理装置、及び映像処理方法の実施の形態を、図面に基づいて説明する。図1〜図12は、本発明に係る映像出力装置、映像出力方法、映像処理システム、映像処理装置、及び映像処理方法の実施の形態を示す図である。ここで、図1は、映像処理システム1の概略構成を示すブロック図である。
【0038】
以下、図1に基づき、映像処理システム1の概略構成を説明する。
映像処理システム1は、図1に示すように、HDR映像信号源10からの浮動小数点形式のHDR映像信号及び同期信号に基づき、前記HDR映像信号をYUV方式の映像信号に変換して映像処理装置30に出力する映像出力装置20と、映像出力装置20からの輝度信号Y(以下、Y信号と称す)、色差信号UVに指数部のデータが多重化されたUVEp多重信号及び同期信号に基づき、HDR映像信号を生成する映像処理装置30とを含んで構成され、映像出力装置20と映像処理装置30とは、各種信号の入出力を行うインターフェース(ポート)を介して接続されている。
【0039】
ここで、HDR映像信号源10は、例えば、電子カメラ等で撮像した撮像データからHDR映像信号を生成して出力する撮像装置や、HDR映像データの記憶された記憶媒体などから構成される。そして、HDR映像信号源10は、本実施の形態において、RGB(Red Green Blue)色空間の各色要素について、各色要素を表す値を、仮数部がNビット(Nは8以上の自然数)、基数が2及び指数部がMビット(Mは8以上の自然数)の浮動小数点形式で表した画素データから構成された、Radiance形式のRGBE画像データ(以下、単にHDR画像データという)の情報を含む映像信号(以下、HDR映像信号と称す)を出力する。
【0040】
具体的に、上記HDR画像データは、各画素データが、R,G,Bの各色要素のNビットの仮数部(Ri[(N−1):0]、Gi[(N−1):0]、Bi[(N−1):0])のデータと、全ての色要素に共通の指数部(E[(M−1):0])のデータとから構成される、浮動小数点形式のHDR画像データとなる。
更に、図2に基づき、映像出力装置20の詳細な構成を説明する。ここで、図2は、映像出力装置20の詳細な構成を示すブロック図である。
【0041】
映像出力装置20は、図2に示すように、指数部変換部200と、YUV411変換部201と、パッキング指数部データ生成部202と、UVEp多重部203と、遅延部204と、画素カウンタ・制御部205と、Y信号ポート206と、UV信号ポート207と、同期信号ポート208とを含んで構成される。
指数部変換部200は、HDR映像信号源10からの浮動小数点形式のHDR映像信号の示すデータに基づき、当該データを構成する各HDR画像データの指数部のビット数を、YUV411方式の出力フォーマットに基づき変換する。
【0042】
具体的には、HDR画像データにおける各画素データの指数部のビット数が5ビット以上である場合に、指数部を4ビット以下で表現できるように仮数部の数値を変更すると共に、指数部のビット数を4ビットに変換する。
この変換後のHDR画像データ(以下、指数部変換形式HDR画像データと称す)においては、その各画素データが、各色要素のNビットの仮数部(R'i[(N−1):0]、G'i[(N−1):0]、B'i[(N−1):0])のデータと、全ての色に共通の指数部(E'[(M−1):0])のデータとから構成される。
【0043】
指数部変換部200は、指数部変換形式HDR画像データの各画素データにおける、仮数部のデータを、YUV411変換部201に出力し、一方、指数部のデータを、パッキング指数部データ生成部202に出力する。
YUV411変換部201は、指数部変換部200から、変換後の仮数部のデータが入力されると、これをYUV411方式の出力フォーマットの映像信号へと変換する。
【0044】
ここでYUV411方式の出力フォーマットは、前述したように、輝度信号であるY信号は全画素分を出力し、色差信号であるU信号及びV信号については、人間の眼の色に対する空間周波数の低さを考慮して出力する情報量を削減する。具体的に、U信号及びV信号については、4画素から1つの代表値を求め、この代表値のみを出力する。例えば、仮数部が8ビットの画像データであれば、Y信号4バイトに対して、U信号1バイト、V信号1バイトを出力する。
【0045】
従って、YUV411変換部201は、指数部変換形式HDR画像データの各画素データにおける仮数部のデータ(R'i[(N−1):0]、G'i[(N−1):0]、B'i[(N−1):0])を、YUV411方式のデータ(Y[(N−1):0]、U[(N−1):0]、V[(N−1):0])へと変換する。
そして、YUV411変換部201は、変換後の仮数部のデータにおける、Y[(N−1):0]を、遅延部204に出力し、一方、U[(N−1):0]及びV[(N−1):0]を、UVEp多重部203に出力する。
【0046】
パッキング指数部データ生成部202は、指数部変換部200から、変換後の指数部のデータ(E'[m(mは4以下の自然数):0])が入力されると、水平走査方向に連続する4画素毎に、当該4画素分の指数部のデータから構成されるパッキング指数部データ(Ep={En(n=1,2,3,・・・),En+1,En+2,En+3})を生成する。具体的に、指数部変換部200において、各画素の指数部のビット数は4ビット以下に変換されているので、パッキング指数部データは、最大でも4ビット×4=16ビット(2バイト)のデータとなる。
【0047】
そして、YUV411変換部201は、上記生成したパッキング指数部データを、UVEp多重部203に出力する。
UVEp多重部203は、YUV411変換部201からU信号及びV信号が入力され且つパッキング指数部データ生成部202からパッキング指数部データのデータ信号(以下、パッキング指数部データ信号と称す)が入力されると、画素カウンタ・制御部205から入力される多重制御信号に基づき、UV信号及びパッキング指数部データ信号を多重化して、UV信号ポート207へと出力する。
【0048】
具体的に、U信号及びV信号が、先述したように1/4の情報量に削減されることで、奇数ライン又は偶数ラインのいずれか一方の出力タイミングにおいて発生するダミーデータの出力に代えて、上記パッキング指数部データ信号を出力する。従って、奇数ラインの出力タイミングにおいてU信号及びV信号が出力されると、偶数ラインの出力タイミングにおいてパッキング指数部データ信号(以下、Ep信号と称す)が出力されることになる。
【0049】
遅延部204は、Y信号と、UV信号と、Ep信号との同期を取るためのバッファである。具体的に、パッキング指数部データ生成部202及びUVEp多重部203により発生する遅延量を、Y信号を遅らせることで補正する。
画素カウンタ・制御部205は、HDR映像信号源10からの同期信号INに基づき、HDR画像データのライン番号及び画素番号をカウントする。そして、当該カウント結果に基づき、指数部変換部200、パッキング指数部データ生成部202を制御するための制御信号を生成し、UVE多重部203を制御するための多重制御信号を生成する。そして、これら生成した制御信号を各構成部に入力する。一方、遅延後のY信号と、UV信号、Ep信号との同期をとるために、同期信号INを遅延させた同期信号OUTを生成し、これを同期信号ポート208に出力する。
【0050】
Y信号ポート206は、8ビットのデータ出力幅(バス幅)を有したポートであり、遅延部204を介して入力されるY信号を映像処理装置30に出力する。
UV信号ポート207は、8ビットのデータ出力幅(バス幅)を有したポートであり、UVEp多重部203から入力される多重化されたUV信号及びEp信号(以下、UVEp多重信号と称す)を映像処理装置30に出力する。
同期信号ポート208は、画素カウンタ・制御部205から入力される同期信号OUTを映像処理装置30に出力する。
【0051】
更に、図3に基づき、映像処理装置30の詳細な構成を説明する。ここで、図3は、映像処理装置30の詳細な構成を示すブロック図である。
映像処理装置30は、Y信号ポート300と、UV信号ポート301と、同期信号ポート302と、遅延量調整部303と、UVEp多重信号分離部304と、HDR映像変換部305と、指数部分離部306と、指数部拡張部307と、画素カウンタ・制御部308と、VRAM(Video Random Access Memory)309とを含んで構成される。
【0052】
Y信号ポート300は、8ビットのデータ出力幅(バス幅)を有したポートであり、映像出力装置20から出力され且つ入力されたY信号を遅延量調整部303に出力する。
UV信号ポート301は、8ビットのデータ出力幅(バス幅)を有したポートであり、映像出力装置20から出力され且つ入力されたUVEp多重信号をUVEp多重信号分離部304に出力する。
【0053】
同期信号ポート302は、映像出力装置20から出力され且つ入力された同期信号OUTを画素カウンタ・制御部308に出力する。
遅延量調整部303は、Y信号と、UVEp多重信号との同期をとるためのバッファである。具体的に、UVEp多重信号分離部304において発生する遅延量を、Y信号を遅らせることで補正する。
【0054】
UVEp多重信号分離部304は、UVEp多重信号を、UV信号と、Ep信号とに分離すると共に、UV信号と、Ep信号と、同期信号OUTとの同期をとる。
また、UVEp多重信号分離部304は、分離したUV信号をHDR映像変換部305に出力し、分離したEp信号を指数部分離部306に出力する。
HDR映像変換部305は、遅延量調整部303から入力されるY信号と、UVEp多重信号分離部304から入力されるUV信号とに基づき、まず、UV信号に対して補間処理を施して欠如した画素部分のUV信号を生成すると共に、U信号とV信号とを分離する。次に、Y信号と、補間後のU信号及びV信号とに基づき、これらY信号、U信号及びV信号を、RGB信号へと変換する(戻す)。
【0055】
そして、HDR映像変換部305は、変換後のRGBデータ(R'i[(N−1):0]、G'i[(N−1):0]、B'i[(N−1):0])を、VRAM309に出力する。
指数部分離部306は、UVEp多重信号分離部304から入力されるEp信号に基づき、4画素分が1つにまとめられた構成のパッキング指数部データ(Ep[4:0])を4つに分割して、これら分割した指数部データを指数部拡張部307に出力する。
【0056】
指数部拡張部307は、4ビットの指数部データを、8ビットへと拡張(上位4ビットに0を挿入)し、当該拡張後の8ビットの指数部データをVRAM309に出力する。
画素カウンタ・制御部308は、同期信号ポート302から入力された同期信号OUTをカウントして、画素のアドレス(XY座標)を与えるアドレス制御信号を生成して、これをVRAM309に出力する。
【0057】
VRAM309は、画素カウンタ・制御部308からのアドレス制御信号に基づいて、HDR映像変換部305から入力されるRGBデータと、指数部拡張部307から入力される指数部データとを対応付けて格納する。
【0058】
次に、図4〜図12に基づき、上記構成の映像処理システム1の動作を説明する。
まず、図4〜図9に基づき、映像出力装置20の動作を説明する。
ここで、図4は、指数部変換部で変換後の指数部変換形式HDR画像データのデータ構成の一例を示す図である。また、図5は、Y信号の出力順を示す図である。また、図6は、U信号の間引き方法及び出力方法を示す図である。また、図7は、U信号とV信号とを多重化して出力する方法を示す図である。また、図8は、UVEp多重部203の内部構成の一例を示す図である。また、図9(a)は、Ep信号の構成を示す図であり、(b)は、UV信号とEp信号とを多重化して出力する方法を示す図である。
【0059】
HDR映像信号源10は、RGBの各色について、仮数部が8ビット、基数が2及び指数部が8ビットの画素データから構成される、Radiance形式のHDR映像信号を、同期信号INと共に映像出力装置20に出力する。
HDR映像信号源10から出力されたHDR映像信号は、映像出力装置20の指数部変換部200に入力され、一方、同期信号INは、映像出力装置20の画素カウンタ・制御部205に入力される。
【0060】
映像出力装置20は、画素カウンタ・制御部205に同期信号INが入力されると、同期信号INのパルス数をカウントすると共に、指数部変換部200、パッキング指数部データ生成部202の動作を制御する制御信号及びUVEp多重部203の動作を制御する多重制御信号を生成し、前記各部に出力する。
指数部変換部200は、画素カウンタ・制御部205から入力される制御信号に基づき、入力されたHDR映像信号における8ビットの指数部を4ビットの指数部に変換して、図4に示すように、RGBの各色要素を表す値を、8ビットの仮数部と、これら各色要素に共通の4ビットの指数部とで表した画素データを有する指数部変換形式HDR画像データ(R'i[7:0]、G'i[7:0]、B'i[7:0]、E'[3:0])を生成する。
【0061】
そして、指数部変換部200は、上記生成した指数部変換形式HDR画像データにおける、仮数部のデータ(R'i[7:0]、G'i[7:0]、B'i[7:0])を、YUV411変換部201に出力し、一方、指数部のデータ(E'[3:0])を、パッキング指数部データ生成部202に出力する。
YUV411変換部201は、仮数部のデータが入力されると、これらをYUV411のフォーマットへと変換して出力する。
【0062】
以下、水平走査方向(以下、横方向という)の画素数が640、垂直走査方向(以下、縦方向という)の画素数が480のHDR画像データを例に挙げて説明する。
YUV411変換部201は、まず、R'i、G'i、B'iの画素データを、輝度情報(Y)、輝度と赤色成分の差(U)、輝度と青色成分の差(V)の画素データへと変換する。この変換方法は公知であるので記載を省略する。
【0063】
次に、上記YUVに変換した画素データにおける、Y信号の画素データ(Y[7:0])については、図5に示すように、1ライン目の図中左端にある画素Y1のデータから順に出力する。そして、ラインの図中右端にある画素Y640のデータを出力した後、2ライン目の左端にある画素Y1のデータを出力する。以上のようにしてY信号の画素データは、指数部変換部200から順次先に入力された画素データから順に全画素分が遅延部204に出力される。
【0064】
また、YUV411変換部201は、U信号及びV信号については、図6に示すように、横方向2画素×縦方向2画素の4画素のデータ毎に、これら4画素のデータ(例えばu11、u12、u21、u22)から1つの代表値(例えばU1)を算出する。そして、求めた代表値だけをUVEp多重部203に出力する 。同様に、V信号についても4画素から算出される代表値だけをUVEp多重部203に出力する。従って、YUV411変換部201からUVEp多重部203に出力されるU信号及びV信号は、Y信号の全データ量の1/4となる。
【0065】
一方、パッキング指数部データ生成部202は、指数部変換形式HDR画像データにおける指数部のデータ(E'[3:0])が入力されると、画素カウンタ・制御部205から入力される制御信号に基づき、横方向に連続する4画素毎に、当該4画素分のE'[3:0]から構成されるパッキング指数部データ(Ep={E'n,E'n+1,E'n+2,E'n+3})を生成する。ここで、nは、画像の各ラインの画素番号であり、横方向の画素数が640の場合、nは「1〜637」の範囲の値となる。従って、パッキング指数部データは、ライン毎に、「Ep1={E'1,E'2,E'3,E'4}、Ep2={E'5,E'6,E'7,E'8}、・・・、Ep159={E'633,E'634,E'635,E'636}、Ep160={E'637,E'638,E'639,E'640}」となる。
【0066】
上記生成されたパッキング指数部データの信号(以下、Ep信号と称す)は、UVEp多重部203に順次出力される。
UVEp多重部203は、U信号及びV信号と、Ep信号とが入力されると、画素カウンタ・制御部205から入力される多重制御信号に基づき、U信号及びV信号と、Ep信号とを多重化し、この多重化されたUVEp多重信号を、UV信号ポート207に出力する。
【0067】
ここで、YUV411方式においては、U信号及びV信号の出力において、先述したように、4画素に対して1つの代表値の信号のみを出力するため、U信号及びV信号は、タイミング的に、Y信号の4画素分の出力が行われる期間に、それぞれ1画素分を出力すれば良いことになる。そこで、従来は、例えば、図7に示すように、奇数ラインの出力タイミングにおいて、U信号及びV信号を交互に出力(多重出力)し、偶数ラインの出力タイミングにおいて、ダミーデータを出力している。なお、奇数ラインの出力期間でダミーデータ、偶数ラインの出力期間でU信号及びV信号を出力する場合もある。
【0068】
つまり、従来のYUV411方式においては、U信号及びV信号を、奇数ラインの出力期間において多重化して出力することで、1ライン分の出力期間において、Y信号の2ライン分に対応するUV信号データを出力している。このように、Y信号の2ラインに対して、UV信号は奇数ラインの1ライン分の出力で済むため、従来は、Y信号とのタイミングを合わせるために、偶数ラインの出力期間においてダミーデータを出力していた。
【0069】
一方、本実施の形態の映像出力装置20は、ダミーデータを出力する期間(上記例では、従来ではダミーデータを出力していた偶数ラインの出力期間)において、指数部のデータ信号であるEp信号を出力する。これにより、Ep信号とUV信号とを多重化する。
具体的に、UVEp多重部203は、図8に示すように、マルチプレクサ203aを内部に有しており、当該マルチプレクサ203aにおいて、画素カウンタ・制御部205からの多重制御信号に基づき、出力する信号を、UV信号とEp信号とのいずれか一方に切り替えることで、UV信号にEp信号を多重化する。
【0070】
一方、画素カウンタ・制御部205は、画素のカウントが奇数ラインのときに「1」を示す多重制御信号を出力し、一方偶数ラインのときに「0」を示す多重制御信号を出力するようになっている。
従って、マルチプレクサ203aは、Ep信号とUV信号とが入力されると、多重制御信号「1」が入力されている期間は、UV信号を出力し、一方、多重制御信号「0」が入力されている期間は、Ep信号を出力するように回路が構成されている。
【0071】
これにより、図9(a)に示すデータ構成のEp信号(データ)が、図9(b)に示すように、偶数ラインの出力期間においてUV信号ポート207に出力され、UV信号が奇数ラインの出力期間においてUV信号ポート207に出力される。
なお、図9(b)中のE'1E'2、E'3E'4などにおける下付文字の数字は、画素番号を示しており、例えば、E'1であれば、画素番号1番の画素の指数部データとなる。
【0072】
一方、遅延部204では、パッキング指数部データ生成部202及びUVEp多重部203において生じた遅延量分、Y信号を遅延させるようになっており、Y信号は、UV信号又はEp信号と同期して、Y信号ポート206に出力される。
以上のようにして、Y信号ポート206へと出力されたY信号は、Y信号ポート206から映像処理装置30に出力される。また、UV信号ポート207へと出力されたUVEp多重信号は、UV信号ポート207から映像処理装置30に出力される。
【0073】
本実施の形態のY信号及びUVEp多重信号の出力は、30[fps]のフレームレートで行われる。具体的に、HDR映像信号源10から入力された同期信号INを遅延させて生成した同期信号(同期信号OUT)に基づいて行われる。
ここで、同期信号OUTは、出力される映像データのフレームの開始を示す垂直同期信号、ラインの開始を示す水平同期信号、画素の同期信号の3信号もしくはこれら3信号の複合信号である。
【0074】
以上のような処理手順で、HDR映像信号源10からの浮動小数点形式のHDR映像信号がYUV方式のフォーマットに変換され、且つ、指数部のデータがUV信号に多重化されてY信号と共に映像処理装置30へと出力される。
次に、図10〜図12に基づき、映像処理装置30の動作を説明する。
ここで、図10は、UVEp多重信号分離部304の有するデマルチプレクサ304aの構成を示す図である。また、図11は、UVEp多重信号分離部304の有するUV信号分離回路の構成を示す図である。また、図12は、UV信号の補間処理の流れを示す図である。
【0075】
映像処理装置30において、映像出力装置20から出力された信号のうち、Y信号は、Y信号ポート300を介して遅延量調整部303に入力される。また、UVEp多重信号は、UVEp多重信号分離部304に入力され、同期信号OUTは画素カウンタ・制御部308に入力される。
画素カウンタ・制御部308は、入力された同期信号OUTに基づき、画素のアドレス(XY座標)を与えるアドレス制御信号を生成して、VRAM309に出力する。また、入力された同期信号OUTに基づき、ライン番号に応じて「0」、「1」が切り替わる分離制御信号を生成して、これをUVEp多重信号分離部304に出力する。
【0076】
UVEp多重信号分離部304は、図10に示す、デマルチプレクサ302aを内部に有しており、当該デマルチプレクサ302aにおいて、UVEp多重信号をUV信号とEp信号とに分離する。具体的に、多重化されたUV信号とEp信号とを、画素カウンタ・制御部308から入力される、先述したライン番号ごとに切り替わる分離制御信号に基づいて別々に出力することによってUV信号とEp信号とに分離する。
【0077】
また、UVEp多重信号分離部304は、図11に示す、UV信号分離回路302bを有しており、当該UV信号分離回路302bにおいて、デマルチプレクサ302aで分離されたUV信号において、4画素に対して代表値を1つ選択したことによって失われた残り3画素分のデータを補間し、且つ多重化されたUV信号をU信号及びV信号に分離して、これら補間後のU信号及びV信号をHDR映像変換部305に出力する。
【0078】
UV信号分離回路302bは、図11に示すように、入力したUV信号を1ライン分蓄積するラインメモリ1300と、マルチプレクサ1301と、遅延素子1302と、マルチプレクサ1303とを備えている。UV信号は、ラインメモリ1300を介して、あるいは直接マルチプレクサ1303に入力される。UV信号分離回路302bは、奇数番目のラインに対応するUV信号が出力されてきた場合、この信号を出力し、かつラインメモリ1300に格納する。一方、偶数番目のラインに対応するUV信号が出力されてきた場合にはラインメモリ1300に格納されている奇数番目の信号を出力する。この結果、マルチプレクサ1301からは、常に奇数番目のラインに対応するUV信号が出力される。
【0079】
また、UV信号分離回路302bでは、奇数番目(画素単位)の画素データが入力された場合、この画素データをHDR映像変換部305に出力すると共に遅延素子1302で遅延させる。そして、偶数番目(画素単位)の画素データが入力された場合には遅延素子1302で遅延させた画素データをHDR映像変換部305に出力する。この結果、U信号はV信号と分離してHDR映像変換部305に出力される。このようにして出力される画素データは、図12に示すような画素配列となる。図12では、ラインメモリ1300、遅延素子1302において遅延して出力された画素データを補間画素データとしてグレーにして示している。以上述べた動作によってV信号もU信号と分離してHDR映像変換部305に出力される。
【0080】
また、デマルチプレクサ302aでUV信号と分離したEp信号は、指数部分離部306に出力される。
一方、遅延量調整部303は、Y信号ポート300を介して入力されてくるY信号をUVEp多重信号分離部304における処理時間分遅延させ、Y信号の出力タイミングをUV信号に同期させる。
【0081】
HDR映像変換部305は、UVEp多重信号分離部304から入力されたU信号及びV信号と、遅延量調整部303において遅延され、前記U信号及びV信号と同期して入力されるY信号とを、RGBのHDR映像信号(仮数部)に変換する。そして、この変換後のHDR映像信号(R'i[7:0]、G'i[7:0]、B'i[7:0])を、VRAM309に出力する。
【0082】
指数部分離部306は、UVEp多重信号分離部304からEp信号が入力されると、当該Ep信号に含まれる4画素分の指数部データ(E'n,E'n+1,E'n+2,E'n+3)を、画素毎のデータに分割する。そして、当該分割した各画素の指数部データ(E'[3:0])を、指数部拡張部307に出力する。
指数部拡張部307は、指数部分離部306で分離された各画素の4ビットの指数部データを、8ビットの指数部データ(E'[7:0])に拡張し、この8ビットの指数部データをVRAM309に出力する。指数部の拡張は、具体的に、入力された4ビットの指数部データを下位4ビットとし、その上位4ビットとして「0」を挿入することで拡張を行う。
【0083】
VRAM309は、画素カウンタ・制御部308から入力されるアドレス制御信号を基準にして動作し、HDR映像変換部305から入力されるHDR映像信号の仮数部データ(R'i[7:0]、G'i[7:0]、B'i[7:0])と、指数部拡張部307から入力される指数部データ(E'[7:0])とを対応付けて格納する。従って、VRAM309には、各色要素の値を、仮数部(R'i[7:0]、G'i[7:0]、B'i[7:0])及び指数部(E'[7:0])の浮動小数点形式で表した画素データから構成されるHDR画像データがメモリ上に構成されることとなる。
【0084】
なお、映像処理装置30は、必要に応じてVRAM309に格納された浮動小数点形式のHDR画像データを処理して別の形式で画像を表示し得る表示データを生成する構成としても良い。例えば、浮動小数点形式のHDR画像データを、固定小数点形式のHDR画像データに変換する。
以上、本実施の形態の映像処理システム1によれば、電子カメラ等のHDR映像信号源で得られた浮動小数点形式のHDR映像信号を、映像出力装置20において、YUV411方式の映像信号に変換して映像処理装置30に出力するときに、指数部のデータをUV信号に多重化して既存のUV信号ポートをそのまま利用して出力することができる。このため、従来のYUV方式の出力インターフェースを変更することなく、指数部のデータを出力することができるので、コストアップすることなく、浮動小数点形式のHDR映像信号を映像処理装置30に出力できるシステムを構成することができる。
【0085】
また、映像出力装置20において、4画素分の指数部データをひとまとめにしたパッキング指数部データを生成し、このパッキング指数部データをUV信号に多重化することができるので、YUV411方式において、UV信号を出力時のダミーデータの出力期間において、パッキング指数部データを出力することができる。これにより、簡易に、指数部のデータをUV信号に多重化して出力することができる。
【0086】
また、映像処理装置30において、パッキング指数部データがUV信号に多重化されたUVEp多重信号を、UV信号と、Ep信号とに分離できると共に、Ep信号を各画素の指数部データに分離することができる。また、Y信号及びUV信号をRGBの信号に変換し、HDR画像データの仮数部のデータを生成(復元)し、VRAM309に格納することができる。また、分離した指数部データを拡張し、HDR画像データの指数部のデータを生成(復元)し、VRAM309に格納することができる。これにより、VRAM309のメモリ上に浮動小数点形式のHDR画像データを形成することができる。
【0087】
以上より、映像処理装置30において、映像出力装置20からYUV411方式で出力された映像信号を、元の形式のHDR画像データに変換してVRAM309に蓄積することができるので、本システム1を用いて、監視カメラなどを利用した防犯システムやセキュリティーシステムなどの映像システムを簡易に構成することができる。
上記実施の形態において、指数部変換部200は、形態2乃至4のいずれか1の指数部変換手段に対応し、YUV411変換部201は、形態1、2、3、6及び7のいずれか1の仮数部変換手段又は形態9若しくは11の仮数部変換ステップに対応し、UVEp多重部203は、形態1、2、5及び6のいずれか1の多重手段又は形態9若しくは11の多重ステップに対応し、パッキング指数部データ生成部202は、形態2又は3のパッキング指数部データ生成手段に対応する。
【0088】
また、上記実施の形態において、UVEp多重信号分離部304におけるUV信号とEpとを分離する処理は、形態6若しくは8の信号分離手段又は形態10若しくは12の信号分離ステップに対応し、UVEp多重信号分離部304におけるUV信号の不足分のデータを補間する処理は、形態7の色差信号補間手段に対応し、HDR映像変換部305は、形態6若しくは8の形式変換手段又は形態10若しくは12の形式変換ステップに対応し、HDR映像変換部305で変換後の仮数部のデータ、指数部分離部306及び指数部拡張部307を経て分離及び拡張された指数部のデータとをVRAM309に格納して、メモリ上に浮動小数点形式のHDR画像データを形成する処理は、形態6若しくは8の表示データ生成手段又は形態10若しくは12の表示データ生成ステップに対応する。
【0089】
なお、上記実施の形態においては、映像出力装置20及び映像処理装置30を、ハードウェア主体の構成としたが、これに限らず、変換処理、多重化処理、分離処理などの各種処理機能をソフトウェアで実現するソフトウェア主体の構成としても良い。この場合に、映像出力装置20及び映像処理装置30は、プログラムを実行するためのプロセッサと、上記各処理を実現させるためのプログラムの記憶されたROMと、実行するプログラムやプログラムの実行に必要な各種データを記憶するRAM、これら構成要素間のデータの授受を行うためのバスなどから構成されるコンピュータシステムを有している。
【0090】
また、上記実施の形態においては、HDR映像信号源10から出力されるHDR画像データを、仮数部8ビット、基数2及び指数部8ビットの構成としたが、これに限らず、仮数部を7ビット以下又は9ビット以上としても良いし、基数を2以外の数値としても良いし、指数部を3ビット以下又は5ビット以上としても良い。
また、上記実施の形態においては、YUV方式の一種であるYUV411方式に本発明を適用する構成としたが、これに限らず、YUV211方式、YUV422方式、YUV444方式など他のYUV方式に本発明を適用する構成としても良い。
【図面の簡単な説明】
【0091】
【図1】映像処理システム1の概略構成を示すブロック図である。
【図2】映像出力装置20の詳細な構成を示すブロック図である。
【図3】映像処理装置30の詳細な構成を示すブロック図である。
【図4】指数部変換部で変換後の指数部変換形式HDR画像データのデータ構成の一例を示す図である。
【図5】Y信号の出力順を示す図である。
【図6】U信号の間引き方法及び出力方法を示す図である。
【図7】U信号とV信号とを多重化して出力する方法を示す図である。
【図8】UVEp多重部203の内部構成の一例を示す図である。
【図9】(a)は、Ep信号の構成を示す図であり、(b)は、UV信号とEp信号とを多重化して出力する方法を示す図である。
【図10】UVEp多重信号分離部304の有するデマルチプレクサ304aの構成を示す図である。
【図11】UVEp多重信号分離部304の有するUV信号分離回路の構成を示す図である。
【図12】UV信号の補間処理の流れを示す図である。
【図13】従来のYUV方式を用いた映像処理システムの構成を説明するための図である。
【符号の説明】
【0092】
1は映像処理システム、10はHDR映像信号源、20は映像出力装置、30は映像処理装置、200は指数部変換部、201はYUV411変換部、202はパッキング指数部データ生成部、203はUVEp多重部203、206,300はY信号ポート、207,301はUV信号ポート、304はUVEp多重信号分離部304、305はHDR映像変換部、306は指数部分離部、307は指数部拡張部、309はVRAM

【特許請求の範囲】
【請求項1】
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力装置であって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データを構成する各画素データの仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換手段と、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重手段と、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力手段と、を備えることを特徴とする映像出力装置。
【請求項2】
前記第1の画像データを構成する各画素データの前記Mビットの指数部を、mビット(mは、M>mの自然数)の指数部に変換する指数部変換手段と、
前記指数部変換手段で指数部を変換した後の画像データである第2の画像データにおいて、所定走査方向に連続する所定数の画素の画素データ毎に、当該所定数の画素の画素データにおける指数部のデータによって構成されたパッキング指数部データを生成するパッキング指数部データ生成手段と、を備え、
前記仮数部変換手段は、前記第2の画像データを構成する各画素データの仮数部のデータを前記YUV方式の映像信号に変換し、
前記多重手段は、前記パッキング指数部データを、前記YUV方式の映像信号における色差信号UVに多重化することを特徴とする請求項1に記載の映像出力装置。
【請求項3】
前記第1の画像データは、RGB(Red,Green,Blue)形式のカラー画像データであって、前記画素値を構成するR、G、Bの各色要素を表す値が、仮数部が前記Nビット、基数が2及び指数部が前記Mビットの浮動小数点形式で表され、且つ前記Mビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第1の画像データを構成する各画素データの前記各色要素に対応する前記Mビットの指数部を、前記各色要素において同じ値となる4ビット以下の指数部に変換し、
前記仮数部変換手段は、前記第2の画像データを構成する各画素データの前記各色要素に対応する仮数部のデータを、前記YUV方式の1種であるYUV411方式の映像信号に変換し、
前記パッキング指数部データ生成手段は、前記第2の画像データにおいて、水平走査方向に連続する4画素の画素データ毎に、当該4画素の画素データにおける指数部のデータから構成されたパッキング指数部データを生成することを特徴とする請求項2に記載の映像出力装置。
【請求項4】
前記第1の画像データは、前記画素値を構成するR、G、Bの各色要素を表す値が、仮数部が8ビット、基数が2及び指数部が8ビットの浮動小数点形式で表され、且つ前記8ビットの指数部が示す値が各色要素において同じ値となる画素データから構成されており、
前記指数部変換手段は、前記第1の画像データを構成する各画素データの前記各色要素に対応する前記8ビットの指数部を、前記各色要素において同じ値となる4ビットの指数部に変換することを特徴とする請求項3に記載の映像出力装置。
【請求項5】
前記多重手段は、前記指数部のデータを、画像の奇数ライン又は偶数ラインのいずれか一方に対応する前記色差信号UVに多重化することを特徴とする請求項1乃至請求項4のいずれか1項に記載の映像出力装置。
【請求項6】
映像出力装置と映像処理装置とを備え、前記映像処理装置は、前記映像出力装置から出力された映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理システムであって、
前記映像出力装置は、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データの各画素データにおける仮数部のデータを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換する仮数部変換手段と、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重手段と、
前記仮数部変換手段で変換して得られたYUV方式の映像信号における前記輝度信号Yと、前記多重手段で前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力手段と、を備え、
前記映像信号出力手段は、前記輝度信号Yと前記色差信号UVとを、それぞれ独立に前記映像処理装置に出力し、
前記映像処理装置は、
前記映像出力装置から入力された前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離手段と、
前記映像出力装置から入力された輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする映像処理システム。
【請求項7】
前記仮数部変換手段は、前記第2画像データを、隣接するj個(jは、2以上の自然数)の画素から構成される画素領域のデータ単位で複数に分割する分割部と、各前記画素領域のj個の画素に対応する前記画素データにおける前記仮数部のデータを、画素毎に1つの輝度信号Yと、前記画素領域毎にk個(kは、k<jの自然数)の画素に対応する色差信号UVとから構成されたYUV方式の映像信号に変換する変換部とを含み、
前記映像処理装置は、前記仮数部変換手段において前記仮数部のデータを前記YUV方式の映像信号に変換したときに、前記画素領域毎に間引かれた(j−k)個の画素に対応する色差信号UVを補間する色差信号補間手段を備えることを特徴とする請求項6に記載の映像処理システム。
【請求項8】
画素値を浮動小数点形式で表した画素データから構成される画像データの各前記画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理装置であって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離手段と、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換手段と、
前記信号分離手段で分離した指数部のデータ信号と、前記形式変換手段で変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成手段と、を備えることを特徴とする映像処理装置。
【請求項9】
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力方法であって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データの各画素データにおける仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換ステップと、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重ステップと、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力ステップと、を含むことを特徴とする映像出力方法。
【請求項10】
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理方法であって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップと、を含むことを特徴とする映像処理方法。
【請求項11】
画像データを、輝度信号Y及び色差信号UVからなるYUV方式の映像信号に変換し、当該変換して得られた映像信号を所定のインターフェースを介して出力する映像出力プログラムであって、
画素値を、仮数部がNビット(Nは2以上の自然数)、基数がX(Xは2以上の自然数)及び指数部がMビット(Mは2以上の自然数)の浮動小数点形式で表した画素データから構成される第1の画像データに対して、当該第1の画像データを構成する各画素データの仮数部のデータを、前記YUV方式の映像信号に変換する仮数部変換ステップと、
前記第1の画像データを構成する各画素データの指数部のデータを、前記YUV方式の映像信号における色差信号UVに多重化する多重ステップと、
前記輝度信号Y及び前記指数部のデータが多重化された色差信号UVとからなるYUV方式の映像信号を出力する映像信号出力ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする映像出力プログラム。
【請求項12】
画素値を浮動小数点形式で表した画素データから構成される画像データの各画素データにおける仮数部のデータを輝度信号Y及び色差信号UVに変換すると共に、各前記色差信号UVに前記各画素データの指数部のデータを多重化してなる映像信号に基づき、所定の表示形式で映像を表示し得る表示データを生成する映像処理プログラムであって、
前記指数部のデータが多重化された色差信号UVを、前記仮数部の色差信号UVと、前記指数部のデータ信号とに分離する信号分離ステップと、
前記輝度信号Y及び前記分離して得られた色差信号UVを、前記YUV方式に変換する前の仮数部のデータ形式の信号に変換する形式変換ステップと、
前記信号分離ステップで分離した指数部のデータ信号と、前記形式変換ステップで変換して得られた仮数部のデータ形式の信号とに基づき表示データを生成する表示データ生成ステップとからなる処理をコンピュータに実行させるためのプログラムを含むことを特徴とする映像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate