説明

記録装置、記録方法、撮像装置、再生装置およびビデオシステム

【課題】記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現し得るように当該ビデオ信号を記録媒体に記録する。
【解決手段】ユーザは、記録されるビデオ信号の色空間として、sRGB色空間または拡張sRGB色空間のいずれかを指定できる。信号処理部131は、指定された色空間に対応したビデオ信号(輝度信号Yおよび色差信号Cb/Cr)を生成する。エンコード/デコード部132は、このビデオ信号を、MPEG4-AVC規格でデータ圧縮し、記録媒体135に記録する圧縮ビデオ信号を生成する。CPU121は、ユーザが指定した色空間を示す情報を含む色空間識別子を生成し、この色空間識別子が格納されたSEI NALユニットを、圧縮ビデオ信号における、SPS NALユニットを含むアクセスユニットに含めるようにする。記録媒体135に記録されるビデオ信号は、そのビデオ信号の色空間の情報を持つ色空間識別子が付加されたものとなる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、撮像ビデオ信号を記録媒体に記録する記録装置、記録方法、撮像装置、再生装置およびビデオシステムに関する。詳しくは、この発明は、撮像ビデオ信号を処理して得られた所定色空間に対応したビデオ信号を記録媒体に記録する際、当該所定色空間を示す情報を含む色空間識別子を生成し、当該色空間識別子をビデオ信号と対応付けて記録媒体に記録することにより、記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現し得るように当該ビデオ信号を記録媒体に記録する記録装置等に係るものである。
【背景技術】
【0002】
近年、撮像ビデオ信号を記録再生するうえで、高画質化への要求とともに、自然界に存在する色を忠実に再現する色再現性への要求が高くなっている。例えば、バラの花びらの真紅色、海の鮮やかなエメラルド色などを、より自然な画像により表現することが挙げられる。
【0003】
現在、コンピュータディスプレイ用の標準色空間としてsRGB規格が業界標準となっている。しかし、前述の色再現性のへの要求から、例えば、sRGB規格で定義された色空間より広い色空間である拡張されたsRGB規格(ここでは、「拡張sRGB規格」と呼ぶ)で、カラー画像を再現できる再生装置が提案されている。
【0004】
例えば、特許文献1には、拡張sRGB規格を実現するカラー液晶表示装置が記載されている。このカラー液晶表示装置は、バックライト装置の光源として、3波長以上の光を発光する3波長蛍光ランプからなる主白色光源と、ピーク波長λprがλpr=645nmである赤色光を発光する赤色発光ダイオード、ピーク波長λpgがλpg=555nmである緑色光を発光する緑色発光ダイオードおよびピーク波長λpbがλpb=440nmである青色光を発光する青色発光ダイオードを少なくとも1種類以上含む補助光源とを用いることで、sRGB規格で定義された色空間より広い色空間を実現している。
【0005】
例えば、主白色光源21に対して、補助光源22として、ピーク波長λpg=555nmである緑色発光ダイオード22G、ピーク波長λpb=440nmである青色発光ダイオード22B、ピーク波長λpr=645nmである赤色発光ダイオード22Rを用いた場合において、カラー液晶表示パネルから出射される表示光を測色計にて測定し、色度点をxy色度図中にプロットすると、図17aに示すような色再現範囲が得られる。
【0006】
図17b、図17c、図17dは、それぞれ緑色(G)、青色(B)、赤色(R)の各領域を拡大した図である。なお、図17a、図17b、図17c、図17dのxy色度図中には、AdobeRGB規格の色再現範囲、国際照明委員会(CIE)が定めたXYZ表色系、sRGB規格の色再現範囲、主白色光源21のみを光源として使用した場合の色再現範囲も同時に示してある。
【0007】
また、例えば、特許文献1には、さらに、透過波長帯域のピーク波長Fprが685nm≦Fpr≦690nmであり、青色フィルタの透過波長帯域における当該赤色フィルタの透過率をゼロとした赤色フィルタと、透過波長帯域のピーク波長Fpgが530nmであり、青色フィルタの透過波長帯域における当該緑色フィルタの透過率を減少させることで、透過波長帯域の半値幅Fhwgを90nm≦Fhwg≦100nmとした緑色フィルタと、透過波長帯域のピーク波長Fpbを440nm≦Fpb≦460nmとした青色フィルタとからなるカラーフィルタを備えることで、色再現範囲を大幅に拡大できることが記載されている。
【0008】
例えば、主白色光源21に対して、補助光源22を用い、さらに、青色フィルタのピーク波長をFpb=440nm、緑色フィルタのピーク波長をFpg=530nm、赤色フィルタのピーク波長をFpr=690nm、緑色光の透過波長帯域の半値幅Fhwg=90nmとしたカラーフィルタ19Aを備える場合において、カラー液晶表示パネルから出射される表示光を測色計にて測定し、色度点をxy色度図中にプロットすると、図18aに示すような色再現範囲が得られる。
【0009】
図18b、図18c、図18dは、それぞれ緑色(G)、青色(B)、赤色(R)の各領域を拡大した図である。なお、図18a、図18b、図18c、図18dのxy色度図中には、AdobeRGB規格の色再現範囲、国際照明委員会(CIE)が定めたXYZ表色系、sRGB規格の色再現範囲、主白色光源21のみを光源として使用した場合の色再現範囲も同時に示してある。
【0010】
ところで、記録装置においても、sRGB規格より広い色空間でビデオ信号を記録することへの要求が高くなってきている。従来のように、記録装置、再生装置がともにsRGB規格に準拠している場合は、記録装置で記録されたビデオ信号が持つ色を、再生装置で忠実に再現できる。
【0011】
しかし、記録装置がsRGB規格より広い色空間でビデオ信号を記録し、再生装置が従来のsRGB規格の色空間のみでの対応であった場合、再生装置ではそのビデオ信号を自機における色空間に単純にクリッピングして再生することになるので、本来のビデオ信号が持つ色を再現できなくなる。
【0012】
また、特許文献1のように、拡張sRGB規格でカラー画像を再現できた場合においても、記録装置で記録されたビデオ信号も拡張sRGB規格で記録されていた場合、再生装置ではビデオ信号がsRGB規格か拡張sRGB規格かを識別できない限り、ビデオ信号の色を忠実に再現できなくなる。
【0013】
なお、特許文献2には、画像データと当該画像データに関連する色空間を表す色空間識別情報とが互いに対応付けられた画像セットに基づいて、画像を再生する画像再生装置が記載されている。この画像再生装置は、色空間識別情報で指定された色空間が、標準色空間である場合にも、特定色空間である場合にも、それぞれの場合に適した画像再生を行う。
【0014】
つまり、画像再生装置は、色空間識別情報で指定された色空間が標準色空間(例えば、sRGB色空間)である画像データを再生する際には、当該画像データに対して基本色空間変換を行って再生用画像データを生成する。一方、画像再生装置は、色空間識別情報で指定された色空間が標準色空間以外の色空間(例えば、AdobeRGB(アドビ社の商標)等)である画像データを再生する際には、当該画像データに対して装置依存色空間(例えば、sRGB色空間等)への変換を行って再生用画像データを生成する。
【特許文献1】特開2006−119295号公報
【特許文献2】再表2004/077837号公報
【発明の開示】
【発明が解決しようとする課題】
【0015】
特許文献2には、画像データに対応付けられた色空間情報に基づいて、当該画像データに適した画像再生を行うものである。この特許文献2に記載される技術は、画像データと、当該画像データに関連する色空間を表す色空間識別情報とが互いに対応付けられた画像データセット(画像データファイル)の存在が前提となっており、当該画像データセットをどのようにして得るかが問題となる。特許文献2には、当該画像データセットをデジタルカメラで生成することが記載されているが、当該デジタルカメラの記録系でいかなる手順をもって当該画像データセットを生成するかについての具体的記載はない。
【0016】
また、特許文献2における画像データセットは、所定の画像データに対して1つの色空間識別情報が付加された構成となっている。そのため、例えば複数フレームの画像データからなるビデオ信号を扱う場合、分割・結合等の編集時に、当該色空間識別情報の取り扱いが複雑となる。例えば、ビデオ信号の分割時には、色空間情報を複製して各分割部分に付加させる必要がある。また、例えば、結合時に、結合された相手のビデオ信号との間の色空間が異なる場合には、いずれかの色空間情報を選択する必要がある。
【0017】
この発明の目的は、記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現し得るように当該ビデオ信号を記録媒体に記録する記録装置および記録方法を提供することにある。
【課題を解決するための手段】
【0018】
この発明の概念は、
撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理部と、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成部と、
前記ビデオ信号処理部で得られた前記ビデオ信号と、前記色空間識別子生成部で生成された前記色空間識別子とを記録媒体に対応付けて記録する記録部とを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされる
ることを特徴とする記録装置にある。
【0019】
この発明においては、ビデオ信号処理部において、撮像ビデオ信号が処理されて、所定色空間に対応したビデオ信号が得られる。例えば、色空間選択部において、複数の色空間から所定色空間が選択される。この選択は、例えば、ユーザの指定操作に基づいて行われる。例えば、色空間としては、sRGB色空間、拡張sRGB空間などがある。例えば、色空間としてsRGB色空間が選択されるときには、sRGB色空間に対応したビデオ信号が得られ、色空間として拡張sRGB色空間が選択されるときには、拡張sRGB空間に対応したビデオ信号が得られる。
【0020】
色空間識別子生成部において、所定色空間を示す情報を含む色空間識別子が生成される。そして、記録部において、ビデオ信号処理部で得られたビデオ信号と、色空間識別子生成部で生成された色空間識別子とが、記録媒体に、対応付けて記録される。この場合、記録媒体にはビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録されると共に、色空間識別子は所定のアクセスユニットに対応付けされる。
【0021】
この発明においては、所定色空間に対応したビデオ信号が得られるようにビデオ信号処理が行われると共に、当該所定色空間を示す情報を含む色空間識別子が生成され、これらビデオ信号および色空間識別子が記録媒体に対応づけて記録される。そのため、記録媒体に記録されたビデオ信号によるカラー画像を再生する再生装置にあっては、当該ビデオ信号と対応して記録されている色空間識別子に含まれる色空間情報を用いることで、ビデオ信号を再生装置に適した状態で使用でき、ビデオ信号が持つ本来の色を忠実に再現することが可能となる。
【0022】
また、ビデオストリームの所定のアクセスユニット(ビデオ信号の所定位置)に対応して色空間識別子が存在するため、上述の特許文献2に記載のものと比べて、分割編集時に色空間識別子を複製して各分割部分に付加させる必要もなく、また、結合編集時に、各ビデオ信号に付加されている色空間識別子をそのまま用いることで、テレビ等で色空間の異なるビデオ信号を結合したデータを再生する場合等でも問題がなく、従って、分割・結合等の編集性能が向上する。
【0023】
この発明においては、色空間識別子生成部で生成される色空間識別子には、色空間を示す情報と共に、ビデオ信号の色域に関する情報(例えば、色域の最大値および最小値)が含まれるようにしてもよい。色空間識別子にビデオ信号の色域に関する情報が含まれる場合、再生装置では、当該色域に関する情報をビデオ信号から取得する処理を行うことなく、当該色域に関する情報を用いることが可能となる。
【0024】
また、この発明においては、色空間識別子生成部が、ビデオ信号の色域に関する情報を記憶した記憶部を有し、色空間識別子に含めるビデオ信号の色域に関する情報を、記憶部から読み出して得るようにしてもよい。色空間識別子生成部は、ビデオ信号から色域に関する情報を求める処理を省略できる。
【0025】
この発明においては、記録部では、ビデオ信号処理部で得られたビデオ信号が、ビデオ信号に複数のアクセスユニットが連続したストリーム構成を得るための所定のデータ圧縮処理が施されて記録され、色空間識別子生成部では、データ圧縮処理後におけるビデオ信号のストリームを構成する各アクセスユニットに対応して、色空間識別子が生成される。この場合には、アクセスユニット毎に例えば色域に関する情報を持つことができるので、再生装置における色再現性の精度を高くできる。
【0026】
この発明においては、記録部では、ビデオ信号処理部で得られたビデオ信号が、当該ビデオ信号に複数のアクセスユニットが連続したストリーム構成を得るための所定のデータ圧縮処理が施されて記録され、色空間識別子生成部は、データ圧縮処理後におけるビデオ信号のストリームを構成する各アクセスユニットのうち、間欠的に配置されている所定のアクセスユニットに対応して、色空間識別子が生成される。間欠的に配置されたアクセスユニットに対応して色空間識別子が生成される場合には、冗長度を軽減できる。
【0027】
この発明においては、記録部では、ビデオ信号処理部で得られたビデオ信号が、ビデオ信号に、複数のアクセスユニットが連続したストリーム構成を得ると共に、所定数のアクセスユニットにより構成されるシーケンス毎に当該シーケンスの色情報を含むシーケンスパラメータセットを有する構成とするための所定のデータ圧縮処理が施されて記録され、色空間識別子生成部では、データ圧縮処理後におけるビデオ信号のストリームを構成する各アクセスユニットのうち、シーケンスパラメータセットを含むアクセスユニットに対応して、色空間識別子が生成される。
【0028】
MPEG4−AVC規格のデータ圧縮処理が行われる場合、シーケンスパラメータセットを含むアクセスユニットは、シーケンスパラメータセットのNALユニットを含むアクセスユニットである。この場合、シーケンスパラメータセットを含むアクセスユニットを読み出すことにより、シーケンスパラメータセットおよび色空間識別子を、つまり関連した色情報を一括して読み出すことができ、再生装置において、必要な情報アクセス時間を短縮できる。
【0029】
この発明においては、色空間識別子生成部では、色空間選択部で特定の色空間が選択されるときには、色空間識別子が生成されないようにしてもよい。例えば、色空間識別子生成部では、sRGB色空間が選択されるときは色空間識別子が生成されず、拡張sRGB色空間が選択されるときは色空間識別子が生成される。この場合、特定の色空間のビデオ信号が記録される従来のもの(色空間識別子は記録されていない)との互換性が保たれる。上述の特許文献2に記載される技術では、いずれの色空間においても色空間識別情報が付加されており、従来の色空間識別情報が付加されていないものに対して、互換性が保たれない。
【0030】
この発明においては、記録媒体に記録されたビデオ信号および色空間識別子は、記録媒体から再生されて、ネットワークインタフェースを介してネットワークに送出される。例えば、色空間識別子生成部では、ネットワークインタフェースの出力形態に適合した形式で、色空間識別子が生成される。この場合、色空間識別子をネットワークに送出する際に、記録媒体に記録されている色空間識別子の形式を変更する必要がなく、そのままの形式でネットワークに送出できる。上述の特許文献2に記載される技術では、ネットワークインタフェースの出力形態に適合した形式で色空間識別情報を生成するものではなく、この色空間識別情報をネットワークに送出する際には、ネットワークインタフェースの出力形態に適合した形式に変換するための変換ブロックが必要となる。
【0031】
この発明においては、記録媒体に記録されているビデオ信号および色空間識別子は、例えば、ネットワークに送出される場合、再生部により再生される。この場合、色空間識別子に基づいて、再生されるビデオ信号の色空間が表示部により表示されるようにしてもよい。この場合、ユーザは、再生されるビデオ信号の色空間を容易に把握できる。
【発明の効果】
【0032】
この発明によれば、撮像ビデオ信号を処理して得られた所定色空間に対応したビデオ信号を記録媒体に記録する際、当該所定色空間を示す情報を含む色空間識別子を生成してビデオ信号に対応付けて記録するものであり、記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現し得るように当該ビデオ信号を記録媒体に記録できる。
【発明を実施するための最良の形態】
【0033】
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、実施の形態としての撮像装置100の構成を示している。
【0034】
撮像装置100は、カメラ部110と、制御部120と、信号処理部131と、エンコード/デコード部132と、SDRAM(Synchronous Dynamic Random Access Memory)133と、媒体インタフェース(媒体I/F)134と、操作部136と、LCD(Liquid Crystal Display)コントローラ137と、LCD138と、外部インタフェース(外部I/F)139とを備えている。媒体I/F134には、記録媒体135が着脱可能とされている。
【0035】
記録媒体135としては、メモリカード等の半導体メモリ、記録可能なDVD(Digital Versatile Disk)、記録可能なCD(Compact Disc)等の光記録媒体、さらには磁気ディスク等を用いることができる。この実施の形態においては、記録媒体135として、例えばメモリカードが用いられる。
【0036】
カメラ部110は、光学ブロック111、撮像素子112、前処理回路113、光学ブロック用ドライバ114、撮像素子用ドライバ115およびタイミング制御回路116を備えている。
【0037】
光学ブロック111は、撮像レンズ、フォーカス機構、シャッター機構、絞り(アイリス)機構などを有している。光学ブロック用ドライバ114は、制御部120の制御の下、光学ブロック111を動作させるための駆動信号を形成し、この駆動信号を光学ブロック111に供給する。光学ブロック111では、ドライバ114からの駆動信号に応じて、フォーカス機構、シャッター機構、絞り機構が制御される。
【0038】
撮像素子112は、CCD(Charged Coupled Device)あるいはCMOS(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。タイミング生成回路116は、制御部120の制御の下、撮像素子112および撮像素子用ドライバ115で必要とする種々のタイミング信号を生成する。ドライバ115は、タイミング生成回路116からのタイミング信号に基づいて、撮像素子112を駆動するための駆動信号を形成し、この駆動信号を撮像素子112に供給する。
【0039】
前処理回路113は、例えば、CDS(Correlated Double Sampling)、AGC(AutomaticGain Control)、およびAD(Analog toDigital)コンバータなどで構成され、撮像素子112から出力されるアナログの撮像信号に対して、ノイズ除去、自動利得制御、およびA/D変換などの所定の信号処理を施し、デジタルビデオデータ(カメラ出力データ)を出力する。
【0040】
制御部120は、CPU(Central Processing Unit)121、RAM(RandomAccess Memory)122、フラッシュROM(Read Only Memory)123、時計回路124が、システムバス125を介して接続されて構成されたマイクロコンピュータである。制御部120は、撮像装置100の各部の動作を制御する。ここで、RAM122は、処理の途中結果を一時記憶する等、主に作業領域として用いられる。フラッシュROM123には、CPU121が実行する種々のプログラム、および処理に必要なデータ等が記憶されている。時計回路124は、現在年月日、現在曜日、現在時刻を提供する。
【0041】
操作部136は、ユーザインタフェースを構成しており、ユーザの操作を受け付ける。この操作部136は、タッチパネル、コントロールキー等により構成されている。操作部136は、CPU121に接続されており、ユーザの操作に対応した操作信号をCPU121に供給する。
【0042】
ユーザは、この操作部136を操作して、記録されるビデオ信号の色空間として、sRGB色空間または拡張sRGB色空間のいずれかを指定できる。制御部120(CPU121)は、ユーザがsRGB色空間を指定した場合には、記録されるビデオ信号の色空間としてsRGB色空間を選択し、一方、ユーザが拡張sRGB色空間を指定した場合には、記録されるビデオ信号の色空間として拡張sRGB色空間を選択する。この意味で、制御部120は、色空間選択部を構成している。
【0043】
信号処理部131は、カメラ部110の前処理回路113から出力されるデジタルビデオデータ(カメラ出力データ)に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行って、撮像ビデオ信号としての輝度信号Yおよび色差信号Cr/Cbを出力する。
【0044】
図2は、信号処理部131の構成例を示している。この構成例は、撮像素子112の前面に、図3に示す色配列の4色カラーフィルタが設けられた場合の例である。このカラーフィルタは、赤(R)の光のみを透過するRフィルタと、青(B)の光のみを透過するBフィルタと、第1の波長帯域の緑色の光のみを透過するG1フィルタと、第2の波長帯域の緑色の光のみを透過するG2フィルタとの、合計4個を最小単位とする構成を有している。
【0045】
撮像素子112の前面に図3に示す色配列のカラーフィルタが設けられる場合、上述の撮像素子112から出力されるアナログの撮像信号は、R信号、G1信号、G2信号、B信号の4種類の色信号となる。そして、前処理回路113では、各色信号に対して、ノイズ除去、自動利得制御、およびA/D変換などの所定の信号処理が施される。この前処理回路113から信号処理部131には、上述のデジタルビデオデータとして、R信号、G1信号、G2信号、B信号の4種類の色信号が供給される。
【0046】
信号処理部131は、LSI(Large Scale IntegratedCircuit:大規模集積回路)の構成とされており、オフセット補正処理部151と、ホワイトバランス補正処理部152と、垂直方向同時化処理部153と、処理部154と、リニアマトリクス処理部155と、ガンマ補正処理部156R〜156Bと、輝度信号生成処理部157と、色差信号生成処理部158と、帯域制限・間引き処理部159とを有している。
【0047】
オフセット補正処理部151は、前処理回路113から供給される各色信号に含まれるノイズ成分(オフセット成分)を除去する。ホワイトバランス補正処理部152は、オフセット補正処理部151でノイズ成分が除去された各色信号に対してホワイトバランス補正を行う。すなわち、ホワイトバランス補正処理部152は、被写体の色温度環境の違い、そして撮像素子112の前面に配されるカラーフィルタ(R,G1,G2,B)の感度の違いによる各色間のアンバランスを補正する。
【0048】
垂直方向同時化処理部153は、ホワイトバランス補正処理部152でホワイトバランス補正が行われた各色信号に対して、垂直方向の同時化処理を行う。処理部154は、垂直方向同時化処理部153で同時化されて得られる各色信号に対して、補間処理、フィルタ処理、高域周波数補正処理およびノイズ処理等を行う。補間処理は、カラーフィルタ(R,G1,G2,B)の最小単位である2×2画素の色信号を同一空間の位相に補間する処理である。フィルタ処理は、信号帯域を制限する処理である。高域成分補正処理は、信号帯域の高域成分を補正する処理である。ノイズ処理は、各色信号のノイズ成分を除去する処理である。
【0049】
リニアマトリクス処理部155は、処理部154から出力されるR信号、G1信号、G2信号、B信号に対して、4入力3出力のマトリクス演算を行って、R信号、G信号、B信号を出力する。すなわち、リニアマトリクス処理部155は、3×4の行列のマトリクス係数を用いて、R信号、G1信号、G2信号、B信号から、R信号、G信号、B信号を求める。
【0050】
ここで、上述したように、制御部120が、ユーザの指定に基づいて、記録されるビデオ信号の色空間としてsRGB色空間を選択した場合、リニアマトリクス処理部155のマトリクス係数は、マトリクス演算後のR信号、G信号、B信号の目標色空間がsRGB色空間となるように、設定される。同様に、制御部120が、ユーザの指定に基づいて、記録されるビデオ信号の色空間として拡張sRGB色空間を選択した場合、リニアマトリクス処理部155のマトリクス係数は、マトリクス演算後のR信号、G信号、B信号の目標色空間が拡張sRGB色空間となるように、設定される。
【0051】
ガンマ補正処理部156R、156G、156Bは、リニアマトリクス処理部155から出力されるR信号、G信号、B信号に対して、ガンマ補正を行う。この場合、最終的にリニアな特性を実現するために、CRT(Cathode Ray Tube)ディスプレイ、LCD(Liquid CrystalDisplay)等の表示装置が有する非線形特性の逆補正が行われる。
【0052】
輝度信号生成処理部157は、ガンマ補正処理部156R、156G、156Bでガンマ補正されたR信号、G信号、B信号を所定の合成比で合成して輝度信号Yを生成する。色差信号生成処理部158は、ガンマ補正処理部156R、156G、156Bでガンマ補正されたR信号、G信号、B信号を所定の合成比で合成することによって、青色差信号Cbおよび赤色差信号Crを生成する。帯域制限・間引き処理部159は、色差信号生成処理部158で生成された色差信号Cb,Crに対して帯域制限および間引きの処理を行って、色差信号Cb,Crが時分割多重化された色差信号Cb/Crを形成する。
【0053】
図1に戻って、エンコード/デコード部132は、信号処理部131から出力される輝度信号Yおよび色差信号Cb/Crに対してデータ圧縮処理を行って、圧縮ビデオ信号を生成する。また、エンコード/デコード部132は、記録媒体135から媒体I/F134で再生された圧縮ビデオ信号に対してデータ伸長処理を行って、輝度信号Yおよび色差信号Cb/Crを生成する。エンコード/デコード部132は、SDRAM133を利用して、上述したデータ圧縮処理およびデータ伸長処理を行う。
【0054】
エンコード/デコード部132は、従来周知のMPEG4−AVC規格に基づいて、データ圧縮処理およびデータ伸長処理を行う。図4Aを用いて、MPEG4−AVC規格について簡単に説明する。
【0055】
MPEG4−AVC規格では、動画像符号化処理を扱うVCL(Video Coding Layer)と、符号化された情報を伝送、蓄積する下位システムとの間にNAL(Network Abstraction Layer)が存在している。また、シーケンスやピクチャのヘッダ情報に相当するパラメータセットもVCLで生成した情報と分離して扱えるようになっている。さらに、MPEG−2システムなどの下位システムへのビットストリームの対応付けは、NALの一区切りである「NALユニット」を単位として行われる。
【0056】
主なNALユニットを説明する。SPS(Sequence Parameter Set) NALユニットには、プロファイル、レベル情報等、シーケンス全体の符号化に関わる情報が含まれる。ビットストリームにおいて、当該SPSNALユニットが挿入されているアクセスユニットが先頭に存在する連続した複数のアクセスユニットにより、1シーケンスが構成されている。一般的には、このシーケンスを編集単位として、ストリームの分割、結合、消去等の編集が行われる。
【0057】
PPS(Picture Parameter Set) NALユニットには、エントロピー符号化モード、ピクチャ単位の量子化パラメータ等のピクチャ全体の符号化モードに関する情報が含まれる。Coded Slice of an IDR picture NALユニットには、IDR(Instantaneous Decoder Refresh)ピクチャの符号化データが格納される。IDRピクチャは、画像シーケンスの先頭のピクチャであり、実際の使用例としては編集点となるピクチャである。Coded Slice of a non IDR picture NALユニットには、IDRピクチャでない、その他のピクチャの符号化データが格納される。
【0058】
SEL(Supplemental Enhancement Information) NALユニットには、VCLの符号に必須でない付加情報が格納される。ランダムアクセスを行うのに便利な情報、ユーザが独自に定義する情報等が格納される。AUD(Access Unit Delimiter) NALユニットは、後述するアクセスユニット(AU)の先頭に付加される。このAUDNALユニットには、アクセスユニットに含まれるスライスの種類を示す情報が含まれる。その他、シーケンスの終了を示すEOS(EndOf Sequence) NALユニット、および、ストリームの終了を示すEOS(End Of Stream) NALユニットが定義されている。
【0059】
ビットストリーム中の情報をピクチャ単位(フレーム単位)にアクセスするために、いくつかのNALユニットをまとめたものをアクセスユニット(AU)と呼ぶ。アクセスユニットには、ピクチャのスライスに相当するNALユニット(CodedSlice of an IDR picture NALユニットまたはCoded Slice of a nonIDR picture NALユニット)が必ず含まれるが、他の情報を含む場合には、図4Aに示すとおりの順番に並べる必要がある。
【0060】
エンコード/デコード部132は、データ圧縮処理を行う際に、SPSNALユニットを含むアクセスユニットに色空間識別子を含める。この色空間識別子には、上述したように制御部120が選択した色空間を示す情報が含まれている。この場合、実際には、色空間識別子が含められたSEINALユニットが、SPS NALユニットを含むアクセスユニットに挿入される。このようにSPS NALユニットを含むアクセスユニットに色空間識別子が含められることで、SPSNALユニットを含むアクセスユニットを読み出すことにより、シーケンスパラメータセットおよび色空間識別子を一括して読み出すことができ、再生装置において、必要な情報アクセス時間を短縮できる。
【0061】
すなわち、MPEG−4 AVC規格として、シーケンスパラメータセットに、VUI(Video Usability Information) パラメータが含まれる。このVUIパラメータは、ビデオの表示情報などに関するデータであり、例えばRGBの色信号から輝度信号、色差信号への変換行列に関する情報等が含まれる。色空間識別子が格納されたSEINALユニットを、SPS NALユニットを含むアクセスユニットに含めることにより、ビデオ信号を表示する際に利用する情報である、色空間識別子に記録された情報およびVUIパラメータを、同じアクセスユニット(AU)に格納できる。この場合、再生装置では、記録媒体135から、当該アクセスユニットを読み出すことにより、カラー画像を表示する際に利用する色情報を一括して読み出すことができ、必要な情報アクセス時間を短縮できる。
【0062】
さらに、SPS NALユニットが挿入されているアクセスユニットが先頭に存在するシーケンスが編集単位として用いられるため、ストリームが分割された場合、他のストリームと結合した場合、あるいは、ストリームの一部が削除されたりする場合においても、もれなく関連する色情報を読み取ることが可能となり、分割・結合等の編集性能が向上する。例えば、図4B(a),(b)は、分割編集時におけるビデオストリームの分割例を示している。図4B(a)は分割前のストリームを示し、図4B(b)は分割後のストリームを示す。図4B(a)に示すように、ストリームの分割は、SPSNALユニットが挿入されているアクセスユニットを先頭に持つシーケンスを単位として行われる。そのため、図4B(b)に示すように、分割後の各ストリームの先頭アクセスユニットには、色情報を持つSPSNALユニットおよびSEL NALユニットが必ず含まれている。
【0063】
図5は、色空間識別子の構造例を示している。この図5に示す構造例では、色空間識別子は、記録されるビデオ信号の色空間を示す情報である色空間情報の他に、色域に関する情報、色精度情報および予約領域が含まれている。色域に関する情報は、図5に示す構造例では、当該色空間識別子が格納されたSEINALユニットを付加するアクセスユニットにおけるピクチャの赤(R)、緑(G)、青(B)それぞれに対して使用される色域の最大値と最小値である。
【0064】
なお、色域に関する情報としては、色域の最大値と、当該最大値と最小値の差、あるいは色域の最小値と、当該最小値と最大値との差、等であってもよい。色精度情報は、色域に関する情報(最大値、最小値)がどのくらいの精度(具体的には何ビットで表されているかの情報)で示されているかを示す情報である。予約領域は、将来のデータ拡張のために、予め確保されている。
【0065】
色空間識別子は、制御部120のCPU121により生成される。CPU121は、色空間識別子が格納されたSEINALユニットを含めるアクセスユニット内のCoded Slice NALユニットのピクチャから赤(R)、緑(G)、青(B)の各色の色域に関する情報を計算して求める。
【0066】
後述するように、撮像装置100においては、エンコード/デコード部132でデータ圧縮処理されて得られた圧縮ビデオ信号は、媒体I/F134を介して記録媒体135に記録される。そして、このように記録媒体135に記録された圧縮ビデオ信号は、必要に応じて、媒体I/F134を通じて読み出され、例えば、データ伸長処理が施された後に、色空間識別子と共に、外部I/F(ネットワークインタフェース)139から所定のネットワークを通じて他の機器に転送される。
【0067】
現在、機器間をつなぐネットワークの形式は、IEEE1394、USB2.0、HDMI1.3等、数多く存在している。記録媒体135に記録された色空間識別子の形式がネットワークインタフェースの出力形態に適合した形式でない場合には、ネットワークでの転送時に、記録媒体135から読み出された色空間識別子の形式を、ネットワークインタフェースの出力形態に適合した形式に変換することが必要となる。この場合、制御部120のCPU121にとっては大きな負荷となり、ビデオ信号の転送にも支障をきたすおそれがある。
【0068】
この実施の形態において、CPU121は、色空間識別子を、ネットワークインタフェースの出力形態に適合した形式で生成する。この場合、CPU121は、記録媒体135から読み出されたビデオ信号および色空間識別子をネットワークに送出する際に、記録媒体135に記録されている色空間識別子の形式を変更する必要がなく、そのままの形式でネットワークに送出でき、CPU121のデータ転送時における負荷が軽減される。
【0069】
なお、ネットワークインタフェースの規格として色空間識別子のような色情報の転送が規定されていない場合には、CPU121は、例えば、ユーザ独自データの転送規定に準じた形式で、色空間識別子を生成する。図6は、所定のネットワークインタフェースAにおける色空間識別子の構造例を示している。図6に示す構造例は、上述の図5に示す構造例とは配列が異なり、新たに、色空間識別子全体のデータサイズに関する情報が含まれている。図7は、所定のネットワークインタフェースBにおける、ユーザ独自データの転送規定に従った色空間識別子の構造例を示している。ユーザ独自データの転送規定では、ネットワークインタフェースBの規格のバージョン情報、データサイズ、色空間識別子であることを示すデータ識別子(ユーザー独自定義)が、図7に示すように含まれ、独自データして色空間情報、色精度情報、予約領域、色域に関する情報等の情報が格納されている。
【0070】
エンコード/デコード部132は、データ圧縮処理を行う際に、上述したように選択された色空間を示す情報を含む色空間識別子が格納されたSEINALユニットを、SPS NALユニットを含むアクセスユニットに、含める。この場合、制御部120が、記録されるビデオ信号の色空間として、sRGB色空間および拡張sRGB色空間のいずれを選択した場合にも、色空間識別子が格納されたSEINALユニットを、SPS NALユニットを含むアクセスユニットに、含めるようにしてもよい。
【0071】
しかし、この実施の形態においては、制御部120が、記録されるビデオ信号の色空間として拡張sRGB色空間を選択した場合のみ、色空間識別子が格納されたSEINALユニットを、SPS NALユニットを含むアクセスユニットに、含めるようにされる。この場合、CPU121は、記録されるビデオ信号の色空間として拡張sRGB色空間を選択した場合のみ、色空間識別子(図5〜図7参照)を生成する。この場合、sRGB色空間のビデオ信号が記録される従来のもの(色空間識別子は記録されていない)との互換性が保たれる。
【0072】
図5〜図7に示す色空間識別子の構造例では、ビデオ信号の色域に関する情報を含んでいるが、色空間識別子には、必ずしも、当該ビデオ信号の色域に関する情報を含んでいる必要はない。色空間識別子にビデオ信号の色域に関する情報が含まれている場合、再生装置では、当該色域に関する情報をビデオ信号から取得する処理を行うことなく、当該色域に関する情報を用いることができ、再生装置の負担を軽減できる。
【0073】
図1に戻って、媒体I/F134は、エンコード/デコード部132でデータ圧縮処理されて得られた圧縮ビデオ信号を、制御部120の制御の下、記録媒体(メモリカード)135に記録する。また、媒体I/F134は、制御部120の制御の下、記録媒体135から圧縮ビデオ信号を再生する。LCDコントローラ137は、撮像時(記録時)には、信号処理部131から供給されるビデオ信号に基づいてLCD138を駆動し、このLCD138に撮像画像(記録画像)を表示する。
【0074】
この場合、LCDコントローラ137は、再生される圧縮ビデオ信号に対応付けて記録されている色空間識別子(図5〜図7参照)に含まれる色空間を示す情報に基づいて、LCD138に、再生画像と共に、再生されたビデオ信号の色空間が何であるかを示すアイコンを、OSD(on-screen display)表示する。図8は、LCD138における再生画像の表示例を示しており、再生されたビデオ信号の色空間が拡張sRGB色空間であることを示すアイコンが表示されている。LCD138に、このように再生されるビデオ信号の色空間がアイコン表示されることで、ユーザは、再生されるビデオ信号の色空間を容易に把握できる。
【0075】
撮像装置100で再生されるビデオ信号をライン入力で再生装置に供給する場合(図1は、ライン出力端子の図示を省略している)、再生装置に色空間情報が転送されない。その場合、上述したようにLCD138に色空間を示すアイコンが表示されると、ユーザは当該アイコンによって再生ビデオ信号の色空間を認識して、再生装置の最適な表示設定を手動で行うことが可能となる。
【0076】
外部I/F139は、ネットワークインタフェースを構成している。外部I/F139は、ビデオ信号の転送時に、記録媒体135から媒体I/F134を通じて再生されたビデオ信号および色空間識別子を、所定のネットワークを通じて、パーソナルコンピュータ等の他の機器に転送する。
【0077】
図9のフロー図は、色空間識別子が記録媒体135から読み取られ、この色空間識別子に基づいてLCD138に再生ビデオ信号の色空間がアイコン表示され、また、この色空間識別子がネットワークを通じて他の機器に転送されること、を示している。なお、図9における色空間識別子読み出しブロック、アイコン表示ブロックおよびネットワークI/Fブロックは、制御部120、媒体I/F134、LCDコントローラ137、LCD138、外部I/F139等で構成されている。この図9のフロー図は、図1に示す撮像装置100だけでなく、記録媒体135からビデオ信号を再生する他の再生装置(プレーヤ)にも、適用できる。
【0078】
図10は、転送路上でのデータ例を示している。上述したようにSEI NALユニットに含まれる色空間識別子が記録媒体135から読み出され、図9のネットワークI/Fブロックから所定のタイミングで転送される。
【0079】
図1に示す撮像装置100の動作を説明する。被写体からの像光がレンズブロック111を介して撮像素子112の撮像面に照射され、この撮像面に被写体像が結像される。撮像素子112では、撮像面に被写体像が結像された状態で撮像が行われる。撮像素子112から出力されるアナログの撮像信号は、前処理回路113に供給され、ノイズ除去、自動利得制御、およびA/D変換などの所定の信号処理が施される。
【0080】
カメラ部110の前処理回路113から出力されるデジタルビデオデータ(カメラ出力データ)は、信号処理部131に供給される。この信号部131では、カメラ出力データに対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等の処理が行われ、撮像ビデオ信号としての、輝度信号Yおよび色差信号Cr/Cbが生成される。
【0081】
ここで、撮像装置100のユーザが、操作部136を操作して、記録されるビデオ信号の色空間としてsRGB色空間を指定した場合には、制御部120(CPU121)により、記録されるビデオ信号の色空間としてsRGB色空間が選択される。そして、制御部120の制御により、マトリクス演算後のR信号、G信号、B信号の目標色空間がsRGB色空間となるように、リニアマトリクス処理部155(図2参照)のマトリクス係数が設定される。つまり、ユーザが記録されるビデオ信号の色空間としてsRGB色空間を指定した場合、信号処理部131で生成されるビデオ信号(輝度信号Yおよび色差信号Cr/Cb)は、sRGB色空間のビデオ信号となる。同様にして、ユーザが記録されるビデオ信号の色空間として拡張sRGB色空間を指定した場合、信号処理部131で生成されるビデオ信号(輝度信号Yおよび色差信号Cr/Cb)は、拡張sRGB色空間のビデオ信号となる。
【0082】
撮像時(記録時)には、上述したように信号処理部131で生成されるビデオ信号がLCDコントローラ137に供給され、LCD138には当該ビデオ信号に基づいて撮像画像(記録画像)が表示される。なお、上述していないが、LCD138に、この撮像画像と共に、上述したようにユーザが指定した記録ビデオ信号の色空間の情報がOSD表示されるようにしてもよい。
【0083】
また、撮像時(記録時)には、上述したように信号処理部131で生成されるビデオ信号がエンコード/デコード部132に供給され、MPEG4−AVC規格に基づいて、データ圧縮処理され、圧縮ビデオ信号が生成される。この際に、SPSNALユニットを含むアクセスユニットに、色空間を示す情報を含む色空間識別子(図5〜図7参照)が格納されたSEI NALユニットが含められる。なお、色空間識別子は、制御部120のCPU121で生成されるが、ユーザが指定した拡張sRGB色空間を指定した場合のみ、生成される。つまり、記録されるビデオ信号の色空間が拡張sRGB色空間である場合のみ、圧縮ビデオ信号に色空間識別子が付加される。
【0084】
エンコード/デコード部132で得られる圧縮ビデオ信号は、制御部120の制御の下、媒体I/F134に供給され、この媒体I/F134を通じて、当該媒体I/F134に装着された記録媒体135に記録される。
【0085】
再生時には、媒体I/F134を通じて、当該媒体I/F134に装着された記録媒体135から、所定の圧縮ビデオ信号が読み出される。このように記録媒体135から読み出される圧縮ビデオ信号は、エンコード/デコード部132に供給され、データ伸長の処理が施される。そして、エンコード/デコード部132で得られる再生ビデオ信号がLCDコントローラ137に供給され、LCD138には当該ビデオ信号に基づいて再生画像が表示される。この場合、LCD138には、再生ビデオ信号に対応付けて記録されている色空間識別子(図5〜図7参照)に含まれる色空間を示す情報に基づいて、再生ビデオ信号の色空間が何であるかを示すアイコンがOSD表示される。なお、色空間のアイコン表示は、色空間が拡張sRGB色空間である場合のみ行うようにしてもよい。この場合、ユーザは、色空間のアイコン表示がないときは、再生ビデオ信号の色空間はsRGB色空間であると推定できる。
【0086】
転送時には、制御部120の制御のもと、媒体I/F134を通じて、記録媒体135から所定の圧縮ビデオ信号が読み出される。この圧縮ビデオ信号は、例えば、エンコード/デコード部132に供給されて、データ伸長処理が施される。そして、エンコード/デコード部132で得られるビデオ信号および色空間識別子は、外部I/F139から、所定のネットワークを通じて、パーソナルコンピュータ等の他の機器に転送される。この場合、上述したように圧縮ビデオ信号に付加されて記録される色空間識別子は、ネットワークインタフェースの規格に適合した形成で生成されるので、エンコード/デコード部132で得られる色空間識別子は、形式を変換する必要がなく、そのままネットワークに転送される。この場合、図9の転送フローに、形式を変換するための変換ブロックが示されていないように、当該変換ブロックは不要となる。
【0087】
図11のフローチャートは、撮像時(記録時)における、色空間識別子の記録手順を示している。CPU121は、ステップST1で、処理を開始し、その後に、ステップST2に進む。このステップST2において、CPU121は、拡張sRGB色空間が選択されているか否かを判別する。CPU121は、拡張sRGB色空間が選択されているときは、ステップST3において、ビデオ信号の記録を開始すると共に、ステップST4において、所定ピクチャ(SPSNALユニットを含むアクセスユニットのピクチャ)の色域に関する情報を求める。
【0088】
次に、CPU121は、ステップST5において、ネットワークインタフェースに応じた形式で色空間識別子を作成し、この色空間識別子が格納されたSEINALユニットを圧縮ビデオ信号のSPS NALユニットを含むアクセスユニットに含めて記録する。そして、CPU121は、ステップST4およびステップST5の処理をビデオ信号の記録が行われている間繰り返し行い、ビデオ信号の記録が終了したとき、ステップST6において、処理を終了する。
【0089】
また、CPU121は、ステップST2において、拡張sRGB色空間が選択されていないとき、つまり、sRGB色空間が選択されているときは、ステップST7に進む。CPU121は、ステップST7において、色空間識別子を作成しないものとし、ステップST6で、処理を終了する。
【0090】
図1に示す撮像装置100においては、ユーザは、記録されるビデオ信号の色空間として、sRGB色空間または拡張sRGB色空間のいずれかを指定できる。信号処理部131からは、当該指定された色空間に対応したビデオ信号(輝度信号Yおよび色差信号Cb/Cr)が得られ、このビデオ信号が、エンコード/デコード部132でMPEG4−AVC規格のデータ圧縮処理が施されて、記録媒体135に記録される。
【0091】
また、制御部120のCPU121では、ユーザが、記録されるビデオ信号の色空間として拡張sRGB色空間を指定したとき、当該拡張sRGB色空間を示す情報を含む色空間識別子が生成され、この色空間識別子が格納されたSEINALユニットが、エンコード/デコード部132で生成される圧縮ビデオ信号における、SPS NALユニットを含むアクセスユニットに含められて、記録媒体135に記録される。
【0092】
つまり、図1に示す撮像装置100においては、記録媒体135には、記録されるビデオ信号の色空間がsRGB色空間であるとき、ビデオ信号および色空間識別子が対応づけて記録される。そのため、記録媒体135に記録されたビデオ信号によるカラー画像を再生する再生装置にあっては、当該ビデオ信号と対応づけて記録されている色空間識別子に基づき、当該記録されたビデオ信号の色空間を容易に判別できる。
【0093】
したがって、記録媒体135に記録されたビデオ信号によるカラー画像を再生する再生装置にあっては、上述の判別結果に基づいて、当該ビデオ信号を自装置に適した状態で使用でき、ビデオ信号が持つ本来の色を忠実に再現することが可能となる。
【0094】
図12は、再生装置における色領域マッピングの概念図である。再生装置は、色空間識別子を認識すると、入力されるビデオ信号の色空間を理解でき、再生装置の色空間領域に適した形で入力ビデオ信号を最適にマッピングでき、記録されたビデオ信号が持つ本来の色を忠実に再現することが可能となる。例えば、ビデオ信号の色空間領域が再生装置の色空間領域の内部にくるようにマッピング処理が行われることで、ビデオ信号が再生装置に適合するようにされる。
【0095】
図13は、従来行われている、再生装置の色空間領域の境界にクリッピングする例を示している。「●」は入力されたビデオ信号を構成する画素が持つ色情報で、「○」はクリッピングされた後の色情報を示している。これに対して、図14は、色空間識別子に含まれる情報に基づき、再生装置の色空間領域に応じてマッピングする例を示している。「●」は入力されたビデオ信号を構成する画素が持つ色情報で、「○」はマッピングされた後の色情報を示している。この例では、入力されたビデオ信号を構成する画素が持つ色情報のうち、再生装置の色空間領域の外にある色情報は、入力されたビデオ信号の色空間領域の境界線と平行な直線と再生装置の色空間領域の境界との交点にマッピングされている。
【0096】
図15は、この発明の他の実施の形態としてのビデオシステム200の構成を示している。この図15において、図1と対応する部分には同一符号を付して示している。このビデオシステム200は、記録装置を構成するカメラ201と、再生装置を構成するプレーヤ202と、画像表示装置としてのテレビ203とを備えている。プレーヤ202およびテレビ203はLAN等のネットワーク204を介して接続されている。
【0097】
カメラ201は、詳細説明は省略するが、上述の図1に示す撮像装置100と同様に構成されている。なお、このビデオシステム200においては、ビデオ信号および色空間識別子が対応付けて記録された記録媒体135をプレーヤ202に装着して使用する。
【0098】
プレーヤ202は、記録媒体135を装着し、当該記録媒体135からビデオ信号および色空間識別子を再生する再生部202aと、当該再生されたビデオ信号および色空間識別子を、ネットワーク204を介してテレビ203に転送する外部I/F(ネットワークインタフェース)139とを有している。この場合、カメラ201において色空間識別子をネットワークインタフェースの出力形態に適合した形式で生成して記録媒体135に記録しておくことで、外部I/F139は、再生部202aにより記録媒体135から再生された色空間識別子を、所定の転送タイミングでそのままの形式でネットワーク204に送出することが可能となる。ネットワーク204上でのデータの概念図は、図10で示した通りである。
【0099】
テレビ203は、プレーヤ202から転送されてきたビデオ信号および色空間識別子を用いて、画像を表示する。テレビ203は、ビデオ信号と共に送られてくる色空間識別子に含まれる情報に基づいて、ビデオ信号を構成する画素が持つ色情報を、当該テレビ203の色空間領域に応じてマッピングし(図14参照)、ビデオ信号が持つ本来の色を忠実に再現する。
【0100】
なお、テレビ203では、プレーヤ202の外部I/F139から所定の転送タイミングで送信された色空間識別子を取得し、当該取得された色空間識別子に対応したマッピング処理を行う。そのため、テレビ203では、色空間が異なっている複数のビデオ信号が結合されたビデオ信号が送られてくる場合等でも問題がなく、ビデオ信号が持つ本来の色を忠実に再現できる。
【0101】
図16のフローチャートは、テレビ203におけるマッピング処理の変更手順を示している。テレビ203は、ステップST11で処理を開始し、ステップST12に移る。このステップST12において、テレビ203は、色空間識別子が転送されてきたか否かを判別する。テレビ203は、色空間識別子が転送されてきたときは、ステップST13に移る。
【0102】
テレビ203は、ステップST13において、色空間識別子を取得する。そして、テレビ203は、ステップST14に移り、ステップST13で取得した色空間識別子に基づいたマッピング処理が行われるように、マッピング処理を変更する。テレビ203は、ステップST14の後に、ステップST12に戻り、次の色空間識別子の転送判別に移る。
【0103】
上述の実施の形態によれば、撮像ビデオ信号を処理して得られた所定色空間に対応したビデオ信号を記録媒体135に記録する際、当該所定色空間を示す情報を含む色空間識別子を生成してビデオ信号に対応付けて記録するものであり、記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現できる。
【0104】
また、上述の実施の形態によれば、ビデオストリームのSPS NALユニットが含まれるアクセスユニット(ビデオ信号の所定位置)に対応して色空間識別子が存在するため、色空間の異なる複数のビデオ信号を結合したビデオ信号をテレビ等で再生する場合でも問題がなく、従って、分割・結合等の編集性能が向上する。
【0105】
また、上述の実施の形態によれば、色空間識別子には、色空間を示す情報と共に、ビデオ信号の色域に関する情報(例えば、色域の最大値および最小値)が含まれるものであり、ネットワークを介して接続された再生装置(例えば、図15に示すテレビ203等)では、当該色域に関する情報をビデオ信号から取得する処理を行うことなく当該色域に関する情報を用いることができ、当該再生装置に適合したマッピング処理を容易に行うことができる。
【0106】
また、上述実施の形態によれば、SPS NALユニットを含むアクセスユニットに色空間識別子が挿入されるものであり、当該アクセスユニットを読み出すことにより、シーケンスパラメータセットおよび色空間識別子を、つまり関連した色情報を一括して読み出すことができ、ビデオ信号を記録する記録装置(例えば、図15に示すカメラ201等)で再生する場合や、再生装置(例えば、図15に示すプレーヤ202等)において、必要な情報アクセス時間を短縮できる。
【0107】
また、上述実施の形態によれば、sRGB色空間が選択されるときは色空間識別子が生成されず、拡張sRGB色空間が選択されるときは色空間識別子が生成されるものであり、特定の色空間としてのsRGB色空間のビデオ信号が記録される従来のもの(色空間識別子は記録されていない)との互換性を保つことができる。
【0108】
また、上述実施の形態によれば、色空間識別子はネットワークインタフェースの出力形態に適合した形式で生成されて記録媒体135に記録されるものであり、当該色空間識別子をビデオ信号と共にネットワークに送出する際には、そのままの形式で送出でき、変換ブロック等が不要となる。
【0109】
なお、上述実施の形態においては、色空間識別子に含める赤(R)、緑(G)、青(B)の各色の色域に関する情報を、当該色空間識別子が格納されたSEINALユニットを含めるアクセスユニット内のCoded Slice NALユニットのピクチャから計算して求めている。
【0110】
しかし、記録能力の低いモバイル機器の場合は、SEINALユニットが付加されるアクセスユニットに対応するピクチャから各色の色域に関する情報を計算で求めることが困難な場合が多い。
【0111】
そこで、例えば、図1に示す撮像装置100において、フラッシュROM123等に、当該撮像装置100が対応している各色空間(sRGB色空間、拡張sRGB色空間)における赤(R)、緑(G)、青(B)の各の色域に関する情報(例えば、色域の最大値、最小値)を格納しておき、CPU121は、色空間識別子を生成する際に、当該フラッシュROM123等から各色域に関する情報を読み出して用いるようにしてもよい。
【0112】
この場合、SPS NALユニットを含むアクセスユニット毎に、SEINALユニットを用いて付加される色空間識別子は、ビデオ信号が記録されている間、ユーザが、色空間の指定を変更しない限り、同じものとなる。この場合においても、再生装置が当該色空間識別子に基づいて、入力されたビデオ信号の色空間情報、色域に関する情報等を認識できるので、当該ビデオ信号を自装置に適した状態で使用でき、ビデオ信号が持つ本来の色を忠実に再現することが可能となる。
【0113】
また、上述実施の形態においては、エンコード/デコード部132でMPEG4−AVC規格のデータ圧縮処理が行われ、色空間識別子が格納されたSEINALユニットを、SPS NALユニットを含むアクセスユニットに含めるものを示した。しかし、一般に、ビデオ信号に、複数のアクセスユニットが連続したストリーム構成を得ると共に、所定数のアクセスユニットにより構成されるシーケンス毎に当該シーケンスの色情報を含むシーケンスパラメータセットを有する構成とするための所定のデータ圧縮処理を施すものにあっては、シーケンスパラメータセットを含むアクセスユニットに色空間識別子を含める構成とすることで、同様の効果を得ることができる。
【0114】
なお、色空間識別子が含められるアクセスユニットは、SPSNALユニットを含むアクセスユニットに限定されるものではない。例えば、色空間識別子が含められるアクセスユニットを、SPS NALユニットを含むアクセスユニットとは無関係に、間欠的に配置された所定のアクセスユニットとしてもよい。例えば、図4B(a)に「◎」印を付して示すように、色空間識別子が含められるアクセスユニットを、SPSNALユニットを含むアクセスユニットと、さらにその他の所定数毎のアクセスユニットとしてもよい。この場合、全てのアクセスユニットにSEI NALユニットを含めるものではなく、冗長度を軽減できる。
【0115】
また、例えば、色空間識別子が格納されたSEINALユニットを含めるアクセスユニットを全てのアクセスユニットとしてもよい。この場合、冗長度は高くなるが、ビデオ信号はアクセスユニット毎に色域に関する情報を持つことになるので、再生装置における色再現性の精度を高くできる。
【0116】
また、上述では、拡張sRGB色空間の例として、図17a〜図17dに「☆」印で示す色空間領域を持つもの、および図18a〜図18dに「○」印で示す色空間領域を持つものの2つを示したが、拡張sRGB色空間はこれらに限定されるものではなく、その他の色空間領域を持つものであってもよい。
【0117】
また、上述実施の形態においては、ユーザの指定に基づいてCPU121が選択し得る色空間がsRGB色空間および拡張sRGB色空間の2つであるものを示したが、さらに多くの色空間から任意の色空間を選択できるものにも、この発明を同様に適用できる。その場合において、特定の色空間が選択された場合には、色空間識別子を生成して付加することを省略できる。
【産業上の利用可能性】
【0118】
この発明は、記録されたビデオ信号が持つ本来の色を再生装置において忠実に再現できるように当該ビデオ信号を記録媒体に記録できるものであり、例えば、撮像ビデオ信号をMPEG4−AVC規格でデータ圧縮して記録媒体に記録する撮像装置等に適用できる。
【図面の簡単な説明】
【0119】
【図1】実施の形態としての撮像装置の構成を示すブロック図である。
【図2】撮像装置における信号処理部の構成を示すブロック図である。
【図3】撮像素子の前面に配される4色カラーフィルタの色配列を示す図である。
【図4A】MPEG4−AVC規格の概要を説明するための図である。
【図4B】分割編集時におけるビデオストリームの分割例を示した図である。
【図5】色空間を示す情報等を含む色空間識別子の構造例を示す図である。
【図6】ネットワークインタフェースAにおける色空間識別子の構造を示す図である。
【図7】ネットワークインタフェースBにおける色空間識別子の構造を示す図である。
【図8】再生時における再生画像(色空間を示すアイコン)の表示例を示す図である。
【図9】色空間識別子の読み取り転送フローを示す図である。
【図10】転送路上でのデータ例を示す図である。
【図11】撮像時(記録時)における、色空間識別子の記録手順を示すフローチャートである。
【図12】再生装置における色領域マッピングの概念を示す図である。
【図13】再生装置の色空間領域の境界へクリッピングする例を示す図である。
【図14】再生装置の色空間領域に応じてマッピングする例を示す図である。
【図15】他の実施の形態としてのビデオシステムの構成を示すブロック図である。
【図16】テレビにおけるマッピング処理の変更手順を示すフローチャートである。
【図17a】主白色光源に補助光源を付加した場合の色再現範囲を示した図である。
【図17b】図17aにおける緑色(G)領域の色域を拡大して示した図である。
【図17c】図17aにおける青色(B)領域の色域を拡大して示した図である。
【図17d】図17aにおける赤色(R)領域の色域を拡大して示した図である。
【図18a】カラーフィルタを改善した場合の色再現範囲を示した図である。
【図18b】図18aにおける緑色(G)領域の色域を拡大して示した図である。
【図18c】図18aにおける青色(B)領域の色域を拡大して示した図である。
【図18d】図18aにおける赤色(R)領域の色域を拡大して示した図である。
【符号の説明】
【0120】
100・・・撮像装置、110・・・カメラ部、111・・・レンズブロック、112・・・撮像素子、113・・・前処理回路、114・・・光学ブロック用ドライバ、115・・・撮像素子用ドライバ、116・・・タイミング生成回路、120・・・制御部、121・・・CPU、122・・・RAM、123・・・フラッシュROM、124・・・時計回路、125・・・システムバス、131・・・信号処理部、132・・・エンコード/デコード部、133・・・SDRAM、134・・・媒体インタフェース、135・・・記録媒体、136・・・操作部、137・・・LCDコントローラ、138・・・LCD、139・・・外部インタフェース、151・・・オフセット補正処理部、152・・・ホワイトバランス補正処理部、153・・・垂直方向同時化処理部、154・・・処理部、155・・・リニアマトリクス処理部、156R〜156B・・・ガンマ補正処理部、157・・・輝度信号生成処理部、158・・・色差信号生成処理部、159・・・帯域制限・間引き処理部、200・・・ビデオシステム、201・・・カメラ、202・・・プレーヤ、202a・・・再生部、203・・・テレビ、204・・・ネットワーク

【特許請求の範囲】
【請求項1】
撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理部と、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成部と、
前記ビデオ信号処理部で得られた前記ビデオ信号と、前記色空間識別子生成部で生成された前記色空間識別子とを記録媒体に対応付けて記録する記録部とを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされる
ことを特徴とする記録装置。
【請求項2】
複数の色空間から前記所定色空間を選択する色空間選択部をさらに備える
ことを特徴とする請求項1に記載の記録装置。
【請求項3】
前記色空間識別子生成部で生成される色空間識別子には、前記色空間を示す情報と共に、前記ビデオ信号の色域に関する情報が含まれる
ことを特徴とする請求項1に記載の記録装置。
【請求項4】
前記色空間識別子生成部は、
前記ビデオ信号の色域に関する情報を記憶した記憶部を有し、
前記色空間識別子に含める前記ビデオ信号の色域に関する情報を前記記憶部から読み出して得る
ことを特徴とする請求項3に記載の記録装置。
【請求項5】
前記色空間識別子生成部は、前記ビデオ信号の所定位置に、前記色空間識別子を生成し、
前記記録部は、前記ビデオ信号の前記所定位置に、前記ビデオ信号と前記色空間識別子生成部で生成された前記色空間識別子とを前記記録媒体に対応付けて記録する
ことを特徴とする請求項1に記載の記録装置。
【請求項6】
前記記録部は、前記ビデオ信号処理部で得られたビデオ信号を、当該ビデオ信号に複数のアクセスユニットが連続したストリーム構成を得るための所定のデータ圧縮処理を施して記録し、
前記色空間識別子生成部は、前記データ圧縮処理後における前記ビデオ信号のストリームを構成する各アクセスユニットに対応して、前記色空間識別子を生成する
ことを特徴とする請求項5に記載の記録装置。
【請求項7】
前記記録部は、前記ビデオ信号処理部で得られたビデオ信号を、当該ビデオ信号に複数のアクセスユニットが連続したストリーム構成を得るための所定のデータ圧縮処理を施して記録し、
前記色空間識別子生成部は、前記データ圧縮処理後における前記ビデオ信号のストリームを構成する各アクセスユニットのうち、間欠的に配置されている所定のアクセスユニットに対応して、前記色空間識別子を生成する
ことを特徴とする請求項5に記載の記録装置。
【請求項8】
前記記録部は、前記ビデオ信号処理部で得られたビデオ信号を、当該ビデオ信号に、複数のアクセスユニットが連続したストリーム構成を得ると共に、所定数の前記アクセスユニットにより構成されるシーケンス毎に当該シーケンスの色情報を含むシーケンスパラメータセットを有する構成とするための所定のデータ圧縮処理を施して記録し、
前記色空間識別子生成部は、前記データ圧縮処理後における前記ビデオ信号のストリームを構成する各アクセスユニットのうち、前記シーケンスパラメータセットを含むアクセスユニットに対応して、前記色空間識別子を生成する
ことを特徴とする請求項5に記載の記録装置。
【請求項9】
前記所定のデータ圧縮処理部は、MPEG4−AVC規格のデータ圧縮処理を行うデータ圧縮処理部であり、
前記シーケンスパラメータセットを含むアクセスユニットは、前記シーケンスパラメータセットのNALユニットを含むアクセスユニットである
ことを特徴とする請求項8に記載の記録装置。
【請求項10】
前記色空間識別子生成部は、
前記色空間選択部で特定の色空間が選択されるときには、前記色空間識別子を生成しない
ことを特徴とする請求項2に記載の記録装置。
【請求項11】
前記記憶媒体に記憶された前記ビデオ信号および前記色空間識別子をネットワークに送出するネットワークインタフェースをさらに備え、
前記色空間識別子生成部は、前記ネットワークインタフェースの出力形態に適合した形式で前記色空間識別子を生成する
ことを特徴とする請求項1に記載の記録装置。
【請求項12】
前記記録媒体に記録された前記ビデオ信号および前記色空間識別子を再生する再生部と、
前記再生部により再生された前記色空間識別子に基づいて、前記再生部により再生される前記ビデオ信号に対応する前記色空間の情報を表示する表示部とをさらに備える
ことを特徴とする請求項1に記載の記録装置。
【請求項13】
撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理ステップと、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成ステップと、
前記ビデオ信号処理ステップで得られた前記ビデオ信号と、前記色空間識別子生成ステップで生成された前記色空間識別子とを記録媒体に対応付けて記録する記録ステップとを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされる
ことを特徴とする記録方法。
【請求項14】
撮像ビデオ信号を処理してビデオ信号を記録媒体に記録する記録処理部と、前記記録媒体に記録されているビデオ信号を再生してネットワークに送出する再生処理部とを有する記録装置において、
前記記録処理部は、
前記撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理部と、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成部と、
前記ビデオ信号処理部で得られた前記ビデオ信号と、前記色空間識別子生成部で生成された前記色空間識別子とを記録媒体に対応付けて記録する記録部とを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされ、
前記再生処理部は、
前記記録媒体に記録されている前記ビデオ信号および前記色空間識別子を再生する再生部と、
前記再生部で再生された前記ビデオ信号および前記色空間識別子を前記ネットワークに送出するネットワークインタフェースとを備える
ことを特徴とする記録装置。
【請求項15】
被写体を撮像して撮像ビデオ信号を出力する撮像部と、前記撮像ビデオ信号を処理してビデオ信号を記録媒体に記録する記録処理部と、前記記録媒体に記録されているビデオ信号を再生してネットワークに送出する再生処理部とを有する撮像装置において、
前記記録処理部は、
前記撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理部と、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成部と、
前記ビデオ信号処理部で得られた前記ビデオ信号と、前記色空間識別子生成部で生成された前記色空間識別子とを記録媒体に対応付けて記録する記録部とを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされ、
前記再生処理部は、
前記記録媒体に記録されている前記ビデオ信号および前記色空間識別子を再生する再生部と、
前記再生部で再生された前記ビデオ信号および前記色空間識別子を前記ネットワークに送出するネットワークインタフェースとを備える
ことを特徴とする撮像装置。
【請求項16】
所定色空間に対応したビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録されると共に、前記所定色空間を示す情報を含む色空間識別子が前記所定のアクセスユニットに対応付けて記録されている記録媒体を扱う再生装置において、
前記記録媒体に記録されている前記ビデオ信号および前記色空間識別子を再生する再生部と、
前記再生部で再生された前記ビデオ信号および前記色空間識別子をネットワークに送出するネットワークインタフェースと
を備えることを特徴とする再生装置。
【請求項17】
記録装置と再生装置とを有するビデオシステムにおいて、
前記記録装置は、
撮像ビデオ信号を処理して所定色空間に対応したビデオ信号を得るビデオ信号処理部と、
前記所定色空間を示す情報を含む色空間識別子を生成する色空間識別子生成部と、
前記ビデオ信号処理部で得られた前記ビデオ信号と、前記色空間識別子生成部で生成された前記色空間識別子とを記録媒体に対応付けて記録する記録部とを備え、
前記記録媒体には、前記ビデオ信号が複数のアクセスユニットで構成されるビデオストリーム形式で記録され、
前記色空間識別子は、前記所定のアクセスユニットに対応付けされ、
前記再生装置は、
前記記録媒体に記録されている前記ビデオ信号および前記色空間識別子を再生する再生部と、
前記再生部で再生された前記ビデオ信号および前記色空間識別子をネットワークに送出するネットワークインタフェースとを備える
ことを特徴とするビデオシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17a】
image rotate

【図17b】
image rotate

【図17c】
image rotate

【図17d】
image rotate

【図18a】
image rotate

【図18b】
image rotate

【図18c】
image rotate

【図18d】
image rotate


【公開番号】特開2008−136025(P2008−136025A)
【公開日】平成20年6月12日(2008.6.12)
【国際特許分類】
【出願番号】特願2006−321178(P2006−321178)
【出願日】平成18年11月29日(2006.11.29)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】