画像処理装置及び画像処理方法
【課題】色が表示上変化するのを防ぐことができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像信号の色空間規格の変化点を検出するストリームプロセッサ５２と、画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録するハードディスクドライブ４４と、変化点情報に基づいて画像信号の信号処理を制御するホストＣＰＵ６０とを備え、ホストＣＰＵ６０は、色の表示上の変化を防ぐように編集処理や伝送処理を制御する。
【解決手段】画像信号の色空間規格の変化点を検出するストリームプロセッサ５２と、画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録するハードディスクドライブ４４と、変化点情報に基づいて画像信号の信号処理を制御するホストＣＰＵ６０とを備え、ホストＣＰＵ６０は、色の表示上の変化を防ぐように編集処理や伝送処理を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色空間情報が異なる複数の画像データを処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、ディスプレイやＨＤＴＶ（High Definition TeleVision）の放送では、ｓＲＧＢ（ＩＥＣ（International Electrotechnical Commission）６１９６６−２−１）やＩＴＵ−Ｒ（International Telecommunication Union-Radiocommunication Sector） ＢＴ．７０９で規格化された色空間が広く使われているが、近年、広色域パネルの出現により、受像機側でｓＲＧＢを超える広色域の色表現が可能となっている。
【０００３】
このような受像機には、パネルの広色域を活かすために、ｓＲＧＢの色空間の映像コンテンツに対して信号処理によって色域を伸長する技術（以下、「色域伸長処理」と呼ぶ。）が採用されており、受像機は、ｓＲＧＢ色空間でクリップされてしまうような彩度の高い色を色域伸長処理することで、より鮮やかな色を再現することができる。また、ユーザは、受像機の画質モードを選択することにより、色域伸長処理をオン／オフすることが可能となっている。
【０００４】
また、受像機は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）を使って、映像信号とともに色空間情報を、ソース機器から受信することも可能となっており、色空間情報に従って、ＢＴ．７０９の場合は、色域伸長処理をオン状態にし、他の広色域の色空間情報の場合は、色域伸長処理をオフ状態にする、といった制御を自動的に行うことができる。
【０００５】
一方、撮像素子やカメラ信号処理も広色域化しており、カメラで撮影したｓＲＧＢを超える色域の広色域信号を、ディスクやテープへ記録し、再生することも可能となっている。また、ディスクやテープに記録された広色域信号を、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４などのデジタルインターフェースを介して光ディスクレコーダにダビングしたり、広色域信号が記録された該ディスクを光ディスクレコーダやプレーヤで再生したりすることも可能となっている。また、カメラやレコーダは、ＨＤＭＩを使って、これらの広色域信号や色空間情報などを受像機に伝送することもできる。
【０００６】
【特許文献１】特開２００６−１８０４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
受像機は、画像データの色空間情報を判別し、描画モードを切り替えるが、画像データの色空間情報は、時系列に並べられたデータストリームの中を解析しないと知ることができない。また、画像データは、直列的に処理されるため、色空間情報が切り替わる時点は得られても、その状態がいつまで続くかを知ることができない。
【０００８】
したがって、色空間情報が頻繁に切り替わる場合、受像機の描画モードの切り替わりが頻繁に変化し、画面の色合いが悪くなるという問題が発生する。
【０００９】
また、色空間情報が異なる画像データを混在させて加工する場合、頻繁に色空間情報が変化するような加工を行う虞がある。
【００１０】
また、直列的に画像データを処理する以外、加工対象の状態を知ることができないため、加工した結果、どのように再生されるかを知ることができず、画面の色合いが頻繁に変わってしまう虞がある。
【００１１】
本発明は、このような従来の実情に鑑みて提案されたものであり、色が表示上変化するのを防ぐことができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理装置であって、画像信号の色空間規格の変化点を検出する検出手段と、上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録手段と、上記変化点情報に基づいて画像信号の信号処理を制御する制御手段とを備える。
【００１３】
また、本発明に係る画像処理方法は、第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理方法であって、画像信号の色空間規格の変化点を検出する検出工程と、上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録工程と、上記変化点情報に基づいて画像信号の信号処理を制御する制御工程とを有する。
【発明の効果】
【００１４】
本発明によれば、画像信号の色空間規格の変化点を検出し、画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録するため、例えば編集処理において変化点情報に基づいて警告又は禁止することにより、色が表示上変化するのを防ぐことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１６】
図１は、本発明の一実施の形態に係る再生システムを示す図である。この再生システムは、記録再生装置１と、受像機２とが、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブル３を介して接続されており、受像機２は、第１の色空間規格の画像データを、第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像データに擬似的に色域を伸張して表示することが可能となっている。第１の色空間規格の例としては、ｓＲＧＢ（ＩＥＣ６１９６６−２−１）、ＩＴＵ−Ｒ ＢＴ．７０９等が挙げられる。また、第２の色空間規格の例としては、ｘｖＹＣＣ等が挙げられる。
【００１７】
ｘｖＹＣＣは、国際電気標準会議（IEC）が国際標準（IEC 61966−2−4）として発行した規格であり、ＨＤＴＶ（High Definition TeleVision）で利用するＩＴＵ−Ｒ ＢＴ．７０９の色域（ｓＲＧＢと同等）との互換性を確保しながら、色空間を広げたものである。そして、このｘｖＹＣＣによれば、現行の動画コンテンツの色空間規格「ＩＴＵ−Ｒ ＢＴ．７０９」（静止画ではｓＲＧＢに相当）では表現できない色を表現することができる。
【００１８】
図２は、ｘｖＹＣＣの色域を平面に投射した場合の模式図である。この図２において、色域ａはｓＲＧＢの色域であり、色域ｂはｘｖＹＣＣで拡張された色域である。図２に示すようにｓＲＧＢでは、Ｒ，Ｇ，Ｂそれぞれを０〜１で表現する色のみを利用してきたのに対し、ｘｖＹＣＣでは負の値や１を超える色も定義されている。したがって、例えば、受像機２がｓＲＧＢの色域ａの映像コンテンツを色域ｂにまで伸長する処理（以下、「色域伸長処理」と呼ぶ。）を行って、物体の素材感・立体感を忠実に再現すれば、ユーザは広色域のカラー画像を楽しむことができる。
【００１９】
ＨＤＭＩケーブル３の規格であるＨＤＭＩは、ＩＥＥＥ１３９４の上位互換とされており、物理層にはＴＭＤＳ（Transition Minimized Differential Signaling）、信号の暗号化にはＨＤＣＰ（High-bandwidth Digital Content Protection）、機器間認証にはＥＤＩＤ（Extended Display Identification Data）、系全体の制御系接続にはＣＥＣ（Consumer Electronics Control）が採用されている。また、ＨＤＭＩバージョン１．３には、メタデータとｘｖＹＣＣ色空間の定義が追加されている。したがって、例えば、受像機２が記録再生装置１から受信したメタデータと自身の色域情報とに基づいて画像データを色域伸張処理すれば、より具体的には画像データに対し機器間の色空間の変換処理（Gamut Mapping Algorithm）をすれば、正しい色を再現することができる。
【００２０】
図１に戻って、再生システムの構成について説明する。記録再生装置１は、ＭＰＥＧ（Moving Picture Expert Group）デコーダ１１と、ビデオ・グラフィック・プロセッサ１２と、ホストＣＰＵ（Central Processing Unit）１３と、ＨＤＭＩ Ｔｘ（トランスミッタ）１４と、ＨＤＭＩコネクタ１５とを備えている。
【００２１】
ＭＰＥＧデコーダ１１は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４などのビデオストリームをデコードし、ベースバンド信号を生成する。
【００２２】
ビデオ・グラフィック・プロセッサ１２は、ＭＰＥＧデコーダ１１にて生成されたベースバンド信号を所望の画枠サイズへ変換処理したり、複数のベースバンド信号を合成処理したりする。
【００２３】
ホストＣＰＵ１３は、ＭＰＥＧデコーダ１１及びビデオ・グラフィック・プロセッサ１２を制御する。例えば、ＭＰＥＧデコーダ１１に所望のビデオストリームのデコードを指示し、ビデオ・グラフィック・プロセッサ１２にデコードされたベースバンド信号を用いた合成画像の生成を指示する。また、合成画像の色空間規格を決定し、その色空間情報をＨＤＭＩ Ｔｘ１４に送る。また、ホストＣＰＵ１３は、ＨＤＭＩケーブル３のＤＤＣ（Display Data Channel）ラインにより受像機２と通信を行う。
【００２４】
ＨＤＭＩ Ｔｘ１４は、ビデオ・グラフィック・プロセッサ１２にて信号処理された映像音声信号とともに、ホストＣＰＵ１３から送られた色空間規格を示す色域識別フラグ、メタデータなどの属性データをＴＭＤＳ信号に変換し、ＨＤＭＩコネクタ１５に出力する。この属性データは、ＨＤＭＩ規格で定義されているＡＶＩ（Auxiliary Video Information）ＩｎｆｏＦｒａｍｅを使って伝送することができる。
【００２５】
ＨＤＭＩコネクタ１５は、ＨＤＭＩケーブル３と接続され、ＨＤＭＩ Ｔｘ１４にて変換されたＴＭＤＳ信号を受像機２に伝送する。
【００２６】
次に、受像機２の構成について説明する。受像機２は、ＨＤＭＩコネクタ２１と、ＨＤＭＩ Ｒｘ（レシーバ）２２と、ホストＣＰＵ２３と、ＥＤＩＤＲＯＭ（Extended Display Identification Data Read Only Memory）２４と、ビデオ・グラフィック・プロセッサ２５と、ディスプレイデバイス２６とを備えている。
【００２７】
ＨＤＭＩコネクタ２１は、ＨＤＭＩケーブル３と接続され、ＴＭＤＳ信号を受信する。
【００２８】
ＨＤＭＩ Ｒｘ２２は、ＴＭＤＳ信号から映像音声信号と属性データとを取得し、映像信号をビデオ・グラフィック・プロセッサ２５に送る。
【００２９】
ホストＣＰＵ２３は、属性データに基づいてビデオ・グラフィック・プロセッサ２５の色域伸長処理のオン／オフを制御する。具体的には、例えば、属性データの色空間情報がＩＴＵ−Ｒ ＢＴ．７０９の場合、ビデオ・グラフィック・プロセッサ２５の色域伸長処理をオン状態にし、属性データの色空間情報がｘｖＹＣＣの場合、ビデオ・グラフィック・プロセッサ２５の色域伸長処理をオフ状態にする。
【００３０】
ＥＤＩＤＲＯＭ２４には、受像機２のディスプレイ情報が記憶されており、例えば、受像機２の対応解像度情報、色域の種別を示す色空間情報が書き込まれている。ＥＤＩＤＲＯＭ２４に記憶されたディスプレイ情報は、ＨＤＭＩケーブル３のＤＤＣ（Display Data Channel）ラインを介して記録再生装置１に提供される。
【００３１】
図３は、ビデオ・グラフィック・プロセッサ２５の構成を示すブロック図である。ビデオ・グラフィック・プロセッサ２５は、メモリ２５１と、スケーラ２５２と、カラーエキスパンダ２５３と、ビデオエンコーダ２５４とを備えている。ＨＤＭＩ Ｒｘ２２から入力された映像信号は、メモリ２５１のビデオ・プレーンに書き込まれる。メモリ２５１に書き込まれた映像信号は、各プレーンから読み出され、スケーラ２５２で所望のサイズへのスケーリングが施される。また、ホストＣＰＵ２３からの命令に応じてカラーエキスパンダ２５３で色域拡張処理が施される。カラーエキスパンダ２５３は、例えば、ＢＴ．７０９の映像信号を擬似的にｘｖＹＣＣの映像信号の色域に拡張する。また、ｘｖＹＣＣの映像信号を色域伸張処理した場合、ｘｖＹＣＣの映像信号の色域を擬似的に拡張されたｘｖＹＣＣの映像信号の色域と同じにする。ビデオエンコーダ２５４は、所望の出力仕様になるようにタイミング生成、同期信号の付加などを行う。
【００３２】
ディスプレイデバイス２６は、広色域パネルを有し、ビデオ・グラフィック・プロセッサ２５にて信号処理された画面を表示する。
【００３３】
このように、受像機２は、映像音声信号とともに受信した属性データに応じて色域伸張処理をオン／オフすることにより、画面内の物体を広色域の色空間で忠実に再現することができる。
【００３４】
図４は、記録再生装置１の構成を具体的に示すブロック図である。記録再生装置１は、ライン入力端子４１と、アナログチューナ４２と、ディスクドライブ４３と、ハードディスクドライブ４４と、ＩＥＥＥ１３９４端子４５と、デジタルチューナ４６と、ライン入力端子４１又はアナログチューナ４２からの入力信号のいずれか１つを選択するセレクタ４７と、セレクタ４７からの映像音声信号をデコードするビデオデコーダ４８と、ビデオデコーダ４８にてデコードされたベースバンド信号又はビデオ・グラフィック・プロセッサ５４にて画像合成等の信号処理が施されたベースバンド信号のいずれか１つを選択するセレクタ４９と、セレクタ４９からのベースバンド信号をエンコードするＭＰＥＧエンコーダ５０と、ＨＤＶ（High-Definition Video）プロセッサ５１と、ストリームプロセッサ５２と、ＭＰＥＧデコーダ５３ａ，５３ｂと、ビデオ・グラフィック・プロセッサ５４と、ＨＤＭＩ Ｔｘ５５と、ＤＡＣ５６と、ＨＤＭＩコネクタ５７と、コンポーネント端子５８と、コンポジット端子５９と、ホストＣＰＵ６０とを備えている。
【００３５】
ここで、ＭＰＥＧデコーダ５３ａ，５３ｂ、ビデオ・グラフィック・プロセッサ５４、ＨＤＭＩ Ｔｘ５５、ＨＤＭＩコネクタ５７、ホストＣＰＵ６０は、それぞれ図１に示すＭＰＥＧデコーダ１１、ビデオ・グラフィック・プロセッサ１２、ＨＤＭＩ Ｔｘ１４、ＨＤＭＩコネクタ１５、ホストＣＰＵ１３に対応するものである。
【００３６】
続いて、記録再生装置１における記録動作について説明する。ライン入力端子４１から入力される映像信号と、アナログチューナ４２から出力される映像信号は、セレクタ４７で所望の入力が選択された後、ビデオデコーダ４８に入力される。ビデオデコーダ４８は、例えば入力されたＮＴＳＣ方式のアナログ映像信号をＡ／Ｄ変換した後、輝度信号とクロマ信号とに分離するとともにデコード処理を施す。デコードされたベースバンドビデオ信号は、セレクタ４９、及びビデオ・グラフィック・プロセッサ５４に入力される。セレクタ４９で、ビデオデコーダ４８からの出力と、ビデオ・グラフィック・プロセッサ５４からの出力とのいずれかを選択した後、選択されたベースバンド信号がＭＰＥＧエンコーダ５０に入力される。ＭＰＥＧエンコーダ５０は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４など所望のエンコードを行う。エンコードされたストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２から、ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４などにストリームが送られ、所望のメディアに記録される。
【００３７】
また、ＩＥＥＥ１３９４入力端子４５から入力されたストリームは、ＨＤＶプロセッサ５１を経てストリームプロセッサ５２に入力され、デジタルチューナ４６からのストリームもストリームプロセッサ５２に入力される。ストリームプロセッサ５２に入力されたストリームは、ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４などの所望のメディアに記録される。
【００３８】
また、ストリームプロセッサ５２に入力されたストリームは、ストリームプロセッサ５２で所望のビデオストリームの抜き出しやパーズなどの処理を施す。ストリームプロセッサ５２は、パーズした結果、色空間情報を検出し、ストリーム内での色空間情報の変化点を検出する。検出された変化点は、ストリームの位置情報（描画時刻）と関連付け、ハードディスクドライブ４４等にストリームとともにメタデータとして保存される。
【００３９】
図５は、映像信号と色空間情報の変化点との関係の一例を示す図である。図５（Ａ）は、ＢＴ．７０９の映像信号とそれよりも広色域のｘｖＹＣＣの映像信号とが混在したタイトルを示している。このタイトルは、時刻０から１０までがｘｖＹＣＣ、時刻１０から１５までがＢＴ．７０９、時刻１５から２５までがｘｖＹＣＣの映像信号となっている。ストリームプロセッサ５２は、このストリームの色空間情報の変化点である時刻０、時刻１０及び時刻１５を検出し、図５（Ｂ）に示すように、検出時刻からの映像信号の色空間規格を示す色空間情報をメタデータとしてハードディスクドライブ４４等に記憶する。
【００４０】
また、メタデータとして、例えば、タイトルＩＤ、タイトル番号、Ｃｏｐｙ Ｆｒｅｅ／ＥＰＮ、チャンネル番号、リジューム点、録画日時（開始した日付・時刻）、再生時間、録画モード、タイトル名、放送局名、分類マーク、ジャンル、サムネイル情報、プロテクト、未試聴／視聴済、更新録画設定、おまかせ録画、プライベート属性等がハードディスクドライブ４４等に記憶される。これらの情報は、映像データとは独立してアクセス可能なように記録、管理される。
【００４１】
図６は、タイトルリストの表示画面例を示す図である。この表示画面は、ハードディスクドライブ４４等に映像データを記憶する際に作成されたメタデータに基づいて表示される。サムネイル領域６１には、代表画として、例えば、映像データの初期画面が表示される。また、タイトル領域６２には、タイトル名、記録日時、放送局（チャンネル）デジタルビデオ（ＤＶ）等の記録元情報が表示される。また、タイトル属性領域６３には、映像データの記録フォーマット、広色域信号を含むか否かの情報、暗号化情報等が表示される。そして、ユーザは、スクロールバー６４を移動させることにより、ハードディスクドライブ４４等に記憶された映像データの情報を見ることができる。
【００４２】
次に、記録再生装置１における再生動作について説明する。ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４で再生されたストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２は、所望のビデオストリームの抜き出しや、ストリームから画像データの色空間属性に関する情報などのパーズを行った後、ＭＰＥＧデコーダ５３ａ、５３ｂに送る。ＭＰＥＧデコーダ５３ａ、５３ｂは、画像データをデコードする。ＭＰＥＧデコーダ５３ａ、５３ｂでデコードされたベースバンドビデオ信号は、ビデオ・グラフィック・プロセッサ５４に入力される。ビデオ・グラフィック・プロセッサ５４では、所望の画枠サイズへの変換処理や種々のビデオ信号処理を施し、該映像信号にグラフィックス信号などを合成した後、ＨＤＭＩ Ｔｘ５５に送られる。ＨＤＭＩ Ｔｘ５５では、入力されたベースバンド信号をＴＭＤＳ信号に変換して、制御信号とともにＨＤＭＩコネクタ５７に出力する。また、ビデオ・グラフィック・プロセッサ５４の出力は、ＤＡＣ５６に入力され、Ｄ／Ａ変換したアナログコンポーネント信号がコンポーネント端子５８に出力されるとともに、Ｄ／Ａ変換したアナログコンポジットビデオ信号（あるいは、Ｙ／Ｃセパレートビデオ信号）もコンポジットビデオ端子（あるいは、Ｓ端子）５９に出力される。
【００４３】
次に、図１〜４を参照して記録再生装置１における伝送動作について説明する。ここで、ハードディスクドライブ４４等に記憶されたストリームには、広色域映像信号とともに、色域の種別を識別するための識別フラグ、及び色域の付随情報であるメタデータが含まれているものとする。
【００４４】
再生された映像音声信号、及び識別フラグ等のメタデータを含んだストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２は、ストリームのパーズを行い、識別フラグ及びメタデータを抽出し、ホストＣＰＵ６０は、ストリームの識別フラグ等のメタデータをストリームプロセッサ５２から取得する。識別フラグ及びメタデータは、エレメンタリーストリームの付加情報として記録してあるので、ビデオ信号との同期は常に保たれる。広色域信号を含んだストリームは、前述の再生系の説明の通り、ＭＰＥＧデコーダ５３ａ、５３ｂでデコードされた後、ビデオ・グラフィック・プロセッサ５４を経てＨＤＭＩ Ｔｘ５５に送られる。
【００４５】
また、ホストＣＰＵ６０は、ＨＤＭＩコネクタ５７に接続されたＨＤＭＩケーブル３のＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）ラインにより受像機２と通信を行い、受像機２に内蔵するＨＤＭＩ Ｒｘ（レシーバ）２２、ホストＣＰＵ２３を介して、ＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ） ＲＯＭ２４に書かれているディスプレイ情報を取得する。ＥＤＩＤ ＲＯＭ２４には、受像機２の対応解像度情報などの他に、色域の種別を示す色空間情報も書かれている。したがって、ホストＣＰＵ６０は、ディスプレイ情報を取得することにより、接続している受像機２が広色域映像信号に対応しているか否かを判別することができる。そして、ＨＤＭＩケーブル３によって接続された受像機２が広色域映像信号に対応している場合、ホストＣＰＵ６０は、広色域映像信号を伝送する際、映像信号の属性としてディスクから取得した色域識別フラグ、及びメタデータをＨＤＭＩ Ｔｘ５５にセットする。
【００４６】
ＨＤＭＩ Ｔｘ５５は、映像音声信号とともに色域識別フラグ、メタデータなどの属性データをＴＭＤＳ信号に変換し、ＨＤＭＩコネクタ５７から出力する。色域の種別を示す識別フラグ、メタデータは、ＨＤＭＩ規格で定義されているＡＶＩ（Ａｘｉｌｉａｒｙ Ｖｉｄｅｏ Ｉｎｆｏｒｍａｔｉｏｎ） ＩｎｆｏＦｒａｍｅを使って伝送することができる。例えば、色域識別フラグは、ＡＶＩ ＩｎｆｏＦｒａｍｅパケット内のＣｏｌｏｒｉｍｅｔｒｙやＥｘｔｅｎｄｅｄ Ｃｏｌｏｒｉｍｅｔｒｙで定義される。また、オーディオ信号の属性データは、Ａｕｄｉｏ ＩｎｆｏＦｒａｍｅを用いることができる。
【００４７】
また、ホストＣＰＵ６０は、映像信号の色空間規格の頻繁な切り換わりによって映像の色合いが頻繁に変化するのを防ぐために、メタデータに含まれる色空間情報の変化点情報に基づいて色空間情報の切り換えを制限する。また、ホストＣＰＵ６０は、色空間情報の切り換えを制限し、色空間情報を維持する時間、すなわち識別フラグを切り換えない維持期間を設定する。
【００４８】
具体的には、ハードディスクドライブ４４等にディスプレイ情報に対応した維持期間を予め記憶し、受像機２との通信によりディスプレイ情報を取得する際に、受像機２のモデルに対応する維持時間を取得して設定する。
【００４９】
また、図７に示すような設定画面によりユーザが手動で維持時間を設定してもよい。ユーザは、ＧＵＩ（Graphical User Interface）画面のカーソルを移動させることにより、維持時間を設定することができる。
【００５０】
図８は、色空間規格が切り換わる映像信号の一例を示す図である。ここで、色空間情報の変化点ｔ０〜ｔ６は、ストリームプロセッサ５２で抽出したメタデータから取得される。各時刻ｔ０〜ｔ６において、映像信号の色空間規格が切り換わり、それに応じて色空間情報が切り換わる。ここで、時刻ｔ２〜ｔ３、時刻ｔ３〜ｔ４、及び時刻ｔ４〜ｔ５の期間は、設定された維持時間よりも短い。この場合、例えば、時刻ｔ２〜ｔ５の期間は、色空間情報を維持し、時刻ｔ１〜ｔ２のｘｖＹＣＣ期間と同様に処理する。すなわち、ホストＣＰＵ６０は、時刻ｔ２〜ｔ５の期間、色識別フラグをｘｖＹＣＣに維持する。これにより、受像機２は、時刻ｔ２〜ｔ５の期間、色域伸張処理をオフするため、色域伸張処理に伴う色合いの変化を抑制することができる。
【００５１】
次に、図９〜１２を参照して記録再生装置１における編集動作について説明する。ホストＣＰＵ６０は、編集対象のストリームに対して入力される編集点に基づいて編集を行う。また、ストリームプロセッサ５２は、編集対象のストリームからメタデータを抽出し、映像データの色空間規格の変化点情報を取得する。
【００５２】
図９は、シーンを切出す際の編集画面の一例を示す図である。この画面は、映像９１にＧＵＩ操作画面９２がブレンディングされている。ユーザは、ＧＵＩ操作画面９２の編集点を移動させて映像９１を見ながら、イン点、アウト点を設定することができる。
【００５３】
図１０（Ａ）に示すように、ＧＵＩ操作画面９２は、編集対象のストリームが時間軸で表示されている。この時間軸には、メタデータに基づいてｘｖＹＣＣ等の広色域区間が認識できるように表示を変えている。したがって、図１０（Ｂ）に示すようにイン点及びアウト点を設定した場合、広色域の映像データが含まれない単一の色空間規格のシーンであることが分かる。一方、図１０（Ｃ）に示すようにイン点及びアウト点を設定した場合、広色域区間が含まれる複数の色空間規格のシーンであることが分かる。このようにメタデータに基づいて映像データの色空間規格の変化点を提示すことにより、ユーザは色合いの変化を考慮してシーンの切出しを行うことができる。
【００５４】
また、ホストＣＰＵ６０は、色空間規格の変化点の情報が含まれるメタデータに基づいてユーザの編集動作に警告又は禁止をする。具体的には、色空間規格の変化点の間隔が所定期間よりも短くなる編集処理を警告又は禁止する。
【００５５】
図１１は、編集時における警告禁止動作を示すフローチャートである。ステップＳ１１において、ホストＣＰＵ６０は、イン点又はアウト点を設定する編集点が入力された映像データが異なる色空間規格が混在するものであるか否かを判別する。混在する映像データの場合、ステップＳ１２に進み、混在しない映像データの場合、警告禁止動作を終了する。
【００５６】
また、ステップＳ１２においてホストＣＰＵ６０は、編集点近傍で色空間規格の切り換わりが発生するか否かを判別する。ここで、編集点がイン点の場合は、イン点からの所定期間に色空間規格の変化点があるか否かを判別する。また、編集点がアウト点の場合は、アウト点までの所定期間に色空間規格の変化点があるか否かを判別する。この所定期間は、上述した識別フラグを切り換えない維持期間を用いることができる。
【００５７】
ステップＳ１２において、編集点近傍で色空間規格の切り換わりが発生する場合、ステップＳ１３に進み、切り換わりが発生しない場合、警告禁止動作を終了する。
【００５８】
ステップＳ１３において、ホストＣＰＵ６０は、ユーザに対し警告又は禁止を提示する。例えば、警告文として、「短時間のうちに切換わりが発生するため色表示がおかしくなる可能性があります。実行を継続しますか？」と表示する。また、禁止文として、「モニタの出力に影響があるため、このポイントを編集点とすることはできません」と表示する。ここで、警告か禁止かは、受像機２から取得したディスプレイ情報に応じて設定される。
【００５９】
図１２は、警告又は禁止が提示される編集の一例を示す図である。図１２において、時刻ｔ０〜ｔ１、時刻ｔ１〜ｔ２及び時刻ｔ０〜ｔ３の期間は、上述の維持時間よりも長く、時刻ｔ１〜ｔ２の期間は、ｘｖＹＣＣの色空間規格の映像信号である。ここで、時刻ｔ２’〜ｔ２’’の期間の映像信号を消去し、時刻ｔ１〜ｔ２’の期間が維持時間よりも短くなる編集を行う場合、ホストＣＰＵ６０は、警告又は禁止を提示する。
【００６０】
また、図１３に示すように、時刻ｔ０〜ｔ１の映像信号と、時刻ｔ０〜ｔ２の広色域の映像信号と、時刻ｔ０〜ｔ３の映像信号とを結合する際、時刻ｔ０〜ｔ２及び時刻ｔ０〜ｔ３の期間が維持時間よりも短い場合、ホストＣＰＵ６０は、警告又は禁止を提示する。
【００６１】
このようにハードディスクドライブ４４等に映像データを記録する際、映像データに対応付けてメタデータとして色空間規格の変化点情報を記録し、映像データの色空間情報を管理することにより、編集操作等における問題を事前に回避することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施の形態に係る再生システムを示す図である。
【図２】ｘｖＹＣＣの色域を平面に投射した場合の模式図である。
【図３】ビデオ・グラフィック・プロセッサの構成を示すブロック図である。
【図４】記録再生装置の構成を具体的に示すブロック図である。
【図５】映像信号と色空間情報の変化点との関係の一例を示す図である。
【図６】タイトルリストの表示画面例を示す図である。
【図７】設定画面の一例を示す図である。
【図８】色空間規格が切り換わる映像信号の一例を示す図である。
【図９】シーンを切出す際の編集画面の一例を示す図である。
【図１０】ＧＵＩ操作画面の一例を示す図である。
【図１１】編集時における警告禁止動作を示すフローチャートである。
【図１２】警告又は禁止が提示される編集の一例を示す図である。
【図１３】警告又は禁止が提示される編集の一例を示す図である。
【符号の説明】
【００６３】
１ 記録再生装置、 ２ 受像機、 ３ ＨＤＭＩケーブル、 １１ ＭＰＥＧデコーダ、 １２ ビデオ・グラフィック・プロセッサ、 １３ ホストＣＰＵ、 １４ ＨＤＭＩ Ｔｘ、 １５ ＨＤＭＩコネクタ、 ２１ ＨＤＭＩコネクタ、 ２２ ＨＤＭＩ Ｒｘ、 ２３ ホストＣＰＵ、 ２４ ＥＤＩＤＲＯＭ、 ２５ ビデオ・グラフィック・プロセッサ、 ２６ ディスプレイデバイス、 ４１ ライン入力端子、 ４２ アナログチューナ、 ４３ ディスクドライブ、 ４４ ハードディスクドライブ、 ４５ ＩＥＥＥ１３９４入力端子、 ４６ デジタルチューナ、 ４７ セレクタ、 ４８ ビデオデコーダ、 ４９ セレクタ、 ５０ エンコーダ、 ５１ ＨＤＶプロセッサ、 ５２ ストリームプロセッサ、 ５３ デコーダ、 ５４ ビデオ・グラフィック・プロセッサ、 ５５ ＨＤＭＩ Ｔｘ、 ５６ ＤＡＣ、 ５７ ＨＤＭＩコネクタ、 ５８ コンポーネント端子、 ５９ コンポジット端子、 ６０ ホストＣＰＵ
【技術分野】
【０００１】
本発明は、色空間情報が異なる複数の画像データを処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、ディスプレイやＨＤＴＶ（High Definition TeleVision）の放送では、ｓＲＧＢ（ＩＥＣ（International Electrotechnical Commission）６１９６６−２−１）やＩＴＵ−Ｒ（International Telecommunication Union-Radiocommunication Sector） ＢＴ．７０９で規格化された色空間が広く使われているが、近年、広色域パネルの出現により、受像機側でｓＲＧＢを超える広色域の色表現が可能となっている。
【０００３】
このような受像機には、パネルの広色域を活かすために、ｓＲＧＢの色空間の映像コンテンツに対して信号処理によって色域を伸長する技術（以下、「色域伸長処理」と呼ぶ。）が採用されており、受像機は、ｓＲＧＢ色空間でクリップされてしまうような彩度の高い色を色域伸長処理することで、より鮮やかな色を再現することができる。また、ユーザは、受像機の画質モードを選択することにより、色域伸長処理をオン／オフすることが可能となっている。
【０００４】
また、受像機は、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）を使って、映像信号とともに色空間情報を、ソース機器から受信することも可能となっており、色空間情報に従って、ＢＴ．７０９の場合は、色域伸長処理をオン状態にし、他の広色域の色空間情報の場合は、色域伸長処理をオフ状態にする、といった制御を自動的に行うことができる。
【０００５】
一方、撮像素子やカメラ信号処理も広色域化しており、カメラで撮影したｓＲＧＢを超える色域の広色域信号を、ディスクやテープへ記録し、再生することも可能となっている。また、ディスクやテープに記録された広色域信号を、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４などのデジタルインターフェースを介して光ディスクレコーダにダビングしたり、広色域信号が記録された該ディスクを光ディスクレコーダやプレーヤで再生したりすることも可能となっている。また、カメラやレコーダは、ＨＤＭＩを使って、これらの広色域信号や色空間情報などを受像機に伝送することもできる。
【０００６】
【特許文献１】特開２００６−１８０４７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
受像機は、画像データの色空間情報を判別し、描画モードを切り替えるが、画像データの色空間情報は、時系列に並べられたデータストリームの中を解析しないと知ることができない。また、画像データは、直列的に処理されるため、色空間情報が切り替わる時点は得られても、その状態がいつまで続くかを知ることができない。
【０００８】
したがって、色空間情報が頻繁に切り替わる場合、受像機の描画モードの切り替わりが頻繁に変化し、画面の色合いが悪くなるという問題が発生する。
【０００９】
また、色空間情報が異なる画像データを混在させて加工する場合、頻繁に色空間情報が変化するような加工を行う虞がある。
【００１０】
また、直列的に画像データを処理する以外、加工対象の状態を知ることができないため、加工した結果、どのように再生されるかを知ることができず、画面の色合いが頻繁に変わってしまう虞がある。
【００１１】
本発明は、このような従来の実情に鑑みて提案されたものであり、色が表示上変化するのを防ぐことができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述の課題を解決するために、本発明に係る画像処理装置は、第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理装置であって、画像信号の色空間規格の変化点を検出する検出手段と、上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録手段と、上記変化点情報に基づいて画像信号の信号処理を制御する制御手段とを備える。
【００１３】
また、本発明に係る画像処理方法は、第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理方法であって、画像信号の色空間規格の変化点を検出する検出工程と、上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録工程と、上記変化点情報に基づいて画像信号の信号処理を制御する制御工程とを有する。
【発明の効果】
【００１４】
本発明によれば、画像信号の色空間規格の変化点を検出し、画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録するため、例えば編集処理において変化点情報に基づいて警告又は禁止することにより、色が表示上変化するのを防ぐことができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１６】
図１は、本発明の一実施の形態に係る再生システムを示す図である。この再生システムは、記録再生装置１と、受像機２とが、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブル３を介して接続されており、受像機２は、第１の色空間規格の画像データを、第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像データに擬似的に色域を伸張して表示することが可能となっている。第１の色空間規格の例としては、ｓＲＧＢ（ＩＥＣ６１９６６−２−１）、ＩＴＵ−Ｒ ＢＴ．７０９等が挙げられる。また、第２の色空間規格の例としては、ｘｖＹＣＣ等が挙げられる。
【００１７】
ｘｖＹＣＣは、国際電気標準会議（IEC）が国際標準（IEC 61966−2−4）として発行した規格であり、ＨＤＴＶ（High Definition TeleVision）で利用するＩＴＵ−Ｒ ＢＴ．７０９の色域（ｓＲＧＢと同等）との互換性を確保しながら、色空間を広げたものである。そして、このｘｖＹＣＣによれば、現行の動画コンテンツの色空間規格「ＩＴＵ−Ｒ ＢＴ．７０９」（静止画ではｓＲＧＢに相当）では表現できない色を表現することができる。
【００１８】
図２は、ｘｖＹＣＣの色域を平面に投射した場合の模式図である。この図２において、色域ａはｓＲＧＢの色域であり、色域ｂはｘｖＹＣＣで拡張された色域である。図２に示すようにｓＲＧＢでは、Ｒ，Ｇ，Ｂそれぞれを０〜１で表現する色のみを利用してきたのに対し、ｘｖＹＣＣでは負の値や１を超える色も定義されている。したがって、例えば、受像機２がｓＲＧＢの色域ａの映像コンテンツを色域ｂにまで伸長する処理（以下、「色域伸長処理」と呼ぶ。）を行って、物体の素材感・立体感を忠実に再現すれば、ユーザは広色域のカラー画像を楽しむことができる。
【００１９】
ＨＤＭＩケーブル３の規格であるＨＤＭＩは、ＩＥＥＥ１３９４の上位互換とされており、物理層にはＴＭＤＳ（Transition Minimized Differential Signaling）、信号の暗号化にはＨＤＣＰ（High-bandwidth Digital Content Protection）、機器間認証にはＥＤＩＤ（Extended Display Identification Data）、系全体の制御系接続にはＣＥＣ（Consumer Electronics Control）が採用されている。また、ＨＤＭＩバージョン１．３には、メタデータとｘｖＹＣＣ色空間の定義が追加されている。したがって、例えば、受像機２が記録再生装置１から受信したメタデータと自身の色域情報とに基づいて画像データを色域伸張処理すれば、より具体的には画像データに対し機器間の色空間の変換処理（Gamut Mapping Algorithm）をすれば、正しい色を再現することができる。
【００２０】
図１に戻って、再生システムの構成について説明する。記録再生装置１は、ＭＰＥＧ（Moving Picture Expert Group）デコーダ１１と、ビデオ・グラフィック・プロセッサ１２と、ホストＣＰＵ（Central Processing Unit）１３と、ＨＤＭＩ Ｔｘ（トランスミッタ）１４と、ＨＤＭＩコネクタ１５とを備えている。
【００２１】
ＭＰＥＧデコーダ１１は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４などのビデオストリームをデコードし、ベースバンド信号を生成する。
【００２２】
ビデオ・グラフィック・プロセッサ１２は、ＭＰＥＧデコーダ１１にて生成されたベースバンド信号を所望の画枠サイズへ変換処理したり、複数のベースバンド信号を合成処理したりする。
【００２３】
ホストＣＰＵ１３は、ＭＰＥＧデコーダ１１及びビデオ・グラフィック・プロセッサ１２を制御する。例えば、ＭＰＥＧデコーダ１１に所望のビデオストリームのデコードを指示し、ビデオ・グラフィック・プロセッサ１２にデコードされたベースバンド信号を用いた合成画像の生成を指示する。また、合成画像の色空間規格を決定し、その色空間情報をＨＤＭＩ Ｔｘ１４に送る。また、ホストＣＰＵ１３は、ＨＤＭＩケーブル３のＤＤＣ（Display Data Channel）ラインにより受像機２と通信を行う。
【００２４】
ＨＤＭＩ Ｔｘ１４は、ビデオ・グラフィック・プロセッサ１２にて信号処理された映像音声信号とともに、ホストＣＰＵ１３から送られた色空間規格を示す色域識別フラグ、メタデータなどの属性データをＴＭＤＳ信号に変換し、ＨＤＭＩコネクタ１５に出力する。この属性データは、ＨＤＭＩ規格で定義されているＡＶＩ（Auxiliary Video Information）ＩｎｆｏＦｒａｍｅを使って伝送することができる。
【００２５】
ＨＤＭＩコネクタ１５は、ＨＤＭＩケーブル３と接続され、ＨＤＭＩ Ｔｘ１４にて変換されたＴＭＤＳ信号を受像機２に伝送する。
【００２６】
次に、受像機２の構成について説明する。受像機２は、ＨＤＭＩコネクタ２１と、ＨＤＭＩ Ｒｘ（レシーバ）２２と、ホストＣＰＵ２３と、ＥＤＩＤＲＯＭ（Extended Display Identification Data Read Only Memory）２４と、ビデオ・グラフィック・プロセッサ２５と、ディスプレイデバイス２６とを備えている。
【００２７】
ＨＤＭＩコネクタ２１は、ＨＤＭＩケーブル３と接続され、ＴＭＤＳ信号を受信する。
【００２８】
ＨＤＭＩ Ｒｘ２２は、ＴＭＤＳ信号から映像音声信号と属性データとを取得し、映像信号をビデオ・グラフィック・プロセッサ２５に送る。
【００２９】
ホストＣＰＵ２３は、属性データに基づいてビデオ・グラフィック・プロセッサ２５の色域伸長処理のオン／オフを制御する。具体的には、例えば、属性データの色空間情報がＩＴＵ−Ｒ ＢＴ．７０９の場合、ビデオ・グラフィック・プロセッサ２５の色域伸長処理をオン状態にし、属性データの色空間情報がｘｖＹＣＣの場合、ビデオ・グラフィック・プロセッサ２５の色域伸長処理をオフ状態にする。
【００３０】
ＥＤＩＤＲＯＭ２４には、受像機２のディスプレイ情報が記憶されており、例えば、受像機２の対応解像度情報、色域の種別を示す色空間情報が書き込まれている。ＥＤＩＤＲＯＭ２４に記憶されたディスプレイ情報は、ＨＤＭＩケーブル３のＤＤＣ（Display Data Channel）ラインを介して記録再生装置１に提供される。
【００３１】
図３は、ビデオ・グラフィック・プロセッサ２５の構成を示すブロック図である。ビデオ・グラフィック・プロセッサ２５は、メモリ２５１と、スケーラ２５２と、カラーエキスパンダ２５３と、ビデオエンコーダ２５４とを備えている。ＨＤＭＩ Ｒｘ２２から入力された映像信号は、メモリ２５１のビデオ・プレーンに書き込まれる。メモリ２５１に書き込まれた映像信号は、各プレーンから読み出され、スケーラ２５２で所望のサイズへのスケーリングが施される。また、ホストＣＰＵ２３からの命令に応じてカラーエキスパンダ２５３で色域拡張処理が施される。カラーエキスパンダ２５３は、例えば、ＢＴ．７０９の映像信号を擬似的にｘｖＹＣＣの映像信号の色域に拡張する。また、ｘｖＹＣＣの映像信号を色域伸張処理した場合、ｘｖＹＣＣの映像信号の色域を擬似的に拡張されたｘｖＹＣＣの映像信号の色域と同じにする。ビデオエンコーダ２５４は、所望の出力仕様になるようにタイミング生成、同期信号の付加などを行う。
【００３２】
ディスプレイデバイス２６は、広色域パネルを有し、ビデオ・グラフィック・プロセッサ２５にて信号処理された画面を表示する。
【００３３】
このように、受像機２は、映像音声信号とともに受信した属性データに応じて色域伸張処理をオン／オフすることにより、画面内の物体を広色域の色空間で忠実に再現することができる。
【００３４】
図４は、記録再生装置１の構成を具体的に示すブロック図である。記録再生装置１は、ライン入力端子４１と、アナログチューナ４２と、ディスクドライブ４３と、ハードディスクドライブ４４と、ＩＥＥＥ１３９４端子４５と、デジタルチューナ４６と、ライン入力端子４１又はアナログチューナ４２からの入力信号のいずれか１つを選択するセレクタ４７と、セレクタ４７からの映像音声信号をデコードするビデオデコーダ４８と、ビデオデコーダ４８にてデコードされたベースバンド信号又はビデオ・グラフィック・プロセッサ５４にて画像合成等の信号処理が施されたベースバンド信号のいずれか１つを選択するセレクタ４９と、セレクタ４９からのベースバンド信号をエンコードするＭＰＥＧエンコーダ５０と、ＨＤＶ（High-Definition Video）プロセッサ５１と、ストリームプロセッサ５２と、ＭＰＥＧデコーダ５３ａ，５３ｂと、ビデオ・グラフィック・プロセッサ５４と、ＨＤＭＩ Ｔｘ５５と、ＤＡＣ５６と、ＨＤＭＩコネクタ５７と、コンポーネント端子５８と、コンポジット端子５９と、ホストＣＰＵ６０とを備えている。
【００３５】
ここで、ＭＰＥＧデコーダ５３ａ，５３ｂ、ビデオ・グラフィック・プロセッサ５４、ＨＤＭＩ Ｔｘ５５、ＨＤＭＩコネクタ５７、ホストＣＰＵ６０は、それぞれ図１に示すＭＰＥＧデコーダ１１、ビデオ・グラフィック・プロセッサ１２、ＨＤＭＩ Ｔｘ１４、ＨＤＭＩコネクタ１５、ホストＣＰＵ１３に対応するものである。
【００３６】
続いて、記録再生装置１における記録動作について説明する。ライン入力端子４１から入力される映像信号と、アナログチューナ４２から出力される映像信号は、セレクタ４７で所望の入力が選択された後、ビデオデコーダ４８に入力される。ビデオデコーダ４８は、例えば入力されたＮＴＳＣ方式のアナログ映像信号をＡ／Ｄ変換した後、輝度信号とクロマ信号とに分離するとともにデコード処理を施す。デコードされたベースバンドビデオ信号は、セレクタ４９、及びビデオ・グラフィック・プロセッサ５４に入力される。セレクタ４９で、ビデオデコーダ４８からの出力と、ビデオ・グラフィック・プロセッサ５４からの出力とのいずれかを選択した後、選択されたベースバンド信号がＭＰＥＧエンコーダ５０に入力される。ＭＰＥＧエンコーダ５０は、ＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４など所望のエンコードを行う。エンコードされたストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２から、ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４などにストリームが送られ、所望のメディアに記録される。
【００３７】
また、ＩＥＥＥ１３９４入力端子４５から入力されたストリームは、ＨＤＶプロセッサ５１を経てストリームプロセッサ５２に入力され、デジタルチューナ４６からのストリームもストリームプロセッサ５２に入力される。ストリームプロセッサ５２に入力されたストリームは、ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４などの所望のメディアに記録される。
【００３８】
また、ストリームプロセッサ５２に入力されたストリームは、ストリームプロセッサ５２で所望のビデオストリームの抜き出しやパーズなどの処理を施す。ストリームプロセッサ５２は、パーズした結果、色空間情報を検出し、ストリーム内での色空間情報の変化点を検出する。検出された変化点は、ストリームの位置情報（描画時刻）と関連付け、ハードディスクドライブ４４等にストリームとともにメタデータとして保存される。
【００３９】
図５は、映像信号と色空間情報の変化点との関係の一例を示す図である。図５（Ａ）は、ＢＴ．７０９の映像信号とそれよりも広色域のｘｖＹＣＣの映像信号とが混在したタイトルを示している。このタイトルは、時刻０から１０までがｘｖＹＣＣ、時刻１０から１５までがＢＴ．７０９、時刻１５から２５までがｘｖＹＣＣの映像信号となっている。ストリームプロセッサ５２は、このストリームの色空間情報の変化点である時刻０、時刻１０及び時刻１５を検出し、図５（Ｂ）に示すように、検出時刻からの映像信号の色空間規格を示す色空間情報をメタデータとしてハードディスクドライブ４４等に記憶する。
【００４０】
また、メタデータとして、例えば、タイトルＩＤ、タイトル番号、Ｃｏｐｙ Ｆｒｅｅ／ＥＰＮ、チャンネル番号、リジューム点、録画日時（開始した日付・時刻）、再生時間、録画モード、タイトル名、放送局名、分類マーク、ジャンル、サムネイル情報、プロテクト、未試聴／視聴済、更新録画設定、おまかせ録画、プライベート属性等がハードディスクドライブ４４等に記憶される。これらの情報は、映像データとは独立してアクセス可能なように記録、管理される。
【００４１】
図６は、タイトルリストの表示画面例を示す図である。この表示画面は、ハードディスクドライブ４４等に映像データを記憶する際に作成されたメタデータに基づいて表示される。サムネイル領域６１には、代表画として、例えば、映像データの初期画面が表示される。また、タイトル領域６２には、タイトル名、記録日時、放送局（チャンネル）デジタルビデオ（ＤＶ）等の記録元情報が表示される。また、タイトル属性領域６３には、映像データの記録フォーマット、広色域信号を含むか否かの情報、暗号化情報等が表示される。そして、ユーザは、スクロールバー６４を移動させることにより、ハードディスクドライブ４４等に記憶された映像データの情報を見ることができる。
【００４２】
次に、記録再生装置１における再生動作について説明する。ＢＤ、ＤＶＤなどのディスクドライブ４３やハードディスクドライブ４４で再生されたストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２は、所望のビデオストリームの抜き出しや、ストリームから画像データの色空間属性に関する情報などのパーズを行った後、ＭＰＥＧデコーダ５３ａ、５３ｂに送る。ＭＰＥＧデコーダ５３ａ、５３ｂは、画像データをデコードする。ＭＰＥＧデコーダ５３ａ、５３ｂでデコードされたベースバンドビデオ信号は、ビデオ・グラフィック・プロセッサ５４に入力される。ビデオ・グラフィック・プロセッサ５４では、所望の画枠サイズへの変換処理や種々のビデオ信号処理を施し、該映像信号にグラフィックス信号などを合成した後、ＨＤＭＩ Ｔｘ５５に送られる。ＨＤＭＩ Ｔｘ５５では、入力されたベースバンド信号をＴＭＤＳ信号に変換して、制御信号とともにＨＤＭＩコネクタ５７に出力する。また、ビデオ・グラフィック・プロセッサ５４の出力は、ＤＡＣ５６に入力され、Ｄ／Ａ変換したアナログコンポーネント信号がコンポーネント端子５８に出力されるとともに、Ｄ／Ａ変換したアナログコンポジットビデオ信号（あるいは、Ｙ／Ｃセパレートビデオ信号）もコンポジットビデオ端子（あるいは、Ｓ端子）５９に出力される。
【００４３】
次に、図１〜４を参照して記録再生装置１における伝送動作について説明する。ここで、ハードディスクドライブ４４等に記憶されたストリームには、広色域映像信号とともに、色域の種別を識別するための識別フラグ、及び色域の付随情報であるメタデータが含まれているものとする。
【００４４】
再生された映像音声信号、及び識別フラグ等のメタデータを含んだストリームは、ストリームプロセッサ５２に入力される。ストリームプロセッサ５２は、ストリームのパーズを行い、識別フラグ及びメタデータを抽出し、ホストＣＰＵ６０は、ストリームの識別フラグ等のメタデータをストリームプロセッサ５２から取得する。識別フラグ及びメタデータは、エレメンタリーストリームの付加情報として記録してあるので、ビデオ信号との同期は常に保たれる。広色域信号を含んだストリームは、前述の再生系の説明の通り、ＭＰＥＧデコーダ５３ａ、５３ｂでデコードされた後、ビデオ・グラフィック・プロセッサ５４を経てＨＤＭＩ Ｔｘ５５に送られる。
【００４５】
また、ホストＣＰＵ６０は、ＨＤＭＩコネクタ５７に接続されたＨＤＭＩケーブル３のＤＤＣ（Ｄｉｓｐｌａｙ Ｄａｔａ Ｃｈａｎｎｅｌ）ラインにより受像機２と通信を行い、受像機２に内蔵するＨＤＭＩ Ｒｘ（レシーバ）２２、ホストＣＰＵ２３を介して、ＥＤＩＤ（Ｅｘｔｅｎｄｅｄ Ｄｉｓｐｌａｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｄａｔａ） ＲＯＭ２４に書かれているディスプレイ情報を取得する。ＥＤＩＤ ＲＯＭ２４には、受像機２の対応解像度情報などの他に、色域の種別を示す色空間情報も書かれている。したがって、ホストＣＰＵ６０は、ディスプレイ情報を取得することにより、接続している受像機２が広色域映像信号に対応しているか否かを判別することができる。そして、ＨＤＭＩケーブル３によって接続された受像機２が広色域映像信号に対応している場合、ホストＣＰＵ６０は、広色域映像信号を伝送する際、映像信号の属性としてディスクから取得した色域識別フラグ、及びメタデータをＨＤＭＩ Ｔｘ５５にセットする。
【００４６】
ＨＤＭＩ Ｔｘ５５は、映像音声信号とともに色域識別フラグ、メタデータなどの属性データをＴＭＤＳ信号に変換し、ＨＤＭＩコネクタ５７から出力する。色域の種別を示す識別フラグ、メタデータは、ＨＤＭＩ規格で定義されているＡＶＩ（Ａｘｉｌｉａｒｙ Ｖｉｄｅｏ Ｉｎｆｏｒｍａｔｉｏｎ） ＩｎｆｏＦｒａｍｅを使って伝送することができる。例えば、色域識別フラグは、ＡＶＩ ＩｎｆｏＦｒａｍｅパケット内のＣｏｌｏｒｉｍｅｔｒｙやＥｘｔｅｎｄｅｄ Ｃｏｌｏｒｉｍｅｔｒｙで定義される。また、オーディオ信号の属性データは、Ａｕｄｉｏ ＩｎｆｏＦｒａｍｅを用いることができる。
【００４７】
また、ホストＣＰＵ６０は、映像信号の色空間規格の頻繁な切り換わりによって映像の色合いが頻繁に変化するのを防ぐために、メタデータに含まれる色空間情報の変化点情報に基づいて色空間情報の切り換えを制限する。また、ホストＣＰＵ６０は、色空間情報の切り換えを制限し、色空間情報を維持する時間、すなわち識別フラグを切り換えない維持期間を設定する。
【００４８】
具体的には、ハードディスクドライブ４４等にディスプレイ情報に対応した維持期間を予め記憶し、受像機２との通信によりディスプレイ情報を取得する際に、受像機２のモデルに対応する維持時間を取得して設定する。
【００４９】
また、図７に示すような設定画面によりユーザが手動で維持時間を設定してもよい。ユーザは、ＧＵＩ（Graphical User Interface）画面のカーソルを移動させることにより、維持時間を設定することができる。
【００５０】
図８は、色空間規格が切り換わる映像信号の一例を示す図である。ここで、色空間情報の変化点ｔ０〜ｔ６は、ストリームプロセッサ５２で抽出したメタデータから取得される。各時刻ｔ０〜ｔ６において、映像信号の色空間規格が切り換わり、それに応じて色空間情報が切り換わる。ここで、時刻ｔ２〜ｔ３、時刻ｔ３〜ｔ４、及び時刻ｔ４〜ｔ５の期間は、設定された維持時間よりも短い。この場合、例えば、時刻ｔ２〜ｔ５の期間は、色空間情報を維持し、時刻ｔ１〜ｔ２のｘｖＹＣＣ期間と同様に処理する。すなわち、ホストＣＰＵ６０は、時刻ｔ２〜ｔ５の期間、色識別フラグをｘｖＹＣＣに維持する。これにより、受像機２は、時刻ｔ２〜ｔ５の期間、色域伸張処理をオフするため、色域伸張処理に伴う色合いの変化を抑制することができる。
【００５１】
次に、図９〜１２を参照して記録再生装置１における編集動作について説明する。ホストＣＰＵ６０は、編集対象のストリームに対して入力される編集点に基づいて編集を行う。また、ストリームプロセッサ５２は、編集対象のストリームからメタデータを抽出し、映像データの色空間規格の変化点情報を取得する。
【００５２】
図９は、シーンを切出す際の編集画面の一例を示す図である。この画面は、映像９１にＧＵＩ操作画面９２がブレンディングされている。ユーザは、ＧＵＩ操作画面９２の編集点を移動させて映像９１を見ながら、イン点、アウト点を設定することができる。
【００５３】
図１０（Ａ）に示すように、ＧＵＩ操作画面９２は、編集対象のストリームが時間軸で表示されている。この時間軸には、メタデータに基づいてｘｖＹＣＣ等の広色域区間が認識できるように表示を変えている。したがって、図１０（Ｂ）に示すようにイン点及びアウト点を設定した場合、広色域の映像データが含まれない単一の色空間規格のシーンであることが分かる。一方、図１０（Ｃ）に示すようにイン点及びアウト点を設定した場合、広色域区間が含まれる複数の色空間規格のシーンであることが分かる。このようにメタデータに基づいて映像データの色空間規格の変化点を提示すことにより、ユーザは色合いの変化を考慮してシーンの切出しを行うことができる。
【００５４】
また、ホストＣＰＵ６０は、色空間規格の変化点の情報が含まれるメタデータに基づいてユーザの編集動作に警告又は禁止をする。具体的には、色空間規格の変化点の間隔が所定期間よりも短くなる編集処理を警告又は禁止する。
【００５５】
図１１は、編集時における警告禁止動作を示すフローチャートである。ステップＳ１１において、ホストＣＰＵ６０は、イン点又はアウト点を設定する編集点が入力された映像データが異なる色空間規格が混在するものであるか否かを判別する。混在する映像データの場合、ステップＳ１２に進み、混在しない映像データの場合、警告禁止動作を終了する。
【００５６】
また、ステップＳ１２においてホストＣＰＵ６０は、編集点近傍で色空間規格の切り換わりが発生するか否かを判別する。ここで、編集点がイン点の場合は、イン点からの所定期間に色空間規格の変化点があるか否かを判別する。また、編集点がアウト点の場合は、アウト点までの所定期間に色空間規格の変化点があるか否かを判別する。この所定期間は、上述した識別フラグを切り換えない維持期間を用いることができる。
【００５７】
ステップＳ１２において、編集点近傍で色空間規格の切り換わりが発生する場合、ステップＳ１３に進み、切り換わりが発生しない場合、警告禁止動作を終了する。
【００５８】
ステップＳ１３において、ホストＣＰＵ６０は、ユーザに対し警告又は禁止を提示する。例えば、警告文として、「短時間のうちに切換わりが発生するため色表示がおかしくなる可能性があります。実行を継続しますか？」と表示する。また、禁止文として、「モニタの出力に影響があるため、このポイントを編集点とすることはできません」と表示する。ここで、警告か禁止かは、受像機２から取得したディスプレイ情報に応じて設定される。
【００５９】
図１２は、警告又は禁止が提示される編集の一例を示す図である。図１２において、時刻ｔ０〜ｔ１、時刻ｔ１〜ｔ２及び時刻ｔ０〜ｔ３の期間は、上述の維持時間よりも長く、時刻ｔ１〜ｔ２の期間は、ｘｖＹＣＣの色空間規格の映像信号である。ここで、時刻ｔ２’〜ｔ２’’の期間の映像信号を消去し、時刻ｔ１〜ｔ２’の期間が維持時間よりも短くなる編集を行う場合、ホストＣＰＵ６０は、警告又は禁止を提示する。
【００６０】
また、図１３に示すように、時刻ｔ０〜ｔ１の映像信号と、時刻ｔ０〜ｔ２の広色域の映像信号と、時刻ｔ０〜ｔ３の映像信号とを結合する際、時刻ｔ０〜ｔ２及び時刻ｔ０〜ｔ３の期間が維持時間よりも短い場合、ホストＣＰＵ６０は、警告又は禁止を提示する。
【００６１】
このようにハードディスクドライブ４４等に映像データを記録する際、映像データに対応付けてメタデータとして色空間規格の変化点情報を記録し、映像データの色空間情報を管理することにより、編集操作等における問題を事前に回避することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施の形態に係る再生システムを示す図である。
【図２】ｘｖＹＣＣの色域を平面に投射した場合の模式図である。
【図３】ビデオ・グラフィック・プロセッサの構成を示すブロック図である。
【図４】記録再生装置の構成を具体的に示すブロック図である。
【図５】映像信号と色空間情報の変化点との関係の一例を示す図である。
【図６】タイトルリストの表示画面例を示す図である。
【図７】設定画面の一例を示す図である。
【図８】色空間規格が切り換わる映像信号の一例を示す図である。
【図９】シーンを切出す際の編集画面の一例を示す図である。
【図１０】ＧＵＩ操作画面の一例を示す図である。
【図１１】編集時における警告禁止動作を示すフローチャートである。
【図１２】警告又は禁止が提示される編集の一例を示す図である。
【図１３】警告又は禁止が提示される編集の一例を示す図である。
【符号の説明】
【００６３】
１ 記録再生装置、 ２ 受像機、 ３ ＨＤＭＩケーブル、 １１ ＭＰＥＧデコーダ、 １２ ビデオ・グラフィック・プロセッサ、 １３ ホストＣＰＵ、 １４ ＨＤＭＩ Ｔｘ、 １５ ＨＤＭＩコネクタ、 ２１ ＨＤＭＩコネクタ、 ２２ ＨＤＭＩ Ｒｘ、 ２３ ホストＣＰＵ、 ２４ ＥＤＩＤＲＯＭ、 ２５ ビデオ・グラフィック・プロセッサ、 ２６ ディスプレイデバイス、 ４１ ライン入力端子、 ４２ アナログチューナ、 ４３ ディスクドライブ、 ４４ ハードディスクドライブ、 ４５ ＩＥＥＥ１３９４入力端子、 ４６ デジタルチューナ、 ４７ セレクタ、 ４８ ビデオデコーダ、 ４９ セレクタ、 ５０ エンコーダ、 ５１ ＨＤＶプロセッサ、 ５２ ストリームプロセッサ、 ５３ デコーダ、 ５４ ビデオ・グラフィック・プロセッサ、 ５５ ＨＤＭＩ Ｔｘ、 ５６ ＤＡＣ、 ５７ ＨＤＭＩコネクタ、 ５８ コンポーネント端子、 ５９ コンポジット端子、 ６０ ホストＣＰＵ
【特許請求の範囲】
【請求項１】
第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理装置であって、
画像信号の色空間規格の変化点を検出する検出手段と、
上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録手段と、
上記変化点情報に基づいて画像信号の信号処理を制御する制御手段と
を備える画像処理装置。
【請求項２】
所定のデジタル映像信号伝送規格にて上記画像信号と当該画像信号の色空間規格を示す色空間情報とを伝送する伝送手段と、
上記変化点情報に基づいて上記色空間情報の切り換えを制御する伝送制御手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記伝送制御手段は、上記色空間規格の変化点の間隔が所定期間よりも短い場合、上記色空間情報を維持することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記変化点情報に基づいて上記色空間規格を示す色空間情報を表示させる表示手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記画像信号に対して編集点が入力され、当該編集点に基づいて画像信号を編集する編集手段を備え、
上記編集手段は、上記色空間規格の変化点の間隔が所定期間よりも短くなる編集処理を警告又は禁止することを特徴とする請求項１記載の画像処理装置。
【請求項６】
第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理方法であって、
画像信号の色空間規格の変化点を検出する検出工程と、
上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録工程と、
上記変化点情報に基づいて画像信号の信号処理を制御する制御工程と
を有する画像処理方法。
【請求項１】
第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理装置であって、
画像信号の色空間規格の変化点を検出する検出手段と、
上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録手段と、
上記変化点情報に基づいて画像信号の信号処理を制御する制御手段と
を備える画像処理装置。
【請求項２】
所定のデジタル映像信号伝送規格にて上記画像信号と当該画像信号の色空間規格を示す色空間情報とを伝送する伝送手段と、
上記変化点情報に基づいて上記色空間情報の切り換えを制御する伝送制御手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記伝送制御手段は、上記色空間規格の変化点の間隔が所定期間よりも短い場合、上記色空間情報を維持することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記変化点情報に基づいて上記色空間規格を示す色空間情報を表示させる表示手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記画像信号に対して編集点が入力され、当該編集点に基づいて画像信号を編集する編集手段を備え、
上記編集手段は、上記色空間規格の変化点の間隔が所定期間よりも短くなる編集処理を警告又は禁止することを特徴とする請求項１記載の画像処理装置。
【請求項６】
第１の色空間規格の画像信号と当該第１の色空間規格で規定される色域よりも広い色域の第２の色空間規格の画像信号とを信号処理する画像処理方法であって、
画像信号の色空間規格の変化点を検出する検出工程と、
上記画像信号の色空間規格の変化点と当該画像信号の位置とが対応付けられた変化点情報を記録する記録工程と、
上記変化点情報に基づいて画像信号の信号処理を制御する制御工程と
を有する画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−３８６８７（Ｐ２００９−３８６８７Ａ）
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願番号】特願２００７−２０２３８４（Ｐ２００７−２０２３８４）
【出願日】平成１９年８月２日（２００７．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年２月１９日（２００９．２．１９）
【国際特許分類】
【出願日】平成１９年８月２日（２００７．８．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]