説明

映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法

【課題】表示画面の有効画素数よりも画素数が多い画像データを一定方向に動かしながら表示する際に、綺麗に表示させる。
【解決手段】再生装置では、表示領域の画素数より遙かに多い画素数の巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生するとともに、ビデオ信号のヘッダに格納された素材データの速度を示す速度情報を読み出し、第1の通信部を介してビデオ信号および速度情報を送信する。表示装置では、受信した速度情報に基づき、素材データの速度とビデオ信号に対する処理が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示画面の有効画素数よりも画素数が多い画像データを一定速度で一定方向に動かすようにされた素材データからなるビデオ信号を表示する際に用いて好適な、映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法に関する。
【背景技術】
【0002】
従来から、フィルムカメラを用いて広い視野を撮影したパノラマ写真が広く楽しまれている。パノラマ写真は、フィルムカメラに設けられたレンズが機械的に回転する特殊な撮影機材や、フィルムに対する撮像部分が横長であり、ワイドレンズが設けられたフィルムカメラを用いて撮影することができる。
【0003】
近年では、フィルムカメラの衰退やディジタルカメラの普及に伴い、ディジタルカメラによるパノラマ写真の撮影がより手軽に楽しまれている。具体的には、例えば図27に示すように、ディジタルカメラを回転させるように連続的に移動させ、ある程度の重なりを考慮しながら水平方向や垂直方向などの一定方向に順次、撮影を行う。そして、PC(Personal Computer)に搭載されたステッチングソフトウェアなどを用いて、撮影された画像を所定に繋ぎ合わせることで、ディジタルカメラの画角よりも遙かに広範囲のパノラマ画像を作成することができる。例えば、下記の特許文献1には、パノラマ画像を撮影する際のカメラの制御方法と、この制御により撮影された画像データからパノラマ画像を作成する方法が記載されている。
【0004】
【特許文献1】特開2007−43505号公報
【0005】
このようにして作成されたパノラマ画像は、通常、プリンタ等で印刷されたパノラマ写真として楽しむことが多い。しかしながら、ディジタルデータとして作成されたパノラマ画像を印刷して楽しむということは、フィルムカメラで撮影されたパノラマ写真と同様に、静的な楽しみ方しか行うことができず、ディジタルデータならではの楽しみ方に欠けるものであった。
【0006】
また、作成されたパノラマ画像をPC用のディスプレイに表示させて楽しむことも考えられる。最近のディジタルカメラにおいては、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどの撮像素子の高性能化が進み、解像度の高い画像データを取得することができる。そのため、このような高い解像度を有する画像データを複数繋ぎ合わせて構成されたパノラマ画像は、ディスプレイの解像度よりも遙かに高い解像度を有している。
【0007】
したがって、PC用のディスプレイにパノラマ画像を表示させる場合には、例えば画像データの画素数をディスプレイの表示画素数に合わせて減らす必要がある。しかしながら、画像データの画素数を減らす際には、画像データに対して画素の間引き等を行わなければならず、解像度の劣化を避けることができない。
【0008】
特に、上述したパノラマ画像は、一般にディスプレイの解像度よりも遙かに高い解像度を有している。そのため、パノラマ画像のような膨大な画素数を有する画像データをディスプレイに表示させた場合には、画像の縮小率が極めて大きくなり、画像データの解像度を生かし切ることができない。
【0009】
このように、一般に、ディスプレイの画面サイズや解像度の問題から、パノラマ画像をPCで十分に楽しむことが困難である。
【0010】
また、例えば、PCに搭載されたソフトウェアを用いて、画像データを水平方向或いは垂直方向に整数ピクセル単位で読み込んでレンダリングすることにより、図28に示すように、一定速度で移動するように動的に動かして表示させることも考えられる。より具体的には、例えば、Java Script(Javaは登録商標)などで記述されることにより、Web上で楽しむことができる。
【0011】
しかしながら、この場合には、PCの性能やOS(Operating System)などにより、画像データが全体的に滑らかに動かなかったり、画像データが部分的に不定期に欠落してしまったりすることがある。そのため、パノラマ画像を安定して綺麗に表示させることが困難であった。
【0012】
ところで、近年では、ディジタル伝送技術や映像データの圧縮符号化技術の進歩に伴い、テレビジョン映像の高解像度化が実現されている。例えば、現行の地上ディジタルテレビジョン放送における所謂ハイビジョン映像では、インターレース走査で1920画素×1080画素(1080I)の解像度が実現されている。また、規格としてはプログレッシブ走査で1920画素×1080画素(1080P)の解像度も規定されている。それに伴い、当該テレビジョンに映像を映出するためのテレビジョン受像機においても、LCD(Liquid Crystal Display)やPDP(Plasma Display Panel)、有機EL(Electro Luminescence)などを用いたハイビジョン映像の解像度に対応した有効表示画素数を持つ製品が多数、開発されている。また、ハイビジョン映像によるテレビジョン信号を伝送するためのインターフェース規格も、HDMI(High Definition Multimedia Interface)として規定されている。このようなテレビジョン受像機(以下、テレビと適宜称する)は、PC用のディスプレイに比べて画面のサイズも大きく、高い解像度を有している。
【0013】
ここで、1920画素×1080画素の解像度で映像を表示するテレビなどの表示装置に、パノラマ画像をドットバイドットで表示して動的に動かす場合について考える。この場合、パノラマ画像における垂直方向または水平方向の画素数をテレビの画素数に合わせるように解像度変換し、一定の速度で移動させる。
【0014】
例えば、図28に示すような横長のパノラマ画像の場合には、画像データの垂直方向の画素数が表示装置の垂直方向の画素数である1080画素となるように解像度変換を行う。そして、表示装置の垂直周波数に同期して、所定の画素単位で水平方向に移動させる。例えば、NTSC(National Television System Committee)方式の場合、表示装置の垂直周波数である60Hzに同期して、1/60秒毎に1画素や2画素などの整数画素単位で水平方向に移動させる。こうすることにより、画素単位で移動するパノラマ画像の再生が可能となる。
【0015】
なお、縦長のパノラマ画像の場合には、画像データの水平方向の画素数が表示装置の水平方向の画素数である1920画素となるように解像度変換すればよい。
【0016】
このとき、パノラマ画像の元の解像度が高いので、パノラマ画像をテレビに表示させた際に、ディジタルカメラ特有のノイズ感やベイヤー配列によるぼやけもあまり気にならずに、極めて高精細なパノラマ画像を表示することができる。
【発明の開示】
【発明が解決しようとする課題】
【0017】
ところで、最近では、BD(Blu-ray Disc;Blu-rayは登録商標)やDVD(Digital Versatile Disc)を記録媒体とし、記録媒体に記録された画像データを再生する再生装置が広く普及してきている。このような再生装置は、一般に、画像データをインターレースで出力する。一方、LCDやPDP、有機ELを用いたテレビなどの表示装置は、プログレッシブで表示する。そのため、再生装置から出力されたインターレースの画像データを、プログレッシブで表示する場合には、この画像データをプログレッシブに変換するためのI/P(Interlace/Progressive)変換を行う必要がある。
【0018】
例えば、インターレースの素材をプログレッシブに変換する方法としては、図29に示すように、奇数フィールドの画像と偶数フィールドの画像とを単純に重ね合わせることによって1枚のフレーム画像を生成する単純フィールド合成を適用することができる。
【0019】
しかしながら、このように、2枚のフィールド画像から1枚のフレーム画像を生成する単純フィールド合成では、画像の枚数が減ってしまい、フレームレートが変化してしまう。また、動きの速い映像の場合には、図30に示すようにぶれた映像となってしまう場合がある。
【0020】
そこで、フィールド合成の際に、動きが速い映像の場合には、1枚のフィールド画像を用いて足りないラインの補間を行う。また、動きのほとんどない映像の場合には、2枚のフィールド画像を用いて動き補償等を行い、フィールド合成によって半分に減ったフィールドを補間して、元のフレームレートを維持するようにしている。
【0021】
このとき、1枚のフィールド画像内でライン補間を行った場合には、2枚のフィールド画像を合成した場合と比較して、全体的にぼやけた映像になってしまうおそれがある。また、画像の内容によって、フィールド内での補間とフィールド間での補間とを適応的に切り替えてフィールド合成を行うことも考えられるが、切り替え方法によっては、画質が劣化してしまう。
【0022】
I/P変換は、上述した方法以外にも、様々な方法を用いて行うことができる。しかしながら、従来から用いられている方法では、I/P変換によりインターレースの映像をプログレッシブに変換する際に画質が劣化してしまい、想定された映像品質を得ることが困難であるという問題点があった。
【0023】
したがって、この発明の目的は、表示画面の有効画素数よりも画素数が多い画像データを一定方向に動かしながら表示する際に、綺麗に表示させることができるような映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法を提供することにある。
【課題を解決するための手段】
【0024】
上述した課題を解決するために、第1の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
入力部に入力されたビデオ信号を再生する再生部と、
他の機器と通信を行う第1の通信部と
を有し、
第1の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報とビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第2の通信部と
を有し、
第2の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
からなり、
第1および第2の通信部により再生装置および表示装置が接続された際に、再生装置は、ビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を表示装置に対して送信し、表示装置は、第2の通信部を介して受信した速度情報に基づき、テーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理システムである。
【0025】
また、第2の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生し、第1の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行い、映像信号処理が施されたビデオ信号を表示部に表示し、第2の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
を第1および第2の通信部で接続した際に、
再生装置は、ビデオ信号のヘッダに格納された素材データの速度を示す速度情報を読み出し、ビデオ信号および速度情報を表示装置に対して送信し、表示装置は、受信した速度情報に基づき、ビデオ信号の素材データの速度情報とビデオ信号に対する処理内容が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理方法である。
【0026】
また、第3の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
入力部に入力されたビデオ信号を再生する再生部と、
他の機器と通信を行う第1の通信部と
を有し、
第1の通信部を介してなされる通信により、他の機器とビデオ信号のやりとりを行うとともにビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を他の機器に対して送信する再生装置である。
【0027】
また、第4の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力されたビデオ信号を再生し、第1の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた再生装置を第1の通信部を介して他の機器と接続した際に、再生装置は、ビデオ信号のヘッダに格納された素材データの速度情報を読み出し、ビデオ信号および速度情報を他の機器に対して送信する映像信号処理方法である。
【0028】
また、第5の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報とビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第2の通信部と
を有し、
第2の通信部を介してなされる通信により、他の機器とビデオ信号のやりとりを行うとともに速度情報を受信し、受信した速度情報に基づき、テーブルを参照してビデオ信号に対して映像信号処理を行う表示装置である。
【0029】
また、第6の発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行い、映像信号処理が施されたビデオ信号を表示し、第2の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた表示装置を第2の通信部を介して他の機器と接続した際に、表示装置は、ビデオ信号の素材データの速度を示す速度情報を受信し、受信した速度情報に基づき、ビデオ信号の素材データの速度情報とビデオ信号に対する処理内容が関連付けられたテーブルを参照してビデオ信号に対して映像信号処理を行う映像信号処理方法である。
【発明の効果】
【0030】
この発明は、表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号を表示させる際に、所定の映像信号処理を行う。このとき、ビデオ信号の素材データの速度に応じて2−2プルダウン処理やハイフレームレート処理などの映像信号処理を行うようにしているため、入力されたビデオ信号を滑らかに表示させることができるという効果がある。
【発明を実施するための最良の形態】
【0031】
以下、この発明の実施の第1の形態について説明する。この発明の実施の第1の形態では、パノラマ画像など、表示装置における表示領域の画素数を超える画素数を有する画像データ(以下、巨大画像データと適宜称する)を一定速度で一定方向に移動させることによって生成されたビデオ信号を再生装置で再生し、表示装置の表示領域に表示させる。
【0032】
このとき、再生装置は、標準的に扱われているフィールド周波数が60Hzでインターレース走査(以下、60iと適宜称する)のビデオ信号を出力する。表示装置は、入力された60iのビデオ信号に対して通常のI/P(Interlace/Progressive)変換ではなく2−2プルダウン処理を行うことにより、フレーム周波数が60Hzでプログレッシブ走査(以下、60pと適宜称する)のビデオ信号に変換して表示する。
【0033】
図1および図2を用いて、より具体的に説明する。ここでは、BD(Blu-ray Disc;登録商標)などの記録媒体に記録されたパノラマ画像などの巨大画像データに基づくビデオ信号を再生装置で読み出し、表示装置の表示領域に表示させる場合を例にとって説明する。例えば、図1に示すような横長のパノラマ画像を巨大画像データとして用い、この巨大画像データを一定速度で一定方向に移動させながら表示させる場合について考える。
【0034】
先ず、巨大画像データを一定速度で一定方向に移動させながら表示させるための素材データとして、例えばフレーム周波数が30Hzでプログレッシブ走査(以下、30pと適宜称する)のビデオ信号を生成する。例えば、図1に示す横長のパノラマ画像データを1/30秒に同期させ、1画素や2画素など、所定の整数画素単位で水平方向に移動させる。こうすることにより、巨大画像データから30pのビデオ信号(以下、素材データと適宜称する)を生成することができる。
【0035】
次に、再生装置で再生可能なフォーマットに対応するように、30pの素材データから60iのビデオ信号を生成する。60iのビデオ信号は、30pの素材データにおける1フレームを2つのフィールドに分割することにより生成することができる。例えば、図2に示すように、30pの素材データの第1フレームから60iのビデオ信号の第1aフィールドおよび第1bフィールドを生成する。同様にして、30pの素材データの第2フレームから60iのビデオ信号の第2aフィールドおよび第2bフィールドを生成する。
【0036】
表示装置では、生成された60iのビデオ信号を60pのビデオ信号に変換する。この発明の実施の第1の形態では、60iから60pへのビデオ信号の変換の際に、通常のI/P変換ではなく、2−2プルダウン処理を用いる。2−2プルダウン処理では、60iのビデオ信号の1つのフィールドから60pのビデオ信号の1つのフレームを生成する。例えば、図2に示すように、60iのビデオ信号の第1aフィールドから60pのビデオ信号の第1フレームを生成し、60iの第1bフィールドから60pの第2フレームを生成する。
【0037】
このとき、2−2プルダウン処理によって1枚のフレームを生成する際に用いられる60iのビデオ信号の連続する2枚のフィールドは、同一の画像データである。したがって、60iのビデオ信号を2−2プルダウン処理によって60pのビデオ信号に変換することにより、元の素材データとしての30pのビデオ信号を再生することができる。
【0038】
図3は、この発明の実施の第1の形態に適用可能な再生装置1の一例の構成を示す。再生装置1は、CPU(Central Processing Unit)11、再生制御部14、HDMI(High Definition Multimedia Interface)トランスミッタ16、ネットワークインターフェース(I/F)17およびデコーダ18を備え、各部がバス10を介して接続されている。なお、ここでは、説明が煩雑となるのを防ぐため、ここでは、この発明と直接的に関わりのない部分については、図示および説明を省略する。
【0039】
CPU11は、ROM(Read Only Memory)12に予め記憶されたプログラムに従い、RAM(Random Access Memory)13をプログラム実行の際のワークメモリとして用いて、この再生装置1の各部を制御する。
【0040】
再生制御部14には、記録媒体15が接続される。再生制御部14は、記録媒体15に記録されたデータの再生制御を行う。再生制御部14は、記録媒体15から30pのビデオ信号が素材データとされた60iのビデオ信号を読み出し、HDMIトランスミッタ16に供給する。記録媒体15としては、例えばBDやDVD(Digital Versatile Disc)などの光ディスクを用いることができる。また、記録媒体15として着脱可能な不揮発性メモリやハードディスクを用いることもできる。さらに、記録媒体15は、従来から動画データの記録に用いられる磁気テープを適用することも可能である。
【0041】
HDMIトランスミッタ16は、再生制御部14から供給されたビデオ信号を、後述する表示装置2に設けられたHDMIレシーバ24に供給する。なお、HDMIトランスミッタ16とHDMIレシーバ24との通信の詳細については、後述する。
【0042】
ネットワークI/F17は、有線LAN(Local Area Network)や無線LAN等によりインターネットなどの外部のネットワークに接続され、所定のプロトコルを用いて外部との通信を行う。
【0043】
デコーダ18には、チューナ19が接続される。チューナ19は、アンテナを介して受信したディジタルテレビジョン放送などの電波から所定の周波数の信号を選択する。そして、この信号に対して復調や誤り訂正などの所定の信号処理を施して得られたトランスポートストリーム(TS:Transport Stream)から必要なストリームを取り出し、デコーダ18に供給する。デコーダ18は、チューナ19から供給されたストリームに含まれる圧縮ビデオ信号に対して所定の復号処理を施し、ビデオ信号を出力する。
【0044】
図4は、この発明の実施の第1の形態に適用可能な表示装置2の一例の構成を示す。表示装置2は、CPU21、HDMIレシーバ24、GPU(Graphics Processing Unit)25、ネットワークI/F28およびデコーダ29を備え、各部がバス20を介して接続されている。
【0045】
CPU21は、ROM22に予め記憶されたプログラムに従い、RAM23をプログラム実行の際のワークメモリとして用いて、この表示装置2の各部を制御する。HDMIレシーバ24は、再生装置1に設けられたHDMIトランスミッタ16から60iのビデオ信号を受け取る。
【0046】
GPU25には、表示部26およびVRAM(Video Random Access Memory)27が接続される。GPU25は、30pのビデオ信号が素材データとされた60iのビデオ信号に対してVRAM27を用いて2−2プルダウン処理を施し、60pのビデオ信号を生成する。そして、生成された60pのビデオ信号を表示部26に表示する。表示部26としては、LCD(Liquid Crystal Display)やPDP(Plasma Display Panel)、有機EL(Electro Luminescence)、CRT(Cathode Ray Tube)等を用いることができる。
【0047】
ネットワークI/F28は、有線LAN(Local Area Network)や無線LAN等によりインターネットなどの外部のネットワークに接続され、所定のプロトコルを用いて外部との通信を行う。
【0048】
デコーダ29には、チューナ30が接続される。チューナ30は、アンテナを介して受信したディジタルテレビジョン放送などの電波から所定の周波数の信号を選択する。そして、この信号に対して復調や誤り訂正などの所定の信号処理を施して得られたトランスポートストリーム(TS:Transport Stream)から必要なストリームを取り出し、デコーダ29に供給する。デコーダ29は、チューナ30から供給されたストリームに含まれる圧縮ビデオ信号に対して所定の復号処理を施し、ビデオ信号を出力する。
【0049】
図5は、ソース機器である再生装置1に設けられたHDMIトランスミッタ16と、シンク機器である表示装置2に設けられたHDMIレシーバ24との間で行われる通信を概略的に示す。HDMIトランスミッタ16から、映像のデータ信号がTMDS(Transition Minimized Differential Signaling)チャンネル0〜2を用いて送信され、HDMIレシーバ24に受信される。また、HDMIトランスミッタ16から、クロック信号がTMDSクロックチャンネルを用いて送信され、HDMIレシーバ24に受信される。HDMIレシーバ24は、受信されたこれらの信号に基づき、ビデオ信号およびオーディオ信号を生成し、出力する。
【0050】
また、表示装置2側では、ベンダ名や型番、解像度といった表示装置固有の情報を保持するROM40を有している。HDMI信号の送信側である再生装置1は、DDC(Display Data Channel)を用いて表示装置2側と通信を行い、ROM40に保持される表示装置固有の情報を取得する。表示装置固有の情報のデータ形式は、EDID(Extended Display Identification Data)として規定されている。DDCは、上述したTMDSチャンネル0〜2およびTMDSクロックチャンネルと共通のケーブルで伝送される。
【0051】
ところで、通常の表示装置では、再生装置1から出力された、30pのビデオ信号が素材データとされた60iのビデオ信号を受け取った場合に、通常のビデオ信号と同様に一般的なI/P変換を行ってしまい、画質が劣化してしまうおそれがある。そのため、再生装置から出力されるビデオ信号が30pの素材データを用いていることを、表示装置側に通知する必要がある。
【0052】
そこで、この発明の実施の第1の形態では、60iのビデオ信号の素材データの動く速度(フレームレート)を示す速度情報をBDのヘッダ等に記述しておき、この速度情報を表示装置に通知する。
【0053】
ここで、BDに記録されるファイルの管理構造について、図6を用いて概略的に説明する。なお、ここでは、この発明と直接的に関わりのない部分については、詳細な説明を省略する。ファイルは、ディレクトリ構造により階層的に管理される。記録媒体上には、先ず、1つのディレクトリ(図6の例ではルート(root)ディレクトリ)が作成される。このディレクトリの下が、1つの記録再生システムで管理される範囲とする。
【0054】
ルートディレクトリの下に、ディレクトリ"BDMV"およびディレクトリ"CERTIFICATE"が置かれる。ディレクトリ"CERTIFICATE"は、著作権に関する情報が格納される。
【0055】
ディレクトリ"BDMV"の直下には、ファイルは、ファイル"index.bdmv"およびファイル"MovieObject.bdmv"の2つのみを置くことができる。また、ディレクトリ"BDMV"の下に、ディレクトリ"PLAYLIST"、ディレクトリ"CLIPINF"、ディレクトリ"STREAM"、ディレクトリ"AUXDATA"、ディレクトリ"META"、ディレクトリ"BDJO"、ディレクトリ"JAR"、およびディレクトリ"BACKUP"が置かれる。
【0056】
ディレクトリ"PLAYLIST"は、プレイリストのデータベースが置かれるディレクトリである。すなわち、ディレクトリ"PLAYLIST"は、ムービープレイリストに関するファイルであるファイル"xxxxx.mpls"を含む。ファイル"xxxxx.mpls"は、ムービープレイリストのそれぞれに対して作成されるファイルである。ファイル名において、"."(ピリオド)の前の"xxxxx"は、5桁の数字とされ、ピリオドの後ろの"mpls"は、このタイプのファイルに固定的とされた拡張子である。
【0057】
ディレクトリ"CLIPINF"は、クリップのデータベースが置かれるディレクトリである。すなわち、ディレクトリCLIPINF"は、クリップAV(Audio/Video)ストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル"zzzzz.clpi"を含む。ファイル名において、"."(ピリオド)の前の"zzzzz"は、5桁の数字とされ、ピリオドの後ろの"clpi"は、このタイプのファイルに固定的とされた拡張子である。
【0058】
ディレクトリ"STREAM"は、実体としてのAVストリームファイルが置かれるディレクトリである。すなわち、ディレクトリ"STREAM"は、クリップインフォメーションファイルのそれぞれに対応するクリップAVストリームファイルを含む。クリップAVストリームファイルは、MPEG2(Moving Pictures Experts Group 2)のトランスポートストリーム(以下、MPEG2 TSと略称する)からなり、ファイル名が"zzzzz.m2ts"とされる。ファイル名において、ピリオドの前の"zzzzz"は、対応するクリップインフォメーションファイルと同一することで、クリップインフォメーションファイルとこのクリップAVストリームファイルとの対応関係を容易に把握することができる。
【0059】
図7は、クリップインフォメーションファイルの一例の構造を表すシンタクスを示す。ここでは、シンタクスをコンピュータ装置などのプログラムの記述言語として用いられるC言語の記述法に基づき示す。これは、他のシンタクスを表す図において、同様である。フィールドtype_indicatorは、32ビット(4バイト)のデータ長を有し、このファイルがクリップインフォメーションファイルであることを示す。フィールドversion_numberは、32ビット(4バイト)のデータ長を有し、このクリップインフォメーションファイルのバージョンを示す。
【0060】
このクリップインフォメーションファイルは、ブロックClipInfo()、ブロックSequenceInfo()、ブロックProgramInfo()、ブロックCPI()、ブロックClipMark()およびブロックExtensionData()を有する。それぞれ32ビットのデータ長を有するフィールドSequenceInfo_start_address、フィールドProgramInfo_start_address、フィールドCPI_start_address、フィールドClipMark_start_addressおよびフィールドExtensionData_start_addressは、各々対応するブロックの開始アドレスを示す。
【0061】
ブロックProgramInfo()は、このクリップインフォメーションファイルに管理されるクリップAVストリームの符号化方式や、クリップAVストリーム中のビデオデータのアスペクト比などの情報が記述される。ブロックProgramInfo()は、この発明の実施の第1の形態に係るデータが記述される。
【0062】
図8は、ブロックProgramInfo()の一例の構造を表すシンタクスを示す。フィールドLengthは、32ビットのデータ長を有し、このフィールドLengthの直後からブロックProgramInfo()の最後までのデータ長を示す。ブロックStreamCodingInfo(stream_index)は、対応するフィールドstream_PID[stream_index]で示されるエレメンタリストリームの符号化方式に関する情報が記述される。
【0063】
図9は、ブロックStreamCodingInfo(stream_index)の一例の構造を表すシンタクスを示す。フィールドLengthは、8ビットのデータ長を有し、このフィールドLengthの直後からブロックStreamCodingInfo(stream_index)の終わりまでのデータ長を示す。
【0064】
フィールドLengthの次に、8ビットのデータ長を有するフィールドstream_coding_typeが配される。フィールドstream_coding_typeでは、値[stream_index]で示されるエレメンタリストリームの符号化のタイプが示される。一例として、フィールドstream_coding_typeの値として値"0x2B"、値"0x1B"、値"0xEA"、値"0x80"〜値"0x86"、値"0xA1"、値"0xA2"および値"0x90"〜値"0x92"が定義されている。次のif文に従い、このフィールドstream_coding_typeの値に応じた記述がなされる。なお、数値の記述において"0x"は、その数値が16進表記されていることを示す。これは、以下の同様な表記について共通である。
【0065】
フィールドstream_coding_typeの値が例えば"0x02"、"0x1B"または"0xEA"であって、値[stream_index]で示されるエレメンタリストリームがビデオストリームであることが示されれば、if文に従いフィールドvideo_format、フィールドframe_rateおよびフィールドaspect_ratioが記述され、2ビットのデータ長を有する領域reserved_for_furure_useを介してさらにフラグcc_flagが記述される。フラグcc_flagの後には、17ビットのデータ長を有する領域reserved_for_furure_useが配される。
【0066】
フィールドvideo_formatは、4ビットのデータ長を有し、値[stream_index]で示されるビデオデータのフォーマットを示す。図10は、フィールドvideo_formatで示されるビデオデータの一例のフォーマットを一覧で示す。図10に例示されるように、ビデオデータのフォーマットは、4ビットで表現可能な値"0"〜値"15"で識別され、値"0"および値"8"〜値"15"は、予約とされている。値"1"〜値"7"で、それぞれビデオデータのフォーマットの480i、576i、480p、1080i、720p、1080pおよび576pを示す。
【0067】
これらのビデオフォーマットは、ITU(International Telecommunication Union)−R BT.601−4(576i)、ITU−R BT.601−5(480i)、ITU−R BT.1358(576p)、SMPTE(Society of Motion Picture and Television Engineers) 293M(480p)、SMPTE 274M(1080iおよび1080p)およびSMPTE 296M(720p)により標準化されたフォーマットである。
【0068】
ブロックStreamCodingInfo(stream_index)において、フィールドframe_rateは、4ビットのデータ長を有し、値[stream_index]で示されるビデオデータのフレームレートを示す。図11は、フィールドframe_rateで示される一例のフレームレートを一覧で示す。図frame_rateに例示されるように、ビデオデータのフレームレートは、4ビットで表現可能な値"0"〜"15"で識別され、値"0"、値"5"および値"8"〜値"15"は、予約とされている。値"1"〜値"4"で、それぞれフレームレートが(24000/1001)Hzすなわち略23.97Hz、24Hz、25Hzおよび(30000/1001)Hzすなわち略29.97Hzを示す。また、値"6"および値"7"で、それぞれフレームレートが50Hzおよび(60000/1001)Hzすなわち略59.94Hzを示す。
【0069】
この発明の実施の第1の形態では、例えばフラグcc_flagの後に配される17ビットの領域reserved_for_furure_use(図12A)に速度情報を記述する。第0ビットから第16ビットのうち第0ビットは、素材データの動く速度(フレームレート)とビデオ信号のフレームレートとの関係を示す。図12Bに示すように、第0ビットが値"0"の場合は、素材データの速度(フレームレート)とビデオ信号のフレームレートとが一致することを示す。また、第0ビットが値"1"の場合は、素材データの速度(フレームレート)とビデオ信号のフレームレートとが異なることを示す。例えば、60iのビデオ信号の素材データが30pである場合、ビデオ信号のフレームレートが60Hzであり、素材データのフレームレートが30Hzであるため、それぞれのフレームレートが異なり、第0ビットが値"1"となる。
【0070】
また、素材データの速度が第1ビットから第8ビットで表現可能な値で識別される。図12Cに示すように、第1ビットから第8ビットで表現された値は、素材データを1画素移動させる際の時間の逆数を示す。すなわち、第1ビットから第8ビットで表現された値は、素材データのフレームレートを示す。例えば、素材データが1/30秒ごとに1画素移動させて動かすようにしている場合、第1ビットから第8ビットにより値"30"となる。
【0071】
このようにしてBDに記述された速度情報を再生装置1から表示装置に通知する場合、この発明の実施の第1の形態では、HDMIを用いる。HDMI規格によれば、ビデオ信号を送信するとともに、ビデオ信号のブランキング期間(垂直ブランキング期間および水平ブランキング期間)に各種の情報が含まれたInfoFrameと呼ばれるパケットを送信することができる。そこで、この発明の実施の第1の形態では、このInfoFrameを利用して、再生装置1から表示装置2に対して速度情報を伝送する。
【0072】
図13は、HDMIにより伝送されるパケットのヘッダ(パケットヘッダ)の構成を示す。パケットヘッダは、24ビットのデータにより構成され、8ビットがPacket Type(パケットタイプ)を示し、残りの16ビットがpacket-specific dataを示す。このパケットタイプの値により、パケットに格納された情報を判断することができる。
【0073】
図14は、パケットタイプの値に応じたパケットタイプを示す。例えば、パケットタイプの値が"0x80"から始まる場合、すなわち、8ビットの最上位ビットの値が"1"である場合には、このパケットがInfoFrameであることを示す。そして、残りの7ビットがInfoFrame Typeを示す。
【0074】
パケットタイプの値が"0x81"の場合には、このパケットがInfoFrameであり、Vendor-Specific InfoFrameであることを示す。Vendor-Specific InfoFrameは、ベンダが独自に固有の情報を格納することができる。この発明の実施の第1の形態では、このVendor-Specific InfoFrameに速度情報を格納する。
【0075】
次に、表示装置2におけるビデオ信号に対する処理内容の決定方法について説明する。表示装置2は、再生装置1から受け取ったInfoFrameのうちVendor-Specific InfoFrameに格納された速度情報に基づき、受け取ったビデオ信号に対する処理を決定する。
【0076】
このとき、表示装置2は、受け取ったビデオ信号の素材データの速度(フレームレート)と、表示装置2において行う処理の内容との関係を示すテーブルを予め記憶している。表示装置2に予め記憶されているテーブルは、図15に示すように、素材データの速度(フレームレート)と表示装置2における処理内容が関連付けられている。例えば、素材データの速度が30Hzや60Hzの場合には、ビデオ信号に対する処理として2−2プルダウン処理が関連付けられている。
【0077】
したがって、表示装置2は、再生装置1から受け取った速度情報に基づき、このテーブルを参照してビデオ信号に対する処理を決定する。
【0078】
図16は、この発明の実施の第1の形態による一例の画像表示処理の流れを示すフローチャートである。このフローチャートで示す処理は、パノラマ画像などの巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号を再生する際の一例の処理である。ここでは、一例として、30pの素材データからなるビデオ信号を再生する場合について説明する。
【0079】
ステップS1では、記録媒体15に記録された60iのビデオ信号の素材データが30pのビデオ信号であるか否かが判断される。素材データが30pのビデオ信号であると判断された場合には、処理がステップS2に移行する。ステップS2では、表示装置2側において、I/P変換として2−2プルダウン処理が可能であると判断された場合には、処理がステップS3に移行する。
【0080】
ステップS3では、再生装置1において、記録媒体15に記録された30pのビデオ信号が素材データとされた60iのビデオ信号が読み出される。また、60iのビデオ信号のヘッダから素材データのフレームレートを示す速度情報が読み出され、HDMIのInfoFrameのVendor-Specific InfoFrameに格納される。そして、HDMIトランスミッタ16を介して、60iのビデオ信号および速度情報が再生装置1から表示装置2に伝送される。表示装置2では、再生装置1から伝送された60iのビデオ信号および速度情報を、HDMIレシーバ24を介して供給される。
【0081】
ステップS4では、表示装置2において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶された図15に示すテーブルを参照して60iのビデオ信号に対する処理内容が決定される。例えば、60iのビデオ信号の素材データの速度(フレームレート)が30Hzである場合には、I/P変換として2−2プルダウン処理を行うことが決定される。
【0082】
ステップS5において、表示装置2による2−2プルダウン処理の設定が行われる。2−2プルダウン処理の設定が完了した場合には、処理がステップS6に移行する。一方、2−2プルダウン処理の設定が完了していない場合には、処理がステップS5に戻り、再度2−2プルダウン処理の設定が行われる。
【0083】
ステップS6では、表示装置2において、再生装置1から受け取った60iのビデオ信号に対し、I/P変換として2−2プルダウン処理が施されて60pのビデオ信号が生成され、表示部26に表示される。
【0084】
一方、ステップS1において、素材データが30pのビデオ信号でないと判断された場合や、ステップS2において、I/P変換として2−2プルダウン処理が不可であると判断された場合には、処理がステップS7に移行する。ステップS7では、表示装置2において、受け取った60iのビデオ信号に対して通常のI/P変換が行われ、60pのビデオ信号が生成されて表示部26に表示される。
【0085】
このように、この発明の実施の第1の形態では、30pの素材データから60iのビデオ信号が生成されている場合に、60iのビデオ信号に対して2−2プルダウン処理を行うことにより、元の素材データである30pのビデオ信号を再生することができる。したがって、パノラマ画像などの巨大画像データを綺麗に再生することができる。
【0086】
なお、この例では、再生する60iのビデオ信号が記録媒体に記録されている場合について説明したが、これはこの例に限られない。例えば、30pの素材データからなるビデオ信号が、地上ディジタル方法などのディジタル放送送出システムから送出された放送信号によって供給された場合についても適用可能である。
【0087】
地上ディジタル放送などのディジタル放送送出システムにおいては、MPEG2システムズに準じて、トランスポートストリーム(以下、TSと適宜称する)を用いてビデオ信号やオーディオ信号が時分割多重されて送出される。具体的には、例えば図17Aに示すように、ビデオ信号などのエレメンタリストリーム(ES)が所定サイズ毎に分割され、ヘッダが付加されて、図17Bに示すようにPES(Packetized Elementary Stream)パケット化される。PESパケットは、さらに分割され、図17Cに示すように固定長のトランスポートパケット(TSパケット)のペイロードに詰め込まれる。そして、図17Dに示すように、生成されたTSパケットが時分割多重され、TSとして送出される。
【0088】
この場合には、例えばPESパケットに付加されるヘッダに、60iのビデオ信号の素材データの速度情報を記述することができる。図18は、PESパケットのヘッダを示す。それぞれの領域における括弧内の数値は、各領域のビット数を示す。PESパケットのヘッダは、「パケット開始コード」、「フラグおよび制御」、「パケット長」、「PESヘッダ長」および「コンディショナル・コーディング」からなる。
【0089】
速度情報は、領域「フラグおよび制御」にまとめて置かれた各種フラグ類に対応して条件符号化された項目が置かれた領域「コンディショナル・コーディング」における「その他」の領域に記述される。「その他」の領域には、図19に示すように各種の情報が記述され、速度情報が、例えば「拡張データ」の領域に記述される。
【0090】
速度情報は、例えば図20Aに示すように、第0ビットから第8ビットの9ビットで構成される。第0ビットは、素材データの動く速度(フレームレート)とビデオ信号のフレームレートとの関係を示す。図20Bに示すように、第0ビットが値"0"の場合は、素材データの速度(フレームレート)とビデオ信号のフレームレートとが一致することを示す。また、第0ビットが値"1"の場合は、素材データの速度(フレームレート)とビデオ信号のフレームレートとが異なることを示す。例えば、60iのビデオ信号の素材データが30pである場合、ビデオ信号のフレームレートが60Hzであり、素材データのフレームレートが30Hzであるため、それぞれのフレームレートが異なり、第0ビットが値"1"となる。
【0091】
また、素材データの速度が第1ビットから第8ビットで表現可能な値で識別される。図20Cに示すように、第1ビットから第8ビットで表現された値は、素材データを1画素移動させる際の時間の逆数を示す。例えば、素材データが1/30秒ごとに1画素移動させて動かすようにしている場合、第1ビットから第8ビットにより値"30"となる。
【0092】
放送信号によって供給されるビデオ信号を再生する際の動作について説明する。ディジタル放送送出システムから送出されたTSが再生装置1のアンテナを介して受信され、チューナ19によってTSから必要なストリームが取り出される。チューナ19は、供給されたTSにおけるTSパケットのヘッダから、TSパケットを識別するためのPID(Packet IDentification)を検出し、TSパケットをペイロードに格納されるデータ種別毎に振り分ける。そして、振り分けられたTSパケットのそれぞれについて、ペイロードに格納されたデータを取り出し、PESパケットを構築する。そして、PESパケットのヘッダに記述された速度情報を取得し、HDMIトランスミッタ16に供給する。さらに、PESパケットのペイロードに格納されたデータを取り出し、PESヘッダに格納された情報などに基づきヘッダ情報などを付加し、1本のエレメンタリストリームを出力する。
【0093】
チューナ19から出力されたエレメンタリストリームは、デコーダ18において所定の復号処理が施され、ビデオ信号が出力される。このようにして取得したビデオ信号および速度情報は、HDMIトランスミッタ16を介して表示装置2に伝送される。
【0094】
表示装置2は、再生装置1から受け取った速度情報に基づき、このテーブルを参照して60iのビデオ信号に対して2−2プルダウン処理を行い、60pのビデオ信号に変換して表示する。
【0095】
次に、この発明の実施の第2の形態について説明する。BDなどの記録媒体には、上述した実施の第1の形態で説明した60iのビデオ信号を記録する他に、フレーム周波数が24Hzでプログレッシブ走査(以下、24pと適宜称する)のビデオ信号を、フレーム周波数を変換することなく記録することができる。例えば映画映像など、従来から光学フィルムを用いて制作された映像においては、毎秒24コマの映像信号が用いられている。これは、ビデオ信号としては、24pのビデオ信号となる。そのため、BDに記録されたビデオ信号を再生する再生装置では、映画映像などの24pのビデオ信号をそのまま出力することができる。
【0096】
また、最近の表示装置においては、24pのビデオ信号の入力に対応し、このビデオ信号を表示させることが可能なものも普及してきている。
【0097】
このような再生装置および表示装置を用いた場合には、装置間で伝送される24pのビデオ信号がプログレッシブ走査であるため、I/P変換を行うことなく24pのビデオ信号を表示することができる。したがって、ビデオ信号の画質を劣化させることなく表示することができる。
【0098】
ところで、24pのビデオ信号は、60iのビデオ信号などと比較してフレームレートが低いため、再生した際に、画像のカタツキなどによって十分な画質を得ることができない。そこで、最近では、再生する映像を滑らかに表示するために、ビデオ信号のフレームレートを所定に上げて駆動させるハイフレームレート処理機能を搭載した再生装置が普及してきている。ハイフレームレート処理では、本来のフレームの間に1または複数の補間フレームを生成し、表示装置におけるフレームレートを2倍や4倍などに上げて駆動させて表示する。
【0099】
例えば、図21に示すように、24pのビデオ信号における1のフレーム(フレームA)と次のフレーム(フレームB)との間に4枚の補間フレーム(フレームA1からA4)を生成する。こうすることにより、表示装置においてフレームレートを24Hzの5倍である120Hzに上げて駆動させて表示させることができる。
【0100】
しかしながら、素材データが映画映像などの動画である場合には、ハイフレームレート処理による補間を行っても、完全な補間フレームを生成することが困難である。これは、動き予測の対象となる部分が動いており、完全な動き予測を行うことができないためである。そのため、動画に悪影響のない程度の補間処理となってしまい、補間処理後の映像が高画質とならないおそれがある。
【0101】
ここで、素材データがパノラマ画像などの静止画である場合について考える。この場合、素材データに基づき生成されたビデオ信号が静止画を一定方向に一定速度で移動させた画像であるため、フレーム間における動きベクトルを正確に検出することができ、動き予測の対象となる部分の動きを容易かつ正確に予測することができる。したがって、ハイフレームレート処理により、精度の高い補間フレームを生成することができる。
【0102】
そこで、この発明の実施の第2の形態では、素材データが巨大画像データである24pのビデオ信号に対して、表示装置側でハイフレームレート処理を行い、ビデオ信号のフレーム間に補間フレームを生成する。こうすることにより、巨大画像データを移動させながら表示させる際に、滑らかに表示することができる。
【0103】
図22を用いて、より具体的に説明する。先ず、巨大画像データを一定速度で一定方向に移動させながら表示させるための素材データとして、例えば、巨大画像データを1/24秒に同期させ、所定の整数画素単位で一定方向に移動させることにより、24pのビデオ信号を生成する。
【0104】
表示装置では、この24pのビデオ信号に対して、フレームレートを所定に上げて表示させるためのハイフレームレート処理を施し、補間フレームを生成する。例えば、フレームレートが24Hzに対して5倍の120Hzとなるようにハイフレームレート化する場合には、図22に示すように、24pのビデオ信号の1のフレームと次のフレームとの間に4枚の補間フレームを生成する。
【0105】
補間フレームは、例えばMPEG2方式やITU−T(International Telecommunication Union-Telecommunication Standardization Sector)勧告H.264あるいはISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)国際標準14496−10(MPEG−4パート10)Advanced Video Coding(以下、MPEG4 AVCと略称する)に規定される符号化方式などに用いられる方法と同様の方法を用いて生成することができる。
【0106】
具体的には、例えば図23に示すように、フレームAおよび次のフレームBの画像を16画素×16ラインなどの所定のマクロブロックにそれぞれ分割する。フレームAおよびフレームBの所定のマクロブロックに基づき、ブロックマッチングや特徴点抽出などにより動きベクトルを検出する。そして、検出された動きベクトルに基づき対象となる部分の動きを予測し、補間フレームを生成する。
【0107】
このとき、24pのビデオ信号の素材データとして用いられている画像データは、一定方向に一定速度で移動させた巨大画像データであるため、フレーム間における動きベクトルを正確に検出することができる。したがって、精度の高い補間フレームを生成することができ、24pのビデオ信号を滑らかに再生することができる。
【0108】
なお、ハイフレームレート処理によるフレームレートは、120Hzに限らず、例えば72Hzや96Hzとなるようにしてもよい。例えば、ハイフレームレート処理後のフレームレートが24Hzに対して3倍の72Hzとなるようにした場合には、補間フレームを2枚生成する。また、24Hzのフレームレートに対して4倍の96Hzとなるようにした場合には、補間フレームを3枚生成する。
【0109】
この発明の実施の第2の形態に適用可能な再生装置および表示装置について説明する。この実施の第2の形態に適用可能な再生装置は、上述した実施の第1の形態で説明した再生装置1を適用することができる。そのため、ここでは詳細な説明を省略する。
【0110】
この発明の実施の第2の形態において、記録媒体15には、パノラマ画像などの巨大画像データが素材データとされた24pのビデオ信号が記録されている。24pのビデオ信号は、再生制御部14によって記録媒体15から読み出され、HDMIトランスミッタ16を介して後述する表示装置2’に伝送される。
【0111】
図24は、この発明の実施の第2の形態に適用可能な表示装置2’の一例の構成を示す。なお、図4を用いて説明した表示装置2と共通する部分については、同一の符号を付し、説明を省略する。
【0112】
GPU25には、ハイフレームレートコントローラ50がさらに接続される。ハイフレームレートコントローラ50は、CPU21の制御に基づき、ビデオ信号のフレームレートを所定に設定する。GPU25は、ハイフレームレートコントローラ50で設定されたフレームレートに応じて、再生装置1からHDMIレシーバ24を介して供給された24pのビデオ信号のフレーム間に1または複数の補間フレームを生成する。例えば、ハイフレームレートコントローラ50によって設定されたフレームレートが120Hzである場合には、ビデオ信号のフレームレートである24Hzに対して5倍のフレームレートとなるため、4枚の補間フレームを生成する。
【0113】
再生装置1から表示装置2’に対してビデオ信号を伝送する場合には、上述した実施の第1の形態と同様に、素材データの動く速度(フレームレート)を示す速度情報をBDのヘッダ等に記述しておき、速度情報を表示装置2’に通知する。速度情報は、HDMIのInfoFrame(Vendor-Specific InfoFrame)に格納され、ビデオ信号と共に表示装置2’に伝送される。
【0114】
また、表示装置2’は、上述した実施の第1の形態と同様に、速度(フレームレート)とビデオ信号に対する処理内容とが関連付けられたテーブルを予め記憶している。このテーブルには、例えば図15に示すように、速度(フレームレート)が24Hzである場合には、ビデオ信号に対する処理としてハイフレームレート処理が関連付けられている。
【0115】
表示装置2’は、再生装置1からHDMIレシーバ24を介して受け取ったInfoFrameのうちVendor-Specific InfoFrameに格納された速度情報に基づき、テーブルを参照してビデオ信号に対する処理を決定する。例えば、速度(フレームレート)が24Hzである場合には、受け取ったビデオ信号に対してハイフレームレート処理を行う。
【0116】
なお、再生装置1は、例えばHDMIのDDCを用いて表示装置2’と通信を行うことにより、表示装置2’においてハイフレームレート処理が可能であるか否かを判断することができる。再生装置1は、DDCを用いて表示装置2’のROM40に保持されている表示装置固有の情報を受け取る。そして、受け取った情報に基づきハイフレームレート処理の可否を判断する。
【0117】
ここで、上述では、表示装置2’が24pのビデオ信号の入出力に対応している場合について説明したが、表示装置によっては、24pのビデオ信号の入出力に対応していない場合が考えられる。このような場合、再生装置と表示装置との間で、24pのビデオ信号を直接伝送することができない。
【0118】
そこで、24pのビデオ信号の入出力に対応していない表示装置を用いる場合には、再生装置1において24pのビデオ信号を一旦60iのビデオ信号に変換し、表示装置に伝送する。そして、表示装置は、受け取った60iのビデオ信号を24pのビデオ信号に再度変換し、変換された24pのビデオ信号に対してハイフレームレート処理を行って再生する。
【0119】
再生装置1において、24pのビデオ信号を60iのビデオ信号に変換する場合には、2−3プルダウンと称される処理が行われる。24pのビデオ信号と60iのビデオ信号とでは、フレーム周波数(フィールド周波数)に2対5の関係がある。そこで、24pのビデオ信号のフレームを、2−3プルダウンにより2回繰り返し出力と3回繰り返し出力とをフレーム毎に交互に行い、60Hzのフィールド周波数で出力することで、24pのビデオ信号が60iのビデオ信号に変換される。
【0120】
具体的には、例えば、図25に示すように、24pのビデオ信号の第1フレームを2回繰り返して出力し、第1aフィールドおよび第1bフィールドを生成する。次に、第2フレームを3回繰り返して出力し、第2aフィールド、第2bフィールドおよび第2aフィールドを生成する。この処理を順次繰り返すことにより、24pのビデオ信号が60iのビデオ信号に変換される。なお、各フィールドを示す「a」および「b」は、奇数フィールドと偶数フィールドの違いを示している。
【0121】
また、表示装置2’では、再生装置1から受け取った60iのビデオ信号を24pのビデオ信号に変換する。この場合には、2−3プルダウン処理と逆の処理を行う逆2−3プルダウン処理を用いる。すなわち、60iのビデオ信号の第1aフィールドおよび第1bフィールドから24pのビデオ信号の第1フレームを生成し、第2aフィールドおよび第2bフィールドから第2フレームを生成する。
【0122】
なお、再生装置1は、例えばHDMIのDDCを用いて表示装置2’と通信を行うことにより、表示装置2’が24pのビデオ信号の入出力に対応しているか否かを判断することができる。再生装置1は、DDCを用いて表示装置2’のROM40に保持されている表示装置固有の情報を受け取る。そして、受け取った情報に基づき24pのビデオ信号の入出力の可否を判断する。
【0123】
図26は、この発明の実施の第2の形態による一例の画像表示処理の流れを示すフローチャートである。このフローチャートで示す処理は、パノラマ画像などの巨大画像データを一定速度で一定方向に移動させることによって生成されたビデオ信号を再生する際の一例の処理である。ここでは、一例として、24pのビデオ信号を生成する場合について説明する。
【0124】
ステップS11では、再生装置1において、記録媒体15に記録されたビデオ信号が24pのビデオ信号であるか否かが判断される。ビデオ信号が24pのビデオ信号であると判断された場合には、処理がステップS12に移行する。
【0125】
ステップS12では、再生装置1において、DDCを用いて表示装置2’と通信を行うことにより表示装置固有の情報が取得され、取得された情報に基づき表示装置2’においてハイフレームレート処理が可能であるか否かが判断される。表示装置2’においてハイフレームレート処理が可能であると判断された場合には、処理がステップS13に移行する。
【0126】
ステップS13では、再生装置1において、表示装置2’から取得された表示装置固有の情報に基づき、表示装置2’において24pのビデオ信号の入出力に対応するか否かが判断される。表示装置2’が24pのビデオ信号の入出力に対応すると判断された場合には、処理がステップS14に移行し、記録媒体15に記録された24pのビデオ信号が読み出される。また、24pのビデオ信号のヘッダから速度情報が読み出され、HDMIのInfoFrameのVendor-Specific InfoFrameに格納される。そして、HDMIトランスミッタ16を介して、24pのビデオ信号および速度情報が表示装置2’に伝送される。
【0127】
ステップS15では、表示装置2’において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶された図15に示すテーブルを参照して24pのビデオ信号に対する処理内容が決定される。この例では、24pのビデオ信号に対してハイフレームレート処理を行うことが決定される。
【0128】
ステップS16では、表示装置2’において、ハイフレームレート処理の設定が行われる。ハイフレームレート処理の設定が完了した場合には、処理がステップS17に移行する。一方、ハイフレームレート処理の設定が完了していない場合には、処理がステップS16に戻り、再度ハイフレームレート処理の設定が行われる。ステップS17では、表示装置2’において、24pのビデオ信号に対してハイフレームレート処理が行われることによってフレームレートが所定に上げられ、表示部26に表示される。
【0129】
一方、ステップS13において、表示装置2’が24pのビデオ信号の入出力に対応していない場合には、処理がステップS18に移行する。ステップS18では、再生装置1において、表示装置2’における逆2−3プルダウン処理が可能であるか否かが判断される。表示装置2’において逆2−3プルダウン処理が可能であると判断された場合には、処理がステップS19に移行する。
【0130】
ステップS19では、再生装置1において、記録媒体15から読み出された24pのビデオ信号に対して2−3プルダウン処理が施され、60iのビデオ信号が生成される。また、生成された60iのビデオ信号のヘッダから速度情報が読み出され、InfoFrameのVendor-Specific InfoFrameに格納される。そして、次のステップS20で、生成された60iのビデオ信号および速度情報が表示装置2’に伝送される。
【0131】
ステップS21では、表示装置2’において、供給されたInfoFrameのVendor-Specific InfoFrameに格納された速度情報に基づき、予め記憶されたテーブルを参照して60iのビデオ信号に対する処理内容が決定される。この例では、60iのビデオ信号に対して逆2−3プルダウン処理を行い、さらに、逆2−3プルダウン処理によって生成された24pのビデオ信号に対してハイフレームレート処理を行うことが決定される。
【0132】
ステップS22では、表示装置2’において、逆2−3プルダウン処理およびハイフレームレート処理の設定が行われる。逆2−3プルダウン処理およびハイフレームレート処理の設定が完了した場合には、処理がステップS23に移行する。一方、逆2−3プルダウン処理およびハイフレームレート処理の設定が完了していない場合には、処理がステップS22に戻り、再度、逆2−3プルダウン処理およびハイフレームレート処理の設定が行われる。
【0133】
ステップS23では、表示装置2’において、60iのビデオ信号に対して逆2−3プルダウン処理が行われ、24pのビデオ信号が生成される。そして、処理がステップS17に移行する。
【0134】
一方、ステップ11においてビデオ信号が24pのビデオ信号でないと判断された場合や、ステップS12においてハイフレームレート処理が不可であると判断された場合、さらには、ステップS18において表示装置2’による逆2−3プルダウン処理が不可であると判断された場合には、処理がステップS24に移行し、通常の再生処理が行われる。なお、ステップS24における通常の再生処理の際に、例えば、上述した実施の第1の形態における画像表示処理を行うようにしてもよい。
【0135】
このように、この発明の実施の第2の形態では、パノラマ画像などの巨大画像データが素材データとされたビデオ信号に対してハイフレームレート処理を行うことにより、ビデオ信号のフレームレートを所定に上げて再生するようにしている。したがって、パノラマ画像などの巨大画像データを滑らかに再生することができる。
【0136】
以上、この発明の実施の第1の形態および第2の形態について説明したが、この発明は、上述したこの発明の実施の第1の形態および第2の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、この発明では、NTSC方式の場合を例にとって説明したが、これに限られず、PAL(Phase Alternation by Line)方式の場合についても適用可能である。
【0137】
また、上述では、ソース機器として再生装置1を適用したが、これはこの例に限られない。例えば、記録媒体15に対してビデオ信号を記録可能な記録再生装置等を適用することもできる。
【図面の簡単な説明】
【0138】
【図1】巨大画像データを移動させながら表示させる場合について説明するための略線図である。
【図2】2−2プルダウン処理について説明するための略線図である。
【図3】この発明の実施の第1の形態に適用可能な再生装置の一例の構成を示すブロック図である。
【図4】この発明の実施の第1の形態に適用可能な表示装置の一例の構成を示すブロック図である。
【図5】HDMIによる通信について説明するための略線図である。
【図6】記録媒体に記録されるファイルの管理構造を説明するための略線図である。
【図7】クリップインフォメーションファイルの一例の構造を表すシンタクスを示す略線図である。
【図8】ブロックProgramInfo()の一例の構造を表すシンタクスを示す略線図である。
【図9】ブロックStreamCodingInfo(stream_index)の一例の構造を表すシンタクスを示す略線図である。
【図10】フィールドvideo_formatで示されるビデオデータの一例のフォーマットを一覧で示す略線図である。
【図11】フィールドframe_rateで示される一例のフレームレートを一覧で示す略線図である。
【図12】速度情報の記述について説明するための略線図である。
【図13】HDMIにより伝送されるパケットヘッダについて説明するための略線図である。
【図14】パケットタイプについて説明するための略線図である。
【図15】速度情報に応じた処理のテーブルについて説明するための略線図である。
【図16】この発明の実施の第1の形態による一例の画像表示処理の流れを示すフローチャートである。
【図17】ディジタル放送において送出される信号について説明するための略線図である。
【図18】PESパケットのヘッダについて説明するための略線図である。
【図19】PESパケットのヘッダについて説明するための略線図である。
【図20】速度情報の記述について説明するための略線図である。
【図21】ハイフレームレート処理について説明するための略線図である。
【図22】ハイフレームレート処理について説明するための略線図である。
【図23】補間フレームの生成方法について説明するための略線図である。
【図24】この発明の実施の第2の形態に適用可能な表示装置の一例の構成を示すブロック図である。
【図25】2−3プルダウン処理について説明するための略線図である。
【図26】この発明の実施の第2の形態による一例の画像表示処理の流れを示すフローチャートである。
【図27】パノラマ写真について説明するための略線図である。
【図28】パノラマ画像の表示について説明するための略線図である。
【図29】単純フィールド合成について説明するための略線図である。
【図30】単純フィールド合成によって生成されたフレーム画像の一例を示す略線図である。
【符号の説明】
【0139】
1 再生装置
2,2’ 表示装置
10,20 バス
11,21 CPU
12,22 ROM
13,23 RAM
14 再生制御部
15 記録媒体
16 HDMIトランスミッタ
17,28 ネットワークI/F
18,29 デコーダ
19,30 チューナ
24 HDMIレシーバ
25 GPU
26 表示部
27 VRAM
40 EDID ROM
50 ハイフレームレートコントローラ

【特許請求の範囲】
【請求項1】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
上記入力部に入力された上記ビデオ信号を再生する再生部と、
他の機器と通信を行う第1の通信部と
を有し、
上記第1の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
上記映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第2の通信部と
を有し、
上記第2の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
からなり、
上記第1および第2の通信部により上記再生装置および上記表示装置が接続された際に、上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記表示装置に対して送信し、上記表示装置は、上記第2の通信部を介して受信した上記速度情報に基づき、上記テーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理システム。
【請求項2】
上記第1および第2の通信部により行われる通信は、HDMI規格に基づいて行われる請求項1に記載の映像信号処理システム。
【請求項3】
上記速度情報は、HDMIのInfoFrameパケットに格納されて上記表示装置に対して送信される請求項2に記載の映像信号処理システム。
【請求項4】
上記ビデオ信号は、フィールド周波数が60Hzでインターレース走査の信号である請求項1に記載の映像信号処理システム。
【請求項5】
上記表示装置は、
上記ビデオ信号に対する映像信号処理として、2−2プルダウン処理を行う請求項4に記載の映像信号処理システム。
【請求項6】
上記ビデオ信号は、上記巨大画像データを1/30秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が30Hzでプログレッシブ走査の素材データからなる請求項4に記載の映像信号処理システム。
【請求項7】
上記表示装置は、
上記ビデオ信号に対する映像信号処理として、ハイフレームレート処理を行う請求項1に記載の映像信号処理システム。
【請求項8】
上記ビデオ信号は、上記巨大画像データを1/24秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が24Hzでプログレッシブ走査の素材データからなる請求項7に記載の映像信号処理システム。
【請求項9】
上記再生装置は、
記録媒体に記録されたビデオ信号が上記入力部に入力される請求項1に記載の映像信号処理システム。
【請求項10】
上記再生装置は、
ディジタルテレビジョン放送の電波を受信し、受信した上記電波から所定のビデオ信号を選択的に取得するチューナをさらに有し、
上記チューナで取得された上記ビデオ信号が上記入力部に入力される請求項1に記載の映像信号処理システム。
【請求項11】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力された上記ビデオ信号を再生し、第1の通信部を介して他の機器とビデオ信号のやりとりができるようにされた再生装置と、
ビデオ信号に対して所定の映像信号処理を行い、上記映像信号処理が施されたビデオ信号を表示部に表示し、第2の通信部を介して他の機器とビデオ信号のやりとりができるようにされた表示装置と
を上記第1および第2の通信部で接続した際に、
上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度を示す速度情報を読み出し、該ビデオ信号および該速度情報を上記表示装置に対して送信し、上記表示装置は、受信した上記速度情報に基づき、ビデオ信号の素材データの速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理方法。
【請求項12】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力される入力部と、
上記入力部に入力された上記ビデオ信号を再生する再生部と、
他の機器と通信を行う第1の通信部と
を有し、
上記第1の通信部を介してなされる通信により、上記他の機器とビデオ信号のやりとりを行うとともに上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記他の機器に対して送信する再生装置。
【請求項13】
上記第1の通信部により行われる通信は、HDMI規格に基づいて行われる請求項12に記載の再生装置。
【請求項14】
上記速度情報は、HDMIのInfoFrameパケットに格納されて上記他の機器に対して送信される請求項13に記載の再生装置。
【請求項15】
上記ビデオ信号は、フィールド周波数が60Hzでインターレース走査の信号である請求項12に記載の再生装置。
【請求項16】
上記ビデオ信号は、上記巨大画像データを1/30秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が30Hzでプログレッシブ走査の素材データからなる請求項15に記載の再生装置。
【請求項17】
上記ビデオ信号は、上記巨大画像データを1/24秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が24Hzでプログレッシブ走査の素材データからなる請求項12に記載の再生装置。
【請求項18】
記録媒体に記録されたビデオ信号が上記入力部に入力される請求項12に記載の再生装置。
【請求項19】
ディジタルテレビジョン放送の電波を受信し、受信した上記電波から所定のビデオ信号を選択的に取得するチューナをさらに有し、
上記チューナで取得された上記ビデオ信号が上記入力部に入力される請求項12に記載の再生装置。
【請求項20】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号が入力され、入力された上記ビデオ信号を再生し、第1の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた再生装置を上記第1の通信部を介して上記他の機器と接続した際に、上記再生装置は、上記ビデオ信号のヘッダに格納された上記素材データの速度情報を読み出し、該ビデオ信号および該速度情報を上記他の機器に対して送信する映像信号処理方法。
【請求項21】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行う映像信号処理部と、
上記映像信号処理が施されたビデオ信号を表示する表示部と、
ビデオ信号の素材データの速度を示す速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルと、
他の機器と通信を行う第2の通信部と
を有し、
上記第2の通信部を介してなされる通信により、上記他の機器とビデオ信号のやりとりを行うとともに上記速度情報を受信し、受信した上記速度情報に基づき、上記テーブルを参照して上記ビデオ信号に対して映像信号処理を行う表示装置。
【請求項22】
上記第2の通信部により行われる通信は、HDMI規格に基づいて行われる請求項21に記載の表示装置。
【請求項23】
上記速度情報は、HDMIのInfoFrameパケットに格納されている請求項22に記載の表示装置。
【請求項24】
上記ビデオ信号は、フィールド周波数が60Hzでインターレース走査の信号である請求項21に記載の表示装置。
【請求項25】
上記映像信号処理部は、
上記ビデオ信号に対する映像信号処理として、2−2プルダウン処理を行う請求項24に記載の表示装置。
【請求項26】
上記ビデオ信号は、上記巨大画像データを1/30秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が30Hzでプログレッシブ走査の素材データからなる請求項24に記載の表示装置。
【請求項27】
上記映像信号処理部は、
上記ビデオ信号に対する映像信号処理として、ハイフレームレート処理を行う請求項21に記載の映像信号処理システム。
【請求項28】
上記ビデオ信号は、上記巨大画像データを1/24秒に画素単位で同期させて移動させることにより生成された、フレーム周波数が24Hzでプログレッシブ走査の素材データからなる請求項27に記載の表示装置。
【請求項29】
表示領域の持つ画素数より遙かに多い画素数を持つ巨大画像データを一定速度で一定方向に移動させることによって生成された素材データからなるビデオ信号に対して所定の映像信号処理を行い、上記映像信号処理が施されたビデオ信号を表示し、第2の通信部を介して他の機器とビデオ信号のやりとりを行うようにされた表示装置を上記第2の通信部を介して上記他の機器と接続した際に、上記表示装置は、上記ビデオ信号の素材データの速度を示す速度情報を受信し、受信した上記速度情報に基づき、ビデオ信号の素材データの速度情報と該ビデオ信号に対する処理内容が関連付けられたテーブルを参照して上記ビデオ信号に対して映像信号処理を行う映像信号処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate


【公開番号】特開2010−93526(P2010−93526A)
【公開日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願番号】特願2008−261245(P2008−261245)
【出願日】平成20年10月8日(2008.10.8)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】