デジタル放送の送出装置、受信装置およびデジタル放送システム
【課題】移動体向けのデジタル放送では、電波の受信状態に応じ階層を切り替えた時に映像の連続的な再生が保証されないため、視聴者は違和感を持つ。
【解決手段】デジタル放送の送出装置１００は、複数のサイマル放送で送出するストリームを同一の同期信号発生装置１０１で符号化して送出する。受信装置２００の切替判定部２０８は、複数のサイマル放送のストリームを受信状態（弱階層／強階層）によって切り替え、同期調整部２０７は受信した同期信号に基づき、映像を途切れずに、連続して表示する。この切り替え時に、一方のストリームから徐々に他方のストリームに切り替える。
【解決手段】デジタル放送の送出装置１００は、複数のサイマル放送で送出するストリームを同一の同期信号発生装置１０１で符号化して送出する。受信装置２００の切替判定部２０８は、複数のサイマル放送のストリームを受信状態（弱階層／強階層）によって切り替え、同期調整部２０７は受信した同期信号に基づき、映像を途切れずに、連続して表示する。この切り替え時に、一方のストリームから徐々に他方のストリームに切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル放送システムに係り、特にその送出装置および受信装置に関する。
【背景技術】
【０００２】
近年、テレビジョン放送のデジタル化が進んでいる。CS、BS、地上波のデジタル放送では、固定受信向け放送が既に開始されているが、今後、デジタル放送では、移動体向けの放送サービスが開始される予定である。
【０００３】
移動体での放送受信では、移動中に生じる電波のシャドウイング、フェージング、周波数のドップラーシフト等の要因により、固定受信に比べて、受信状態の変動が大きくなる。このため、移動体で固定受信と同じ高品質な映像や音声を受信しようとしても、電界強度が劣化する場所を通過中には、受信仕切れない場合がある。このように、移動体受信では、移動中に変動する電波の受信状態に対応し、いかにして放送サービスが途切れないようにするかということが、重要な課題である。
【０００４】
デジタル放送では、映像情報はデジタル化され、ビットストリーム化して送出される。さらに、その他の情報（例えば音声や、チャンネル情報、番組情報など）のビットストリームとともに多重化され、RF変調を施して、アンテナから放送電波として放送される。これらのビットストリームは以下では単にストリームと呼ぶ。また必要に応じて、映像をビットストリーム化したものを映像ストリーム、音声をストリーム化したものを音声ストリームと呼ぶことにする。
【０００５】
デジタル放送には階層伝送という方式がある。階層伝送は、放送における無線チャネル内の帯域を分割し、分割した帯域毎に異なる伝送方式で送信する。弱階層と呼ばれる帯域では、確保可能なダイナミックレンジが狭く、移動受信には弱いが、広帯域を使用して高いビットレートで高品質の映像を送信できる。一方、強階層と呼ばれる帯域では、低いビットレートで低品質の映像となるが、移動受信に強い伝送方式で送信できる。
【０００６】
携帯端末の２〜３インチ程度の画面サイズであれば、弱階層で送信できる品質の映像でも、画面が小さいために視聴者は気にならない。しかし、車載端末に搭載される、たとえば７インチ以上の画面サイズでは、従来のアナログテレビ品質であるＳＤＴＶ（Standard Definition）品質の映像もしくはそれ以上のＨＤＴＶ（High Definition）品質の映像で見たいという要求がある。
【０００７】
従来技術の送出側では、特許文献１に開示されているように、同じコンテンツから高品質の映像ストリームと低品質の映像ストリームを生成し、それぞれ弱階層および強階層によって送出する放送形態（サイマル放送と呼ばれる）が知られている。また、受信側では、電波の受信状態が良い時には弱階層の高品質映像ストリームを表示し、電波の受信状態が悪くなった時には強階層の低品質映像ストリームに切り替えることで、高品質の映像を表示しつつ、電波状態の変動に対応して映像がフリーズしないように表示する方法が知られている。
【０００８】
【特許文献１】特開2003−143503号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、従来の技術では、ストリームを切り替えた時に、映像が真に途切れなく連続的に表示されることが保証されていなかった。すなわち、強階層用の映像ストリームの符号化と、弱階層用の映像ストリームの符号化に要する処理時間は、それぞれ異なり、さらに揺らぎが発生する。映像コンテンツの入力が同時であっても、出力時には、両者に数ミリ秒から数秒以上のずれが発生する。さらに、放送以外の伝送路を使用する場合には、それ以上のずれが発生する可能性もある。このため、ストリームを多重化して放送し、受信装置で受信した時には、両者にずれが発生している可能性が高い。このように時間的なずれが発生しているストリームを切り替えた場合には、その切り替えの瞬間に映像に映像の進み・戻り、音飛びなどのギャップが生じることになる。
【００１０】
特に、移動中は、電界強度が短時間で急激に変動し易く、電界強度が閾値付近にある場合には切り替え判定結果がめまぐるしく変動する。このような状態では、階層の切り替えが頻繁に発生し、時間ずれのある映像が短時間で切り替わるので、映像の連続性が保たれないため視聴者に与える違和感が非常に大きくなる。特許文献１では、切り替えた後、再度他方へ戻る際には、一定時間以上経過しないと戻らない、という手段を用いてこの問題を解決しようとしているが、映像の連続性については何ら保証されない。
【００１１】
また、切り替え時には、高品質映像と低品質映像の切り替えが発生する。しかし、弱階層で受信可能な映像は、ＳＤＴＶもしくはＨＤＴＶ品質の映像であり、ＨＤＴＶ品質の１０８０iと呼ばれる映像フォーマットの画素数は、１４４０ｘ１０８０となる。一方、強階層で受信可能な映像は、携帯端末等の小さな画面での視聴の場合、ＱＶＧＡ（３２０ｘ２４０）もしくはそれ以下のＱＣＩＦ（１７６ｘ１４４）等の小さな画素数となる。このため、両者の切り替え時には大きな画素数のギャップが発生し、視聴者に大きな違和感を与える要因となる。
【００１２】
また、車載用の受信装置では、連続性がなく画面が切り替わった瞬間は、運転者の注意を引く要因となり、安全性の低下にもつながる。
【００１３】
本発明の目的は、上記従来技術の問題点に鑑み、切り替えの際に映像が途切れなく連続的に表示できるデジタル放送システム、そのための送出装置と受信装置を提供することにある。これにより、切り替えによって、視聴者に与える違和感を大幅に低減できる。
【課題を解決するための手段】
【００１４】
上記目的を達成するための本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信し、映像の表示を行う映像表示部を有するデジタル放送の受信装置において、 前記放送信号に多重化されたデータを分離する分離処理部と、前記第１の映像符号とその同期信号の復元を行う第１の復号部と、前記第２の映像符号とその同期信号の復元を行う第２の復号部と、復号化された高品質映像信号を保持する第１のバッファと、復号化された低品質映像信号の映像を保持する第２のバッファと、該第２のバッファから低品質映像信号を取り出して拡大処理を行う拡大処理部と、前記高品質映像信号の受信状態を監視してその良否を判定する切替判定部と、前記切替判定部の判定結果が良の場合は前記第１のバッファから高品質映像信号を取り出し、判定結果が否の場合は前記拡大処理部から拡大処理された低品質映像信号を取り出し、前記同期信号のうち遅れている方の同期信号に合わせて前記映像表示部に出力する同期調整部を備えることを特徴とする。
上記の構成をとることにより、本発明のデジタル放送の受信装置はサイマル放送の複数のストリームを、それぞれの受信状態によって切り替え、同期信号に基づき映像を途切れずに、連続して表示することが可能となる。
【００１５】
また本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含み、多重化して送出するデジタル放送の送出装置において、 同期信号を発生する同期信号発生装置と、 映像コンテンツを分配する映像分配装置と、 分配された映像コンテンツの一つを前記同期信号に同期してエンコードし、前記第１の映像符号と該映像符号に同期した同期符号を生成する第１の映像符号化装置と、分配された映像コンテンツの別の一つを前記同期信号に同期して、前記第１の映像符号化装置とは異なる品質でエンコードし、第２の映像符号と該映像符号に同期した同期符号を生成する第２の映像符号化装置と、前記第１の映像符号と第１の同期符号を遅延させる第１の遅延装置と、前記第２の映像符号と第２の同期符号を遅延させる第２の遅延装置と、前記第１の映像符号および第１の同期符号と、前記第２の映像符号および第２の同期符号を、所定時間以下の時間ずれで多重化する多重化装置を備えることを特徴とする。
【００１６】
上記の構成をとることにより、本発明に係るデジタル放送の送出装置は、サイマル放送で送出する２つのストリームを、同一の同期信号で符号化して送出することが可能となり、２つのストリームの時間ずれを所定の時間以下に抑えることが可能となる。
また本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化し、放送信号として送出する送出装置と、前記放送信号を受信し映像の表示を行う受信装置を備えるデジタル放送システムにおいて、 前記送出装置に上記に記載のデジタル放送の送出装置、前記受信装置に上記に記載のデジタル放送の受信装置を用いることを特徴とする。
【発明の効果】
【００１７】
本発明によるデジタル放送の送出装置および受信装置によれば、ストリーム切り替えの際に、映像が途切れなく連続的に表示される効果がある。
【００１８】
本発明によるデジタル放送の送出装置および受信装置によれば、ストリーム切り替えの際に、映像の解像度が変更されても、その切り替えが視聴者に認識されにくいという効果がある。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態となるデジタル放送の送出装置および受信装置、ならびにその両者を用いたデジタル放送システムについて図面を参照しながら説明する。
【実施例１】
【００２０】
図１は、本発明の一実施例によるデジタル放送システムの構成を示すブロック図である。（ａ）は送出装置１００、（ｂ）は受信装置２００の構成を示す。
【００２１】
送出装置１００は放送局に設置され、放送用の映像ストリームを送出するものである。送出装置１００は同期信号発生装置１０１、映像分配装置１０６、高品質用エンコーダ１０２、低品質用エンコーダ１０３、遅延装置１２０、遅延装置１２１から構成される。送出装置１００は多重化処理装置１０４、放送装置１０５と組み合わせることにより、放送装置として利用される。
【００２２】
映像分配装置１０６は、映像コンテンツの入力を受け、該映像コンテンツをデジタル化し、さらにデジタル化した映像コンテンツを分配し、それぞれ高品質用エンコーダ１０２および低品質用エンコーダ１０３へ提供する。
【００２３】
同期信号発生装置１０１は、一定周期でクロックパルスを生成し、パルスのカウント値を、エンコーダ１０２、１０３に提供する。デジタル放送では、２７ＭＨｚのクロックパルスが標準的に用いられる。
【００２４】
高品質エンコーダ１０２および低品質エンコーダ１０３は、映像分配装置１０６からの映像コンテンツと、同期信号発生装置１０１からのカウンタ値を取得する。
【００２５】
各エンコーダは前記カウンタ値を元に相互に同期を取り、同じカウンタ値の映像フレームからエンコードを開始し、映像符号および同期信号をビットストリーム化して出力する。これらの映像符号、同期信号のビットストリーム（以下同期符号と呼ぶ）は、それぞれ固有のＩＤ値を持ち、区別することができる。映像符号には、フレームレート、タイムスタンプをデータブロック毎に付加する。受信側では、タイムスタンプと、同期信号値を比較してフレームレートに従って各フレームを表示することにより、映像の同期を取ることができる。
【００２６】
出力された映像符号および同期符号は、多重化処理装置１０４によって多重化され、放送装置１０５によって、変調、周波数変換され、無線信号として送出する。
【００２７】
この際、一般的には、高品質の映像符号化と低品質の映像符号化に要する時間が異なり、その変換時間には揺らぎを持つため、放送装置１０５によって送出される時点では、両者に時間的なずれが生じる。このずれは数ミリ秒から数百ミリ秒以上のずれとなる。
【００２８】
本実施例による送出装置１００では、高品質用エンコーダ１０２の出力する高品質映像符号と同期符号を一時的に保持し、所定の時間後に多重化処理装置１０４に送出する遅延装置１２０を備えている。さらに、低品質用エンコーダ１０３の出力する低品質用映像符号と同期符号を一時的に保持し、所定の時間後に多重化処理装置１０４に送出する遅延装置１２１を備え、上記の時間ずれを吸収することが可能となる。
【００２９】
図２に、映像コンテンツから、多重化処理後のストリームを生成する際の概念図を示す。図の横方向は左から右へ時間が進行していく様子をあらわす。１５０１は、元の映像コンテンツの各フレームを示す。Ｆ１〜Ｆ７の７枚のフレームにのみ番号を付しているが、その前後にもフレームは存在する。通常、映像コンテンツは１秒間に30フレーム程度の情報量を持つが、図では表しきれないためその一部のみを示している。
【００３０】
１５０２は、同期信号を示す。時刻に対して一定間隔でパルスが生成され、そのカウント値をＴ１，Ｔ１０，Ｔ２０で代表して表す。Ｔ１は、映像コンテンツのフレームＦ１に対応する同期信号のカウント値を示し、Ｔ１０はＦ４に、Ｔ２０はＦ７にそれぞれ対応するものとする。
【００３１】
１５１１および１５１２は、高品質用エンコーダ１０２によって、符号化されたデータを示す。ここでは、１５１１はフレームＦ１，Ｆ２，Ｆ３を符号化し、一つのパケットにまとめたものを示す。１５１２はフレームＦ４，Ｆ５，Ｆ６をまとめたパケットである。パケット１５１１および１５１２には、それぞれタイムスタンプとしてＴ１およびＴ１０をパケット内の情報として付加する。デジタル放送では、このパケットのフォーマットにはＰＥＳ（Ｐａｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が用いられることが一般的である。
【００３２】
１５８１は、実際の映像コンテンツの入力から、パケット１５１１が生成されるまでの時間遅れを示している。この時間遅れは数秒程度になる。
【００３３】
１５２１〜１５２５は、パケット１５１１をさらに細分化したパケットに分割した様子を示す。デジタル放送では、この細分化パケットには、ＴＳＰ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ Ｐａｃｋｅｔ）が用いられることが一般的である。同様に、１５３１〜１５３５は、パケット１５１２を細分化したパケットを示す。これらのパケット列により高品質映像ストリーム１５２０が構成される。
【００３４】
１５４１〜１５４５を含む高品質映像用同期符号ストリーム１５４０は、高品質用同期符号として、パケットに同期信号のカウント値が収められている。同期符号は、受信機内で同期信号を発生する際のリファレンスとなるものであるため、最終的に多重化したストリーム内で、その時間間隔は十分小さい時間ずれで収められる必要がある。また、受信機内のバッファリングのための時間を考慮し、同じカウント値をタイムスタンプとして持つ細分化パケットよりも一定時間以上遅らせることが一般的である。
【００３５】
パケット１５９１および１５９２は、低品質エンコーダ１０３によって符号化されたデータをパケット化したものを示す。１５９１はフレームＦ１およびＦ３の符号化結果とタイムスタンプＴ１を含み、１５９２はフレームＦ４およびＦ６の符号化結果とタイムスタンプＴ１０を含む。フレームＦ２およびＦ５を含んでいないのは、高品質映像に比べてフレームレートを落としていることを示す。ここでは、フレームレートを半分にしている例を示している。
【００３６】
１５５１〜１５５３および１５６１〜１５６３は、それぞれパケット１５９１および１５９２を細分化パケットに分割したパケットを示す。また、１５５０は、これらの細分化パケットから構成される低品質映像ストリームを示す。
【００３７】
１５７１〜１５７５は、低品質用同期符号として、同期信号のカウント値が収められている同期符号のパケットを示す。１５５０は低品質用同期符号ストリームを示す。
【００３８】
１５８２は、実際の映像コンテンツの入力から、低品質のパケット１５９１が生成されるまでの時間遅れを示している。この時間遅れは、高品質のパケット１５１１の時間遅れ１５８１と同様に数秒程度になるが、両者は、必ずしも一致せず、さらにはそれぞれ揺らぎが生じる。このため、高品質映像ストリームと、低品質映像ストリームには、同じ時刻の映像コンテンツを符号化した場合に、１５８３のような時間ずれが生じることになる。
【００３９】
１５９５および１５９６は、以上の高品質映像ストリーム１５２０、高品質用同期符号ストリーム１５４０、低品質映像ストリーム１５５０、低品質用同期符号ストリーム１５７０を多重化したストリームを示す。
【００４０】
ストリーム１５９６は、高品質用エンコーダおよび低品質用エンコーダの符号化に要する時間ずれ１５８３を考慮せず多重化した場合である。ストリーム１５９６では、同じ時刻の映像コンテンツのフレームが低品質用と、高品質用で大きくずれてしまうため、受信機において相互に切り替えた場合に、映像が連続的に再生するためには大きなバッファが必要となる。一方、ストリーム１５９５では、両者のずれを吸収し、所定時間内に両者の同時刻のフレームが収められるため、受信機側で持つバッファ容量が少なくて済む。
【００４１】
受信機側に十分なバッファを持っていれば、一つの同期信号に基づいてエンコードすることにより、元の映像コンテンツの同じフレームが同じ同期信号のカウント値によるタイムスタンプを持つため、両者を切り替える際に、どちらかの同期符号に基づいて各フレームを表示することで、連続した映像を表示することが可能となる。
【００４２】
本実施例による送出装置では、各エンコーダは同一のクロックに従い、同時刻のフレームに対してエンコードを行う。このため、高品質映像のフレームレートは、低品質映像のフレームレートの整数倍となることが望ましい。
【００４３】
また、高品質映像の符号化方法にＭＰＥＧ２、低品質映像の符号化方法にＭＰＥＧ４を使用する場合、互いのＩピクチャのフレーム位置を一致させることが望ましい。
【００４４】
次に、デジタル放送の受信装置を説明する。図１（ｂ）の受信装置２００は、無線によって放送された放送信号に対して、同調・受信・復調・誤り訂正を行い、ＴＳ（トランスポートストリーム）データを取り出す受信処理部２０１を備える。
【００４５】
分離処理装置２０２は、受信したＴＳに多重化された高品質の映像符号と、これに同期した同期信号ストリームと、低品質の映像符号とこれに同期した同期信号ストリームとを取り出し、それぞれ高品質映像デコーダ２０３、低品質映像デコーダ２０５に振り分ける。
【００４６】
高品質用デコーダ２０３は、高品質の映像ストリームから表示するべき画像フレームと、当該画像フレームのタイムスタンプをデコードし、バッファ２０４に出力する。低品質用デコーダ２０５は、低品質の映像ストリームから表示するべき画像フレームと、当該画像フレームのタイムスタンプをデコードし、バッファ２０６に出力する。
【００４７】
切替判定部２０８は、弱階層データの受信状態を監視し、弱階層データが受信可能な状態から受信不可の状態となったときに、弱階層受信不可の情報を、同期調整処理部２０７に送信する。
【００４８】
また、切替判定部２０８は、受信処理部の受信状態を監視し、高品質用映像符号が良好な受信状態にあるか否かを判断し、受信状態が不良の場合は、同期調整処理部２０７に通知する。また、受信状態が不良から良に戻った場合にも、その旨を同期調整処理部２０７に通知する。
【００４９】
切替判定部２０８における受信状態の監視には、受信処理部２０１での弱階層受信における受信電力強度やＣ／Ｎ比（搬送波（Ｃａｒｒｉｅｒ）と雑音（Ｎｏｉｓｅ）の電力比）、もしくは、受信処理部２０１での弱階層受信におけるＢＥＲ（Bit Error Rate）などを用いることが可能である。
【００５０】
もしくは、切替判定部２０８において、受信処理部の情報ではなく、バッファ２０４に出力される画像フレームを復元した際のノイズの混入率などを用いて、判定を実施しても良い。
【００５１】
同期信号発生部２０９は、固有の周期でクロックパルスを発生し、そのカウンタ値を出力する。また、同期信号を入力とし、同期信号に含まれるカウンタ値に同期し、同期したカウンタ値を出力する機能を持つ。
【００５２】
拡大処理部２２１は、バッファ２０６に保持された低品質用デコーダによって復号された低品質映像を取り出し、これを高品質映像と同じサイズとなるように拡大処理を施し、同期調整処理部２０７に提供する。拡大処理部２２１は、同期調整処理部２０７の要求に応じてバッファ２０６から低品質映像を取り出して拡大後、同期調整処理部２０７に渡す。あるいは、低品質用デコーダ２０５によって復号された低品質映像を拡大処理部２２１によって拡大処理を施した後に、バッファ２０６に保持するようにしても良い。
【００５３】
同期調整処理部２０７は強階層に含まれる同期信号と、弱階層に含まれる同期信号のうち、カウンタ値が遅れている方に合わせて、映像の表示処理を行い、映像表示部２１１により映像を表示する。この際、同期信号発生部２０９により得られた、遅く到着する方の同期信号に同期したカウンタ値を得、このカウンタ値によって提示すべき映像のフレームをバッファ２０４から選び出し、これを提示する。
【００５４】
映像フレームを選択する際には、映像フレームに割り当てられたタイムスタンプおよびフレームレートによって選択することが可能である。すなわち、バッファ２０４に保持された古いフレームから探索し、フレームに付加されたタイムスタンプとフレームレートから、当該フレームを提示すべきカウンタ値を割り出し、この値が現在のカウンタ値以前のものを破棄していく。これにより、現在のカウンタ値において最も近いフレームを取得することが可能である。
【００５５】
同様に、同期調整処理部２０７はバッファ２０６に含まれる映像フレームに対しても、現在のカウンタ値に最も近いフレームを取得し、それ以前のフレームを破棄する処理をおこなう。
【００５６】
初期状態では、上記のように取得したバッファ２０４に保持される弱階層に含まれる映像を表示する。さらに、切替判定部２０８から、弱階層データが受信不可状態となった通知を受け取ると、同期調整処理部２０７はバッファ２０６から取得した映像フレームを表示する。その一方で、バッファ２０４から取得した映像フレームは破棄する。
【００５７】
以上のような処理を行うことで、同一の同期信号に同期した２つの映像フレームの表示を切り替えることが可能になり、時間的にずれて送られてきた２つの映像を切り替えても、切れ目なく映像を切り替えて表示することが可能になる。
【００５８】
図３は、弱階層から強階層の映像に切り替わる様子を示す説明図である。上から下へ、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４と、時刻が進んでいく様子を示している。３０１〜３０５は、弱階層で伝送される高品質の映像のデコードされた各時刻におけるフレームを示す。３１１から３１３は、強階層で伝送される低品質の映像のデコードされた各時刻のフレームを示す。高品質映像と、低品質映像では、画素数、フレームレートが異なる。
【００５９】
いま、図３において、時刻ｔ２において、高階層が受信不可であると判定されたものとして説明する。
【００６０】
時刻ｔ０、ｔ１では、同期調整処理部２０６は高品質映像３０１および３０２をバッファ２０４から取得して表示映像として出力し、低品質映像３１１はバッファ２０６から取り出して破棄する。
【００６１】
時刻ｔ２において、切替判定部２０８から弱階層の受信不可判定を受け取ると、時刻ｔ２以降は弱階層の高品質映像３０３〜３０５を破棄し、強階層の低品質映像３１２および３１３を、それぞれｔ２およびｔ４の時刻に、表示映像３３３および３３４として画像を拡大して表示する。この場合、時刻ｔ３には、低品質映像のフレームレートが高品質映像よりも落ちるため、この時刻の映像は存在しない。このため時刻ｔ３では、表示映像の更新は行わず、時刻ｔ２の表示映像３３３と同じ映像が表示される。
【００６２】
本実施例によれば、同じ映像コンテンツ（たとえばサイマル放送）から作成された放送の複数のストリームを、高品質映像の受信状態によって切り替え、同期信号に基づき、映像を途切れずに、連続的に表示することが可能となる。
【実施例２】
【００６３】
実施例１では、映像の切り替え時に、高品質映像から低品質映像へ、もしくは低品質映像から高品質映像へ、１フレーム分の時間だけで切り替えたが、実施例２では、この切り替えの際に生じるギャップを低減する例を説明する。
【００６４】
図４は、本実施例に係るデジタル放送の受信装置の構成を示すブロック図である。図４での構成では、図1の構成に加えて、合成比率生成部１６０１を含むことを特徴とする。
【００６５】
合成比率発生部１６０１は、同期調整処理部２０７の要求に従い、0.0〜１.0の間で任意の合成比率を生成する機能を持つ。この際に、開始予定時刻における合成比率の初期値と、終了予定時刻における合成比率の終了値を同期調整処理部２０７において指定し、この指定に従って合成比率生成部１６０１は、開始予定時刻から終了予定時刻までの間の合成比率を生成する。
【００６６】
図５は、本発明に係る受信端末による映像の表示例である。図３と同様、時刻ｔ０からｔ４まで、上から下に各時刻に対応した高品質映像４０１〜４０５、低品質映像４１１〜４１３、低品質映像の拡大映像４２１〜４２３および表示映像４３１〜４３５を示す。
【００６７】
同期調整処理部２０７は、予め定めた所定時間だけ遅延を持って表示映像を定める。ここでは、現在の時刻がｔ４である場合には、所定時間前の時刻ｔ０における映像を表示する。
【００６８】
時刻ｔ３からｔ４の間に弱階層が受信不可となると判定された場合には、同期調整処理部２０７は時刻ｔ０から時刻ｔ３では、高品質映像４０１〜４０４および低品質映像４１１〜４１３の拡大映像４２１〜４２５との所定の比率による画像合成を実施して、表示映像４３１〜４３５を生成する。
【００６９】
すなわち、時刻ｔ０では、高品質映像４０１を比率１とし、同時刻における低品質映像４１１を拡大して画素数を映像４０１と一致させた拡大映像４２１の比率を０として、表示映像４３１を生成する。この場合は、比率は１：０となるため、映像４３１は、映像４０１に一致する。
【００７０】
時刻ｔ１では、対応する低品質映像が存在しないため、映像４３２は映像４３１と同じ映像とする。時刻ｔ２では、映像４０３と映像４２３との合成比率を０．５：０．５として合成して、表示映像４３３を生成する。時刻ｔ３では、時刻ｔ２と同様に、映像４３４は映像４３３と同じ映像を表示する。時刻ｔ４では、時刻ｔ０とは逆に、映像４０５と拡大映像４２５との合成比率を０：１とし、表示映像４３５を生成する。この場合は、表示映像４３５は、拡大映像４２５と同一となる。
【００７１】
以上のような処理を行うことで、映像の解像度が急激に変化せずに、徐々に変化させることが可能となる。たとえば、サイマル放送の複数のストリームを、それぞれの受信状態によって切り替え、切り替え時に、一方のストリームから徐々に他方のストリームに切り替えることが可能である。
【００７２】
本実施例の画像フレームの合成においては、低品質映像を拡大した画像フレームと高品質映像の画像フレームを、それぞれ別のプレーンに描画し、上のプレーンに表示した映像の透過率を、合成比率に変換して表示することも可能である。
【実施例３】
【００７３】
図６は、本実施例に係るデジタル放送の受信機の構成を示すブロック図である。図６では、図４の構成に加えて、補間処理部１６１０を含むことを特徴とする。
【００７４】
補間処理部１６１０は同期調整処理部２０７の指示により、バッファ２０６から低品質映像の連続した２つのフレームを取り出し、同期調整処理部２０７の指定した時間間隔によって２つのフレーム間の補間映像を生成する機能を持つ。
【００７５】
図７に、本実施例の受信装置による映像の表示例を示す。本実施例では、切り替えの際に生じるギャップの低減するために、フレームレートの補間を行っている。
【００７６】
図３と同様に、時刻ｔ０からｔ４まで、上から下に各時刻に対応した高品質映像５０１〜５０５、低品質映像５１１〜５１３、低品質映像の拡大映像５２１〜５２５および表示映像５３１〜５３５を示す。
【００７７】
実施例１との違いは、同期調整処理部２０７によって、低品質映像のフレームが存在しない時刻ｔ１およびｔ３における拡大映像を、その前後の時刻のフレームから生成しているところである。すなわち、時刻ｔ１のフレームにおける低品質映像の拡大映像５２２は、その前の時刻ｔ０の低品質映像５１１と時刻ｔ２の低品質映像５１２を用いて生成する。時刻ｔ3のフレームにおける低品質映像の拡大映像５２４は、その前の時刻ｔ０の低品質映像５１２と時刻ｔ２の低品質映像５１３を用いて生成する。
【００７８】
この際に、拡大映像５２２の生成においては、低品質映像５１１および５１２の間で、映像の符号化を実施し、その間の予測を時間で補間することにより合成画像を得る。拡大映像５２４の生成も同様である。
【００７９】
例えば、５１１と５１２の間で、映像の相関値を取得する。この相関値によって、２つのフレーム間で、静止している領域（いずれか一方のフレームにしか存在しない領域も含む）と、移動している領域を検出する。静止している領域は、情報をそのまま用い、移動している領域は、時刻ｔ０から時刻ｔ２までの時間をｔ１の時刻で移動距離と伸縮率を補間する。以上の情報を元に、静止している領域と、移動している領域とをそれぞれ合成することにより、時刻ｔ１の領域を求めることが可能となる。
【実施例４】
【００８０】
図８は、本実施例のデジタル放送受信装置の構成を示すブロック図である。図８では、実施例３（図６）の構成に対して、補間処理部１６１０が、高品質デコーダ２０３および低品質デコーダ２０５から、デコード情報（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）を取得する。
【００８１】
補間処理部１６１０は同期調整処理部２０７の指示により、高品質デコーダ２０３および低品質デコーダ２０５からデコード情報を取得し、以下に示す処理を実施する。
【００８２】
実施例２，３では、各時刻のフレームの低品質映像および高品質映像は、そのまま表示映像として表示できる映像であるものとして説明した。本実施例の受信装置においては、必ずしもこのような場合だけでなく、圧縮して送信された映像情報でもよい。
【００８３】
本実施例の受信装置で使用する映像は、高品質映像および低品質映像とも、圧縮符号化されていてもよい。たとえば、一般に映像の圧縮符号化方式として用いられるＭＰＥＧ−２符号化方式が、高品質映像に利用可能である。また、ＭＰＥＧ−４方式や、ＩＳＯ／ＩＥＣの規格によって規定されるＨ．２６４符号化方式などが、低品質映像に利用可能である。
【００８４】
動画情報の圧縮符号化方式では一般に、静止画と、その静止画との差分情報を伝送する方式が用いられることが多い。すなわち、映像フレーム中の適当な間隔で静止画を送り、静止画と静止画の間は差分情報をのみを送ることにより、伝送する情報量を圧縮するものである。
【００８５】
この静止画はＩピクチャと呼ばれる。Ｉピクチャはもとの映像をその他のフレームの情報を用いずに圧縮したフレームであり、単独でフレームを復元できる。
【００８６】
差分情報のみが伝送されるフレームは、特性の違いによってＰピクチャもしくはＢピクチャと呼ばれる。Ｐピクチャは、その前に送られた過去のフレームとの差分情報によって復元される。一方、Ｂピクチャは、過去のフレームだけでなく、未来のフレームとの差分情報によって復元される。
【００８７】
図９に、低品質映像と高品質映像の各フレーム列の例を示す。図９では、左から右に対し、時間が進んでいく様子を示している。６０１〜６１２は、高品質映像の各フレームを示す。６３１〜６３７は低品質映像の各フレームを示す。
【００８８】
黒く塗りつぶしたフレーム６０１，６０９，６３１，６３５はＩピクチャであることを示す。白色のフレーム６０２，６０３，６０７，６０８，６１０，６１１、６３２，６３３，６３４，６３６，６３７はＰピクチャを示す。網目のハッチングを施した６０４，６０５，６０６，６１１，６１２はＢピクチャを示す。低品質映像にはＢピクチャを用いていない例である。
【００８９】
図１０に、高品質映像から低品質映像へ、および高品質映像から低品質映像に切り替わる様子を示す。ここでは、時刻ｔ０、ｔ１、ｔ２における３フレームで高品質映像から低品質映像へ、あるいは高品質映像から低品質映像に切り替わる。
【００９０】
図１０（ａ）で、フレーム６０１は時刻ｔ０における移動領域６６１と静止領域６６２である。フレーム６０２は、フレーム６０１と比較して、移動領域６６１が６６３（６６１）から６６４へ移動したことを示す。フレーム６０３は、フレーム６０２と比較して、移動領域６６５（６６４）から６６６へ移動したことを示す。
【００９１】
図１０（ｂ）の低品質映像においても、フレーム６３１の６７１は移動領域であり、６７２は静止領域である。フレーム６３２では、フレーム６３１と比較して、移動領域６７３（６７１）から６７４へ移動したことを示す。同様に、フレーム６３３では、フレーム６３２と比較して、移動領域６７５（６７４）から６７６へ移動したことを示す。
【００９２】
図１０（ｃ）のフレーム６４１〜６４３は、高品質映像から低品質映像へ切り替えた場合の表示映像である。ここでは、３フレームで切り替える場合を示す。フレーム６４１はフレーム６０１と同一であり、フレーム６４３はフレーム６３３と同一である。フレーム６４２では、静止領域６８２は高品質映像のフレーム６０１の静止領域６６２を用い、移動領域６８１は低品質映像フレーム６３２の移動領域６７４を用いて生成している。
【００９３】
図１０（ｄ）のフレーム６５１〜６５３は、低品質映像から高品質映像へ切り替えた場合の表示映像である。ここでも、３フレームで切り替える場合を示す。フレーム６５１はフレーム６３１と同一であり、フレーム６５３はフレーム６０３と同一である。
【００９４】
フレーム６５２は、静止領域６９２は低品質映像のフレーム６３１の静止領域６７２を用い、移動領域６９１は高品質映像フレーム６０２の移動領域６６４を用いて生成している。
【００９５】
本実施例では、さらに多くのフレームを用いて、合成比率生成部１６０１の合成比率によって、移動領域毎もしくは静止領域毎に合成処理を行うことも可能である。
【００９６】
また、静止領域および移動領域のフレーム内における面積比を求め、面積が小さい物体から優先的に遷移させる方法も可能である。
【実施例５】
【００９７】
図１１に、本発明の他の実施例によるデジタル放送システムの構成を示す。（ａ）は送出装置、（ｂ）は受信装置のブロック図である。
【００９８】
送出装置７００では、遅延装置１２０が図１に示した実施例と異なり、遅延装置１２１に対して大きな時間差（例えば数分間など）の遅延を生じさせる機能を持つ。これにより、低品質映像ストリームを、高品質用ストリームよりも数分間早く送出することが可能となる。
【００９９】
放送装置１０５は、低品質用エンコーダによる映像符号および同期信号と、そこから所定の時間だけ遅延させた高品質用エンコーダによる映像符号および同期信号と、を多重化した信号を放送する。
【０１００】
受信装置８００は遅延装置８０１を持つ。受信装置８００は受信した低品質用映像符号および同期信号を遅延装置８０１に保持する。一方、高品質用映像符号を高品質用同期信号により再生し、表示する。同期調整処理部２０７は遅延装置８０１から、高品質映像用の同期信号と同じタイムスタンプを持つ映像符号を検索し、切替判定部２０８によって、弱階層の受信不可状態となったときに、遅延装置８０１から低品質用デコーダ２０５により復号化され、バッファ２０６に蓄えられている低品質用映像に切り替える。
【０１０１】
以上のような構成とすることにより、高品質映像と低品質映像を時間的に大きくずらして伝送することが可能となる。例えば、トンネルの中に入って小さなバッファでは足りなくなってしまうような場合でも、タイムシフト再生として映像を視聴することが可能となる。
【実施例６】
【０１０２】
図１２に、本発明のさらに他の実施例によるデジタル放送システムを示す。（ａ）はデジタル放送の送出装置、（ｂ）は受信装置のブロック図である。送出装置９００および受信装置１０００は、それぞれ通信装置９０１および通信装置１００１を持つ。
【０１０３】
通信装置９０１は、低品質用エンコーダ１０９によって符号化された映像符号および同期信号を、通信によって受信装置１０００に送信する。この際、映像符号は多重化処理装置１０４へ出力されるものと同じ信号でもよいが、通信装置９０１の帯域が不足する場合は、符号化パラメタを変更し、通信装置９０１の送信可能な帯域以下となるように符号のビットレートを変更する。
【０１０４】
送出装置９００は、実施例５（図１１）の遅延装置１２０および１２１に加えて、遅延装置７８０を備える。遅延装置７８０は、遅延装置１２０および１２１に比べて遅延時間が最小となるようにする。
【０１０５】
通信装置９０１は、受信装置１０００の通信装置１００１と通信を行い、映像符号および同期信号を送る。受信装置１０００の切替判定部２０８は、弱階層の受信可否判定のほかに、強階層の受信可否判定を実施し、弱階層および強階層の両方が受信不可となった場合は、通信装置１００１から受信した映像符号および同期信号を元に再生する低品質映像に切り替える。
【０１０６】
以上の構成とすることにより、放送電波がまったく受信できなくなった場合でも、通信を介して受信した映像を再生することが可能となる。また、実施例５で示したように、各階層および通信装置により受信した映像符号および同期信号を蓄積装置を経由して送出もしくは受信することで、タイムシフト再生を行うことも可能である。
【実施例７】
【０１０７】
図１３に本発明に係るデジタル放送の受信装置のさらに他の実施例を示す。本実施例では、同期補正部1101を有することにより、送出側において、第１の映像信号と第２の映像信号がずれていても、受信装置側でこれを補正し、ずれなく表示することが可能となる。
【０１０８】
受信装置1100は、高品質用デコーダ２０３の出力から第1の映像の特徴量を抽出する特徴量抽出部1102と、抽出された特徴量を時系列に保持するバッファ1104を具備する。また、低品質用デコーダ２０５の出力から第２の映像の特徴量を抽出する特徴量抽出部1103と、抽出された特徴量を時系列に保持するバッファ1105を具備する。同期補正部1101は、各バッファに保持された特徴量の時系列データを比較し、時刻のずれ量を検出する。
【０１０９】
図１４に時刻ずれ量の検出概念図を示す。１２０１は、第１の映像から検出された特徴量を時系列にプロットしたグラフである。１２０２は、第２の映像から検出された特徴量を時系列にプロットしたグラフである。時刻ずれ量１２０３を変化パラメタとして両者の差分が最小となるようにした値を時刻ずれ量として求める。たとえば、差分の最小二乗和を求める方法や、相関係数を求める方法がある。
【０１１０】
同期補正部1101は、検出した時刻ずれ量によって、第１の映像、第２の映像に対する同期信号発生部２０９からの同期信号を補正し、→Ｏｋその補正した値を同期調整処理部２０７に渡し、同期調整処理部２０７は補正された同期信号によって処理を実施する。
【０１１１】
たとえば、先に送られてきている映像の同期信号を時刻ずれ量だけ遅延させて同期調整処理部２０７に渡せばよい。
【０１１２】
本実施例により、送出側で、２つの映像の同期を厳密にあわせて送出しなくても、受信側での同期調整により、２つの映像のずれを補正して表示することが可能となる。
【０１１３】
特徴量としては、各フレーム画像そのものを用いることが可能である。MPEG圧縮方式を用いた場合には、特徴量として、すべてのフレーム画像ではなく、Iピクチャ画像のみを用いる方法が可能である。
【０１１４】
また、特徴量として、映像におけるシーンの切り替わりを検出し、その時間間隔を用いることが可能である。または、MPEG圧縮方式を用いた場合には、特徴量として、動きベクトルを画像サイズで正規化した値を用いることが可能である。
本実施例の受信装置によれば、複数のストリームの時間ずれが所定の時間より大きいときも、自動的にそのずれを検出して、そのずれを吸収することにより、切り替えても連続して映像を表示することが可能となる。
【実施例８】
【０１１５】
図１５に本発明におけるデジタル放送受信装置のさらに他の実施例を示す。本実施例での同期補正部１１０１は、放送事業者毎テーブル１３０１を持つ。放送事業者毎テーブル１３０１は、放送事業者毎に第１の映像と第２の映像の時刻ずれ量をあらかじめ記録しておくデータテーブルである。
【０１１６】
同期補正部１１０１は、受信チャンネル情報に従い、受信している放送事業者を特定し、当該放送事業者に対応する、時刻ずれ量を放送事業者毎テーブル１３０１から検索して取り出し、この取得した時刻ずれ量に基づき、実施例７に示した処理を行う。
【０１１７】
放送事業者毎に時刻ずれ量がほぼ一定である場合には、送出側で２つの映像の同期を厳密にあわせて送出しなくとも、受信側での同期調整により２つの映像のずれを補正して表示することが可能となる。
【０１１８】
以上の実施例では、複数の階層からなる放送形態について記載しているが、高品質映像と低品質映像は同一階層で伝送してもよい。この場合、変調方式による伝搬障害に対する耐性は同等となるが、周波数ダイバーシティと同等の効果が期待できる。また、デジタル放送の送出装置および受信装置による実施例で記載しているが、地上デジタル放送や、衛星を用いたデジタル放送のいずれでも適用可能である。一方、通信方式に依存するものではないため、放送に限らず携帯電話やＰＨＳ、無線ＬＡＮ等各種の無線を用いた通信方式において、伝送経路を複数持ちうる映像の配信に対して適用可能である。
【図面の簡単な説明】
【０１１９】
【図１】本発明の実施例１によるデジタル放送システムの構成図。
【図２】実施例１による多重化処理後のストリームを生成する際の概念図。
【図３】実施例１で弱階層から強階層の映像への切り替えを示す説明図。
【図４】本発明の実施例２によるデジタル放送の受信機の構成図。
【図５】実施例２の映像の切り替えを示す説明図。
【図６】本発明の実施例３によるデジタル放送の受信機の構成図。
【図７】実施例３の映像の切り替えを示す説明図。
【図８】本発明の実施例４によるデジタル放送の受信機の構成図。
【図９】実施例４の映像の切り替え方式を示す説明図。
【図１０】実施例４の映像の切り替えを示す説明図。
【図１１】本発明の実施例５によるデジタル放送システムの構成図。
【図１２】本発明の実施例６によるデジタル放送システムの構成図。
【図１３】本発明の実施例７によるデジタル放送の受信機の構成図。
【図１４】時刻ずれ量の検出概念図。
【図１５】本発明の実施例８によるデジタル放送の受信機の構成図。
【符号の説明】
【０１２０】
１００…デジタル放送の送信装置、１０１…同期信号発生装置、１０２…高品質用エンコーダ、１０３…低品質用エンコーダ、１０４…多重化処理装置、１０５…放送装置、２００…デジタル放送の受信装置、２０１…受信処理部、２０２…分離処理部、２０３…高品質用デコーダ、２０４…バッファ、２０５…低品質用デコーダ、２０６…バッファ、２０７…同期調整処理部、２０８…切替判定部、２０９…同期信号発生部、２１１…映像表示部、３０１〜３０５…高品質映像フレーム、３１１〜３１３…低品質映像フレーム、３３１〜３３４…表示映像フレーム、４０１〜４０５…高品質映像フレーム、４１１〜４１３…低品質映像フレーム、４２１〜４２５…低品質映像の拡大フレーム、４３２〜４３５…表示映像フレーム、５０１〜５０５…高品質映像フレーム、５１１〜５１３…低品質映像フレーム、５２１〜５２５…低品質映像の拡大フレーム、５３１〜５３５…表示映像フレーム、６０１〜６１２…高品質映像フレーム、６３１〜６３７…低品質映像フレーム、６６１，６６３〜６６６…高品質映像の移動領域、６６２…静止領域、６７１，６７３〜６７６…低品質映像の移動領域、６４１〜６４３…高品質映像から低品質映像への切り替え表示映像、６５１〜６５３…低品質映像から高品質映像への切り替え表示映像、６８１…拡大された低品質映像の移動領域、６８２…高品質映像の静止領域、６９１…高品質映像の移動領域、６９２…拡大された低品質映像の静止領域、７００…デジタル放送の送信装置、７０１…送出用蓄積装置、８００…デジタル放送の受信装置、８０１…受信用蓄積装置、９００…デジタル放送の送信装置、９０１…送出用通信装置、１０００…デジタル放送の受信装置、１００１…受信用通信装置、１１００…デジタル放送の受信装置、１１０１…同期補正部、１１０２…特徴量抽出部、１１０３…特徴量抽出部、１１０４…バッファ、１１０５…バッファ、１２０１…第1の映像の特徴量、１２０２…第２の映像の特徴量、１２０３…時刻ずれ量、１３０１…放送事業者毎時刻ずれテーブル。
【技術分野】
【０００１】
本発明はデジタル放送システムに係り、特にその送出装置および受信装置に関する。
【背景技術】
【０００２】
近年、テレビジョン放送のデジタル化が進んでいる。CS、BS、地上波のデジタル放送では、固定受信向け放送が既に開始されているが、今後、デジタル放送では、移動体向けの放送サービスが開始される予定である。
【０００３】
移動体での放送受信では、移動中に生じる電波のシャドウイング、フェージング、周波数のドップラーシフト等の要因により、固定受信に比べて、受信状態の変動が大きくなる。このため、移動体で固定受信と同じ高品質な映像や音声を受信しようとしても、電界強度が劣化する場所を通過中には、受信仕切れない場合がある。このように、移動体受信では、移動中に変動する電波の受信状態に対応し、いかにして放送サービスが途切れないようにするかということが、重要な課題である。
【０００４】
デジタル放送では、映像情報はデジタル化され、ビットストリーム化して送出される。さらに、その他の情報（例えば音声や、チャンネル情報、番組情報など）のビットストリームとともに多重化され、RF変調を施して、アンテナから放送電波として放送される。これらのビットストリームは以下では単にストリームと呼ぶ。また必要に応じて、映像をビットストリーム化したものを映像ストリーム、音声をストリーム化したものを音声ストリームと呼ぶことにする。
【０００５】
デジタル放送には階層伝送という方式がある。階層伝送は、放送における無線チャネル内の帯域を分割し、分割した帯域毎に異なる伝送方式で送信する。弱階層と呼ばれる帯域では、確保可能なダイナミックレンジが狭く、移動受信には弱いが、広帯域を使用して高いビットレートで高品質の映像を送信できる。一方、強階層と呼ばれる帯域では、低いビットレートで低品質の映像となるが、移動受信に強い伝送方式で送信できる。
【０００６】
携帯端末の２〜３インチ程度の画面サイズであれば、弱階層で送信できる品質の映像でも、画面が小さいために視聴者は気にならない。しかし、車載端末に搭載される、たとえば７インチ以上の画面サイズでは、従来のアナログテレビ品質であるＳＤＴＶ（Standard Definition）品質の映像もしくはそれ以上のＨＤＴＶ（High Definition）品質の映像で見たいという要求がある。
【０００７】
従来技術の送出側では、特許文献１に開示されているように、同じコンテンツから高品質の映像ストリームと低品質の映像ストリームを生成し、それぞれ弱階層および強階層によって送出する放送形態（サイマル放送と呼ばれる）が知られている。また、受信側では、電波の受信状態が良い時には弱階層の高品質映像ストリームを表示し、電波の受信状態が悪くなった時には強階層の低品質映像ストリームに切り替えることで、高品質の映像を表示しつつ、電波状態の変動に対応して映像がフリーズしないように表示する方法が知られている。
【０００８】
【特許文献１】特開2003−143503号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、従来の技術では、ストリームを切り替えた時に、映像が真に途切れなく連続的に表示されることが保証されていなかった。すなわち、強階層用の映像ストリームの符号化と、弱階層用の映像ストリームの符号化に要する処理時間は、それぞれ異なり、さらに揺らぎが発生する。映像コンテンツの入力が同時であっても、出力時には、両者に数ミリ秒から数秒以上のずれが発生する。さらに、放送以外の伝送路を使用する場合には、それ以上のずれが発生する可能性もある。このため、ストリームを多重化して放送し、受信装置で受信した時には、両者にずれが発生している可能性が高い。このように時間的なずれが発生しているストリームを切り替えた場合には、その切り替えの瞬間に映像に映像の進み・戻り、音飛びなどのギャップが生じることになる。
【００１０】
特に、移動中は、電界強度が短時間で急激に変動し易く、電界強度が閾値付近にある場合には切り替え判定結果がめまぐるしく変動する。このような状態では、階層の切り替えが頻繁に発生し、時間ずれのある映像が短時間で切り替わるので、映像の連続性が保たれないため視聴者に与える違和感が非常に大きくなる。特許文献１では、切り替えた後、再度他方へ戻る際には、一定時間以上経過しないと戻らない、という手段を用いてこの問題を解決しようとしているが、映像の連続性については何ら保証されない。
【００１１】
また、切り替え時には、高品質映像と低品質映像の切り替えが発生する。しかし、弱階層で受信可能な映像は、ＳＤＴＶもしくはＨＤＴＶ品質の映像であり、ＨＤＴＶ品質の１０８０iと呼ばれる映像フォーマットの画素数は、１４４０ｘ１０８０となる。一方、強階層で受信可能な映像は、携帯端末等の小さな画面での視聴の場合、ＱＶＧＡ（３２０ｘ２４０）もしくはそれ以下のＱＣＩＦ（１７６ｘ１４４）等の小さな画素数となる。このため、両者の切り替え時には大きな画素数のギャップが発生し、視聴者に大きな違和感を与える要因となる。
【００１２】
また、車載用の受信装置では、連続性がなく画面が切り替わった瞬間は、運転者の注意を引く要因となり、安全性の低下にもつながる。
【００１３】
本発明の目的は、上記従来技術の問題点に鑑み、切り替えの際に映像が途切れなく連続的に表示できるデジタル放送システム、そのための送出装置と受信装置を提供することにある。これにより、切り替えによって、視聴者に与える違和感を大幅に低減できる。
【課題を解決するための手段】
【００１４】
上記目的を達成するための本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信し、映像の表示を行う映像表示部を有するデジタル放送の受信装置において、 前記放送信号に多重化されたデータを分離する分離処理部と、前記第１の映像符号とその同期信号の復元を行う第１の復号部と、前記第２の映像符号とその同期信号の復元を行う第２の復号部と、復号化された高品質映像信号を保持する第１のバッファと、復号化された低品質映像信号の映像を保持する第２のバッファと、該第２のバッファから低品質映像信号を取り出して拡大処理を行う拡大処理部と、前記高品質映像信号の受信状態を監視してその良否を判定する切替判定部と、前記切替判定部の判定結果が良の場合は前記第１のバッファから高品質映像信号を取り出し、判定結果が否の場合は前記拡大処理部から拡大処理された低品質映像信号を取り出し、前記同期信号のうち遅れている方の同期信号に合わせて前記映像表示部に出力する同期調整部を備えることを特徴とする。
上記の構成をとることにより、本発明のデジタル放送の受信装置はサイマル放送の複数のストリームを、それぞれの受信状態によって切り替え、同期信号に基づき映像を途切れずに、連続して表示することが可能となる。
【００１５】
また本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含み、多重化して送出するデジタル放送の送出装置において、 同期信号を発生する同期信号発生装置と、 映像コンテンツを分配する映像分配装置と、 分配された映像コンテンツの一つを前記同期信号に同期してエンコードし、前記第１の映像符号と該映像符号に同期した同期符号を生成する第１の映像符号化装置と、分配された映像コンテンツの別の一つを前記同期信号に同期して、前記第１の映像符号化装置とは異なる品質でエンコードし、第２の映像符号と該映像符号に同期した同期符号を生成する第２の映像符号化装置と、前記第１の映像符号と第１の同期符号を遅延させる第１の遅延装置と、前記第２の映像符号と第２の同期符号を遅延させる第２の遅延装置と、前記第１の映像符号および第１の同期符号と、前記第２の映像符号および第２の同期符号を、所定時間以下の時間ずれで多重化する多重化装置を備えることを特徴とする。
【００１６】
上記の構成をとることにより、本発明に係るデジタル放送の送出装置は、サイマル放送で送出する２つのストリームを、同一の同期信号で符号化して送出することが可能となり、２つのストリームの時間ずれを所定の時間以下に抑えることが可能となる。
また本発明は、同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化し、放送信号として送出する送出装置と、前記放送信号を受信し映像の表示を行う受信装置を備えるデジタル放送システムにおいて、 前記送出装置に上記に記載のデジタル放送の送出装置、前記受信装置に上記に記載のデジタル放送の受信装置を用いることを特徴とする。
【発明の効果】
【００１７】
本発明によるデジタル放送の送出装置および受信装置によれば、ストリーム切り替えの際に、映像が途切れなく連続的に表示される効果がある。
【００１８】
本発明によるデジタル放送の送出装置および受信装置によれば、ストリーム切り替えの際に、映像の解像度が変更されても、その切り替えが視聴者に認識されにくいという効果がある。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態となるデジタル放送の送出装置および受信装置、ならびにその両者を用いたデジタル放送システムについて図面を参照しながら説明する。
【実施例１】
【００２０】
図１は、本発明の一実施例によるデジタル放送システムの構成を示すブロック図である。（ａ）は送出装置１００、（ｂ）は受信装置２００の構成を示す。
【００２１】
送出装置１００は放送局に設置され、放送用の映像ストリームを送出するものである。送出装置１００は同期信号発生装置１０１、映像分配装置１０６、高品質用エンコーダ１０２、低品質用エンコーダ１０３、遅延装置１２０、遅延装置１２１から構成される。送出装置１００は多重化処理装置１０４、放送装置１０５と組み合わせることにより、放送装置として利用される。
【００２２】
映像分配装置１０６は、映像コンテンツの入力を受け、該映像コンテンツをデジタル化し、さらにデジタル化した映像コンテンツを分配し、それぞれ高品質用エンコーダ１０２および低品質用エンコーダ１０３へ提供する。
【００２３】
同期信号発生装置１０１は、一定周期でクロックパルスを生成し、パルスのカウント値を、エンコーダ１０２、１０３に提供する。デジタル放送では、２７ＭＨｚのクロックパルスが標準的に用いられる。
【００２４】
高品質エンコーダ１０２および低品質エンコーダ１０３は、映像分配装置１０６からの映像コンテンツと、同期信号発生装置１０１からのカウンタ値を取得する。
【００２５】
各エンコーダは前記カウンタ値を元に相互に同期を取り、同じカウンタ値の映像フレームからエンコードを開始し、映像符号および同期信号をビットストリーム化して出力する。これらの映像符号、同期信号のビットストリーム（以下同期符号と呼ぶ）は、それぞれ固有のＩＤ値を持ち、区別することができる。映像符号には、フレームレート、タイムスタンプをデータブロック毎に付加する。受信側では、タイムスタンプと、同期信号値を比較してフレームレートに従って各フレームを表示することにより、映像の同期を取ることができる。
【００２６】
出力された映像符号および同期符号は、多重化処理装置１０４によって多重化され、放送装置１０５によって、変調、周波数変換され、無線信号として送出する。
【００２７】
この際、一般的には、高品質の映像符号化と低品質の映像符号化に要する時間が異なり、その変換時間には揺らぎを持つため、放送装置１０５によって送出される時点では、両者に時間的なずれが生じる。このずれは数ミリ秒から数百ミリ秒以上のずれとなる。
【００２８】
本実施例による送出装置１００では、高品質用エンコーダ１０２の出力する高品質映像符号と同期符号を一時的に保持し、所定の時間後に多重化処理装置１０４に送出する遅延装置１２０を備えている。さらに、低品質用エンコーダ１０３の出力する低品質用映像符号と同期符号を一時的に保持し、所定の時間後に多重化処理装置１０４に送出する遅延装置１２１を備え、上記の時間ずれを吸収することが可能となる。
【００２９】
図２に、映像コンテンツから、多重化処理後のストリームを生成する際の概念図を示す。図の横方向は左から右へ時間が進行していく様子をあらわす。１５０１は、元の映像コンテンツの各フレームを示す。Ｆ１〜Ｆ７の７枚のフレームにのみ番号を付しているが、その前後にもフレームは存在する。通常、映像コンテンツは１秒間に30フレーム程度の情報量を持つが、図では表しきれないためその一部のみを示している。
【００３０】
１５０２は、同期信号を示す。時刻に対して一定間隔でパルスが生成され、そのカウント値をＴ１，Ｔ１０，Ｔ２０で代表して表す。Ｔ１は、映像コンテンツのフレームＦ１に対応する同期信号のカウント値を示し、Ｔ１０はＦ４に、Ｔ２０はＦ７にそれぞれ対応するものとする。
【００３１】
１５１１および１５１２は、高品質用エンコーダ１０２によって、符号化されたデータを示す。ここでは、１５１１はフレームＦ１，Ｆ２，Ｆ３を符号化し、一つのパケットにまとめたものを示す。１５１２はフレームＦ４，Ｆ５，Ｆ６をまとめたパケットである。パケット１５１１および１５１２には、それぞれタイムスタンプとしてＴ１およびＴ１０をパケット内の情報として付加する。デジタル放送では、このパケットのフォーマットにはＰＥＳ（Ｐａｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）が用いられることが一般的である。
【００３２】
１５８１は、実際の映像コンテンツの入力から、パケット１５１１が生成されるまでの時間遅れを示している。この時間遅れは数秒程度になる。
【００３３】
１５２１〜１５２５は、パケット１５１１をさらに細分化したパケットに分割した様子を示す。デジタル放送では、この細分化パケットには、ＴＳＰ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ Ｐａｃｋｅｔ）が用いられることが一般的である。同様に、１５３１〜１５３５は、パケット１５１２を細分化したパケットを示す。これらのパケット列により高品質映像ストリーム１５２０が構成される。
【００３４】
１５４１〜１５４５を含む高品質映像用同期符号ストリーム１５４０は、高品質用同期符号として、パケットに同期信号のカウント値が収められている。同期符号は、受信機内で同期信号を発生する際のリファレンスとなるものであるため、最終的に多重化したストリーム内で、その時間間隔は十分小さい時間ずれで収められる必要がある。また、受信機内のバッファリングのための時間を考慮し、同じカウント値をタイムスタンプとして持つ細分化パケットよりも一定時間以上遅らせることが一般的である。
【００３５】
パケット１５９１および１５９２は、低品質エンコーダ１０３によって符号化されたデータをパケット化したものを示す。１５９１はフレームＦ１およびＦ３の符号化結果とタイムスタンプＴ１を含み、１５９２はフレームＦ４およびＦ６の符号化結果とタイムスタンプＴ１０を含む。フレームＦ２およびＦ５を含んでいないのは、高品質映像に比べてフレームレートを落としていることを示す。ここでは、フレームレートを半分にしている例を示している。
【００３６】
１５５１〜１５５３および１５６１〜１５６３は、それぞれパケット１５９１および１５９２を細分化パケットに分割したパケットを示す。また、１５５０は、これらの細分化パケットから構成される低品質映像ストリームを示す。
【００３７】
１５７１〜１５７５は、低品質用同期符号として、同期信号のカウント値が収められている同期符号のパケットを示す。１５５０は低品質用同期符号ストリームを示す。
【００３８】
１５８２は、実際の映像コンテンツの入力から、低品質のパケット１５９１が生成されるまでの時間遅れを示している。この時間遅れは、高品質のパケット１５１１の時間遅れ１５８１と同様に数秒程度になるが、両者は、必ずしも一致せず、さらにはそれぞれ揺らぎが生じる。このため、高品質映像ストリームと、低品質映像ストリームには、同じ時刻の映像コンテンツを符号化した場合に、１５８３のような時間ずれが生じることになる。
【００３９】
１５９５および１５９６は、以上の高品質映像ストリーム１５２０、高品質用同期符号ストリーム１５４０、低品質映像ストリーム１５５０、低品質用同期符号ストリーム１５７０を多重化したストリームを示す。
【００４０】
ストリーム１５９６は、高品質用エンコーダおよび低品質用エンコーダの符号化に要する時間ずれ１５８３を考慮せず多重化した場合である。ストリーム１５９６では、同じ時刻の映像コンテンツのフレームが低品質用と、高品質用で大きくずれてしまうため、受信機において相互に切り替えた場合に、映像が連続的に再生するためには大きなバッファが必要となる。一方、ストリーム１５９５では、両者のずれを吸収し、所定時間内に両者の同時刻のフレームが収められるため、受信機側で持つバッファ容量が少なくて済む。
【００４１】
受信機側に十分なバッファを持っていれば、一つの同期信号に基づいてエンコードすることにより、元の映像コンテンツの同じフレームが同じ同期信号のカウント値によるタイムスタンプを持つため、両者を切り替える際に、どちらかの同期符号に基づいて各フレームを表示することで、連続した映像を表示することが可能となる。
【００４２】
本実施例による送出装置では、各エンコーダは同一のクロックに従い、同時刻のフレームに対してエンコードを行う。このため、高品質映像のフレームレートは、低品質映像のフレームレートの整数倍となることが望ましい。
【００４３】
また、高品質映像の符号化方法にＭＰＥＧ２、低品質映像の符号化方法にＭＰＥＧ４を使用する場合、互いのＩピクチャのフレーム位置を一致させることが望ましい。
【００４４】
次に、デジタル放送の受信装置を説明する。図１（ｂ）の受信装置２００は、無線によって放送された放送信号に対して、同調・受信・復調・誤り訂正を行い、ＴＳ（トランスポートストリーム）データを取り出す受信処理部２０１を備える。
【００４５】
分離処理装置２０２は、受信したＴＳに多重化された高品質の映像符号と、これに同期した同期信号ストリームと、低品質の映像符号とこれに同期した同期信号ストリームとを取り出し、それぞれ高品質映像デコーダ２０３、低品質映像デコーダ２０５に振り分ける。
【００４６】
高品質用デコーダ２０３は、高品質の映像ストリームから表示するべき画像フレームと、当該画像フレームのタイムスタンプをデコードし、バッファ２０４に出力する。低品質用デコーダ２０５は、低品質の映像ストリームから表示するべき画像フレームと、当該画像フレームのタイムスタンプをデコードし、バッファ２０６に出力する。
【００４７】
切替判定部２０８は、弱階層データの受信状態を監視し、弱階層データが受信可能な状態から受信不可の状態となったときに、弱階層受信不可の情報を、同期調整処理部２０７に送信する。
【００４８】
また、切替判定部２０８は、受信処理部の受信状態を監視し、高品質用映像符号が良好な受信状態にあるか否かを判断し、受信状態が不良の場合は、同期調整処理部２０７に通知する。また、受信状態が不良から良に戻った場合にも、その旨を同期調整処理部２０７に通知する。
【００４９】
切替判定部２０８における受信状態の監視には、受信処理部２０１での弱階層受信における受信電力強度やＣ／Ｎ比（搬送波（Ｃａｒｒｉｅｒ）と雑音（Ｎｏｉｓｅ）の電力比）、もしくは、受信処理部２０１での弱階層受信におけるＢＥＲ（Bit Error Rate）などを用いることが可能である。
【００５０】
もしくは、切替判定部２０８において、受信処理部の情報ではなく、バッファ２０４に出力される画像フレームを復元した際のノイズの混入率などを用いて、判定を実施しても良い。
【００５１】
同期信号発生部２０９は、固有の周期でクロックパルスを発生し、そのカウンタ値を出力する。また、同期信号を入力とし、同期信号に含まれるカウンタ値に同期し、同期したカウンタ値を出力する機能を持つ。
【００５２】
拡大処理部２２１は、バッファ２０６に保持された低品質用デコーダによって復号された低品質映像を取り出し、これを高品質映像と同じサイズとなるように拡大処理を施し、同期調整処理部２０７に提供する。拡大処理部２２１は、同期調整処理部２０７の要求に応じてバッファ２０６から低品質映像を取り出して拡大後、同期調整処理部２０７に渡す。あるいは、低品質用デコーダ２０５によって復号された低品質映像を拡大処理部２２１によって拡大処理を施した後に、バッファ２０６に保持するようにしても良い。
【００５３】
同期調整処理部２０７は強階層に含まれる同期信号と、弱階層に含まれる同期信号のうち、カウンタ値が遅れている方に合わせて、映像の表示処理を行い、映像表示部２１１により映像を表示する。この際、同期信号発生部２０９により得られた、遅く到着する方の同期信号に同期したカウンタ値を得、このカウンタ値によって提示すべき映像のフレームをバッファ２０４から選び出し、これを提示する。
【００５４】
映像フレームを選択する際には、映像フレームに割り当てられたタイムスタンプおよびフレームレートによって選択することが可能である。すなわち、バッファ２０４に保持された古いフレームから探索し、フレームに付加されたタイムスタンプとフレームレートから、当該フレームを提示すべきカウンタ値を割り出し、この値が現在のカウンタ値以前のものを破棄していく。これにより、現在のカウンタ値において最も近いフレームを取得することが可能である。
【００５５】
同様に、同期調整処理部２０７はバッファ２０６に含まれる映像フレームに対しても、現在のカウンタ値に最も近いフレームを取得し、それ以前のフレームを破棄する処理をおこなう。
【００５６】
初期状態では、上記のように取得したバッファ２０４に保持される弱階層に含まれる映像を表示する。さらに、切替判定部２０８から、弱階層データが受信不可状態となった通知を受け取ると、同期調整処理部２０７はバッファ２０６から取得した映像フレームを表示する。その一方で、バッファ２０４から取得した映像フレームは破棄する。
【００５７】
以上のような処理を行うことで、同一の同期信号に同期した２つの映像フレームの表示を切り替えることが可能になり、時間的にずれて送られてきた２つの映像を切り替えても、切れ目なく映像を切り替えて表示することが可能になる。
【００５８】
図３は、弱階層から強階層の映像に切り替わる様子を示す説明図である。上から下へ、時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４と、時刻が進んでいく様子を示している。３０１〜３０５は、弱階層で伝送される高品質の映像のデコードされた各時刻におけるフレームを示す。３１１から３１３は、強階層で伝送される低品質の映像のデコードされた各時刻のフレームを示す。高品質映像と、低品質映像では、画素数、フレームレートが異なる。
【００５９】
いま、図３において、時刻ｔ２において、高階層が受信不可であると判定されたものとして説明する。
【００６０】
時刻ｔ０、ｔ１では、同期調整処理部２０６は高品質映像３０１および３０２をバッファ２０４から取得して表示映像として出力し、低品質映像３１１はバッファ２０６から取り出して破棄する。
【００６１】
時刻ｔ２において、切替判定部２０８から弱階層の受信不可判定を受け取ると、時刻ｔ２以降は弱階層の高品質映像３０３〜３０５を破棄し、強階層の低品質映像３１２および３１３を、それぞれｔ２およびｔ４の時刻に、表示映像３３３および３３４として画像を拡大して表示する。この場合、時刻ｔ３には、低品質映像のフレームレートが高品質映像よりも落ちるため、この時刻の映像は存在しない。このため時刻ｔ３では、表示映像の更新は行わず、時刻ｔ２の表示映像３３３と同じ映像が表示される。
【００６２】
本実施例によれば、同じ映像コンテンツ（たとえばサイマル放送）から作成された放送の複数のストリームを、高品質映像の受信状態によって切り替え、同期信号に基づき、映像を途切れずに、連続的に表示することが可能となる。
【実施例２】
【００６３】
実施例１では、映像の切り替え時に、高品質映像から低品質映像へ、もしくは低品質映像から高品質映像へ、１フレーム分の時間だけで切り替えたが、実施例２では、この切り替えの際に生じるギャップを低減する例を説明する。
【００６４】
図４は、本実施例に係るデジタル放送の受信装置の構成を示すブロック図である。図４での構成では、図1の構成に加えて、合成比率生成部１６０１を含むことを特徴とする。
【００６５】
合成比率発生部１６０１は、同期調整処理部２０７の要求に従い、0.0〜１.0の間で任意の合成比率を生成する機能を持つ。この際に、開始予定時刻における合成比率の初期値と、終了予定時刻における合成比率の終了値を同期調整処理部２０７において指定し、この指定に従って合成比率生成部１６０１は、開始予定時刻から終了予定時刻までの間の合成比率を生成する。
【００６６】
図５は、本発明に係る受信端末による映像の表示例である。図３と同様、時刻ｔ０からｔ４まで、上から下に各時刻に対応した高品質映像４０１〜４０５、低品質映像４１１〜４１３、低品質映像の拡大映像４２１〜４２３および表示映像４３１〜４３５を示す。
【００６７】
同期調整処理部２０７は、予め定めた所定時間だけ遅延を持って表示映像を定める。ここでは、現在の時刻がｔ４である場合には、所定時間前の時刻ｔ０における映像を表示する。
【００６８】
時刻ｔ３からｔ４の間に弱階層が受信不可となると判定された場合には、同期調整処理部２０７は時刻ｔ０から時刻ｔ３では、高品質映像４０１〜４０４および低品質映像４１１〜４１３の拡大映像４２１〜４２５との所定の比率による画像合成を実施して、表示映像４３１〜４３５を生成する。
【００６９】
すなわち、時刻ｔ０では、高品質映像４０１を比率１とし、同時刻における低品質映像４１１を拡大して画素数を映像４０１と一致させた拡大映像４２１の比率を０として、表示映像４３１を生成する。この場合は、比率は１：０となるため、映像４３１は、映像４０１に一致する。
【００７０】
時刻ｔ１では、対応する低品質映像が存在しないため、映像４３２は映像４３１と同じ映像とする。時刻ｔ２では、映像４０３と映像４２３との合成比率を０．５：０．５として合成して、表示映像４３３を生成する。時刻ｔ３では、時刻ｔ２と同様に、映像４３４は映像４３３と同じ映像を表示する。時刻ｔ４では、時刻ｔ０とは逆に、映像４０５と拡大映像４２５との合成比率を０：１とし、表示映像４３５を生成する。この場合は、表示映像４３５は、拡大映像４２５と同一となる。
【００７１】
以上のような処理を行うことで、映像の解像度が急激に変化せずに、徐々に変化させることが可能となる。たとえば、サイマル放送の複数のストリームを、それぞれの受信状態によって切り替え、切り替え時に、一方のストリームから徐々に他方のストリームに切り替えることが可能である。
【００７２】
本実施例の画像フレームの合成においては、低品質映像を拡大した画像フレームと高品質映像の画像フレームを、それぞれ別のプレーンに描画し、上のプレーンに表示した映像の透過率を、合成比率に変換して表示することも可能である。
【実施例３】
【００７３】
図６は、本実施例に係るデジタル放送の受信機の構成を示すブロック図である。図６では、図４の構成に加えて、補間処理部１６１０を含むことを特徴とする。
【００７４】
補間処理部１６１０は同期調整処理部２０７の指示により、バッファ２０６から低品質映像の連続した２つのフレームを取り出し、同期調整処理部２０７の指定した時間間隔によって２つのフレーム間の補間映像を生成する機能を持つ。
【００７５】
図７に、本実施例の受信装置による映像の表示例を示す。本実施例では、切り替えの際に生じるギャップの低減するために、フレームレートの補間を行っている。
【００７６】
図３と同様に、時刻ｔ０からｔ４まで、上から下に各時刻に対応した高品質映像５０１〜５０５、低品質映像５１１〜５１３、低品質映像の拡大映像５２１〜５２５および表示映像５３１〜５３５を示す。
【００７７】
実施例１との違いは、同期調整処理部２０７によって、低品質映像のフレームが存在しない時刻ｔ１およびｔ３における拡大映像を、その前後の時刻のフレームから生成しているところである。すなわち、時刻ｔ１のフレームにおける低品質映像の拡大映像５２２は、その前の時刻ｔ０の低品質映像５１１と時刻ｔ２の低品質映像５１２を用いて生成する。時刻ｔ3のフレームにおける低品質映像の拡大映像５２４は、その前の時刻ｔ０の低品質映像５１２と時刻ｔ２の低品質映像５１３を用いて生成する。
【００７８】
この際に、拡大映像５２２の生成においては、低品質映像５１１および５１２の間で、映像の符号化を実施し、その間の予測を時間で補間することにより合成画像を得る。拡大映像５２４の生成も同様である。
【００７９】
例えば、５１１と５１２の間で、映像の相関値を取得する。この相関値によって、２つのフレーム間で、静止している領域（いずれか一方のフレームにしか存在しない領域も含む）と、移動している領域を検出する。静止している領域は、情報をそのまま用い、移動している領域は、時刻ｔ０から時刻ｔ２までの時間をｔ１の時刻で移動距離と伸縮率を補間する。以上の情報を元に、静止している領域と、移動している領域とをそれぞれ合成することにより、時刻ｔ１の領域を求めることが可能となる。
【実施例４】
【００８０】
図８は、本実施例のデジタル放送受信装置の構成を示すブロック図である。図８では、実施例３（図６）の構成に対して、補間処理部１６１０が、高品質デコーダ２０３および低品質デコーダ２０５から、デコード情報（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）を取得する。
【００８１】
補間処理部１６１０は同期調整処理部２０７の指示により、高品質デコーダ２０３および低品質デコーダ２０５からデコード情報を取得し、以下に示す処理を実施する。
【００８２】
実施例２，３では、各時刻のフレームの低品質映像および高品質映像は、そのまま表示映像として表示できる映像であるものとして説明した。本実施例の受信装置においては、必ずしもこのような場合だけでなく、圧縮して送信された映像情報でもよい。
【００８３】
本実施例の受信装置で使用する映像は、高品質映像および低品質映像とも、圧縮符号化されていてもよい。たとえば、一般に映像の圧縮符号化方式として用いられるＭＰＥＧ−２符号化方式が、高品質映像に利用可能である。また、ＭＰＥＧ−４方式や、ＩＳＯ／ＩＥＣの規格によって規定されるＨ．２６４符号化方式などが、低品質映像に利用可能である。
【００８４】
動画情報の圧縮符号化方式では一般に、静止画と、その静止画との差分情報を伝送する方式が用いられることが多い。すなわち、映像フレーム中の適当な間隔で静止画を送り、静止画と静止画の間は差分情報をのみを送ることにより、伝送する情報量を圧縮するものである。
【００８５】
この静止画はＩピクチャと呼ばれる。Ｉピクチャはもとの映像をその他のフレームの情報を用いずに圧縮したフレームであり、単独でフレームを復元できる。
【００８６】
差分情報のみが伝送されるフレームは、特性の違いによってＰピクチャもしくはＢピクチャと呼ばれる。Ｐピクチャは、その前に送られた過去のフレームとの差分情報によって復元される。一方、Ｂピクチャは、過去のフレームだけでなく、未来のフレームとの差分情報によって復元される。
【００８７】
図９に、低品質映像と高品質映像の各フレーム列の例を示す。図９では、左から右に対し、時間が進んでいく様子を示している。６０１〜６１２は、高品質映像の各フレームを示す。６３１〜６３７は低品質映像の各フレームを示す。
【００８８】
黒く塗りつぶしたフレーム６０１，６０９，６３１，６３５はＩピクチャであることを示す。白色のフレーム６０２，６０３，６０７，６０８，６１０，６１１、６３２，６３３，６３４，６３６，６３７はＰピクチャを示す。網目のハッチングを施した６０４，６０５，６０６，６１１，６１２はＢピクチャを示す。低品質映像にはＢピクチャを用いていない例である。
【００８９】
図１０に、高品質映像から低品質映像へ、および高品質映像から低品質映像に切り替わる様子を示す。ここでは、時刻ｔ０、ｔ１、ｔ２における３フレームで高品質映像から低品質映像へ、あるいは高品質映像から低品質映像に切り替わる。
【００９０】
図１０（ａ）で、フレーム６０１は時刻ｔ０における移動領域６６１と静止領域６６２である。フレーム６０２は、フレーム６０１と比較して、移動領域６６１が６６３（６６１）から６６４へ移動したことを示す。フレーム６０３は、フレーム６０２と比較して、移動領域６６５（６６４）から６６６へ移動したことを示す。
【００９１】
図１０（ｂ）の低品質映像においても、フレーム６３１の６７１は移動領域であり、６７２は静止領域である。フレーム６３２では、フレーム６３１と比較して、移動領域６７３（６７１）から６７４へ移動したことを示す。同様に、フレーム６３３では、フレーム６３２と比較して、移動領域６７５（６７４）から６７６へ移動したことを示す。
【００９２】
図１０（ｃ）のフレーム６４１〜６４３は、高品質映像から低品質映像へ切り替えた場合の表示映像である。ここでは、３フレームで切り替える場合を示す。フレーム６４１はフレーム６０１と同一であり、フレーム６４３はフレーム６３３と同一である。フレーム６４２では、静止領域６８２は高品質映像のフレーム６０１の静止領域６６２を用い、移動領域６８１は低品質映像フレーム６３２の移動領域６７４を用いて生成している。
【００９３】
図１０（ｄ）のフレーム６５１〜６５３は、低品質映像から高品質映像へ切り替えた場合の表示映像である。ここでも、３フレームで切り替える場合を示す。フレーム６５１はフレーム６３１と同一であり、フレーム６５３はフレーム６０３と同一である。
【００９４】
フレーム６５２は、静止領域６９２は低品質映像のフレーム６３１の静止領域６７２を用い、移動領域６９１は高品質映像フレーム６０２の移動領域６６４を用いて生成している。
【００９５】
本実施例では、さらに多くのフレームを用いて、合成比率生成部１６０１の合成比率によって、移動領域毎もしくは静止領域毎に合成処理を行うことも可能である。
【００９６】
また、静止領域および移動領域のフレーム内における面積比を求め、面積が小さい物体から優先的に遷移させる方法も可能である。
【実施例５】
【００９７】
図１１に、本発明の他の実施例によるデジタル放送システムの構成を示す。（ａ）は送出装置、（ｂ）は受信装置のブロック図である。
【００９８】
送出装置７００では、遅延装置１２０が図１に示した実施例と異なり、遅延装置１２１に対して大きな時間差（例えば数分間など）の遅延を生じさせる機能を持つ。これにより、低品質映像ストリームを、高品質用ストリームよりも数分間早く送出することが可能となる。
【００９９】
放送装置１０５は、低品質用エンコーダによる映像符号および同期信号と、そこから所定の時間だけ遅延させた高品質用エンコーダによる映像符号および同期信号と、を多重化した信号を放送する。
【０１００】
受信装置８００は遅延装置８０１を持つ。受信装置８００は受信した低品質用映像符号および同期信号を遅延装置８０１に保持する。一方、高品質用映像符号を高品質用同期信号により再生し、表示する。同期調整処理部２０７は遅延装置８０１から、高品質映像用の同期信号と同じタイムスタンプを持つ映像符号を検索し、切替判定部２０８によって、弱階層の受信不可状態となったときに、遅延装置８０１から低品質用デコーダ２０５により復号化され、バッファ２０６に蓄えられている低品質用映像に切り替える。
【０１０１】
以上のような構成とすることにより、高品質映像と低品質映像を時間的に大きくずらして伝送することが可能となる。例えば、トンネルの中に入って小さなバッファでは足りなくなってしまうような場合でも、タイムシフト再生として映像を視聴することが可能となる。
【実施例６】
【０１０２】
図１２に、本発明のさらに他の実施例によるデジタル放送システムを示す。（ａ）はデジタル放送の送出装置、（ｂ）は受信装置のブロック図である。送出装置９００および受信装置１０００は、それぞれ通信装置９０１および通信装置１００１を持つ。
【０１０３】
通信装置９０１は、低品質用エンコーダ１０９によって符号化された映像符号および同期信号を、通信によって受信装置１０００に送信する。この際、映像符号は多重化処理装置１０４へ出力されるものと同じ信号でもよいが、通信装置９０１の帯域が不足する場合は、符号化パラメタを変更し、通信装置９０１の送信可能な帯域以下となるように符号のビットレートを変更する。
【０１０４】
送出装置９００は、実施例５（図１１）の遅延装置１２０および１２１に加えて、遅延装置７８０を備える。遅延装置７８０は、遅延装置１２０および１２１に比べて遅延時間が最小となるようにする。
【０１０５】
通信装置９０１は、受信装置１０００の通信装置１００１と通信を行い、映像符号および同期信号を送る。受信装置１０００の切替判定部２０８は、弱階層の受信可否判定のほかに、強階層の受信可否判定を実施し、弱階層および強階層の両方が受信不可となった場合は、通信装置１００１から受信した映像符号および同期信号を元に再生する低品質映像に切り替える。
【０１０６】
以上の構成とすることにより、放送電波がまったく受信できなくなった場合でも、通信を介して受信した映像を再生することが可能となる。また、実施例５で示したように、各階層および通信装置により受信した映像符号および同期信号を蓄積装置を経由して送出もしくは受信することで、タイムシフト再生を行うことも可能である。
【実施例７】
【０１０７】
図１３に本発明に係るデジタル放送の受信装置のさらに他の実施例を示す。本実施例では、同期補正部1101を有することにより、送出側において、第１の映像信号と第２の映像信号がずれていても、受信装置側でこれを補正し、ずれなく表示することが可能となる。
【０１０８】
受信装置1100は、高品質用デコーダ２０３の出力から第1の映像の特徴量を抽出する特徴量抽出部1102と、抽出された特徴量を時系列に保持するバッファ1104を具備する。また、低品質用デコーダ２０５の出力から第２の映像の特徴量を抽出する特徴量抽出部1103と、抽出された特徴量を時系列に保持するバッファ1105を具備する。同期補正部1101は、各バッファに保持された特徴量の時系列データを比較し、時刻のずれ量を検出する。
【０１０９】
図１４に時刻ずれ量の検出概念図を示す。１２０１は、第１の映像から検出された特徴量を時系列にプロットしたグラフである。１２０２は、第２の映像から検出された特徴量を時系列にプロットしたグラフである。時刻ずれ量１２０３を変化パラメタとして両者の差分が最小となるようにした値を時刻ずれ量として求める。たとえば、差分の最小二乗和を求める方法や、相関係数を求める方法がある。
【０１１０】
同期補正部1101は、検出した時刻ずれ量によって、第１の映像、第２の映像に対する同期信号発生部２０９からの同期信号を補正し、→Ｏｋその補正した値を同期調整処理部２０７に渡し、同期調整処理部２０７は補正された同期信号によって処理を実施する。
【０１１１】
たとえば、先に送られてきている映像の同期信号を時刻ずれ量だけ遅延させて同期調整処理部２０７に渡せばよい。
【０１１２】
本実施例により、送出側で、２つの映像の同期を厳密にあわせて送出しなくても、受信側での同期調整により、２つの映像のずれを補正して表示することが可能となる。
【０１１３】
特徴量としては、各フレーム画像そのものを用いることが可能である。MPEG圧縮方式を用いた場合には、特徴量として、すべてのフレーム画像ではなく、Iピクチャ画像のみを用いる方法が可能である。
【０１１４】
また、特徴量として、映像におけるシーンの切り替わりを検出し、その時間間隔を用いることが可能である。または、MPEG圧縮方式を用いた場合には、特徴量として、動きベクトルを画像サイズで正規化した値を用いることが可能である。
本実施例の受信装置によれば、複数のストリームの時間ずれが所定の時間より大きいときも、自動的にそのずれを検出して、そのずれを吸収することにより、切り替えても連続して映像を表示することが可能となる。
【実施例８】
【０１１５】
図１５に本発明におけるデジタル放送受信装置のさらに他の実施例を示す。本実施例での同期補正部１１０１は、放送事業者毎テーブル１３０１を持つ。放送事業者毎テーブル１３０１は、放送事業者毎に第１の映像と第２の映像の時刻ずれ量をあらかじめ記録しておくデータテーブルである。
【０１１６】
同期補正部１１０１は、受信チャンネル情報に従い、受信している放送事業者を特定し、当該放送事業者に対応する、時刻ずれ量を放送事業者毎テーブル１３０１から検索して取り出し、この取得した時刻ずれ量に基づき、実施例７に示した処理を行う。
【０１１７】
放送事業者毎に時刻ずれ量がほぼ一定である場合には、送出側で２つの映像の同期を厳密にあわせて送出しなくとも、受信側での同期調整により２つの映像のずれを補正して表示することが可能となる。
【０１１８】
以上の実施例では、複数の階層からなる放送形態について記載しているが、高品質映像と低品質映像は同一階層で伝送してもよい。この場合、変調方式による伝搬障害に対する耐性は同等となるが、周波数ダイバーシティと同等の効果が期待できる。また、デジタル放送の送出装置および受信装置による実施例で記載しているが、地上デジタル放送や、衛星を用いたデジタル放送のいずれでも適用可能である。一方、通信方式に依存するものではないため、放送に限らず携帯電話やＰＨＳ、無線ＬＡＮ等各種の無線を用いた通信方式において、伝送経路を複数持ちうる映像の配信に対して適用可能である。
【図面の簡単な説明】
【０１１９】
【図１】本発明の実施例１によるデジタル放送システムの構成図。
【図２】実施例１による多重化処理後のストリームを生成する際の概念図。
【図３】実施例１で弱階層から強階層の映像への切り替えを示す説明図。
【図４】本発明の実施例２によるデジタル放送の受信機の構成図。
【図５】実施例２の映像の切り替えを示す説明図。
【図６】本発明の実施例３によるデジタル放送の受信機の構成図。
【図７】実施例３の映像の切り替えを示す説明図。
【図８】本発明の実施例４によるデジタル放送の受信機の構成図。
【図９】実施例４の映像の切り替え方式を示す説明図。
【図１０】実施例４の映像の切り替えを示す説明図。
【図１１】本発明の実施例５によるデジタル放送システムの構成図。
【図１２】本発明の実施例６によるデジタル放送システムの構成図。
【図１３】本発明の実施例７によるデジタル放送の受信機の構成図。
【図１４】時刻ずれ量の検出概念図。
【図１５】本発明の実施例８によるデジタル放送の受信機の構成図。
【符号の説明】
【０１２０】
１００…デジタル放送の送信装置、１０１…同期信号発生装置、１０２…高品質用エンコーダ、１０３…低品質用エンコーダ、１０４…多重化処理装置、１０５…放送装置、２００…デジタル放送の受信装置、２０１…受信処理部、２０２…分離処理部、２０３…高品質用デコーダ、２０４…バッファ、２０５…低品質用デコーダ、２０６…バッファ、２０７…同期調整処理部、２０８…切替判定部、２０９…同期信号発生部、２１１…映像表示部、３０１〜３０５…高品質映像フレーム、３１１〜３１３…低品質映像フレーム、３３１〜３３４…表示映像フレーム、４０１〜４０５…高品質映像フレーム、４１１〜４１３…低品質映像フレーム、４２１〜４２５…低品質映像の拡大フレーム、４３２〜４３５…表示映像フレーム、５０１〜５０５…高品質映像フレーム、５１１〜５１３…低品質映像フレーム、５２１〜５２５…低品質映像の拡大フレーム、５３１〜５３５…表示映像フレーム、６０１〜６１２…高品質映像フレーム、６３１〜６３７…低品質映像フレーム、６６１，６６３〜６６６…高品質映像の移動領域、６６２…静止領域、６７１，６７３〜６７６…低品質映像の移動領域、６４１〜６４３…高品質映像から低品質映像への切り替え表示映像、６５１〜６５３…低品質映像から高品質映像への切り替え表示映像、６８１…拡大された低品質映像の移動領域、６８２…高品質映像の静止領域、６９１…高品質映像の移動領域、６９２…拡大された低品質映像の静止領域、７００…デジタル放送の送信装置、７０１…送出用蓄積装置、８００…デジタル放送の受信装置、８０１…受信用蓄積装置、９００…デジタル放送の送信装置、９０１…送出用通信装置、１０００…デジタル放送の受信装置、１００１…受信用通信装置、１１００…デジタル放送の受信装置、１１０１…同期補正部、１１０２…特徴量抽出部、１１０３…特徴量抽出部、１１０４…バッファ、１１０５…バッファ、１２０１…第1の映像の特徴量、１２０２…第２の映像の特徴量、１２０３…時刻ずれ量、１３０１…放送事業者毎時刻ずれテーブル。
【特許請求の範囲】
【請求項１】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信し、映像の表示を行う映像表示部を有するデジタル放送の受信装置において、
前記放送信号に多重化されたデータを分離する分離処理部と、前記第１の映像符号とその同期信号の復元を行う第１の復号部と、前記第２の映像符号とその同期信号の復元を行う第２の復号部と、復号化された高品質映像信号を保持する第１のバッファと、復号化された低品質映像信号の映像を保持する第２のバッファと、該第２のバッファから低品質映像信号を取り出して拡大処理を行う拡大処理部と、前記高品質映像信号の受信状態を監視してその良否を判定する切替判定部と、前記切替判定部の判定結果が良の場合は前記第１のバッファから高品質映像信号を取り出し、判定結果が否の場合は前記拡大処理部から拡大処理された低品質映像信号を取り出し、前記同期信号のうち遅れている方の同期信号に合わせて前記映像表示部に出力する同期調整部を備えることを特徴とするデジタル放送の受信装置。
【請求項２】
請求項１において、
前記同期調整部は高品質映像の表示と低品質映像の表示を切り替える際に、予め定めた所定時間の間に、前記高品質映像から前記低品質映像へ、もしくは、前記低品質映像から前記高低品質映像へ、徐々に切り替えることを特徴としたデジタル放送の受信装置。
【請求項３】
請求項２において、
前記第１のバッファおよび前期第２のバッファは、少なくとも前記所定時間分の映像フレーム画像を保持し、
前記同期調整部は、前記第１のバッファに保持する映像フレーム画像と前記第２のバッファに保持する映像フレーム画像とを、所定の合成比率で合成処理し、
前記切替判定部が切替指示を出した時から前記所定時間後までに、前記合成比率を、切替指示が出された時点の合成比率から最終の合成比率まで、フレーム表示毎に徐々に変更することを特徴としたデジタル放送の受信装置。
【請求項４】
請求項３において、
前記高品質映像の表示から前記低品質映像の表示に切り替える際には、
前記最終の合成比率は、前記高品質映像の割合を０、前記低品質映像の割合を１とすることを特徴とするデジタル放送の受信装置。
【請求項５】
請求項３または４において、
前記低品質映像の表示から前記高品質映像の表示に切り替える際には、
前記最終の合成比率は、前記低品質映像の割合を０、前記高品質映像の割合を１とすることを特徴としたデジタル放送の受信装置。
【請求項６】
請求項３、４または５において、
前記合成処理は、解像度の高い方の画素数に合わせ、画素毎に前記合成比率に従った加重平均を取ることを特徴とするデジタル放送の受信装置。
【請求項７】
請求項３、４または５において、
前記高品質映像の符号化にはMPEG2符号化を用い、
前記低品質映像の符号化にはMPEG4符号化を用い、
前記合成処理には、マクロブロック単位で比率を調整することを特徴とするデジタル放送の受信装置。
【請求項８】
請求項３、４または５において、
前記高品質映像の符号化にはMPEG2符号化を用い、
前記低品質映像の符号化にはMPEG4符号化を用い、
前記合成処理には、前記合成比率の設定が大きい方のMPEG符号のIピクチャを用い、
前記合成比率に応じて、ＰピクチャもしくはＢピクチャは、他方のＭＰＥＧ符号のピクチャを用いてデコードを行うことを特徴としたデジタル放送の受信装置。
【請求項９】
請求項８において、
前記合成比率の設定が大きい方のMPEG符号のIピクチャを用い、
ＰピクチャもしくはＢピクチャは、前記合成比率に応じて、マクロブロック単位で合成処理してデコードを行うことを特徴としたデジタル放送の受信装置。
【請求項１０】
請求項７、８または９において、
前記同期調整処理部は、前記映像符号の切り替えの際には、前記合成比率の小さい方の映像に対し、前記ＰピクチャもしくはＢピクチャの占める面積もしくはデータ量が大きい場合に前記合成処理を行うことを特徴とするデジタル放送の受信装置。
【請求項１１】
請求項１〜１０のいずれかにおいて、
受信用蓄積装置を有し、少なくとも前記第１の映像符号および同期信号と、前記第２の映像符号および同期信号と、前記切替判定部の判定情報を表す判定信号を前記受信用蓄積装置に蓄積し、
受信後に前記受信用蓄積装置から再生する場合に、前記判定信号を用いて、前記受信用蓄積装置から再生した前記第１の映像符号と、前記第２の映像符号を切り替えることを特徴としたデジタル放送の受信装置。
【請求項１２】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含み、多重化して送出するデジタル放送の送出装置において、
同期信号を発生する同期信号発生装置と、 映像コンテンツを分配する映像分配装置と、
分配された映像コンテンツの一つを前記同期信号に同期してエンコードし、前記第１の映像符号と該映像符号に同期した同期符号を生成する第１の映像符号化装置と、
分配された映像コンテンツの別の一つを前記同期信号に同期して、前記第１の映像符号化装置とは異なる品質でエンコードし、第２の映像符号と該映像符号に同期した同期符号を生成する第２の映像符号化装置と、
前記第１の映像符号と第１の同期符号を遅延させる第１の遅延装置と、前記第２の映像符号と第２の同期符号を遅延させる第２の遅延装置と、
前記第１の映像符号および第１の同期符号と、前記第２の映像符号および第２の同期符号を、所定時間以下の時間ずれで多重化する多重化装置を備えることを特徴とするデジタル放送の送出装置。
【請求項１３】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化し、放送信号として送出する送出装置と、前記放送信号を受信し映像の表示を行う受信装置を備えるデジタル放送システムにおいて、
前記送出装置に請求項１２に記載の送出装置、前記受信装置に請求項１−１１の何れかに記載の受信装置を用いることを特徴とするデジタル放送システム。
【請求項１４】
請求項１３において、
前記送出装置は、前記第１の映像符号および同期信号を蓄積する送出用蓄積装置を有し、該送出用蓄積装置は所定の時間だけ遅延した前記第1の映像符号および同期信号を前記多重化装置に出力し、
前記受信装置は、前記第２の映像符号および同期信号を蓄積する受信用蓄積装置を有し、前記第２の映像符号および同期信号として、前記受信用蓄積装置に蓄えた符号および信号を用いることを特徴とするデジタル放送システム。
【請求項１５】
請求項１２に記載のデジタル放送システムにおいて、
前記送出装置は、送出用通信装置を有し、第３の映像符号および同期信号を送出用通信装置を介して送信し、
前記受信装置は、受信用通信装置を有し、前記第３の映像符号および同期信号を受信用通信装置を介して受信し、
前記切替判定部の判定により前記第１の映像符号が受信不可の状態となった場合に、前記第２の映像符号もしくは前記第３の映像符号に切り替えることを特徴としたデジタル放送システム。
【請求項１６】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信するデジタル放送の受信装置において、
前記放送信号に多重化されたデータを分離する分離処理部と、
前記第１の映像符号と第１の同期信号からの復元を行う第１の復号部と、
前記第２の映像符号と第２の同期信号からの復元を行う第２の復号部と、
復号化された第１の映像を保持する第１のバッファと、
復号化された第２の映像を保持する第２のバッファと、
第１の映像の放送信号の受信状態もしくは受信時のビットエラーレート、または復号状態を監視し、第１の映像の表示もしくは非表示を判定する切替判定部と、
復号された前記第１の映像もしくは前記第２の映像を表示する映像表示部と、
前記第１の映像の同期信号と前記第２の映像の同期信号とのずれを検出し、前記第１の映像もしくは第２の映像のうち先行する映像を、前記ずれの分だけ遅延させることにより、前記ずれを補正する同期補正部とを備え、
前記切替判定部の判定結果に基づき、前記第１の映像と前記第２の映像を切り替えることを特徴としたデジタル放送の受信装置。
【請求項１７】
請求項１６において、
前記同期補正部は、前記第１の映像の特徴量を抽出する第1の特徴抽出部と、特徴量の時系列データである第１の特徴データを保持する第３のバッファと、
前記第２の映像の特徴量を抽出する第２の特徴抽出部と、特徴量の時系列データである第２の特徴データを保持する第３のバッファと、を具備し、
前記第１の特徴データと前記第２の特徴データの時間的相関を解析することにより、同期信号のずれを検出することを特徴としたデジタル放送の受信装置。
【請求項１８】
請求項１７において、
前記特徴データとして、デコードされた画像を用いるデジタル放送の受信装置。
【請求項１９】
請求項１７において、
前記映像の特徴量として、Iピクチャ画像を用いるデジタル放送の受信装置。
【請求項２０】
請求項１７において、
前記映像の特徴量として、映像の切り替わり情報を用いるデジタル放送の受信装置。
【請求項２１】
請求項１７において、
前記映像の特徴量として、正規化した動きベクトル値を用いるデジタル放送の受信装置。
【請求項２２】
請求項１６において、
前記同期補正部は、放送事業者毎に前記第１の同期信号と前記第２の同期信号のずれを補正するためのテーブルを保持し、該テーブルの情報によって、前記同期のずれを補正することを特徴としたデジタル放送の受信装置。
【請求項１】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信し、映像の表示を行う映像表示部を有するデジタル放送の受信装置において、
前記放送信号に多重化されたデータを分離する分離処理部と、前記第１の映像符号とその同期信号の復元を行う第１の復号部と、前記第２の映像符号とその同期信号の復元を行う第２の復号部と、復号化された高品質映像信号を保持する第１のバッファと、復号化された低品質映像信号の映像を保持する第２のバッファと、該第２のバッファから低品質映像信号を取り出して拡大処理を行う拡大処理部と、前記高品質映像信号の受信状態を監視してその良否を判定する切替判定部と、前記切替判定部の判定結果が良の場合は前記第１のバッファから高品質映像信号を取り出し、判定結果が否の場合は前記拡大処理部から拡大処理された低品質映像信号を取り出し、前記同期信号のうち遅れている方の同期信号に合わせて前記映像表示部に出力する同期調整部を備えることを特徴とするデジタル放送の受信装置。
【請求項２】
請求項１において、
前記同期調整部は高品質映像の表示と低品質映像の表示を切り替える際に、予め定めた所定時間の間に、前記高品質映像から前記低品質映像へ、もしくは、前記低品質映像から前記高低品質映像へ、徐々に切り替えることを特徴としたデジタル放送の受信装置。
【請求項３】
請求項２において、
前記第１のバッファおよび前期第２のバッファは、少なくとも前記所定時間分の映像フレーム画像を保持し、
前記同期調整部は、前記第１のバッファに保持する映像フレーム画像と前記第２のバッファに保持する映像フレーム画像とを、所定の合成比率で合成処理し、
前記切替判定部が切替指示を出した時から前記所定時間後までに、前記合成比率を、切替指示が出された時点の合成比率から最終の合成比率まで、フレーム表示毎に徐々に変更することを特徴としたデジタル放送の受信装置。
【請求項４】
請求項３において、
前記高品質映像の表示から前記低品質映像の表示に切り替える際には、
前記最終の合成比率は、前記高品質映像の割合を０、前記低品質映像の割合を１とすることを特徴とするデジタル放送の受信装置。
【請求項５】
請求項３または４において、
前記低品質映像の表示から前記高品質映像の表示に切り替える際には、
前記最終の合成比率は、前記低品質映像の割合を０、前記高品質映像の割合を１とすることを特徴としたデジタル放送の受信装置。
【請求項６】
請求項３、４または５において、
前記合成処理は、解像度の高い方の画素数に合わせ、画素毎に前記合成比率に従った加重平均を取ることを特徴とするデジタル放送の受信装置。
【請求項７】
請求項３、４または５において、
前記高品質映像の符号化にはMPEG2符号化を用い、
前記低品質映像の符号化にはMPEG4符号化を用い、
前記合成処理には、マクロブロック単位で比率を調整することを特徴とするデジタル放送の受信装置。
【請求項８】
請求項３、４または５において、
前記高品質映像の符号化にはMPEG2符号化を用い、
前記低品質映像の符号化にはMPEG4符号化を用い、
前記合成処理には、前記合成比率の設定が大きい方のMPEG符号のIピクチャを用い、
前記合成比率に応じて、ＰピクチャもしくはＢピクチャは、他方のＭＰＥＧ符号のピクチャを用いてデコードを行うことを特徴としたデジタル放送の受信装置。
【請求項９】
請求項８において、
前記合成比率の設定が大きい方のMPEG符号のIピクチャを用い、
ＰピクチャもしくはＢピクチャは、前記合成比率に応じて、マクロブロック単位で合成処理してデコードを行うことを特徴としたデジタル放送の受信装置。
【請求項１０】
請求項７、８または９において、
前記同期調整処理部は、前記映像符号の切り替えの際には、前記合成比率の小さい方の映像に対し、前記ＰピクチャもしくはＢピクチャの占める面積もしくはデータ量が大きい場合に前記合成処理を行うことを特徴とするデジタル放送の受信装置。
【請求項１１】
請求項１〜１０のいずれかにおいて、
受信用蓄積装置を有し、少なくとも前記第１の映像符号および同期信号と、前記第２の映像符号および同期信号と、前記切替判定部の判定情報を表す判定信号を前記受信用蓄積装置に蓄積し、
受信後に前記受信用蓄積装置から再生する場合に、前記判定信号を用いて、前記受信用蓄積装置から再生した前記第１の映像符号と、前記第２の映像符号を切り替えることを特徴としたデジタル放送の受信装置。
【請求項１２】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含み、多重化して送出するデジタル放送の送出装置において、
同期信号を発生する同期信号発生装置と、 映像コンテンツを分配する映像分配装置と、
分配された映像コンテンツの一つを前記同期信号に同期してエンコードし、前記第１の映像符号と該映像符号に同期した同期符号を生成する第１の映像符号化装置と、
分配された映像コンテンツの別の一つを前記同期信号に同期して、前記第１の映像符号化装置とは異なる品質でエンコードし、第２の映像符号と該映像符号に同期した同期符号を生成する第２の映像符号化装置と、
前記第１の映像符号と第１の同期符号を遅延させる第１の遅延装置と、前記第２の映像符号と第２の同期符号を遅延させる第２の遅延装置と、
前記第１の映像符号および第１の同期符号と、前記第２の映像符号および第２の同期符号を、所定時間以下の時間ずれで多重化する多重化装置を備えることを特徴とするデジタル放送の送出装置。
【請求項１３】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化し、放送信号として送出する送出装置と、前記放送信号を受信し映像の表示を行う受信装置を備えるデジタル放送システムにおいて、
前記送出装置に請求項１２に記載の送出装置、前記受信装置に請求項１−１１の何れかに記載の受信装置を用いることを特徴とするデジタル放送システム。
【請求項１４】
請求項１３において、
前記送出装置は、前記第１の映像符号および同期信号を蓄積する送出用蓄積装置を有し、該送出用蓄積装置は所定の時間だけ遅延した前記第1の映像符号および同期信号を前記多重化装置に出力し、
前記受信装置は、前記第２の映像符号および同期信号を蓄積する受信用蓄積装置を有し、前記第２の映像符号および同期信号として、前記受信用蓄積装置に蓄えた符号および信号を用いることを特徴とするデジタル放送システム。
【請求項１５】
請求項１２に記載のデジタル放送システムにおいて、
前記送出装置は、送出用通信装置を有し、第３の映像符号および同期信号を送出用通信装置を介して送信し、
前記受信装置は、受信用通信装置を有し、前記第３の映像符号および同期信号を受信用通信装置を介して受信し、
前記切替判定部の判定により前記第１の映像符号が受信不可の状態となった場合に、前記第２の映像符号もしくは前記第３の映像符号に切り替えることを特徴としたデジタル放送システム。
【請求項１６】
同じ映像コンテンツから生成された高品質の第１の映像符号と低品質の第２の映像符号がそれぞれ同期信号を含んで多重化されている放送信号を受信するデジタル放送の受信装置において、
前記放送信号に多重化されたデータを分離する分離処理部と、
前記第１の映像符号と第１の同期信号からの復元を行う第１の復号部と、
前記第２の映像符号と第２の同期信号からの復元を行う第２の復号部と、
復号化された第１の映像を保持する第１のバッファと、
復号化された第２の映像を保持する第２のバッファと、
第１の映像の放送信号の受信状態もしくは受信時のビットエラーレート、または復号状態を監視し、第１の映像の表示もしくは非表示を判定する切替判定部と、
復号された前記第１の映像もしくは前記第２の映像を表示する映像表示部と、
前記第１の映像の同期信号と前記第２の映像の同期信号とのずれを検出し、前記第１の映像もしくは第２の映像のうち先行する映像を、前記ずれの分だけ遅延させることにより、前記ずれを補正する同期補正部とを備え、
前記切替判定部の判定結果に基づき、前記第１の映像と前記第２の映像を切り替えることを特徴としたデジタル放送の受信装置。
【請求項１７】
請求項１６において、
前記同期補正部は、前記第１の映像の特徴量を抽出する第1の特徴抽出部と、特徴量の時系列データである第１の特徴データを保持する第３のバッファと、
前記第２の映像の特徴量を抽出する第２の特徴抽出部と、特徴量の時系列データである第２の特徴データを保持する第３のバッファと、を具備し、
前記第１の特徴データと前記第２の特徴データの時間的相関を解析することにより、同期信号のずれを検出することを特徴としたデジタル放送の受信装置。
【請求項１８】
請求項１７において、
前記特徴データとして、デコードされた画像を用いるデジタル放送の受信装置。
【請求項１９】
請求項１７において、
前記映像の特徴量として、Iピクチャ画像を用いるデジタル放送の受信装置。
【請求項２０】
請求項１７において、
前記映像の特徴量として、映像の切り替わり情報を用いるデジタル放送の受信装置。
【請求項２１】
請求項１７において、
前記映像の特徴量として、正規化した動きベクトル値を用いるデジタル放送の受信装置。
【請求項２２】
請求項１６において、
前記同期補正部は、放送事業者毎に前記第１の同期信号と前記第２の同期信号のずれを補正するためのテーブルを保持し、該テーブルの情報によって、前記同期のずれを補正することを特徴としたデジタル放送の受信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００６−１１５２６４（Ｐ２００６−１１５２６４Ａ）
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願番号】特願２００４−３０１０６８（Ｐ２００４−３０１０６８）
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
【公開日】平成１８年４月２７日（２００６．４．２７）
【国際特許分類】
【出願日】平成１６年１０月１５日（２００４．１０．１５）
【出願人】（５９１１３２３３５）株式会社ザナヴィ・インフォマティクス (745)
【Ｆターム（参考）】
[ Back to top ]