デジタル放送受信機、送信機及び端末装置
【課題】動画像データ及びマルチメディアデータを合成する際に、動画像データ及びマルチメディアデータにおけるタイムラインと同期を、簡易な手法により確立させる。
【解決手段】デジタル放送送信機１は、番組コンテンツ、シンボル化プログラム及びマーカー情報を多重化して放送波として送出する。デジタル放送受信機２は、放送波を受信してシンボル化プログラムを実行し、番組コンテンツのメディア時刻情報及びコンテンツＩＤを抽出し、２次元コード化してメディア時刻及びコンテンツＩＤのシンボル、さらにマーカーシンボルを生成する。そして、これらのシンボルを番組コンテンツにオーバーレイ表示する。携帯端末３は、映像を取り込み、メディア時刻及びコンテンツＩＤを取得し、マーカーシンボルから画面の位置及び向きを求め、マルチメディアデータの再生ポイントを決定して番組コンテンツの動画像データとマルチメディアデータとを合成し表示する。
【解決手段】デジタル放送送信機１は、番組コンテンツ、シンボル化プログラム及びマーカー情報を多重化して放送波として送出する。デジタル放送受信機２は、放送波を受信してシンボル化プログラムを実行し、番組コンテンツのメディア時刻情報及びコンテンツＩＤを抽出し、２次元コード化してメディア時刻及びコンテンツＩＤのシンボル、さらにマーカーシンボルを生成する。そして、これらのシンボルを番組コンテンツにオーバーレイ表示する。携帯端末３は、映像を取り込み、メディア時刻及びコンテンツＩＤを取得し、マーカーシンボルから画面の位置及び向きを求め、マルチメディアデータの再生ポイントを決定して番組コンテンツの動画像データとマルチメディアデータとを合成し表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データに同期したマルチメディアデータを提供するサービスにおいて、放送または通信により送受信される動画像データのタイムラインと、その動画像データに関するマルチメディアデータのタイムラインとの間の同期を確立させ、動画像データ及びマルチメディアデータを合成するために用いるデジタル放送受信機、送信機及び端末装置に関する。
【背景技術】
【０００２】
従来、動画像データに同期したマルチメディアデータを提供するサービスとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたものが注目されている。ＡＲとは、コンピュータを用いて現実環境に所定の情報を付加することにより、情報を提示する技術である。具体的には、現実環境の映像に対してコンピュータ・グラフィックスによる映像を、現実環境の映像の動きに合わせてリアルタイムに合成し、現実環境の映像に関する視覚情報をアノテーション情報として付け加える技術である。ＡＲ技術を用いた例として、携帯電話機に内蔵されたカメラを用いて現実世界を撮影し、画像認識技術またはＣＧ合成技術により、現実世界にはない物体または文字情報を合成して表示するものがある（非特許文献１，２を参照）。
【０００３】
ＡＲ技術をデジタル放送システムに適用すると、例えば、動きのある３ＤＣＧ（３ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：３次元グラフィックス）による演出が考えられる。携帯電話機に内蔵されたカメラが、テレビ受像機に表示された動画像データを撮影し、動画像データと３ＤＣＧのマルチメディアデータとの合成映像を表示する場合、テレビ受像機における画面の位置及び向きを検出し、その位置及び向きを反映した３ＤＣＧのマルチメディアデータを動画像データに合成する。これにより、３ＤＣＧのマルチメディアデータが、動画像データの動きに合わせて画面から飛び出して見える演出が可能になる。この場合、動画像データと３ＤＣＧのマルチメディアデータとの間で同期を確立させる必要がある。
【０００４】
同期を確立させる技術として、電子透かし方式を用いるものが知られている（特許文献１を参照）。この電子透かし方式は、時間情報の電子透かしを動画像データに埋め込み、電子透かしパターンの時間変化を検出するものである。具体的には、送信側は、動画像データに埋め込む電子透かしパターンを、動画像データの再生時刻に伴って切り替え、そのパターン切り替え情報を併せて伝送する。受信側は、テレビ画面の動画像データをカメラ付き携帯電話機で撮影し、撮影した動画像データからリアルタイムに電子透かし検出処理を行い、電子透かしパターンが切り替わるタイミングを検出することにより、動画像データと３ＤＣＧのマルチメディアデータとの間の同期を確立させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００７／０１５４５２号
【非特許文献】
【０００６】
【非特許文献１】“セカイカメラ”、［online］、［平成２１年７月６日検索］、インターネット＜ＵＲＬ：http://itpro.nikkeibp.co.jp/article/NEWS/20090218/325013/＞
【非特許文献２】“Ｗｅａｒａｂｌｅ Ｄｉｓｐｌａｙｓ”、［online］、［平成２１年７月６日検索］、Ｍｉｃｒｏｖｉｓｉｏｎ社、インターネット＜ＵＲＬ：http://www.microvision.com/wearable_displays/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述した特許文献１の電子透かし方式では、電子透かしを読み取るために、高性能なカメラスペック及びコンピュータが必要であり、処理負荷が高いことに加え高価になってしまうという問題があった。また、テレビ画面の動画像データをカメラ付き携帯電話機で撮影した際に、カメラ付き携帯電話機の位置及び向き、テレビ画面の位置及び向き、及びこれらの動きによっては、電子透かしを読み取ることができない場合がある。つまり、ユーザがカメラ付き携帯電話機を手に持って自由にテレビ画面を撮影するから、カメラ付き携帯電話機が動いてしまい、電子透かしを読み取ることが困難になるという問題があった。すなわち、電子透かし方式を用いて同期を確立させる技術では、ユーザがテレビ画面を自由に撮影する環境では不向きであるという問題があった。
【０００８】
そこで、本発明はかかる課題を解決するためになされたものであり、その目的は、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、簡易な手法により確立させることが可能なデジタル放送受信機、送信機及び端末装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明者らは、上記目的を達成すべく鋭意研究開発を行った。その結果、再生中の動画像データに関する再生開始時点からの相対時刻を２次元コード化し、この２次元コードをシンボル化した２次元シンボルを、動画像データにオーバーレイ表示し、オーバーレイ表示された２次元シンボルから動画像データの時刻情報を取得し、マルチメディアデータの再生ポイントを決定することを見出した。視聴者はカメラでこれを再撮することにより、電子透かし方式よりも計算資源を必要としない画像認識技術を用いて時刻情報を取得することができる。２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態であり、２次元シンボルを認識する方式は、カメラに対する位置、向き及び動きに柔軟に対応可能だからである。つまり、本発明では、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、２次元シンボルを用いて確立させる。これにより、高性能なカメラスペック及び多くの計算資源が不要になり、簡易な手法により、同期確立を実現することが可能となる。
【００１０】
すなわち、請求項１のデジタル放送受信機は、番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツを受信し、前記番組コンテンツを再生するデジタル放送受信機において、前記番組コンテンツを再生制御する制御パラメータを含む番組コンテンツを受信する放送受信手段と、前記番組コンテンツの再生開始時点からの相対時刻であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するためのメディア時刻情報を、前記放送受信手段により受信された番組コンテンツに含まれる制御パラメータから抽出する時刻情報抽出手段と、前記時刻情報抽出手段により抽出されたメディア時刻情報を、２次元配列によって構成される２次元コードに変換する２次元コード化手段と、前記２次元コード化手段により変換された２次元コードからシンボルを生成するシンボル化手段と、前記シンボル化手段により生成されたシンボルを、前記番組コンテンツと共に画面表示する表示制御手段とを備えたことを特徴とする。
【００１１】
また、請求項２のデジタル放送受信機は、請求項１に記載のデジタル放送受信機において、さらに、コンテンツＩＤ抽出手段を備え、前記受信する番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、前記コンテンツＩＤ抽出手段が、前記放送受信手段により受信された番組コンテンツからコンテンツＩＤを抽出し、前記２次元コード化手段が、前記時刻情報抽出手段により抽出された時刻情報、及び前記コンテンツＩＤ抽出手段により抽出されたコンテンツＩＤを、２次元配列によって構成される２次元コードにそれぞれ変換することを特徴とする。
【００１２】
また、請求項３のデジタル放送受信機は、請求項２に記載のデジタル放送受信機において、さらに、マーカー情報抽出手段を備え、前記放送受信手段が、前記番組コンテンツに加えて、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を受信し、前記マーカー情報抽出手段が、前記放送受信手段により受信されたマーカー情報を抽出し、前記シンボル化手段が、さらに、前記マーカー情報抽出手段により抽出されたマーカー情報に含まれるマーカーの形状に従って、前記マーカーのシンボルを生成することを特徴とする。
【００１３】
また、請求項４のデジタル放送受信機は、請求項１から３までのいずれか一項に記載のデジタル放送受信機において、前記時刻情報抽出手段が、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を生成し、前記２次元コード化手段が、さらに、前記時刻情報抽出手段により生成された調整用メディア時刻情報を、２次元配列によって構成される２次元コードに変換し、前記表示制御手段が、前記シンボル化手段により生成されたメディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示することを特徴とする。
【００１４】
また、請求項５のデジタル放送受信機は、請求項４に記載のデジタル放送受信機において、さらに、前記デジタル放送受信機の動作モードを、ユーザの操作により選択する第１のユーザ操作手段を備え、前記表示制御手段が、前記第１のユーザ操作手段により前記動作モードとして校正モードが選択された場合、前記シンボル化手段により生成されたシンボルのうち少なくともメディア時刻情報のシンボルを、前記番組コンテンツと共に画面表示し、前記第１のユーザ操作手段により前記動作モードとして通常再生モードが選択された場合、または、前記校正モードが選択されてから所定時間経過して通常再生モードに変更された場合、前記メディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示することを特徴とする。
【００１５】
また、請求項６のデジタル放送受信機は、請求項１から５までのいずれか一項に記載のデジタル放送受信機において、さらに、前記シンボル化手段により生成されるシンボルの形状、表示位置、色、サイズ、表示／非表示のうちの少なくとも一つを含む属性情報を、ユーザの操作により設定する第２のユーザ操作手段を備え、前記表示制御手段が、前記第２のユーザ操作手段により設定された属性情報に従って、前記シンボルの画面表示／非表示を行うことを特徴とする。
【００１６】
また、請求項７のデジタル放送受信機は、請求項１に記載のデジタル放送受信機において、さらに、制御手段及び記憶手段を備え、前記放送受信手段が、さらに、シンボル化プログラムを受信し、前記記憶手段が、前記放送受信手段により受信されたシンボル化プログラムを格納し、前記制御手段が、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段及び表示制御手段を機能させることを特徴とする。
【００１７】
また、請求項８のデジタル放送受信機は、請求項３に記載のデジタル放送受信機において、さらに、制御手段及び記憶手段を備え、前記放送受信手段が、さらに、シンボル化プログラムを受信し、前記記憶手段が、前記放送受信手段により受信されたシンボル化プログラムを格納し、前記制御手段が、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段、表示制御手段、コンテンツＩＤ抽出手段及びマーカー情報抽出手段を機能させることを特徴とする。
【００１８】
さらに、請求項９のデジタル放送送信機は、番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツ、及びデータ放送コンテンツを多重化し、デジタル放送受信機へ送出するデジタル放送送信機において、番組コンテンツを記憶すると共に、番組コンテンツの再生制御を行い、前記番組コンテンツの再生開始時点からの相対時刻を、前記合成映像が生成される際のマルチメディアデータの再生ポイントを決定するメディア時刻情報として、前記番組コンテンツに含まれる制御パラメータから抽出し、前記抽出したメディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードからメディア時刻シンボルを生成し、前記メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであって、前記デジタル放送受信機に実行させるシンボル化プログラムをデータ放送コンテンツとして記憶するコンテンツ記憶手段と、前記コンテンツ記憶手段から番組コンテンツ及びデータ放送コンテンツを読み出し、多重化する放送制御手段と、前記放送制御手段により多重化された番組コンテンツ及びデータ放送コンテンツの多重化信号を、前記デジタル放送受信機へ送出する放送送出手段とを備えたことを特徴とする。
【００１９】
また、請求項１０のデジタル放送送信機は、請求項９に記載のデジタル放送送信機において、前記番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、前記シンボル化プログラムが、さらに、前記番組コンテンツに付随するコンテンツＩＤを抽出し、前記コンテンツＩＤを２次元配列によって構成される２次元コードに変換し、前記２次元コードからコンテンツＩＤシンボルを生成し、前記コンテンツＩＤシンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２０】
また、請求項１１のデジタル放送送信機は、請求項９または１０に記載のデジタル放送送信機において、コンテンツ記憶手段が、データ放送コンテンツとして、さらに、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を記憶し、前記シンボル化プログラムが、さらに、前記データ放送コンテンツからマーカー情報を抽出し、前記マーカー情報に含まれるマーカーの形状に従ってマーカーシンボルを生成し、前記マーカーシンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２１】
また、請求項１２のデジタル放送送信機は、請求項９から１１までのいずれか一項に記載のデジタル放送送信機において、前記シンボル化プログラムが、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードから調整用メディア時刻シンボルを生成し、前記メディア時刻シンボルの代わりに、前記調整用メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２２】
さらに、請求項１３の端末装置は、番組コンテンツの動画像データとマルチメディアデータとを合成し、合成映像を表示する端末装置において、番組コンテンツの再生開始時点からの相対時刻を示す２次元配列によって構成された２次元コードのメディア時刻シンボルが、再生中の前記番組コンテンツと共に画面表示され、前記画面表示された映像を取り込む映像取込手段と、前記映像取込手段により取り込まれた映像から前記メディア時刻シンボルを認識し、前記メディア時刻シンボルを２次元コードに変換してメディア時刻を取得し、前記メディア時刻に基づいてマルチメディアデータの再生ポイントを決定し、前記再生ポイントのマルチメディアデータを、前記再生中の番組コンテンツの動画像データに合成する映像制御手段とを備えたことを特徴とする。
【００２３】
また、請求項１４の端末装置は、請求項１３に記載の端末装置において、前記映像取込手段が、前記番組コンテンツのコンテンツＩＤを示す２次元配列によって構成された２次元コードのコンテンツＩＤシンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記コンテンツＩＤシンボルを認識し、前記コンテンツＩＤシンボルを２次元コードに変換してコンテンツＩＤを取得し、前記コンテンツＩＤに対するマルチメディアデータの再生ポイントを決定することを特徴とする。
【００２４】
また、請求項１５の端末装置は、請求項１４に記載の端末装置において、さらに、マルチメディアデータ取得手段を備え、前記マルチメディアデータ取得手段が、前記映像制御手段により取得されたコンテンツＩＤを、マルチメディアデータが格納されている外部装置へ送信し、前記外部装置から前記コンテンツＩＤに対するマルチメディアデータを受信し、または、当該端末装置に備えた記憶手段から前記コンテンツＩＤに対するマルチメディアデータを読み出し、前記映像制御手段が、前記マルチメディアデータ取得手段により受信されたマルチメディアデータ、または、読み出されたマルチメディアデータの再生ポイントを決定することを特徴とする。
【００２５】
また、請求項１６の端末装置は、請求項１３から１５までのいずれか一項に記載の端末装置において、前記映像取込手段が、マーカーシンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記マーカーシンボルを認識し、前記マーカーシンボルから、前記映像が表示された画面の位置及び向きを求め、前記画面の位置及び向きに基づいて、前記マルチメディアデータを前記再生中の番組コンテンツの動画像データに合成することを特徴とする。
【００２６】
また、請求項１７の端末装置は、請求項１３から１６までのいずれか一項に記載の端末装置において、前記映像取込手段が、前記メディア時刻シンボルの代わりに、所定時間毎にインクリメントする調整用メディア時刻を示す２次元配列によって構成された２次元コードの調整用メディア時刻シンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記調整用メディア時刻シンボルを認識し、前記調整用メディア時刻シンボルを２次元コードに変換して調整用メディア時刻を取得し、前記取得した調整用メディア時刻、及び前記メディア時刻シンボルを認識して取得したメディア時刻に基づいて、マルチメディアデータの新たな再生ポイントを決定することを特徴とする。
【発明の効果】
【００２７】
このように、本発明によれば、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、再生中の動画像データに関する再生開始時点からの相対時刻を示す２次元コードのシンボルを用いて確立させるようにした。２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態である。これにより、高性能なカメラスペック及び多くの計算資源が必要な電子透かし技術を用いることなく、簡易な手法により同期を確立させることが可能となる。したがって、動画像データと同期したマルチメディアデータの提供サービスを、容易に実現することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態によるデジタル放送送信機、デジタル放送受信機、携帯端末及びマルチメディアデータ送信装置により構成される全体システムを説明する図である。
【図２】デジタル放送送信機の構成を示すブロック図である。
【図３】デジタル放送受信機の構成を示すブロック図である。
【図４】携帯端末の構成を示すブロック図である。
【図５】デジタル放送送信機の処理を説明するフローチャートである。
【図６】校正モードにおけるデジタル放送受信機の処理を説明するフローチャートである。
【図７】通常再生モードにおけるデジタル放送受信機の処理を説明するフローチャートである。
【図８】携帯端末の処理を説明するフローチャートである。
【図９】マーカーシンボルの例を示す図である。
【図１０】メディア時刻シンボルの例を示す図である。
【図１１】調整用メディア時刻シンボルの例を示す図である。
【図１２】コンテンツＩＤシンボルの例を示す図である。
【図１３】校正モード時のデジタル放送受信機に表示される画面例を示す図である。
【図１４】通常再生モード時のデジタル放送受信機に表示される画面例を示す図である。
【図１５】通常再生モード時の携帯端末に表示される画面例を示す図である。
【図１６】メディア時刻コード及びシンボルの時間推移の例を説明する図である。
【図１７】調整用メディア時刻コード及びシンボルの時間推移の例を説明する図である。
【発明を実施するための形態】
【００２９】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔全体システム〕
まず、全体システムについて説明する。図１は、本発明の実施形態によるデジタル放送送信機、デジタル放送受信機、携帯端末（端末装置）及びマルチメディアデータ送信装置により構成される全体システムを説明する図である。このシステムは、デジタル放送システム５及びマルチメディアデータ送受信システム６により構成され、デジタル放送送信機１、デジタル放送受信機２、携帯端末３及びマルチメディアデータ送信装置４を備えている。
【００３０】
デジタル放送システム５は、デジタル放送送信機１及びデジタル放送受信機２を含んで構成される。デジタル放送送信機１は、動画像の番組コンテンツと、シンボル化プログラム（デジタル放送受信機２に、所定のシンボルを生成させるためのプログラム）及びマーカー情報を含むデータ放送コンテンツとを多重化し、放送波として送出する。
【００３１】
デジタル放送受信機２は、デジタル放送送信機１から送出された放送波を受信し、番組コンテンツと、シンボル化プログラム及びマーカー情報を含むデータ放送コンテンツとに分離し、データ放送コンテンツからシンボル化プログラムを抽出して実行すると共に、番組コンテンツを再生して表示する。そして、校正モード時には、データ放送コンテンツからマーカー情報を抽出し、番組コンテンツからコンテンツＩＤ及び時刻情報を抽出し、コンテンツＩＤ及び時刻情報を２次元コード化してこの２次元コードをシンボル化すると共に、マーカー情報をシンボル化し、再生中の番組コンテンツにオーバーレイ表示する。一方、通常再生モード時には、番組コンテンツと共に、マーカー情報及時刻情報のシンボルをオーバーレイ表示する。
【００３２】
マルチメディアデータ送受信システム６は、携帯端末３及びマルチメディアデータ送信装置４を含んで構成される。携帯端末３は、デジタル放送受信機２にオーバーレイ表示された再生中の番組コンテンツ及び各種シンボルを撮影し、オーバーレイ表示された各種シンボルを認識してマーカー情報、コンテンツＩＤ及び時刻情報を取得する。そして、携帯端末３は、マーカー情報に基づいて、デジタル放送受信機２の位置及び向きを決定し、コンテンツＩＤに基づいて、再生中の番組コンテンツに関連するマルチメディアデータをマルチメディアデータ送信装置４から受信するか、または記憶手段から読み出す。また、携帯端末３は、時刻情報に基づいて、再生中の番組コンテンツに同期したマルチメディアデータの再生ポイントを決定する。これにより、再生中の番組コンテンツと、再生中の番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。携帯端末３は、撮影した番組コンテンツの動画像データとマルチメディアデータとを合成して画面表示する。
【００３３】
マルチメディアデータ送信装置４は、携帯端末３からコンテンツＩＤを受信し、受信したコンテンツＩＤに対するマルチメディアデータを携帯端末３へ送信する。これにより、携帯端末３は、マルチメディアデータ送信装置４からマルチメディアデータを受信し、記憶手段に格納することができる。
【００３４】
このシステムによれば、携帯端末３を視聴するユーザは、デジタル放送送信機１から送出されデジタル放送受信機２に表示された番組コンテンツの動画像データと、マルチメディアデータ送信装置４から送信されたマルチメディアデータとの同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【００３５】
また、従来の電子透かし方式では、動画像データに重畳された時刻の電子透かしを検出するためには、高性能なカメラスペックが必要であり、多くの計算資源も必要であった。これに対し、本発明の実施形態では、２次元シンボルの時刻情報に基づいて、再生中の番組コンテンツに関する時刻情報を得ることができ、これに同期したマルチメディアデータの再生ポイントを決定するようにした。この２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態である。これにより、電子透かし方式に比べ簡易な手法にて、番組コンテンツのタイムラインとマルチメディアデータのタイムラインとの間の同期を確立させることが可能となる。
【００３６】
また、本発明の実施形態では、マーカーに基づいてデジタル放送受信機２の位置及び向きを決定するようにしたから、番組コンテンツ及びマルチメディアデータを合成する際に、デジタル放送受信機２の位置及び向きを考慮した適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。したがって、携帯端末３に対するデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができ、適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。
【００３７】
〔デジタル放送送信機〕
次に、図１に示したデジタル放送送信機１について説明する。図２は、デジタル放送送信機１の構成を示すブロック図である。図５は、デジタル放送送信機１の処理を説明するフローチャートである。図２を参照して、このデジタル放送送信機１は、コンテンツ記憶手段１０、放送制御手段１１及び放送送出手段１２を備えている。
【００３８】
コンテンツ記憶手段１０には、番組コンテンツ及びデータ放送コンテンツ等の放送コンテンツが格納されている。番組コンテンツには、その番組コンテンツのＩＤ（コンテンツＩＤ）が付随しており、再生開始時点からの相対時刻（以下、メディア時刻という。）を示す情報（以下、メディア時刻情報という。）等の、再生制御に関する様々な制御パラメータが含まれている。データ放送コンテンツには、シンボル化プログラム、及び、デジタル放送受信機２において番組コンテンツにオーバーレイ表示されるマーカーに関する情報（マーカー情報）が含まれる。シンボル化プログラムは、番組コンテンツの再生制御を行い、データ放送コンテンツからマーカー情報を抽出し、番組コンテンツからコンテンツＩＤ及びメディア時刻情報を抽出し、コンテンツＩＤ及びメディア時刻情報を２次元コード化して２次元シンボルを生成し、調整用メディア時刻情報を２次元コード化して２次元シンボルを生成し、マーカー情報のシンボルを生成し、これらのシンボルを番組コンテンツにオーバーレイ表示するためのプログラムである。マーカー情報には、マーカーの形状、及びオーバーレイ表示する際の表示位置の情報が含まれる。
【００３９】
図５を参照して、放送制御手段１１は、コンテンツ記憶手段１０から、所定のコンテンツＩＤの番組コンテンツを読み出す（ステップＳ５０１）。ここで、読み出した番組コンテンツには、コンテンツＩＤが付随しており、メディア時刻情報の制御パラメータが含まれる。また、放送制御手段１１は、コンテンツ記憶手段１０から、シンボル化プログラム及びマーカー情報を読み出す（ステップＳ５０２）。そして、放送制御手段１１は、読み出した番組コンテンツ、シンボル化プログラム及びマーカー情報をＭＰＥＧ−２ ＴＳ Ｓｙｓｔｅｍｓ等により多重化し（ステップＳ５０３）、多重化信号を放送送出手段１２に出力する。
【００４０】
放送送出手段１２は、放送制御手段１１により多重化された番組コンテンツ、シンボル化プログラム及びマーカー情報の多重化信号を入力し、高周波帯の信号に変調し、放送波として外部へ送出する（ステップＳ５０４）。
【００４１】
このように、デジタル放送送信機１によれば、コンテンツＩＤが付随しメディア時刻情報の制御パラメータを含む番組コンテンツ、シンボル化プログラム及びマーカー情報の多重化信号を放送波として送出するようにした。これにより、デジタル放送受信機２は、これらの多重化信号を放送波として受信し、多重化信号を番組コンテンツ、シンボル化プログラム及びマーカー情報に分離し、シンボル化プログラムを実行することにより、２次元のマーカーシンボル、コンテンツＩＤシンボル及びメディア時刻シンボル等を生成することができる。そして、デジタル放送受信機２は、これらのシンボルを番組コンテンツと共にオーバーレイ表示することができる。オーバーレイ表示されるマーカーシンボルは、携帯端末３において、マルチメディアデータを番組コンテンツの動画像データに合成する際に、動画像データに対するマルチメディアデータの表示位置及び向きを決定するために用いられる。また、コンテンツＩＤシンボルは、携帯端末３において、マルチメディアデータを取得するために用いられ、メディア時刻シンボルは、携帯端末３において、番組コンテンツに同期したマルチメディアデータの再生ポイントを決定するために用いられる。
【００４２】
〔デジタル放送受信機〕
次に、図１に示したデジタル放送受信機２について説明する。図３は、デジタル放送受信機２の構成を示すブロック図である。このデジタル放送受信機２は、放送受信手段２１、処理手段２２、ユーザ操作手段２３、記憶手段２４及び表示手段２５を備えている。
【００４３】
放送受信手段２１は、デジタル放送送信機１により送出された放送波を受信するチューナー等から構成され、受信した放送波における高周波帯の信号を元の多重化信号に復調する。そして、放送受信手段２１は、多重化信号を、番組コンテンツと、シンボル化プログラム及びマーカー情報を含むデータ放送コンテンツとに分離し、処理手段２２に出力する。
【００４４】
処理手段２２は、放送受信手段２１から番組コンテンツ及びデータ放送コンテンツを入力し、データ放送コンテンツに含まれるシンボル化プログラム及びマーカー情報を抽出し、番組コンテンツ、シンボル化プログラム及びマーカー情報を記憶手段２４に格納する。また、処理手段２２は、後述するユーザ操作手段２３から動作モード（校正モードまたは通常再生モード）及びシンボルの属性等の各データを入力し、動作モードに応じた処理、及びシンボルの属性に応じた処理を行う。動作モードに応じた処理及びシンボルの属性に応じた処理については後述する。
【００４５】
処理手段２２は、図示しない制御手段（ＣＰＵ）が記憶手段２４からシンボル化プログラムを読み出して実行することにより、コンテンツ再生制御手段２００、時刻情報抽出手段２０１、コンテンツＩＤ抽出手段２０２、マーカー情報抽出手段２０３、２次元コード化手段２０４、シンボル化手段２０５及び表示制御手段２０６を機能させる。すなわち、図示しない制御手段がシンボル化プログラムを実行することにより、処理手段２２は、前述した構成手段を備えることになり、それぞれの構成手段が後述するそれぞれの処理を行うことになる。図３に示した処理手段２２の構成は、シンボル化プログラムが実行された状態を示している。
【００４６】
具体的には、処理手段２２は、シンボル化プログラムの実行により、番組コンテンツ及びデータ放送コンテンツを再生し、すなわち、マーカー情報、コンテンツＩＤ、メディア時刻情報等のシンボルを生成し、再生中の番組コンテンツとこれらのシンボルとをオーバーレイし、表示手段２５に出力する。これにより、番組コンテンツ及び各種シンボルは、表示手段２５によりオーバーレイ表示される。処理手段２２の詳細については後述する
【００４７】
ユーザ操作手段２３は、例えば、デジタル放送受信機２を遠隔操作するリモコンにより構成され、ユーザのキー操作等により指定される動作モード（校正モードまたは通常再生モード）及びシンボルの属性等のデータを処理手段２２に出力する。シンボルの属性は、例えば、シンボルの形状、表示位置、色、サイズ、表示／非表示等が含まれる。尚、ユーザ操作手段２３において指定された動作モード及びシンボルの属性は、図示しない送信手段により携帯端末３へ送信するようにしてもよい。
【００４８】
記憶手段２４は、例えばメモリ、ハードディスク等により構成され、番組コンテンツ、シンボル化プログラム、マーカー情報、シンボル化プログラムの実行による処理結果等が格納される。
【００４９】
表示手段２５は、例えばＬＣＤ（液晶ディスプレイ）により構成され、処理手段２２の表示制御手段２０６による処理結果として、番組コンテンツと各種シンボルとをオーバーレイ表示する。
【００５０】
このように、デジタル放送受信機２によれば、デジタル放送送信機１により送出された番組コンテンツ及びデータ放送コンテンツの多重化信号を放送波として受信し、多重化信号を番組コンテンツ、シンボル化プログラム及びマーカー情報に分離し、シンボル化プログラムを実行し、マーカーシンボル、コンテンツＩＤシンボル、メディア時刻シンボル等を生成し、番組コンテンツにオーバーレイ表示するようにした。これにより、携帯端末３は、オーバーレイ表示された映像を取り込むことができ、マルチメディアデータを番組コンテンツの動画像データに合成する際に、マーカーシンボルから動画像データに対するマルチメディアデータの位置、サイズ及び向きを決定し、コンテンツＩＤシンボルからマルチメディアデータを取得し、メディア時刻シンボル等から番組コンテンツに同期したマルチメディアデータの再生ポイントを決定することができる。
【００５１】
（デジタル放送受信機／処理）
次に、図３に示したデジタル放送受信機２の処理について説明する。デジタル放送受信機２は、ユーザ操作により、動作モードが校正モードまたは通常再生モードに選択される。以下、校正モードが選択された場合の処理、通常再生モードが選択された場合の処理に分けてそれぞれ説明する。
【００５２】
（校正モード）
まず、校正モードが選択された場合の処理について説明する。図６は、校正モードが選択された場合の処理を説明するフローチャートである。図６では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。また、処理手段２２のコンテンツ再生制御手段２００が番組コンテンツを再生し、表示制御手段２０６が番組コンテンツを表示手段２５に表示しているものとする。
【００５３】
番組コンテンツの再生中に、ユーザにより、動作モードとして校正モードが選択されると（ステップＳ６０１）、ユーザ操作手段２３は、校正モードが選択されたことを示すデータを処理手段２２に出力する。
【００５４】
処理手段２２が、校正モードが選択されたことを示すデータを入力すると、時刻情報抽出手段２０１は、コンテンツ再生制御手段２００によって再生中の番組コンテンツに含まれる制御パラメータからメディア時刻情報を抽出し、２次元コード化手段２０４に出力する（ステップＳ６０２）。また、コンテンツＩＤ抽出手段２０２は、再生中の番組コンテンツから、その番組コンテンツに付随したコンテンツＩＤを抽出し、２次元コード化手段２０４に出力する（ステップＳ６０３）。また、マーカー情報抽出手段２０３は、コンテンツ再生制御手段２００からデータ放送コンテンツを入力し、データ放送コンテンツからマーカー情報を抽出し、シンボル化手段２０５に出力する（ステップＳ６０４）。
【００５５】
２次元コード化手段２０４は、ステップＳ６０２及びステップＳ６０３の後に、時刻情報抽出手段２０１からメディア時刻情報を入力し、コンテンツＩＤ抽出手段２０２からコンテンツＩＤを入力し、メディア時刻情報及びコンテンツＩＤを２次元コードに変換し、また、メディア時刻情報の一部分を抜き出して調整用メディア時刻情報を生成し、同様に２次元コードに変換する（ステップＳ６０５）。例えば、メディア時刻情報の下位４ビットを抜き出して調整用メディア時刻情報とし、その調整用メディア時刻情報を２次元コードに変換する。この場合、調整用メディア時刻コード及びシンボルは、メディア時刻コード及びシンボルの一部分となる。そして、２次元コード化手段２０４は、２次元コードに変換したメディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードをシンボル化手段２０５に出力する。ここで、２次元コードとは、２次元配列される複数のセルにそれぞれ対応したデータにより構成されたコードである。
【００５６】
図１６は、メディア時刻情報の２次元コードを示すメディア時刻コード、及びメディア時刻情報のシンボルを示すメディア時刻シンボルの時間推移の例を説明する図である。図１６に示すように、メディア時刻情報を２次元コード化して得られたメディア時刻コードは、重みが付けられた４×４＝１６の各セルにより、これらのセルにそれぞれ対応したデータが２次元配列して構成されたコードであり、（ｎ０，ｎ１，・・・，ｎ１５）のベクトル表記により、０〜２１６−１の数値で表すことができる。ここで、ｎ０〜ｎ１５は、各セルに対応したデータ（０または１）を示す。
【００５７】
例えば、番組コンテンツの再生開始時点０から時刻Δｔ（Δｔは予め設定された値である。）までの間のメディア時刻は０〜Δｔであり、２次元コード化手段２０４は、このメディア時刻情報を、数値０のメディア時刻コード（０，０，・・・，０）に変換する。そして、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（１）に示すように、各セルの値に対応した黒塗り（セルの値が１の場合）及び白塗り（セルの値が０の場合）の形態の組み合わせからなる、２次元形態の（２次元コードが反映された）メディア時刻シンボルを生成する。また、メディア時刻がΔｔから２×Δｔまでにおいては、２次元コード化手段２０４は、このメディア時刻情報を、数値１のメディア時刻コード（１，０，・・・，０）に変換する。そして、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（２）に示す２次元形態のメディア時刻シンボルを生成する。同様にして、番組コンテンツの再生が完了すると、２次元コード化手段２０４は、このときのメディア時刻情報をメディア時刻コードに変換し、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（４）に示す２次元形態のメディア時刻シンボルを生成する。図１６において、ｔはメディア時刻を示す。
【００５８】
図１７は、調整用メディア時刻情報の２次元コードを示す調整用メディア時刻コード、及び調整用メディア時刻情報のシンボルを示す調整用メディア時刻シンボルの時間推移の例を説明する図である。図１７に示すように、調整用メディア時刻情報を２次元コード化して得られた調整用メディア時刻コードは、重みが付けられた２×２＝４の各セルにより、これらのセルにそれぞれ対応したデータが２次元配列して構成されたコードであり、（ｎ０，ｎ１，ｎ２，ｎ３）のベクトル表記により、０〜１５の数値で表すことができる。ここで、ｎ０〜ｎ３は、各セルに対応したデータ（０または１）を示す。
【００５９】
２次元コード化手段２０４は、例えば、メディア時刻情報の下位４ビットを抜き出して調整用メディア時刻情報とし、Δｔ’（＝Δｔ）毎にインクリメントするような調整用メディア時刻コードに変換する。すなわち、調整用メディア時刻コードは、図１６に示したメディア時刻コード（ｎ０，ｎ１，・・・，ｎ１５）のうちの（ｎ０，ｎ１，ｎ２，ｎ３）を用い、調整用メディア時刻シンボルは、図１６に示したメディア時刻シンボルを構成する１６セルのうちの、ｎ０〜ｎ３に対応する４セルを用いたシンボル（図１７）となる。ここで、Δｔ’＝Δｔであり、番組コンテンツの再生開始時点が基準のタイミングとなる。
【００６０】
尚、２次元コード化手段２０４は、ステップＳ６０５において、メディア時刻情報の一部を抜き出さないでメディア時刻情報とは別に、独自の調整用メディア時刻情報を生成するようにしてもよい。すなわち、２次元コード化手段２０４は、番組コンテンツの再生開始時点を基準のタイミングとして、ｔ＝Δｔ’×１６×ｎ＋τ（ｎはｎ≧０となる整数、τは０≦τ≦Δｔ’×１６となる実数）により求められる相対時刻τを調整用メディア時刻情報として生成し、Δｔ’毎にインクリメントするような調整用メディア時刻コードに変換する。ここで、調整用メディア時刻コードは、床関数Ｆｌｏｏｒ（ｔ／Δｔ’）の戻り値に対する、（ｍｏｄ １６）の演算結果である数値０〜１５により表される。ｔはメディア時刻である。
【００６１】
番組コンテンツの再生開始時点を基準のタイミングとして、時刻０から時刻Δｔ’までの間の調整用メディア時刻は０〜Δｔ’であり、２次元コード化手段２０４は、この調整用メディア時刻情報を、数値０の調整用メディア時刻コード（０，０，０，０）に変換する。そして、後述するシンボル化手段２０５は、この調整用メディア時刻コードから、図１７（１）に示すように、各セルの値に対応した黒塗り（セルの値が１の場合）及び白塗り（セルの値が０の場合）の形態の組み合わせからなる、２次元形態の（２次元コードが反映された）調整用メディア時刻シンボルを生成する。また、調整用メディア時刻がΔｔ’から２×Δｔ’までにおいては、２次元コード化手段２０４は、この調整用メディア時刻情報を、数値１の調整用メディア時刻コード（１，０，０，０）に変換する。そして、後述するシンボル化手段２０５は、この調整用メディア時刻コードから図１７（２）に示す２次元形態の調整用メディア時刻シンボルを生成する。同様にして、調整用メディア時刻が１５×Δｔ’から１６×Δｔ’までにおいては、２次元コード化手段２０４は、調整用メディア時刻情報を、数値１５の調整用メディア時刻コード（１，１，１，１）に変換し、後述するシンボル化手段２０５は、この調整用メディア時刻コードから、図１７（１６）に示す２次元形態の調整用メディア時刻シンボルを生成する。そして、その後のΔｔ’の期間においては、調整用メディア時刻を０からΔｔ’までとするようにリセットし、２次元コード化手段２０４は、調整用メディア時刻情報を、数値０の調整用メディア時刻コード（０，０，０，０）に変換し、後述するシンボル化手段２０５は、このメディア時刻コードから、図１７（１）に示す２次元形態の調整用メディア時刻シンボルを生成する。このように、図１７において（１）〜（１６）の後（１）〜（１６）を順次繰り返す。
【００６２】
２次元コード化手段２０４は、コンテンツＩＤについても、メディア時刻情報及び調整用メディア時刻情報の場合と同様に、コンテンツＩＤを２次元のコンテンツＩＤコードに変換する。
【００６３】
図６に戻って、シンボル化手段２０５は、ステップＳ６０４及びステップＳ６０５の後に、マーカー情報抽出手段２０３からマーカー情報を入力すると共に、２次元コード化手段２０４からメディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードを入力する。そして、シンボル化手段２０５は、マーカー情報に含まれるマーカー形状からマーカーシンボルを生成し、メディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードから、２次元コードが反映された２次元形態のメディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを生成する。シンボル化手段２０５は、これらのシンボルを表示制御手段２０６に出力する（ステップＳ６０６）。
【００６４】
図９は、マーカーシンボルの例を示す図である。マーカーシンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の左上、左下及び右上にオーバーレイ表示される。シンボル化手段２０５は、マーカー情報からマーカー形状及び表示位置の情報を取得し、マーカー形状に従って、図９に示すようなマーカーシンボルを生成する。シンボル化手段２０５により生成されたマーカーシンボルは、表示位置の情報と共に表示制御手段２０６に出力される。図９には、表示制御手段２０６により表示手段２５に出力された番組コンテンツの本線映像、及び、表示制御手段２０６により表示位置の情報に従って表示手段２５の画面の左上、左下及び右上に配置されたマーカーシンボルが示されている。このマーカーシンボルには、ドーナッツ形状のリング及び円により構成された目玉型のシンボルの近傍に、星型のマーク、ハート型のマークまたは山型のマークが付与されており、これらのマークは、マーカーシンボルの位置を判別するために用いられる。例えば、携帯端末３において、星型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の左上に配置されたものであると判別される。同様に、ハート型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の左下に配置されたものであると判別され、山型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の右上に配置されたものであると判別される。これらのマーカーシンボルは、携帯端末３において、携帯端末３を基準にしたデジタル放送受信機２の位置及び向きを求めるために用いられる。そして、携帯端末３を基準にしたデジタル放送受信機２における画面の位置及び向きに基づいて、マルチメディアデータを番組コンテンツの動画像データに合成する表示位置、サイズ及び向きが決定され、合成映像が生成される。
【００６５】
図１０は、メディア時刻シンボルの例を示す図である。メディア時刻シンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の左中央にオーバーレイ表示される。シンボル化手段２０５は、図１６に示したように、メディア時刻コードからメディア時刻シンボルを生成する。シンボル化手段２０５により生成されたメディア時刻シンボルは、表示制御手段２０６に出力される。図１０には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の左中央に配置されたメディア時刻シンボルが示されている。このメディア時刻シンボルは携帯端末３に取り込まれ、再生中の番組コンテンツと同期するマルチメディアデータの再生ポイントを決定するために用いられる。そして、決定された再生ポイントのマルチメディアデータが、再生中の番組コンテンツの動画像データに合成される。
【００６６】
図１１は、調整用メディア時刻シンボルの例を示す図である。調整用メディア時刻シンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の右下にオーバーレイ表示される。シンボル化手段２０５は、図１７に示したように、調整用メディア時刻コードから調整用メディア時刻シンボルを生成する。シンボル化手段２０５により生成された調整用メディア時刻シンボルは、表示制御手段２０６に出力される。図１１には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の右下に配置された調整用メディア時刻シンボルが示されている。この調整用メディア時刻シンボルは携帯端末３に取り込まれ、再生中の番組コンテンツと同期するマルチメディアデータの再生ポイントを決定する際の微調整のために用いられる。そして、決定された再生ポイントのマルチメディアデータが、再生中の番組コンテンツの動画像データに合成される。
【００６７】
図１２は、コンテンツＩＤシンボルの例を示す図である。コンテンツＩＤシンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の右中央にオーバーレイ表示される。シンボル化手段２０５は、コンテンツＩＤコードから図１２に示すコンテンツＩＤシンボルを生成する。シンボル化手段２０５により生成されたコンテンツＩＤシンボルは、表示制御手段２０６に出力される。図１２には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の右中央に配置されたコンテンツＩＤシンボルが示されている。このコンテンツＩＤシンボルは携帯端末３に取り込まれ、マルチメディアデータを取得するために用いられる。そして、マルチメディアデータは、再生中の番組コンテンツの動画像データに同期して合成される。
【００６８】
図６に戻って、表示制御手段２０６は、コンテンツ再生制御手段２００から番組コンテンツを入力すると共に、シンボル化手段２０５からマーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを入力する。そして、表示制御手段２０６は、これらのシンボルを、所定の表示位置の情報に従って再生中の番組コンテンツにオーバーレイ表示するための制御を行い、番組コンテンツ及びこれらのシンボルを表示手段２５に出力する（ステップＳ６０７）。ここで、マーカーシンボルの場合における所定の表示位置の情報は、マーカー情報に含まれるマーカー表示位置であり、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルの場合における所定の表示位置の情報は、ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置である。
【００６９】
尚、所定の表示位置の情報は、デジタル放送送信機１からデータ放送コンテンツの一部として送出され、表示制御手段２０６がコンテンツ再生制御手段２００から入力するようにしてもよいし、表示制御手段２０６において予め設定されていてもよい。
【００７０】
図１３は、校正モード時においてデジタル放送受信機２の表示手段２５に表示される画面例を示す図である。この画面は、各種シンボルが番組コンテンツの本線映像にオーバーレイ表示されたものであり、マーカーシンボルが画面の左上、左下及び右上に表示され、メディア時刻シンボルが画面の左中央に表示され、調整用メディア時刻シンボルが画面の右下に表示され、コンテンツＩＤシンボルが画面の右中央に表示されている。表示制御手段２０６は、表示手段２５に対し、図１３に示した画面を表示させるように表示制御する。表示手段２５に表示された番組コンテンツ及び各種シンボルは、携帯端末３によって撮影され取り込まれ、これらのシンボルによって、マルチメディアデータを取得する処理、マルチメディアデータの再生ポイントを決定する処理、再生中の番組コンテンツの動画像データにマルチメディアデータを同期合成させる処理等が行われる。
【００７１】
また、表示制御手段２０６は、ユーザ操作手段２３からシンボルの属性を入力し、入力した属性に従って各種シンボルの表示制御を行う。シンボルの属性には、前述したとおり、シンボルの形状、表示位置、色、サイズ、表示／非表示等が含まれる。例えば、表示制御手段２０６は、シンボルの属性として、調整用メディア時刻シンボルの非表示を入力した場合、調整用メディア時刻シンボルを画面表示しないようにする。
【００７２】
尚、表示制御手段２０６は、データ放送の規定（ＡＲＩＢ ＳＴＤ−Ｂ２４）に準じて表示制御を行うようにしてもよい。例えば、デジタル放送送信機１がメディア時刻シンボル等の各種シンボルを表示するためのタイミング情報をイベントメッセージに含めて送出し、デジタル放送受信機２の表示制御手段２０６がこのイベントメッセージに基づいて各種シンボルを表示手段２５に表示するように制御してもよい。これにより、デジタル放送送信機１が主体的に各種シンボルの表示制御を行うことができ、デジタル放送受信機２に表示された各種シンボルにて、番組コンテンツの動画データとマルチメディアデータとの間の同期が確立するから、デジタル放送送信機１による同期確立の制御を実現することが可能となる。
【００７３】
（通常再生モード）
次に、通常再生モードが選択された場合の処理について説明する。図７は、通常再生モードが選択された場合の処理を説明するフローチャートである。図７では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。
【００７４】
デジタル放送受信機２が校正モードで動作しているときに、ユーザにより、動作モードとして通常再生モードが選択されると（ステップＳ７０１）、ユーザ操作手段２３は、通常再生モードが選択されたことを示すデータを処理手段２２に出力する。尚、デジタル放送受信機２が校正モードで動作してから所定時間経過した後に、ユーザ操作手段２３は、通常再生モードが選択されたことを示すデータを処理手段２２に出力するようにしてもよい。
【００７５】
処理手段２２が、通常再生モードが選択されたことを示すデータを入力すると、２次元コード化手段２０４は、校正モード時と同様に、メディア時刻情報から一部分を抜き出して調整用メディア時刻情報を生成し、調整用メディア時刻情報を２次元の調整用メディア時刻コードに変換する（ステップＳ７０２）。この場合の基準時刻は、メディア時刻情報と同様に、番組コンテンツの番組開始時点である。尚、２次元コード化手段２０４は、動作モードが校正モードから通常再生モードに変更されたタイミングのメディア時刻を基準時刻に設定し、この基準時刻から所定時間Δｔ’毎にインクリメントする調整用メディア時刻を求めて調整用メディア時刻情報を生成し、図１７に示したように、２次元の調整用メディア時刻コードに変換するようにしてもよい。
【００７６】
マーカー情報抽出手段２０３は、校正モード時と同様に、コンテンツ再生制御手段２００からデータ放送コンテンツを入力し、データ放送コンテンツからマーカー情報を抽出し、シンボル化手段２０５に出力する（ステップＳ７０３）。
【００７７】
シンボル化手段２０５は、ステップＳ７０２及びステップＳ７０３の後に、マーカー情報抽出手段２０３からマーカー情報を入力すると共に、２次元コード化手段２０４から２次元の調整用メディア時刻コードを入力し、マーカーシンボル及び２次元コードが反映された２次元形態の調整用メディア時刻シンボルを生成して表示制御手段２０６に出力する（ステップＳ７０４）。
【００７８】
表示制御手段２０６は、コンテンツ再生制御手段２００から番組コンテンツを入力すると共に、シンボル化手段２０５からマーカーシンボル及び調整用メディア時刻シンボルを入力する。そして、表示制御手段２０６は、校正モード時と同様に、これらのシンボルを、所定の表示位置の情報に従って番組コンテンツにオーバーレイ表示するための制御を行い、番組コンテンツ及びこれらのシンボルを表示手段２５に出力する（ステップＳ７０５）。
【００７９】
図１４は、通常再生モード時においてデジタル放送受信機２の表示手段２５に表示される画面例を示す図である。この画面は、各種シンボルが番組コンテンツの本線映像にオーバーレイ表示されたものであり、マーカーシンボルが画面の左上、左下及び右上に表示され、調整用メディア時刻シンボルが画面の右下に表示されている。表示制御手段２０６は、表示手段２５に対し、図１４に示した画面を表示させるように表示制御する。ここで、表示制御手段２０６は、校正モード時の図１３よりも小さいサイズのマーカーシンボルを表示するように、予め設定されたサイズの情報に従って制御する。このサイズの情報は、ユーザ操作手段２３から入力するようにしてもよい。尚、表示制御手段２０６は、校正モードから通常再生モードへの変更時に、アニメーションによって、図１３に示した大きいサイズから図１４に示す小さいサイズのマーカーシンボルへ徐々に変化させるようにしてもよい。
【００８０】
マーカーシンボルのサイズ等のシンボルの属性は、校正モード時と同様に、ユーザ操作手段２３により変更される。例えば、ユーザは、マーカーシンボル及び調整用メディア時刻シンボルのサイズを小さくするための操作を行うことにより、処理手段２２の表示制御手段２０６は、ユーザ操作手段２３からシンボルの属性を入力して、これらのシンボルのサイズが小さくなるように表示制御を行う。これにより、ユーザは、番組コンテンツの本線映像を、シンボルの表示に邪魔されることなく視聴することができる。
【００８１】
表示手段２５に表示された番組コンテンツ、マーカーシンボル及び調整用メディア時刻シンボルは、携帯端末３によって撮影されて取り込まれ、これらのシンボルによって、マルチメディアデータの再生ポイントを決定する処理、再生中の番組コンテンツの動画像データにマルチメディアデータを同期合成させる処理等が行われる。
【００８２】
このように、通常再生モードにおける調整用メディア時刻コード及び調整用メディア時刻シンボルは、番組コンテンツの番組開始時点（または、動作モードが校正モードから通常再生モードに変更されたタイミング）を基準にして、調整用メディア時刻がインクリメントされることにより、メディア時刻情報なしに変換及び生成される。後述するように、調整用メディア時刻シンボルは、携帯端末３において、マルチメディアデータの再生ポイントを決定するために用いられる。これにより、メディア時刻シンボルが不要になるから、時刻情報抽出手段２０１においてメディア時刻情報を抽出するための処理、２次元コード化手段２０４においてメディア時刻の２次元コードを生成する処理、シンボル化手段２０５においてメディア時刻のシンボルを生成する処理も不要になり、デジタル放送受信機２の処理負荷を低減することができる。また、通常再生モードにおいては、コンテンツＩＤシンボルも不要になるから、コンテンツＩＤ抽出手段２０２によるコンテンツＩＤを抽出する処理、その後の２次元コード化及びシンボル化の処理も不要になり、デジタル放送受信機２の処理負荷を一層低減することができる。
【００８３】
〔携帯端末〕
次に、図１に示した携帯端末３について説明する。図４は、携帯端末３の構成を示すブロック図である。この携帯端末３は、映像取込手段３１、映像制御手段３２、マルチメディアデータ取得手段３３、記憶手段３４及び表示手段３５を備えている。携帯端末３は、例えば、電話機能、カメラによる撮影機能、及びインターネット等の通信路にアクセスする通信機能を有する携帯電話機である。
【００８４】
映像取込手段３１は、携帯端末３に内蔵されたカメラにより、デジタル放送受信機２の表示手段２５に表示された再生中の番組コンテンツ及び各種シンボルを再撮して取り込み、取り込んだ映像を映像制御手段３２に出力する。
【００８５】
映像制御手段３２は、映像取込手段３１から再生中の番組コンテンツ及び各種シンボルの映像を入力し、各種シンボルを認識することにより、動作モードを判定し、メディア時刻、調整用メディア時刻、コンテンツＩＤを取得すると共に、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める。そして、映像制御手段３２は、コンテンツＩＤをマルチメディアデータ取得手段３３に出力し、マルチメディアデータ取得手段３３からその応答として、コンテンツＩＤに対するマルチメディアデータを入力する。また、映像制御手段３２は、メディア時刻に基づいて、マルチメディアデータの再生ポイントを決定し、表示手段２５の画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データに対するマルチメディアデータの表示位置、サイズ及び向きを決定し、再生中の番組コンテンツの動画像データと再生ポイントのマルチメディアデータとを合成して表示手段３５に出力する。
【００８６】
マルチメディアデータ取得手段３３は、映像制御手段３２からコンテンツＩＤを入力し、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されている場合、記憶手段３４からマルチメディアデータを読み出して映像制御手段３２に出力する。また、マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されていない場合、コンテンツＩＤを含むマルチメディアデータ取得要求を、図１に示したマルチメディアデータ送信装置４へ送信し、マルチメディアデータ送信装置４からコンテンツＩＤに対するマルチメディアデータを受信し、映像制御手段３２に出力する。
【００８７】
記憶手段３４には、コンテンツＩＤに対するマルチメディアデータが格納されている。このマルチメディアデータには、コンテンツＩＤの番組コンテンツの動画像データと合成する際における、開始時点からの相対時刻及び合成位置等の情報が含まれる。
【００８８】
表示手段３５は、映像制御手段３２から、再生中の番組コンテンツの動画像データと再生ポイントのマルチメディアデータとの合成映像を入力し、画面に表示する。これにより、ユーザは、携帯端末３の表示手段３５に表示された合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【００８９】
（携帯端末／処理）
次に、図４に示した携帯端末３の処理について説明する。図８は、携帯端末３の処理を説明するフローチャートである。図８では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。
【００９０】
携帯端末３の映像取込手段３１は、内蔵のカメラにより、デジタル放送受信機２の表示手段２５に表示された再生中の番組コンテンツ及び各種シンボルの映像を取り込み、映像制御手段３２に出力する（ステップＳ８０１）。
【００９１】
映像制御手段３２は、映像取込手段３１から映像を入力し、マーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルの各種シンボルを認識する（ステップＳ８０２）。具体的には、映像制御手段３２は、予め設定された各種シンボルの形状、表示位置、サイズ及び色等の属性と、入力した映像を解析して得られたシンボルの属性との間のマッチングを行い、マーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを認識する。この場合、マッチングの結果によっては、認識できないシンボルもあり得る。ここで、映像取込手段３１により取り込まれる映像は、デジタル放送受信機２の動作モードが校正モードのときには図１３に示したものであり、通常再生モードのときには図１４に示したものである。したがって、認識可能なシンボルは、動作モードによって異なるものとなる。
【００９２】
尚、映像制御手段３２は、最初にマーカーシンボルを認識し、次に、認識したマーカーシンボルの位置を基準にして他のシンボルを認識するようにしてもよい。また、携帯端末３は、デジタル放送受信機２から各種シンボルの属性を受信し、記憶手段３４に格納しておくようにしてもよい。この場合、映像制御手段３２は、ステップＳ８０２において、記憶手段３４から各種シンボルの属性を読み出してマッチングを行い、各種シンボルを認識する。
【００９３】
映像制御手段３２は、認識したシンボルの種類に基づいて、動作モードを判定する（ステップＳ８０３）。具体的には、映像制御手段３２は、認識したシンボルがマーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルである場合、動作モードが校正モードであると判定する（ステップＳ８０３：校正モード）。一方、映像制御手段３２は、認識したシンボルがマーカーシンボル及び調整用メディア時刻シンボルである場合、動作モードが通常再生モードであると判定する（ステップＳ８０３：通常再生モード）。
【００９４】
尚、携帯端末３は、デジタル放送受信機２から動作モードを受信し記憶手段３４に格納しておくようにしてもよい。この場合、映像制御手段３２は、ステップＳ８０３において、記憶手段３４から動作モードを読み出して、校正モードまたは通常再生モードを判定する。
【００９５】
（校正モード）
ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、メディア時刻シンボルを２次元のメディア時刻コードに変換し、メディア時刻コードからメディア時刻を取得する（ステップＳ８０４）。具体的には、映像制御手段３２は、図１６に示した処理の逆を行う。映像制御手段３２は、例えば、図１６（２）に示したメディア時刻シンボルを認識した場合、このメディア時刻シンボルを画像処理することにより黒塗りのセルを求め、各セルの重みによってメディア時刻シンボルの２次元コード、すなわちメディア時刻コード（１，０，・・・，０）に変換する。そして、映像制御手段３２は、メディア時刻コード（１，０，・・・，０）及び重みにより求めた数値１に、予め設定された時間Δｔを乗算する等して、メディア時刻ｔを取得する。また、調整用メディア時刻シンボルから調整用メディア時刻を取得し、メディア時刻と調整用メディア時刻との間の同期情報を求めて記憶しておく。例えば、調整用メディア時刻における単位時間の進捗に対するメディア時刻の進捗時間を求め、これを同期情報として記憶しておく。この同期情報は、通常再生モード時において、調整用メディア時刻に基づいてメディア時刻を求める際に用いられる。
【００９６】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、コンテンツＩＤシンボルを２次元のコンテンツＩＤコードに変換し、コンテンツＩＤコードからコンテンツＩＤを取得する（ステップＳ８０５）。具体的には、映像制御手段３２は、前述したメディア時刻コードの変換処理及びメディア時刻の取得処理と同様に、コンテンツＩＤコードの変換処理及びコンテンツＩＤの取得処理を行う。
【００９７】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、マーカーシンボルを画像処理することにより、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める（ステップＳ８０６）。マーカーシンボルは、図９に示したように、目玉型のシンボル、及び、マーカーシンボルの位置を示す山型、ハート型または星型のマークにより構成され、画面には３つのマーカーシンボルが配置されている。映像制御手段３２は、ステップＳ８０２において、まず目玉型のシンボルを認識し、次にマークを認識することにより、マーカーシンボルの位置を判別する。そして、ステップＳ８０６において、これら３つのマーカーシンボルに基づいて画面の位置及び向きを求める。具体的には、映像制御手段３２は、認識したマーカーシンボルを画像処理することにより、マーカーシンボルの大きさ（直径）及びマーカーシンボル間の距離（マーカーシンボルを構成する円の中心と他の円の中心との間の距離）を求め、予め設定された基準となる大きさ及び距離とを比較することにより、携帯端末３を基準にしたデジタル放送受信機２の位置を求める。また、映像制御手段３２は、マーカーシンボルの形状を求め、予め設定された基準となる形状とを比較し、マーカーシンボルの左右上下の対称性及び各マーカーシンボル間の距離の比を求めることにより、携帯端末３を基準にしたデジタル放送受信機２の向きを求める。
【００９８】
尚、携帯端末３の映像取込手段３１に設けられたカメラがパンすることにより、３つのマーカーシンボルのうちの１つのマーカーシンボルが取り込まれ、１つのマーカーシンボルのみが認識された場合、映像制御手段３２は、認識したマーカーシンボルが３つのマーカーシンボルのうちのどれなのか、画面内のどこに配置されたマーカーシンボルであるかを判別する必要がある。しかし、マーカーシンボルが目玉型のシンボルのみから構成されている場合にはこの判別処理は煩雑であり、処理負荷が高い。そこで、目玉型のシンボルの近くに星型、ハート型または山型のマークを設けることにより、マーカーシンボルの位置を判別する処理を容易に実現するようにした。これにより、画面の位置及び向きの判定を連続的に行うことができる。すなわち、映像制御手段３２は、１つのマーカーシンボルのみを認識した場合、そのマーカーシンボルの近くに設けられたマークを認識することにより、そのマーカーシンボルの位置を判別し、画面の位置及び向きを求める。
【００９９】
映像制御手段３２は、ステップＳ８０５の後に、取得したコンテンツＩＤに対するマルチメディアデータを取得する（ステップＳ８０７）。具体的には、映像制御手段３２は、コンテンツＩＤをマルチメディアデータ取得手段３３に出力し、マルチメディアデータ取得手段３３は、映像制御手段３２から入力したコンテンツＩＤについて、記憶手段３４を検索する。マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されている場合、記憶手段３４からそのマルチメディアデータを読み出して映像制御手段３２に出力する。一方、マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されていない場合、コンテンツＩＤを含むマルチメディアデータ取得要求をマルチメディアデータ送信装置４へ送信し、マルチメディアデータ送信装置４からマルチメディアデータを受信し、マルチメディアデータを映像制御手段３２に出力する。
【０１００】
尚、マルチメディアデータ取得手段３３は、記憶手段３４にマルチメディアデータが格納されていない場合、マルチメディアデータ送信装置４へマルチメディアデータ取得要求を送信することなく、取得エラーを映像制御手段３２に出力するようにしてもよい。また、マルチメディアデータ取得手段３３は、記憶手段３４にアクセスすることなく、マルチメディアデータ送信装置４へマルチメディアデータ取得要求を直接送信するようにしてもよい。この場合、マルチメディアデータ取得手段３３は、マルチメディアデータ送信装置４からマルチメディアデータを受信しなかった場合、取得エラーを映像制御手段３２に出力する。映像制御手段３２は、マルチメディアデータ取得手段３３から取得エラーを入力した場合、マルチメディアデータの合成処理を行わず、映像取込手段３１が取り込んだ映像を表示手段３５に出力する。
【０１０１】
映像制御手段３２は、ステップＳ８０４及びステップＳ８０７の後に、取得したメディア時刻に基づいて、マルチメディアデータ取得手段３３から入力したマルチメディアデータの再生ポイントを決定する（ステップＳ８０８）。具体的には、映像制御手段３２は、マルチメディアデータに含まれる時刻情報を参照し、メディア時刻に対応したマルチメディアデータの再生ポイントを決定する。前述したとおり、マルチメディアデータには、コンテンツＩＤの番組コンテンツの動画像データと合成する際における、開始時点からの相対時刻及び合成位置等に関する情報が含まれる。
【０１０２】
映像制御手段３２は、ステップＳ８０６において求めた画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データにマルチメディアデータを合成する際の、マルチメディアデータの表示位置、サイズ及び向きを決定する（ステップＳ８０９）。ステップＳ８０６において、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、すなわち、再生中の番組コンテンツの動画像データの位置及び向きが求められるから、マルチメディアデータに含まれる合成位置に関する情報を用いることにより、その動画像データに対するマルチメディアデータの表示位置、サイズ及び向きを決定することができる。つまり、映像制御手段３２は、マルチメディアデータに含まれる合成位置に関する情報を参照し、ステップＳ８０６において求めた画面の位置及び向き（動画像データの位置及び向き）に対応したマルチメディアデータの表示位置、サイズ及び向きを決定する。
【０１０３】
映像制御手段３２は、ステップＳ８０８及びステップＳ８０９の後に、再生ポイントのマルチメディアデータに対し、表示位置、サイズ及び向きを反映し、合成映像を生成し、表示手段３５に出力する（ステップＳ８１０）。
【０１０４】
これにより、携帯端末３は、校正モードにおいて、再生中の番組コンテンツの動画像データと、その番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。したがって、ユーザは、携帯端末３の表示手段３５により、動画像データとマルチメディアデータとが同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１０５】
（通常再生モード）
一方、ステップＳ８０３において、映像制御手段３２は、動作モードが通常再生モードであると判定した場合（ステップＳ８０３：通常再生モード）、調整用メディア時刻シンボルを２次元の調整用メディア時刻コードに変換し、調整用メディア時刻コードから調整用メディア時刻を取得し、メディア時刻を微調整する（ステップＳ８１１）。
【０１０６】
具体的には、映像制御手段３２は、図１７に示した処理の逆を行う。映像制御手段３２は、例えば、図１７（２）に示した調整用メディア時刻シンボルを認識した場合、この調整用メディア時刻シンボルを画像処理することにより黒塗りのセルを求め、各セルの重みによって調整用メディア時刻シンボルの２次元コード、すなわち調整用メディア時刻コード（１，０，０，０）に変換する。そして、映像制御手段３２は、調整用メディア時刻コード（１，０，０，０）及び重みにより求めた数値１と、予め設定された時間Δｔ’とにより、調整用メディア時刻を取得する。この場合、図１７に示したように、（１６）の調整用メディア時刻シンボルから（１）の調整用メディア時刻シンボルに戻り、（１）〜（１６）の後（１）〜（１６）が順次繰り返されるから、この繰り返しが判断され調整用メディア時刻が取得される。
【０１０７】
調整用メディア時刻情報が、メディア時刻情報の一部から抜き出されて生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻からその一部に相当する時刻を除いた時刻、及び、通常再生モード時に取得した調整用メディア時刻に基づいて、メディア時刻を微調整する。例えば、１６ビットからなるメディア時刻情報のうちの下位４ビットが抜き出されて、調整用メディア時刻情報が生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻における上位１２ビットの時刻と、通常再生モード時に取得した調整用メディア時刻である下位４ビットの時刻とを合成して、メディア時刻を微調整する。これにより、番組コンテンツの番組開始時点を基準にして、メディア時刻が微調整される。
【０１０８】
一方、調整用メディア時刻情報が、メディア時刻情報の一部を抜き出さないでメディア時刻情報とは別に独自に生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻を記憶しておき、通常再生モード時に取得した調整用メディア時刻、及び、校正モード時に記憶した同期情報（例えば、調整用メディア時刻における単位時間の進捗に対するメディア時刻の進捗時間）に基づいて、調整用メディア時刻をメディア時刻の進捗時間に変換する。そして、映像制御手段３２は、記憶したメディア時刻に、変換したメディア時刻の進捗時間を加算することにより、メディア時刻を微調整する。これにより、動作モードが校正モードから通常再生モードへ変化した時点を基準にして、メディア時刻が微調整される。
【０１０９】
したがって、通常再生モード時には、調整用メディア時刻シンボルに基づいてメディア時刻を決定することができるから、メディア時刻シンボルに関する処理が不要になり、携帯端末３における処理負荷を低減することができる。尚、調整用メディア時刻シンボルに基づいて決定したメディア時刻に誤差がある場合は、デジタル放送受信機２において、動作モードを校正モードに戻すことにより、基準となるメディア時刻を再度記憶すればよい。
【０１１０】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが通常再生モードであると判定した場合（ステップＳ８０３：通常再生モード）、ステップＳ８０６と同様に、マーカーシンボルを画像処理することにより、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める（ステップＳ８１２）。
【０１１１】
映像制御手段３２は、ステップＳ８１１の後に、ステップＳ８０８と同様に、メディア時刻に基づいて、マルチメディアデータ取得手段３３から入力したマルチメディアデータの再生ポイントを決定する（ステップＳ８１３）。
【０１１２】
映像制御手段３２は、ステップＳ８１２の後に、ステップＳ８０９と同様に、ステップＳ８１２において求めた画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データにマルチメディアデータを合成する際の、マルチメディアデータの表示位置、サイズ及び向きを決定する（ステップＳ８１４）。
【０１１３】
映像制御手段３２は、ステップＳ８１３及びステップＳ８１４の後に、ステップＳ８１０と同様に、再生ポイントのマルチメディアデータに対し、表示位置、サイズ及び向きを反映し、合成映像を生成し、表示手段３５に出力する（ステップＳ８１５）。
【０１１４】
図１５は、通常再生モード時において携帯端末３の表示手段３５に表示される画面例を示す図である。この画面には、再生中の番組コンテンツの動画像データとマルチメディアデータとの合成映像が表示されている。マルチメディアデータは、マルチメディアデータに含まれる合成位置等に関する情報に従って、本線映像の右中央に表示されている。
【０１１５】
これにより、携帯端末３は、通常再生モードにおいて、再生中の番組コンテンツの動画像データと、その番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。したがって、ユーザは、携帯端末３の表示手段３５により、動画像データとマルチメディアデータとが同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１１６】
以上により、本発明の実施形態によれば、デジタル放送送信機１は、コンテンツＩＤが付随し時刻情報の制御パラメータを含む番組コンテンツ、シンボル化プログラム及びマーカー情報を放送波としてデジタル放送受信機２へ送出するようにした。また、デジタル放送受信機２は、デジタル放送送信機１からの放送波を受信し、シンボル化プログラムを実行し、番組コンテンツを再生すると共に、番組コンテンツに含まれる制御パラメータから番組コンテンツのメディア時刻情報を抽出し、番組コンテンツに付随したコンテンツＩＤを抽出し、２次元コード化して２次元シンボルをそれぞれ生成し、さらに、マーカー情報を抽出してシンボルを生成し、これらのシンボルを番組コンテンツにオーバーレイ表示するようにした。また、携帯端末３は、これらのシンボルが番組コンテンツにオーバーレイ表示された映像を取り込み、これらのシンボルを認識してメディア時刻及びコンテンツＩＤを取得すると共に、デジタル放送受信機２の画面の位置及び向きを求め、そして、コンテンツＩＤに対するマルチメディアデータを取得して再生ポイントを決定し、番組コンテンツの動画像データとマルチメディアデータとを合成して表示するようにした。
【０１１７】
具体的には、携帯端末３の映像制御手段３２は、再生中の番組コンテンツの相対時刻が反映された２次元コードのメディア時刻シンボルを認識し、このシンボルからメディア時刻を取得し、マルチメディアデータの再生ポイントを決定するようにした。これにより、再生中の番組コンテンツの動画像データ及びマルチメディアデータを合成する際に、これらのタイムラインの同期を確立させることができる。この場合、２次元コードが反映されたシンボルを用いるようにしたから、高性能なカメラスペック及び多くの計算資源が必要な電子透かし技術を用いることなく、簡易な手法により同期を確立させることができる。また、携帯端末３として、番組コンテンツ及びシンボルの映像を撮影する通常のカメラ付き携帯電話機を適用することができ、計算資源の乏しい環境にて同期を確立させることができる。また、電子透かし技術を用いる場合に比べ、処理時間を短縮することができ、同期を確立させるための時間を短縮すると共に精度を高めることができる。
【０１１８】
また、本発明の実施形態では、電子透かし技術の場合に比べて多くの計算資源が不要になるから、動きのある３ＤＣＧ等を用いたＡＲ技術による合成処理に多くの計算資源を割くことができ、高度及び高性能な合成映像を生成することができる。例えば、番組コンテンツの動画像データ内の物体が画面からカメラ側に飛び出してくるように、ＡＲ技術によって合成映像を生成する場合に適している。このように、動画像データと同期したマルチメディアデータの提供サービスを、簡易な手法により容易に実現することができ、ユーザは、携帯端末３を用いて番組コンテンツを視聴することにより、同期のとれたマルチメディアデータを楽しむことができる。
【０１１９】
また、本発明の実施形態に用いる２次元コードは、コンピュータビジョンにおける最も認識しやすい形態であり、カメラに対する位置及び向き、または動きに強い方式である。したがって、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができる。つまり、携帯端末３の映像取込手段３１において２次元コードが反映されたシンボルを取り込み、映像制御手段３２において２次元コードを正確に認識することができる。
【０１２０】
本発明の実施形態における２次元コードを用いる方式では、電子透かし方式と異なり、２次元コードが反映された２次元シンボルが番組コンテンツにオーバーレイ表示されるから、ユーザは、番組コンテンツによっては２次元シンボルが目障りになることがあり得る。本発明の実施形態では、デジタル放送受信機２が、校正モードが終了した後の通常再生モード時に、校正モード時よりもサイズの小さいマーカーシンボルを表示し、メディア時刻シンボルの代わりに、メディア時刻シンボルのサイズよりも小さい調整用メディア時刻シンボルを表示し、コンテンツＩＤシンボルを表示しないようにした。これにより、表示されたシンボルがユーザの目障りになることを軽減することができる。
【０１２１】
また、本発明の実施形態では、マーカーシンボルを用いて、携帯端末３を基準にしたデジタル放送受信機２における画面の位置及び向きを決定するようにした。これは、番組コンテンツと同期したマルチメディアサービスを提供するシステムにおいて、番組コンテンツの演出方法として３ＤＣＧ等を用いる場合、携帯端末３が、番組コンテンツの動画像データに３ＤＣＧのマルチメディアデータを（画面の外側も含めて）適切に組み込む必要があるからである。携帯端末３の映像制御手段３２は、マーカーシンボルに基づいてデジタル放送受信機２の位置及び向きを決定するようにしたから、番組コンテンツの動画像データ及びマルチメディアデータを合成する際に、その位置、サイズ及び向きを考慮した適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。したがって、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができ、適切な位置、サイズ及び向きにて、マルチメディアデータを番組コンテンツに組み込むことができる。
【０１２２】
また、本発明の実施形態によれば、コンテンツＩＤシンボルを用いて、マルチメディアデータを取得するようにした。具体的には、携帯端末３の映像制御手段３２は、デジタル放送受信機２の映像からコンテンツＩＤシンボルを認識し、このシンボルからコンテンツＩＤを取得し、コンテンツＩＤに対するマルチメディアデータを記憶手段３４またはマルチメディアデータ送信装置４から取得するようにした。これにより、携帯端末３は、再生中の番組コンテンツに関連するマルチメディアデータを取得することができ、再生中の番組コンテンツに合成したマルチメディアデータをユーザに提示することができる。ユーザは、再生中の番組コンテンツを視聴しながら、その番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１２３】
また、本発明の実施形態によれば、通常再生モード時に、調整用メディア時刻シンボルを用いて、マルチメディアデータの再生ポイントを決定するようにした。具体的には、携帯端末３の映像制御手段３２は、通常再生モード時に、デジタル放送受信機２の映像から調整用メディア時刻シンボルを認識し、このシンボルから調整用メディア時刻を取得し、番組コンテンツの番組開始時点（または、動作モードが校正モードから通常再生モードに変更されたタイミング）のメディア時刻を基準にして、調整用メディア時刻に基づいて、再生中の番組コンテンツにおけるメディア時刻を微調整し、そのメディア時刻からマルチメディアデータの再生ポイントを決定するようにした。調整用メディア時刻シンボルは、番組コンテンツの制御パラメータから得られたメディア時刻を用いるものではなく、前記時刻を基準にして独自にインクリメントすることにより生成されたシンボルである。これにより、携帯端末３は、通常再生モード時に、メディア時刻シンボルを用いることなく、調整用メディア時刻シンボルからメディア時刻を求めることができる。また、通常再生モード時にデジタル放送受信機２においてスロー／高速再生や逆転再生をした場合でも、携帯端末３は、メディア時刻を調整することにより、番組コンテンツの動画像データに３ＤＣＧ等のマルチメディアデータを適切なタイミングで組み込むことができる。また、デジタル放送受信機２は、番組コンテンツの制御パラメータからメディア時刻を得て２次元コード化しメディア時刻シンボルを生成する必要がないから、処理負荷を低減することができる。
【０１２４】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、マルチメディアデータを表示する機器として、電話機能、カメラによる撮影機能、及びインターネット等の通信路にアクセスする通信機能を有する携帯端末３を例にして説明したが、本発明は、このような携帯端末３に限定されるものではなく、例えば、眼鏡でもよいし、電話機能を有さない携帯用小型コンピュータでもよい。また、デジタル放送受信機２をＷｅｂカメラにて撮影し、その映像を取り込んで処理するコンピュータであってもよい。
【０１２５】
また、前記実施形態では、デジタル放送送信機１とデジタル放送受信機２との間が放送網により構成された例を挙げて説明したが、インターネット等の通信網により構成されていてもよい。この場合、デジタル放送送信機１は、多重化した放送コンテンツをＩＰパケットに収容し、ＩＰプロトコルによりインターネットの通信網を介してデジタル放送受信機２へ送信する。そして、デジタル放送受信機２は、通信網を介してＩＰプロトコルによりＩＰパケットを受信し、多重化された放送コンテンツを分離する。
【０１２６】
また、図１６に示したメディア時刻コード及びメディア時刻シンボルは例示であり、本発明は、このコード及びシンボルに限定されるものではなく、図１７に示した調整用メディア時刻コード及び調整用メディア時刻シンボルも例示であり、このコード及びシンボルに限定されるものではない。さらに、図９〜図１４の各種シンボルの形状、サイズ等の属性も例示であり、本発明はこれらの属性に限定されるものではない。図１０〜図１２に示した２次元シンボルは、白セル及び黒セルからなる２次元配列により構成されているが、白黒以外の色であってもよい。
【０１２７】
また、前記実施形態では、デジタル放送受信機２は、デジタル放送送信機１からシンボル化プログラム及びマーカー情報を受信するようにしたが、シンボル化プログラム及びマーカー情報を記憶手段２４に予め格納しておき、デジタル放送送信機１から番組コンテンツを受信したときに記憶手段２４から読み出すようにしてもよい。また、デジタル放送受信機２は、デジタル放送送信機１から番組コンテンツを受信するようにしたが、番組コンテンツを記憶手段２４に予め格納しておき、記憶手段２４から読み出すようにしてもよい。
【符号の説明】
【０１２８】
１ デジタル放送送信機
２ デジタル放送受信機
３ 携帯端末
４ マルチメディアデータ送信装置
５ デジタル放送システム
６ マルチメディアデータ送受信システム
１０ コンテンツ記憶手段
１１ 放送制御手段
１２ 放送送出手段
２１ 放送受信手段
２２ 処理手段
２３ ユーザ操作手段
２４，３４ 記憶手段
２５，３５ 表示手段
３１ 映像取込手段
３２ 映像制御手段
３３ マルチメディアデータ取得手段
２００ コンテンツ再生制御手段
２０１ 時刻情報抽出手段
２０２ コンテンツＩＤ抽出手段
２０３ マーカー情報抽出手段
２０４ ２次元コード化手段
２０５ シンボル化手段
２０６ 表示制御手段
【技術分野】
【０００１】
本発明は、動画像データに同期したマルチメディアデータを提供するサービスにおいて、放送または通信により送受信される動画像データのタイムラインと、その動画像データに関するマルチメディアデータのタイムラインとの間の同期を確立させ、動画像データ及びマルチメディアデータを合成するために用いるデジタル放送受信機、送信機及び端末装置に関する。
【背景技術】
【０００２】
従来、動画像データに同期したマルチメディアデータを提供するサービスとして、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたものが注目されている。ＡＲとは、コンピュータを用いて現実環境に所定の情報を付加することにより、情報を提示する技術である。具体的には、現実環境の映像に対してコンピュータ・グラフィックスによる映像を、現実環境の映像の動きに合わせてリアルタイムに合成し、現実環境の映像に関する視覚情報をアノテーション情報として付け加える技術である。ＡＲ技術を用いた例として、携帯電話機に内蔵されたカメラを用いて現実世界を撮影し、画像認識技術またはＣＧ合成技術により、現実世界にはない物体または文字情報を合成して表示するものがある（非特許文献１，２を参照）。
【０００３】
ＡＲ技術をデジタル放送システムに適用すると、例えば、動きのある３ＤＣＧ（３ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：３次元グラフィックス）による演出が考えられる。携帯電話機に内蔵されたカメラが、テレビ受像機に表示された動画像データを撮影し、動画像データと３ＤＣＧのマルチメディアデータとの合成映像を表示する場合、テレビ受像機における画面の位置及び向きを検出し、その位置及び向きを反映した３ＤＣＧのマルチメディアデータを動画像データに合成する。これにより、３ＤＣＧのマルチメディアデータが、動画像データの動きに合わせて画面から飛び出して見える演出が可能になる。この場合、動画像データと３ＤＣＧのマルチメディアデータとの間で同期を確立させる必要がある。
【０００４】
同期を確立させる技術として、電子透かし方式を用いるものが知られている（特許文献１を参照）。この電子透かし方式は、時間情報の電子透かしを動画像データに埋め込み、電子透かしパターンの時間変化を検出するものである。具体的には、送信側は、動画像データに埋め込む電子透かしパターンを、動画像データの再生時刻に伴って切り替え、そのパターン切り替え情報を併せて伝送する。受信側は、テレビ画面の動画像データをカメラ付き携帯電話機で撮影し、撮影した動画像データからリアルタイムに電子透かし検出処理を行い、電子透かしパターンが切り替わるタイミングを検出することにより、動画像データと３ＤＣＧのマルチメディアデータとの間の同期を確立させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００７／０１５４５２号
【非特許文献】
【０００６】
【非特許文献１】“セカイカメラ”、［online］、［平成２１年７月６日検索］、インターネット＜ＵＲＬ：http://itpro.nikkeibp.co.jp/article/NEWS/20090218/325013/＞
【非特許文献２】“Ｗｅａｒａｂｌｅ Ｄｉｓｐｌａｙｓ”、［online］、［平成２１年７月６日検索］、Ｍｉｃｒｏｖｉｓｉｏｎ社、インターネット＜ＵＲＬ：http://www.microvision.com/wearable_displays/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前述した特許文献１の電子透かし方式では、電子透かしを読み取るために、高性能なカメラスペック及びコンピュータが必要であり、処理負荷が高いことに加え高価になってしまうという問題があった。また、テレビ画面の動画像データをカメラ付き携帯電話機で撮影した際に、カメラ付き携帯電話機の位置及び向き、テレビ画面の位置及び向き、及びこれらの動きによっては、電子透かしを読み取ることができない場合がある。つまり、ユーザがカメラ付き携帯電話機を手に持って自由にテレビ画面を撮影するから、カメラ付き携帯電話機が動いてしまい、電子透かしを読み取ることが困難になるという問題があった。すなわち、電子透かし方式を用いて同期を確立させる技術では、ユーザがテレビ画面を自由に撮影する環境では不向きであるという問題があった。
【０００８】
そこで、本発明はかかる課題を解決するためになされたものであり、その目的は、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、簡易な手法により確立させることが可能なデジタル放送受信機、送信機及び端末装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明者らは、上記目的を達成すべく鋭意研究開発を行った。その結果、再生中の動画像データに関する再生開始時点からの相対時刻を２次元コード化し、この２次元コードをシンボル化した２次元シンボルを、動画像データにオーバーレイ表示し、オーバーレイ表示された２次元シンボルから動画像データの時刻情報を取得し、マルチメディアデータの再生ポイントを決定することを見出した。視聴者はカメラでこれを再撮することにより、電子透かし方式よりも計算資源を必要としない画像認識技術を用いて時刻情報を取得することができる。２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態であり、２次元シンボルを認識する方式は、カメラに対する位置、向き及び動きに柔軟に対応可能だからである。つまり、本発明では、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、２次元シンボルを用いて確立させる。これにより、高性能なカメラスペック及び多くの計算資源が不要になり、簡易な手法により、同期確立を実現することが可能となる。
【００１０】
すなわち、請求項１のデジタル放送受信機は、番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツを受信し、前記番組コンテンツを再生するデジタル放送受信機において、前記番組コンテンツを再生制御する制御パラメータを含む番組コンテンツを受信する放送受信手段と、前記番組コンテンツの再生開始時点からの相対時刻であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するためのメディア時刻情報を、前記放送受信手段により受信された番組コンテンツに含まれる制御パラメータから抽出する時刻情報抽出手段と、前記時刻情報抽出手段により抽出されたメディア時刻情報を、２次元配列によって構成される２次元コードに変換する２次元コード化手段と、前記２次元コード化手段により変換された２次元コードからシンボルを生成するシンボル化手段と、前記シンボル化手段により生成されたシンボルを、前記番組コンテンツと共に画面表示する表示制御手段とを備えたことを特徴とする。
【００１１】
また、請求項２のデジタル放送受信機は、請求項１に記載のデジタル放送受信機において、さらに、コンテンツＩＤ抽出手段を備え、前記受信する番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、前記コンテンツＩＤ抽出手段が、前記放送受信手段により受信された番組コンテンツからコンテンツＩＤを抽出し、前記２次元コード化手段が、前記時刻情報抽出手段により抽出された時刻情報、及び前記コンテンツＩＤ抽出手段により抽出されたコンテンツＩＤを、２次元配列によって構成される２次元コードにそれぞれ変換することを特徴とする。
【００１２】
また、請求項３のデジタル放送受信機は、請求項２に記載のデジタル放送受信機において、さらに、マーカー情報抽出手段を備え、前記放送受信手段が、前記番組コンテンツに加えて、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を受信し、前記マーカー情報抽出手段が、前記放送受信手段により受信されたマーカー情報を抽出し、前記シンボル化手段が、さらに、前記マーカー情報抽出手段により抽出されたマーカー情報に含まれるマーカーの形状に従って、前記マーカーのシンボルを生成することを特徴とする。
【００１３】
また、請求項４のデジタル放送受信機は、請求項１から３までのいずれか一項に記載のデジタル放送受信機において、前記時刻情報抽出手段が、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を生成し、前記２次元コード化手段が、さらに、前記時刻情報抽出手段により生成された調整用メディア時刻情報を、２次元配列によって構成される２次元コードに変換し、前記表示制御手段が、前記シンボル化手段により生成されたメディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示することを特徴とする。
【００１４】
また、請求項５のデジタル放送受信機は、請求項４に記載のデジタル放送受信機において、さらに、前記デジタル放送受信機の動作モードを、ユーザの操作により選択する第１のユーザ操作手段を備え、前記表示制御手段が、前記第１のユーザ操作手段により前記動作モードとして校正モードが選択された場合、前記シンボル化手段により生成されたシンボルのうち少なくともメディア時刻情報のシンボルを、前記番組コンテンツと共に画面表示し、前記第１のユーザ操作手段により前記動作モードとして通常再生モードが選択された場合、または、前記校正モードが選択されてから所定時間経過して通常再生モードに変更された場合、前記メディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示することを特徴とする。
【００１５】
また、請求項６のデジタル放送受信機は、請求項１から５までのいずれか一項に記載のデジタル放送受信機において、さらに、前記シンボル化手段により生成されるシンボルの形状、表示位置、色、サイズ、表示／非表示のうちの少なくとも一つを含む属性情報を、ユーザの操作により設定する第２のユーザ操作手段を備え、前記表示制御手段が、前記第２のユーザ操作手段により設定された属性情報に従って、前記シンボルの画面表示／非表示を行うことを特徴とする。
【００１６】
また、請求項７のデジタル放送受信機は、請求項１に記載のデジタル放送受信機において、さらに、制御手段及び記憶手段を備え、前記放送受信手段が、さらに、シンボル化プログラムを受信し、前記記憶手段が、前記放送受信手段により受信されたシンボル化プログラムを格納し、前記制御手段が、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段及び表示制御手段を機能させることを特徴とする。
【００１７】
また、請求項８のデジタル放送受信機は、請求項３に記載のデジタル放送受信機において、さらに、制御手段及び記憶手段を備え、前記放送受信手段が、さらに、シンボル化プログラムを受信し、前記記憶手段が、前記放送受信手段により受信されたシンボル化プログラムを格納し、前記制御手段が、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段、表示制御手段、コンテンツＩＤ抽出手段及びマーカー情報抽出手段を機能させることを特徴とする。
【００１８】
さらに、請求項９のデジタル放送送信機は、番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツ、及びデータ放送コンテンツを多重化し、デジタル放送受信機へ送出するデジタル放送送信機において、番組コンテンツを記憶すると共に、番組コンテンツの再生制御を行い、前記番組コンテンツの再生開始時点からの相対時刻を、前記合成映像が生成される際のマルチメディアデータの再生ポイントを決定するメディア時刻情報として、前記番組コンテンツに含まれる制御パラメータから抽出し、前記抽出したメディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードからメディア時刻シンボルを生成し、前記メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであって、前記デジタル放送受信機に実行させるシンボル化プログラムをデータ放送コンテンツとして記憶するコンテンツ記憶手段と、前記コンテンツ記憶手段から番組コンテンツ及びデータ放送コンテンツを読み出し、多重化する放送制御手段と、前記放送制御手段により多重化された番組コンテンツ及びデータ放送コンテンツの多重化信号を、前記デジタル放送受信機へ送出する放送送出手段とを備えたことを特徴とする。
【００１９】
また、請求項１０のデジタル放送送信機は、請求項９に記載のデジタル放送送信機において、前記番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、前記シンボル化プログラムが、さらに、前記番組コンテンツに付随するコンテンツＩＤを抽出し、前記コンテンツＩＤを２次元配列によって構成される２次元コードに変換し、前記２次元コードからコンテンツＩＤシンボルを生成し、前記コンテンツＩＤシンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２０】
また、請求項１１のデジタル放送送信機は、請求項９または１０に記載のデジタル放送送信機において、コンテンツ記憶手段が、データ放送コンテンツとして、さらに、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を記憶し、前記シンボル化プログラムが、さらに、前記データ放送コンテンツからマーカー情報を抽出し、前記マーカー情報に含まれるマーカーの形状に従ってマーカーシンボルを生成し、前記マーカーシンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２１】
また、請求項１２のデジタル放送送信機は、請求項９から１１までのいずれか一項に記載のデジタル放送送信機において、前記シンボル化プログラムが、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードから調整用メディア時刻シンボルを生成し、前記メディア時刻シンボルの代わりに、前記調整用メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであることを特徴とする。
【００２２】
さらに、請求項１３の端末装置は、番組コンテンツの動画像データとマルチメディアデータとを合成し、合成映像を表示する端末装置において、番組コンテンツの再生開始時点からの相対時刻を示す２次元配列によって構成された２次元コードのメディア時刻シンボルが、再生中の前記番組コンテンツと共に画面表示され、前記画面表示された映像を取り込む映像取込手段と、前記映像取込手段により取り込まれた映像から前記メディア時刻シンボルを認識し、前記メディア時刻シンボルを２次元コードに変換してメディア時刻を取得し、前記メディア時刻に基づいてマルチメディアデータの再生ポイントを決定し、前記再生ポイントのマルチメディアデータを、前記再生中の番組コンテンツの動画像データに合成する映像制御手段とを備えたことを特徴とする。
【００２３】
また、請求項１４の端末装置は、請求項１３に記載の端末装置において、前記映像取込手段が、前記番組コンテンツのコンテンツＩＤを示す２次元配列によって構成された２次元コードのコンテンツＩＤシンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記コンテンツＩＤシンボルを認識し、前記コンテンツＩＤシンボルを２次元コードに変換してコンテンツＩＤを取得し、前記コンテンツＩＤに対するマルチメディアデータの再生ポイントを決定することを特徴とする。
【００２４】
また、請求項１５の端末装置は、請求項１４に記載の端末装置において、さらに、マルチメディアデータ取得手段を備え、前記マルチメディアデータ取得手段が、前記映像制御手段により取得されたコンテンツＩＤを、マルチメディアデータが格納されている外部装置へ送信し、前記外部装置から前記コンテンツＩＤに対するマルチメディアデータを受信し、または、当該端末装置に備えた記憶手段から前記コンテンツＩＤに対するマルチメディアデータを読み出し、前記映像制御手段が、前記マルチメディアデータ取得手段により受信されたマルチメディアデータ、または、読み出されたマルチメディアデータの再生ポイントを決定することを特徴とする。
【００２５】
また、請求項１６の端末装置は、請求項１３から１５までのいずれか一項に記載の端末装置において、前記映像取込手段が、マーカーシンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記マーカーシンボルを認識し、前記マーカーシンボルから、前記映像が表示された画面の位置及び向きを求め、前記画面の位置及び向きに基づいて、前記マルチメディアデータを前記再生中の番組コンテンツの動画像データに合成することを特徴とする。
【００２６】
また、請求項１７の端末装置は、請求項１３から１６までのいずれか一項に記載の端末装置において、前記映像取込手段が、前記メディア時刻シンボルの代わりに、所定時間毎にインクリメントする調整用メディア時刻を示す２次元配列によって構成された２次元コードの調整用メディア時刻シンボルを含む前記映像を取り込み、前記映像制御手段が、さらに、前記映像取込手段により取り込まれた映像から前記調整用メディア時刻シンボルを認識し、前記調整用メディア時刻シンボルを２次元コードに変換して調整用メディア時刻を取得し、前記取得した調整用メディア時刻、及び前記メディア時刻シンボルを認識して取得したメディア時刻に基づいて、マルチメディアデータの新たな再生ポイントを決定することを特徴とする。
【発明の効果】
【００２７】
このように、本発明によれば、動画像データ及びマルチメディアデータを合成する際に、動画像データのタイムラインとマルチメディアデータのタイムラインとの間の同期を、再生中の動画像データに関する再生開始時点からの相対時刻を示す２次元コードのシンボルを用いて確立させるようにした。２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態である。これにより、高性能なカメラスペック及び多くの計算資源が必要な電子透かし技術を用いることなく、簡易な手法により同期を確立させることが可能となる。したがって、動画像データと同期したマルチメディアデータの提供サービスを、容易に実現することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態によるデジタル放送送信機、デジタル放送受信機、携帯端末及びマルチメディアデータ送信装置により構成される全体システムを説明する図である。
【図２】デジタル放送送信機の構成を示すブロック図である。
【図３】デジタル放送受信機の構成を示すブロック図である。
【図４】携帯端末の構成を示すブロック図である。
【図５】デジタル放送送信機の処理を説明するフローチャートである。
【図６】校正モードにおけるデジタル放送受信機の処理を説明するフローチャートである。
【図７】通常再生モードにおけるデジタル放送受信機の処理を説明するフローチャートである。
【図８】携帯端末の処理を説明するフローチャートである。
【図９】マーカーシンボルの例を示す図である。
【図１０】メディア時刻シンボルの例を示す図である。
【図１１】調整用メディア時刻シンボルの例を示す図である。
【図１２】コンテンツＩＤシンボルの例を示す図である。
【図１３】校正モード時のデジタル放送受信機に表示される画面例を示す図である。
【図１４】通常再生モード時のデジタル放送受信機に表示される画面例を示す図である。
【図１５】通常再生モード時の携帯端末に表示される画面例を示す図である。
【図１６】メディア時刻コード及びシンボルの時間推移の例を説明する図である。
【図１７】調整用メディア時刻コード及びシンボルの時間推移の例を説明する図である。
【発明を実施するための形態】
【００２９】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔全体システム〕
まず、全体システムについて説明する。図１は、本発明の実施形態によるデジタル放送送信機、デジタル放送受信機、携帯端末（端末装置）及びマルチメディアデータ送信装置により構成される全体システムを説明する図である。このシステムは、デジタル放送システム５及びマルチメディアデータ送受信システム６により構成され、デジタル放送送信機１、デジタル放送受信機２、携帯端末３及びマルチメディアデータ送信装置４を備えている。
【００３０】
デジタル放送システム５は、デジタル放送送信機１及びデジタル放送受信機２を含んで構成される。デジタル放送送信機１は、動画像の番組コンテンツと、シンボル化プログラム（デジタル放送受信機２に、所定のシンボルを生成させるためのプログラム）及びマーカー情報を含むデータ放送コンテンツとを多重化し、放送波として送出する。
【００３１】
デジタル放送受信機２は、デジタル放送送信機１から送出された放送波を受信し、番組コンテンツと、シンボル化プログラム及びマーカー情報を含むデータ放送コンテンツとに分離し、データ放送コンテンツからシンボル化プログラムを抽出して実行すると共に、番組コンテンツを再生して表示する。そして、校正モード時には、データ放送コンテンツからマーカー情報を抽出し、番組コンテンツからコンテンツＩＤ及び時刻情報を抽出し、コンテンツＩＤ及び時刻情報を２次元コード化してこの２次元コードをシンボル化すると共に、マーカー情報をシンボル化し、再生中の番組コンテンツにオーバーレイ表示する。一方、通常再生モード時には、番組コンテンツと共に、マーカー情報及時刻情報のシンボルをオーバーレイ表示する。
【００３２】
マルチメディアデータ送受信システム６は、携帯端末３及びマルチメディアデータ送信装置４を含んで構成される。携帯端末３は、デジタル放送受信機２にオーバーレイ表示された再生中の番組コンテンツ及び各種シンボルを撮影し、オーバーレイ表示された各種シンボルを認識してマーカー情報、コンテンツＩＤ及び時刻情報を取得する。そして、携帯端末３は、マーカー情報に基づいて、デジタル放送受信機２の位置及び向きを決定し、コンテンツＩＤに基づいて、再生中の番組コンテンツに関連するマルチメディアデータをマルチメディアデータ送信装置４から受信するか、または記憶手段から読み出す。また、携帯端末３は、時刻情報に基づいて、再生中の番組コンテンツに同期したマルチメディアデータの再生ポイントを決定する。これにより、再生中の番組コンテンツと、再生中の番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。携帯端末３は、撮影した番組コンテンツの動画像データとマルチメディアデータとを合成して画面表示する。
【００３３】
マルチメディアデータ送信装置４は、携帯端末３からコンテンツＩＤを受信し、受信したコンテンツＩＤに対するマルチメディアデータを携帯端末３へ送信する。これにより、携帯端末３は、マルチメディアデータ送信装置４からマルチメディアデータを受信し、記憶手段に格納することができる。
【００３４】
このシステムによれば、携帯端末３を視聴するユーザは、デジタル放送送信機１から送出されデジタル放送受信機２に表示された番組コンテンツの動画像データと、マルチメディアデータ送信装置４から送信されたマルチメディアデータとの同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【００３５】
また、従来の電子透かし方式では、動画像データに重畳された時刻の電子透かしを検出するためには、高性能なカメラスペックが必要であり、多くの計算資源も必要であった。これに対し、本発明の実施形態では、２次元シンボルの時刻情報に基づいて、再生中の番組コンテンツに関する時刻情報を得ることができ、これに同期したマルチメディアデータの再生ポイントを決定するようにした。この２次元シンボルは、コンピュータビジョンにおける最も認識しやすい形態である。これにより、電子透かし方式に比べ簡易な手法にて、番組コンテンツのタイムラインとマルチメディアデータのタイムラインとの間の同期を確立させることが可能となる。
【００３６】
また、本発明の実施形態では、マーカーに基づいてデジタル放送受信機２の位置及び向きを決定するようにしたから、番組コンテンツ及びマルチメディアデータを合成する際に、デジタル放送受信機２の位置及び向きを考慮した適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。したがって、携帯端末３に対するデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができ、適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。
【００３７】
〔デジタル放送送信機〕
次に、図１に示したデジタル放送送信機１について説明する。図２は、デジタル放送送信機１の構成を示すブロック図である。図５は、デジタル放送送信機１の処理を説明するフローチャートである。図２を参照して、このデジタル放送送信機１は、コンテンツ記憶手段１０、放送制御手段１１及び放送送出手段１２を備えている。
【００３８】
コンテンツ記憶手段１０には、番組コンテンツ及びデータ放送コンテンツ等の放送コンテンツが格納されている。番組コンテンツには、その番組コンテンツのＩＤ（コンテンツＩＤ）が付随しており、再生開始時点からの相対時刻（以下、メディア時刻という。）を示す情報（以下、メディア時刻情報という。）等の、再生制御に関する様々な制御パラメータが含まれている。データ放送コンテンツには、シンボル化プログラム、及び、デジタル放送受信機２において番組コンテンツにオーバーレイ表示されるマーカーに関する情報（マーカー情報）が含まれる。シンボル化プログラムは、番組コンテンツの再生制御を行い、データ放送コンテンツからマーカー情報を抽出し、番組コンテンツからコンテンツＩＤ及びメディア時刻情報を抽出し、コンテンツＩＤ及びメディア時刻情報を２次元コード化して２次元シンボルを生成し、調整用メディア時刻情報を２次元コード化して２次元シンボルを生成し、マーカー情報のシンボルを生成し、これらのシンボルを番組コンテンツにオーバーレイ表示するためのプログラムである。マーカー情報には、マーカーの形状、及びオーバーレイ表示する際の表示位置の情報が含まれる。
【００３９】
図５を参照して、放送制御手段１１は、コンテンツ記憶手段１０から、所定のコンテンツＩＤの番組コンテンツを読み出す（ステップＳ５０１）。ここで、読み出した番組コンテンツには、コンテンツＩＤが付随しており、メディア時刻情報の制御パラメータが含まれる。また、放送制御手段１１は、コンテンツ記憶手段１０から、シンボル化プログラム及びマーカー情報を読み出す（ステップＳ５０２）。そして、放送制御手段１１は、読み出した番組コンテンツ、シンボル化プログラム及びマーカー情報をＭＰＥＧ−２ ＴＳ Ｓｙｓｔｅｍｓ等により多重化し（ステップＳ５０３）、多重化信号を放送送出手段１２に出力する。
【００４０】
放送送出手段１２は、放送制御手段１１により多重化された番組コンテンツ、シンボル化プログラム及びマーカー情報の多重化信号を入力し、高周波帯の信号に変調し、放送波として外部へ送出する（ステップＳ５０４）。
【００４１】
このように、デジタル放送送信機１によれば、コンテンツＩＤが付随しメディア時刻情報の制御パラメータを含む番組コンテンツ、シンボル化プログラム及びマーカー情報の多重化信号を放送波として送出するようにした。これにより、デジタル放送受信機２は、これらの多重化信号を放送波として受信し、多重化信号を番組コンテンツ、シンボル化プログラム及びマーカー情報に分離し、シンボル化プログラムを実行することにより、２次元のマーカーシンボル、コンテンツＩＤシンボル及びメディア時刻シンボル等を生成することができる。そして、デジタル放送受信機２は、これらのシンボルを番組コンテンツと共にオーバーレイ表示することができる。オーバーレイ表示されるマーカーシンボルは、携帯端末３において、マルチメディアデータを番組コンテンツの動画像データに合成する際に、動画像データに対するマルチメディアデータの表示位置及び向きを決定するために用いられる。また、コンテンツＩＤシンボルは、携帯端末３において、マルチメディアデータを取得するために用いられ、メディア時刻シンボルは、携帯端末３において、番組コンテンツに同期したマルチメディアデータの再生ポイントを決定するために用いられる。
【００４２】
〔デジタル放送受信機〕
次に、図１に示したデジタル放送受信機２について説明する。図３は、デジタル放送受信機２の構成を示すブロック図である。このデジタル放送受信機２は、放送受信手段２１、処理手段２２、ユーザ操作手段２３、記憶手段２４及び表示手段２５を備えている。
【００４３】
放送受信手段２１は、デジタル放送送信機１により送出された放送波を受信するチューナー等から構成され、受信した放送波における高周波帯の信号を元の多重化信号に復調する。そして、放送受信手段２１は、多重化信号を、番組コンテンツと、シンボル化プログラム及びマーカー情報を含むデータ放送コンテンツとに分離し、処理手段２２に出力する。
【００４４】
処理手段２２は、放送受信手段２１から番組コンテンツ及びデータ放送コンテンツを入力し、データ放送コンテンツに含まれるシンボル化プログラム及びマーカー情報を抽出し、番組コンテンツ、シンボル化プログラム及びマーカー情報を記憶手段２４に格納する。また、処理手段２２は、後述するユーザ操作手段２３から動作モード（校正モードまたは通常再生モード）及びシンボルの属性等の各データを入力し、動作モードに応じた処理、及びシンボルの属性に応じた処理を行う。動作モードに応じた処理及びシンボルの属性に応じた処理については後述する。
【００４５】
処理手段２２は、図示しない制御手段（ＣＰＵ）が記憶手段２４からシンボル化プログラムを読み出して実行することにより、コンテンツ再生制御手段２００、時刻情報抽出手段２０１、コンテンツＩＤ抽出手段２０２、マーカー情報抽出手段２０３、２次元コード化手段２０４、シンボル化手段２０５及び表示制御手段２０６を機能させる。すなわち、図示しない制御手段がシンボル化プログラムを実行することにより、処理手段２２は、前述した構成手段を備えることになり、それぞれの構成手段が後述するそれぞれの処理を行うことになる。図３に示した処理手段２２の構成は、シンボル化プログラムが実行された状態を示している。
【００４６】
具体的には、処理手段２２は、シンボル化プログラムの実行により、番組コンテンツ及びデータ放送コンテンツを再生し、すなわち、マーカー情報、コンテンツＩＤ、メディア時刻情報等のシンボルを生成し、再生中の番組コンテンツとこれらのシンボルとをオーバーレイし、表示手段２５に出力する。これにより、番組コンテンツ及び各種シンボルは、表示手段２５によりオーバーレイ表示される。処理手段２２の詳細については後述する
【００４７】
ユーザ操作手段２３は、例えば、デジタル放送受信機２を遠隔操作するリモコンにより構成され、ユーザのキー操作等により指定される動作モード（校正モードまたは通常再生モード）及びシンボルの属性等のデータを処理手段２２に出力する。シンボルの属性は、例えば、シンボルの形状、表示位置、色、サイズ、表示／非表示等が含まれる。尚、ユーザ操作手段２３において指定された動作モード及びシンボルの属性は、図示しない送信手段により携帯端末３へ送信するようにしてもよい。
【００４８】
記憶手段２４は、例えばメモリ、ハードディスク等により構成され、番組コンテンツ、シンボル化プログラム、マーカー情報、シンボル化プログラムの実行による処理結果等が格納される。
【００４９】
表示手段２５は、例えばＬＣＤ（液晶ディスプレイ）により構成され、処理手段２２の表示制御手段２０６による処理結果として、番組コンテンツと各種シンボルとをオーバーレイ表示する。
【００５０】
このように、デジタル放送受信機２によれば、デジタル放送送信機１により送出された番組コンテンツ及びデータ放送コンテンツの多重化信号を放送波として受信し、多重化信号を番組コンテンツ、シンボル化プログラム及びマーカー情報に分離し、シンボル化プログラムを実行し、マーカーシンボル、コンテンツＩＤシンボル、メディア時刻シンボル等を生成し、番組コンテンツにオーバーレイ表示するようにした。これにより、携帯端末３は、オーバーレイ表示された映像を取り込むことができ、マルチメディアデータを番組コンテンツの動画像データに合成する際に、マーカーシンボルから動画像データに対するマルチメディアデータの位置、サイズ及び向きを決定し、コンテンツＩＤシンボルからマルチメディアデータを取得し、メディア時刻シンボル等から番組コンテンツに同期したマルチメディアデータの再生ポイントを決定することができる。
【００５１】
（デジタル放送受信機／処理）
次に、図３に示したデジタル放送受信機２の処理について説明する。デジタル放送受信機２は、ユーザ操作により、動作モードが校正モードまたは通常再生モードに選択される。以下、校正モードが選択された場合の処理、通常再生モードが選択された場合の処理に分けてそれぞれ説明する。
【００５２】
（校正モード）
まず、校正モードが選択された場合の処理について説明する。図６は、校正モードが選択された場合の処理を説明するフローチャートである。図６では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。また、処理手段２２のコンテンツ再生制御手段２００が番組コンテンツを再生し、表示制御手段２０６が番組コンテンツを表示手段２５に表示しているものとする。
【００５３】
番組コンテンツの再生中に、ユーザにより、動作モードとして校正モードが選択されると（ステップＳ６０１）、ユーザ操作手段２３は、校正モードが選択されたことを示すデータを処理手段２２に出力する。
【００５４】
処理手段２２が、校正モードが選択されたことを示すデータを入力すると、時刻情報抽出手段２０１は、コンテンツ再生制御手段２００によって再生中の番組コンテンツに含まれる制御パラメータからメディア時刻情報を抽出し、２次元コード化手段２０４に出力する（ステップＳ６０２）。また、コンテンツＩＤ抽出手段２０２は、再生中の番組コンテンツから、その番組コンテンツに付随したコンテンツＩＤを抽出し、２次元コード化手段２０４に出力する（ステップＳ６０３）。また、マーカー情報抽出手段２０３は、コンテンツ再生制御手段２００からデータ放送コンテンツを入力し、データ放送コンテンツからマーカー情報を抽出し、シンボル化手段２０５に出力する（ステップＳ６０４）。
【００５５】
２次元コード化手段２０４は、ステップＳ６０２及びステップＳ６０３の後に、時刻情報抽出手段２０１からメディア時刻情報を入力し、コンテンツＩＤ抽出手段２０２からコンテンツＩＤを入力し、メディア時刻情報及びコンテンツＩＤを２次元コードに変換し、また、メディア時刻情報の一部分を抜き出して調整用メディア時刻情報を生成し、同様に２次元コードに変換する（ステップＳ６０５）。例えば、メディア時刻情報の下位４ビットを抜き出して調整用メディア時刻情報とし、その調整用メディア時刻情報を２次元コードに変換する。この場合、調整用メディア時刻コード及びシンボルは、メディア時刻コード及びシンボルの一部分となる。そして、２次元コード化手段２０４は、２次元コードに変換したメディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードをシンボル化手段２０５に出力する。ここで、２次元コードとは、２次元配列される複数のセルにそれぞれ対応したデータにより構成されたコードである。
【００５６】
図１６は、メディア時刻情報の２次元コードを示すメディア時刻コード、及びメディア時刻情報のシンボルを示すメディア時刻シンボルの時間推移の例を説明する図である。図１６に示すように、メディア時刻情報を２次元コード化して得られたメディア時刻コードは、重みが付けられた４×４＝１６の各セルにより、これらのセルにそれぞれ対応したデータが２次元配列して構成されたコードであり、（ｎ０，ｎ１，・・・，ｎ１５）のベクトル表記により、０〜２１６−１の数値で表すことができる。ここで、ｎ０〜ｎ１５は、各セルに対応したデータ（０または１）を示す。
【００５７】
例えば、番組コンテンツの再生開始時点０から時刻Δｔ（Δｔは予め設定された値である。）までの間のメディア時刻は０〜Δｔであり、２次元コード化手段２０４は、このメディア時刻情報を、数値０のメディア時刻コード（０，０，・・・，０）に変換する。そして、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（１）に示すように、各セルの値に対応した黒塗り（セルの値が１の場合）及び白塗り（セルの値が０の場合）の形態の組み合わせからなる、２次元形態の（２次元コードが反映された）メディア時刻シンボルを生成する。また、メディア時刻がΔｔから２×Δｔまでにおいては、２次元コード化手段２０４は、このメディア時刻情報を、数値１のメディア時刻コード（１，０，・・・，０）に変換する。そして、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（２）に示す２次元形態のメディア時刻シンボルを生成する。同様にして、番組コンテンツの再生が完了すると、２次元コード化手段２０４は、このときのメディア時刻情報をメディア時刻コードに変換し、後述するシンボル化手段２０５は、このメディア時刻コードから、図１６（４）に示す２次元形態のメディア時刻シンボルを生成する。図１６において、ｔはメディア時刻を示す。
【００５８】
図１７は、調整用メディア時刻情報の２次元コードを示す調整用メディア時刻コード、及び調整用メディア時刻情報のシンボルを示す調整用メディア時刻シンボルの時間推移の例を説明する図である。図１７に示すように、調整用メディア時刻情報を２次元コード化して得られた調整用メディア時刻コードは、重みが付けられた２×２＝４の各セルにより、これらのセルにそれぞれ対応したデータが２次元配列して構成されたコードであり、（ｎ０，ｎ１，ｎ２，ｎ３）のベクトル表記により、０〜１５の数値で表すことができる。ここで、ｎ０〜ｎ３は、各セルに対応したデータ（０または１）を示す。
【００５９】
２次元コード化手段２０４は、例えば、メディア時刻情報の下位４ビットを抜き出して調整用メディア時刻情報とし、Δｔ’（＝Δｔ）毎にインクリメントするような調整用メディア時刻コードに変換する。すなわち、調整用メディア時刻コードは、図１６に示したメディア時刻コード（ｎ０，ｎ１，・・・，ｎ１５）のうちの（ｎ０，ｎ１，ｎ２，ｎ３）を用い、調整用メディア時刻シンボルは、図１６に示したメディア時刻シンボルを構成する１６セルのうちの、ｎ０〜ｎ３に対応する４セルを用いたシンボル（図１７）となる。ここで、Δｔ’＝Δｔであり、番組コンテンツの再生開始時点が基準のタイミングとなる。
【００６０】
尚、２次元コード化手段２０４は、ステップＳ６０５において、メディア時刻情報の一部を抜き出さないでメディア時刻情報とは別に、独自の調整用メディア時刻情報を生成するようにしてもよい。すなわち、２次元コード化手段２０４は、番組コンテンツの再生開始時点を基準のタイミングとして、ｔ＝Δｔ’×１６×ｎ＋τ（ｎはｎ≧０となる整数、τは０≦τ≦Δｔ’×１６となる実数）により求められる相対時刻τを調整用メディア時刻情報として生成し、Δｔ’毎にインクリメントするような調整用メディア時刻コードに変換する。ここで、調整用メディア時刻コードは、床関数Ｆｌｏｏｒ（ｔ／Δｔ’）の戻り値に対する、（ｍｏｄ １６）の演算結果である数値０〜１５により表される。ｔはメディア時刻である。
【００６１】
番組コンテンツの再生開始時点を基準のタイミングとして、時刻０から時刻Δｔ’までの間の調整用メディア時刻は０〜Δｔ’であり、２次元コード化手段２０４は、この調整用メディア時刻情報を、数値０の調整用メディア時刻コード（０，０，０，０）に変換する。そして、後述するシンボル化手段２０５は、この調整用メディア時刻コードから、図１７（１）に示すように、各セルの値に対応した黒塗り（セルの値が１の場合）及び白塗り（セルの値が０の場合）の形態の組み合わせからなる、２次元形態の（２次元コードが反映された）調整用メディア時刻シンボルを生成する。また、調整用メディア時刻がΔｔ’から２×Δｔ’までにおいては、２次元コード化手段２０４は、この調整用メディア時刻情報を、数値１の調整用メディア時刻コード（１，０，０，０）に変換する。そして、後述するシンボル化手段２０５は、この調整用メディア時刻コードから図１７（２）に示す２次元形態の調整用メディア時刻シンボルを生成する。同様にして、調整用メディア時刻が１５×Δｔ’から１６×Δｔ’までにおいては、２次元コード化手段２０４は、調整用メディア時刻情報を、数値１５の調整用メディア時刻コード（１，１，１，１）に変換し、後述するシンボル化手段２０５は、この調整用メディア時刻コードから、図１７（１６）に示す２次元形態の調整用メディア時刻シンボルを生成する。そして、その後のΔｔ’の期間においては、調整用メディア時刻を０からΔｔ’までとするようにリセットし、２次元コード化手段２０４は、調整用メディア時刻情報を、数値０の調整用メディア時刻コード（０，０，０，０）に変換し、後述するシンボル化手段２０５は、このメディア時刻コードから、図１７（１）に示す２次元形態の調整用メディア時刻シンボルを生成する。このように、図１７において（１）〜（１６）の後（１）〜（１６）を順次繰り返す。
【００６２】
２次元コード化手段２０４は、コンテンツＩＤについても、メディア時刻情報及び調整用メディア時刻情報の場合と同様に、コンテンツＩＤを２次元のコンテンツＩＤコードに変換する。
【００６３】
図６に戻って、シンボル化手段２０５は、ステップＳ６０４及びステップＳ６０５の後に、マーカー情報抽出手段２０３からマーカー情報を入力すると共に、２次元コード化手段２０４からメディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードを入力する。そして、シンボル化手段２０５は、マーカー情報に含まれるマーカー形状からマーカーシンボルを生成し、メディア時刻コード、調整用メディア時刻コード及びコンテンツＩＤコードから、２次元コードが反映された２次元形態のメディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを生成する。シンボル化手段２０５は、これらのシンボルを表示制御手段２０６に出力する（ステップＳ６０６）。
【００６４】
図９は、マーカーシンボルの例を示す図である。マーカーシンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の左上、左下及び右上にオーバーレイ表示される。シンボル化手段２０５は、マーカー情報からマーカー形状及び表示位置の情報を取得し、マーカー形状に従って、図９に示すようなマーカーシンボルを生成する。シンボル化手段２０５により生成されたマーカーシンボルは、表示位置の情報と共に表示制御手段２０６に出力される。図９には、表示制御手段２０６により表示手段２５に出力された番組コンテンツの本線映像、及び、表示制御手段２０６により表示位置の情報に従って表示手段２５の画面の左上、左下及び右上に配置されたマーカーシンボルが示されている。このマーカーシンボルには、ドーナッツ形状のリング及び円により構成された目玉型のシンボルの近傍に、星型のマーク、ハート型のマークまたは山型のマークが付与されており、これらのマークは、マーカーシンボルの位置を判別するために用いられる。例えば、携帯端末３において、星型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の左上に配置されたものであると判別される。同様に、ハート型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の左下に配置されたものであると判別され、山型のマークを含むマーカーシンボルが認識された場合、そのマーカーシンボルは、表示手段２５の画面の右上に配置されたものであると判別される。これらのマーカーシンボルは、携帯端末３において、携帯端末３を基準にしたデジタル放送受信機２の位置及び向きを求めるために用いられる。そして、携帯端末３を基準にしたデジタル放送受信機２における画面の位置及び向きに基づいて、マルチメディアデータを番組コンテンツの動画像データに合成する表示位置、サイズ及び向きが決定され、合成映像が生成される。
【００６５】
図１０は、メディア時刻シンボルの例を示す図である。メディア時刻シンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の左中央にオーバーレイ表示される。シンボル化手段２０５は、図１６に示したように、メディア時刻コードからメディア時刻シンボルを生成する。シンボル化手段２０５により生成されたメディア時刻シンボルは、表示制御手段２０６に出力される。図１０には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の左中央に配置されたメディア時刻シンボルが示されている。このメディア時刻シンボルは携帯端末３に取り込まれ、再生中の番組コンテンツと同期するマルチメディアデータの再生ポイントを決定するために用いられる。そして、決定された再生ポイントのマルチメディアデータが、再生中の番組コンテンツの動画像データに合成される。
【００６６】
図１１は、調整用メディア時刻シンボルの例を示す図である。調整用メディア時刻シンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の右下にオーバーレイ表示される。シンボル化手段２０５は、図１７に示したように、調整用メディア時刻コードから調整用メディア時刻シンボルを生成する。シンボル化手段２０５により生成された調整用メディア時刻シンボルは、表示制御手段２０６に出力される。図１１には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の右下に配置された調整用メディア時刻シンボルが示されている。この調整用メディア時刻シンボルは携帯端末３に取り込まれ、再生中の番組コンテンツと同期するマルチメディアデータの再生ポイントを決定する際の微調整のために用いられる。そして、決定された再生ポイントのマルチメディアデータが、再生中の番組コンテンツの動画像データに合成される。
【００６７】
図１２は、コンテンツＩＤシンボルの例を示す図である。コンテンツＩＤシンボルは、番組コンテンツの本線映像が表示される表示手段２５において、画面の右中央にオーバーレイ表示される。シンボル化手段２０５は、コンテンツＩＤコードから図１２に示すコンテンツＩＤシンボルを生成する。シンボル化手段２０５により生成されたコンテンツＩＤシンボルは、表示制御手段２０６に出力される。図１２には、表示制御手段２０６により表示手段２５に出力される番組コンテンツの本線映像、及び、表示制御手段２０６により所定の表示位置の情報（ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置）に従って表示手段２５の画面の右中央に配置されたコンテンツＩＤシンボルが示されている。このコンテンツＩＤシンボルは携帯端末３に取り込まれ、マルチメディアデータを取得するために用いられる。そして、マルチメディアデータは、再生中の番組コンテンツの動画像データに同期して合成される。
【００６８】
図６に戻って、表示制御手段２０６は、コンテンツ再生制御手段２００から番組コンテンツを入力すると共に、シンボル化手段２０５からマーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを入力する。そして、表示制御手段２０６は、これらのシンボルを、所定の表示位置の情報に従って再生中の番組コンテンツにオーバーレイ表示するための制御を行い、番組コンテンツ及びこれらのシンボルを表示手段２５に出力する（ステップＳ６０７）。ここで、マーカーシンボルの場合における所定の表示位置の情報は、マーカー情報に含まれるマーカー表示位置であり、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルの場合における所定の表示位置の情報は、ユーザ操作手段２３から入力するシンボルの属性に含まれる表示位置である。
【００６９】
尚、所定の表示位置の情報は、デジタル放送送信機１からデータ放送コンテンツの一部として送出され、表示制御手段２０６がコンテンツ再生制御手段２００から入力するようにしてもよいし、表示制御手段２０６において予め設定されていてもよい。
【００７０】
図１３は、校正モード時においてデジタル放送受信機２の表示手段２５に表示される画面例を示す図である。この画面は、各種シンボルが番組コンテンツの本線映像にオーバーレイ表示されたものであり、マーカーシンボルが画面の左上、左下及び右上に表示され、メディア時刻シンボルが画面の左中央に表示され、調整用メディア時刻シンボルが画面の右下に表示され、コンテンツＩＤシンボルが画面の右中央に表示されている。表示制御手段２０６は、表示手段２５に対し、図１３に示した画面を表示させるように表示制御する。表示手段２５に表示された番組コンテンツ及び各種シンボルは、携帯端末３によって撮影され取り込まれ、これらのシンボルによって、マルチメディアデータを取得する処理、マルチメディアデータの再生ポイントを決定する処理、再生中の番組コンテンツの動画像データにマルチメディアデータを同期合成させる処理等が行われる。
【００７１】
また、表示制御手段２０６は、ユーザ操作手段２３からシンボルの属性を入力し、入力した属性に従って各種シンボルの表示制御を行う。シンボルの属性には、前述したとおり、シンボルの形状、表示位置、色、サイズ、表示／非表示等が含まれる。例えば、表示制御手段２０６は、シンボルの属性として、調整用メディア時刻シンボルの非表示を入力した場合、調整用メディア時刻シンボルを画面表示しないようにする。
【００７２】
尚、表示制御手段２０６は、データ放送の規定（ＡＲＩＢ ＳＴＤ−Ｂ２４）に準じて表示制御を行うようにしてもよい。例えば、デジタル放送送信機１がメディア時刻シンボル等の各種シンボルを表示するためのタイミング情報をイベントメッセージに含めて送出し、デジタル放送受信機２の表示制御手段２０６がこのイベントメッセージに基づいて各種シンボルを表示手段２５に表示するように制御してもよい。これにより、デジタル放送送信機１が主体的に各種シンボルの表示制御を行うことができ、デジタル放送受信機２に表示された各種シンボルにて、番組コンテンツの動画データとマルチメディアデータとの間の同期が確立するから、デジタル放送送信機１による同期確立の制御を実現することが可能となる。
【００７３】
（通常再生モード）
次に、通常再生モードが選択された場合の処理について説明する。図７は、通常再生モードが選択された場合の処理を説明するフローチャートである。図７では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。
【００７４】
デジタル放送受信機２が校正モードで動作しているときに、ユーザにより、動作モードとして通常再生モードが選択されると（ステップＳ７０１）、ユーザ操作手段２３は、通常再生モードが選択されたことを示すデータを処理手段２２に出力する。尚、デジタル放送受信機２が校正モードで動作してから所定時間経過した後に、ユーザ操作手段２３は、通常再生モードが選択されたことを示すデータを処理手段２２に出力するようにしてもよい。
【００７５】
処理手段２２が、通常再生モードが選択されたことを示すデータを入力すると、２次元コード化手段２０４は、校正モード時と同様に、メディア時刻情報から一部分を抜き出して調整用メディア時刻情報を生成し、調整用メディア時刻情報を２次元の調整用メディア時刻コードに変換する（ステップＳ７０２）。この場合の基準時刻は、メディア時刻情報と同様に、番組コンテンツの番組開始時点である。尚、２次元コード化手段２０４は、動作モードが校正モードから通常再生モードに変更されたタイミングのメディア時刻を基準時刻に設定し、この基準時刻から所定時間Δｔ’毎にインクリメントする調整用メディア時刻を求めて調整用メディア時刻情報を生成し、図１７に示したように、２次元の調整用メディア時刻コードに変換するようにしてもよい。
【００７６】
マーカー情報抽出手段２０３は、校正モード時と同様に、コンテンツ再生制御手段２００からデータ放送コンテンツを入力し、データ放送コンテンツからマーカー情報を抽出し、シンボル化手段２０５に出力する（ステップＳ７０３）。
【００７７】
シンボル化手段２０５は、ステップＳ７０２及びステップＳ７０３の後に、マーカー情報抽出手段２０３からマーカー情報を入力すると共に、２次元コード化手段２０４から２次元の調整用メディア時刻コードを入力し、マーカーシンボル及び２次元コードが反映された２次元形態の調整用メディア時刻シンボルを生成して表示制御手段２０６に出力する（ステップＳ７０４）。
【００７８】
表示制御手段２０６は、コンテンツ再生制御手段２００から番組コンテンツを入力すると共に、シンボル化手段２０５からマーカーシンボル及び調整用メディア時刻シンボルを入力する。そして、表示制御手段２０６は、校正モード時と同様に、これらのシンボルを、所定の表示位置の情報に従って番組コンテンツにオーバーレイ表示するための制御を行い、番組コンテンツ及びこれらのシンボルを表示手段２５に出力する（ステップＳ７０５）。
【００７９】
図１４は、通常再生モード時においてデジタル放送受信機２の表示手段２５に表示される画面例を示す図である。この画面は、各種シンボルが番組コンテンツの本線映像にオーバーレイ表示されたものであり、マーカーシンボルが画面の左上、左下及び右上に表示され、調整用メディア時刻シンボルが画面の右下に表示されている。表示制御手段２０６は、表示手段２５に対し、図１４に示した画面を表示させるように表示制御する。ここで、表示制御手段２０６は、校正モード時の図１３よりも小さいサイズのマーカーシンボルを表示するように、予め設定されたサイズの情報に従って制御する。このサイズの情報は、ユーザ操作手段２３から入力するようにしてもよい。尚、表示制御手段２０６は、校正モードから通常再生モードへの変更時に、アニメーションによって、図１３に示した大きいサイズから図１４に示す小さいサイズのマーカーシンボルへ徐々に変化させるようにしてもよい。
【００８０】
マーカーシンボルのサイズ等のシンボルの属性は、校正モード時と同様に、ユーザ操作手段２３により変更される。例えば、ユーザは、マーカーシンボル及び調整用メディア時刻シンボルのサイズを小さくするための操作を行うことにより、処理手段２２の表示制御手段２０６は、ユーザ操作手段２３からシンボルの属性を入力して、これらのシンボルのサイズが小さくなるように表示制御を行う。これにより、ユーザは、番組コンテンツの本線映像を、シンボルの表示に邪魔されることなく視聴することができる。
【００８１】
表示手段２５に表示された番組コンテンツ、マーカーシンボル及び調整用メディア時刻シンボルは、携帯端末３によって撮影されて取り込まれ、これらのシンボルによって、マルチメディアデータの再生ポイントを決定する処理、再生中の番組コンテンツの動画像データにマルチメディアデータを同期合成させる処理等が行われる。
【００８２】
このように、通常再生モードにおける調整用メディア時刻コード及び調整用メディア時刻シンボルは、番組コンテンツの番組開始時点（または、動作モードが校正モードから通常再生モードに変更されたタイミング）を基準にして、調整用メディア時刻がインクリメントされることにより、メディア時刻情報なしに変換及び生成される。後述するように、調整用メディア時刻シンボルは、携帯端末３において、マルチメディアデータの再生ポイントを決定するために用いられる。これにより、メディア時刻シンボルが不要になるから、時刻情報抽出手段２０１においてメディア時刻情報を抽出するための処理、２次元コード化手段２０４においてメディア時刻の２次元コードを生成する処理、シンボル化手段２０５においてメディア時刻のシンボルを生成する処理も不要になり、デジタル放送受信機２の処理負荷を低減することができる。また、通常再生モードにおいては、コンテンツＩＤシンボルも不要になるから、コンテンツＩＤ抽出手段２０２によるコンテンツＩＤを抽出する処理、その後の２次元コード化及びシンボル化の処理も不要になり、デジタル放送受信機２の処理負荷を一層低減することができる。
【００８３】
〔携帯端末〕
次に、図１に示した携帯端末３について説明する。図４は、携帯端末３の構成を示すブロック図である。この携帯端末３は、映像取込手段３１、映像制御手段３２、マルチメディアデータ取得手段３３、記憶手段３４及び表示手段３５を備えている。携帯端末３は、例えば、電話機能、カメラによる撮影機能、及びインターネット等の通信路にアクセスする通信機能を有する携帯電話機である。
【００８４】
映像取込手段３１は、携帯端末３に内蔵されたカメラにより、デジタル放送受信機２の表示手段２５に表示された再生中の番組コンテンツ及び各種シンボルを再撮して取り込み、取り込んだ映像を映像制御手段３２に出力する。
【００８５】
映像制御手段３２は、映像取込手段３１から再生中の番組コンテンツ及び各種シンボルの映像を入力し、各種シンボルを認識することにより、動作モードを判定し、メディア時刻、調整用メディア時刻、コンテンツＩＤを取得すると共に、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める。そして、映像制御手段３２は、コンテンツＩＤをマルチメディアデータ取得手段３３に出力し、マルチメディアデータ取得手段３３からその応答として、コンテンツＩＤに対するマルチメディアデータを入力する。また、映像制御手段３２は、メディア時刻に基づいて、マルチメディアデータの再生ポイントを決定し、表示手段２５の画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データに対するマルチメディアデータの表示位置、サイズ及び向きを決定し、再生中の番組コンテンツの動画像データと再生ポイントのマルチメディアデータとを合成して表示手段３５に出力する。
【００８６】
マルチメディアデータ取得手段３３は、映像制御手段３２からコンテンツＩＤを入力し、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されている場合、記憶手段３４からマルチメディアデータを読み出して映像制御手段３２に出力する。また、マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されていない場合、コンテンツＩＤを含むマルチメディアデータ取得要求を、図１に示したマルチメディアデータ送信装置４へ送信し、マルチメディアデータ送信装置４からコンテンツＩＤに対するマルチメディアデータを受信し、映像制御手段３２に出力する。
【００８７】
記憶手段３４には、コンテンツＩＤに対するマルチメディアデータが格納されている。このマルチメディアデータには、コンテンツＩＤの番組コンテンツの動画像データと合成する際における、開始時点からの相対時刻及び合成位置等の情報が含まれる。
【００８８】
表示手段３５は、映像制御手段３２から、再生中の番組コンテンツの動画像データと再生ポイントのマルチメディアデータとの合成映像を入力し、画面に表示する。これにより、ユーザは、携帯端末３の表示手段３５に表示された合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【００８９】
（携帯端末／処理）
次に、図４に示した携帯端末３の処理について説明する。図８は、携帯端末３の処理を説明するフローチャートである。図８では、並列処理を行うように示してあるが、矢印の前までの処理が完了していれば、順次処理により、その後の処理を行うことができるものとする。
【００９０】
携帯端末３の映像取込手段３１は、内蔵のカメラにより、デジタル放送受信機２の表示手段２５に表示された再生中の番組コンテンツ及び各種シンボルの映像を取り込み、映像制御手段３２に出力する（ステップＳ８０１）。
【００９１】
映像制御手段３２は、映像取込手段３１から映像を入力し、マーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルの各種シンボルを認識する（ステップＳ８０２）。具体的には、映像制御手段３２は、予め設定された各種シンボルの形状、表示位置、サイズ及び色等の属性と、入力した映像を解析して得られたシンボルの属性との間のマッチングを行い、マーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルを認識する。この場合、マッチングの結果によっては、認識できないシンボルもあり得る。ここで、映像取込手段３１により取り込まれる映像は、デジタル放送受信機２の動作モードが校正モードのときには図１３に示したものであり、通常再生モードのときには図１４に示したものである。したがって、認識可能なシンボルは、動作モードによって異なるものとなる。
【００９２】
尚、映像制御手段３２は、最初にマーカーシンボルを認識し、次に、認識したマーカーシンボルの位置を基準にして他のシンボルを認識するようにしてもよい。また、携帯端末３は、デジタル放送受信機２から各種シンボルの属性を受信し、記憶手段３４に格納しておくようにしてもよい。この場合、映像制御手段３２は、ステップＳ８０２において、記憶手段３４から各種シンボルの属性を読み出してマッチングを行い、各種シンボルを認識する。
【００９３】
映像制御手段３２は、認識したシンボルの種類に基づいて、動作モードを判定する（ステップＳ８０３）。具体的には、映像制御手段３２は、認識したシンボルがマーカーシンボル、メディア時刻シンボル、調整用メディア時刻シンボル及びコンテンツＩＤシンボルである場合、動作モードが校正モードであると判定する（ステップＳ８０３：校正モード）。一方、映像制御手段３２は、認識したシンボルがマーカーシンボル及び調整用メディア時刻シンボルである場合、動作モードが通常再生モードであると判定する（ステップＳ８０３：通常再生モード）。
【００９４】
尚、携帯端末３は、デジタル放送受信機２から動作モードを受信し記憶手段３４に格納しておくようにしてもよい。この場合、映像制御手段３２は、ステップＳ８０３において、記憶手段３４から動作モードを読み出して、校正モードまたは通常再生モードを判定する。
【００９５】
（校正モード）
ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、メディア時刻シンボルを２次元のメディア時刻コードに変換し、メディア時刻コードからメディア時刻を取得する（ステップＳ８０４）。具体的には、映像制御手段３２は、図１６に示した処理の逆を行う。映像制御手段３２は、例えば、図１６（２）に示したメディア時刻シンボルを認識した場合、このメディア時刻シンボルを画像処理することにより黒塗りのセルを求め、各セルの重みによってメディア時刻シンボルの２次元コード、すなわちメディア時刻コード（１，０，・・・，０）に変換する。そして、映像制御手段３２は、メディア時刻コード（１，０，・・・，０）及び重みにより求めた数値１に、予め設定された時間Δｔを乗算する等して、メディア時刻ｔを取得する。また、調整用メディア時刻シンボルから調整用メディア時刻を取得し、メディア時刻と調整用メディア時刻との間の同期情報を求めて記憶しておく。例えば、調整用メディア時刻における単位時間の進捗に対するメディア時刻の進捗時間を求め、これを同期情報として記憶しておく。この同期情報は、通常再生モード時において、調整用メディア時刻に基づいてメディア時刻を求める際に用いられる。
【００９６】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、コンテンツＩＤシンボルを２次元のコンテンツＩＤコードに変換し、コンテンツＩＤコードからコンテンツＩＤを取得する（ステップＳ８０５）。具体的には、映像制御手段３２は、前述したメディア時刻コードの変換処理及びメディア時刻の取得処理と同様に、コンテンツＩＤコードの変換処理及びコンテンツＩＤの取得処理を行う。
【００９７】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが校正モードであると判定した場合（ステップＳ８０３：校正モード）、マーカーシンボルを画像処理することにより、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める（ステップＳ８０６）。マーカーシンボルは、図９に示したように、目玉型のシンボル、及び、マーカーシンボルの位置を示す山型、ハート型または星型のマークにより構成され、画面には３つのマーカーシンボルが配置されている。映像制御手段３２は、ステップＳ８０２において、まず目玉型のシンボルを認識し、次にマークを認識することにより、マーカーシンボルの位置を判別する。そして、ステップＳ８０６において、これら３つのマーカーシンボルに基づいて画面の位置及び向きを求める。具体的には、映像制御手段３２は、認識したマーカーシンボルを画像処理することにより、マーカーシンボルの大きさ（直径）及びマーカーシンボル間の距離（マーカーシンボルを構成する円の中心と他の円の中心との間の距離）を求め、予め設定された基準となる大きさ及び距離とを比較することにより、携帯端末３を基準にしたデジタル放送受信機２の位置を求める。また、映像制御手段３２は、マーカーシンボルの形状を求め、予め設定された基準となる形状とを比較し、マーカーシンボルの左右上下の対称性及び各マーカーシンボル間の距離の比を求めることにより、携帯端末３を基準にしたデジタル放送受信機２の向きを求める。
【００９８】
尚、携帯端末３の映像取込手段３１に設けられたカメラがパンすることにより、３つのマーカーシンボルのうちの１つのマーカーシンボルが取り込まれ、１つのマーカーシンボルのみが認識された場合、映像制御手段３２は、認識したマーカーシンボルが３つのマーカーシンボルのうちのどれなのか、画面内のどこに配置されたマーカーシンボルであるかを判別する必要がある。しかし、マーカーシンボルが目玉型のシンボルのみから構成されている場合にはこの判別処理は煩雑であり、処理負荷が高い。そこで、目玉型のシンボルの近くに星型、ハート型または山型のマークを設けることにより、マーカーシンボルの位置を判別する処理を容易に実現するようにした。これにより、画面の位置及び向きの判定を連続的に行うことができる。すなわち、映像制御手段３２は、１つのマーカーシンボルのみを認識した場合、そのマーカーシンボルの近くに設けられたマークを認識することにより、そのマーカーシンボルの位置を判別し、画面の位置及び向きを求める。
【００９９】
映像制御手段３２は、ステップＳ８０５の後に、取得したコンテンツＩＤに対するマルチメディアデータを取得する（ステップＳ８０７）。具体的には、映像制御手段３２は、コンテンツＩＤをマルチメディアデータ取得手段３３に出力し、マルチメディアデータ取得手段３３は、映像制御手段３２から入力したコンテンツＩＤについて、記憶手段３４を検索する。マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されている場合、記憶手段３４からそのマルチメディアデータを読み出して映像制御手段３２に出力する。一方、マルチメディアデータ取得手段３３は、コンテンツＩＤに対するマルチメディアデータが記憶手段３４に格納されていない場合、コンテンツＩＤを含むマルチメディアデータ取得要求をマルチメディアデータ送信装置４へ送信し、マルチメディアデータ送信装置４からマルチメディアデータを受信し、マルチメディアデータを映像制御手段３２に出力する。
【０１００】
尚、マルチメディアデータ取得手段３３は、記憶手段３４にマルチメディアデータが格納されていない場合、マルチメディアデータ送信装置４へマルチメディアデータ取得要求を送信することなく、取得エラーを映像制御手段３２に出力するようにしてもよい。また、マルチメディアデータ取得手段３３は、記憶手段３４にアクセスすることなく、マルチメディアデータ送信装置４へマルチメディアデータ取得要求を直接送信するようにしてもよい。この場合、マルチメディアデータ取得手段３３は、マルチメディアデータ送信装置４からマルチメディアデータを受信しなかった場合、取得エラーを映像制御手段３２に出力する。映像制御手段３２は、マルチメディアデータ取得手段３３から取得エラーを入力した場合、マルチメディアデータの合成処理を行わず、映像取込手段３１が取り込んだ映像を表示手段３５に出力する。
【０１０１】
映像制御手段３２は、ステップＳ８０４及びステップＳ８０７の後に、取得したメディア時刻に基づいて、マルチメディアデータ取得手段３３から入力したマルチメディアデータの再生ポイントを決定する（ステップＳ８０８）。具体的には、映像制御手段３２は、マルチメディアデータに含まれる時刻情報を参照し、メディア時刻に対応したマルチメディアデータの再生ポイントを決定する。前述したとおり、マルチメディアデータには、コンテンツＩＤの番組コンテンツの動画像データと合成する際における、開始時点からの相対時刻及び合成位置等に関する情報が含まれる。
【０１０２】
映像制御手段３２は、ステップＳ８０６において求めた画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データにマルチメディアデータを合成する際の、マルチメディアデータの表示位置、サイズ及び向きを決定する（ステップＳ８０９）。ステップＳ８０６において、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、すなわち、再生中の番組コンテンツの動画像データの位置及び向きが求められるから、マルチメディアデータに含まれる合成位置に関する情報を用いることにより、その動画像データに対するマルチメディアデータの表示位置、サイズ及び向きを決定することができる。つまり、映像制御手段３２は、マルチメディアデータに含まれる合成位置に関する情報を参照し、ステップＳ８０６において求めた画面の位置及び向き（動画像データの位置及び向き）に対応したマルチメディアデータの表示位置、サイズ及び向きを決定する。
【０１０３】
映像制御手段３２は、ステップＳ８０８及びステップＳ８０９の後に、再生ポイントのマルチメディアデータに対し、表示位置、サイズ及び向きを反映し、合成映像を生成し、表示手段３５に出力する（ステップＳ８１０）。
【０１０４】
これにより、携帯端末３は、校正モードにおいて、再生中の番組コンテンツの動画像データと、その番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。したがって、ユーザは、携帯端末３の表示手段３５により、動画像データとマルチメディアデータとが同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１０５】
（通常再生モード）
一方、ステップＳ８０３において、映像制御手段３２は、動作モードが通常再生モードであると判定した場合（ステップＳ８０３：通常再生モード）、調整用メディア時刻シンボルを２次元の調整用メディア時刻コードに変換し、調整用メディア時刻コードから調整用メディア時刻を取得し、メディア時刻を微調整する（ステップＳ８１１）。
【０１０６】
具体的には、映像制御手段３２は、図１７に示した処理の逆を行う。映像制御手段３２は、例えば、図１７（２）に示した調整用メディア時刻シンボルを認識した場合、この調整用メディア時刻シンボルを画像処理することにより黒塗りのセルを求め、各セルの重みによって調整用メディア時刻シンボルの２次元コード、すなわち調整用メディア時刻コード（１，０，０，０）に変換する。そして、映像制御手段３２は、調整用メディア時刻コード（１，０，０，０）及び重みにより求めた数値１と、予め設定された時間Δｔ’とにより、調整用メディア時刻を取得する。この場合、図１７に示したように、（１６）の調整用メディア時刻シンボルから（１）の調整用メディア時刻シンボルに戻り、（１）〜（１６）の後（１）〜（１６）が順次繰り返されるから、この繰り返しが判断され調整用メディア時刻が取得される。
【０１０７】
調整用メディア時刻情報が、メディア時刻情報の一部から抜き出されて生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻からその一部に相当する時刻を除いた時刻、及び、通常再生モード時に取得した調整用メディア時刻に基づいて、メディア時刻を微調整する。例えば、１６ビットからなるメディア時刻情報のうちの下位４ビットが抜き出されて、調整用メディア時刻情報が生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻における上位１２ビットの時刻と、通常再生モード時に取得した調整用メディア時刻である下位４ビットの時刻とを合成して、メディア時刻を微調整する。これにより、番組コンテンツの番組開始時点を基準にして、メディア時刻が微調整される。
【０１０８】
一方、調整用メディア時刻情報が、メディア時刻情報の一部を抜き出さないでメディア時刻情報とは別に独自に生成されている場合、映像制御手段３２は、動作モードが校正モードから通常再生モードへ変化する直前のメディア時刻を記憶しておき、通常再生モード時に取得した調整用メディア時刻、及び、校正モード時に記憶した同期情報（例えば、調整用メディア時刻における単位時間の進捗に対するメディア時刻の進捗時間）に基づいて、調整用メディア時刻をメディア時刻の進捗時間に変換する。そして、映像制御手段３２は、記憶したメディア時刻に、変換したメディア時刻の進捗時間を加算することにより、メディア時刻を微調整する。これにより、動作モードが校正モードから通常再生モードへ変化した時点を基準にして、メディア時刻が微調整される。
【０１０９】
したがって、通常再生モード時には、調整用メディア時刻シンボルに基づいてメディア時刻を決定することができるから、メディア時刻シンボルに関する処理が不要になり、携帯端末３における処理負荷を低減することができる。尚、調整用メディア時刻シンボルに基づいて決定したメディア時刻に誤差がある場合は、デジタル放送受信機２において、動作モードを校正モードに戻すことにより、基準となるメディア時刻を再度記憶すればよい。
【０１１０】
また、ステップＳ８０３において、映像制御手段３２は、動作モードが通常再生モードであると判定した場合（ステップＳ８０３：通常再生モード）、ステップＳ８０６と同様に、マーカーシンボルを画像処理することにより、デジタル放送受信機２における表示手段２５の画面の位置及び向きを求める（ステップＳ８１２）。
【０１１１】
映像制御手段３２は、ステップＳ８１１の後に、ステップＳ８０８と同様に、メディア時刻に基づいて、マルチメディアデータ取得手段３３から入力したマルチメディアデータの再生ポイントを決定する（ステップＳ８１３）。
【０１１２】
映像制御手段３２は、ステップＳ８１２の後に、ステップＳ８０９と同様に、ステップＳ８１２において求めた画面の位置及び向きに基づいて、再生中の番組コンテンツの動画像データにマルチメディアデータを合成する際の、マルチメディアデータの表示位置、サイズ及び向きを決定する（ステップＳ８１４）。
【０１１３】
映像制御手段３２は、ステップＳ８１３及びステップＳ８１４の後に、ステップＳ８１０と同様に、再生ポイントのマルチメディアデータに対し、表示位置、サイズ及び向きを反映し、合成映像を生成し、表示手段３５に出力する（ステップＳ８１５）。
【０１１４】
図１５は、通常再生モード時において携帯端末３の表示手段３５に表示される画面例を示す図である。この画面には、再生中の番組コンテンツの動画像データとマルチメディアデータとの合成映像が表示されている。マルチメディアデータは、マルチメディアデータに含まれる合成位置等に関する情報に従って、本線映像の右中央に表示されている。
【０１１５】
これにより、携帯端末３は、通常再生モードにおいて、再生中の番組コンテンツの動画像データと、その番組コンテンツに関連するマルチメディアデータとの間の同期を確立することができる。したがって、ユーザは、携帯端末３の表示手段３５により、動画像データとマルチメディアデータとが同期した合成映像を視聴することができ、番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１１６】
以上により、本発明の実施形態によれば、デジタル放送送信機１は、コンテンツＩＤが付随し時刻情報の制御パラメータを含む番組コンテンツ、シンボル化プログラム及びマーカー情報を放送波としてデジタル放送受信機２へ送出するようにした。また、デジタル放送受信機２は、デジタル放送送信機１からの放送波を受信し、シンボル化プログラムを実行し、番組コンテンツを再生すると共に、番組コンテンツに含まれる制御パラメータから番組コンテンツのメディア時刻情報を抽出し、番組コンテンツに付随したコンテンツＩＤを抽出し、２次元コード化して２次元シンボルをそれぞれ生成し、さらに、マーカー情報を抽出してシンボルを生成し、これらのシンボルを番組コンテンツにオーバーレイ表示するようにした。また、携帯端末３は、これらのシンボルが番組コンテンツにオーバーレイ表示された映像を取り込み、これらのシンボルを認識してメディア時刻及びコンテンツＩＤを取得すると共に、デジタル放送受信機２の画面の位置及び向きを求め、そして、コンテンツＩＤに対するマルチメディアデータを取得して再生ポイントを決定し、番組コンテンツの動画像データとマルチメディアデータとを合成して表示するようにした。
【０１１７】
具体的には、携帯端末３の映像制御手段３２は、再生中の番組コンテンツの相対時刻が反映された２次元コードのメディア時刻シンボルを認識し、このシンボルからメディア時刻を取得し、マルチメディアデータの再生ポイントを決定するようにした。これにより、再生中の番組コンテンツの動画像データ及びマルチメディアデータを合成する際に、これらのタイムラインの同期を確立させることができる。この場合、２次元コードが反映されたシンボルを用いるようにしたから、高性能なカメラスペック及び多くの計算資源が必要な電子透かし技術を用いることなく、簡易な手法により同期を確立させることができる。また、携帯端末３として、番組コンテンツ及びシンボルの映像を撮影する通常のカメラ付き携帯電話機を適用することができ、計算資源の乏しい環境にて同期を確立させることができる。また、電子透かし技術を用いる場合に比べ、処理時間を短縮することができ、同期を確立させるための時間を短縮すると共に精度を高めることができる。
【０１１８】
また、本発明の実施形態では、電子透かし技術の場合に比べて多くの計算資源が不要になるから、動きのある３ＤＣＧ等を用いたＡＲ技術による合成処理に多くの計算資源を割くことができ、高度及び高性能な合成映像を生成することができる。例えば、番組コンテンツの動画像データ内の物体が画面からカメラ側に飛び出してくるように、ＡＲ技術によって合成映像を生成する場合に適している。このように、動画像データと同期したマルチメディアデータの提供サービスを、簡易な手法により容易に実現することができ、ユーザは、携帯端末３を用いて番組コンテンツを視聴することにより、同期のとれたマルチメディアデータを楽しむことができる。
【０１１９】
また、本発明の実施形態に用いる２次元コードは、コンピュータビジョンにおける最も認識しやすい形態であり、カメラに対する位置及び向き、または動きに強い方式である。したがって、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができる。つまり、携帯端末３の映像取込手段３１において２次元コードが反映されたシンボルを取り込み、映像制御手段３２において２次元コードを正確に認識することができる。
【０１２０】
本発明の実施形態における２次元コードを用いる方式では、電子透かし方式と異なり、２次元コードが反映された２次元シンボルが番組コンテンツにオーバーレイ表示されるから、ユーザは、番組コンテンツによっては２次元シンボルが目障りになることがあり得る。本発明の実施形態では、デジタル放送受信機２が、校正モードが終了した後の通常再生モード時に、校正モード時よりもサイズの小さいマーカーシンボルを表示し、メディア時刻シンボルの代わりに、メディア時刻シンボルのサイズよりも小さい調整用メディア時刻シンボルを表示し、コンテンツＩＤシンボルを表示しないようにした。これにより、表示されたシンボルがユーザの目障りになることを軽減することができる。
【０１２１】
また、本発明の実施形態では、マーカーシンボルを用いて、携帯端末３を基準にしたデジタル放送受信機２における画面の位置及び向きを決定するようにした。これは、番組コンテンツと同期したマルチメディアサービスを提供するシステムにおいて、番組コンテンツの演出方法として３ＤＣＧ等を用いる場合、携帯端末３が、番組コンテンツの動画像データに３ＤＣＧのマルチメディアデータを（画面の外側も含めて）適切に組み込む必要があるからである。携帯端末３の映像制御手段３２は、マーカーシンボルに基づいてデジタル放送受信機２の位置及び向きを決定するようにしたから、番組コンテンツの動画像データ及びマルチメディアデータを合成する際に、その位置、サイズ及び向きを考慮した適切な角度にて、マルチメディアデータを番組コンテンツに組み込むことができる。したがって、携帯端末３を基準にしたデジタル放送受信機２の位置及び向き、デジタル放送受信機２の動き、並びに携帯端末３の動きにも柔軟に対応することができ、適切な位置、サイズ及び向きにて、マルチメディアデータを番組コンテンツに組み込むことができる。
【０１２２】
また、本発明の実施形態によれば、コンテンツＩＤシンボルを用いて、マルチメディアデータを取得するようにした。具体的には、携帯端末３の映像制御手段３２は、デジタル放送受信機２の映像からコンテンツＩＤシンボルを認識し、このシンボルからコンテンツＩＤを取得し、コンテンツＩＤに対するマルチメディアデータを記憶手段３４またはマルチメディアデータ送信装置４から取得するようにした。これにより、携帯端末３は、再生中の番組コンテンツに関連するマルチメディアデータを取得することができ、再生中の番組コンテンツに合成したマルチメディアデータをユーザに提示することができる。ユーザは、再生中の番組コンテンツを視聴しながら、その番組コンテンツに関連するマルチメディアデータを取得することができる。
【０１２３】
また、本発明の実施形態によれば、通常再生モード時に、調整用メディア時刻シンボルを用いて、マルチメディアデータの再生ポイントを決定するようにした。具体的には、携帯端末３の映像制御手段３２は、通常再生モード時に、デジタル放送受信機２の映像から調整用メディア時刻シンボルを認識し、このシンボルから調整用メディア時刻を取得し、番組コンテンツの番組開始時点（または、動作モードが校正モードから通常再生モードに変更されたタイミング）のメディア時刻を基準にして、調整用メディア時刻に基づいて、再生中の番組コンテンツにおけるメディア時刻を微調整し、そのメディア時刻からマルチメディアデータの再生ポイントを決定するようにした。調整用メディア時刻シンボルは、番組コンテンツの制御パラメータから得られたメディア時刻を用いるものではなく、前記時刻を基準にして独自にインクリメントすることにより生成されたシンボルである。これにより、携帯端末３は、通常再生モード時に、メディア時刻シンボルを用いることなく、調整用メディア時刻シンボルからメディア時刻を求めることができる。また、通常再生モード時にデジタル放送受信機２においてスロー／高速再生や逆転再生をした場合でも、携帯端末３は、メディア時刻を調整することにより、番組コンテンツの動画像データに３ＤＣＧ等のマルチメディアデータを適切なタイミングで組み込むことができる。また、デジタル放送受信機２は、番組コンテンツの制御パラメータからメディア時刻を得て２次元コード化しメディア時刻シンボルを生成する必要がないから、処理負荷を低減することができる。
【０１２４】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、マルチメディアデータを表示する機器として、電話機能、カメラによる撮影機能、及びインターネット等の通信路にアクセスする通信機能を有する携帯端末３を例にして説明したが、本発明は、このような携帯端末３に限定されるものではなく、例えば、眼鏡でもよいし、電話機能を有さない携帯用小型コンピュータでもよい。また、デジタル放送受信機２をＷｅｂカメラにて撮影し、その映像を取り込んで処理するコンピュータであってもよい。
【０１２５】
また、前記実施形態では、デジタル放送送信機１とデジタル放送受信機２との間が放送網により構成された例を挙げて説明したが、インターネット等の通信網により構成されていてもよい。この場合、デジタル放送送信機１は、多重化した放送コンテンツをＩＰパケットに収容し、ＩＰプロトコルによりインターネットの通信網を介してデジタル放送受信機２へ送信する。そして、デジタル放送受信機２は、通信網を介してＩＰプロトコルによりＩＰパケットを受信し、多重化された放送コンテンツを分離する。
【０１２６】
また、図１６に示したメディア時刻コード及びメディア時刻シンボルは例示であり、本発明は、このコード及びシンボルに限定されるものではなく、図１７に示した調整用メディア時刻コード及び調整用メディア時刻シンボルも例示であり、このコード及びシンボルに限定されるものではない。さらに、図９〜図１４の各種シンボルの形状、サイズ等の属性も例示であり、本発明はこれらの属性に限定されるものではない。図１０〜図１２に示した２次元シンボルは、白セル及び黒セルからなる２次元配列により構成されているが、白黒以外の色であってもよい。
【０１２７】
また、前記実施形態では、デジタル放送受信機２は、デジタル放送送信機１からシンボル化プログラム及びマーカー情報を受信するようにしたが、シンボル化プログラム及びマーカー情報を記憶手段２４に予め格納しておき、デジタル放送送信機１から番組コンテンツを受信したときに記憶手段２４から読み出すようにしてもよい。また、デジタル放送受信機２は、デジタル放送送信機１から番組コンテンツを受信するようにしたが、番組コンテンツを記憶手段２４に予め格納しておき、記憶手段２４から読み出すようにしてもよい。
【符号の説明】
【０１２８】
１ デジタル放送送信機
２ デジタル放送受信機
３ 携帯端末
４ マルチメディアデータ送信装置
５ デジタル放送システム
６ マルチメディアデータ送受信システム
１０ コンテンツ記憶手段
１１ 放送制御手段
１２ 放送送出手段
２１ 放送受信手段
２２ 処理手段
２３ ユーザ操作手段
２４，３４ 記憶手段
２５，３５ 表示手段
３１ 映像取込手段
３２ 映像制御手段
３３ マルチメディアデータ取得手段
２００ コンテンツ再生制御手段
２０１ 時刻情報抽出手段
２０２ コンテンツＩＤ抽出手段
２０３ マーカー情報抽出手段
２０４ ２次元コード化手段
２０５ シンボル化手段
２０６ 表示制御手段
【特許請求の範囲】
【請求項１】
番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツを受信し、前記番組コンテンツを再生するデジタル放送受信機において、
前記番組コンテンツを再生制御する制御パラメータを含む番組コンテンツを受信する放送受信手段と、
前記番組コンテンツの再生開始時点からの相対時刻であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するためのメディア時刻情報を、前記放送受信手段により受信された番組コンテンツに含まれる制御パラメータから抽出する時刻情報抽出手段と、
前記時刻情報抽出手段により抽出されたメディア時刻情報を、２次元配列によって構成される２次元コードに変換する２次元コード化手段と、
前記２次元コード化手段により変換された２次元コードからシンボルを生成するシンボル化手段と、
前記シンボル化手段により生成されたシンボルを、前記番組コンテンツと共に画面表示する表示制御手段と、
を備えたことを特徴とするデジタル放送受信機。
【請求項２】
請求項１に記載のデジタル放送受信機において、
さらに、コンテンツＩＤ抽出手段を備え、
前記受信する番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、
前記コンテンツＩＤ抽出手段は、前記放送受信手段により受信された番組コンテンツからコンテンツＩＤを抽出し、
前記２次元コード化手段は、前記時刻情報抽出手段により抽出された時刻情報、及び前記コンテンツＩＤ抽出手段により抽出されたコンテンツＩＤを、２次元配列によって構成される２次元コードにそれぞれ変換する、ことを特徴とするデジタル放送受信機。
【請求項３】
請求項２に記載のデジタル放送受信機において、
さらに、マーカー情報抽出手段を備え、
前記放送受信手段は、前記番組コンテンツに加えて、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を受信し、
前記マーカー情報抽出手段は、前記放送受信手段により受信されたマーカー情報を抽出し、
前記シンボル化手段は、さらに、前記マーカー情報抽出手段により抽出されたマーカー情報に含まれるマーカーの形状に従って、前記マーカーのシンボルを生成する、ことを特徴とするデジタル放送受信機。
【請求項４】
請求項１から３までのいずれか一項に記載のデジタル放送受信機において、
前記時刻情報抽出手段は、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を生成し、
前記２次元コード化手段は、さらに、前記時刻情報抽出手段により生成された調整用メディア時刻情報を、２次元配列によって構成される２次元コードに変換し、
前記表示制御手段は、前記シンボル化手段により生成されたメディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示する、ことを特徴とするデジタル放送受信機。
【請求項５】
請求項４に記載のデジタル放送受信機において、
さらに、前記デジタル放送受信機の動作モードを、ユーザの操作により選択する第１のユーザ操作手段を備え、
前記表示制御手段は、前記第１のユーザ操作手段により前記動作モードとして校正モードが選択された場合、前記シンボル化手段により生成されたシンボルのうち少なくともメディア時刻情報のシンボルを、前記番組コンテンツと共に画面表示し、前記第１のユーザ操作手段により前記動作モードとして通常再生モードが選択された場合、または、前記校正モードが選択されてから所定時間経過して通常再生モードに変更された場合、前記メディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示する、ことを特徴とするデジタル放送受信機。
【請求項６】
請求項１から５までのいずれか一項に記載のデジタル放送受信機において、
さらに、前記シンボル化手段により生成されるシンボルの形状、表示位置、色、サイズ、表示／非表示のうちの少なくとも一つを含む属性情報を、ユーザの操作により設定する第２のユーザ操作手段を備え、
前記表示制御手段は、前記第２のユーザ操作手段により設定された属性情報に従って、前記シンボルの画面表示／非表示を行う、ことを特徴とするデジタル放送受信機。
【請求項７】
請求項１に記載のデジタル放送受信機において、
さらに、制御手段及び記憶手段を備え、
前記放送受信手段は、さらに、シンボル化プログラムを受信し、
前記記憶手段は、前記放送受信手段により受信されたシンボル化プログラムを格納し、
前記制御手段は、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段及び表示制御手段を機能させる、ことを特徴とするデジタル放送受信機。
【請求項８】
請求項３に記載のデジタル放送受信機において、
さらに、制御手段及び記憶手段を備え、
前記放送受信手段は、さらに、シンボル化プログラムを受信し、
前記記憶手段は、前記放送受信手段により受信されたシンボル化プログラムを格納し、
前記制御手段は、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段、表示制御手段、コンテンツＩＤ抽出手段及びマーカー情報抽出手段を機能させる、ことを特徴とするデジタル放送受信機。
【請求項９】
番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツ、及びデータ放送コンテンツを多重化し、デジタル放送受信機へ送出するデジタル放送送信機において、
番組コンテンツを記憶すると共に、番組コンテンツの再生制御を行い、前記番組コンテンツの再生開始時点からの相対時刻を、前記合成映像が生成される際のマルチメディアデータの再生ポイントを決定するメディア時刻情報として、前記番組コンテンツに含まれる制御パラメータから抽出し、前記抽出したメディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードからメディア時刻シンボルを生成し、前記メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであって、前記デジタル放送受信機に実行させるシンボル化プログラムをデータ放送コンテンツとして記憶するコンテンツ記憶手段と、
前記コンテンツ記憶手段から番組コンテンツ及びデータ放送コンテンツを読み出し、多重化する放送制御手段と、
前記放送制御手段により多重化された番組コンテンツ及びデータ放送コンテンツの多重化信号を、前記デジタル放送受信機へ送出する放送送出手段と、
を備えたことを特徴とするデジタル放送送信機。
【請求項１０】
請求項９に記載のデジタル放送送信機において、
前記番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、
前記シンボル化プログラムは、さらに、前記番組コンテンツに付随するコンテンツＩＤを抽出し、前記コンテンツＩＤを２次元配列によって構成される２次元コードに変換し、前記２次元コードからコンテンツＩＤシンボルを生成し、前記コンテンツＩＤシンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１１】
請求項９または１０に記載のデジタル放送送信機において、
コンテンツ記憶手段は、データ放送コンテンツとして、さらに、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を記憶し、
前記シンボル化プログラムは、さらに、前記データ放送コンテンツからマーカー情報を抽出し、前記マーカー情報に含まれるマーカーの形状に従ってマーカーシンボルを生成し、前記マーカーシンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１２】
請求項９から１１までのいずれか一項に記載のデジタル放送送信機において、
前記シンボル化プログラムは、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードから調整用メディア時刻シンボルを生成し、前記メディア時刻シンボルの代わりに、前記調整用メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１３】
番組コンテンツの動画像データとマルチメディアデータとを合成し、合成映像を表示する端末装置において、
番組コンテンツの再生開始時点からの相対時刻を示す２次元配列によって構成された２次元コードのメディア時刻シンボルが、再生中の前記番組コンテンツと共に画面表示され、前記画面表示された映像を取り込む映像取込手段と、
前記映像取込手段により取り込まれた映像から前記メディア時刻シンボルを認識し、前記メディア時刻シンボルを２次元コードに変換してメディア時刻を取得し、前記メディア時刻に基づいてマルチメディアデータの再生ポイントを決定し、前記再生ポイントのマルチメディアデータを、前記再生中の番組コンテンツの動画像データに合成する映像制御手段と、
を備えたことを特徴とする端末装置。
【請求項１４】
請求項１３に記載の端末装置において、
前記映像取込手段は、前記番組コンテンツのコンテンツＩＤを示す２次元配列によって構成された２次元コードのコンテンツＩＤシンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記コンテンツＩＤシンボルを認識し、前記コンテンツＩＤシンボルを２次元コードに変換してコンテンツＩＤを取得し、前記コンテンツＩＤに対するマルチメディアデータの再生ポイントを決定する、ことを特徴とする端末装置。
【請求項１５】
請求項１４に記載の端末装置において、
さらに、マルチメディアデータ取得手段を備え、
前記マルチメディアデータ取得手段は、前記映像制御手段により取得されたコンテンツＩＤを、マルチメディアデータが格納されている外部装置へ送信し、前記外部装置から前記コンテンツＩＤに対するマルチメディアデータを受信し、または、当該端末装置に備えた記憶手段から前記コンテンツＩＤに対するマルチメディアデータを読み出し、
前記映像制御手段は、前記マルチメディアデータ取得手段により受信されたマルチメディアデータ、または、読み出されたマルチメディアデータの再生ポイントを決定する、ことを特徴とする端末装置。
【請求項１６】
請求項１３から１５までのいずれか一項に記載の端末装置において、
前記映像取込手段は、マーカーシンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記マーカーシンボルを認識し、前記マーカーシンボルから、前記映像が表示された画面の位置及び向きを求め、前記画面の位置及び向きに基づいて、前記マルチメディアデータを前記再生中の番組コンテンツの動画像データに合成する、ことを特徴とする端末装置。
【請求項１７】
請求項１３から１６までのいずれか一項に記載の端末装置において、
前記映像取込手段は、前記メディア時刻シンボルの代わりに、所定時間毎にインクリメントする調整用メディア時刻を示す２次元配列によって構成された２次元コードの調整用メディア時刻シンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記調整用メディア時刻シンボルを認識し、前記調整用メディア時刻シンボルを２次元コードに変換して調整用メディア時刻を取得し、前記取得した調整用メディア時刻、及び前記メディア時刻シンボルを認識して取得したメディア時刻に基づいて、マルチメディアデータの新たな再生ポイントを決定する、ことを特徴とする端末装置。
【請求項１】
番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツを受信し、前記番組コンテンツを再生するデジタル放送受信機において、
前記番組コンテンツを再生制御する制御パラメータを含む番組コンテンツを受信する放送受信手段と、
前記番組コンテンツの再生開始時点からの相対時刻であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するためのメディア時刻情報を、前記放送受信手段により受信された番組コンテンツに含まれる制御パラメータから抽出する時刻情報抽出手段と、
前記時刻情報抽出手段により抽出されたメディア時刻情報を、２次元配列によって構成される２次元コードに変換する２次元コード化手段と、
前記２次元コード化手段により変換された２次元コードからシンボルを生成するシンボル化手段と、
前記シンボル化手段により生成されたシンボルを、前記番組コンテンツと共に画面表示する表示制御手段と、
を備えたことを特徴とするデジタル放送受信機。
【請求項２】
請求項１に記載のデジタル放送受信機において、
さらに、コンテンツＩＤ抽出手段を備え、
前記受信する番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、
前記コンテンツＩＤ抽出手段は、前記放送受信手段により受信された番組コンテンツからコンテンツＩＤを抽出し、
前記２次元コード化手段は、前記時刻情報抽出手段により抽出された時刻情報、及び前記コンテンツＩＤ抽出手段により抽出されたコンテンツＩＤを、２次元配列によって構成される２次元コードにそれぞれ変換する、ことを特徴とするデジタル放送受信機。
【請求項３】
請求項２に記載のデジタル放送受信機において、
さらに、マーカー情報抽出手段を備え、
前記放送受信手段は、前記番組コンテンツに加えて、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を受信し、
前記マーカー情報抽出手段は、前記放送受信手段により受信されたマーカー情報を抽出し、
前記シンボル化手段は、さらに、前記マーカー情報抽出手段により抽出されたマーカー情報に含まれるマーカーの形状に従って、前記マーカーのシンボルを生成する、ことを特徴とするデジタル放送受信機。
【請求項４】
請求項１から３までのいずれか一項に記載のデジタル放送受信機において、
前記時刻情報抽出手段は、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を生成し、
前記２次元コード化手段は、さらに、前記時刻情報抽出手段により生成された調整用メディア時刻情報を、２次元配列によって構成される２次元コードに変換し、
前記表示制御手段は、前記シンボル化手段により生成されたメディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示する、ことを特徴とするデジタル放送受信機。
【請求項５】
請求項４に記載のデジタル放送受信機において、
さらに、前記デジタル放送受信機の動作モードを、ユーザの操作により選択する第１のユーザ操作手段を備え、
前記表示制御手段は、前記第１のユーザ操作手段により前記動作モードとして校正モードが選択された場合、前記シンボル化手段により生成されたシンボルのうち少なくともメディア時刻情報のシンボルを、前記番組コンテンツと共に画面表示し、前記第１のユーザ操作手段により前記動作モードとして通常再生モードが選択された場合、または、前記校正モードが選択されてから所定時間経過して通常再生モードに変更された場合、前記メディア時刻情報のシンボルの代わりに、前記調整用メディア時刻情報のシンボルを前記番組コンテンツと共に画面表示する、ことを特徴とするデジタル放送受信機。
【請求項６】
請求項１から５までのいずれか一項に記載のデジタル放送受信機において、
さらに、前記シンボル化手段により生成されるシンボルの形状、表示位置、色、サイズ、表示／非表示のうちの少なくとも一つを含む属性情報を、ユーザの操作により設定する第２のユーザ操作手段を備え、
前記表示制御手段は、前記第２のユーザ操作手段により設定された属性情報に従って、前記シンボルの画面表示／非表示を行う、ことを特徴とするデジタル放送受信機。
【請求項７】
請求項１に記載のデジタル放送受信機において、
さらに、制御手段及び記憶手段を備え、
前記放送受信手段は、さらに、シンボル化プログラムを受信し、
前記記憶手段は、前記放送受信手段により受信されたシンボル化プログラムを格納し、
前記制御手段は、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段及び表示制御手段を機能させる、ことを特徴とするデジタル放送受信機。
【請求項８】
請求項３に記載のデジタル放送受信機において、
さらに、制御手段及び記憶手段を備え、
前記放送受信手段は、さらに、シンボル化プログラムを受信し、
前記記憶手段は、前記放送受信手段により受信されたシンボル化プログラムを格納し、
前記制御手段は、前記記憶手段からシンボル化プログラムを読み出し、前記シンボル化プログラムを実行することにより、前記時刻情報抽出手段、２次元コード化手段、シンボル化手段、表示制御手段、コンテンツＩＤ抽出手段及びマーカー情報抽出手段を機能させる、ことを特徴とするデジタル放送受信機。
【請求項９】
番組コンテンツの動画像データ及びマルチメディアデータにより合成映像が生成される際の前記番組コンテンツ、及びデータ放送コンテンツを多重化し、デジタル放送受信機へ送出するデジタル放送送信機において、
番組コンテンツを記憶すると共に、番組コンテンツの再生制御を行い、前記番組コンテンツの再生開始時点からの相対時刻を、前記合成映像が生成される際のマルチメディアデータの再生ポイントを決定するメディア時刻情報として、前記番組コンテンツに含まれる制御パラメータから抽出し、前記抽出したメディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードからメディア時刻シンボルを生成し、前記メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムであって、前記デジタル放送受信機に実行させるシンボル化プログラムをデータ放送コンテンツとして記憶するコンテンツ記憶手段と、
前記コンテンツ記憶手段から番組コンテンツ及びデータ放送コンテンツを読み出し、多重化する放送制御手段と、
前記放送制御手段により多重化された番組コンテンツ及びデータ放送コンテンツの多重化信号を、前記デジタル放送受信機へ送出する放送送出手段と、
を備えたことを特徴とするデジタル放送送信機。
【請求項１０】
請求項９に記載のデジタル放送送信機において、
前記番組コンテンツには、前記番組コンテンツ及びマルチメディアデータに対応したコンテンツＩＤが付随しており、
前記シンボル化プログラムは、さらに、前記番組コンテンツに付随するコンテンツＩＤを抽出し、前記コンテンツＩＤを２次元配列によって構成される２次元コードに変換し、前記２次元コードからコンテンツＩＤシンボルを生成し、前記コンテンツＩＤシンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１１】
請求項９または１０に記載のデジタル放送送信機において、
コンテンツ記憶手段は、データ放送コンテンツとして、さらに、前記番組コンテンツの動画像データにマルチメディアデータを合成する処理を行う際に必要なマーカーの形状を含むマーカー情報を記憶し、
前記シンボル化プログラムは、さらに、前記データ放送コンテンツからマーカー情報を抽出し、前記マーカー情報に含まれるマーカーの形状に従ってマーカーシンボルを生成し、前記マーカーシンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１２】
請求項９から１１までのいずれか一項に記載のデジタル放送送信機において、
前記シンボル化プログラムは、さらに、所定時間毎にインクリメントする時刻情報であって、前記合成映像が生成される際の前記マルチメディアデータの再生ポイントを決定するための調整用メディア時刻情報を２次元配列によって構成される２次元コードに変換し、前記２次元コードから調整用メディア時刻シンボルを生成し、前記メディア時刻シンボルの代わりに、前記調整用メディア時刻シンボルを前記番組コンテンツと共に画面表示するためのプログラムである、ことを特徴とするデジタル放送送信機。
【請求項１３】
番組コンテンツの動画像データとマルチメディアデータとを合成し、合成映像を表示する端末装置において、
番組コンテンツの再生開始時点からの相対時刻を示す２次元配列によって構成された２次元コードのメディア時刻シンボルが、再生中の前記番組コンテンツと共に画面表示され、前記画面表示された映像を取り込む映像取込手段と、
前記映像取込手段により取り込まれた映像から前記メディア時刻シンボルを認識し、前記メディア時刻シンボルを２次元コードに変換してメディア時刻を取得し、前記メディア時刻に基づいてマルチメディアデータの再生ポイントを決定し、前記再生ポイントのマルチメディアデータを、前記再生中の番組コンテンツの動画像データに合成する映像制御手段と、
を備えたことを特徴とする端末装置。
【請求項１４】
請求項１３に記載の端末装置において、
前記映像取込手段は、前記番組コンテンツのコンテンツＩＤを示す２次元配列によって構成された２次元コードのコンテンツＩＤシンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記コンテンツＩＤシンボルを認識し、前記コンテンツＩＤシンボルを２次元コードに変換してコンテンツＩＤを取得し、前記コンテンツＩＤに対するマルチメディアデータの再生ポイントを決定する、ことを特徴とする端末装置。
【請求項１５】
請求項１４に記載の端末装置において、
さらに、マルチメディアデータ取得手段を備え、
前記マルチメディアデータ取得手段は、前記映像制御手段により取得されたコンテンツＩＤを、マルチメディアデータが格納されている外部装置へ送信し、前記外部装置から前記コンテンツＩＤに対するマルチメディアデータを受信し、または、当該端末装置に備えた記憶手段から前記コンテンツＩＤに対するマルチメディアデータを読み出し、
前記映像制御手段は、前記マルチメディアデータ取得手段により受信されたマルチメディアデータ、または、読み出されたマルチメディアデータの再生ポイントを決定する、ことを特徴とする端末装置。
【請求項１６】
請求項１３から１５までのいずれか一項に記載の端末装置において、
前記映像取込手段は、マーカーシンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記マーカーシンボルを認識し、前記マーカーシンボルから、前記映像が表示された画面の位置及び向きを求め、前記画面の位置及び向きに基づいて、前記マルチメディアデータを前記再生中の番組コンテンツの動画像データに合成する、ことを特徴とする端末装置。
【請求項１７】
請求項１３から１６までのいずれか一項に記載の端末装置において、
前記映像取込手段は、前記メディア時刻シンボルの代わりに、所定時間毎にインクリメントする調整用メディア時刻を示す２次元配列によって構成された２次元コードの調整用メディア時刻シンボルを含む前記映像を取り込み、
前記映像制御手段は、さらに、前記映像取込手段により取り込まれた映像から前記調整用メディア時刻シンボルを認識し、前記調整用メディア時刻シンボルを２次元コードに変換して調整用メディア時刻を取得し、前記取得した調整用メディア時刻、及び前記メディア時刻シンボルを認識して取得したメディア時刻に基づいて、マルチメディアデータの新たな再生ポイントを決定する、ことを特徴とする端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−３５５７６（Ｐ２０１１−３５５７６Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７８５３２（Ｐ２００９−１７８５３２）
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３１日（２００９．７．３１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]