画像再生装置及び画像再生方法
【課題】テレビ放送番組等を記録したコンテンツを、テレビ等で視聴するだけでなく、インターネット等を介してストリーミング再生などを行う際に、ユーザの視聴環境にあった再生を行う。
【解決手段】画像処理装置10は、コンテンツを複数の符号化条件で符号化する符号化部12、符号化した前記コンテンツの複数の符号化データを蓄積するコンテンツ蓄積部13、前記コンテンツの複数の符号化データに共通の再生停止位置情報を含む符号化データの関連情報を生成する関連情報生成部14、生成した関連情報をコンテンツ毎に蓄積する関連情報DB16、コンテンツ蓄積部13に蓄積された複数の符号化データのいずれかを復号する復号部20を備える。復号部20は、前記複数の符号化データのいずれかを復号する際に、再生停止位置情報を関連情報DB16から取得し、取得した再生停止位置から前記符号化データを復号して再生する。
【解決手段】画像処理装置10は、コンテンツを複数の符号化条件で符号化する符号化部12、符号化した前記コンテンツの複数の符号化データを蓄積するコンテンツ蓄積部13、前記コンテンツの複数の符号化データに共通の再生停止位置情報を含む符号化データの関連情報を生成する関連情報生成部14、生成した関連情報をコンテンツ毎に蓄積する関連情報DB16、コンテンツ蓄積部13に蓄積された複数の符号化データのいずれかを復号する復号部20を備える。復号部20は、前記複数の符号化データのいずれかを復号する際に、再生停止位置情報を関連情報DB16から取得し、取得した再生停止位置から前記符号化データを復号して再生する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像再生装置及び画像再生方法、より詳細には、記録装置に蓄積されたコンテンツデータを再生する装置や方法の技術に関する。
【背景技術】
【0002】
従来、VTR装置などに代表されるように、テレビ放送などのコンテンツを記録し、有線で接続されたディスプレイに表示させる装置や、家庭外にあるサーバー装置に蓄積されたコンテンツをインターネット等のネットワークを介してユーザのPCなどに配信するサービスが存在する。
【0003】
これらの技術においては、デジタル技術の進歩によりコンテンツに含まれる画像や音声をMPEG−2やMPEG−4といった画像符号化技術を用いて記録・伝送・再生を行うものが多い。そのため、それぞれの装置では、視聴環境に応じた符号化方式や符号化のためのパラメータが用いられる。すなわち、視聴環境が有線で接続されたディスプレイなど伝送帯域が広い場合には、より高画質での記録のために符号化効率の低い条件で記録される。また、視聴環境がインターネットなど伝送帯域が限られる環境である場合では、低画質でも符号化効率の高い条件で記録される。
【0004】
これは高画質で符号化効率の低いコンテンツを伝送帯域が限られる環境で視聴すると、ユーザの期待通りに再生ができない。逆に、符号化効率の高いコンテンツを、テレビや有線接続にて視聴すると、通常のテレビ映像に比べて満足に値しないことが多いためである。
【0005】
昨今では、インターネットの普及や広帯域化が進んでおり、視聴環境での帯域幅の差がなくなってきている。そのため、インターネットを介しての視聴でも高画質で符号化されたコンテンツの視聴が可能となっている。また、符号化技術の高度化に伴い、低画質の基本レイヤと高画質の上位レイヤとに分けて符号化する階層符号化の技術も提案されている(例えば、特許文献1参照)。この階層符号化の技術は、画質によって分けて符号化を行うことで、伝送の帯域やユーザの視聴機器の性能に応じた符号化データを送信することができる。これらの要因から、広帯域や狭帯域のどちらかの一方の視聴環境だけでなく、複数の視聴環境に対応可能な装置やサービスも可能となっている。
【0006】
また、これらの装置において、記録されたコンテンツを視聴する際に、ユーザが途中で視聴を止めた場合、その情報を保存しておくことで、次回の視聴の際には停止したところから再開できる技術が知られている(例えば、特許文献2参照)。これは、再生停止した位置を含むユーザ情報を記録装置側(サービスサーバ側)が記憶しておき、自宅に設置した記録装置のコンテンツを視聴している途中で再生を停止して外出したときに、ユーザの外出先において、自宅で再生停止させた位置から同じコンテンツを視聴できるようにしたものである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−186495号公報
【特許文献2】特開2003−174636号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、ユーザが外出先でパーソナルコンピュータなどの機器を用いて視聴する場合、高画質(低い符号化率)で記録されたコンテンツを自宅で視聴していたときと同じ条件で視聴するには、ネットワークの環境や機器の性能などから条件が厳しいことが多い。また、上記特許文献1に記載の階層符号化技術は、その技術自体が複雑であり、民生機器での普及は例をみない。
【0009】
また、上記特許文献2に記載の発明では、記録装置に蓄積された個々のコンテンツ毎に再生停止の情報が管理されている。従って、符号化前のコンテンツから高画質用と低画質用の2つの符号化されたコンテンツが記録装置に蓄積される場合、それぞれの再生停止の情報は個々に管理されることになる。すなわち、ユーザは自宅等の広帯域な視聴環境では高画質用のコンテンツを復号してテレビ等で再生し、再生停止後、その続きを外出先等の狭帯域な視聴環境(例えばネットワーク経由など)において低画質用のコンテンツを復号してPC等で再生する場合、外出先では上記再生停止後の続きを再生できないため、低画質用の符号化データを最初から新たに再生する必要があり不便であった。
【0010】
本発明は、上述のごとき実情に鑑みてなされたものであり、テレビ放送番組等を記録して蓄積したコンテンツを、テレビ等で視聴するだけでなく、インターネット等のネットワークを介してストリーミング再生などを行う際に、ユーザの視聴環境にあった快適な再生方法を提供すること、をその目的とする。
より具体的には、1つのコンテンツに対して、広帯域での視聴向けに高画質で符号化して記録するとともに、インターネットなどの狭帯域経由での視聴向けに符号化して記録し、視聴環境に応じた再生を行う際に、いずれの視聴環境においても前回視聴時に再生停止した位置からコンテンツの続きを視聴できるようにすること、を目的としてなされたものである。
【課題を解決するための手段】
【0011】
上記課題を解決するための第1の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出手段とを備え、該符号化データ抽出手段は、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴としたものである。
【0012】
第2の技術手段は、第1の技術手段において、前記符号化データ抽出手段は、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴としたものである。
【0013】
第3の技術手段は、第1又は第2の技術手段において、前記符号化データ抽出手段は、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴としたものである。
【0014】
第4の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出ステップとを備え、該符号化データ抽出ステップは、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴としたものである。
【0015】
第5の技術手段は、第4の技術手段において、前記符号化データ抽出ステップは、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴としたものである。
【0016】
第6の技術手段は、第4又は第5の技術手段において、前記符号化データ抽出ステップは、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴としたものである。
【0017】
第7の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データを蓄積する符号化データ蓄積手段と、前記複数の符号化データのいずれかを復号して再生する復号手段と、他の画像再生装置とネットワークを介して接続するためのネットワーク接続手段とを備えた画像再生装置であって、該ネットワーク接続手段により接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定手段と、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択手段とを備え、前記符号化データ選択手段により選択された符号化データを前記ネットワークに送出することを特徴としたものである。
【0018】
第8の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データを符号化データ蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号して再生する復号ステップとを備えた画像再生装置による画像再生方法であって、他の画像再生装置とネットワークを介して接続するネットワーク接続ステップと、該ネットワーク接続ステップにて接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定ステップと、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択ステップと、前記符号化データ選択ステップにて選択された符号化データを前記ネットワークに送出するステップとを備えたことを特徴としたものである。
【発明の効果】
【0019】
本発明によれば、テレビ放送などを記録・蓄積したコンテンツを、家庭内のテレビで視聴するか、インターネットやLANなどの通信回線を介するストリーミング再生によって視聴するかなど、それぞれの視聴環境に応じて快適な再生方法を実現することができる。
具体的には、符号化されたコンテンツの記録再生において、コンテンツを複数の符号化方式で記録することで、ユーザは視聴環境に応じた符号化コンテンツを選択可能となり、快適な視聴を容易に実現することができる。
また、再生を停止した位置(再生停止位置)の情報を符号化前の元のコンテンツ毎に管理することで、1つのコンテンツに対して記録された複数の符号化コンテンツ間で再生停止位置の情報を共有することができ、これにより、任意の符号化方式で符号化されたコンテンツを視聴中に再生を停止した後、視聴環境を変えて再生する際に、その視聴環境に応じた別の符号化方式で符号化された前記コンテンツを再生停止した続きから視聴することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図2】画像処理装置におけるコンテンツ関連情報の構成例を示す図である。
【図3】画像処理装置におけるコンテンツ関連情報の他の構成例を示す図である。
【図4】コンテンツの記録処理の一例を説明するためのフロー図である。
【図5】本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。
【図6】ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。
【図7】画像処理装置により記録された多重化ストリームデータの構成例を示す図である。
【図8】画像処理装置により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。
【図9】多重化ストリームの再構成処理の一例を説明するためのフロー図である。
【図10】画像処理装置により符号化されたコンテンツデータの構成例を示す図である。
【図11】画像処理装置により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。
【図12】キーフレームを含むパケットのキーフレーム情報の一例を示す図である。
【図13】本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。
【図14】本発明の他の実施形態に係る画像処理装置において、サーバー/クライアント型の構成例を示すブロック図である。
【図15】本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。
【図16】本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。
【図17】本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。
【図18】画像処理装置におけるコンテンツ関連情報にUserIDを追加した構成例を示す図である。
【発明を実施するための形態】
【0021】
図1は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、10は画像処理装置で、該画像処理装置10は、画像記録部1と画像再生部2からなり、画像記録部1は、受信したコンテンツデータの記録制御を行う記録制御部11、コンテンツデータを符号化する符号化部12、符号化されたコンテンツデータを蓄積するコンテンツ蓄積部13、受信したコンテンツデータからその関連情報を生成するコンテンツ関連情報生成部14、生成されたコンテンツ関連情報を記録する関連情報記録部15、コンテンツ関連情報を蓄積するコンテンツ関連情報データベース(以下、コンテンツ関連情報DB)16を備え、画像再生部2は、ユーザの入力などを受けて再生のための制御を行う再生制御部17、再生制御部17から指示されたコンテンツデータの関連情報をコンテンツ関連情報DB16から読み出す関連情報読み出し部18、コンテンツ蓄積部13に蓄積されたコンテンツデータを読み出すコンテンツデータ読み出し部19、符号化されたコンテンツデータを復号する復号部20、前回視聴時の再生停止位置からの再生データを生成する符号化データ抽出部21、ユーザの視聴環境に応じて出力先を決定し、各出力先に再生データを出力する出力部22を備える。
【0022】
また、画像処理装置10は、インターネットやLAN等のネットワークに接続するためのネットワーク接続機能を備えており、他の画像再生装置等とネットワークを介して接続することができる。
また、本発明の実施形態として、画像処理装置10を代表例として説明するが、これに限定されるものではなく、画像記録部1からなる画像記録装置、あるいは画像再生部2からなる画像再生装置としての形態としてもよい。この画像再生装置とした場合、画像再生装置側にコンテンツ関連情報DB16を備える構成としてもよい。
なお、以下の説明において、複数の記録モードとして、MPEG−2やMPEG−4などの圧縮技術を用いて説明するが、本発明に適用可能な記録方式としてはこれに限定するものではない。
【0023】
図1において、記録制御部11は、ユーザにより設定された記録モードに従って受信したコンテンツデータの記録方法を決定する。ユーザは、画像処理装置10に対して、記録するコンテンツの記録モード(すなわち、符号化方式や、符号化率等のパラメータを含む符号化条件)をあらかじめ設定して記録しておく。すなわち、有線接続された表示装置による視聴を目的とした記録であるのか、あるいは、インターネット等のネットワークを介した表示装置による視聴を目的とした記録であるか、または両方を目的とした記録であるのかなどを記録モード別に設定しておく。これらの設定により、記録制御部11は、符号化部12に対して、符号化のための動作条件やパラメータを送出する。また、記録制御部11は、これらの符号化のための動作条件やパラメータ、および番組名などを含むコンテンツに関する情報を、コンテンツ関連情報生成部14に対して出力する。
【0024】
符号化部12は、記録制御部11で設定されたパラメータに従いコンテンツの符号化を行い、画像データおよび音声データを符号化したデータを生成する。画像信号の符号化方式は、MPEG−1規格、MPEG−2規格あるいはMPEG−4規格などの符号化方式があり、音声符号化方式には、G.726やAMRといった方式がある。本発明では、これらの符号化方式を特に制限するものではなく、復号部20が復号できる符号化方式であればよい。また、符号化部12は、これらの符号化方式の1つに対応してもよいし、例えば、MPEG−2規格の符号化方式とMPEG−4規格の符号化方式といった、複数の符号化方式に対応していてもよい。符号化が行われたコンテンツはコンテンツ蓄積部13に蓄積される。コンテンツ蓄積部13は、例えば磁気方式記憶装置や光学式記憶装置などにより構成される。
【0025】
本発明において、複数の視聴目的(テレビ等の有線接続、ネットワーク経由など)のために、同一コンテンツを複数の記録モードで記録する際には、符号化部12を複数備えて並列に符号化処理を行ってもよいし、記録制御部11が記録モード毎に、順次、符号化部12に処理を指示してもよい。
【0026】
ユーザの視聴の形態により、快適に視聴できるコンテンツの条件は変化する。例えば、ホームサーバーのようにテレビなどの表示装置で視聴する場合は、MPEG−2符号化方式などの高画質(低い符号化率)のコンテンツが視聴可能であり、PDAや携帯電話でネットワークを利用した視聴形態であれば、MPEG−4符号化方式といった低画質(高い符号化率)で視聴したほうが快適に視聴できる。LANを介したネットワークのように、通信速度が速ければ高画質のコンテンツの視聴が可能であるが、PHS網などを利用した場合は、低画質のコンテンツのほうがストレスなく視聴できる。このように視聴形態にあわせた記録モードを用意し、コンテンツ記録時には、その記録モードに従い記録する。また、コンテンツの記録時に複数の記録モード(符号化処理)を行うことで、家では高画質のコンテンツを視聴し、外出先で続きを低画質の記録モードで視聴するといった利便性が生じる。
【0027】
この記録モードは、機器にあらかじめ設定しておいてもよいし、ユーザが任意に設定できるようにしておいてもよい。ここで、あるコンテンツをMPEG−2規格の記録モードとMPEG−4規格の記録モードで記録する際に、符号化部12がMPEG−2規格およびMPEG−4規格に対応しているのであれば、記録制御部11は、符号化部12に両方のモードでの符号化処理を同時に指示してもよいし、MPEG−2規格での符号化処理の後にMPEG−4規格での符号化処理を指示しても良い。また、符号化部12が単一の符号化方式のみに対応しているのであれば、MPEG−2規格に対応する符号化部とMPEG−4規格に対応する符号化部を用意し、記録制御部11がそれぞれに符号化処理を指示してもよい。本発明の実施の形態では、符号化部12は、複数の符号化方式に対応した符号化部として記載する。
【0028】
コンテンツ関連情報生成部14は、記録制御部11から出力されたコンテンツの符号化パラメータやコンテンツの情報をコンテンツ関連情報として生成する。生成されたコンテンツ関連情報は、関連情報記録部15を介してコンテンツ関連情報DB16に蓄積される。
【0029】
図2は、画像処理装置10におけるコンテンツ関連情報の構成例を示す図である。
コンテンツ関連情報生成部14で生成されたコンテンツ関連情報は、コンテンツ名やコンテンツの再生時間長、再生停止された位置(時間)、コンテンツの符号化された記録モードや、各記録モードにおける符号化ファイル名、符号化パラメータなどを含む。同一のコンテンツデータから複数の記録モードで符号化データを生成する際には、それぞれの記録モードに対応する符号化されたデータ(ファイル)が生成されるが、それらが同一コンテンツの符号化データであることを示すため、符号化前の元のコンテンツ名を含むファイル名で管理される。例えば、コンテンツ名「contents_01」に対し、記録モード1のファイルには「contents_01_mode1」、記録モード2のファイルには「contents_01_mode2」というファイル名が付けられている。
【0030】
これらの2つのファイルは、符号化前のコンテンツ名で管理されるため、図2に示すように再生時間長や再生停止された位置(時間)の情報は両者の間で共有される。すなわち、ユーザが「contents_01」を記録モード1のファイル「contents_01_mode1」で視聴しており、視聴途中で再生を停止した場合、その再生停止の情報は、「contents_01」の情報として記録される。ユーザがコンテンツ「contents_01_mode2」のファイルで視聴を再開した際には、再生停止情報は「contents_01_mode1」と共通に管理されているため、再生停止位置から続きを視聴できる。
【0031】
上記のようにして記録されたコンテンツを再生する際には、再生制御部17は、表示装置に、コンテンツ蓄積部13に蓄積されている符号化前の元のコンテンツの一覧を、サムネイル表示やリスト表示などで提示する。その一覧よりユーザは再生するコンテンツの選択を行う。
【0032】
再生制御部17は、ユーザにより再生指定されたコンテンツの関連情報を取得するように関連情報読み出し部18に指示し、コンテンツ関連情報DB16からコンテンツ関連情報を取得する。次に、再生制御部17は、取得したコンテンツ関連情報を解析し、指定されたコンテンツに複数の記録モードで記録されたデータがあるのか、再生停止位置の情報があるのかといった情報を取得する。
【0033】
ここで、再生停止位置とは、コンテンツの符号化データを復号してコンテンツを再生した後に、再生装置の制御によってこれを停止した位置(コンテンツ内の位置)を示す情報のことである。ここで、再生装置の制御によって再生を停止する場合とは、例えば、ユーザから再生停止の指示があった場合、タイマによる指定時刻での自動停止が行われた場合、電源断やバッテリ切れによる再生装置の停止が行われた場合などである。この再生停止位置は、コンテンツ先頭からの再生時間で示しても良いし、符号化データの先頭からのビット数(もしくはバイト数)で表現してもよい。再生時間は、時分又は秒によって表現されるが、その他の表現(例えば再生装置のクロック数や、所定時間を単位とするカウント数など)を用いても良い。
【0034】
図3は、画像処理装置10におけるコンテンツ関連情報の他の構成例を示す図である。
複数の記録モードで記録されたコンテンツの場合、図2で示すように、再生停止位置を時間で管理するのであれば、各記録モードのデータでの再生停止位置の情報は各データで共通として扱えるが、データ先頭からのビット数(もしくはバイト数)の場合は、図3に示すように、その値は符号化方式や符号化時のパラメータによって異なる。
【0035】
再生制御部17は、取得された情報を表示装置に提示する。これにより、ユーザは再生対象のコンテンツのパラメータや動作を視聴環境に合わせて選択することができる。特に、パラメータの選択については、該当コンテンツの記録モードを提示することで、ユーザは自分の視聴環境に適したパラメータを選択することができる。また、再生停止位置の情報は、既に視聴した箇所をスキップして途中から再生する場合に利用することができる。
【0036】
再生制御部17は、ユーザの選択した記録モードに対応する符号化されたコンテンツデータ(符号化データ)をコンテンツ蓄積部13から読み出す。読み出された符号化データは、再生停止位置からの再生なのかどうか、インターネットを介した再生なのかどうかなどの情報に従い、コンテンツデータとその関連情報を、復号部20あるいは符号化データ抽出部21に出力する。なお、再生停止位置からの再生なのかどうかはユーザによる再生コンテンツ選択の際に取得され、インターネットを介した再生かどうかなどの情報は、ユーザがどのような手段を用いて画像処理装置10にアクセスしたかということから取得される。すなわち、ユーザがインターネットを介した再生を行うのであれば、必然的にユーザの画像処理装置10へのアクセスはインターネット経由となる。
【0037】
復号部20では、符号化されたコンテンツデータの復号を行い、出力部22を経て図示しない表示装置に出力する。符号化データ抽出部21では、指定時間からの再生データを生成する。本実施形態では、コンテンツ関連情報に記録されている再生停止位置の情報を元に再生停止位置からの再生データを生成する。通常、コンテンツの符号化データは、MPEG−2ビデオや、MPEG−2オーディオ等の生のビットストリームデータ(エレメンタリーストリームとも呼ばれる)として記録されるのではなく、画像データと音声データを単一のプログラムとして扱うために、多重化したストリームとして記録される。この多重化されたストリームには、画像データと音声データの他に、符号化方式にかかわる情報や、画像サイズ、再生時間情報などが付加されている。多重化ストリームを生成するための多重化方式には、MPEG−2であればMPEG−2システム、MPEG−4であればMPEG−4システム、マイクロソフト社が提案しているASF(Advanced System Format)などがある。
【0038】
本実施形態においては、記録されたコンテンツの符号化データから指定時間以降のビットストリームを抽出する際に、MPEG−2ビデオや、MPEG−2オーディオ等の復号処理を行わず、多重化ストリームに含まれる情報を用いて行う。符号化データ抽出部21にて、指定時間に相当するデータ位置の特定と、再生用のデータの生成とを行う。生成された再生用のデータは、ユーザがテレビなどの表示装置で視聴を行っているのであれば、データを復号するために復号部20へ出力する。インターネットなどのネットワークを介しての視聴であれば、データは復号せずに出力を行うので、出力部22に出力される。
【0039】
図4は、コンテンツの記録処理の一例を説明するためのフロー図である。本例では、図1に示した画像処理装置10に基づいて説明するものとする。
まず、記録制御部11が記録するコンテンツを取得する(ステップS1)。このコンテンツ取得方法は、例えば、アナログテレビ放送やBS/CS/地上波デジタル放送、ケーブルテレビなどの放送網を経由した受信の他に、他のビデオデッキやDVD機器などの映像再生機を接続して入力としてもよい。次に、符号化部12は、受信したコンテンツをあらかじめ設定された記録モードに従って符号化し(ステップS2)、ハードディスクに代表される磁気記録装置やDVD−Rなどの光ディスク記録装置、コンパクトフラッシュ(登録商標)などのフラッシュメモリ記録装置などに記録する。
【0040】
次に、記録制御部11は、符号化したコンテンツを管理するために、コンテンツ名を取得あるいは生成する(ステップS3)。コンテンツ名は、符号化を行った日付やテレビ放送のチャンネルなどから生成してもよいし、テレビ放送を予約する場合であれば予約録画時にユーザが任意に設定してもよい。また、タイトルなどの付加情報が、受信したコンテンツに含まれているのであれば、それを取得してコンテンツ名として利用するようにしてもよい。
【0041】
次に、コンテンツ関連情報生成部14は、記録したコンテンツの関連情報として必要な関連情報データを生成する(ステップS4)。この関連情報データは、図2に示したように、上記ステップS3で取得あるいは生成されたコンテンツ名、再生時間、符号化されたコンテンツを記録する際のファイル名およびその符号化のパラメータを含んでいる。また、再生停止位置の情報もこの関連情報データに含めて記録される。このようにして生成された関連情報データは、関連情報記録部15によりコンテンツ関連情報DB16に登録される(ステップS5)。
【0042】
図5は、本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。本例は、図1に示した画像処理装置10に基づいて説明するものとする。
まず、ユーザは画像処理装置10に対してアクセスする。このとき、再生制御部17は、ユーザのアクセス手段を判別し、少なくともインターネット等のネットワークを介してのアクセスであるかどうかを識別する(ステップS11)。再生制御部17は、表示装置に、再生可能なコンテンツを提示してユーザに選択させる(ステップS12)。
【0043】
次に、再生制御部17は、上記ステップS12にて選択されたコンテンツのコンテンツ関連情報を関連情報読み出し部18を介してコンテンツ関連情報DB16から取得し、取得されたコンテンツの記録モードの数や再生停止位置の情報の有無等を判別する(ステップS13)。
【0044】
再生制御部17は、上記ステップS13で判別された情報のうち、再生対象コンテンツに対応する記録モードが複数存在するかどうかを判別し(ステップS14)、複数の記録モードが存在する場合(YESの場合)、再生を行うコンテンツの記録モード(パラメータ)の選択をユーザに提示する(ステップS15)。また、上記ステップS14で複数の記録モードが存在しない場合(NOの場合)、記録モードは1つなので再生を行うコンテンツは決定され、ステップS16に移行する。
【0045】
上記ステップS14又はステップS15において再生を行うコンテンツが決定すると、再生制御部17は、コンテンツ蓄積部13にコンテンツデータ読み出し部19を介してアクセスして符号化されたコンテンツを取得する(ステップS16)。
次に、再生制御部17は、上記ステップS13にて解析されたコンテンツ関連情報から再生停止位置の情報が存在するかどうか判定し(ステップS17)、再生停止位置の情報が存在した場合(YESの場合)、その再生停止位置からの再生を行うかどうかユーザに問い合わせる(ステップS18)。
【0046】
次に、再生制御部17は、上記ステップS18におけるユーザからのフィードバックが、再生停止位置からの再生を行うかどうか判断し(ステップS19)、再生停止位置からの再生を行う場合(YESの場合)、再生停止位置情報および符号化コンテンツデータを符号化データ抽出部21に出力する。符号化データ抽出部21は、再生停止位置情報に基づいて再生停止位置からのデータを生成する(ステップS20)。
【0047】
ここで、音声メディアと画像メディアが多重化されている符号化コンテンツにおいて、多重化方式によってはそれぞれのメディアの再生停止位置のデータが、必ずしもデータ内で連続状態であるとは限らない。また、多重化ストリームデータがパケット化されている符号化コンテンツでは同一パケット内に存在するとは限らない。このような場合、どちらかのメディアを基準とした再生では、基準でないメディアが再生されない区間が生じたり、同期ずれが発生し快適な視聴を妨げることがある。そのため、それぞれのメディアの再生に齟齬が生じないように多重化ストリームデータ(および多重化ストリームの制御情報)を再構成する。また、上記ステップS19において、再生停止位置からの再生でない、すなわち、コンテンツの先頭などからの再生の場合(NOの場合)、コンテンツデータは出力部22に出力される。
【0048】
次に、再生制御部17は、上記ステップS20で生成された再生停止位置からのコンテンツデータあるいは上記ステップS16で取得したコンテンツデータを上記ステップS11で識別したユーザの視聴環境に合わせて、データの出力先を決定する(ステップS21)。すなわち、視聴環境が有線接続された表示装置による視聴であれば(NOの場合)、コンテンツデータを復号する(ステップS22)。また、上記ステップS21において、視聴環境がネットワーク経由であれば(YESの場合)、出力すべきデータをユーザの視聴環境に合わせて出力する(ステップS23)。この場合、符号化データを出力してユーザ側の再生装置で復号を行う構成としている。
【0049】
本発明の実施形態では、既に述べたように、ユーザがコンテンツを選択後(ステップS12)、選択されたコンテンツに再生停止位置の情報が存在するかどうかを判定し(ステップS17)、ユーザに再生停止位置からの再生を行うかどうかを問い合わせ(ステップS18)、そのフィードバックに従って再生を行う(ステップS19)手順例を示したが、これに限定されるものではない。例えば、図5において、コンテンツの再生停止位置情報の存在を判定する手順(ステップS17)とユーザからのフィードバックに従って再生を行う手順(ステップS19)を逆にしてもよい。すなわち、ユーザが視聴するコンテンツの選択の際に、再生停止位置からの再生を優先するといった視聴方法をユーザが選択し、再生制御部17に通知する。再生制御部17は、通知された視聴方法に従って、選択されたコンテンツの再生停止情報の存在の判定を行う。再生停止位置情報が存在した場合は再生停止位置からの再生を行うが、存在しない場合は、コンテンツの先頭からの再生を行うとしてもよい。
【0050】
また、コンテンツ視聴の毎に、再生停止位置からの再生かどうかをユーザに問い合わせしなくてもよい。すなわち、再生制御部17に、あらかじめ視聴方法を設定しておくようにしてもよい。再生制御部17は、ステップS18にてユーザに問い合わせるのではなく、設定された視聴方法を参照することで判定するとしてもよい。
【0051】
図6は、ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。本例は、図1に示した画像処理装置10に基づいて説明するものとする。
まず、ユーザが視聴中に再生を停止すると、再生制御部17は、その再生停止情報を直接あるいは、インターネット等のネットワークを介して受信する(ステップS31)。再生停止の指示を受信した再生制御部17では、コンテンツの出力を止めるとともに(ステップS32)、再生停止した時刻情報などを取得する(ステップS33)。これらの情報のうち、再生再開に必要な情報(再生停止した時刻など)の情報は、コンテンツ関連情報生成部14にて、既存の該当コンテンツの関連情報が更新される(ステップS34)。更新されたコンテンツ関連情報は、関連情報記録部15に出力され、コンテンツ関連情報DB16に更新登録される(ステップS35)。
【0052】
以下、図7乃至図10に基づいて、図1に示した符号化データ抽出部21におけるコンテンツデータの再構成処理の一例について説明する。
図7は、画像処理装置10により記録された多重化ストリームデータの構成例を示す図である。符号化データ抽出部21では、再生停止位置からの再生を行うために多重化ストリームの情報に基づいて符号化コンテンツデータを再構成する。多重化ストリームを生成するための多重化方式には、先に述べたように、例えば、MPEG−2システム、MPEG−4システム、マイクロソフト社のASFなどがある。通常、これらの多重化ストリームデータは、図7(A)に示すように、コンテンツ全体の制御情報を格納する部分(図中、制御情報)と、実際のデータを格納する部分(図中、コンテンツデータ)からなる。インターネットを介した再生が意図されるコンテンツの場合、「コンテンツデータ」には音声メディアと画像メディアが多重化されて格納されている。
【0053】
図7(B)に示すコンテンツデータにおいて、Aは音声メディアのデータ(音声データ)、Vは画像メディアのデータ(画像データ)を示している。このように構成することにより、受信側は、全てのデータの受信完了を待つことなく、同時刻に再生されるべき音声メディアと画像メディアがそろい次第再生が可能となる。この多重化データは、通常、図7(C)に示すように、制御情報(図中の「制御」で、一般にコンテンツ全体の制御情報とは異なる。)と、実際のデータ(音声データA及び画像データV)とを含むパケットと呼ばれるまとまりで構成される。このパケット単位で送信することで、通信経路等の占有の回避や送信経路の柔軟さなどの利点が生じる。
【0054】
図8は、画像処理装置10により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。
多重化ストリームデータのパケットへの分割方法は各多重化方式によって異なるが、スムーズな再生を試みるために、同時刻に再生される音声メディアのデータ(音声データA)と、画像メディアのデータ(画像データV)はあまり離れたパケットに配置されないなどの工夫が行われる。例えば、図8(A)に示すように、同一番号を付与した音声データAと画像データVが同時に再生されるデータであること、すなわち、A1とV1,A2とV2,…が同時刻に再生されるデータであることを示す。
【0055】
符号化されたコンテンツデータを途中から再生しようとする場合、図7(C)に示したパケット自体の制御情報に含まれる符号化コンテンツデータの再生時刻情報などを利用して再生データの位置を特定することができる。しかしながら、一般に、図8(B)に示すように、再生開始時刻に対応する音声データと画像データが同一パケットに含まれていない場合がある。このため、パケット単位で送信する場合、再生には不必要なデータ(指定された再生時刻以前又は以後のデータ)などが含まれたり、音声データと同一時刻に再生すべき画像データの受信までに時間がかかったりといった現象が発生する。このような現象を回避するために、以下のように多重化ストリームの再構成を行う。
【0056】
図9は、多重化ストリームの再構成処理の一例を説明するためのフロー図である。図10は、画像処理装置により符号化されたコンテンツデータの構成例を示す図である。
図10(A)に示すように、多重化ストリームデータは、コンテンツ全体の制御情報と、音声データ、画像データおよびパケット自体の制御情報を含む複数のパケットと、画像データのキーフレームが存在するパケットのキーフレーム情報からなる。キーフレームとは、通常、フレーム内符号化され、他のフレームから予測復号する必要の無いフレームであって、画像データのランダムアクセス再生の再生開始フレームとして使用されるフレームのことである。図10(A)において、VtおよびAtは指定された再生開始時刻(指定時刻)tに対応する音声データと画像データを示す。
【0057】
図9において、まず、符号化データ抽出部21は、指定時刻t付近のデータが含まれるパケットを特定する(ステップS41)。ここでは、図10(A)に示すパケット31が特定される。次に、特定されたパケット内に含まれている音声データと画像データの再生時刻情報を抽出する(ステップS42)。本例では、図10(A)に示す画像データ32,35に対応する再生時刻V2,V3、および音声データ33,34に対応する再生時刻A4,A5が抽出される。
【0058】
次に、抽出された画像データの再生時刻情報から時刻tに最も近い画像データを特定し、これに対応する再生時刻Vtを得る(ステップS43)。図10(A)に示す画像データ35に応じた再生時刻V3がVtである。そして、パケット内に時刻Vtに対応する音声データが存在するかどうかを調べ(ステップS44)、音声データが存在した場合(YESの場合)、ステップS47に移行し、再生を開始するパケットおよび画像データ、音声データの特定を終了し、再構成処理を行う。また、上記ステップS44において、音声データが存在しない場合(NOの場合)、パケット内の最も早い時刻の音声データの再生時刻At0(すなわち、図10(A)に示す再生時刻A4)と最も遅い時刻の音声データの再生時刻At1(すなわち、図10(A)に示す再生時刻A5)を、上記再生時刻Vtと比較し、再生時刻VtがAt0(再生時刻A4)より早い時刻であれば、現在よりも前のパケットを取得し、上記再生時刻VtがAt1(再生時刻A5)より遅ければ後ろのパケットを取得する(ステップS45)。
【0059】
上記ステップS45において再度取得したパケットに対して、そのパケット内に時刻Vtに対応する音声データがあるかどうかを調べ(ステップS46)、時刻Vtに対応する音声データが存在する場合(YESの場合)、ステップS47に移行し、また、上記ステップS46において、時刻Vtに対応する音声データが存在しない場合(NOの場合)、時刻Vtに対応する音声データが特定できるまでステップS45及びステップS46を繰り返す。
【0060】
ここで、図10(A)に示す時刻Vtに対応する音声データとして音声データ36が特定された場合、ステップS47において、特定された画像データ35(再生時刻V3)と音声データ36(再生時刻A3)をもとにパケットが再構成される。
【0061】
ここで、図10(A)に示す画像データ32(再生時刻V2),37(再生時刻V1)は必ずしもキーフレームであるとは限らないため、その画像データを復号すると正しく復号できない可能性がある。このような場合、図10(B)に示すように、それらの画像データを無効データに置き換える。無効データとは、復号装置において読み捨てることが定められているデータをいい、図10(B)では「D」を付している。
【0062】
図10(B)に示す例では、画像データ32,37を無効データ32′,37′に置き換え、他のデータとの位置を置き換えることで、無効データが各パケットの最後に位置するようにしている。これは、多重化方式のなかには、各パケットの制御情報に、そのパケットに含まれる音声データ、画像データのサイズを記載しているものも存在するためである。音声データ、画像データをパケット化する場合、1パケットのデータサイズが固定であると、必ずしも1パケットのデータサイズとパケット内に含まれる音声データ、画像データのサイズが一致するとは限らない。そのため、パケットの制御情報にパケット内の有効なデータサイズを記載することで、特別な情報を必要とせず無効なデータを識別することが可能である。このような場合、新たに無効データを生成した場合、その無効データは各パケットの最後に移動させ、パケットの制御情報を修正する必要がある。
【0063】
さらに、正しく復号できないデータを、同じビット数の無効なデータに置き換えてパケットを再構成すれば、パケットの長さを変更する必要がなく、他のパケットへの影響がない。同様に、図10(A)に示す音声データ38(再生時刻A2),音声データ39(再生時刻A1)は、上記時刻Atより以前の時刻情報を持つ音声データであって、時刻tからの再生に不要なデータであるため、図10(C)に示すように、無効データ(無効データ38′,39′)とする。
【0064】
以上のことを下記に示す図11を用いて説明する。
図11は、画像処理装置10により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。図11(A)はオリジナルの符号化されたコンテンツデータを示す。そのコンテンツデータは、図10(A)に示したように、ファイル全体を示す制御情報と画像データと音声データからなるパケット40(パケット41,42,43,44も同様)で構成されている。それぞれのパケットの構成は図11(B)に示すように多重化されている。
【0065】
ここで再生停止位置の時刻情報が5分30秒であり、この位置から再生を再開する際の再構成は次のようになる。再生停止位置の時刻情報5分30秒に該当する画像データは、図11(B)に示す画像データ48である。画像データ48と同一パケット内の音声データ49は5分33秒であり、画像データ48より再生時刻が遅い。そのため、画像データ48と同時刻の音声データがないか、パケット44より前のパケットの各データの時刻情報を探索する。パケット42、パケット41の順で探索を行い、パケット41にて、音声データ45の再生時刻が5分30秒であることを発見する。これによりパケット41から再構成の対象となる。再構成の際の多重化ルールは、特に限定するものではないが、基準となる画像データから再生時刻の早いデータ順とする。
【0066】
各パケットは、パケット長が決まっているため、その長さでパケット化を行う。
パケット43では、音声データ46の再生時刻は5分30秒以降のため、再構築の対象となるが、画像データ47の再生時刻は、5分29秒のため再構築の対象データとはならず、破棄される。
【0067】
上記の結果、それぞれのパケットは、図11(B)に示す矢印50〜58のように再構築される。パケット44以降のパケットには、再構築で無効となるデータがないため、無効データは生じず、また、パケット内のデータも全て5分30秒以降のため再構築も行われない。従って、図11(C)に示す動画データが再構成される。
【0068】
図9において、再構成の処理が終わった後、再生対象のパケットの制御情報に含まれる再生時刻情報を更新する(ステップS48)。これは、通常、再生時刻情報は、再生開始から絶対時間で表現されるので、再構成だけを行った状態では、データを受信したものの、ユーザにより指定された時刻まで再生が行われないということが発生する可能性があるためである。但し、再生時刻情報が相対時間(例えば、前のパケットや前のデータの再生時刻との差分情報)で表現される場合は、このような更新処理は不要である。
【0069】
最後に、図10(A)に示す多重化ストリームの制御情報を、再構成後のコンテンツデータに適するように更新する(ステップS49)。多重化方式によっては、制御情報に、多重化ストリームに含まれているパケット数や再生時間、データ部のサイズなどの情報などが記載されている。これらは再構成された多重化ストリームでは変更になるためである。以上のようにして、再生時において指定時刻の位置からコンテンツを作成する。
【0070】
次に、図9に示したステップS41における、指定された時刻tに対応する画像データを含むパケットの特定方法について詳細に説明する。
図12は、キーフレームを含むパケットのキーフレーム情報の一例を示す図である。図10(A)に示したキーフレーム情報にはキーフレームの位置が特定できる情報が記載されている。本例では、マイクロソフト社のASFにおける情報(インデックスオブジェクトと呼ぶ)を代表例として説明する。但し、本例ではインデックスオブジェクトの概略を示しており、主要要素のみを示している。
【0071】
上記インデックスオブジェクトは、画像データに対して時間に基づいたエントリを含んでいる。各エントリは、それぞれのエントリが指し示す時間の画像データが含まれるパケットのパケット番号を示す。エントリが指し示す時間は、エントリの時間間隔61によって計算される。本例ではエントリ間の時間間隔を1秒としている。ここでは、エントリが示す時間に対して直前のキーフレームが存在するパケットのパケット番号が示されている。すなわち、エントリ番号1は1秒より前のキーフレームがパケット0にあり、エントリ番号2は2秒より前のキーフレームは、やはりパケット0にあり、エントリ番号4は4秒より前のキーフレームがパケット13にあることを表す。
【0072】
上記のように指定された時刻tに対応するエントリを特定するには、まず、エントリの時間間隔の値とエントリ番号から各エントリが示す時間を算出する。そして、算出された時間が時刻tに最も近いエントリを選択する。ここで、指定された時刻tが例えば10.5秒であった場合は、エントリ番号10とエントリ番号11のいずれかのパケットを選択する。例えば、常にエントリ番号10を選択するようにしてもよい。このようにしてパケットが指定された時刻tに対応する画像データが含まれるパケットが特定される。
【0073】
また、上記例では、再生停止された位置からのコンテンツデータの生成について説明したが、ストリーミング再生を行う場合は、送信するコンテンツデータを全て作成せずとも、途中まで作成した時点でデータを送信することができる。これについて下記のフロー図に基づいて説明する。
図13は、本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。
まず、指定された時刻tに対する画像データが含まれるパケットを図9に示したステップS41と同様の方法で特定し(ステップS51)、特定された画像データに対応する音声データを含むパケットを特定する(ステップS52)。パケットの特定方法は図9に示したステップS44〜ステップS46と同じ方法を用いる。
【0074】
次に、上記ステップS52で特定されたパケットに対して、図9に示したステップS47と同様の処理により再構成を行う(ステップS53)。パケットが特定されたことにより、コンテンツの総再生時間や総パケット数、総データ数などが算出可能であるため、図9に示したステップS49と同様の処理を行い、多重化ストリームの制御情報を更新する(ステップS54)。通常、多重化ストリームの制御情報は、多重化ストリームに含まれる画像データや音声データを復号して再生するのに必要なデータであるため、図1に示した出力部22へ出力を行う(ステップS55)。
【0075】
次に、上記ステップS55で制御情報を出力した後に、パケットを順次出力する。出力されるパケットに含まれる画像/音声データの再生時刻は、上記ステップS51及びステップS52で特定された画像/音声データの再生時刻を基準とした時刻に修正する必要がある。ここで、各パケットの制御情報うち、画像や音声データの再生時刻などは、上記ステップS51及びステップS52で特定された画像/音声データの再生時刻が0になるように修正する必要がある。そこで、パケットの出力処理に際し、ユーザによる再生停止指示を検出したかどうかを判断し(ステップS56)、再生停止指示を検出した場合(YESの場合)、そのまま終了し、また、上記ステップS56において、再生停止指示を検出していない場合(NOの場合)、出力パケットが存在するかどうか判断し(ステップS57)、パケットが存在しない場合(NOの場合)、終了し、パケットが存在する場合(YESの場合)、出力前にパケットの制御情報を更新し(ステップS58)、制御情報が更新されたパケットを出力する(ステップS59)。
【0076】
パケットの出力処理は、上記ステップS56においてユーザによる再生停止指示が検出されず、且つ、上記ステップS57において多重化ストリームデータ(パケット)が存在する限り継続される。そして、ユーザによる再生停止指示が検出された場合、あるいは出力するパケットが無くなった時点でストリーミング再生のためのデータ送信の処理を終了する。このような処理を行うことで、再生停止位置からの多重化ストリームデータを生成し終えずとも、ユーザは視聴を開始することができるため、再生開始の指示から実際に再生を開始するまでの時間を短縮することができる。
【0077】
本発明は、図1で示した構成に制限するものではなく、下記の図14に示すような構成を取っても実現できる。なお、図14中での各部の番号は図1と同様の働きを行うものには、同一の番号を付している。
【0078】
図14は、本発明の他の実施形態に係る画像処理装置において、サーバー/クライアント型の構成例を示すブロック図である。本実施形態の画像処理装置は、画像記録部63と画像再生部64から構成され、コンテンツ関連情報データベース16を画像再生部64のみが管理する。例えば、サーバー/クライアント型の装置においては、画像再生部を有するクライアント側の端末に保存されるなどが考えられる。
【0079】
サーバー/クライアント型の装置を考えた場合、画像記録部63と画像再生部64は、有線又は無線のネットワークで接続され、データがやり取りされる(L1、L2)。ユーザがコンテンツの途中からの再生を望む場合、すでに述べたようにコンテンツデータ受信後にパケットの再構成を行っても、再生開始位置のデータを取得するまで、ユーザは視聴を待たねばならない。そのため、再生制御部17は、コンテンツデータ読み出し部19にコンテンツデータを要求する際に、再生開始位置の情報を合わせて伝達する(L1)。コンテンツデータ読み出し部19は、要求のあったコンテンツデータをコンテンツ蓄積部13から取得するが、その際に符号化データ抽出部21により、既に述べた再構成の方法により、コンテンツデータは再生開始位置からのコンテンツに再構成される。再構成されたコンテンツデータが再生制御部17に伝達され(L1)、復号される。
【0080】
図14での本発明の動作を説明する。コンテンツを受けた記録制御部11は、例えば、複数の記録モードで記録するなどの符号化条件に従って、符号化部12に符号化を指示する。符号化されたデータは、コンテンツ蓄積部13に蓄積される。なお、この時、コンテンツ蓄積部13には、蓄積されたコンテンツ管理のために、コンテンツリストが生成される。このコンテンツリストは、蓄積されたコンテンツが、どのようなコンテンツが記録されているか、複数の記録モードで記録されているかなどが分かればよいので、図2に示したコンテンツの情報のうち、少なくともコンテンツ名と実際のデータファイル名が記録されていればよい。ユーザが視聴を行う時は、再生制御部17からコンテンツリスト読み出し部62にコンテンツ蓄積部13に蓄積されているコンテンツの問い合わせを行う(L2)。コンテンツリスト読み出し部62はコンテンツ蓄積部13からリストを取得し、その情報を再生制御部17に返す(L2)。再生制御部17は、取得したリストをコンテンツ関連情報生成部14でコンテンツ関連情報データベースの形式に変換し、関連情報記録部15を経てコンテンツ関連情報データベース16に記録する。既にコンテンツ関連情報データベース16にコンテンツ関連情報が存在した場合には、関連情報記録部15は、取得し生成した関連情報とデータベース中の関連情報をマージするように記録してもよいし、単純に上書きでもよい。
【0081】
コンテンツ関連情報データベース16に蓄積された情報は、関連情報読み出し部18により読み出され、再生制御部17によってユーザに示される。ユーザは示されたコンテンツの関連情報(コンテンツ名や記録モードや再生時間や、再生停止位置情報など)から視聴するコンテンツを選択する。再生制御部17は選択されたコンテンツをコンテンツデータ読み出し部19に要求し、取得したデータの再生を行う。
【0082】
ユーザが再生を停止した場合、再生制御部17は再生停止位置をコンテンツ関連情報データベース16に登録する。コンテンツ関連情報データベース16のユーザが視聴したコンテンツの関連情報のうち、コンテンツ関連情報生成部14で再生停止位置の情報を更新して登録を行う。
【0083】
また、サーバー/クライアント型の構成において、コンテンツ関連情報データベースは、サーバー側が管理してもよい。図15にその構成例を示す。
図15は、本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。本実施形態の画像処理装置は、コンテンツを記録蓄積する画像記録部65と画像再生部66からなる。クライアント側である画像再生部66の再生制御部17は、関連情報読み出し部18に、サーバー側に蓄積されているコンテンツ情報を要求する(L2)。獲得したコンテンツ名や時間情報などの情報をユーザに提示し、ユーザが視聴するコンテンツを決定する。選択されたコンテンツのデータの取得をコンテンツデータ読み出し部19に要求する(L1)。
【0084】
この時、ユーザが選択したコンテンツに再生停止位置の情報があり、ユーザがその再生停止位置からの再生を望んだ場合、再生停止位置からの再生であることもコンテンツデータ読み出し部19に通知する(再生停止位置からの再開のフラグでもよいし、再生開始を行う位置の時間情報でもよい)。コンテンツデータ読み出し部19は、コンテンツ蓄積部13からデータを読み出し、ユーザによって指定された再生開始位置からデータを再構成するために符号化データ抽出部21で処理を行う。再構成されたデータを再生制御部17に伝達することで、ユーザはコンテンツの視聴が可能になる。
【0085】
画像再生部66を有する機器で視聴を行い、途中で再生停止を行った場合、その再生停止位置情報は画像記録部65に伝達される(L3)。再生停止位置情報を受信した記録制御部11は、これまでに述べた方法と同様に、コンテンツ関連情報データベース16のコンテンツ関連情報を更新する。
【0086】
図16は、本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。前述した図14、図15では、出力の際に、復号部20でコンテンツデータの復号を行い、出力部22にて表示装置へコンテンツの出力を行っていたが、図16に示すように、出力先がネットワークなどの場合、復号をせず出力してもよい。
【0087】
図17は、本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。サーバー/クライアント型の構成にて蓄積されたコンテンツを視聴する方法として、コンテンツデータをクライアントである再生側の機器にコピー(あるいは移動)して視聴する方法がある。この構成について図17に基づいて説明する。
【0088】
図17に示すように、記録側の機器は画像記録部67を有し、再生側の機器は画像再生部68を有する。画像再生部68は、コンテンツ関連情報生成部14と同様の処理を行うコンテンツ関連情報生成部14´、関連情報記録部15と同様の処理を行う関連情報記録部15´、関連情報読み出し部18と同様の処理を行う関連情報読み出し部18´および、コンテンツデータ読み出し部19と同様の処理を行うコンテンツデータ読み出し部19´を有する。また、コンテンツ関連情報を格納するコンテンツ関連情報データベース16´とコンテンツを蓄積するコンテンツ蓄積部13´を有する。
【0089】
ユーザが蓄積側にあるコンテンツを選択し、再生側の機器にコンテンツを格納する際は、無線又は有線で両者を接続しコンテンツの情報およびデータを取得する。コンテンツデータはコンテンツデータ読み出し部19より、コンテンツデータ記録部69を経由し、コンテンツ蓄積部13´に格納される。コンテンツ関連情報は、関連情報読み出し部18から関連情報記録部15´を経由し、コンテンツ関連情報データベース16′に格納される。ここで格納時の状態は問わない。すなわち、単純にコピーを行ってもよいし、移動の状態でもよい。
【0090】
このように、コンテンツを画像再生部68を有する機器に格納する際に、格納したコンテンツの関連情報も合わせて格納するので、再生停止位置の情報が含まれていた場合、この機器で視聴する際には途中から再生が可能となる。
【0091】
格納対象のコンテンツが複数の記録モードで記録されていた場合、ユーザにどの記録モードのデータを格納するのか選択させてもよいし、全ての記録モードのデータを格納してもよい。また、再生側の機器が、どのようなスペックのデータが再生可能かといった再生能力の情報が設定してあった場合は、その能力に見合ったデータを取得してもよい。
【0092】
再生側の機器で視聴し、再生停止を行った場合、コンテンツの再生停止位置情報は、再生側の機器のコンテンツ関連情報に記録/更新される。再生側の機器で記録/更新されたコンテンツ関連情報は、次回に記録側の機器と再生側の機器が接続された時に、再生側から記録側の機器に転送され、蓄積側の機器のコンテンツ関連情報が更新される。すなわち、コンテンツ関連情報データベース16´より関連情報読み出し部18´によってコンテンツ関連情報が読み出され、再生制御部17を経て、記録側の機器のコンテンツ関連情報生成部14に出力される。コンテンツ関連情報生成部14は、受け取った情報を関連情報記録部15に出力し、コンテンツ関連情報データベース16が更新される。この更新に際しては、それぞれの機器を接続した時に自動的に更新してもよいし、更新するかどうかをユーザに提示し選択してもよい。
【0093】
図18は、画像処理装置におけるコンテンツ関連情報にUserIDを追加した構成例を示す図である。図2に示した関連情報データは、視聴するユーザ毎の区別が出来ないため、再生停止したユーザAと次に視聴したユーザBが異なると、ユーザAが再生停止した情報が失われてしまうことがある。そこで、関連情報データにユーザ識別の情報を付与してもよい。図18の例では、図2に示した関連情報データにUserIDのフィールドを追加し、それぞれに再生停止位置を記録できるようにしたものを示す。この時、実際の視聴するユーザとUserIDの組み合わせ設定については方法を問わない。例えば、パーソナルコンピュータに代表されるように、視聴の際にはログイン操作を行い識別するようにしてもよいし、再生停止位置にユーザ名などをユーザに問い合わせても良い。また、ユーザ毎に操作するための機器(例えば、ユーザ毎の専用リモコンなど)が異なれば、その機器を識別し、UserIDとして利用してもよい。また、サーバー/クライアント型の構成における再生側の機器(PDAでの視聴や携帯電話の視聴)が異なる場合、再生機器を識別してUserIDとして利用してもよい。
【0094】
本発明のどの構成(図1、図14、図15、図16、図17)においても、再生停止位置情報の記録タイミングはどのようなタイミングで記録してもよい。すなわち、再生を停止した際に自動的に記録してもよいし、停止時に再生停止位置を記録あるいは更新するかどうかのウィンドウなどを表示しユーザに選択させてもよい。その際に、ユーザが記録(更新)を選択した場合には、再生停止位置情報を書き換えるが、更新しない場合には、再生停止位置情報は記録されない。
【0095】
また、画像記録部あるいは画像再生部が複数のユーザを識別することができ、各コンテンツのコンテンツ関連情報に再生停止情報が一つしか格納できない場合は、それぞれのユーザに再生停止位置情報のユーザ間の優先度を設定してもよい。すなわち、優先度の高いユーザAが視聴を行い、再生停止位置情報を更新した場合は、自動的にコンテンツ関連情報が更新され、優先度が低いユーザが視聴を行い、再生停止位置情報を更新しようとした場合は、優先度が低いためコンテンツ関連情報は更新されない。同様に、サーバー/クライアント型の構成において、クライアントの再生側の機器が複数あった場合、再生機器毎に優先度を付与することで、優先度が高い機器Aで視聴した場合には再生停止位置情報を含むコンテンツ関連情報が更新され、優先度が低い機器Bで視聴した場合は、視聴中に再生停止を行っても再生停止位置情報を更新しないことになる。
【0096】
尚、本発明に係る各実施形態において、再生停止位置の情報に従ってコンテンツの途中からの再生を行う方法について説明したが、これに限らず、ジャンプ再生など、再生停止位置の情報がなく、ユーザの操作によりコンテンツの任意の場所からの再生処理においても、同様の手法が適用できる。
【0097】
以上、本発明の画像再生装置における各機能を中心に各実施形態を説明してきたが、本発明は、画像再生装置における各ステップを実行する方法としても説明したように画像再生方法としての形態もとることができる。また、この各機能を有する装置と同様に、コンピュータに画像再生装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記憶した記録媒体としての形態も可能である。
【0098】
例えば、画像記録のためのプログラムの場合、当該プログラムは、コンテンツを符号化する符号化モジュールと、符号化したコンテンツの符号化データを蓄積する符号化データ蓄積モジュールと、コンテンツの複数の符号化データに共通の再生停止位置を示す情報を含む符号化データの関連情報を生成する関連情報生成モジュールと、生成した関連情報をコンテンツ毎に蓄積する関連情報蓄積モジュールとを備える。符号化モジュールは、コンテンツを複数の符号化条件で符号化し、その複数の符号化データを符号化データ蓄積モジュールを用いて蓄積する。さらに、関連情報生成モジュールは、蓄積された複数の符号化データのいずれかが再生停止されたときに、その再生停止位置を示す情報を生成して関連情報蓄積モジュールを用いて蓄積する。
【0099】
本発明による画像再生の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、CD−ROM(−R/−RW)、光磁気ディスク、HD、DVD−ROM(−R/−RW/−RAM)、FD、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した本発明の画像再生装置としての機能をコンピュータに実行させ、画像再生の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像再生の機能を実行することができる。
【符号の説明】
【0100】
1,63,65,67…画像記録部、2,64,66,68…画像再生部、10…画像処理装置、11…記録制御部、12…符号化部、13,13′…コンテンツ蓄積部、14,14′…コンテンツ関連情報生成部、15,15′…関連情報記録部、16,16′…コンテンツ関連情報DB、17…再生制御部、18,18′…関連情報読み出し部、19,19′…コンテンツデータ読み出し部、20…復号部、21…符号化データ抽出部、22…出力部、31,40〜44…パケット、32,35,37,47,48…画像データ、33,34,36,38,39,45,46,49…音声データ、32′,37′,38′,39′…無効データ、51〜58…矢印、61…エントリの時間間隔、62…コンテンツリスト読み出し部、69…コンテンツデータ記録部。
【技術分野】
【0001】
本発明は、画像再生装置及び画像再生方法、より詳細には、記録装置に蓄積されたコンテンツデータを再生する装置や方法の技術に関する。
【背景技術】
【0002】
従来、VTR装置などに代表されるように、テレビ放送などのコンテンツを記録し、有線で接続されたディスプレイに表示させる装置や、家庭外にあるサーバー装置に蓄積されたコンテンツをインターネット等のネットワークを介してユーザのPCなどに配信するサービスが存在する。
【0003】
これらの技術においては、デジタル技術の進歩によりコンテンツに含まれる画像や音声をMPEG−2やMPEG−4といった画像符号化技術を用いて記録・伝送・再生を行うものが多い。そのため、それぞれの装置では、視聴環境に応じた符号化方式や符号化のためのパラメータが用いられる。すなわち、視聴環境が有線で接続されたディスプレイなど伝送帯域が広い場合には、より高画質での記録のために符号化効率の低い条件で記録される。また、視聴環境がインターネットなど伝送帯域が限られる環境である場合では、低画質でも符号化効率の高い条件で記録される。
【0004】
これは高画質で符号化効率の低いコンテンツを伝送帯域が限られる環境で視聴すると、ユーザの期待通りに再生ができない。逆に、符号化効率の高いコンテンツを、テレビや有線接続にて視聴すると、通常のテレビ映像に比べて満足に値しないことが多いためである。
【0005】
昨今では、インターネットの普及や広帯域化が進んでおり、視聴環境での帯域幅の差がなくなってきている。そのため、インターネットを介しての視聴でも高画質で符号化されたコンテンツの視聴が可能となっている。また、符号化技術の高度化に伴い、低画質の基本レイヤと高画質の上位レイヤとに分けて符号化する階層符号化の技術も提案されている(例えば、特許文献1参照)。この階層符号化の技術は、画質によって分けて符号化を行うことで、伝送の帯域やユーザの視聴機器の性能に応じた符号化データを送信することができる。これらの要因から、広帯域や狭帯域のどちらかの一方の視聴環境だけでなく、複数の視聴環境に対応可能な装置やサービスも可能となっている。
【0006】
また、これらの装置において、記録されたコンテンツを視聴する際に、ユーザが途中で視聴を止めた場合、その情報を保存しておくことで、次回の視聴の際には停止したところから再開できる技術が知られている(例えば、特許文献2参照)。これは、再生停止した位置を含むユーザ情報を記録装置側(サービスサーバ側)が記憶しておき、自宅に設置した記録装置のコンテンツを視聴している途中で再生を停止して外出したときに、ユーザの外出先において、自宅で再生停止させた位置から同じコンテンツを視聴できるようにしたものである。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−186495号公報
【特許文献2】特開2003−174636号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、ユーザが外出先でパーソナルコンピュータなどの機器を用いて視聴する場合、高画質(低い符号化率)で記録されたコンテンツを自宅で視聴していたときと同じ条件で視聴するには、ネットワークの環境や機器の性能などから条件が厳しいことが多い。また、上記特許文献1に記載の階層符号化技術は、その技術自体が複雑であり、民生機器での普及は例をみない。
【0009】
また、上記特許文献2に記載の発明では、記録装置に蓄積された個々のコンテンツ毎に再生停止の情報が管理されている。従って、符号化前のコンテンツから高画質用と低画質用の2つの符号化されたコンテンツが記録装置に蓄積される場合、それぞれの再生停止の情報は個々に管理されることになる。すなわち、ユーザは自宅等の広帯域な視聴環境では高画質用のコンテンツを復号してテレビ等で再生し、再生停止後、その続きを外出先等の狭帯域な視聴環境(例えばネットワーク経由など)において低画質用のコンテンツを復号してPC等で再生する場合、外出先では上記再生停止後の続きを再生できないため、低画質用の符号化データを最初から新たに再生する必要があり不便であった。
【0010】
本発明は、上述のごとき実情に鑑みてなされたものであり、テレビ放送番組等を記録して蓄積したコンテンツを、テレビ等で視聴するだけでなく、インターネット等のネットワークを介してストリーミング再生などを行う際に、ユーザの視聴環境にあった快適な再生方法を提供すること、をその目的とする。
より具体的には、1つのコンテンツに対して、広帯域での視聴向けに高画質で符号化して記録するとともに、インターネットなどの狭帯域経由での視聴向けに符号化して記録し、視聴環境に応じた再生を行う際に、いずれの視聴環境においても前回視聴時に再生停止した位置からコンテンツの続きを視聴できるようにすること、を目的としてなされたものである。
【課題を解決するための手段】
【0011】
上記課題を解決するための第1の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出手段とを備え、該符号化データ抽出手段は、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴としたものである。
【0012】
第2の技術手段は、第1の技術手段において、前記符号化データ抽出手段は、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴としたものである。
【0013】
第3の技術手段は、第1又は第2の技術手段において、前記符号化データ抽出手段は、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴としたものである。
【0014】
第4の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出ステップとを備え、該符号化データ抽出ステップは、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴としたものである。
【0015】
第5の技術手段は、第4の技術手段において、前記符号化データ抽出ステップは、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴としたものである。
【0016】
第6の技術手段は、第4又は第5の技術手段において、前記符号化データ抽出ステップは、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴としたものである。
【0017】
第7の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データを蓄積する符号化データ蓄積手段と、前記複数の符号化データのいずれかを復号して再生する復号手段と、他の画像再生装置とネットワークを介して接続するためのネットワーク接続手段とを備えた画像再生装置であって、該ネットワーク接続手段により接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定手段と、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択手段とを備え、前記符号化データ選択手段により選択された符号化データを前記ネットワークに送出することを特徴としたものである。
【0018】
第8の技術手段は、コンテンツを複数の符号化条件で符号化した複数の符号化データを符号化データ蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号して再生する復号ステップとを備えた画像再生装置による画像再生方法であって、他の画像再生装置とネットワークを介して接続するネットワーク接続ステップと、該ネットワーク接続ステップにて接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定ステップと、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択ステップと、前記符号化データ選択ステップにて選択された符号化データを前記ネットワークに送出するステップとを備えたことを特徴としたものである。
【発明の効果】
【0019】
本発明によれば、テレビ放送などを記録・蓄積したコンテンツを、家庭内のテレビで視聴するか、インターネットやLANなどの通信回線を介するストリーミング再生によって視聴するかなど、それぞれの視聴環境に応じて快適な再生方法を実現することができる。
具体的には、符号化されたコンテンツの記録再生において、コンテンツを複数の符号化方式で記録することで、ユーザは視聴環境に応じた符号化コンテンツを選択可能となり、快適な視聴を容易に実現することができる。
また、再生を停止した位置(再生停止位置)の情報を符号化前の元のコンテンツ毎に管理することで、1つのコンテンツに対して記録された複数の符号化コンテンツ間で再生停止位置の情報を共有することができ、これにより、任意の符号化方式で符号化されたコンテンツを視聴中に再生を停止した後、視聴環境を変えて再生する際に、その視聴環境に応じた別の符号化方式で符号化された前記コンテンツを再生停止した続きから視聴することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図2】画像処理装置におけるコンテンツ関連情報の構成例を示す図である。
【図3】画像処理装置におけるコンテンツ関連情報の他の構成例を示す図である。
【図4】コンテンツの記録処理の一例を説明するためのフロー図である。
【図5】本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。
【図6】ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。
【図7】画像処理装置により記録された多重化ストリームデータの構成例を示す図である。
【図8】画像処理装置により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。
【図9】多重化ストリームの再構成処理の一例を説明するためのフロー図である。
【図10】画像処理装置により符号化されたコンテンツデータの構成例を示す図である。
【図11】画像処理装置により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。
【図12】キーフレームを含むパケットのキーフレーム情報の一例を示す図である。
【図13】本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。
【図14】本発明の他の実施形態に係る画像処理装置において、サーバー/クライアント型の構成例を示すブロック図である。
【図15】本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。
【図16】本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。
【図17】本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。
【図18】画像処理装置におけるコンテンツ関連情報にUserIDを追加した構成例を示す図である。
【発明を実施するための形態】
【0021】
図1は、本発明の一実施形態に係る画像処理装置の構成例を示すブロック図で、図中、10は画像処理装置で、該画像処理装置10は、画像記録部1と画像再生部2からなり、画像記録部1は、受信したコンテンツデータの記録制御を行う記録制御部11、コンテンツデータを符号化する符号化部12、符号化されたコンテンツデータを蓄積するコンテンツ蓄積部13、受信したコンテンツデータからその関連情報を生成するコンテンツ関連情報生成部14、生成されたコンテンツ関連情報を記録する関連情報記録部15、コンテンツ関連情報を蓄積するコンテンツ関連情報データベース(以下、コンテンツ関連情報DB)16を備え、画像再生部2は、ユーザの入力などを受けて再生のための制御を行う再生制御部17、再生制御部17から指示されたコンテンツデータの関連情報をコンテンツ関連情報DB16から読み出す関連情報読み出し部18、コンテンツ蓄積部13に蓄積されたコンテンツデータを読み出すコンテンツデータ読み出し部19、符号化されたコンテンツデータを復号する復号部20、前回視聴時の再生停止位置からの再生データを生成する符号化データ抽出部21、ユーザの視聴環境に応じて出力先を決定し、各出力先に再生データを出力する出力部22を備える。
【0022】
また、画像処理装置10は、インターネットやLAN等のネットワークに接続するためのネットワーク接続機能を備えており、他の画像再生装置等とネットワークを介して接続することができる。
また、本発明の実施形態として、画像処理装置10を代表例として説明するが、これに限定されるものではなく、画像記録部1からなる画像記録装置、あるいは画像再生部2からなる画像再生装置としての形態としてもよい。この画像再生装置とした場合、画像再生装置側にコンテンツ関連情報DB16を備える構成としてもよい。
なお、以下の説明において、複数の記録モードとして、MPEG−2やMPEG−4などの圧縮技術を用いて説明するが、本発明に適用可能な記録方式としてはこれに限定するものではない。
【0023】
図1において、記録制御部11は、ユーザにより設定された記録モードに従って受信したコンテンツデータの記録方法を決定する。ユーザは、画像処理装置10に対して、記録するコンテンツの記録モード(すなわち、符号化方式や、符号化率等のパラメータを含む符号化条件)をあらかじめ設定して記録しておく。すなわち、有線接続された表示装置による視聴を目的とした記録であるのか、あるいは、インターネット等のネットワークを介した表示装置による視聴を目的とした記録であるか、または両方を目的とした記録であるのかなどを記録モード別に設定しておく。これらの設定により、記録制御部11は、符号化部12に対して、符号化のための動作条件やパラメータを送出する。また、記録制御部11は、これらの符号化のための動作条件やパラメータ、および番組名などを含むコンテンツに関する情報を、コンテンツ関連情報生成部14に対して出力する。
【0024】
符号化部12は、記録制御部11で設定されたパラメータに従いコンテンツの符号化を行い、画像データおよび音声データを符号化したデータを生成する。画像信号の符号化方式は、MPEG−1規格、MPEG−2規格あるいはMPEG−4規格などの符号化方式があり、音声符号化方式には、G.726やAMRといった方式がある。本発明では、これらの符号化方式を特に制限するものではなく、復号部20が復号できる符号化方式であればよい。また、符号化部12は、これらの符号化方式の1つに対応してもよいし、例えば、MPEG−2規格の符号化方式とMPEG−4規格の符号化方式といった、複数の符号化方式に対応していてもよい。符号化が行われたコンテンツはコンテンツ蓄積部13に蓄積される。コンテンツ蓄積部13は、例えば磁気方式記憶装置や光学式記憶装置などにより構成される。
【0025】
本発明において、複数の視聴目的(テレビ等の有線接続、ネットワーク経由など)のために、同一コンテンツを複数の記録モードで記録する際には、符号化部12を複数備えて並列に符号化処理を行ってもよいし、記録制御部11が記録モード毎に、順次、符号化部12に処理を指示してもよい。
【0026】
ユーザの視聴の形態により、快適に視聴できるコンテンツの条件は変化する。例えば、ホームサーバーのようにテレビなどの表示装置で視聴する場合は、MPEG−2符号化方式などの高画質(低い符号化率)のコンテンツが視聴可能であり、PDAや携帯電話でネットワークを利用した視聴形態であれば、MPEG−4符号化方式といった低画質(高い符号化率)で視聴したほうが快適に視聴できる。LANを介したネットワークのように、通信速度が速ければ高画質のコンテンツの視聴が可能であるが、PHS網などを利用した場合は、低画質のコンテンツのほうがストレスなく視聴できる。このように視聴形態にあわせた記録モードを用意し、コンテンツ記録時には、その記録モードに従い記録する。また、コンテンツの記録時に複数の記録モード(符号化処理)を行うことで、家では高画質のコンテンツを視聴し、外出先で続きを低画質の記録モードで視聴するといった利便性が生じる。
【0027】
この記録モードは、機器にあらかじめ設定しておいてもよいし、ユーザが任意に設定できるようにしておいてもよい。ここで、あるコンテンツをMPEG−2規格の記録モードとMPEG−4規格の記録モードで記録する際に、符号化部12がMPEG−2規格およびMPEG−4規格に対応しているのであれば、記録制御部11は、符号化部12に両方のモードでの符号化処理を同時に指示してもよいし、MPEG−2規格での符号化処理の後にMPEG−4規格での符号化処理を指示しても良い。また、符号化部12が単一の符号化方式のみに対応しているのであれば、MPEG−2規格に対応する符号化部とMPEG−4規格に対応する符号化部を用意し、記録制御部11がそれぞれに符号化処理を指示してもよい。本発明の実施の形態では、符号化部12は、複数の符号化方式に対応した符号化部として記載する。
【0028】
コンテンツ関連情報生成部14は、記録制御部11から出力されたコンテンツの符号化パラメータやコンテンツの情報をコンテンツ関連情報として生成する。生成されたコンテンツ関連情報は、関連情報記録部15を介してコンテンツ関連情報DB16に蓄積される。
【0029】
図2は、画像処理装置10におけるコンテンツ関連情報の構成例を示す図である。
コンテンツ関連情報生成部14で生成されたコンテンツ関連情報は、コンテンツ名やコンテンツの再生時間長、再生停止された位置(時間)、コンテンツの符号化された記録モードや、各記録モードにおける符号化ファイル名、符号化パラメータなどを含む。同一のコンテンツデータから複数の記録モードで符号化データを生成する際には、それぞれの記録モードに対応する符号化されたデータ(ファイル)が生成されるが、それらが同一コンテンツの符号化データであることを示すため、符号化前の元のコンテンツ名を含むファイル名で管理される。例えば、コンテンツ名「contents_01」に対し、記録モード1のファイルには「contents_01_mode1」、記録モード2のファイルには「contents_01_mode2」というファイル名が付けられている。
【0030】
これらの2つのファイルは、符号化前のコンテンツ名で管理されるため、図2に示すように再生時間長や再生停止された位置(時間)の情報は両者の間で共有される。すなわち、ユーザが「contents_01」を記録モード1のファイル「contents_01_mode1」で視聴しており、視聴途中で再生を停止した場合、その再生停止の情報は、「contents_01」の情報として記録される。ユーザがコンテンツ「contents_01_mode2」のファイルで視聴を再開した際には、再生停止情報は「contents_01_mode1」と共通に管理されているため、再生停止位置から続きを視聴できる。
【0031】
上記のようにして記録されたコンテンツを再生する際には、再生制御部17は、表示装置に、コンテンツ蓄積部13に蓄積されている符号化前の元のコンテンツの一覧を、サムネイル表示やリスト表示などで提示する。その一覧よりユーザは再生するコンテンツの選択を行う。
【0032】
再生制御部17は、ユーザにより再生指定されたコンテンツの関連情報を取得するように関連情報読み出し部18に指示し、コンテンツ関連情報DB16からコンテンツ関連情報を取得する。次に、再生制御部17は、取得したコンテンツ関連情報を解析し、指定されたコンテンツに複数の記録モードで記録されたデータがあるのか、再生停止位置の情報があるのかといった情報を取得する。
【0033】
ここで、再生停止位置とは、コンテンツの符号化データを復号してコンテンツを再生した後に、再生装置の制御によってこれを停止した位置(コンテンツ内の位置)を示す情報のことである。ここで、再生装置の制御によって再生を停止する場合とは、例えば、ユーザから再生停止の指示があった場合、タイマによる指定時刻での自動停止が行われた場合、電源断やバッテリ切れによる再生装置の停止が行われた場合などである。この再生停止位置は、コンテンツ先頭からの再生時間で示しても良いし、符号化データの先頭からのビット数(もしくはバイト数)で表現してもよい。再生時間は、時分又は秒によって表現されるが、その他の表現(例えば再生装置のクロック数や、所定時間を単位とするカウント数など)を用いても良い。
【0034】
図3は、画像処理装置10におけるコンテンツ関連情報の他の構成例を示す図である。
複数の記録モードで記録されたコンテンツの場合、図2で示すように、再生停止位置を時間で管理するのであれば、各記録モードのデータでの再生停止位置の情報は各データで共通として扱えるが、データ先頭からのビット数(もしくはバイト数)の場合は、図3に示すように、その値は符号化方式や符号化時のパラメータによって異なる。
【0035】
再生制御部17は、取得された情報を表示装置に提示する。これにより、ユーザは再生対象のコンテンツのパラメータや動作を視聴環境に合わせて選択することができる。特に、パラメータの選択については、該当コンテンツの記録モードを提示することで、ユーザは自分の視聴環境に適したパラメータを選択することができる。また、再生停止位置の情報は、既に視聴した箇所をスキップして途中から再生する場合に利用することができる。
【0036】
再生制御部17は、ユーザの選択した記録モードに対応する符号化されたコンテンツデータ(符号化データ)をコンテンツ蓄積部13から読み出す。読み出された符号化データは、再生停止位置からの再生なのかどうか、インターネットを介した再生なのかどうかなどの情報に従い、コンテンツデータとその関連情報を、復号部20あるいは符号化データ抽出部21に出力する。なお、再生停止位置からの再生なのかどうかはユーザによる再生コンテンツ選択の際に取得され、インターネットを介した再生かどうかなどの情報は、ユーザがどのような手段を用いて画像処理装置10にアクセスしたかということから取得される。すなわち、ユーザがインターネットを介した再生を行うのであれば、必然的にユーザの画像処理装置10へのアクセスはインターネット経由となる。
【0037】
復号部20では、符号化されたコンテンツデータの復号を行い、出力部22を経て図示しない表示装置に出力する。符号化データ抽出部21では、指定時間からの再生データを生成する。本実施形態では、コンテンツ関連情報に記録されている再生停止位置の情報を元に再生停止位置からの再生データを生成する。通常、コンテンツの符号化データは、MPEG−2ビデオや、MPEG−2オーディオ等の生のビットストリームデータ(エレメンタリーストリームとも呼ばれる)として記録されるのではなく、画像データと音声データを単一のプログラムとして扱うために、多重化したストリームとして記録される。この多重化されたストリームには、画像データと音声データの他に、符号化方式にかかわる情報や、画像サイズ、再生時間情報などが付加されている。多重化ストリームを生成するための多重化方式には、MPEG−2であればMPEG−2システム、MPEG−4であればMPEG−4システム、マイクロソフト社が提案しているASF(Advanced System Format)などがある。
【0038】
本実施形態においては、記録されたコンテンツの符号化データから指定時間以降のビットストリームを抽出する際に、MPEG−2ビデオや、MPEG−2オーディオ等の復号処理を行わず、多重化ストリームに含まれる情報を用いて行う。符号化データ抽出部21にて、指定時間に相当するデータ位置の特定と、再生用のデータの生成とを行う。生成された再生用のデータは、ユーザがテレビなどの表示装置で視聴を行っているのであれば、データを復号するために復号部20へ出力する。インターネットなどのネットワークを介しての視聴であれば、データは復号せずに出力を行うので、出力部22に出力される。
【0039】
図4は、コンテンツの記録処理の一例を説明するためのフロー図である。本例では、図1に示した画像処理装置10に基づいて説明するものとする。
まず、記録制御部11が記録するコンテンツを取得する(ステップS1)。このコンテンツ取得方法は、例えば、アナログテレビ放送やBS/CS/地上波デジタル放送、ケーブルテレビなどの放送網を経由した受信の他に、他のビデオデッキやDVD機器などの映像再生機を接続して入力としてもよい。次に、符号化部12は、受信したコンテンツをあらかじめ設定された記録モードに従って符号化し(ステップS2)、ハードディスクに代表される磁気記録装置やDVD−Rなどの光ディスク記録装置、コンパクトフラッシュ(登録商標)などのフラッシュメモリ記録装置などに記録する。
【0040】
次に、記録制御部11は、符号化したコンテンツを管理するために、コンテンツ名を取得あるいは生成する(ステップS3)。コンテンツ名は、符号化を行った日付やテレビ放送のチャンネルなどから生成してもよいし、テレビ放送を予約する場合であれば予約録画時にユーザが任意に設定してもよい。また、タイトルなどの付加情報が、受信したコンテンツに含まれているのであれば、それを取得してコンテンツ名として利用するようにしてもよい。
【0041】
次に、コンテンツ関連情報生成部14は、記録したコンテンツの関連情報として必要な関連情報データを生成する(ステップS4)。この関連情報データは、図2に示したように、上記ステップS3で取得あるいは生成されたコンテンツ名、再生時間、符号化されたコンテンツを記録する際のファイル名およびその符号化のパラメータを含んでいる。また、再生停止位置の情報もこの関連情報データに含めて記録される。このようにして生成された関連情報データは、関連情報記録部15によりコンテンツ関連情報DB16に登録される(ステップS5)。
【0042】
図5は、本発明が適用されるコンテンツの再生処理の一例を説明するためのフロー図である。本例は、図1に示した画像処理装置10に基づいて説明するものとする。
まず、ユーザは画像処理装置10に対してアクセスする。このとき、再生制御部17は、ユーザのアクセス手段を判別し、少なくともインターネット等のネットワークを介してのアクセスであるかどうかを識別する(ステップS11)。再生制御部17は、表示装置に、再生可能なコンテンツを提示してユーザに選択させる(ステップS12)。
【0043】
次に、再生制御部17は、上記ステップS12にて選択されたコンテンツのコンテンツ関連情報を関連情報読み出し部18を介してコンテンツ関連情報DB16から取得し、取得されたコンテンツの記録モードの数や再生停止位置の情報の有無等を判別する(ステップS13)。
【0044】
再生制御部17は、上記ステップS13で判別された情報のうち、再生対象コンテンツに対応する記録モードが複数存在するかどうかを判別し(ステップS14)、複数の記録モードが存在する場合(YESの場合)、再生を行うコンテンツの記録モード(パラメータ)の選択をユーザに提示する(ステップS15)。また、上記ステップS14で複数の記録モードが存在しない場合(NOの場合)、記録モードは1つなので再生を行うコンテンツは決定され、ステップS16に移行する。
【0045】
上記ステップS14又はステップS15において再生を行うコンテンツが決定すると、再生制御部17は、コンテンツ蓄積部13にコンテンツデータ読み出し部19を介してアクセスして符号化されたコンテンツを取得する(ステップS16)。
次に、再生制御部17は、上記ステップS13にて解析されたコンテンツ関連情報から再生停止位置の情報が存在するかどうか判定し(ステップS17)、再生停止位置の情報が存在した場合(YESの場合)、その再生停止位置からの再生を行うかどうかユーザに問い合わせる(ステップS18)。
【0046】
次に、再生制御部17は、上記ステップS18におけるユーザからのフィードバックが、再生停止位置からの再生を行うかどうか判断し(ステップS19)、再生停止位置からの再生を行う場合(YESの場合)、再生停止位置情報および符号化コンテンツデータを符号化データ抽出部21に出力する。符号化データ抽出部21は、再生停止位置情報に基づいて再生停止位置からのデータを生成する(ステップS20)。
【0047】
ここで、音声メディアと画像メディアが多重化されている符号化コンテンツにおいて、多重化方式によってはそれぞれのメディアの再生停止位置のデータが、必ずしもデータ内で連続状態であるとは限らない。また、多重化ストリームデータがパケット化されている符号化コンテンツでは同一パケット内に存在するとは限らない。このような場合、どちらかのメディアを基準とした再生では、基準でないメディアが再生されない区間が生じたり、同期ずれが発生し快適な視聴を妨げることがある。そのため、それぞれのメディアの再生に齟齬が生じないように多重化ストリームデータ(および多重化ストリームの制御情報)を再構成する。また、上記ステップS19において、再生停止位置からの再生でない、すなわち、コンテンツの先頭などからの再生の場合(NOの場合)、コンテンツデータは出力部22に出力される。
【0048】
次に、再生制御部17は、上記ステップS20で生成された再生停止位置からのコンテンツデータあるいは上記ステップS16で取得したコンテンツデータを上記ステップS11で識別したユーザの視聴環境に合わせて、データの出力先を決定する(ステップS21)。すなわち、視聴環境が有線接続された表示装置による視聴であれば(NOの場合)、コンテンツデータを復号する(ステップS22)。また、上記ステップS21において、視聴環境がネットワーク経由であれば(YESの場合)、出力すべきデータをユーザの視聴環境に合わせて出力する(ステップS23)。この場合、符号化データを出力してユーザ側の再生装置で復号を行う構成としている。
【0049】
本発明の実施形態では、既に述べたように、ユーザがコンテンツを選択後(ステップS12)、選択されたコンテンツに再生停止位置の情報が存在するかどうかを判定し(ステップS17)、ユーザに再生停止位置からの再生を行うかどうかを問い合わせ(ステップS18)、そのフィードバックに従って再生を行う(ステップS19)手順例を示したが、これに限定されるものではない。例えば、図5において、コンテンツの再生停止位置情報の存在を判定する手順(ステップS17)とユーザからのフィードバックに従って再生を行う手順(ステップS19)を逆にしてもよい。すなわち、ユーザが視聴するコンテンツの選択の際に、再生停止位置からの再生を優先するといった視聴方法をユーザが選択し、再生制御部17に通知する。再生制御部17は、通知された視聴方法に従って、選択されたコンテンツの再生停止情報の存在の判定を行う。再生停止位置情報が存在した場合は再生停止位置からの再生を行うが、存在しない場合は、コンテンツの先頭からの再生を行うとしてもよい。
【0050】
また、コンテンツ視聴の毎に、再生停止位置からの再生かどうかをユーザに問い合わせしなくてもよい。すなわち、再生制御部17に、あらかじめ視聴方法を設定しておくようにしてもよい。再生制御部17は、ステップS18にてユーザに問い合わせるのではなく、設定された視聴方法を参照することで判定するとしてもよい。
【0051】
図6は、ユーザがコンテンツ視聴中に、再生停止を行った際の処理の一例を説明するためのフロー図である。本例は、図1に示した画像処理装置10に基づいて説明するものとする。
まず、ユーザが視聴中に再生を停止すると、再生制御部17は、その再生停止情報を直接あるいは、インターネット等のネットワークを介して受信する(ステップS31)。再生停止の指示を受信した再生制御部17では、コンテンツの出力を止めるとともに(ステップS32)、再生停止した時刻情報などを取得する(ステップS33)。これらの情報のうち、再生再開に必要な情報(再生停止した時刻など)の情報は、コンテンツ関連情報生成部14にて、既存の該当コンテンツの関連情報が更新される(ステップS34)。更新されたコンテンツ関連情報は、関連情報記録部15に出力され、コンテンツ関連情報DB16に更新登録される(ステップS35)。
【0052】
以下、図7乃至図10に基づいて、図1に示した符号化データ抽出部21におけるコンテンツデータの再構成処理の一例について説明する。
図7は、画像処理装置10により記録された多重化ストリームデータの構成例を示す図である。符号化データ抽出部21では、再生停止位置からの再生を行うために多重化ストリームの情報に基づいて符号化コンテンツデータを再構成する。多重化ストリームを生成するための多重化方式には、先に述べたように、例えば、MPEG−2システム、MPEG−4システム、マイクロソフト社のASFなどがある。通常、これらの多重化ストリームデータは、図7(A)に示すように、コンテンツ全体の制御情報を格納する部分(図中、制御情報)と、実際のデータを格納する部分(図中、コンテンツデータ)からなる。インターネットを介した再生が意図されるコンテンツの場合、「コンテンツデータ」には音声メディアと画像メディアが多重化されて格納されている。
【0053】
図7(B)に示すコンテンツデータにおいて、Aは音声メディアのデータ(音声データ)、Vは画像メディアのデータ(画像データ)を示している。このように構成することにより、受信側は、全てのデータの受信完了を待つことなく、同時刻に再生されるべき音声メディアと画像メディアがそろい次第再生が可能となる。この多重化データは、通常、図7(C)に示すように、制御情報(図中の「制御」で、一般にコンテンツ全体の制御情報とは異なる。)と、実際のデータ(音声データA及び画像データV)とを含むパケットと呼ばれるまとまりで構成される。このパケット単位で送信することで、通信経路等の占有の回避や送信経路の柔軟さなどの利点が生じる。
【0054】
図8は、画像処理装置10により記録された多重化ストリームデータに含まれるパケットの構成例を示す図である。
多重化ストリームデータのパケットへの分割方法は各多重化方式によって異なるが、スムーズな再生を試みるために、同時刻に再生される音声メディアのデータ(音声データA)と、画像メディアのデータ(画像データV)はあまり離れたパケットに配置されないなどの工夫が行われる。例えば、図8(A)に示すように、同一番号を付与した音声データAと画像データVが同時に再生されるデータであること、すなわち、A1とV1,A2とV2,…が同時刻に再生されるデータであることを示す。
【0055】
符号化されたコンテンツデータを途中から再生しようとする場合、図7(C)に示したパケット自体の制御情報に含まれる符号化コンテンツデータの再生時刻情報などを利用して再生データの位置を特定することができる。しかしながら、一般に、図8(B)に示すように、再生開始時刻に対応する音声データと画像データが同一パケットに含まれていない場合がある。このため、パケット単位で送信する場合、再生には不必要なデータ(指定された再生時刻以前又は以後のデータ)などが含まれたり、音声データと同一時刻に再生すべき画像データの受信までに時間がかかったりといった現象が発生する。このような現象を回避するために、以下のように多重化ストリームの再構成を行う。
【0056】
図9は、多重化ストリームの再構成処理の一例を説明するためのフロー図である。図10は、画像処理装置により符号化されたコンテンツデータの構成例を示す図である。
図10(A)に示すように、多重化ストリームデータは、コンテンツ全体の制御情報と、音声データ、画像データおよびパケット自体の制御情報を含む複数のパケットと、画像データのキーフレームが存在するパケットのキーフレーム情報からなる。キーフレームとは、通常、フレーム内符号化され、他のフレームから予測復号する必要の無いフレームであって、画像データのランダムアクセス再生の再生開始フレームとして使用されるフレームのことである。図10(A)において、VtおよびAtは指定された再生開始時刻(指定時刻)tに対応する音声データと画像データを示す。
【0057】
図9において、まず、符号化データ抽出部21は、指定時刻t付近のデータが含まれるパケットを特定する(ステップS41)。ここでは、図10(A)に示すパケット31が特定される。次に、特定されたパケット内に含まれている音声データと画像データの再生時刻情報を抽出する(ステップS42)。本例では、図10(A)に示す画像データ32,35に対応する再生時刻V2,V3、および音声データ33,34に対応する再生時刻A4,A5が抽出される。
【0058】
次に、抽出された画像データの再生時刻情報から時刻tに最も近い画像データを特定し、これに対応する再生時刻Vtを得る(ステップS43)。図10(A)に示す画像データ35に応じた再生時刻V3がVtである。そして、パケット内に時刻Vtに対応する音声データが存在するかどうかを調べ(ステップS44)、音声データが存在した場合(YESの場合)、ステップS47に移行し、再生を開始するパケットおよび画像データ、音声データの特定を終了し、再構成処理を行う。また、上記ステップS44において、音声データが存在しない場合(NOの場合)、パケット内の最も早い時刻の音声データの再生時刻At0(すなわち、図10(A)に示す再生時刻A4)と最も遅い時刻の音声データの再生時刻At1(すなわち、図10(A)に示す再生時刻A5)を、上記再生時刻Vtと比較し、再生時刻VtがAt0(再生時刻A4)より早い時刻であれば、現在よりも前のパケットを取得し、上記再生時刻VtがAt1(再生時刻A5)より遅ければ後ろのパケットを取得する(ステップS45)。
【0059】
上記ステップS45において再度取得したパケットに対して、そのパケット内に時刻Vtに対応する音声データがあるかどうかを調べ(ステップS46)、時刻Vtに対応する音声データが存在する場合(YESの場合)、ステップS47に移行し、また、上記ステップS46において、時刻Vtに対応する音声データが存在しない場合(NOの場合)、時刻Vtに対応する音声データが特定できるまでステップS45及びステップS46を繰り返す。
【0060】
ここで、図10(A)に示す時刻Vtに対応する音声データとして音声データ36が特定された場合、ステップS47において、特定された画像データ35(再生時刻V3)と音声データ36(再生時刻A3)をもとにパケットが再構成される。
【0061】
ここで、図10(A)に示す画像データ32(再生時刻V2),37(再生時刻V1)は必ずしもキーフレームであるとは限らないため、その画像データを復号すると正しく復号できない可能性がある。このような場合、図10(B)に示すように、それらの画像データを無効データに置き換える。無効データとは、復号装置において読み捨てることが定められているデータをいい、図10(B)では「D」を付している。
【0062】
図10(B)に示す例では、画像データ32,37を無効データ32′,37′に置き換え、他のデータとの位置を置き換えることで、無効データが各パケットの最後に位置するようにしている。これは、多重化方式のなかには、各パケットの制御情報に、そのパケットに含まれる音声データ、画像データのサイズを記載しているものも存在するためである。音声データ、画像データをパケット化する場合、1パケットのデータサイズが固定であると、必ずしも1パケットのデータサイズとパケット内に含まれる音声データ、画像データのサイズが一致するとは限らない。そのため、パケットの制御情報にパケット内の有効なデータサイズを記載することで、特別な情報を必要とせず無効なデータを識別することが可能である。このような場合、新たに無効データを生成した場合、その無効データは各パケットの最後に移動させ、パケットの制御情報を修正する必要がある。
【0063】
さらに、正しく復号できないデータを、同じビット数の無効なデータに置き換えてパケットを再構成すれば、パケットの長さを変更する必要がなく、他のパケットへの影響がない。同様に、図10(A)に示す音声データ38(再生時刻A2),音声データ39(再生時刻A1)は、上記時刻Atより以前の時刻情報を持つ音声データであって、時刻tからの再生に不要なデータであるため、図10(C)に示すように、無効データ(無効データ38′,39′)とする。
【0064】
以上のことを下記に示す図11を用いて説明する。
図11は、画像処理装置10により記録された多重化ストリームデータから多重化ストリームの再構成を行う際のコンテンツデータの構成例を示す図である。図11(A)はオリジナルの符号化されたコンテンツデータを示す。そのコンテンツデータは、図10(A)に示したように、ファイル全体を示す制御情報と画像データと音声データからなるパケット40(パケット41,42,43,44も同様)で構成されている。それぞれのパケットの構成は図11(B)に示すように多重化されている。
【0065】
ここで再生停止位置の時刻情報が5分30秒であり、この位置から再生を再開する際の再構成は次のようになる。再生停止位置の時刻情報5分30秒に該当する画像データは、図11(B)に示す画像データ48である。画像データ48と同一パケット内の音声データ49は5分33秒であり、画像データ48より再生時刻が遅い。そのため、画像データ48と同時刻の音声データがないか、パケット44より前のパケットの各データの時刻情報を探索する。パケット42、パケット41の順で探索を行い、パケット41にて、音声データ45の再生時刻が5分30秒であることを発見する。これによりパケット41から再構成の対象となる。再構成の際の多重化ルールは、特に限定するものではないが、基準となる画像データから再生時刻の早いデータ順とする。
【0066】
各パケットは、パケット長が決まっているため、その長さでパケット化を行う。
パケット43では、音声データ46の再生時刻は5分30秒以降のため、再構築の対象となるが、画像データ47の再生時刻は、5分29秒のため再構築の対象データとはならず、破棄される。
【0067】
上記の結果、それぞれのパケットは、図11(B)に示す矢印50〜58のように再構築される。パケット44以降のパケットには、再構築で無効となるデータがないため、無効データは生じず、また、パケット内のデータも全て5分30秒以降のため再構築も行われない。従って、図11(C)に示す動画データが再構成される。
【0068】
図9において、再構成の処理が終わった後、再生対象のパケットの制御情報に含まれる再生時刻情報を更新する(ステップS48)。これは、通常、再生時刻情報は、再生開始から絶対時間で表現されるので、再構成だけを行った状態では、データを受信したものの、ユーザにより指定された時刻まで再生が行われないということが発生する可能性があるためである。但し、再生時刻情報が相対時間(例えば、前のパケットや前のデータの再生時刻との差分情報)で表現される場合は、このような更新処理は不要である。
【0069】
最後に、図10(A)に示す多重化ストリームの制御情報を、再構成後のコンテンツデータに適するように更新する(ステップS49)。多重化方式によっては、制御情報に、多重化ストリームに含まれているパケット数や再生時間、データ部のサイズなどの情報などが記載されている。これらは再構成された多重化ストリームでは変更になるためである。以上のようにして、再生時において指定時刻の位置からコンテンツを作成する。
【0070】
次に、図9に示したステップS41における、指定された時刻tに対応する画像データを含むパケットの特定方法について詳細に説明する。
図12は、キーフレームを含むパケットのキーフレーム情報の一例を示す図である。図10(A)に示したキーフレーム情報にはキーフレームの位置が特定できる情報が記載されている。本例では、マイクロソフト社のASFにおける情報(インデックスオブジェクトと呼ぶ)を代表例として説明する。但し、本例ではインデックスオブジェクトの概略を示しており、主要要素のみを示している。
【0071】
上記インデックスオブジェクトは、画像データに対して時間に基づいたエントリを含んでいる。各エントリは、それぞれのエントリが指し示す時間の画像データが含まれるパケットのパケット番号を示す。エントリが指し示す時間は、エントリの時間間隔61によって計算される。本例ではエントリ間の時間間隔を1秒としている。ここでは、エントリが示す時間に対して直前のキーフレームが存在するパケットのパケット番号が示されている。すなわち、エントリ番号1は1秒より前のキーフレームがパケット0にあり、エントリ番号2は2秒より前のキーフレームは、やはりパケット0にあり、エントリ番号4は4秒より前のキーフレームがパケット13にあることを表す。
【0072】
上記のように指定された時刻tに対応するエントリを特定するには、まず、エントリの時間間隔の値とエントリ番号から各エントリが示す時間を算出する。そして、算出された時間が時刻tに最も近いエントリを選択する。ここで、指定された時刻tが例えば10.5秒であった場合は、エントリ番号10とエントリ番号11のいずれかのパケットを選択する。例えば、常にエントリ番号10を選択するようにしてもよい。このようにしてパケットが指定された時刻tに対応する画像データが含まれるパケットが特定される。
【0073】
また、上記例では、再生停止された位置からのコンテンツデータの生成について説明したが、ストリーミング再生を行う場合は、送信するコンテンツデータを全て作成せずとも、途中まで作成した時点でデータを送信することができる。これについて下記のフロー図に基づいて説明する。
図13は、本発明が適用される画像処理装置の多重化ストリームの再構成の際に逐次パケット送信する処理の一例を説明するためのフロー図である。
まず、指定された時刻tに対する画像データが含まれるパケットを図9に示したステップS41と同様の方法で特定し(ステップS51)、特定された画像データに対応する音声データを含むパケットを特定する(ステップS52)。パケットの特定方法は図9に示したステップS44〜ステップS46と同じ方法を用いる。
【0074】
次に、上記ステップS52で特定されたパケットに対して、図9に示したステップS47と同様の処理により再構成を行う(ステップS53)。パケットが特定されたことにより、コンテンツの総再生時間や総パケット数、総データ数などが算出可能であるため、図9に示したステップS49と同様の処理を行い、多重化ストリームの制御情報を更新する(ステップS54)。通常、多重化ストリームの制御情報は、多重化ストリームに含まれる画像データや音声データを復号して再生するのに必要なデータであるため、図1に示した出力部22へ出力を行う(ステップS55)。
【0075】
次に、上記ステップS55で制御情報を出力した後に、パケットを順次出力する。出力されるパケットに含まれる画像/音声データの再生時刻は、上記ステップS51及びステップS52で特定された画像/音声データの再生時刻を基準とした時刻に修正する必要がある。ここで、各パケットの制御情報うち、画像や音声データの再生時刻などは、上記ステップS51及びステップS52で特定された画像/音声データの再生時刻が0になるように修正する必要がある。そこで、パケットの出力処理に際し、ユーザによる再生停止指示を検出したかどうかを判断し(ステップS56)、再生停止指示を検出した場合(YESの場合)、そのまま終了し、また、上記ステップS56において、再生停止指示を検出していない場合(NOの場合)、出力パケットが存在するかどうか判断し(ステップS57)、パケットが存在しない場合(NOの場合)、終了し、パケットが存在する場合(YESの場合)、出力前にパケットの制御情報を更新し(ステップS58)、制御情報が更新されたパケットを出力する(ステップS59)。
【0076】
パケットの出力処理は、上記ステップS56においてユーザによる再生停止指示が検出されず、且つ、上記ステップS57において多重化ストリームデータ(パケット)が存在する限り継続される。そして、ユーザによる再生停止指示が検出された場合、あるいは出力するパケットが無くなった時点でストリーミング再生のためのデータ送信の処理を終了する。このような処理を行うことで、再生停止位置からの多重化ストリームデータを生成し終えずとも、ユーザは視聴を開始することができるため、再生開始の指示から実際に再生を開始するまでの時間を短縮することができる。
【0077】
本発明は、図1で示した構成に制限するものではなく、下記の図14に示すような構成を取っても実現できる。なお、図14中での各部の番号は図1と同様の働きを行うものには、同一の番号を付している。
【0078】
図14は、本発明の他の実施形態に係る画像処理装置において、サーバー/クライアント型の構成例を示すブロック図である。本実施形態の画像処理装置は、画像記録部63と画像再生部64から構成され、コンテンツ関連情報データベース16を画像再生部64のみが管理する。例えば、サーバー/クライアント型の装置においては、画像再生部を有するクライアント側の端末に保存されるなどが考えられる。
【0079】
サーバー/クライアント型の装置を考えた場合、画像記録部63と画像再生部64は、有線又は無線のネットワークで接続され、データがやり取りされる(L1、L2)。ユーザがコンテンツの途中からの再生を望む場合、すでに述べたようにコンテンツデータ受信後にパケットの再構成を行っても、再生開始位置のデータを取得するまで、ユーザは視聴を待たねばならない。そのため、再生制御部17は、コンテンツデータ読み出し部19にコンテンツデータを要求する際に、再生開始位置の情報を合わせて伝達する(L1)。コンテンツデータ読み出し部19は、要求のあったコンテンツデータをコンテンツ蓄積部13から取得するが、その際に符号化データ抽出部21により、既に述べた再構成の方法により、コンテンツデータは再生開始位置からのコンテンツに再構成される。再構成されたコンテンツデータが再生制御部17に伝達され(L1)、復号される。
【0080】
図14での本発明の動作を説明する。コンテンツを受けた記録制御部11は、例えば、複数の記録モードで記録するなどの符号化条件に従って、符号化部12に符号化を指示する。符号化されたデータは、コンテンツ蓄積部13に蓄積される。なお、この時、コンテンツ蓄積部13には、蓄積されたコンテンツ管理のために、コンテンツリストが生成される。このコンテンツリストは、蓄積されたコンテンツが、どのようなコンテンツが記録されているか、複数の記録モードで記録されているかなどが分かればよいので、図2に示したコンテンツの情報のうち、少なくともコンテンツ名と実際のデータファイル名が記録されていればよい。ユーザが視聴を行う時は、再生制御部17からコンテンツリスト読み出し部62にコンテンツ蓄積部13に蓄積されているコンテンツの問い合わせを行う(L2)。コンテンツリスト読み出し部62はコンテンツ蓄積部13からリストを取得し、その情報を再生制御部17に返す(L2)。再生制御部17は、取得したリストをコンテンツ関連情報生成部14でコンテンツ関連情報データベースの形式に変換し、関連情報記録部15を経てコンテンツ関連情報データベース16に記録する。既にコンテンツ関連情報データベース16にコンテンツ関連情報が存在した場合には、関連情報記録部15は、取得し生成した関連情報とデータベース中の関連情報をマージするように記録してもよいし、単純に上書きでもよい。
【0081】
コンテンツ関連情報データベース16に蓄積された情報は、関連情報読み出し部18により読み出され、再生制御部17によってユーザに示される。ユーザは示されたコンテンツの関連情報(コンテンツ名や記録モードや再生時間や、再生停止位置情報など)から視聴するコンテンツを選択する。再生制御部17は選択されたコンテンツをコンテンツデータ読み出し部19に要求し、取得したデータの再生を行う。
【0082】
ユーザが再生を停止した場合、再生制御部17は再生停止位置をコンテンツ関連情報データベース16に登録する。コンテンツ関連情報データベース16のユーザが視聴したコンテンツの関連情報のうち、コンテンツ関連情報生成部14で再生停止位置の情報を更新して登録を行う。
【0083】
また、サーバー/クライアント型の構成において、コンテンツ関連情報データベースは、サーバー側が管理してもよい。図15にその構成例を示す。
図15は、本発明の他の実施形態に係る画像処理装置において、コンテンツ関連情報データベースをサーバー側が管理する構成例を示すブロック図である。本実施形態の画像処理装置は、コンテンツを記録蓄積する画像記録部65と画像再生部66からなる。クライアント側である画像再生部66の再生制御部17は、関連情報読み出し部18に、サーバー側に蓄積されているコンテンツ情報を要求する(L2)。獲得したコンテンツ名や時間情報などの情報をユーザに提示し、ユーザが視聴するコンテンツを決定する。選択されたコンテンツのデータの取得をコンテンツデータ読み出し部19に要求する(L1)。
【0084】
この時、ユーザが選択したコンテンツに再生停止位置の情報があり、ユーザがその再生停止位置からの再生を望んだ場合、再生停止位置からの再生であることもコンテンツデータ読み出し部19に通知する(再生停止位置からの再開のフラグでもよいし、再生開始を行う位置の時間情報でもよい)。コンテンツデータ読み出し部19は、コンテンツ蓄積部13からデータを読み出し、ユーザによって指定された再生開始位置からデータを再構成するために符号化データ抽出部21で処理を行う。再構成されたデータを再生制御部17に伝達することで、ユーザはコンテンツの視聴が可能になる。
【0085】
画像再生部66を有する機器で視聴を行い、途中で再生停止を行った場合、その再生停止位置情報は画像記録部65に伝達される(L3)。再生停止位置情報を受信した記録制御部11は、これまでに述べた方法と同様に、コンテンツ関連情報データベース16のコンテンツ関連情報を更新する。
【0086】
図16は、本発明の他の実施形態に係る画像処理装置において、コンテンツが復号されずにネットワークへ出力される構成例を示すブロック図である。前述した図14、図15では、出力の際に、復号部20でコンテンツデータの復号を行い、出力部22にて表示装置へコンテンツの出力を行っていたが、図16に示すように、出力先がネットワークなどの場合、復号をせず出力してもよい。
【0087】
図17は、本発明の他の実施形態に係る画像処理装置において、コンテンツを再生機器に移動する際に、コンテンツ関連情報もあわせて移動する構成例を示すブロック図である。サーバー/クライアント型の構成にて蓄積されたコンテンツを視聴する方法として、コンテンツデータをクライアントである再生側の機器にコピー(あるいは移動)して視聴する方法がある。この構成について図17に基づいて説明する。
【0088】
図17に示すように、記録側の機器は画像記録部67を有し、再生側の機器は画像再生部68を有する。画像再生部68は、コンテンツ関連情報生成部14と同様の処理を行うコンテンツ関連情報生成部14´、関連情報記録部15と同様の処理を行う関連情報記録部15´、関連情報読み出し部18と同様の処理を行う関連情報読み出し部18´および、コンテンツデータ読み出し部19と同様の処理を行うコンテンツデータ読み出し部19´を有する。また、コンテンツ関連情報を格納するコンテンツ関連情報データベース16´とコンテンツを蓄積するコンテンツ蓄積部13´を有する。
【0089】
ユーザが蓄積側にあるコンテンツを選択し、再生側の機器にコンテンツを格納する際は、無線又は有線で両者を接続しコンテンツの情報およびデータを取得する。コンテンツデータはコンテンツデータ読み出し部19より、コンテンツデータ記録部69を経由し、コンテンツ蓄積部13´に格納される。コンテンツ関連情報は、関連情報読み出し部18から関連情報記録部15´を経由し、コンテンツ関連情報データベース16′に格納される。ここで格納時の状態は問わない。すなわち、単純にコピーを行ってもよいし、移動の状態でもよい。
【0090】
このように、コンテンツを画像再生部68を有する機器に格納する際に、格納したコンテンツの関連情報も合わせて格納するので、再生停止位置の情報が含まれていた場合、この機器で視聴する際には途中から再生が可能となる。
【0091】
格納対象のコンテンツが複数の記録モードで記録されていた場合、ユーザにどの記録モードのデータを格納するのか選択させてもよいし、全ての記録モードのデータを格納してもよい。また、再生側の機器が、どのようなスペックのデータが再生可能かといった再生能力の情報が設定してあった場合は、その能力に見合ったデータを取得してもよい。
【0092】
再生側の機器で視聴し、再生停止を行った場合、コンテンツの再生停止位置情報は、再生側の機器のコンテンツ関連情報に記録/更新される。再生側の機器で記録/更新されたコンテンツ関連情報は、次回に記録側の機器と再生側の機器が接続された時に、再生側から記録側の機器に転送され、蓄積側の機器のコンテンツ関連情報が更新される。すなわち、コンテンツ関連情報データベース16´より関連情報読み出し部18´によってコンテンツ関連情報が読み出され、再生制御部17を経て、記録側の機器のコンテンツ関連情報生成部14に出力される。コンテンツ関連情報生成部14は、受け取った情報を関連情報記録部15に出力し、コンテンツ関連情報データベース16が更新される。この更新に際しては、それぞれの機器を接続した時に自動的に更新してもよいし、更新するかどうかをユーザに提示し選択してもよい。
【0093】
図18は、画像処理装置におけるコンテンツ関連情報にUserIDを追加した構成例を示す図である。図2に示した関連情報データは、視聴するユーザ毎の区別が出来ないため、再生停止したユーザAと次に視聴したユーザBが異なると、ユーザAが再生停止した情報が失われてしまうことがある。そこで、関連情報データにユーザ識別の情報を付与してもよい。図18の例では、図2に示した関連情報データにUserIDのフィールドを追加し、それぞれに再生停止位置を記録できるようにしたものを示す。この時、実際の視聴するユーザとUserIDの組み合わせ設定については方法を問わない。例えば、パーソナルコンピュータに代表されるように、視聴の際にはログイン操作を行い識別するようにしてもよいし、再生停止位置にユーザ名などをユーザに問い合わせても良い。また、ユーザ毎に操作するための機器(例えば、ユーザ毎の専用リモコンなど)が異なれば、その機器を識別し、UserIDとして利用してもよい。また、サーバー/クライアント型の構成における再生側の機器(PDAでの視聴や携帯電話の視聴)が異なる場合、再生機器を識別してUserIDとして利用してもよい。
【0094】
本発明のどの構成(図1、図14、図15、図16、図17)においても、再生停止位置情報の記録タイミングはどのようなタイミングで記録してもよい。すなわち、再生を停止した際に自動的に記録してもよいし、停止時に再生停止位置を記録あるいは更新するかどうかのウィンドウなどを表示しユーザに選択させてもよい。その際に、ユーザが記録(更新)を選択した場合には、再生停止位置情報を書き換えるが、更新しない場合には、再生停止位置情報は記録されない。
【0095】
また、画像記録部あるいは画像再生部が複数のユーザを識別することができ、各コンテンツのコンテンツ関連情報に再生停止情報が一つしか格納できない場合は、それぞれのユーザに再生停止位置情報のユーザ間の優先度を設定してもよい。すなわち、優先度の高いユーザAが視聴を行い、再生停止位置情報を更新した場合は、自動的にコンテンツ関連情報が更新され、優先度が低いユーザが視聴を行い、再生停止位置情報を更新しようとした場合は、優先度が低いためコンテンツ関連情報は更新されない。同様に、サーバー/クライアント型の構成において、クライアントの再生側の機器が複数あった場合、再生機器毎に優先度を付与することで、優先度が高い機器Aで視聴した場合には再生停止位置情報を含むコンテンツ関連情報が更新され、優先度が低い機器Bで視聴した場合は、視聴中に再生停止を行っても再生停止位置情報を更新しないことになる。
【0096】
尚、本発明に係る各実施形態において、再生停止位置の情報に従ってコンテンツの途中からの再生を行う方法について説明したが、これに限らず、ジャンプ再生など、再生停止位置の情報がなく、ユーザの操作によりコンテンツの任意の場所からの再生処理においても、同様の手法が適用できる。
【0097】
以上、本発明の画像再生装置における各機能を中心に各実施形態を説明してきたが、本発明は、画像再生装置における各ステップを実行する方法としても説明したように画像再生方法としての形態もとることができる。また、この各機能を有する装置と同様に、コンピュータに画像再生装置として機能させるためのプログラムとしての形態も、また、そのプログラムを記憶した記録媒体としての形態も可能である。
【0098】
例えば、画像記録のためのプログラムの場合、当該プログラムは、コンテンツを符号化する符号化モジュールと、符号化したコンテンツの符号化データを蓄積する符号化データ蓄積モジュールと、コンテンツの複数の符号化データに共通の再生停止位置を示す情報を含む符号化データの関連情報を生成する関連情報生成モジュールと、生成した関連情報をコンテンツ毎に蓄積する関連情報蓄積モジュールとを備える。符号化モジュールは、コンテンツを複数の符号化条件で符号化し、その複数の符号化データを符号化データ蓄積モジュールを用いて蓄積する。さらに、関連情報生成モジュールは、蓄積された複数の符号化データのいずれかが再生停止されたときに、その再生停止位置を示す情報を生成して関連情報蓄積モジュールを用いて蓄積する。
【0099】
本発明による画像再生の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態について説明する。記録媒体としては、具体的には、CD−ROM(−R/−RW)、光磁気ディスク、HD、DVD−ROM(−R/−RW/−RAM)、FD、フラッシュメモリ、メモリカードや、メモリスティック及びその他各種ROMやRAM等が想定でき、これら記録媒体に上述した本発明の画像再生装置としての機能をコンピュータに実行させ、画像再生の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる画像再生の機能を実行することができる。
【符号の説明】
【0100】
1,63,65,67…画像記録部、2,64,66,68…画像再生部、10…画像処理装置、11…記録制御部、12…符号化部、13,13′…コンテンツ蓄積部、14,14′…コンテンツ関連情報生成部、15,15′…関連情報記録部、16,16′…コンテンツ関連情報DB、17…再生制御部、18,18′…関連情報読み出し部、19,19′…コンテンツデータ読み出し部、20…復号部、21…符号化データ抽出部、22…出力部、31,40〜44…パケット、32,35,37,47,48…画像データ、33,34,36,38,39,45,46,49…音声データ、32′,37′,38′,39′…無効データ、51〜58…矢印、61…エントリの時間間隔、62…コンテンツリスト読み出し部、69…コンテンツデータ記録部。
【特許請求の範囲】
【請求項1】
コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出手段とを備え、
該符号化データ抽出手段は、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴とする画像再生装置。
【請求項2】
請求項1に記載の画像再生装置において、前記符号化データ抽出手段は、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴とする画像再生装置。
【請求項3】
請求項1又は2に記載の画像再生装置において、前記符号化データ抽出手段は、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、
前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴とする画像再生装置。
【請求項4】
コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出ステップとを備え、
該符号化データ抽出ステップは、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴とする画像再生方法。
【請求項5】
請求項4に記載の画像再生方法において、前記符号化データ抽出ステップは、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴とする画像再生方法。
【請求項6】
請求項4又は5に記載の画像再生方法において、前記符号化データ抽出ステップは、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、
前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴とする画像再生方法。
【請求項7】
コンテンツを複数の符号化条件で符号化した複数の符号化データを蓄積する符号化データ蓄積手段と、前記複数の符号化データのいずれかを復号して再生する復号手段と、他の画像再生装置とネットワークを介して接続するためのネットワーク接続手段とを備えた画像再生装置であって、
該ネットワーク接続手段により接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定手段と、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択手段とを備え、前記符号化データ選択手段により選択された符号化データを前記ネットワークに送出することを特徴とする画像再生装置。
【請求項8】
コンテンツを複数の符号化条件で符号化した複数の符号化データを符号化データ蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号して再生する復号ステップとを備えた画像再生装置による画像再生方法であって、
他の画像再生装置とネットワークを介して接続するネットワーク接続ステップと、該ネットワーク接続ステップにて接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定ステップと、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択ステップと、前記符号化データ選択ステップにて選択された符号化データを前記ネットワークに送出するステップとを備えたことを特徴とする画像再生方法。
【請求項1】
コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号手段と、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に蓄積した関連情報蓄積手段と、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出手段とを備え、
該符号化データ抽出手段は、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴とする画像再生装置。
【請求項2】
請求項1に記載の画像再生装置において、前記符号化データ抽出手段は、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴とする画像再生装置。
【請求項3】
請求項1又は2に記載の画像再生装置において、前記符号化データ抽出手段は、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索する手段と、符号化データの該画像メディアデータと同期する音声メディアデータを探索する手段と、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定する手段とを備え、
前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴とする画像再生装置。
【請求項4】
コンテンツを複数の符号化条件で符号化した複数の符号化データのいずれかを復号する復号ステップと、前記複数の符号化データに共通の再生停止位置を示す情報を少なくとも含む符号化データの関連情報をコンテンツ毎に関連情報蓄積手段に蓄積するステップと、符号化データに含まれる画像メディアデータ及び/又は音声メディアデータの一部を抽出する符号化データ抽出ステップとを備え、
該符号化データ抽出ステップは、前記複数の符号化データのいずれかを復号する際に、再生停止位置を示す情報を前記関連情報蓄積手段から取得し、該取得した再生停止位置を示す情報に基づいて前記再生停止位置付近の画像メディアデータと、該画像メディアデータの再生時刻に直近の音声メディアデータとを前記符号化データの一部として抽出することを特徴とする画像再生方法。
【請求項5】
請求項4に記載の画像再生方法において、前記符号化データ抽出ステップは、前記抽出した符号化データの一部に復号できない画像メディアデータ及び/又は音声メディアデータが含まれる場合、該復号できない画像メディアデータ及び/又は音声メディアデータを、復号時に破棄される無効なデータに変換することを特徴とする画像再生方法。
【請求項6】
請求項4又は5に記載の画像再生方法において、前記符号化データ抽出ステップは、再生停止位置の時刻情報から符号化データにおける該時刻情報に相当する画像メディアデータの位置を探索するステップと、符号化データの該画像メディアデータと同期する音声メディアデータを探索するステップと、前記画像メディアデータ又は前記音声メディアデータが含まれるパケットに前記時刻情報以前の再生を行わない画像メディアデータ又は音声メディアデータが含まれているかどうかを判定するステップとを備え、
前記再生を行わない画像メディアデータ又は音声メディアデータを前記パケットから除くように前記パケットを再構成することを特徴とする画像再生方法。
【請求項7】
コンテンツを複数の符号化条件で符号化した複数の符号化データを蓄積する符号化データ蓄積手段と、前記複数の符号化データのいずれかを復号して再生する復号手段と、他の画像再生装置とネットワークを介して接続するためのネットワーク接続手段とを備えた画像再生装置であって、
該ネットワーク接続手段により接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定手段と、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択手段とを備え、前記符号化データ選択手段により選択された符号化データを前記ネットワークに送出することを特徴とする画像再生装置。
【請求項8】
コンテンツを複数の符号化条件で符号化した複数の符号化データを符号化データ蓄積手段に蓄積するステップと、前記複数の符号化データのいずれかを復号して再生する復号ステップとを備えた画像再生装置による画像再生方法であって、
他の画像再生装置とネットワークを介して接続するネットワーク接続ステップと、該ネットワーク接続ステップにて接続されるネットワークに応じた符号化条件で符号化された符号化データが前記符号化データ蓄積手段に複数存在するか否かを判定する判定ステップと、複数存在すると判定された場合、該複数の符号化データのいずれかをユーザに選択させる符号化データ選択ステップと、前記符号化データ選択ステップにて選択された符号化データを前記ネットワークに送出するステップとを備えたことを特徴とする画像再生方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2009−213142(P2009−213142A)
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願番号】特願2009−94566(P2009−94566)
【出願日】平成21年4月9日(2009.4.9)
【分割の表示】特願2005−10892(P2005−10892)の分割
【原出願日】平成17年1月18日(2005.1.18)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願日】平成21年4月9日(2009.4.9)
【分割の表示】特願2005−10892(P2005−10892)の分割
【原出願日】平成17年1月18日(2005.1.18)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]