画像処理装置、画像処理方法、画像処理プログラム及びプロクラム記憶媒体
【課題】ストリームの連続性を維持しつつ滑らかなつなぎ記録を可能にする。
【解決手段】第１の映像符号化ストリームの後端のピクチャデータの位相情報をつなぎ位置検出部１０７により検出し、ストリーム情報検出部１０５により上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、上記閾値による判断結果に応じて、一方は周期性を維持するように、映像符号化ストリームの末尾のフレームを削除し、もう一方は、連結ストリーム生成部１０８により周期性を維持するための連結ストリームを生成し、連結ストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行う。
【解決手段】第１の映像符号化ストリームの後端のピクチャデータの位相情報をつなぎ位置検出部１０７により検出し、ストリーム情報検出部１０５により上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、上記閾値による判断結果に応じて、一方は周期性を維持するように、映像符号化ストリームの末尾のフレームを削除し、もう一方は、連結ストリーム生成部１０８により周期性を維持するための連結ストリームを生成し、連結ストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置、画像処理方法、画像処理プログラム及びプロクラム記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型磁気媒体、小型光媒体への記録や通信媒体での伝送を行うことが可能となっている。このような技術を応用し、容易に高品位な映像を撮影して即座に情報媒体へ出力できる撮像装置などの開発が行われている。
【０００３】
特に、昨今の動画像の符号化には、ＭＰＥＧ（Moving Picture Expert Group）符号化技術が使われている。ＭＰＥＧ方式では、データ量を圧縮するにあたって、その映像フレームのデータだけで独立して画面内の相関を用いて符号化するフレーム内符号化画像（Ｉピクチャ）、前方向のフレームの情報を元に符号化するフレーム間順方向予測符号化画像（Ｐピクチャ）、前方向と後方向のフレームを元に符号化する双方向予測符号化画像（Ｂピクチャ）という３種類の画像圧縮手法を使って、効率的にデータ量を削減している。ＭＰＥＧ符号化は、大幅に符号レートを削減することができるため、ＤＶＤに代表される映像再生装置や、ビデオカメラなどの撮像装置に広く用いられている。
【０００４】
ところで、日本や米国などのテレビジョン放送規格では、１秒間に約３０フレーム（以下、３０フレーム／秒と称する）のフレームレートが用いられているが、映画で用いるフィルム素材の映像は、１秒間に約２４フレーム（以下、２４フレーム／秒と称する）のフレームレートが一般的である。そのため、２４フレーム／秒の映像を３０フレーム／秒に２−３プルダウンすることが知られている（例えば、非特許文献１参照）。そして、フィルム素材映像とテレビ映像の互換性を高めてＭＰＥＧ符号化するようにしている（例えば、特許文献１参照）。
【０００５】
図１０は、上記従来技術を組み合わせて構成されたフィルム素材映像を２−３プルダウンしＭＰＥＧ符号化する装置の構成を示すブロック図である。図１０において、８０１は映像信号入力端子、８０２は符号化部、８０３は記録部、８０４は記録媒体である。また、符号化部８０２は、２−３プルダウン部８１０、逆２−３プルダウン部８１１、ＭＰＥＧ部８１２から構成される。
【０００６】
映像信号入力端子８０１から入力される、２４フレーム／秒のフレームレートを有する映像信号は、符号化部８０２に供給される。上記映像信号は、符号化部８０２で、まず２−３プルダウン部８１０によって３０フレーム（６０フィールド）／秒にレート変換される。この変換は２−３プルダウンと一般によばれる方式で、映画などのフィルム素材をテレビ向けの映像に変換される場合に多用されている技術である。
【０００７】
図１１は２−３プルダウン部８１０の処理を説明する図である。９０１〜９１０は２４フレーム／秒の映像のフィールド列である。このフィールド列を３０フレーム／秒に変換したフィールド列が９１１〜９２２である。フィールド９０１、９０２をフィールド９１１、９１２に、フィールド９０３、９０４をフィールド９１３、９１４、９１５に、というように入力映像２フィールドずつを、出力映像２フィールドと３フィールドの繰り返しになるように変換してゆく。この繰り返しにより入力４フィールド毎に出力５フィールドが生成され、２４フレーム／秒から３０フレーム／秒への変換を実現する。この時、２フィールドから３フィールドに変換された際の１番目と３番目のフィールドは同一のデータである。例えば、フィールド９１３とフィールド９１５はともにフィールド９０３をもとにしている。同様にフィールド９１８とフィールド９２０も同一のデータである。
【０００８】
このようにレート変換された映像信号は、２−３プルダウン部８１０から逆２−３プルダウン部８１１を経由してＭＰＥＧ部８１２に供給される。ＭＰＥＧ部８１２は、高能率符号化処理によって映像信号を圧縮しストリームを生成し、記録部８０３に供給する。記録部８０３は生成されたストリームを記録媒体８０４に記録する（例えば、非特許文献２参照）。
【０００９】
逆２−３プルダウン部８１１は、図１０に示すように外部から供給されるパラメータに基づいて処理を行う。ここで、２−３プルダウン映像の冗長性を取り除くため、top_field_first、repeat_first_fieldというパラメータが用いられる。パラメータrepeat_first_fieldが０の場合２フィールド構成を示し、１の場合３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一なので、３番目のフィールドについては画像データを生成しない（逆２−３プルダウン処理）。一方、パラメータtop_field_firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先を示している。
【００１０】
ＭＰＥＧ部８１２は、逆２−３プルダウン部８１１から供給された映像を圧縮し、パラメータ情報を付加したストリームを生成する。
【００１１】
図１１には、前述の２−３プルダウン処理によって生成されるフィールド列と、パラメータtop_field_first、repeat_first_fieldの関係が示されている。この図１１からもわかるように、この２つの２値パラメータの組み合わせは４通り、それが周期的に繰り返される。
【００１２】
通常の記録時は、この周期的な繰り返しを崩さないように、パラメータを変えながら符号化を行う。
【００１３】
ここで、既に記憶媒体に記憶されているストリーム（２−３プルダウン・符号化後のデータ）に、新たな他のストリームをつないで記録する場合、既存のストリームのパラメータ、及び、接続する新規のストリームのパラメータが決まっているため、つなぎ位置において上記パラメータの位相に不整合が生じてしまう。例えば、図１１のように２−３プルダウン後のストリームの末尾のフィールド９２１、９２２は２フィールド構成であり、その２ビットのパラメータ「top_field_first、repeat_first_field」は「１、０」である。上記説明からすれば、この後に接続されるストリームの先頭のピクチャの同パラメータは「１、１」であることが望まれるが、必ずしも、そのようになるとは限らないし、むしろ３／４の確率で不整合が発生することになる。
【００１４】
かかる問題を解決するためには、既存のストリーム、或いは、新規ストリームを再エンコードし、位相が連続するようにパラメータを与えなおすと正しく整合することであるが、再エンコードには処理時間がかかるという問題があるし、また、再エンコードにより大きく画質が劣化してしまうという問題もある。
【００１５】
２−３プルダウン映像を再エンコードすることなしに、２つのストリームを連結する際の各ピクチャの不連続を抑制して、つなぎ記録が可能な技術として、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータ、もしくは上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータを複製したダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入することが提案されている。（例えば、特許文献２参照）。
【００１６】
【特許文献１】特開２０００−４１２４４号公報
【特許文献２】特開２００５−１７６３３０号公報
【非特許文献１】ＡＲＩＢ ＳＴＤ−Ｂ２０
【非特許文献２】ＩＳＯ／ＩＥＣ１３８１８−２
【発明の開示】
【発明が解決しようとする課題】
【００１７】
ところで、特許文献２のように、２つのストリームを連結する際に、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータ、もしくは上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータを複製したダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入したので、同じ画像のフレームが最大で４フレーム連続して表示されることとなり、映像が一瞬フリーズしたように見える。特に動きの速いシーンにおいて、同技術でつなぎ記録した動画像の場合は、視聴者が違和感を顕著に覚えることとなる。特に２４フレーム／秒のフレームレートは映画制作やコマーシャル制作等の業務用の分野で使用されることが多いので、視聴時に違和感のある画面のフリーズは極力避けるべきである。
【００１８】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ストリームの連続性を維持しつつ滑らかなつなぎ記録を可能する画像処理装置、画像処理方法、画像処理プログラム、プログラム記憶媒体を提供することにある。
【００１９】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２０】
本発明では、例えば、２４フレーム／秒の動画を２−３プルダウンしたときの２フィールドと３フィールドの位相情報（パラメータ情報）を周期的に持つ２４フレーム／秒のＭＰＥＧ動画像データをつなぎ記録するときに、新たに記録するストリームの先頭のピクチャのパラメータ情報と、既に記録されている圧縮符号化ストリームの後端のピクチャのパラメータ情報を検出し、２つのストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行い、判断結果により、一方は周期性を維持するように、既に記録されているストリームの末尾のフレームを削除して、新たなストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する。そして、生成されたダミーストリームを既に記録されているストリームの後端位置と新たに記録するストリームの先頭の間に挿入する処理を行う。
【００２１】
すなわち、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出する第１の検出手段と、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出する第２の検出手段と、上記第１、第２の検出手段で検出した第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件に閾値（フレーム数）を設け、閾値による判断を行う判断手段と、上記判断手段における閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する生成手段を備え、上記生成手段で生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする。
【００２２】
また、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理方法であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出し、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件に閾値（フレーム数）を設け、閾値による判断を行い、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成し、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする。
【００２３】
また、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムであって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有することを特徴とする。
【００２４】
さらに、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムを記憶したプログラム記憶媒体であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有する画像処理プログラムをコンピュータにより読み取り実行可能に記憶したことを特徴とする。
【発明の効果】
【００２５】
本発明によれば、２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、既に記録されているストリームの末尾フレームを削除したり、少ない数のダミーストリームを挿入することで、ストリームの連続性を維持しつつ滑らかなつなぎ記録が可能になる。ダミーストリームを挿入せずに、既に記録されているストリームの末尾フレームを削除する場合は、画像のフリーズは起こらない。また、ダミーストリームが挿入される場合でも、ダミーストリームのフレーム数を制限しているので、つなぎ記録部分での画像のフリーズに対しても改善効果がある。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２７】
＜第１の実施形態＞
本発明は、例えば図１に示すような構成の画像処理装置１００に適用される。
【００２８】
この画像処理装置１００は、映像信号入力端子１０１を介して映像信号が供給される符号化部１０２、この符号化部１０２により映像信号を符号化したストリームまたは連結ストリーム生成部１０８によりダミーストリームとして生成される連結ストリームが切り替え部１１４を介して選択的に供給される記録部１０３、この記録部１０３によりアクセスされる情報の書き込み可能なディスクや磁気テープ等の記録媒体１０４、上記符号化部１０２から映像信号を符号化したストリームが供給されるストリーム情報検出部１０５、上記記録媒体１０４をアクセスして記録されたストリームの情報を読み出すつなぎ位置情報検出部１０６、上記ストリーム情報検出部１０５及びつなぎ位置情報検出部１０６が接続されたパラメータ情報判定部１０７、上記記録部１０３を制御するつなぎ位置制御部１０９、上記連結ストリーム生成部１０８とつなぎ位置制御部１０９を上記パラメータ情報判定部１０７に選択的に接続する切り替え部１１３等からなる。上記符号化部１０２は、２−３プルダウン部１１０、逆２−３プルダウン部１１１、ＭＰＥＧ部１１２からなる。
【００２９】
この画像処理装置１００において、映像信号入力端子１０１には、２４フレーム／秒のフレームレートを有する映像信号が入力される。
【００３０】
映像信号入力端子１０１を介して符号化部１０２に供給された映像信号は、この符号化部１０２において、まず２−３プルダウン部１１０によって３０フレーム（６０フィールド）／秒にレート変換される。この変換は、２−３プルダウンと一般によばれる公知の方式である。
【００３１】
なお、映像入力部１０１としては２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム（４８フィールド）／秒で映像を撮像する撮像装置、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナ（各コマを２フィールドの映像データとして読取るものとするが、読取った後に本装置側で２フィールドに変換するようにしてもよい）で良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。
【００３２】
レート変換された映像信号は、２−３プルダウン部１１０から逆２−３プルダウン部１１１を経由し、ＭＰＥＧ部１１２に供給される。ＭＰＥＧ部１１２は、ＩＳＯ／ＩＥＣ１３８１８-２に記載の高能率符号化処理によって映像信号を圧縮してストリームを生成し、記録部１０３およびストリーム情報検出部１０５に供給する。
【００３３】
逆２−３プルダウン部１１１は、外部から供給されるパラメータに基づいて入力した映像信号の処理を行う。２−３プルダウン映像の冗長性を取り除くため、top_field_first、repeat_first_fieldというパラメータが用いられる。
【００３４】
パラメータrepeat_first_fieldが０の場合、該当するピクチャは２フィールド構成を示し、１の場合には３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一なので、３番目のフィールドについては画像データを省く。一方、パラメータtop_field_firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先である。この２つの２値パラメータの組み合わせは４つあり、それが周期的に繰り返される。
【００３５】
すなわち、このパラメータの組を(top_field_first、repeat_first_field)と表現すると、(１、０)、(１、１)、(０、０)、(０、１)、(１、０)、(１、１)、(０、０)、(０、１)、…、(１、０)、(１、１)、(０、０)、(０、１)、…というように４サイクル単位に繰り返すことになる。
【００３６】
通常の記録時は、この周期的な繰り返しを崩さないように、パラメータを変えながら符号化を行い、符号化部１０２で生成されたストリームは記録部１０３に供給され、記録媒体１０４に記録される。
【００３７】
ここで、図１に示した画像処理装置１００において、記録媒体１０４に既に記録されているストリームに、他のストリームをつないで記録する場合には、それらは共にパラメータが既に決まっているため、このままでは、つなぎ位置において上記パラメータの位相に不整合が生じてしまう可能性がある。たとえば、図２のようにストリーム２１０の末尾(２１１)が２フィールド構成で、それにつなごうとするストリーム２２０の先頭(２２１)も２フィールド構成である場合、そのまま接続すると２フィールド、３フィールドの繰り返しが崩れてしまう。
【００３８】
そこで、本実施形態では、つなぎ位置情報検出部１０６により、記録媒体１０４に既に記録されているストリームのうち、つなぎ記録の対象となるストリーム（第１のストリーム２１０）の末尾のパラメータ情報を再生して検出し、新たにつなぎ記録しようとしているストリーム（第２のストリーム２２０）の先頭のパラメータ情報をストリーム情報検出部１０５で検出する。検出された各パラメータ情報はパラメータ情報判定部１０７に供給され、２つのストリーム間におけるパラメータの連続性、すなわち位相の整合が判定される。
【００３９】
パラメータ情報判定部１０７による判定の結果、切り替え部１１３が制御され、連結ストリーム生成部１０８により、２つのストリーム間におけるパラメータの連続性を維持するための連結ストリームを生成する場合と、後述する理由により、つなぎ位置制御部１０９で、つなぎ記録の対象となるストリーム（第１のストリーム２１０）のつなぎ位置を制御して、新たにつなぎ記録しようとしているストリーム（第２のストリーム２２０）をつなぎ記録する場合とに、制御がわけられる。
【００４０】
連結ストリーム２３０を生成する場合は、生成された連結ストリーム２３０は切り替え部１１４を経由し記録部１０３に供給され、上記２つのストリームの間に挿入するように記録媒体１０４へ記録される。
【００４１】
この実施形態では、パラメータは(１、０)、(１、１)、(０、０)、(０、１)が順に生成することを前提にしているわけであるから、第１のストリームの末尾パラメータと、第２ストリームの先頭パラメータの順序が、この順番になっているか否かで判断すれば良いことになるし、その判断によって、幾つのピクチャデータで構成される連結ストリームを生成する必要があるかも判明する。
【００４２】
ここで、挿入される連結ストリームのピクチャデータの数が多いと、従来技術で述べたように、つなぎ記録部分において、映像が一瞬フリーズしたように見える。そこで、本実施では、挿入される連結ストリームのピクチャデータの数を制限して、つなぎ記録部分での映像のフリーズを目立たなくする。以下に、挿入される連結ストリームのピクチャデータの数を１つに制限した場合の例を説明する。
【００４３】
先の図２の例の場合、第１のストリーム２１０の末尾と第２のストリーム２２０の先頭はともに、(top_field_first、repeat_first_field)=(１、０)であり、パラメータ(top_field_first、repeat_first_field)で示される(１、１)、（０、０）、（０、１）の３ピクチャで構成される連結ストリーム２３０を生成（挿入）しなければならないことが判明する。しかし、この場合、連結ストリームを挿入すると、第１のストリーム２１０の末尾の画像を含む４フレーム連続した画像が出力されるので、映像が一瞬フリーズしたように見える。そこで、第１のストリーム２１０の末尾と第２のストリーム２２０の先頭はともに、パラメータ(１、０)であるので、第１のストリーム２１０の末尾の１フレームのみを削除して、第２のストリーム２２０をつなぎ記録することで、２つのストリーム間におけるパラメータの連続性を維持することができる。
【００４４】
同様の方法で、例えば図３のように、第１のストリーム２１０の末尾がパラメータ(１、０)であり、第２のストリーム２２０の先頭がパラメータ(０、１)であるような場合、すなわち、２ピクチャの連結ストリームが必要であることが判明した場合は、第１のストリーム２１０の末尾の２フレーム（パラメータ（０、１）、（１、０）のフレーム）を削除して、第２のストリーム２２０をつなぎ記録することで、２つのストリーム２１０，２２０間におけるパラメータの連続性を維持することができる。
【００４５】
また、図４の例のように、第１のストリーム２１０の末尾がパラメータ(１、０)であり、第２のストリーム２２０の先頭がパラメータ(０、０)であるような場合、すなわち、１ピクチャの連結ストリームを生成しなければならないことが判明した場合は、パラメータ(１、１)の１ピクチャで構成される連結ストリーム２３０を生成（挿入）する。すなわち、この位相を合わせる連結ストリーム２３０を生成し、第１のストリーム２１０の末尾に続けて記録することになる。この連結ストリーム２３０を挿入する方法は従来技術として公知の方式である。
【００４６】
図２や図３の例のように、第１のストリーム２１０からフレームを削る場合は、第１のストリーム２１０の符号化条件によってはＧＯＰ（Group Of Pictures）内の特定のフレーム情報が失われることにより、映像が乱れることがある。この様な場合は、映像の乱れを防ぐ為に、フレームを削る対象となるＧＯＰについては、削除すべきフレームを除く残りのフレーム部分の再エンコードを行い、新たなＧＯＰを生成する。再エンコードした映像信号の各フレームに対応するパラメータ(top_field_first、repeat_first_field)は元々のパラメータを割り当てる。第１のストリーム２１０の再エンコードしていない部分のストリームに続けて、上述のように部分的に再エンコードしたＧＯＰストリームをつなぎ記録し、更に続けて第２のストリーム２２０をつなぎ記録することで、必要最小限の演算でパラメータの整合性を保ちながら、フリーズしないつなぎ記録が可能となる。
【００４７】
また、パラメータ(top_field_first、repeat_first_field)は４フレーム周期で繰り返されるので、第１のストリーム２１０、第２のストリーム２２０共に１ＧＯＰのフレーム数が４の倍数、且つＣｌｏｓｅｄ ＧＯＰのＧＯＰ構造をもつ２４フレーム／秒のストリームを扱う場合は、ＧＯＰの先頭フレームのパラメータを固定し、ＧＯＰ単位で記録の開始・終了を行うことで、第１のストリーム２１０を再エンコードすることなく、パラメータの整合性を保って、つなぎ記録ができるようになる。
【００４８】
図５は１ＧＯＰのフレーム数が１２フレームで、１フレーム目と２フレーム目のＢピクチャは３フレーム目のＩピクチャのみを参照するＣｌｏｓｅｄ ＧＯＰとなるＧＯＰ構造を持ち、１フレーム目のパラメータ(top_field_first、repeat_first_field)が（１、０）に固定されたストリームを示している。このようなストリームをＧＯＰ単位で記録の開始・終了を行う限り、パラメータの整合性を保つことができ、Ｃｌｏｓｅｄ ＧＯＰであるからＧＯＰ内で参照するピクチャが完結しており、ストリームの連結によって映像が乱れることはなく、再エンコードを必要としない。
【００４９】
図５において、Ｉは、その映像フレームのデータだけで独立して画面内の相関を用いて符号化する、すなわち、予測を行わないＩピクチャ (Intra Picture)を示し、Ｐは、前方向のフレームの情報を元に符号化する、すなわち、前方のＩピクチャ、またはＰピクチャを参照する前方予測だけ可能なＰピクチャ (Predictive Picture)を示し、前方向と後方向のフレームを元に符号化する、すなわち、双方向予測が可能なＢピクチャ (Bidirectionally Predictive Picture)を示している。１，２フレームのＢピクチャは３フレームのＩピクチャを参照した後方予測のみ行う場合は、Closed GOP(GOP内で参照するピクチャが完結)のＧＯＰ構造となる。
【００５０】
ここで、連結ストリーム生成部１０８では、処理を示す図６のフローチャートに示す手順にしたがって連結ストリーム２３０を生成する処理を行う。
【００５１】
すなわち、ステップＳ１では、上記つなぎ位置情報検出部１０６から供給される第１のストリーム２１０の末尾パラメータを取得する。
【００５２】
次のステップＳ２では、上記ストリーム情報検出部１０５から供給される第２のストリーム２２０の先頭パラメータを取得する。
【００５３】
次のステップＳ３では、末尾のパラメータと先頭のパラメータの連続性、すなわち位相の整合を判定する。
【００５４】
このステップＳ３における判定結果がＹＥＳ、すなわち、２−３プルダウンの位相が整合している場合には、そのまま処理を終了し、また、ステップＳ３における判定結果がＮＯ、すなわち、２−３プルダウンの位相が整合していない場合には、次のステップＳ４に進む。
【００５５】
ステップＳ４では、パラメータの整合性を保つために必要なピクチャ数を算出する。
【００５６】
次のステップＳ５では、上記ステップＳ４で算出したピクチャ数と制限するピクチャ数との関係を判別する。
【００５７】
このステップＳ５における判定結果がＹＥＳ、すなわち、先に述べたように、挿入する連結ストリームのピクチャ数を１に制限し、挿入する連結ストリームのピクチャ数が２以上必要だと判定した場合は、ステップＳ６に進み、２つのストリーム間におけるパラメータの連続性を維持するように、第１のストリーム２１０の末尾のフレームを削除して第２のストリーム２２０を続けて記録できるように、記録部１０３を制御する。また、ステップＳ５における判定結果がＮＯ、すなわち、挿入する連結ストリーム２３０のピクチャ数が１つ必要だと判定した場合は、ステップＳ７に進み、パラメータの連続性を保つ連結ストリーム２３０を生成し、第１のストリーム２１０の末尾に続けて記録する。
【００５８】
以上の説明では挿入する連結ストリーム２３０のピクチャ数を１に制限し、挿入する連結ストリーム２３０のピクチャ数が２以上必要だと判定した場合は、２つのストリーム間におけるパラメータの連続性を維持するように、第１のストリーム２１０の末尾のフレームを削除して第２のストリーム２２０を連結する方法を述べたが、制限するピクチャ数は０〜２の何れかとすることが望ましい。
【００５９】
制限するピクチャ数を０とした場合は、連結ストリーム２３０は生成しないので、連結ストリーム生成部１０８および切り替え部１１３、１１４が不要となり、より単純な構成に置き換えることができる。
【００６０】
これまでの説明からも十分に理解できるように、前後のストリームの位相が整合すると判断されたときには、第１のストリーム２１０の末尾のフレームを削除や、連結ストリーム２３０の生成・記録も行われない（図６のフローチャートにおけるステップＳ３がＮＯのときに相当する。）。
【００６１】
なお、上記画像処理装置１００では、上記ストリーム情報検出部１０５から供給される第２のストリーム２２０の先頭パラメータと上記つなぎ位置情報検出部１０６から供給される第１のストリーム２１０の末尾パラメータの連続性、すなわち２−３プルダウンの位相の整合を判定して、２−３プルダウンの位相が整合していない場合には、パラメータの連続性を保つように上記第１の映像符号化ストリーム２１０の末尾のフレームを削除、あるいは、パラメータの連続性を保つ連結ストリーム２３０を上記第１の映像符号化ストリーム２１０の後端位置と上記第２の映像符号化ストリーム２２０の先頭の間に挿入する処理を行うようにしたが、図７に示すように、２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、後からつなぎ記録するストリームの２−３プルダウンシーケンス情報のみを挿げ替えることで、再エンコードを行うことなく、ストリームの連続性を維持しつつ滑らかなつなぎ記録を行うようにすることもできる。
【００６２】
図８は、上述の実施形態における画像処理をパーソナルコンピュータ（ＰＣ）等の汎用情報処理装置上で実施する場合の構成を示している。
【００６３】
図８において、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はワークエリアとして使用するＲＡＭである。４はＯＳ （Operating System）、並びに実施形態における圧縮符号化、並びに、ストリーム連結処理にかかるプログラム、更には、各ストリームを記憶保持する外部記憶装置（ハードディスク等）である。５は映画で用いるフィルム素材を順次読取る映像入力部である。映像入力部５としては２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム（４８フィールド）／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナ（各コマを２フィールドの映像データとして読取るものとするが、読取った後に２フィールドに変換するようにしてもよい）で良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。
【００６４】
６は２−３プルダウン部であり、７は逆２−３プルダウン部であり、８はＭＰＥＧ符号化部である。なお、最近のＰＣでは、処理能力が非常に高くなってきているので、２−３プルダウン部６、逆２−３プルダウン部７、ＭＰＥＧ符号化部８に相当する処理をソフトウェア処理で実現しても良い。９は連結処理等の編集結果を出力する出力部である。出力部９としては、例えばＤＶＤレコーダ装置等を想定できるが、出力先はネットワーク上に存在するのであれば（例えばファイルサーバ等）であれば、この出力部９はネットワークインタフェースとなる。
【００６５】
かかる構成において、本装置１０に電源を投入し、ＯＳがＲＡＭ２にロードされ、実施形態におけるアプリケーションをＲＡＭ２にロードすることで、先に説明した図６に応じた処理を行い、外部記憶装置４（図１における記録媒体１０４に相当する）に記憶することになる。そして、ユーザの指示に従い、ＤＶＤメディアに書き込むことになる。なお、ハードディスクに一旦保存するのではなく、ダイレクトにＤＶＤ等の記憶媒体に保存するようにしても構わない。すなわち、連結されるストリームと連結するストリームと、連結後のストリームはそれぞれ別の記憶媒体であっても構わない。
【００６６】
また、図１では、映像信号入力端子１０１よりフィルム素材の２４フレーム／秒の映像ストリームを入力するものとしたが、連結しようとする２つのストリームが、共に外部記憶装置４に記憶されていても構わない。すなわち、既に２−３プルダウン処理され、ＭＰＥＧ符号化された画像同士を連結する限り本実施形態は有効に作用する。
【００６７】
また、実施形態における記録媒体１０４が上記のように、ハードディスク等のランダムアクセス可能な記憶媒体であるとき、そこには複数の符号化済みストリームデータが存在することになる。従って、記録媒体に記録された複数のストリーム中の２つを指定する手段、或いは、外部から入力し符号化されたデータを連結する対象となる１つを指定する手段を備えることになる。また、３つ以上のストリームを連結する場合には、基本的に２つのストリームを連結する処理を繰り返しになるだけであるので、その順序を指定する手段を備えれば十分である。
【００６８】
また、記録媒体１０４が磁気テープのようにシーケンシャルアクセスのものであれば、かかる指定する手段は不要になる。
【００６９】
さらにまた、図１の構成をビデオカメラ等の撮像装置に適用する場合、既に記憶されたストリームに新たに撮像して得たストリームをつなげて記録するか、或いは新たなストリームとして独立して記録するかを指示するボタン等の指示手段を有することが望ましい。
【００７０】
＜第２の実施形態＞
続いて第２の実施形態を説明する。図９はそのブロック図である。
【００７１】
上記第１の実施形態と異なる点は、図１に示した画像処理装置１００における映像信号入力部１０１および符号化部１０２の代わりに、ストリーム入力部５０１を具備する。他のブロックは画像処理装置１００と同様であるので、同一番号を付して、その詳細な説明を省略する。すなわち、本構成による画像処理装置２００は、符号化部を持たず、既に符号化されたストリームどうしを連結するものである。本構成も上述した手順に従い、つなぎ部のパラメータの繰り返し位相を維持する滑らかなつなぎを実現できる。
【００７２】
以上第１及び第２の実施形態を説明したが、先に説明したように、実施形態における機能実現手段は、映像入力手段（撮像手段）を有する撮像装置に限らず、パーソナルコンピュータ等の汎用情報処理装置でもって実現できることは明らかである。すなわち、本発明はコンピュータ用のユーティリティアプリケーションプログラムをもその範疇とする。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体に記憶され、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能となるわけであるから、かかるコンピュータ可読記憶媒体をもその範疇とするのは明らかである。
【図面の簡単な説明】
【００７３】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置におけるつなぎ記録による２−３プルダウンされた出力でのつなぎ位置においてパラメータの位相に不整合が生じてしまう可能性を模式的に示す図である。
【図３】２−３プルダウンされた出力でのつなぎ位置においてパラメータの連続性を維持するようにした例を模式的に示す図である。
【図４】２−３プルダウンされた出力でのつなぎ位置においてパラメータの連続性を維持するようにした他の例を模式的に示す図である。
【図５】ＧＯＰのフレーム数が１２フレームで、１フレーム目と２フレーム目のＢピクチャは３フレーム目のＩピクチャのみを参照するＣｌｏｓｅｄ ＧＯＰとなるＧＯＰ構造を持ち、１フレーム目のパラメータ(top_field_first、repeat_first_field)が（１、０）に固定されたストリームを示す図である。
【図６】上記画像処理装置における連結ストリーム生成部で実行される連結ストリームを生成する処理の手順を示すフローチャートである。
【図７】２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、後からつなぎ記録するストリームの２−３プルダウンシーケンス情報のみを挿げ替えることで、ストリームの連続性を維持する例を模式的に示す図である。
【図８】画像処理をパーソナルコンピュータ（ＰＣ）等の汎用情報処理装置上で実施する場合の構成を示すブロック図である。
【図９】本発明を適用した画像処理装置の他の構成例を示すブロック図である。
【図１０】従来技術を組み合わせて構成された２−３プルダウン機能を有する画像処理装置の構成を示すブロック図である。
【図１１】上記画像処理装置における２−３プルダウン部の処理を模式的に示す図である。
【符号の説明】
【００７４】
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ 外部記憶装置、５ 映像入力部、６ ２−３プルダウン部、７ 逆２−３プルダウン部、８ ＭＰＥＧ符号化部、９ 出力部、１０ 画像処理装置、１００ 画像処理装置、１０１ 映像信号入力端子、１０２ 符号化部、１０３ 記録部、１０４ 記録媒体、１０５ ストリーム情報検出部、１０６ 位置情報検出部、１０７ パラメータ情報判定部、１０８ 連結ストリーム生成部、１０９ つなぎ位置制御部、１１０ ２−３プルダウン部、１１１ 逆２−３プルダウン部、１１２ ＭＰＥＧ部、１１３ 切り替え部、１１４ 切り替え部、２００ 画像処理装置、２１０ 第１のストリーム、２２０ 第２のストリーム、２３０ 連結ストリーム、５０１ ストリーム入力部
【技術分野】
【０００１】
本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置、画像処理方法、画像処理プログラム及びプロクラム記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタル信号処理技術の進歩により、動画像や静止画像、音声等、大量のデジタル情報を高能率符号化し、小型磁気媒体、小型光媒体への記録や通信媒体での伝送を行うことが可能となっている。このような技術を応用し、容易に高品位な映像を撮影して即座に情報媒体へ出力できる撮像装置などの開発が行われている。
【０００３】
特に、昨今の動画像の符号化には、ＭＰＥＧ（Moving Picture Expert Group）符号化技術が使われている。ＭＰＥＧ方式では、データ量を圧縮するにあたって、その映像フレームのデータだけで独立して画面内の相関を用いて符号化するフレーム内符号化画像（Ｉピクチャ）、前方向のフレームの情報を元に符号化するフレーム間順方向予測符号化画像（Ｐピクチャ）、前方向と後方向のフレームを元に符号化する双方向予測符号化画像（Ｂピクチャ）という３種類の画像圧縮手法を使って、効率的にデータ量を削減している。ＭＰＥＧ符号化は、大幅に符号レートを削減することができるため、ＤＶＤに代表される映像再生装置や、ビデオカメラなどの撮像装置に広く用いられている。
【０００４】
ところで、日本や米国などのテレビジョン放送規格では、１秒間に約３０フレーム（以下、３０フレーム／秒と称する）のフレームレートが用いられているが、映画で用いるフィルム素材の映像は、１秒間に約２４フレーム（以下、２４フレーム／秒と称する）のフレームレートが一般的である。そのため、２４フレーム／秒の映像を３０フレーム／秒に２−３プルダウンすることが知られている（例えば、非特許文献１参照）。そして、フィルム素材映像とテレビ映像の互換性を高めてＭＰＥＧ符号化するようにしている（例えば、特許文献１参照）。
【０００５】
図１０は、上記従来技術を組み合わせて構成されたフィルム素材映像を２−３プルダウンしＭＰＥＧ符号化する装置の構成を示すブロック図である。図１０において、８０１は映像信号入力端子、８０２は符号化部、８０３は記録部、８０４は記録媒体である。また、符号化部８０２は、２−３プルダウン部８１０、逆２−３プルダウン部８１１、ＭＰＥＧ部８１２から構成される。
【０００６】
映像信号入力端子８０１から入力される、２４フレーム／秒のフレームレートを有する映像信号は、符号化部８０２に供給される。上記映像信号は、符号化部８０２で、まず２−３プルダウン部８１０によって３０フレーム（６０フィールド）／秒にレート変換される。この変換は２−３プルダウンと一般によばれる方式で、映画などのフィルム素材をテレビ向けの映像に変換される場合に多用されている技術である。
【０００７】
図１１は２−３プルダウン部８１０の処理を説明する図である。９０１〜９１０は２４フレーム／秒の映像のフィールド列である。このフィールド列を３０フレーム／秒に変換したフィールド列が９１１〜９２２である。フィールド９０１、９０２をフィールド９１１、９１２に、フィールド９０３、９０４をフィールド９１３、９１４、９１５に、というように入力映像２フィールドずつを、出力映像２フィールドと３フィールドの繰り返しになるように変換してゆく。この繰り返しにより入力４フィールド毎に出力５フィールドが生成され、２４フレーム／秒から３０フレーム／秒への変換を実現する。この時、２フィールドから３フィールドに変換された際の１番目と３番目のフィールドは同一のデータである。例えば、フィールド９１３とフィールド９１５はともにフィールド９０３をもとにしている。同様にフィールド９１８とフィールド９２０も同一のデータである。
【０００８】
このようにレート変換された映像信号は、２−３プルダウン部８１０から逆２−３プルダウン部８１１を経由してＭＰＥＧ部８１２に供給される。ＭＰＥＧ部８１２は、高能率符号化処理によって映像信号を圧縮しストリームを生成し、記録部８０３に供給する。記録部８０３は生成されたストリームを記録媒体８０４に記録する（例えば、非特許文献２参照）。
【０００９】
逆２−３プルダウン部８１１は、図１０に示すように外部から供給されるパラメータに基づいて処理を行う。ここで、２−３プルダウン映像の冗長性を取り除くため、top_field_first、repeat_first_fieldというパラメータが用いられる。パラメータrepeat_first_fieldが０の場合２フィールド構成を示し、１の場合３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一なので、３番目のフィールドについては画像データを生成しない（逆２−３プルダウン処理）。一方、パラメータtop_field_firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先を示している。
【００１０】
ＭＰＥＧ部８１２は、逆２−３プルダウン部８１１から供給された映像を圧縮し、パラメータ情報を付加したストリームを生成する。
【００１１】
図１１には、前述の２−３プルダウン処理によって生成されるフィールド列と、パラメータtop_field_first、repeat_first_fieldの関係が示されている。この図１１からもわかるように、この２つの２値パラメータの組み合わせは４通り、それが周期的に繰り返される。
【００１２】
通常の記録時は、この周期的な繰り返しを崩さないように、パラメータを変えながら符号化を行う。
【００１３】
ここで、既に記憶媒体に記憶されているストリーム（２−３プルダウン・符号化後のデータ）に、新たな他のストリームをつないで記録する場合、既存のストリームのパラメータ、及び、接続する新規のストリームのパラメータが決まっているため、つなぎ位置において上記パラメータの位相に不整合が生じてしまう。例えば、図１１のように２−３プルダウン後のストリームの末尾のフィールド９２１、９２２は２フィールド構成であり、その２ビットのパラメータ「top_field_first、repeat_first_field」は「１、０」である。上記説明からすれば、この後に接続されるストリームの先頭のピクチャの同パラメータは「１、１」であることが望まれるが、必ずしも、そのようになるとは限らないし、むしろ３／４の確率で不整合が発生することになる。
【００１４】
かかる問題を解決するためには、既存のストリーム、或いは、新規ストリームを再エンコードし、位相が連続するようにパラメータを与えなおすと正しく整合することであるが、再エンコードには処理時間がかかるという問題があるし、また、再エンコードにより大きく画質が劣化してしまうという問題もある。
【００１５】
２−３プルダウン映像を再エンコードすることなしに、２つのストリームを連結する際の各ピクチャの不連続を抑制して、つなぎ記録が可能な技術として、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータ、もしくは上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータを複製したダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入することが提案されている。（例えば、特許文献２参照）。
【００１６】
【特許文献１】特開２０００−４１２４４号公報
【特許文献２】特開２００５−１７６３３０号公報
【非特許文献１】ＡＲＩＢ ＳＴＤ−Ｂ２０
【非特許文献２】ＩＳＯ／ＩＥＣ１３８１８−２
【発明の開示】
【発明が解決しようとする課題】
【００１７】
ところで、特許文献２のように、２つのストリームを連結する際に、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータ、もしくは上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータを複製したダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入したので、同じ画像のフレームが最大で４フレーム連続して表示されることとなり、映像が一瞬フリーズしたように見える。特に動きの速いシーンにおいて、同技術でつなぎ記録した動画像の場合は、視聴者が違和感を顕著に覚えることとなる。特に２４フレーム／秒のフレームレートは映画制作やコマーシャル制作等の業務用の分野で使用されることが多いので、視聴時に違和感のある画面のフリーズは極力避けるべきである。
【００１８】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ストリームの連続性を維持しつつ滑らかなつなぎ記録を可能する画像処理装置、画像処理方法、画像処理プログラム、プログラム記憶媒体を提供することにある。
【００１９】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２０】
本発明では、例えば、２４フレーム／秒の動画を２−３プルダウンしたときの２フィールドと３フィールドの位相情報（パラメータ情報）を周期的に持つ２４フレーム／秒のＭＰＥＧ動画像データをつなぎ記録するときに、新たに記録するストリームの先頭のピクチャのパラメータ情報と、既に記録されている圧縮符号化ストリームの後端のピクチャのパラメータ情報を検出し、２つのストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行い、判断結果により、一方は周期性を維持するように、既に記録されているストリームの末尾のフレームを削除して、新たなストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する。そして、生成されたダミーストリームを既に記録されているストリームの後端位置と新たに記録するストリームの先頭の間に挿入する処理を行う。
【００２１】
すなわち、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出する第１の検出手段と、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出する第２の検出手段と、上記第１、第２の検出手段で検出した第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件に閾値（フレーム数）を設け、閾値による判断を行う判断手段と、上記判断手段における閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する生成手段を備え、上記生成手段で生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする。
【００２２】
また、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理方法であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出し、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件に閾値（フレーム数）を設け、閾値による判断を行い、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成し、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする。
【００２３】
また、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムであって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有することを特徴とする。
【００２４】
さらに、本発明は、１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムを記憶したプログラム記憶媒体であって、あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有する画像処理プログラムをコンピュータにより読み取り実行可能に記憶したことを特徴とする。
【発明の効果】
【００２５】
本発明によれば、２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、既に記録されているストリームの末尾フレームを削除したり、少ない数のダミーストリームを挿入することで、ストリームの連続性を維持しつつ滑らかなつなぎ記録が可能になる。ダミーストリームを挿入せずに、既に記録されているストリームの末尾フレームを削除する場合は、画像のフリーズは起こらない。また、ダミーストリームが挿入される場合でも、ダミーストリームのフレーム数を制限しているので、つなぎ記録部分での画像のフリーズに対しても改善効果がある。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００２７】
＜第１の実施形態＞
本発明は、例えば図１に示すような構成の画像処理装置１００に適用される。
【００２８】
この画像処理装置１００は、映像信号入力端子１０１を介して映像信号が供給される符号化部１０２、この符号化部１０２により映像信号を符号化したストリームまたは連結ストリーム生成部１０８によりダミーストリームとして生成される連結ストリームが切り替え部１１４を介して選択的に供給される記録部１０３、この記録部１０３によりアクセスされる情報の書き込み可能なディスクや磁気テープ等の記録媒体１０４、上記符号化部１０２から映像信号を符号化したストリームが供給されるストリーム情報検出部１０５、上記記録媒体１０４をアクセスして記録されたストリームの情報を読み出すつなぎ位置情報検出部１０６、上記ストリーム情報検出部１０５及びつなぎ位置情報検出部１０６が接続されたパラメータ情報判定部１０７、上記記録部１０３を制御するつなぎ位置制御部１０９、上記連結ストリーム生成部１０８とつなぎ位置制御部１０９を上記パラメータ情報判定部１０７に選択的に接続する切り替え部１１３等からなる。上記符号化部１０２は、２−３プルダウン部１１０、逆２−３プルダウン部１１１、ＭＰＥＧ部１１２からなる。
【００２９】
この画像処理装置１００において、映像信号入力端子１０１には、２４フレーム／秒のフレームレートを有する映像信号が入力される。
【００３０】
映像信号入力端子１０１を介して符号化部１０２に供給された映像信号は、この符号化部１０２において、まず２−３プルダウン部１１０によって３０フレーム（６０フィールド）／秒にレート変換される。この変換は、２−３プルダウンと一般によばれる公知の方式である。
【００３１】
なお、映像入力部１０１としては２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム（４８フィールド）／秒で映像を撮像する撮像装置、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナ（各コマを２フィールドの映像データとして読取るものとするが、読取った後に本装置側で２フィールドに変換するようにしてもよい）で良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。
【００３２】
レート変換された映像信号は、２−３プルダウン部１１０から逆２−３プルダウン部１１１を経由し、ＭＰＥＧ部１１２に供給される。ＭＰＥＧ部１１２は、ＩＳＯ／ＩＥＣ１３８１８-２に記載の高能率符号化処理によって映像信号を圧縮してストリームを生成し、記録部１０３およびストリーム情報検出部１０５に供給する。
【００３３】
逆２−３プルダウン部１１１は、外部から供給されるパラメータに基づいて入力した映像信号の処理を行う。２−３プルダウン映像の冗長性を取り除くため、top_field_first、repeat_first_fieldというパラメータが用いられる。
【００３４】
パラメータrepeat_first_fieldが０の場合、該当するピクチャは２フィールド構成を示し、１の場合には３フィールド構成を示す。前述のように３フィールド構成の場合、１番目と３番目のフィールドは同一なので、３番目のフィールドについては画像データを省く。一方、パラメータtop_field_firstは、トップ、ボトムいずれのフィールドが時間的に先であるかを示し、０の場合ボトムフィールドが先、１の場合トップフィールドが先である。この２つの２値パラメータの組み合わせは４つあり、それが周期的に繰り返される。
【００３５】
すなわち、このパラメータの組を(top_field_first、repeat_first_field)と表現すると、(１、０)、(１、１)、(０、０)、(０、１)、(１、０)、(１、１)、(０、０)、(０、１)、…、(１、０)、(１、１)、(０、０)、(０、１)、…というように４サイクル単位に繰り返すことになる。
【００３６】
通常の記録時は、この周期的な繰り返しを崩さないように、パラメータを変えながら符号化を行い、符号化部１０２で生成されたストリームは記録部１０３に供給され、記録媒体１０４に記録される。
【００３７】
ここで、図１に示した画像処理装置１００において、記録媒体１０４に既に記録されているストリームに、他のストリームをつないで記録する場合には、それらは共にパラメータが既に決まっているため、このままでは、つなぎ位置において上記パラメータの位相に不整合が生じてしまう可能性がある。たとえば、図２のようにストリーム２１０の末尾(２１１)が２フィールド構成で、それにつなごうとするストリーム２２０の先頭(２２１)も２フィールド構成である場合、そのまま接続すると２フィールド、３フィールドの繰り返しが崩れてしまう。
【００３８】
そこで、本実施形態では、つなぎ位置情報検出部１０６により、記録媒体１０４に既に記録されているストリームのうち、つなぎ記録の対象となるストリーム（第１のストリーム２１０）の末尾のパラメータ情報を再生して検出し、新たにつなぎ記録しようとしているストリーム（第２のストリーム２２０）の先頭のパラメータ情報をストリーム情報検出部１０５で検出する。検出された各パラメータ情報はパラメータ情報判定部１０７に供給され、２つのストリーム間におけるパラメータの連続性、すなわち位相の整合が判定される。
【００３９】
パラメータ情報判定部１０７による判定の結果、切り替え部１１３が制御され、連結ストリーム生成部１０８により、２つのストリーム間におけるパラメータの連続性を維持するための連結ストリームを生成する場合と、後述する理由により、つなぎ位置制御部１０９で、つなぎ記録の対象となるストリーム（第１のストリーム２１０）のつなぎ位置を制御して、新たにつなぎ記録しようとしているストリーム（第２のストリーム２２０）をつなぎ記録する場合とに、制御がわけられる。
【００４０】
連結ストリーム２３０を生成する場合は、生成された連結ストリーム２３０は切り替え部１１４を経由し記録部１０３に供給され、上記２つのストリームの間に挿入するように記録媒体１０４へ記録される。
【００４１】
この実施形態では、パラメータは(１、０)、(１、１)、(０、０)、(０、１)が順に生成することを前提にしているわけであるから、第１のストリームの末尾パラメータと、第２ストリームの先頭パラメータの順序が、この順番になっているか否かで判断すれば良いことになるし、その判断によって、幾つのピクチャデータで構成される連結ストリームを生成する必要があるかも判明する。
【００４２】
ここで、挿入される連結ストリームのピクチャデータの数が多いと、従来技術で述べたように、つなぎ記録部分において、映像が一瞬フリーズしたように見える。そこで、本実施では、挿入される連結ストリームのピクチャデータの数を制限して、つなぎ記録部分での映像のフリーズを目立たなくする。以下に、挿入される連結ストリームのピクチャデータの数を１つに制限した場合の例を説明する。
【００４３】
先の図２の例の場合、第１のストリーム２１０の末尾と第２のストリーム２２０の先頭はともに、(top_field_first、repeat_first_field)=(１、０)であり、パラメータ(top_field_first、repeat_first_field)で示される(１、１)、（０、０）、（０、１）の３ピクチャで構成される連結ストリーム２３０を生成（挿入）しなければならないことが判明する。しかし、この場合、連結ストリームを挿入すると、第１のストリーム２１０の末尾の画像を含む４フレーム連続した画像が出力されるので、映像が一瞬フリーズしたように見える。そこで、第１のストリーム２１０の末尾と第２のストリーム２２０の先頭はともに、パラメータ(１、０)であるので、第１のストリーム２１０の末尾の１フレームのみを削除して、第２のストリーム２２０をつなぎ記録することで、２つのストリーム間におけるパラメータの連続性を維持することができる。
【００４４】
同様の方法で、例えば図３のように、第１のストリーム２１０の末尾がパラメータ(１、０)であり、第２のストリーム２２０の先頭がパラメータ(０、１)であるような場合、すなわち、２ピクチャの連結ストリームが必要であることが判明した場合は、第１のストリーム２１０の末尾の２フレーム（パラメータ（０、１）、（１、０）のフレーム）を削除して、第２のストリーム２２０をつなぎ記録することで、２つのストリーム２１０，２２０間におけるパラメータの連続性を維持することができる。
【００４５】
また、図４の例のように、第１のストリーム２１０の末尾がパラメータ(１、０)であり、第２のストリーム２２０の先頭がパラメータ(０、０)であるような場合、すなわち、１ピクチャの連結ストリームを生成しなければならないことが判明した場合は、パラメータ(１、１)の１ピクチャで構成される連結ストリーム２３０を生成（挿入）する。すなわち、この位相を合わせる連結ストリーム２３０を生成し、第１のストリーム２１０の末尾に続けて記録することになる。この連結ストリーム２３０を挿入する方法は従来技術として公知の方式である。
【００４６】
図２や図３の例のように、第１のストリーム２１０からフレームを削る場合は、第１のストリーム２１０の符号化条件によってはＧＯＰ（Group Of Pictures）内の特定のフレーム情報が失われることにより、映像が乱れることがある。この様な場合は、映像の乱れを防ぐ為に、フレームを削る対象となるＧＯＰについては、削除すべきフレームを除く残りのフレーム部分の再エンコードを行い、新たなＧＯＰを生成する。再エンコードした映像信号の各フレームに対応するパラメータ(top_field_first、repeat_first_field)は元々のパラメータを割り当てる。第１のストリーム２１０の再エンコードしていない部分のストリームに続けて、上述のように部分的に再エンコードしたＧＯＰストリームをつなぎ記録し、更に続けて第２のストリーム２２０をつなぎ記録することで、必要最小限の演算でパラメータの整合性を保ちながら、フリーズしないつなぎ記録が可能となる。
【００４７】
また、パラメータ(top_field_first、repeat_first_field)は４フレーム周期で繰り返されるので、第１のストリーム２１０、第２のストリーム２２０共に１ＧＯＰのフレーム数が４の倍数、且つＣｌｏｓｅｄ ＧＯＰのＧＯＰ構造をもつ２４フレーム／秒のストリームを扱う場合は、ＧＯＰの先頭フレームのパラメータを固定し、ＧＯＰ単位で記録の開始・終了を行うことで、第１のストリーム２１０を再エンコードすることなく、パラメータの整合性を保って、つなぎ記録ができるようになる。
【００４８】
図５は１ＧＯＰのフレーム数が１２フレームで、１フレーム目と２フレーム目のＢピクチャは３フレーム目のＩピクチャのみを参照するＣｌｏｓｅｄ ＧＯＰとなるＧＯＰ構造を持ち、１フレーム目のパラメータ(top_field_first、repeat_first_field)が（１、０）に固定されたストリームを示している。このようなストリームをＧＯＰ単位で記録の開始・終了を行う限り、パラメータの整合性を保つことができ、Ｃｌｏｓｅｄ ＧＯＰであるからＧＯＰ内で参照するピクチャが完結しており、ストリームの連結によって映像が乱れることはなく、再エンコードを必要としない。
【００４９】
図５において、Ｉは、その映像フレームのデータだけで独立して画面内の相関を用いて符号化する、すなわち、予測を行わないＩピクチャ (Intra Picture)を示し、Ｐは、前方向のフレームの情報を元に符号化する、すなわち、前方のＩピクチャ、またはＰピクチャを参照する前方予測だけ可能なＰピクチャ (Predictive Picture)を示し、前方向と後方向のフレームを元に符号化する、すなわち、双方向予測が可能なＢピクチャ (Bidirectionally Predictive Picture)を示している。１，２フレームのＢピクチャは３フレームのＩピクチャを参照した後方予測のみ行う場合は、Closed GOP(GOP内で参照するピクチャが完結)のＧＯＰ構造となる。
【００５０】
ここで、連結ストリーム生成部１０８では、処理を示す図６のフローチャートに示す手順にしたがって連結ストリーム２３０を生成する処理を行う。
【００５１】
すなわち、ステップＳ１では、上記つなぎ位置情報検出部１０６から供給される第１のストリーム２１０の末尾パラメータを取得する。
【００５２】
次のステップＳ２では、上記ストリーム情報検出部１０５から供給される第２のストリーム２２０の先頭パラメータを取得する。
【００５３】
次のステップＳ３では、末尾のパラメータと先頭のパラメータの連続性、すなわち位相の整合を判定する。
【００５４】
このステップＳ３における判定結果がＹＥＳ、すなわち、２−３プルダウンの位相が整合している場合には、そのまま処理を終了し、また、ステップＳ３における判定結果がＮＯ、すなわち、２−３プルダウンの位相が整合していない場合には、次のステップＳ４に進む。
【００５５】
ステップＳ４では、パラメータの整合性を保つために必要なピクチャ数を算出する。
【００５６】
次のステップＳ５では、上記ステップＳ４で算出したピクチャ数と制限するピクチャ数との関係を判別する。
【００５７】
このステップＳ５における判定結果がＹＥＳ、すなわち、先に述べたように、挿入する連結ストリームのピクチャ数を１に制限し、挿入する連結ストリームのピクチャ数が２以上必要だと判定した場合は、ステップＳ６に進み、２つのストリーム間におけるパラメータの連続性を維持するように、第１のストリーム２１０の末尾のフレームを削除して第２のストリーム２２０を続けて記録できるように、記録部１０３を制御する。また、ステップＳ５における判定結果がＮＯ、すなわち、挿入する連結ストリーム２３０のピクチャ数が１つ必要だと判定した場合は、ステップＳ７に進み、パラメータの連続性を保つ連結ストリーム２３０を生成し、第１のストリーム２１０の末尾に続けて記録する。
【００５８】
以上の説明では挿入する連結ストリーム２３０のピクチャ数を１に制限し、挿入する連結ストリーム２３０のピクチャ数が２以上必要だと判定した場合は、２つのストリーム間におけるパラメータの連続性を維持するように、第１のストリーム２１０の末尾のフレームを削除して第２のストリーム２２０を連結する方法を述べたが、制限するピクチャ数は０〜２の何れかとすることが望ましい。
【００５９】
制限するピクチャ数を０とした場合は、連結ストリーム２３０は生成しないので、連結ストリーム生成部１０８および切り替え部１１３、１１４が不要となり、より単純な構成に置き換えることができる。
【００６０】
これまでの説明からも十分に理解できるように、前後のストリームの位相が整合すると判断されたときには、第１のストリーム２１０の末尾のフレームを削除や、連結ストリーム２３０の生成・記録も行われない（図６のフローチャートにおけるステップＳ３がＮＯのときに相当する。）。
【００６１】
なお、上記画像処理装置１００では、上記ストリーム情報検出部１０５から供給される第２のストリーム２２０の先頭パラメータと上記つなぎ位置情報検出部１０６から供給される第１のストリーム２１０の末尾パラメータの連続性、すなわち２−３プルダウンの位相の整合を判定して、２−３プルダウンの位相が整合していない場合には、パラメータの連続性を保つように上記第１の映像符号化ストリーム２１０の末尾のフレームを削除、あるいは、パラメータの連続性を保つ連結ストリーム２３０を上記第１の映像符号化ストリーム２１０の後端位置と上記第２の映像符号化ストリーム２２０の先頭の間に挿入する処理を行うようにしたが、図７に示すように、２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、後からつなぎ記録するストリームの２−３プルダウンシーケンス情報のみを挿げ替えることで、再エンコードを行うことなく、ストリームの連続性を維持しつつ滑らかなつなぎ記録を行うようにすることもできる。
【００６２】
図８は、上述の実施形態における画像処理をパーソナルコンピュータ（ＰＣ）等の汎用情報処理装置上で実施する場合の構成を示している。
【００６３】
図８において、１は装置全体の制御を司るＣＰＵ、２はＢＩＯＳやブートプログラムを記憶しているＲＯＭ、３はワークエリアとして使用するＲＡＭである。４はＯＳ （Operating System）、並びに実施形態における圧縮符号化、並びに、ストリーム連結処理にかかるプログラム、更には、各ストリームを記憶保持する外部記憶装置（ハードディスク等）である。５は映画で用いるフィルム素材を順次読取る映像入力部である。映像入力部５としては２４フレーム／秒の映像を入力するものであれば良く、例えば、２４フレーム（４８フィールド）／秒で映像を撮像する撮像装置（或いは撮像手段）、又は、２４フレーム／秒の映画素材のフィルムを順次読取るフィルムスキャナ（各コマを２フィールドの映像データとして読取るものとするが、読取った後に２フィールドに変換するようにしてもよい）で良い。また、素材となるデータがネットワーク上に存在するのであればネットワークインタフェースと見ることもできる。
【００６４】
６は２−３プルダウン部であり、７は逆２−３プルダウン部であり、８はＭＰＥＧ符号化部である。なお、最近のＰＣでは、処理能力が非常に高くなってきているので、２−３プルダウン部６、逆２−３プルダウン部７、ＭＰＥＧ符号化部８に相当する処理をソフトウェア処理で実現しても良い。９は連結処理等の編集結果を出力する出力部である。出力部９としては、例えばＤＶＤレコーダ装置等を想定できるが、出力先はネットワーク上に存在するのであれば（例えばファイルサーバ等）であれば、この出力部９はネットワークインタフェースとなる。
【００６５】
かかる構成において、本装置１０に電源を投入し、ＯＳがＲＡＭ２にロードされ、実施形態におけるアプリケーションをＲＡＭ２にロードすることで、先に説明した図６に応じた処理を行い、外部記憶装置４（図１における記録媒体１０４に相当する）に記憶することになる。そして、ユーザの指示に従い、ＤＶＤメディアに書き込むことになる。なお、ハードディスクに一旦保存するのではなく、ダイレクトにＤＶＤ等の記憶媒体に保存するようにしても構わない。すなわち、連結されるストリームと連結するストリームと、連結後のストリームはそれぞれ別の記憶媒体であっても構わない。
【００６６】
また、図１では、映像信号入力端子１０１よりフィルム素材の２４フレーム／秒の映像ストリームを入力するものとしたが、連結しようとする２つのストリームが、共に外部記憶装置４に記憶されていても構わない。すなわち、既に２−３プルダウン処理され、ＭＰＥＧ符号化された画像同士を連結する限り本実施形態は有効に作用する。
【００６７】
また、実施形態における記録媒体１０４が上記のように、ハードディスク等のランダムアクセス可能な記憶媒体であるとき、そこには複数の符号化済みストリームデータが存在することになる。従って、記録媒体に記録された複数のストリーム中の２つを指定する手段、或いは、外部から入力し符号化されたデータを連結する対象となる１つを指定する手段を備えることになる。また、３つ以上のストリームを連結する場合には、基本的に２つのストリームを連結する処理を繰り返しになるだけであるので、その順序を指定する手段を備えれば十分である。
【００６８】
また、記録媒体１０４が磁気テープのようにシーケンシャルアクセスのものであれば、かかる指定する手段は不要になる。
【００６９】
さらにまた、図１の構成をビデオカメラ等の撮像装置に適用する場合、既に記憶されたストリームに新たに撮像して得たストリームをつなげて記録するか、或いは新たなストリームとして独立して記録するかを指示するボタン等の指示手段を有することが望ましい。
【００７０】
＜第２の実施形態＞
続いて第２の実施形態を説明する。図９はそのブロック図である。
【００７１】
上記第１の実施形態と異なる点は、図１に示した画像処理装置１００における映像信号入力部１０１および符号化部１０２の代わりに、ストリーム入力部５０１を具備する。他のブロックは画像処理装置１００と同様であるので、同一番号を付して、その詳細な説明を省略する。すなわち、本構成による画像処理装置２００は、符号化部を持たず、既に符号化されたストリームどうしを連結するものである。本構成も上述した手順に従い、つなぎ部のパラメータの繰り返し位相を維持する滑らかなつなぎを実現できる。
【００７２】
以上第１及び第２の実施形態を説明したが、先に説明したように、実施形態における機能実現手段は、映像入力手段（撮像手段）を有する撮像装置に限らず、パーソナルコンピュータ等の汎用情報処理装置でもって実現できることは明らかである。すなわち、本発明はコンピュータ用のユーティリティアプリケーションプログラムをもその範疇とする。また、通常、コンピュータプログラムは、ＣＤＲＯＭ等のコンピュータ可読記憶媒体に記憶され、それをコンピュータにセットし、システムにコピーもしくはインストールすることで実行可能となるわけであるから、かかるコンピュータ可読記憶媒体をもその範疇とするのは明らかである。
【図面の簡単な説明】
【００７３】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】上記画像処理装置におけるつなぎ記録による２−３プルダウンされた出力でのつなぎ位置においてパラメータの位相に不整合が生じてしまう可能性を模式的に示す図である。
【図３】２−３プルダウンされた出力でのつなぎ位置においてパラメータの連続性を維持するようにした例を模式的に示す図である。
【図４】２−３プルダウンされた出力でのつなぎ位置においてパラメータの連続性を維持するようにした他の例を模式的に示す図である。
【図５】ＧＯＰのフレーム数が１２フレームで、１フレーム目と２フレーム目のＢピクチャは３フレーム目のＩピクチャのみを参照するＣｌｏｓｅｄ ＧＯＰとなるＧＯＰ構造を持ち、１フレーム目のパラメータ(top_field_first、repeat_first_field)が（１、０）に固定されたストリームを示す図である。
【図６】上記画像処理装置における連結ストリーム生成部で実行される連結ストリームを生成する処理の手順を示すフローチャートである。
【図７】２つの映像符号化ストリームを連結する際に、それらの間の位相情報の周期性を維持するように、後からつなぎ記録するストリームの２−３プルダウンシーケンス情報のみを挿げ替えることで、ストリームの連続性を維持する例を模式的に示す図である。
【図８】画像処理をパーソナルコンピュータ（ＰＣ）等の汎用情報処理装置上で実施する場合の構成を示すブロック図である。
【図９】本発明を適用した画像処理装置の他の構成例を示すブロック図である。
【図１０】従来技術を組み合わせて構成された２−３プルダウン機能を有する画像処理装置の構成を示すブロック図である。
【図１１】上記画像処理装置における２−３プルダウン部の処理を模式的に示す図である。
【符号の説明】
【００７４】
１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ 外部記憶装置、５ 映像入力部、６ ２−３プルダウン部、７ 逆２−３プルダウン部、８ ＭＰＥＧ符号化部、９ 出力部、１０ 画像処理装置、１００ 画像処理装置、１０１ 映像信号入力端子、１０２ 符号化部、１０３ 記録部、１０４ 記録媒体、１０５ ストリーム情報検出部、１０６ 位置情報検出部、１０７ パラメータ情報判定部、１０８ 連結ストリーム生成部、１０９ つなぎ位置制御部、１１０ ２−３プルダウン部、１１１ 逆２−３プルダウン部、１１２ ＭＰＥＧ部、１１３ 切り替え部、１１４ 切り替え部、２００ 画像処理装置、２１０ 第１のストリーム、２２０ 第２のストリーム、２３０ 連結ストリーム、５０１ ストリーム入力部
【特許請求の範囲】
【請求項１】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出する第１の検出手段と、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出する第２の検出手段と、
上記第１、第２の検出手段で検出した第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行う判断手段と、
上記判断手段における閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する生成手段を備え、
上記生成手段で生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする画像処理装置。
【請求項２】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理方法であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出し、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行い、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成し、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする画像処理方法。
【請求項３】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムであって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有することを特徴とする画像処理プログラム。
【請求項４】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムを記憶したプログラム記憶媒体であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有する画像処理プログラムをコンピュータにより読み取り実行可能に記憶したことを特徴とするプログラム記憶媒体。
【請求項１】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理装置であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出する第１の検出手段と、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出する第２の検出手段と、
上記第１、第２の検出手段で検出した第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行う判断手段と、
上記判断手段における閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成する生成手段を備え、
上記生成手段で生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする画像処理装置。
【請求項２】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理方法であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出し、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出し、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行い、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成し、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うことを特徴とする画像処理方法。
【請求項３】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムであって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有することを特徴とする画像処理プログラム。
【請求項４】
１秒当たり所定フレームの動画像データの各フレームから、２フィールドと３フィールドの位相情報を周期的に生成し、付加して圧縮符号化した映像符号化ストリームデータを処理する画像処理をコンピュータにより実行する画像処理プログラムを記憶したプログラム記憶媒体であって、
あらかじめ記録された第１の映像符号化ストリームの後端のピクチャデータの位相情報を検出するステップと、
上記第１の映像符号化ストリームにつなげて記録すべき第２の映像符号化ストリームの先頭のピクチャデータの位相情報を検出するステップと、
検出した上記第１、第２の映像符号化ストリーム間の位相情報の整合性を判断し、整合していない場合、整合性を保つ為の条件にフレーム数で与えられる閾値を設け、閾値による判断を行うステップと、
上記閾値による判断結果により、一方は周期性を維持するように、上記第１の映像符号化ストリームの末尾のフレームを削除して、上記第２の映像符号化ストリームをつなぎ記録する処理を行い、もう一方は、周期性を維持するためのダミーストリームを生成するステップと、
生成されたダミーストリームを上記第１の映像符号化ストリームの後端位置と上記第２の映像符号化ストリームの先頭の間に挿入する処理を行うステップと有する画像処理プログラムをコンピュータにより読み取り実行可能に記憶したことを特徴とするプログラム記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−１８９３４７（Ｐ２００７−１８９３４７Ａ）
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００６−４００３（Ｐ２００６−４００３）
【出願日】平成１８年１月１１日（２００６．１．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願日】平成１８年１月１１日（２００６．１．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]