動画像符号化装置および方法、並びに動画像復号化装置および方法
【課題】立体動画像に対する画像処理を効率良く行う。
【解決手段】動画像種別判定部が、入力された動画像がステレオ画像か否かを判定し(S1001)、当該動画像がステレオ画像であれば、ステレオ画像識別子は「１」とされ(S1002)、動画像回転部が当該動画像を右に＋９０°または−９０°回転させる(S1004)。一方、動画像がステレオ画像でなければ、ステレオ画像識別子は「０」とされ(S1003)、動画像の回転は行われない。そして、動画像インターレース符号化部は動画像のインターレース符号化を行うことで符号化ビットストリームを作成し(S1005)、ステレオ画像識別子符号化部はステレオ画像識別子の符号化を行うことで符号化情報を作成する(S1006)。さらに、多重化部は上記符号化ビットストリームと符号化情報とを多重化することで多重化符号化ビットストリームを作成する(S1007)。
【解決手段】動画像種別判定部が、入力された動画像がステレオ画像か否かを判定し(S1001)、当該動画像がステレオ画像であれば、ステレオ画像識別子は「１」とされ(S1002)、動画像回転部が当該動画像を右に＋９０°または−９０°回転させる(S1004)。一方、動画像がステレオ画像でなければ、ステレオ画像識別子は「０」とされ(S1003)、動画像の回転は行われない。そして、動画像インターレース符号化部は動画像のインターレース符号化を行うことで符号化ビットストリームを作成し(S1005)、ステレオ画像識別子符号化部はステレオ画像識別子の符号化を行うことで符号化情報を作成する(S1006)。さらに、多重化部は上記符号化ビットストリームと符号化情報とを多重化することで多重化符号化ビットストリームを作成する(S1007)。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆる右目画像（右眼用画像ともいう）と、いわゆる左目画像（左眼用画像ともいう）を縦１列ごとに交互に並べた動画像（いわゆるステレオ動画像）、および奇数行画像と偶数行画像を横１行ごとに交互に並べた動画像（いわゆるインターレース動画像）を符号化する動画像符号化装置および方法、並びに、上記ステレオ動画像およびインターレース動画像を復号化する動画像復号化装置および方法に関する。
【０００２】
なお、「左フィールド画像」とは、右目画像と左目画像とを縦１列ごとに交互に並べられたステレオ動画像において、左目画像のみを抽出して得られる画像を意味し、「右フィールド画像」とは、上記のステレオ動画像において、右目画像のみを抽出して得られる画像を意味する。
【背景技術】
【０００３】
立体動画像表示装置の一つとして、図１に示すような多数の画像配列から成るフィルター１０を具備した液晶ディスプレイ１１の前面に、多数の孔が開設されたスリット板１２を配置した構成のパララックスバリア方式の立体映像表示装置が知られている。この立体映像表示装置は、視聴者の左目１３からはフィルター上の左目画像Ｌのみが見え、視聴者の右目１４からはフィルター上の右目画像Ｒのみが見えるように構成されているため、視聴者は立体動画像を視認することができる。なお、図１のスリット板１２に代えて、レンチキュラー板を配置した構成の立体映像表示装置も知られている。
【０００４】
また、他の立体動画像符号化方式としては、例えば下記の特許文献１に開示された「立体映像伝送方法及び装置」が知られている。この技術では、図２（ａ）に示す縦１列ごとに交互に左目画像と右目画像が配置された立体画像に対し、まず図２（ｂ）に示すように画像の左半分に左目画像を、右半分に右目画像を集めて再配置することで変換画像を作成する。次に、作成された変換画像に対し、動画像符号化、符号化データの送信、符号化データの受信、動画像復号化といった処理が行われる。その後、復号化された変換画像の画素配置を、再度、縦１列ごとに交互に左目画像と右目画像を配置し直して、入力信号である立体画像と同じ画像を再現する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１８１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体画像では、近くの物体は左目画像と右目画像との視差が大きいが、遠くの物体は左目画像と右目画像との視差はほとんどない。そのため、特に遠くの物体を示すブロックにおいて、左目画像と右目画像との相関性を利用することにより、データ圧縮効率を向上させることができる。
【０００７】
ところが、上記の従来技術では、変換画像において、左半分に左目画像を、右半分に右目画像を配置しているため、動画像符号化を行う場合、左目画像と右目画像との相関性を利用できず、データ圧縮効率を向上させることができない、という課題がある。
【０００８】
また、変換画像において、一度、左半分に左目画像を、右半分に右目画像を配置して符号化するため、前述したパララックスバリア方式の立体動画像表示装置で表示する場合には、復号化処理後の画像の画素配置を変更することで、再度、左目画像と右目画像とを縦１列ごとに交互に配置し直す必要がある。このため、処理の効率化が困難であるという課題がある。
【０００９】
本発明は、上記課題を解決するために成されたものであり、立体動画像に対する画像処理を効率良く行うことができる動画像符号化装置および方法、並びに動画像復号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の動画像符号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定部と、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転部と、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化部と、符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化部と、前記動画像インターレース符号化部によるインターレース符号化で得られた符号化ビットストリームと、前記ステレオ画像識別子符号化部による符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化部とを備えることを特徴とする。
【００１１】
なお、上記の動画像種別判定部は、入力された画像信号に基づいて、符号化対象の動画像がステレオ動画像であるか否かを判定してもよいし、予め定めた規則に従って符号化対象の動画像がステレオ動画像であるか否かを判定してもよい。
【００１２】
また、上記の動画像回転部は、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、例えば、当該動画像を右に＋９０°回転させてもよいし、当該動画像を右に−９０°回転させてもよい。
【００１３】
このとき、前記ステレオ画像識別子符号化部は、前記動画像回転部によって符号化対象の動画像に対し行われた回転に関する情報を、ステレオ画像識別子に含めて符号化することが望ましい。
【００１４】
また、上記目的を達成するために、本発明の動画像復号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離部と、分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化部と、分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化部と、前記動画像インターレース復号化部によるインターレース復号化で得られた動画像信号に対し、前記ステレオ画像識別子復号化部による復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御部とを備えることを特徴とする。
【００１５】
このとき、前記処理制御部は、復号化で得られたステレオ画像識別子に含まれる回転に関する情報に基づいて、動画像が復元されるように前記動画像信号に対し画像処理を行うことが望ましい。
【００１６】
上記の動画像符号化装置および動画像復号化装置によれば、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させ、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化することで、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００１７】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００１８】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【００１９】
上記目的を達成するために、本発明の動画像符号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部とを備えることを特徴とする。
【００２０】
このとき、前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することが望ましい。
【００２１】
またこのとき、前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。
【００２２】
またこのとき、前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。
【００２３】
またこのとき、前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことが望ましい。
【００２４】
またこのとき、前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことが望ましい。
【００２５】
また、上記目的を達成するために、本発明の動画像復号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部とを備えることを特徴とする。
【００２６】
このとき、前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することが望ましい。
【００２７】
またこのとき、前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。
【００２８】
またこのとき、前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。
【００２９】
またこのとき、前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことが望ましい。
【００３０】
上記の動画像符号化装置および動画像復号化装置によれば、少なくとも動画像の種別および選択された予測モードに基づく符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００３１】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００３２】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【００３３】
以上のような動画像符号化装置および動画像復号化装置に係る発明は、以下のような動画像符号化方法および動画像復号化方法に係る発明として捉えることができ、同様の効果を得ることができる。
【００３４】
即ち、本発明に係る動画像符号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定ステップと、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転ステップと、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化ステップと、符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化ステップと、前記インターレース符号化で得られた符号化ビットストリームと、前記符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化ステップとを有することを特徴とする。
【００３５】
また、本発明に係る動画像復号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離ステップと、分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化ステップと、分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化ステップと、前記インターレース復号化で得られた動画像信号に対し、前記復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御ステップとを有することを特徴とする。
【００３６】
本発明に係る動画像符号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップとを有することを特徴とする。
【００３７】
また、本発明に係る動画像復号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップとを有することを特徴とする。
【発明の効果】
【００３８】
本発明によれば、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００３９】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００４０】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【図面の簡単な説明】
【００４１】
【図１】パララックスバリア方式による立体映像表示の原理を説明する図である。
【図２】従来の立体動画像符号化方式を示す図である。
【図３】第１実施形態における動画像符号化装置を示す図である。
【図４】（ａ）はステレオ画像の画素配置を、（ｂ）はインターレース画像の画素配置を示す図である。
【図５】（ａ）はステレオ画像の画素配置を、（ｂ）はステレオ画像を右に＋９０°回転したときの画素配置を、（ｃ）はステレオ画像を右に−９０°回転したときの画素配置を示す図である。
【図６】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図７】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図８】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図９】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図１０】第１実施形態における動画像符号化装置の動作を示すフローチャートである。
【図１１】第１実施形態における動画像復号化装置を示す図である。
【図１２】（ａ）はスイッチ１１０４から送られた動画像信号の一つの画素配置を、（ｂ）はスイッチ１１０４から送られた動画像信号のもう一つの画素配置を、（ｃ）は（ａ）を左に＋９０°または（ｂ）を左に−９０°回転したときの画素配置を示す図である。
【図１３】第１実施形態における動画像復号化装置の動作を示すフローチャートである。
【図１４】第２実施形態における動画像符号化装置を示す図である。
【図１５】（ａ）はステレオ画像のフレーム画像を、（ｂ）はステレオ画像の左フィールド画像を、（ｃ）はステレオ画像の右フィールド画像を示す図である。
【図１６】（ａ）はインターレース画像のフレーム画像を、（ｂ）はインターレース画像の上フィールド画像を、（ｃ）はインターレース画像の下フィールド画像を示す図である。
【図１７】（ａ）はステレオ画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はステレオ画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。
【図１８】（ａ）はインターレース画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はインターレース画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。
【図１９】（ａ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。
【図２０】（ａ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。
【図２１】第２実施形態における動画像復号化装置を示す図である。
【図２２】第１実施形態に係る動画像符号化プログラムの構成を示す図である。
【図２３】第１実施形態に係る動画像復号化プログラムの構成を示す図である。
【図２４】第２実施形態に係る動画像符号化プログラムの構成を示す図である。
【図２５】第２実施形態に係る動画像復号化プログラムの構成を示す図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しながら、本発明の実施形態に係る動画像符号化装置および方法、並びに動画像復号化装置および方法を説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００４３】
［第1実施形態］
（動画像符号化装置の構成）
まず、図３を用いて、本実施形態に係る動画像符号化装置を説明する。本実施形態に係る動画像符号化装置３０は、その機能的な構成要素として、動画像種別判定部３０１と、スイッチ３０２と、動画像回転部３０３と、スイッチ３０４と、動画像インターレース符号化部３０５と、ステレオ画像識別子符号化部３０６と、多重化部３０７とを備えて構成される。
【００４４】
動画像種別判定部３０１は、入力された動画像信号３０８を受信し、受信した動画像の種別を判定する。受信した動画像が、図４（ａ）のように縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像であるという情報（例えば「１」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。一方、受信した動画像が、図４（ｂ）のように横１行ごとに交互に奇数行画像と偶数行画像とが配置されたインターレース画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像でないという情報（例えば「０」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。また、動画像種別判定部３０１は、受信した動画像信号３０９をスイッチ３０２に送る。なお、上記の図４は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００４５】
動画像種別判定部３０１での画像種別の判定は、例えば、入力画像に付加された画像種別に関する情報を検出し、検出した情報に基づいて行うことができる。また、動画像種別判定部３０１での画像種別の判定は、符号化前に外部から与えられた設定ファイル等の画像種別に関する情報に基づいて行っても良い。
【００４６】
また、動画像種別判定部３０１での画像種別の判定は、以下のように、入力された画像の輝度値の関係を解析した結果を基に行っても良い。例えば、入力された画像を縦１列ごとに交互に分離して左フィールド画像と右フィールド画像を作成し、それらの分離した各フィールド画像の横方向の輝度値の相関が、分離前のフレーム画像の横方向の輝度値の相関に比べて高い場合、入力された画像をステレオ画像と判定しても良い。また、例えば、入力された画像を横１列ごとに交互に分離して上フィールド画像と下フィールド画像を作成し、それらの分離した各フィールド画像の縦方向の輝度値の相関が、分離前のフレーム画像の縦方向の輝度値の相関に比べて高い場合、入力された画像をインターレース画像と判定しても良い。
【００４７】
なお、画像種別の判定法は、上記例示した方法に限定されるものではない。
【００４８】
スイッチ３０２は、動画像種別判定部３０１から送られた動画像信号３０９と、ステレオ画像識別子３１０を受信し、ステレオ画像識別子が１の場合は、動画像信号３０９を動画像回転部３０３に送り、ステレオ画像識別子が０の場合は、動画像信号３０９をスイッチ３０４に送る。
【００４９】
動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、動画像信号３０９により表される動画像を右に＋９０°回転して、インターレース動画像と同様に横１行ごとに交互に右目画像と左目画像が配置された動画像を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送る。
【００５０】
図５は、動画像回転部３０３によってステレオ動画像を右に＋９０°回転した例を示し、このうち図５（ａ）はスイッチ３０２から送られた動画像信号３０９により表される動画像を示し、図５（ｂ）は図５（ａ）の動画像を右に＋９０°回転した動画像を示す。なお、上記の図５は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００５１】
スイッチ３０４は動画像種別判定部３０１から送られたステレオ画像識別子３１０を基に、動画像回転部３０３から送られた動画像信号３１１、およびスイッチ３０２から送られた動画像信号３０９のうち一方を選択する。即ち、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。
【００５２】
動画像インターレース符号化部３０５は、スイッチ３０４から送られた動画像信号３１２を受けて動画像のインターレース符号化を行うことで符号化ビットストリーム３１３を作成する。そして、動画像インターレース符号化部３０５は、作成された符号化ビットストリーム３１３を多重化部３０７へ送る。なお、動画像インターレース符号化部３０５で使用するインターレース符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式（Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, “Editor’s Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec.H.264|ISO/IEC 14496-10 AVC), Geneva modifications draft 37”を参照）が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、インターレース画像の符号化に対応するあらゆる方式の符号化法を適用することができる。
【００５３】
ステレオ画像識別子符号化部３０６は、動画像種別判定部３０１から送られたステレオ画像識別子３１０を符号化し、符号化で得られた符号３１４を多重化部３０７へ送る。
【００５４】
多重化部３０７は、動画像インターレース符号化部３０５から送られた符号化ビットストリーム３１３と、ステレオ画像識別子符号化部３０６から送られたステレオ画像識別子の符号３１４とを多重化し、多重化で得られたビットストリームを多重化符号化ビットストリーム３１５として外部へ伝送する。
【００５５】
図６〜図９は、外部へ伝送する多重化符号化ビットストリーム３１５の例を示したものである。
【００５６】
多重化符号化ビットストリーム３１５は、各シーケンスの先頭を表す同期信号の後に、動画像全体に関する符号化情報（シーケンスヘッダ）、動画像の各フレームに関する符号化情報（フレームヘッダ）、動画像の符号化単位であるマクロブロックを何個か合わせた各スライスに関する符号化情報（スライスヘッダ）、動画像の各マクロブロックに関する符号化情報（マクロブロックヘッダ）、およびマクロブロックごとの符号化情報が多重化されて構成される。
【００５７】
入力された動画像の種別に関する情報であるステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。
【００５８】
なお、動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、図５（ａ）に示す動画像信号３０９により表される動画像を右に−９０°回転（即ち、左に＋９０°回転）して、インターレース動画像と同様に横１行ごとに交互に左目画像と右目画像が配置された動画像（図５（ｃ）参照）を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送っても良い。
【００５９】
動画像回転部３０３が、スイッチ３０２から送られた動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかは、予め決定された回転方法に従う。
【００６０】
また、動画像回転部３０３が動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかを示す情報は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５で送信しても良い。例えば、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に＋９０°回転して動画像信号３１１に変換する場合は符号「１０」を、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に−９０°回転して動画像信号３１１に変換する場合は符号「１１」を、ステレオ画像識別子が０の場合は符号「０」を、それぞれ動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化部３０７で多重化して、多重化符号化ビットストリーム３１５として伝送しても良い。
【００６１】
（動画像符号化装置の動作）
次に、図１０を用いて、本発明における動画像符号化装置３０の動作を説明する。
【００６２】
まず、動画像種別判定部３０１が、入力された動画像の画像種別判定として、当該動画像がステレオ画像であるか否かを判定する（ステップＳ１００１）。ここで、入力された動画像がステレオ画像であった場合、動画像種別判定部３０１はステレオ画像識別子を「１」とし（ステップＳ１００２）、動画像回転部３０３は予め決定された回転方法に従って、入力された動画像を右に＋９０°または−９０°回転させる（ステップＳ１００４）。一方、入力された動画像がステレオ画像でなかった場合、動画像種別判定部３０１はステレオ画像識別子を「０」とする（ステップＳ１００３）。
【００６３】
前述したように、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。
【００６４】
動画像信号３１２を受信した動画像インターレース符号化部３０５は、動画像のインターレース符号化を行い（ステップＳ１００５）、符号化ビットストリーム３１３を作成する。また、ステレオ画像識別子符号化部３０６は、ステレオ画像識別子の符号化を行い（ステップＳ１００６）、符号化情報３１４を作成する。
【００６５】
最後に、多重化部３０７は、符号化ビットストリーム３１３と符号化情報３１４とを多重化して多重化符号化ビットストリーム３１５を作成し（ステップＳ１００７）、図１０の処理を終了する。
【００６６】
（動画像復号化装置の構成）
次に、図１１を用いて、本発明に係る動画像復号化装置を説明する。本発明に係る動画像復号化装置１１０は、その機能的な構成要素として、分離部１１０１と、動画像インターレース復号化部１１０２と、ステレオ画像識別子復号化部１１０３と、スイッチ１１０４と、動画像逆回転部１１０５と、スイッチ１１０６とを備えて構成される。
【００６７】
分離部１１０１は、入力された多重化符号化ビットストリーム３１５を、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離し、符号化ビットストリーム１１０７を動画像インターレース復号化部１１０２に、ステレオ画像識別子の符号１１０８をステレオ画像識別子復号化部１１０３に、それぞれ送る。
【００６８】
動画像インターレース復号化部１１０２は、分離部１１０１から送られた動画像の符号化ビットストリームに対し復号化を行うことで動画像信号１１０９を得る。そして、動画像インターレース復号化部１１０２は、復号化で得られた動画像信号１１０９をスイッチ１１０４に送る。なお、動画像インターレース復号化部１１０２で使用するインターレース復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、Ｈ．２６４／ＡＶＣ復号化方式に限らず、インターレース画像の復号化に対応するあらゆる方式の復号化法を適用することができる。
【００６９】
ステレオ画像識別子復号化部１１０３は、分離部１１０１から送られたステレオ画像識別子の符号１１０８に対し復号化を行い、復号化されたステレオ画像識別子１１１０をスイッチ１１０４およびスイッチ１１０６に送る。
【００７０】
スイッチ１１０４は、動画像インターレース復号化部１１０２から送られた動画像信号１１０９と、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０とを受信し、ステレオ画像識別子が１の場合は、動画像信号１１０９を動画像逆回転部１１０５に送り、ステレオ画像識別子が０の場合は、動画像信号１１０９をスイッチ１１０６に送る。
【００７１】
動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ａ）に示す動画像信号１１０９で表される動画像を左に＋９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に右目画像と左目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送る。この動画像逆回転部１１０５は、特許請求の範囲に記載した「処理制御部」に対応する。なお、上記の図１２は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００７２】
スイッチ１１０６は、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０を基に、動画像逆回転部１１０５から送られた動画像信号１１１１およびスイッチ１１０４から送られた動画像信号１１０９のうち一方を選択する。即ち、スイッチ１１０６は、ステレオ画像識別子１１１０が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択した動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力し、入力映像信号を再生する。
【００７３】
なお、動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ｂ）に示す動画像信号１１０９により表される動画像を左に−９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に左目画像と右目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送っても良い。
【００７４】
動画像逆回転部１１０５が、スイッチ１１０４から送られた動画像信号１１０９を受信し、動画像信号１１０９により表される動画像を左に＋９０°回転するか−９０°回転するかは、予め決定された回転方法に従う。
【００７５】
また、動画像逆回転部１１０５が動画像信号１１０９を、左に＋９０°回転するか−９０°回転するかの処理は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５に含まれた符号に基づいて行っても良い。例えば、以下のような処理を行ってもよい。多重化符号化ビットストリーム３１５の動画像の符号化に関する符号が「１０」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に＋９０°回転する。上記符号が「１１」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に−９０°回転する。上記符号が「０」の場合は、ステレオ画像識別子を０とする。
【００７６】
（動画像復号化装置の動作）
次に、図１３を用いて、本発明における動画像復号化装置１１０の動作を説明する。
【００７７】
まず、分離部１１０１が、入力された多重化符号化ビットストリームを受信し、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離する（ステップＳ１３０１）。
【００７８】
次に、動画像インターレース復号化部１１０２が、動画像の符号化ビットストリーム１１０７を復号化することで動画像信号１１０９を復元する（ステップＳ１３０２）。次に、ステレオ画像識別子復号化部１１０３が、ステレオ画像識別子の符号１１０８を復号化することでステレオ画像識別子１１１０を復元する（ステップＳ１３０３）。
【００７９】
次に、ステレオ画像識別子が１であるか否かを判定し（ステップＳ１３０４）、ステレオ画像識別子が１であった場合、動画像逆回転部１１０５が上記復元された動画像信号１１０９を左に＋９０°または−９０°回転する（ステップＳ１３０５）。一方、ステレオ画像識別子が１でなかった場合は、ステップＳ１３０５の回転処理をスキップして、後述のステップＳ１３０６へ進む。
【００８０】
最後に、スイッチ１１０６は、ステレオ画像識別子が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択された動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力する（ステップＳ１３０６）。
【００８１】
以上述べた第１実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号を＋９０°または−９０°回転してインターレース画像と同様の画素配置にした後、インターレース符号化することで、左目画像と右目画像との相関性を利用して、データ圧縮の効率を向上させることができる。
【００８２】
また、動画像回転部３０３でステレオ画像を＋９０°または−９０°回転させてインターレース画像と同様の画素配置にしてインターレース符号化し、動画像逆回転部１１０５で復号画像を＋９０°または−９０°逆回転させてステレオ画像に復元することで、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００８３】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。
【００８４】
なお、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれフレーム単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８５】
また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれスライス単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８６】
また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれマクロブロック単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８７】
上記では、右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転という例を示したが、回転角度はこれらに限定されるものではなく、動画像における縦方向が横方向に変わるように回転させればよい。例えば、右に＋２７０°または−２７０°回転、および左に＋２７０°または−２７０°回転という回転パターンを採用してもよい。
【００８８】
また、上記では、動画像信号を、動画像回転部３０３により所定方向に回転させ、動画像逆回転部１１０５により当該所定方向とは逆方向に回転させる（即ち、逆回転させる）例を示したが、これに限定されるものではなく、動画像逆回転部１１０５により当該所定方向と同じ方向に回転させることで、元の動画像信号を復元してもよい。例えば、動画像信号を、動画像回転部３０３により右に＋９０°回転させ、動画像逆回転部１１０５により右に＋２７０°回転させることで、元の動画像信号を復元してもよい。
【００８９】
［第２実施形態］
（動画像符号化装置の構成）
まず、図１４を用いて、本発明に係る動画像符号化装置１４０について説明する。以下に説明する動画像符号化装置１４０は、Ｈ．２６４／ＡＶＣ符号化方式に準拠した符号化装置である。
【００９０】
ここで、動画像符号化装置１４０に入力される動画像信号としての入力映像信号は、右目画像と左目画像とを縦１列ごとに交互に並べたステレオ動画像、または奇数行画像と偶数行画像とを横１行ごとに交互に並べたインターレース動画像を表す動画像信号である。本実施形態では、入力された動画像信号により表される画像は、１６画素×１６ライン固定の正方矩形領域であるマクロブロックに分割され、マクロブロック単位で以下の符号化処理が行われる。
【００９１】
動画像符号化装置１４０は、図１４に示すように、機能的な構成要素として、動画像種別判定部１４０１と、ステレオ／インターレース動き検出部１４０２と、ステレオ／インターレース動き補償部１４０３と、フレームメモリ１４０４と、ステレオ／インターレース空間予測部１４０５と、スイッチ１４０６と、減算器１４０７と、ステレオ／インターレース直交変換部１４０８と、量子化部１４０９と、可変長符号化部１４１０と、逆量子化部１４１１と、ステレオ／インターレース逆直交変換部１４１２と、加算器１４１３とを備えて構成される。以下、各構成要素について説明する。
【００９２】
動画像種別判定部１４０１は、符号化対象の動画像を表す外部から入力された動画像信号としての入力映像信号１４２１を受信した後、入力映像信号１４２１により表される画像（以下「入力画像」という）をマクロブロックに分割し、マクロブロック単位で減算器１４０７およびステレオ／インターレース動き検出部１４０２に対し、それぞれ入力画像信号１４２２、１４２３を送る。また、動画像種別判定部１４０１は、入力画像がステレオ画像であるか否かを判定し、ステレオ画像である場合、画像の種別に関する情報であるステレオ画像識別子を「１」とし、ステレオ画像でない場合、上記ステレオ画像識別子を「０」とする。そして、動画像種別判定部１４０１は、動画像全体での符号化に関する情報（シーケンス情報）、各フレーム画像単位での符号化に関する情報（フレーム情報）、１個以上のマクロブロックをまとめた各スライス単位での符号化に関する情報（スライス情報）、および各マクロブロック単位での符号化に関する情報（マクロブロック情報）とともに、上記ステレオ画像識別子の情報を信号１４４０としてステレオ／インターレース動き検出部１４０２と可変長符号化部１４１０へ送る。なお、上記ステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。
【００９３】
フレームメモリ１４０４は、過去に符号化済みのフレーム画像信号を記憶しておく部分である。
【００９４】
ステレオ／インターレース動き検出部１４０２は、動画像種別判定部１４０１から送られた画像の種別に関する情報、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を合わせた信号１４４０を基に、予測モードの選択と動きベクトルの検出を行う部分である。Ｈ．２６４／ＡＶＣ符号化方式では、マクロブロックごとに、予測モードとして、入力された映像信号と時間的に異なる複数の符号化済みフレーム画像信号を参照して予測を行う複数のフレーム間予測モードと、同一空間上の符号化済みである近傍の画素値を用いて空間予測を行う複数のフレーム内予測モードとが用意されている。具体的には、動き検出部１４０２は、予測モードとしてフレーム間予測モードを選択した場合、参照画像信号１４２４および隣接ブロックの動きベクトル１４４２を用いて、予めフレームメモリ１４０４に蓄積されている複数の符号化済み画像の中から所定の探索範囲内で、符号化対象領域の画像信号パターンに類似する画像信号パターンを探し出す。そして、符号化対象領域の画像信号パターンと、当該類似する画像信号パターンとの間の空間的な変位量である動きベクトルを検出する。
【００９５】
より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（即ち、ステレオ画像識別子が「１」にセットされている場合）に、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。
【００９６】
また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（即ち、ステレオ画像識別子が「０」にセットされている場合）に、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。
【００９７】
ステレオ／インターレース動き検出部１４０２は、検出された動きベクトルと、符号化済みの隣接ブロックの動きベクトル１４４２から算出される最適予測動きベクトル（動きベクトル予測値）との差分情報である動きベクトル差分値と、動きベクトルの検出に用いた参照フレーム画像信号を示す参照フレーム番号と、選択された予測モードとを含む信号１４２５を可変長符号化部１４１０へ送る。同時に、動き検出部１４０２は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号１４２６をステレオ／インターレース動き補償部１４０３に送る。
【００９８】
また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム間予測かフィールド画像でのフレーム間予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４４１を、ステレオ／インターレース動き補償部１４０３と、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２とに送る。
【００９９】
ステレオ／インターレース動き補償部１４０３は、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成しスイッチ１４０６に送る。
【０１００】
より詳細には、ステレオ／インターレース動き補償部１４０３は、上記の信号１４４１を基に、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成する。
【０１０１】
入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて動き補償を行った後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４２７を作成する。
【０１０２】
入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて動き補償を行った後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４２７を作成する。
【０１０３】
一方、ステレオ／インターレース動き検出部１４０２は、予測モードとして「フレーム内予測モード」を選択した場合、同一画像上の符号化済みである近傍のブロックの画素値を用いた空間予測を行い、予測モードを含む信号１４２５を可変長符号化部１４１０へ送る。この場合、ステレオ／インターレース動き検出部１４０２は、時間的な動きに関する情報である動きベクトル差分値および参照フレーム番号の信号を可変長符号化部１４１０へ送信する処理は行わない。また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム内予測かフィールド画像でのフレーム内予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４２８を、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２と、ステレオ／インターレース空間予測部１４０５とに送る。
【０１０４】
より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（ステレオ画像識別子が「１」の場合）、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。
【０１０５】
また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（ステレオ画像識別子が「０」の場合）、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。
【０１０６】
ステレオ／インターレース空間予測部１４０５は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８を基に、フレームメモリ１４０４中の符号化済みである近傍のブロックの画像信号（参照画像信号１４２９）を参照して、各マクロブロックの予測画像信号１４３０を生成し、スイッチ１４０６に送る。
【０１０７】
このとき、入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて空間予測した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４３０を作成する。
【０１０８】
一方、入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて空間予測した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４３０を作成する。
【０１０９】
スイッチ１４０６は、ステレオ／インターレース動き検出部１４０２から送られた予測モード１４３１に応じて、予測画像信号１４２７と予測画像信号１４３０のうちいずれかを選択し、選択した予測画像信号１４３２を減算器１４０７に送る。
【０１１０】
減算器１４０７は、入力画像信号１４２２と予測画像信号１４３２との差分値（予測残差信号１４３３）を生成し、ステレオ／インターレース直交変換部１４０８に送る。
【０１１１】
ステレオ／インターレース直交変換部１４０８は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、減算器１４０７から送られた予測残差信号１４３３の画素配置を変更して直交変換を行うことにより、直交変換係数１４３４を生成して、量子化部１４０９に送る。
【０１１２】
このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号１４３３の画素配置を図１７に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ｂ）のように予測残差信号１４３３を左フィールド予測残差信号と右フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。
【０１１３】
一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号１４３３の画素配置を図１８に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ｂ）のように予測残差信号１４３３を上フィールド予測残差信号と下フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。
【０１１４】
なお、直交変換の単位は４画素×４ラインには限らず、１６画素×１６ライン、８画素×８ライン、１６画素×８ライン、８画素×１６ラインのような単位で行うこともできる。
【０１１５】
量子化部１４０９は、ステレオ／インターレース直交変換部１４０８から送られた直交変換係数１４３４を量子化することにより、量子化直交変換係数１４３５を生成し、可変長符号化部１４１０および逆量子化部１４１１に送る。
【０１１６】
次に、可変長符号化部１４１０が、動画像種別判定部１４０１から送られた復号画像の種別に関する情報（ステレオ画像識別子）、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を含む符号化に関する情報を合わせた信号１４４０と、量子化部１４０９から送られた量子化直交変換係数１４３５と、動き検出部１４０２から送られた予測モード、動きベクトル差分値および参照フレーム番号を含む信号１４２５とについて、エントロピー符号化を行って圧縮ストリーム１４３６に多重化して、外部へ伝送する。
【０１１７】
また、逆量子化部１４１１は、量子化部１４０９から送られた量子化直交変換係数１４３５について逆量子化を行うことにより、直交変換係数１４３７を生成して、ステレオ／インターレース逆直交変換部１４１２に送る。
【０１１８】
そして、ステレオ／インターレース逆直交変換部１４１２は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、逆量子化部１４１１から送られた直交変換係数１４３７について逆直交変換を行い、画素配置を変更して予測残差信号１４３８を生成し、加算器１４１３に送る。
【０１１９】
このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成し、予測残差信号１４３８を生成する。
【０１２０】
一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成し、予測残差信号１４３８を生成する。
【０１２１】
加算器１４１３は、ステレオ／インターレース逆直交変換部１４１２から送られた予測残差信号１４３８と、スイッチ１４０６から送られた予測画像信号１４３２とを加算することで、局所復号画像であるフレーム画像信号１４３９を生成し、フレームメモリ１４０４に送る。このフレーム画像信号１４３９は、フレームメモリ１４０４に格納され、以降の符号化処理で、参照画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像に含まれ、同時に格納される。
【０１２２】
次に、図２１に示す動画像復号化装置２１０の動作について説明する。以下に説明する動画像復号化装置２１０は、動画像符号化装置１４０と同様に、Ｈ．２６４／ＡＶＣ符号化方式に準拠した復号化装置である。
【０１２３】
動画像復号化装置２１０は、動画像符号化装置１４０により出力された圧縮ストリーム１４３６を入力信号として用い、これを入力映像信号に復号化する機能を有する。
【０１２４】
動画像復号化装置２１０は、図２１に示すように、機能的な構成要素として、可変長復号化部２１０１と、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース動き補償部２１０３と、フレームメモリ２１０４と、ステレオ／インターレース空間予測部２１０５と、スイッチ２１０６と、逆量子化部２１０７と、ステレオ／インターレース逆直交変換部２１０８と、加算器２１０９とを備えて構成される。以下、各構成要素について説明する。
【０１２５】
可変長復号化部２１０１は、圧縮ストリーム１４３６を受信した後、圧縮ストリーム１４３６を復号化することで、シーケンスの先頭を表す同期記号およびシーケンスヘッダ、フレームヘッダ、スライスヘッダ、マクロブロックヘッダと、画像の種別に関する情報（ステレオ画像識別子）と、「マクロブロック単位の予測モードがフレーム画像でのフレーム間予測であるかフィールド画像でのフレーム間予測であるかの情報、または、予測モードがフレーム画像でのフレーム内予測であるかフィールド画像でのフレーム内予測であるかの情報」とを合わせた信号２１３４に復号し、当該信号２１３４を、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース空間予測部２１０５と、ステレオ／インターレース逆直交変換部２１０８とに送る。また、可変長復号化部２１０１は、マクロブロック符号化情報として、マクロブロック単位で予測モードと量子化直交変換係数を復号する。
【０１２６】
また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、動きベクトル差分値と参照フレーム番号の復号も合わせて行う。なお、可変長復号化部２１０１は、復号した量子化直交変換係数２１２２を逆量子化部２１０７に送る。
【０１２７】
また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、復号した予測モードと動きベクトル差分値と参照フレーム番号とを含む信号２１２１をステレオ／インターレース動きベクトル復元部２１０２に送るとともに、復元した予測モード２１２６をスイッチ２１０６に送る。一方、予測モードがフレーム内予測モードである場合、可変長復号化部２１０１は、復号した予測モード２１２６をスイッチ２１０６およびステレオ／インターレース空間予測部２１０５に送る。
【０１２８】
予測モードがフレーム間予測モードである場合、ステレオ／インターレース動きベクトル復元部２１０２は、可変長復号化部２１０１から送信された信号２１３４と、動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて動きベクトルを復元し、上記の信号２１３４と、復元で得られた動きベクトル、予測モードおよび参照フレーム番号を含む信号２１２３とをステレオ／インターレース動き補償部２１０３に送る。
【０１２９】
より詳細には、ステレオ／インターレース動きベクトル復元部２１０２は、復号化対象の画像（以下「復号画像」という）がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、左フィールド画像と右フィールド画像の各フィールド単位での動きベクトルを復元する。
【０１３０】
また、ステレオ／インターレース動きベクトル復元部２１０２は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、上フィールド画像と下フィールド画像の各フィールド単位での動きベクトルを復元する。
【０１３１】
ステレオ／インターレース動き補償部２１０３は、ステレオ／インターレース動きベクトル復元部２１０２から送られた信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照フレーム画像２１２７を用いて、予測画像信号２１２５を生成し、スイッチ２１０６に送る。なお、フレームメモリ２１０４には、過去の復号化済みのフレーム画像信号が格納されている。
【０１３２】
より詳細には、ステレオ／インターレース動き補償部２１０３は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２５を作成する。
【０１３３】
また、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２５を作成する。
【０１３４】
また、予測モードが「フレーム内予測モード」である場合、ステレオ／インターレース空間予測部２１０５は、符号化済みの近傍ブロックの画像信号（参照画像信号２１２７）を参照して予測画像信号２１２８を生成し、スイッチ２１０６に送る。
【０１３５】
より詳細には、ステレオ／インターレース空間予測部２１０５は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２８を作成する。
【０１３６】
また、ステレオ／インターレース空間予測部２１０５は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２８を作成する。
【０１３７】
次に、スイッチ２１０６が、可変長復号化部２１０１から送信された予測モード２１２６に応じて、予測画像信号２１２５と予測画像信号２１２８のうちいずれかを選択し、選択した信号を予測画像信号２１２９として加算器２１０９に送る。
【０１３８】
一方、逆量子化部２１０７は、可変長復号化部２１０１により送信された量子化直交変換係数２１２２を逆量子化することで、量子化直交変換係数２１２２を直交変換係数２１３０に復元し、ステレオ／インターレース逆直交変換部２１０８に送る。
【０１３９】
ステレオ／インターレース逆直交変換部２１０８は、直交変換係数２１３０を逆直交変換することで、直交変換係数２１３０を予測残差信号２１３１に復号する。
【０１４０】
ステレオ／インターレース逆直交変換部２１０８に関するより詳細な説明は、動画像符号化装置１４０のステレオ／インターレース逆直交変換部１４１２と同様であるので、再度、図１９および図２０を使って説明する。
【０１４１】
入力画像がステレオ画像であった場合（即ち、ステレオ画像識別子が「１」の場合）における予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。
【０１４２】
また、入力画像がインターレース画像であった場合（即ち、ステレオ画像識別子が「０」の場合）における予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。
【０１４３】
加算器２１０９は、スイッチ２１０６から送信された予測画像信号２１２９と、ステレオ／インターレース逆直交変換部２１０８から送信された予測残差信号２１３１とを加算することで、フレーム画像信号２１３２として復号する。この加算器２１０９は、特許請求の範囲に記載した「画像データ生成部」に対応し、フレーム画像信号２１３２は、特許請求の範囲に記載した「画像データ」に対応する。
【０１４４】
復号されたフレーム画像信号２１３２は、以降の復号化処理に用いられるため、参照フレーム画像信号としてフレームメモリ２１０４に格納される。ここで、フレーム画像信号２１３２は、動画像符号化装置１４０における同一番号のフレーム画像信号１４３９と同一の値となる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像信号に含まれ同時に格納される。
【０１４５】
最後に、フレーム画像信号２１３３は、所定の表示タイミングで表示デバイス（図示せず）へ出力され、入力映像信号（動画像信号）１４２１が再生される。
【０１４６】
以上述べた第２実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号に対し、フレーム画像として、または左フィールドと右フィールドからなるフィールド画像として、符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【０１４７】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【０１４８】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。
【０１４９】
なお、上記では、入力画像を、縦に２つに分割又は横に２つに分割することで得られる２つのフィールド画像に分離して、フレーム間予測又はフレーム内予測を行う例を示したが、入力画像の分離方法はこれに限定されるものではなく、入力画像を斜めの境界線によって分離してもよいし、上下方向に３つ以上に分離してもよいし、左右方向に３つ以上に分離してもよい。
【０１５０】
さて、以下では図２２〜図２５を用いて、上記の各実施形態の符号化処理プログラムおよび復号化処理プログラムについて概説する。
【０１５１】
図２２には、第１実施形態の動画像符号化処理に関する動画像符号化プログラム９１０の構成を示す。この図２２に示すように、動画像符号化プログラム９１０は、処理を統括するメインモジュール９１１と、動画像種別判定モジュール９１２と、動画像回転モジュール９１３と、動画像インターレース符号化モジュール９１４と、ステレオ画像識別子符号化モジュール９１５と、多重化モジュール９１６とを備える。動画像種別判定モジュール９１２、動画像回転モジュール９１３、動画像インターレース符号化モジュール９１４、ステレオ画像識別子符号化モジュール９１５、多重化モジュール９１６がコンピュータに行わせる機能はそれぞれ、前述した図３の動画像種別判定部３０１、動画像回転部３０３、動画像インターレース符号化部３０５、ステレオ画像識別子符号化部３０６、多重化部３０７の機能に相当する。
【０１５２】
図２３には、第１実施形態の動画像復号化処理に関する動画像復号化プログラム９２０の構成を示す。この図２３に示すように、動画像復号化プログラム９２０は、処理を統括するメインモジュール９２１と、分離モジュール９２２と、動画像インターレース復号化モジュール９２３と、ステレオ画像識別子復号化モジュール９２４と、処理制御モジュール９２５とを備える。分離モジュール９２２、動画像インターレース復号化モジュール９２３、ステレオ画像識別子復号化モジュール９２４がコンピュータに行わせる機能はそれぞれ、前述した図１１の分離部１１０１、動画像インターレース復号化部１１０２、ステレオ画像識別子復号化部１１０３の機能に相当する。また、処理制御モジュール９２５がコンピュータに行わせる機能は、図１１の動画像逆回転部１１０５、スイッチ１１０４および１１０６の機能に相当する。
【０１５３】
図２４には、第２実施形態の動画像符号化処理に関する動画像符号化プログラム９３０の構成を示す。この図２４に示すように、動画像符号化プログラム９３０は、処理を統括するメインモジュール９３１と、動画像種別判定モジュール９３２と、動き検出モジュール９３３と、動き補償モジュール９３４と、空間予測モジュール９３５と、直交変換モジュール９３６と、可変長符号化モジュール９３７と、逆直交変換モジュール９３８とを備える。動画像種別判定モジュール９３２、動き検出モジュール９３３、動き補償モジュール９３４、空間予測モジュール９３５がコンピュータに行わせる機能はそれぞれ、前述した図１４の動画像種別判定部１４０１、ステレオ／インターレース動き検出部１４０２、ステレオ／インターレース動き補償部１４０３、ステレオ／インターレース空間予測部１４０５の機能に相当する。また、直交変換モジュール９３６がコンピュータに行わせる機能は、図１４のスイッチ１４０６、減算器１４０７およびステレオ／インターレース直交変換部１４０８の機能に相当する。可変長符号化モジュール９３７がコンピュータに行わせる機能は、図１４の量子化部１４０９および可変長符号化部１４１０の機能に相当する。逆直交変換モジュール９３８がコンピュータに行わせる機能は、図１４の量子化部１４０９、逆量子化部１４１１およびステレオ／インターレース逆直交変換部１４１２の機能に相当する。
【０１５４】
図２５には、第２実施形態の動画像復号化処理に関する動画像復号化プログラム９４０の構成を示す。この図２５に示すように、動画像復号化プログラム９４０は、処理を統括するメインモジュール９４１と、可変長復号化モジュール９４２と、動きベクトル復元モジュール９４３と、動き補償モジュール９４４と、空間予測モジュール９４５と、逆直交変換モジュール９４６と、画像データ生成モジュール９４７とを備える。可変長復号化モジュール９４２、動きベクトル復元モジュール９４３、動き補償モジュール９４４、空間予測モジュール９４５がコンピュータに行わせる機能はそれぞれ、前述した図２１の可変長復号化部２１０１、ステレオ／インターレース動きベクトル復元部２１０２、ステレオ／インターレース動き補償部２１０３、ステレオ／インターレース空間予測部２１０５の機能に相当する。また、逆直交変換モジュール９４６がコンピュータに行わせる機能は、図２１の逆量子化部２１０７およびステレオ／インターレース逆直交変換部２１０８の機能に相当する。画像データ生成モジュール９４７がコンピュータに行わせる機能は、図２１の加算器２１０９の機能に相当する。
【０１５５】
なお、上記の各プログラムは、コンピュータ読取り可能な記録媒体（以下、単に「記録媒体」と記す）に記録されて流通してもよいし、その一部若しくは全部を他の機器から通信回線等の伝送媒体を介して、本発明に係る動画像符号化装置または動画像復号化装置により受信され、記録される構成にしてもよい。反対に、上記の各プログラムは、本発明に係る動画像符号化装置または動画像復号化装置から伝送媒体を介して他の機器に伝送され、インストールされる構成としてもよい。
【符号の説明】
【０１５６】
１０…フィルター、１１…液晶ディスプレイ、１２…スリット板、１３…左目、１４…右目、３０、１４０…動画像符号化装置、１１０、２１０…動画像復号化装置、３０１…動画像種別判定部、３０２…スイッチ、３０３…動画像回転部、３０４…スイッチ、３０５…動画像インターレース符号化部、３０６…ステレオ画像識別子符号化部、３０７…多重化部、９１０、９３０…動画像符号化プログラム、９２０、９４０…動画像符号化プログラム、１１０１…分離部、１１０２…動画像インターレース復号化部、１１０３…ステレオ画像識別子復号化部、１１０４…スイッチ、１１０５…動画像逆回転部、１１０６…スイッチ、１４０１…動画像種別判定部、１４０２…ステレオ／インターレース動き検出部、１４０３…ステレオ／インターレース動き補償部、１４０４…フレームメモリ、１４０５…ステレオ／インターレース空間予測部、１４０６…スイッチ、１４０７…減算器、１４０８…ステレオ／インターレース直交変換部、１４０９…量子化部、１４１０…可変長符号化部、１４１１…逆量子化部、１４１２…ステレオ／インターレース逆直交変換部、１４１３…加算器、２１０１…可変長復号化部、２１０２…ステレオ／インターレース動きベクトル復元部、２１０３…ステレオ／インターレース動き補償部、２１０４…フレームメモリ、２１０５…ステレオ／インターレース空間予測部、２１０６…スイッチ、２１０７…逆量子化部、２１０８…ステレオ／インターレース逆直交変換部、２１０９…加算器。
【技術分野】
【０００１】
本発明は、いわゆる右目画像（右眼用画像ともいう）と、いわゆる左目画像（左眼用画像ともいう）を縦１列ごとに交互に並べた動画像（いわゆるステレオ動画像）、および奇数行画像と偶数行画像を横１行ごとに交互に並べた動画像（いわゆるインターレース動画像）を符号化する動画像符号化装置および方法、並びに、上記ステレオ動画像およびインターレース動画像を復号化する動画像復号化装置および方法に関する。
【０００２】
なお、「左フィールド画像」とは、右目画像と左目画像とを縦１列ごとに交互に並べられたステレオ動画像において、左目画像のみを抽出して得られる画像を意味し、「右フィールド画像」とは、上記のステレオ動画像において、右目画像のみを抽出して得られる画像を意味する。
【背景技術】
【０００３】
立体動画像表示装置の一つとして、図１に示すような多数の画像配列から成るフィルター１０を具備した液晶ディスプレイ１１の前面に、多数の孔が開設されたスリット板１２を配置した構成のパララックスバリア方式の立体映像表示装置が知られている。この立体映像表示装置は、視聴者の左目１３からはフィルター上の左目画像Ｌのみが見え、視聴者の右目１４からはフィルター上の右目画像Ｒのみが見えるように構成されているため、視聴者は立体動画像を視認することができる。なお、図１のスリット板１２に代えて、レンチキュラー板を配置した構成の立体映像表示装置も知られている。
【０００４】
また、他の立体動画像符号化方式としては、例えば下記の特許文献１に開示された「立体映像伝送方法及び装置」が知られている。この技術では、図２（ａ）に示す縦１列ごとに交互に左目画像と右目画像が配置された立体画像に対し、まず図２（ｂ）に示すように画像の左半分に左目画像を、右半分に右目画像を集めて再配置することで変換画像を作成する。次に、作成された変換画像に対し、動画像符号化、符号化データの送信、符号化データの受信、動画像復号化といった処理が行われる。その後、復号化された変換画像の画素配置を、再度、縦１列ごとに交互に左目画像と右目画像を配置し直して、入力信号である立体画像と同じ画像を再現する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１８１１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体画像では、近くの物体は左目画像と右目画像との視差が大きいが、遠くの物体は左目画像と右目画像との視差はほとんどない。そのため、特に遠くの物体を示すブロックにおいて、左目画像と右目画像との相関性を利用することにより、データ圧縮効率を向上させることができる。
【０００７】
ところが、上記の従来技術では、変換画像において、左半分に左目画像を、右半分に右目画像を配置しているため、動画像符号化を行う場合、左目画像と右目画像との相関性を利用できず、データ圧縮効率を向上させることができない、という課題がある。
【０００８】
また、変換画像において、一度、左半分に左目画像を、右半分に右目画像を配置して符号化するため、前述したパララックスバリア方式の立体動画像表示装置で表示する場合には、復号化処理後の画像の画素配置を変更することで、再度、左目画像と右目画像とを縦１列ごとに交互に配置し直す必要がある。このため、処理の効率化が困難であるという課題がある。
【０００９】
本発明は、上記課題を解決するために成されたものであり、立体動画像に対する画像処理を効率良く行うことができる動画像符号化装置および方法、並びに動画像復号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の動画像符号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定部と、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転部と、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化部と、符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化部と、前記動画像インターレース符号化部によるインターレース符号化で得られた符号化ビットストリームと、前記ステレオ画像識別子符号化部による符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化部とを備えることを特徴とする。
【００１１】
なお、上記の動画像種別判定部は、入力された画像信号に基づいて、符号化対象の動画像がステレオ動画像であるか否かを判定してもよいし、予め定めた規則に従って符号化対象の動画像がステレオ動画像であるか否かを判定してもよい。
【００１２】
また、上記の動画像回転部は、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、例えば、当該動画像を右に＋９０°回転させてもよいし、当該動画像を右に−９０°回転させてもよい。
【００１３】
このとき、前記ステレオ画像識別子符号化部は、前記動画像回転部によって符号化対象の動画像に対し行われた回転に関する情報を、ステレオ画像識別子に含めて符号化することが望ましい。
【００１４】
また、上記目的を達成するために、本発明の動画像復号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離部と、分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化部と、分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化部と、前記動画像インターレース復号化部によるインターレース復号化で得られた動画像信号に対し、前記ステレオ画像識別子復号化部による復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御部とを備えることを特徴とする。
【００１５】
このとき、前記処理制御部は、復号化で得られたステレオ画像識別子に含まれる回転に関する情報に基づいて、動画像が復元されるように前記動画像信号に対し画像処理を行うことが望ましい。
【００１６】
上記の動画像符号化装置および動画像復号化装置によれば、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させ、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化することで、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００１７】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００１８】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【００１９】
上記目的を達成するために、本発明の動画像符号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部とを備えることを特徴とする。
【００２０】
このとき、前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することが望ましい。
【００２１】
またこのとき、前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。
【００２２】
またこのとき、前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。
【００２３】
またこのとき、前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことが望ましい。
【００２４】
またこのとき、前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことが望ましい。
【００２５】
また、上記目的を達成するために、本発明の動画像復号化装置は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部とを備えることを特徴とする。
【００２６】
このとき、前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することが望ましい。
【００２７】
またこのとき、前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことが望ましい。
【００２８】
またこのとき、前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことが望ましい。
【００２９】
またこのとき、前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことが望ましい。
【００３０】
上記の動画像符号化装置および動画像復号化装置によれば、少なくとも動画像の種別および選択された予測モードに基づく符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００３１】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００３２】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【００３３】
以上のような動画像符号化装置および動画像復号化装置に係る発明は、以下のような動画像符号化方法および動画像復号化方法に係る発明として捉えることができ、同様の効果を得ることができる。
【００３４】
即ち、本発明に係る動画像符号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定ステップと、符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転ステップと、ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化ステップと、符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化ステップと、前記インターレース符号化で得られた符号化ビットストリームと、前記符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化ステップとを有することを特徴とする。
【００３５】
また、本発明に係る動画像復号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離ステップと、分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化ステップと、分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化ステップと、前記インターレース復号化で得られた動画像信号に対し、前記復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御ステップとを有することを特徴とする。
【００３６】
本発明に係る動画像符号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップとを有することを特徴とする。
【００３７】
また、本発明に係る動画像復号化方法は、右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップとを有することを特徴とする。
【発明の効果】
【００３８】
本発明によれば、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【００３９】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００４０】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号を、同一の動画像符号化装置、および動画像復号化装置でそれぞれ符号化、復号化を行うことができ、装置の有効利用が可能である。
【図面の簡単な説明】
【００４１】
【図１】パララックスバリア方式による立体映像表示の原理を説明する図である。
【図２】従来の立体動画像符号化方式を示す図である。
【図３】第１実施形態における動画像符号化装置を示す図である。
【図４】（ａ）はステレオ画像の画素配置を、（ｂ）はインターレース画像の画素配置を示す図である。
【図５】（ａ）はステレオ画像の画素配置を、（ｂ）はステレオ画像を右に＋９０°回転したときの画素配置を、（ｃ）はステレオ画像を右に−９０°回転したときの画素配置を示す図である。
【図６】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図７】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図８】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図９】外部へ伝送される多重化符号化ビットストリームの例を示した図である。
【図１０】第１実施形態における動画像符号化装置の動作を示すフローチャートである。
【図１１】第１実施形態における動画像復号化装置を示す図である。
【図１２】（ａ）はスイッチ１１０４から送られた動画像信号の一つの画素配置を、（ｂ）はスイッチ１１０４から送られた動画像信号のもう一つの画素配置を、（ｃ）は（ａ）を左に＋９０°または（ｂ）を左に−９０°回転したときの画素配置を示す図である。
【図１３】第１実施形態における動画像復号化装置の動作を示すフローチャートである。
【図１４】第２実施形態における動画像符号化装置を示す図である。
【図１５】（ａ）はステレオ画像のフレーム画像を、（ｂ）はステレオ画像の左フィールド画像を、（ｃ）はステレオ画像の右フィールド画像を示す図である。
【図１６】（ａ）はインターレース画像のフレーム画像を、（ｂ）はインターレース画像の上フィールド画像を、（ｃ）はインターレース画像の下フィールド画像を示す図である。
【図１７】（ａ）はステレオ画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はステレオ画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。
【図１８】（ａ）はインターレース画像の予測残差信号の画素配置におけるフレーム画像での直交変換ブロックを、（ｂ）はインターレース画像の予測残差信号の画素配置におけるフィールド画像での直交変換ブロックを示す図である。
【図１９】（ａ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はステレオ画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。
【図２０】（ａ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフレーム画像での画素配置を、（ｂ）はインターレース画像に対する逆直交変換後の予測残差信号の画素配置におけるフィールド画像での画素配置を示す図である。
【図２１】第２実施形態における動画像復号化装置を示す図である。
【図２２】第１実施形態に係る動画像符号化プログラムの構成を示す図である。
【図２３】第１実施形態に係る動画像復号化プログラムの構成を示す図である。
【図２４】第２実施形態に係る動画像符号化プログラムの構成を示す図である。
【図２５】第２実施形態に係る動画像復号化プログラムの構成を示す図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しながら、本発明の実施形態に係る動画像符号化装置および方法、並びに動画像復号化装置および方法を説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
【００４３】
［第1実施形態］
（動画像符号化装置の構成）
まず、図３を用いて、本実施形態に係る動画像符号化装置を説明する。本実施形態に係る動画像符号化装置３０は、その機能的な構成要素として、動画像種別判定部３０１と、スイッチ３０２と、動画像回転部３０３と、スイッチ３０４と、動画像インターレース符号化部３０５と、ステレオ画像識別子符号化部３０６と、多重化部３０７とを備えて構成される。
【００４４】
動画像種別判定部３０１は、入力された動画像信号３０８を受信し、受信した動画像の種別を判定する。受信した動画像が、図４（ａ）のように縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像であるという情報（例えば「１」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。一方、受信した動画像が、図４（ｂ）のように横１行ごとに交互に奇数行画像と偶数行画像とが配置されたインターレース画像信号であった場合、動画像種別判定部３０１は、入力画像がステレオ画像でないという情報（例えば「０」にセットしたステレオ画像識別子）３１０をスイッチ３０２と、スイッチ３０４と、ステレオ画像識別子符号化部３０６とへ送る。また、動画像種別判定部３０１は、受信した動画像信号３０９をスイッチ３０２に送る。なお、上記の図４は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００４５】
動画像種別判定部３０１での画像種別の判定は、例えば、入力画像に付加された画像種別に関する情報を検出し、検出した情報に基づいて行うことができる。また、動画像種別判定部３０１での画像種別の判定は、符号化前に外部から与えられた設定ファイル等の画像種別に関する情報に基づいて行っても良い。
【００４６】
また、動画像種別判定部３０１での画像種別の判定は、以下のように、入力された画像の輝度値の関係を解析した結果を基に行っても良い。例えば、入力された画像を縦１列ごとに交互に分離して左フィールド画像と右フィールド画像を作成し、それらの分離した各フィールド画像の横方向の輝度値の相関が、分離前のフレーム画像の横方向の輝度値の相関に比べて高い場合、入力された画像をステレオ画像と判定しても良い。また、例えば、入力された画像を横１列ごとに交互に分離して上フィールド画像と下フィールド画像を作成し、それらの分離した各フィールド画像の縦方向の輝度値の相関が、分離前のフレーム画像の縦方向の輝度値の相関に比べて高い場合、入力された画像をインターレース画像と判定しても良い。
【００４７】
なお、画像種別の判定法は、上記例示した方法に限定されるものではない。
【００４８】
スイッチ３０２は、動画像種別判定部３０１から送られた動画像信号３０９と、ステレオ画像識別子３１０を受信し、ステレオ画像識別子が１の場合は、動画像信号３０９を動画像回転部３０３に送り、ステレオ画像識別子が０の場合は、動画像信号３０９をスイッチ３０４に送る。
【００４９】
動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、動画像信号３０９により表される動画像を右に＋９０°回転して、インターレース動画像と同様に横１行ごとに交互に右目画像と左目画像が配置された動画像を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送る。
【００５０】
図５は、動画像回転部３０３によってステレオ動画像を右に＋９０°回転した例を示し、このうち図５（ａ）はスイッチ３０２から送られた動画像信号３０９により表される動画像を示し、図５（ｂ）は図５（ａ）の動画像を右に＋９０°回転した動画像を示す。なお、上記の図５は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００５１】
スイッチ３０４は動画像種別判定部３０１から送られたステレオ画像識別子３１０を基に、動画像回転部３０３から送られた動画像信号３１１、およびスイッチ３０２から送られた動画像信号３０９のうち一方を選択する。即ち、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。
【００５２】
動画像インターレース符号化部３０５は、スイッチ３０４から送られた動画像信号３１２を受けて動画像のインターレース符号化を行うことで符号化ビットストリーム３１３を作成する。そして、動画像インターレース符号化部３０５は、作成された符号化ビットストリーム３１３を多重化部３０７へ送る。なお、動画像インターレース符号化部３０５で使用するインターレース符号化方式の一例としては、Ｈ．２６４／ＡＶＣ符号化方式（Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG, “Editor’s Proposed Draft Text Modifications for Joint Video Specification (ITU-T Rec.H.264|ISO/IEC 14496-10 AVC), Geneva modifications draft 37”を参照）が挙げられる。但し、上記のＨ．２６４／ＡＶＣ符号化方式に限らず、インターレース画像の符号化に対応するあらゆる方式の符号化法を適用することができる。
【００５３】
ステレオ画像識別子符号化部３０６は、動画像種別判定部３０１から送られたステレオ画像識別子３１０を符号化し、符号化で得られた符号３１４を多重化部３０７へ送る。
【００５４】
多重化部３０７は、動画像インターレース符号化部３０５から送られた符号化ビットストリーム３１３と、ステレオ画像識別子符号化部３０６から送られたステレオ画像識別子の符号３１４とを多重化し、多重化で得られたビットストリームを多重化符号化ビットストリーム３１５として外部へ伝送する。
【００５５】
図６〜図９は、外部へ伝送する多重化符号化ビットストリーム３１５の例を示したものである。
【００５６】
多重化符号化ビットストリーム３１５は、各シーケンスの先頭を表す同期信号の後に、動画像全体に関する符号化情報（シーケンスヘッダ）、動画像の各フレームに関する符号化情報（フレームヘッダ）、動画像の符号化単位であるマクロブロックを何個か合わせた各スライスに関する符号化情報（スライスヘッダ）、動画像の各マクロブロックに関する符号化情報（マクロブロックヘッダ）、およびマクロブロックごとの符号化情報が多重化されて構成される。
【００５７】
入力された動画像の種別に関する情報であるステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。
【００５８】
なお、動画像回転部３０３は、スイッチ３０２から送られた動画像信号３０９を受信し、図５（ａ）に示す動画像信号３０９により表される動画像を右に−９０°回転（即ち、左に＋９０°回転）して、インターレース動画像と同様に横１行ごとに交互に左目画像と右目画像が配置された動画像（図５（ｃ）参照）を表す動画像信号３１１に変換し、動画像信号３１１をスイッチ３０４に送っても良い。
【００５９】
動画像回転部３０３が、スイッチ３０２から送られた動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかは、予め決定された回転方法に従う。
【００６０】
また、動画像回転部３０３が動画像信号３０９を、右に＋９０°回転するか、−９０°回転するかを示す情報は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５で送信しても良い。例えば、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に＋９０°回転して動画像信号３１１に変換する場合は符号「１０」を、ステレオ画像識別子が１で、動画像回転部３０３がスイッチ３０２から送られた動画像信号３０９を右に−９０°回転して動画像信号３１１に変換する場合は符号「１１」を、ステレオ画像識別子が０の場合は符号「０」を、それぞれ動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化部３０７で多重化して、多重化符号化ビットストリーム３１５として伝送しても良い。
【００６１】
（動画像符号化装置の動作）
次に、図１０を用いて、本発明における動画像符号化装置３０の動作を説明する。
【００６２】
まず、動画像種別判定部３０１が、入力された動画像の画像種別判定として、当該動画像がステレオ画像であるか否かを判定する（ステップＳ１００１）。ここで、入力された動画像がステレオ画像であった場合、動画像種別判定部３０１はステレオ画像識別子を「１」とし（ステップＳ１００２）、動画像回転部３０３は予め決定された回転方法に従って、入力された動画像を右に＋９０°または−９０°回転させる（ステップＳ１００４）。一方、入力された動画像がステレオ画像でなかった場合、動画像種別判定部３０１はステレオ画像識別子を「０」とする（ステップＳ１００３）。
【００６３】
前述したように、スイッチ３０４は、ステレオ画像識別子３１０が１の場合、動画像回転部３０３から送られた動画像信号３１１を、ステレオ画像識別子３１０が０の場合、スイッチ３０２から送られた動画像信号３０９を、それぞれ選択し、選択した動画像信号を動画像信号３１２として動画像インターレース符号化部３０５に送る。
【００６４】
動画像信号３１２を受信した動画像インターレース符号化部３０５は、動画像のインターレース符号化を行い（ステップＳ１００５）、符号化ビットストリーム３１３を作成する。また、ステレオ画像識別子符号化部３０６は、ステレオ画像識別子の符号化を行い（ステップＳ１００６）、符号化情報３１４を作成する。
【００６５】
最後に、多重化部３０７は、符号化ビットストリーム３１３と符号化情報３１４とを多重化して多重化符号化ビットストリーム３１５を作成し（ステップＳ１００７）、図１０の処理を終了する。
【００６６】
（動画像復号化装置の構成）
次に、図１１を用いて、本発明に係る動画像復号化装置を説明する。本発明に係る動画像復号化装置１１０は、その機能的な構成要素として、分離部１１０１と、動画像インターレース復号化部１１０２と、ステレオ画像識別子復号化部１１０３と、スイッチ１１０４と、動画像逆回転部１１０５と、スイッチ１１０６とを備えて構成される。
【００６７】
分離部１１０１は、入力された多重化符号化ビットストリーム３１５を、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離し、符号化ビットストリーム１１０７を動画像インターレース復号化部１１０２に、ステレオ画像識別子の符号１１０８をステレオ画像識別子復号化部１１０３に、それぞれ送る。
【００６８】
動画像インターレース復号化部１１０２は、分離部１１０１から送られた動画像の符号化ビットストリームに対し復号化を行うことで動画像信号１１０９を得る。そして、動画像インターレース復号化部１１０２は、復号化で得られた動画像信号１１０９をスイッチ１１０４に送る。なお、動画像インターレース復号化部１１０２で使用するインターレース復号化方式の一例としては、Ｈ．２６４／ＡＶＣ復号化方式が挙げられる。但し、Ｈ．２６４／ＡＶＣ復号化方式に限らず、インターレース画像の復号化に対応するあらゆる方式の復号化法を適用することができる。
【００６９】
ステレオ画像識別子復号化部１１０３は、分離部１１０１から送られたステレオ画像識別子の符号１１０８に対し復号化を行い、復号化されたステレオ画像識別子１１１０をスイッチ１１０４およびスイッチ１１０６に送る。
【００７０】
スイッチ１１０４は、動画像インターレース復号化部１１０２から送られた動画像信号１１０９と、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０とを受信し、ステレオ画像識別子が１の場合は、動画像信号１１０９を動画像逆回転部１１０５に送り、ステレオ画像識別子が０の場合は、動画像信号１１０９をスイッチ１１０６に送る。
【００７１】
動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ａ）に示す動画像信号１１０９で表される動画像を左に＋９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に右目画像と左目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送る。この動画像逆回転部１１０５は、特許請求の範囲に記載した「処理制御部」に対応する。なお、上記の図１２は、入力画像が横３５２画素、縦２８８画素であった場合の例を示す。
【００７２】
スイッチ１１０６は、ステレオ画像識別子復号化部１１０３から送られたステレオ画像識別子１１１０を基に、動画像逆回転部１１０５から送られた動画像信号１１１１およびスイッチ１１０４から送られた動画像信号１１０９のうち一方を選択する。即ち、スイッチ１１０６は、ステレオ画像識別子１１１０が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択した動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力し、入力映像信号を再生する。
【００７３】
なお、動画像逆回転部１１０５は、スイッチ１１０４から送られた動画像信号１１０９を受信し、図１２（ｂ）に示す動画像信号１１０９により表される動画像を左に−９０°回転することで、図１２（ｃ）に示す縦１列ごとに交互に左目画像と右目画像とが配置された動画像信号１１１０に変換し、動画像信号１１１０をスイッチ１１０６に送っても良い。
【００７４】
動画像逆回転部１１０５が、スイッチ１１０４から送られた動画像信号１１０９を受信し、動画像信号１１０９により表される動画像を左に＋９０°回転するか−９０°回転するかは、予め決定された回転方法に従う。
【００７５】
また、動画像逆回転部１１０５が動画像信号１１０９を、左に＋９０°回転するか−９０°回転するかの処理は、動画像の符号化に関する情報として、ステレオ画像識別子とともに多重化符号化ビットストリーム３１５に含まれた符号に基づいて行っても良い。例えば、以下のような処理を行ってもよい。多重化符号化ビットストリーム３１５の動画像の符号化に関する符号が「１０」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に＋９０°回転する。上記符号が「１１」の場合は、ステレオ画像識別子を１とし、動画像逆回転部１１０５がスイッチ１１０４から送られた動画像信号１１０９を左に−９０°回転する。上記符号が「０」の場合は、ステレオ画像識別子を０とする。
【００７６】
（動画像復号化装置の動作）
次に、図１３を用いて、本発明における動画像復号化装置１１０の動作を説明する。
【００７７】
まず、分離部１１０１が、入力された多重化符号化ビットストリームを受信し、動画像の符号化ビットストリーム１１０７とステレオ画像識別子の符号１１０８とに分離する（ステップＳ１３０１）。
【００７８】
次に、動画像インターレース復号化部１１０２が、動画像の符号化ビットストリーム１１０７を復号化することで動画像信号１１０９を復元する（ステップＳ１３０２）。次に、ステレオ画像識別子復号化部１１０３が、ステレオ画像識別子の符号１１０８を復号化することでステレオ画像識別子１１１０を復元する（ステップＳ１３０３）。
【００７９】
次に、ステレオ画像識別子が１であるか否かを判定し（ステップＳ１３０４）、ステレオ画像識別子が１であった場合、動画像逆回転部１１０５が上記復元された動画像信号１１０９を左に＋９０°または−９０°回転する（ステップＳ１３０５）。一方、ステレオ画像識別子が１でなかった場合は、ステップＳ１３０５の回転処理をスキップして、後述のステップＳ１３０６へ進む。
【００８０】
最後に、スイッチ１１０６は、ステレオ画像識別子が１の場合、動画像逆回転部１１０５から送られた動画像信号１１１１を、ステレオ画像識別子１１１０が０の場合、スイッチ１１０４から送られた動画像信号１１０９を、それぞれ選択し、選択された動画像信号を動画像信号１１１２として所定のタイミングで表示デバイス（図示せず）へ出力する（ステップＳ１３０６）。
【００８１】
以上述べた第１実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号を＋９０°または−９０°回転してインターレース画像と同様の画素配置にした後、インターレース符号化することで、左目画像と右目画像との相関性を利用して、データ圧縮の効率を向上させることができる。
【００８２】
また、動画像回転部３０３でステレオ画像を＋９０°または−９０°回転させてインターレース画像と同様の画素配置にしてインターレース符号化し、動画像逆回転部１１０５で復号画像を＋９０°または−９０°逆回転させてステレオ画像に復元することで、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【００８３】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。
【００８４】
なお、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれフレーム単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８５】
また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれスライス単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８６】
また、動画像回転部３０３および動画像逆回転部１１０５は、動画像信号３０９および動画像信号１１０９を、それぞれマクロブロック単位で右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転しても良い。
【００８７】
上記では、右に＋９０°または−９０°回転、および左に＋９０°または−９０°回転という例を示したが、回転角度はこれらに限定されるものではなく、動画像における縦方向が横方向に変わるように回転させればよい。例えば、右に＋２７０°または−２７０°回転、および左に＋２７０°または−２７０°回転という回転パターンを採用してもよい。
【００８８】
また、上記では、動画像信号を、動画像回転部３０３により所定方向に回転させ、動画像逆回転部１１０５により当該所定方向とは逆方向に回転させる（即ち、逆回転させる）例を示したが、これに限定されるものではなく、動画像逆回転部１１０５により当該所定方向と同じ方向に回転させることで、元の動画像信号を復元してもよい。例えば、動画像信号を、動画像回転部３０３により右に＋９０°回転させ、動画像逆回転部１１０５により右に＋２７０°回転させることで、元の動画像信号を復元してもよい。
【００８９】
［第２実施形態］
（動画像符号化装置の構成）
まず、図１４を用いて、本発明に係る動画像符号化装置１４０について説明する。以下に説明する動画像符号化装置１４０は、Ｈ．２６４／ＡＶＣ符号化方式に準拠した符号化装置である。
【００９０】
ここで、動画像符号化装置１４０に入力される動画像信号としての入力映像信号は、右目画像と左目画像とを縦１列ごとに交互に並べたステレオ動画像、または奇数行画像と偶数行画像とを横１行ごとに交互に並べたインターレース動画像を表す動画像信号である。本実施形態では、入力された動画像信号により表される画像は、１６画素×１６ライン固定の正方矩形領域であるマクロブロックに分割され、マクロブロック単位で以下の符号化処理が行われる。
【００９１】
動画像符号化装置１４０は、図１４に示すように、機能的な構成要素として、動画像種別判定部１４０１と、ステレオ／インターレース動き検出部１４０２と、ステレオ／インターレース動き補償部１４０３と、フレームメモリ１４０４と、ステレオ／インターレース空間予測部１４０５と、スイッチ１４０６と、減算器１４０７と、ステレオ／インターレース直交変換部１４０８と、量子化部１４０９と、可変長符号化部１４１０と、逆量子化部１４１１と、ステレオ／インターレース逆直交変換部１４１２と、加算器１４１３とを備えて構成される。以下、各構成要素について説明する。
【００９２】
動画像種別判定部１４０１は、符号化対象の動画像を表す外部から入力された動画像信号としての入力映像信号１４２１を受信した後、入力映像信号１４２１により表される画像（以下「入力画像」という）をマクロブロックに分割し、マクロブロック単位で減算器１４０７およびステレオ／インターレース動き検出部１４０２に対し、それぞれ入力画像信号１４２２、１４２３を送る。また、動画像種別判定部１４０１は、入力画像がステレオ画像であるか否かを判定し、ステレオ画像である場合、画像の種別に関する情報であるステレオ画像識別子を「１」とし、ステレオ画像でない場合、上記ステレオ画像識別子を「０」とする。そして、動画像種別判定部１４０１は、動画像全体での符号化に関する情報（シーケンス情報）、各フレーム画像単位での符号化に関する情報（フレーム情報）、１個以上のマクロブロックをまとめた各スライス単位での符号化に関する情報（スライス情報）、および各マクロブロック単位での符号化に関する情報（マクロブロック情報）とともに、上記ステレオ画像識別子の情報を信号１４４０としてステレオ／インターレース動き検出部１４０２と可変長符号化部１４１０へ送る。なお、上記ステレオ画像識別子の符号は、図６のようにシーケンスヘッダに含んで伝送しても良いし、図７のようにフレームヘッダに含んで伝送しても良い。また、上記ステレオ画像識別子の符号は、図８のようにスライスヘッダに含んで伝送しても良いし、図９のようにマクロブロックヘッダに含んで伝送しても良い。
【００９３】
フレームメモリ１４０４は、過去に符号化済みのフレーム画像信号を記憶しておく部分である。
【００９４】
ステレオ／インターレース動き検出部１４０２は、動画像種別判定部１４０１から送られた画像の種別に関する情報、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を合わせた信号１４４０を基に、予測モードの選択と動きベクトルの検出を行う部分である。Ｈ．２６４／ＡＶＣ符号化方式では、マクロブロックごとに、予測モードとして、入力された映像信号と時間的に異なる複数の符号化済みフレーム画像信号を参照して予測を行う複数のフレーム間予測モードと、同一空間上の符号化済みである近傍の画素値を用いて空間予測を行う複数のフレーム内予測モードとが用意されている。具体的には、動き検出部１４０２は、予測モードとしてフレーム間予測モードを選択した場合、参照画像信号１４２４および隣接ブロックの動きベクトル１４４２を用いて、予めフレームメモリ１４０４に蓄積されている複数の符号化済み画像の中から所定の探索範囲内で、符号化対象領域の画像信号パターンに類似する画像信号パターンを探し出す。そして、符号化対象領域の画像信号パターンと、当該類似する画像信号パターンとの間の空間的な変位量である動きベクトルを検出する。
【００９５】
より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（即ち、ステレオ画像識別子が「１」にセットされている場合）に、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。
【００９６】
また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（即ち、ステレオ画像識別子が「０」にセットされている場合）に、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム間予測した場合（即ち、フレーム画像でのフレーム間予測を行った場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム間予測した場合（即ち、フィールド画像でのフレーム間予測を行った場合）との符号化効率を比較し、符号化効率の高い方のフレーム間予測を選択する。
【００９７】
ステレオ／インターレース動き検出部１４０２は、検出された動きベクトルと、符号化済みの隣接ブロックの動きベクトル１４４２から算出される最適予測動きベクトル（動きベクトル予測値）との差分情報である動きベクトル差分値と、動きベクトルの検出に用いた参照フレーム画像信号を示す参照フレーム番号と、選択された予測モードとを含む信号１４２５を可変長符号化部１４１０へ送る。同時に、動き検出部１４０２は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号１４２６をステレオ／インターレース動き補償部１４０３に送る。
【００９８】
また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム間予測かフィールド画像でのフレーム間予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４４１を、ステレオ／インターレース動き補償部１４０３と、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２とに送る。
【００９９】
ステレオ／インターレース動き補償部１４０３は、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成しスイッチ１４０６に送る。
【０１００】
より詳細には、ステレオ／インターレース動き補償部１４０３は、上記の信号１４４１を基に、ステレオ／インターレース動き検出部１４０２から送られた上記の信号１４２６を用いて、フレームメモリ１４０４中の参照フレーム番号で示される符号化済み画像信号（参照画像信号１４２４）を参照して、各マクロブロックの予測画像信号１４２７を作成する。
【０１０１】
入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて動き補償を行った後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４２７を作成する。
【０１０２】
入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを一つのフレーム画像として動き補償を行った後、予測画像信号１４２７を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム間予測」であるとき、ステレオ／インターレース動き補償部１４０３は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて動き補償を行った後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４２７を作成する。
【０１０３】
一方、ステレオ／インターレース動き検出部１４０２は、予測モードとして「フレーム内予測モード」を選択した場合、同一画像上の符号化済みである近傍のブロックの画素値を用いた空間予測を行い、予測モードを含む信号１４２５を可変長符号化部１４１０へ送る。この場合、ステレオ／インターレース動き検出部１４０２は、時間的な動きに関する情報である動きベクトル差分値および参照フレーム番号の信号を可変長符号化部１４１０へ送信する処理は行わない。また、ステレオ／インターレース動き検出部１４０２は、予測モードの情報の一部である、「選択された予測モードがフレーム画像でのフレーム内予測かフィールド画像でのフレーム内予測であるか」の情報および「入力画像がステレオ画像であるかインターレース画像であるか」の情報を表す信号１４２８を、ステレオ／インターレース直交変換部１４０８と、ステレオ／インターレース逆直交変換部１４１２と、ステレオ／インターレース空間予測部１４０５とに送る。
【０１０４】
より詳細には、ステレオ／インターレース動き検出部１４０２は、入力画像がステレオ画像である場合（ステレオ画像識別子が「１」の場合）、入力画像をフレーム画像（図１５（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を左フィールド画像（図１５（ｂ）参照）と右フィールド画像（図１５（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。
【０１０５】
また、ステレオ／インターレース動き検出部１４０２は、入力画像がインターレース画像である場合（ステレオ画像識別子が「０」の場合）、入力画像をフレーム画像（図１６（ａ）参照）としてフレーム内予測した場合（即ち、フレーム画像でのフレーム内予測を行う場合）と、入力画像を奇数行画像（上フィールド画像：図１６（ｂ）参照）と偶数行画像（下フィールド画像：図１６（ｃ）参照）とに分離してフレーム内予測した場合（即ち、フィールド画像でのフレーム内予測を行う場合）との符号化効率を比較し、符号化効率の高い方のフレーム内予測を選択する。
【０１０６】
ステレオ／インターレース空間予測部１４０５は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８を基に、フレームメモリ１４０４中の符号化済みである近傍のブロックの画像信号（参照画像信号１４２９）を参照して、各マクロブロックの予測画像信号１４３０を生成し、スイッチ１４０６に送る。
【０１０７】
このとき、入力画像がステレオ画像で（ステレオ画像識別子が「１」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がステレオ画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを左フィールド画像と右フィールド画像とに分けて空間予測した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号１４３０を作成する。
【０１０８】
一方、入力画像がインターレース画像で（ステレオ画像識別子が「０」の場合）、選択された予測モードが「フレーム画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを一つのフレーム画像として空間予測した後、予測画像信号１４３０を作成する。また、入力画像がインターレース画像で、選択された予測モードが「フィールド画像でのフレーム内予測」であるとき、ステレオ／インターレース空間予測部１４０５は、符号化対象のマクロブロックを上フィールド画像と下フィールド画像とに分けて空間予測した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号１４３０を作成する。
【０１０９】
スイッチ１４０６は、ステレオ／インターレース動き検出部１４０２から送られた予測モード１４３１に応じて、予測画像信号１４２７と予測画像信号１４３０のうちいずれかを選択し、選択した予測画像信号１４３２を減算器１４０７に送る。
【０１１０】
減算器１４０７は、入力画像信号１４２２と予測画像信号１４３２との差分値（予測残差信号１４３３）を生成し、ステレオ／インターレース直交変換部１４０８に送る。
【０１１１】
ステレオ／インターレース直交変換部１４０８は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、減算器１４０７から送られた予測残差信号１４３３の画素配置を変更して直交変換を行うことにより、直交変換係数１４３４を生成して、量子化部１４０９に送る。
【０１１２】
このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号１４３３の画素配置を図１７に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１７（ｂ）のように予測残差信号１４３３を左フィールド予測残差信号と右フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。
【０１１３】
一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号１４３３の画素配置を図１８に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ａ）のように予測残差信号１４３３の画素配置を変更することなく、４画素×４ラインのブロックに分割して、直交変換を行う。予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース直交変換部１４０８は、図１８（ｂ）のように予測残差信号１４３３を上フィールド予測残差信号と下フィールド予測残差信号とに分離した画素配置に変更し、フィールドごとに４画素×４ラインのブロックに分割して、直交変換を行う。
【０１１４】
なお、直交変換の単位は４画素×４ラインには限らず、１６画素×１６ライン、８画素×８ライン、１６画素×８ライン、８画素×１６ラインのような単位で行うこともできる。
【０１１５】
量子化部１４０９は、ステレオ／インターレース直交変換部１４０８から送られた直交変換係数１４３４を量子化することにより、量子化直交変換係数１４３５を生成し、可変長符号化部１４１０および逆量子化部１４１１に送る。
【０１１６】
次に、可変長符号化部１４１０が、動画像種別判定部１４０１から送られた復号画像の種別に関する情報（ステレオ画像識別子）、シーケンス情報、フレーム情報、スライス情報、およびマクロブロック情報を含む符号化に関する情報を合わせた信号１４４０と、量子化部１４０９から送られた量子化直交変換係数１４３５と、動き検出部１４０２から送られた予測モード、動きベクトル差分値および参照フレーム番号を含む信号１４２５とについて、エントロピー符号化を行って圧縮ストリーム１４３６に多重化して、外部へ伝送する。
【０１１７】
また、逆量子化部１４１１は、量子化部１４０９から送られた量子化直交変換係数１４３５について逆量子化を行うことにより、直交変換係数１４３７を生成して、ステレオ／インターレース逆直交変換部１４１２に送る。
【０１１８】
そして、ステレオ／インターレース逆直交変換部１４１２は、ステレオ／インターレース動き検出部１４０２から送られた信号１４２８又は１４４１を基に、逆量子化部１４１１から送られた直交変換係数１４３７について逆直交変換を行い、画素配置を変更して予測残差信号１４３８を生成し、加算器１４１３に送る。
【０１１９】
このとき、入力画像がステレオ画像であった場合（ステレオ画像識別子が「１」の場合）の予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成し、予測残差信号１４３８を生成する。
【０１２０】
一方、入力画像がインターレース画像であった場合（ステレオ画像識別子が「０」の場合）の予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号１４３３を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部１４１２は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成し、予測残差信号１４３８を生成する。
【０１２１】
加算器１４１３は、ステレオ／インターレース逆直交変換部１４１２から送られた予測残差信号１４３８と、スイッチ１４０６から送られた予測画像信号１４３２とを加算することで、局所復号画像であるフレーム画像信号１４３９を生成し、フレームメモリ１４０４に送る。このフレーム画像信号１４３９は、フレームメモリ１４０４に格納され、以降の符号化処理で、参照画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像に含まれ、同時に格納される。
【０１２２】
次に、図２１に示す動画像復号化装置２１０の動作について説明する。以下に説明する動画像復号化装置２１０は、動画像符号化装置１４０と同様に、Ｈ．２６４／ＡＶＣ符号化方式に準拠した復号化装置である。
【０１２３】
動画像復号化装置２１０は、動画像符号化装置１４０により出力された圧縮ストリーム１４３６を入力信号として用い、これを入力映像信号に復号化する機能を有する。
【０１２４】
動画像復号化装置２１０は、図２１に示すように、機能的な構成要素として、可変長復号化部２１０１と、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース動き補償部２１０３と、フレームメモリ２１０４と、ステレオ／インターレース空間予測部２１０５と、スイッチ２１０６と、逆量子化部２１０７と、ステレオ／インターレース逆直交変換部２１０８と、加算器２１０９とを備えて構成される。以下、各構成要素について説明する。
【０１２５】
可変長復号化部２１０１は、圧縮ストリーム１４３６を受信した後、圧縮ストリーム１４３６を復号化することで、シーケンスの先頭を表す同期記号およびシーケンスヘッダ、フレームヘッダ、スライスヘッダ、マクロブロックヘッダと、画像の種別に関する情報（ステレオ画像識別子）と、「マクロブロック単位の予測モードがフレーム画像でのフレーム間予測であるかフィールド画像でのフレーム間予測であるかの情報、または、予測モードがフレーム画像でのフレーム内予測であるかフィールド画像でのフレーム内予測であるかの情報」とを合わせた信号２１３４に復号し、当該信号２１３４を、ステレオ／インターレース動きベクトル復元部２１０２と、ステレオ／インターレース空間予測部２１０５と、ステレオ／インターレース逆直交変換部２１０８とに送る。また、可変長復号化部２１０１は、マクロブロック符号化情報として、マクロブロック単位で予測モードと量子化直交変換係数を復号する。
【０１２６】
また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、動きベクトル差分値と参照フレーム番号の復号も合わせて行う。なお、可変長復号化部２１０１は、復号した量子化直交変換係数２１２２を逆量子化部２１０７に送る。
【０１２７】
また、予測モードがフレーム間予測モードである場合、可変長復号化部２１０１は、復号した予測モードと動きベクトル差分値と参照フレーム番号とを含む信号２１２１をステレオ／インターレース動きベクトル復元部２１０２に送るとともに、復元した予測モード２１２６をスイッチ２１０６に送る。一方、予測モードがフレーム内予測モードである場合、可変長復号化部２１０１は、復号した予測モード２１２６をスイッチ２１０６およびステレオ／インターレース空間予測部２１０５に送る。
【０１２８】
予測モードがフレーム間予測モードである場合、ステレオ／インターレース動きベクトル復元部２１０２は、可変長復号化部２１０１から送信された信号２１３４と、動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて動きベクトルを復元し、上記の信号２１３４と、復元で得られた動きベクトル、予測モードおよび参照フレーム番号を含む信号２１２３とをステレオ／インターレース動き補償部２１０３に送る。
【０１２９】
より詳細には、ステレオ／インターレース動きベクトル復元部２１０２は、復号化対象の画像（以下「復号画像」という）がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、左フィールド画像と右フィールド画像の各フィールド単位での動きベクトルを復元する。
【０１３０】
また、ステレオ／インターレース動きベクトル復元部２１０２は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、マクロブロック単位でのフレーム画像の動きベクトルを復元する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、可変長復号化部２１０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトル２１２４から算出した動きベクトル予測値とを用いて、上フィールド画像と下フィールド画像の各フィールド単位での動きベクトルを復元する。
【０１３１】
ステレオ／インターレース動き補償部２１０３は、ステレオ／インターレース動きベクトル復元部２１０２から送られた信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照フレーム画像２１２７を用いて、予測画像信号２１２５を生成し、スイッチ２１０６に送る。なお、フレームメモリ２１０４には、過去の復号化済みのフレーム画像信号が格納されている。
【０１３２】
より詳細には、ステレオ／インターレース動き補償部２１０３は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２５を作成する。
【０１３３】
また、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フレーム画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２５を生成する。一方、ステレオ／インターレース動き補償部２１０３は、復号画像がインターレース画像（即ち、ステレオ画像識別子が「０」の場合）で、予測モードが「フィールド画像でのフレーム間予測」である場合、ステレオ／インターレース動きベクトル復元部２１０２から送信された信号２１３４と、動きベクトルと、予測モードと、参照フレーム番号とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２５を作成する。
【０１３４】
また、予測モードが「フレーム内予測モード」である場合、ステレオ／インターレース空間予測部２１０５は、符号化済みの近傍ブロックの画像信号（参照画像信号２１２７）を参照して予測画像信号２１２８を生成し、スイッチ２１０６に送る。
【０１３５】
より詳細には、ステレオ／インターレース空間予測部２１０５は、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がステレオ画像で（即ち、ステレオ画像識別子が「１」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、左フィールド画像と右フィールド画像の各フィールド単位で予測画像信号を生成した後、左フィールドの予測画像信号と右フィールドの予測画像信号とを縦１列ごとに交互に並べて予測画像信号２１２８を作成する。
【０１３６】
また、ステレオ／インターレース空間予測部２１０５は、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フレーム画像でのフレーム内予測」である場合、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、マクロブロック単位でのフレーム画像の予測画像信号２１２８を生成する。一方、復号画像がインターレース画像で（即ち、ステレオ画像識別子が「０」の場合）、予測モードが「フィールド画像でのフレーム内予測」である場合、ステレオ／インターレース空間予測部２１０５は、可変長復号化部２１０１から送信された信号２１３４と予測モード２１２６とに基づいて、フレームメモリ２１０４から送信される参照画像２１２７を用いて、上フィールド画像と下フィールド画像の各フィールド単位で予測画像信号を生成した後、上フィールドの予測画像信号と下フィールドの予測画像信号とを横１行ごとに交互に並べて予測画像信号２１２８を作成する。
【０１３７】
次に、スイッチ２１０６が、可変長復号化部２１０１から送信された予測モード２１２６に応じて、予測画像信号２１２５と予測画像信号２１２８のうちいずれかを選択し、選択した信号を予測画像信号２１２９として加算器２１０９に送る。
【０１３８】
一方、逆量子化部２１０７は、可変長復号化部２１０１により送信された量子化直交変換係数２１２２を逆量子化することで、量子化直交変換係数２１２２を直交変換係数２１３０に復元し、ステレオ／インターレース逆直交変換部２１０８に送る。
【０１３９】
ステレオ／インターレース逆直交変換部２１０８は、直交変換係数２１３０を逆直交変換することで、直交変換係数２１３０を予測残差信号２１３１に復号する。
【０１４０】
ステレオ／インターレース逆直交変換部２１０８に関するより詳細な説明は、動画像符号化装置１４０のステレオ／インターレース逆直交変換部１４１２と同様であるので、再度、図１９および図２０を使って説明する。
【０１４１】
入力画像がステレオ画像であった場合（即ち、ステレオ画像識別子が「１」の場合）における予測残差信号の画素配置変更を図１９に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図１９（ｂ）のように逆直交変換した左フィールド予測残差信号と右フィールド予測残差信号とを縦１列ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。
【０１４２】
また、入力画像がインターレース画像であった場合（即ち、ステレオ画像識別子が「０」の場合）における予測残差信号の画素配置変更を図２０に示す。予測モードが「フレーム画像でのフレーム間予測」または「フレーム画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ａ）のように４画素×４ラインのブロックごとに逆直交変換した画素配置を変更することなく予測残差信号２１３１を生成する。一方、予測モードが「フィールド画像でのフレーム間予測」または「フィールド画像でのフレーム内予測」の場合は、ステレオ／インターレース逆直交変換部２１０８は、図２０（ｂ）のように逆直交変換した上フィールド予測残差信号と下フィールド予測残差信号とを横１行ごとに交互に並べて合成することで、予測残差信号２１３１を生成する。
【０１４３】
加算器２１０９は、スイッチ２１０６から送信された予測画像信号２１２９と、ステレオ／インターレース逆直交変換部２１０８から送信された予測残差信号２１３１とを加算することで、フレーム画像信号２１３２として復号する。この加算器２１０９は、特許請求の範囲に記載した「画像データ生成部」に対応し、フレーム画像信号２１３２は、特許請求の範囲に記載した「画像データ」に対応する。
【０１４４】
復号されたフレーム画像信号２１３２は、以降の復号化処理に用いられるため、参照フレーム画像信号としてフレームメモリ２１０４に格納される。ここで、フレーム画像信号２１３２は、動画像符号化装置１４０における同一番号のフレーム画像信号１４３９と同一の値となる。また、動きベクトルや参照フレーム番号に関する情報も、参照フレーム画像信号に含まれ同時に格納される。
【０１４５】
最後に、フレーム画像信号２１３３は、所定の表示タイミングで表示デバイス（図示せず）へ出力され、入力映像信号（動画像信号）１４２１が再生される。
【０１４６】
以上述べた第２実施形態によれば、縦１列ごとに交互に左目画像と右目画像とが配置されたステレオ動画像信号に対し、フレーム画像として、または左フィールドと右フィールドからなるフィールド画像として、符号化および復号化を行うことにより、左目画像と右目画像の相関性を利用して、データ圧縮の効率を向上させることができる。
【０１４７】
また、入力したステレオ動画像信号と同じ画素配置の出力画像が得られるため、パララックスバリア方式の立体動画像表示装置で表示する場合に、復号化処理後の画像信号のラインの順番を変更し直すことなく、入力画像と同じ画像信号を得ることができる。
【０１４８】
さらに、縦１列ごとに交互に左目画像と右目画像が配置されたステレオ動画像信号、および横１行ごとに交互に奇数行画像と偶数行画像が配置されたインターレース動画像信号に対し、同一の動画像符号化装置で符号化を行うことができるとともに、同一の動画像復号化装置で復号化を行うことができ、装置の有効利用が可能である。
【０１４９】
なお、上記では、入力画像を、縦に２つに分割又は横に２つに分割することで得られる２つのフィールド画像に分離して、フレーム間予測又はフレーム内予測を行う例を示したが、入力画像の分離方法はこれに限定されるものではなく、入力画像を斜めの境界線によって分離してもよいし、上下方向に３つ以上に分離してもよいし、左右方向に３つ以上に分離してもよい。
【０１５０】
さて、以下では図２２〜図２５を用いて、上記の各実施形態の符号化処理プログラムおよび復号化処理プログラムについて概説する。
【０１５１】
図２２には、第１実施形態の動画像符号化処理に関する動画像符号化プログラム９１０の構成を示す。この図２２に示すように、動画像符号化プログラム９１０は、処理を統括するメインモジュール９１１と、動画像種別判定モジュール９１２と、動画像回転モジュール９１３と、動画像インターレース符号化モジュール９１４と、ステレオ画像識別子符号化モジュール９１５と、多重化モジュール９１６とを備える。動画像種別判定モジュール９１２、動画像回転モジュール９１３、動画像インターレース符号化モジュール９１４、ステレオ画像識別子符号化モジュール９１５、多重化モジュール９１６がコンピュータに行わせる機能はそれぞれ、前述した図３の動画像種別判定部３０１、動画像回転部３０３、動画像インターレース符号化部３０５、ステレオ画像識別子符号化部３０６、多重化部３０７の機能に相当する。
【０１５２】
図２３には、第１実施形態の動画像復号化処理に関する動画像復号化プログラム９２０の構成を示す。この図２３に示すように、動画像復号化プログラム９２０は、処理を統括するメインモジュール９２１と、分離モジュール９２２と、動画像インターレース復号化モジュール９２３と、ステレオ画像識別子復号化モジュール９２４と、処理制御モジュール９２５とを備える。分離モジュール９２２、動画像インターレース復号化モジュール９２３、ステレオ画像識別子復号化モジュール９２４がコンピュータに行わせる機能はそれぞれ、前述した図１１の分離部１１０１、動画像インターレース復号化部１１０２、ステレオ画像識別子復号化部１１０３の機能に相当する。また、処理制御モジュール９２５がコンピュータに行わせる機能は、図１１の動画像逆回転部１１０５、スイッチ１１０４および１１０６の機能に相当する。
【０１５３】
図２４には、第２実施形態の動画像符号化処理に関する動画像符号化プログラム９３０の構成を示す。この図２４に示すように、動画像符号化プログラム９３０は、処理を統括するメインモジュール９３１と、動画像種別判定モジュール９３２と、動き検出モジュール９３３と、動き補償モジュール９３４と、空間予測モジュール９３５と、直交変換モジュール９３６と、可変長符号化モジュール９３７と、逆直交変換モジュール９３８とを備える。動画像種別判定モジュール９３２、動き検出モジュール９３３、動き補償モジュール９３４、空間予測モジュール９３５がコンピュータに行わせる機能はそれぞれ、前述した図１４の動画像種別判定部１４０１、ステレオ／インターレース動き検出部１４０２、ステレオ／インターレース動き補償部１４０３、ステレオ／インターレース空間予測部１４０５の機能に相当する。また、直交変換モジュール９３６がコンピュータに行わせる機能は、図１４のスイッチ１４０６、減算器１４０７およびステレオ／インターレース直交変換部１４０８の機能に相当する。可変長符号化モジュール９３７がコンピュータに行わせる機能は、図１４の量子化部１４０９および可変長符号化部１４１０の機能に相当する。逆直交変換モジュール９３８がコンピュータに行わせる機能は、図１４の量子化部１４０９、逆量子化部１４１１およびステレオ／インターレース逆直交変換部１４１２の機能に相当する。
【０１５４】
図２５には、第２実施形態の動画像復号化処理に関する動画像復号化プログラム９４０の構成を示す。この図２５に示すように、動画像復号化プログラム９４０は、処理を統括するメインモジュール９４１と、可変長復号化モジュール９４２と、動きベクトル復元モジュール９４３と、動き補償モジュール９４４と、空間予測モジュール９４５と、逆直交変換モジュール９４６と、画像データ生成モジュール９４７とを備える。可変長復号化モジュール９４２、動きベクトル復元モジュール９４３、動き補償モジュール９４４、空間予測モジュール９４５がコンピュータに行わせる機能はそれぞれ、前述した図２１の可変長復号化部２１０１、ステレオ／インターレース動きベクトル復元部２１０２、ステレオ／インターレース動き補償部２１０３、ステレオ／インターレース空間予測部２１０５の機能に相当する。また、逆直交変換モジュール９４６がコンピュータに行わせる機能は、図２１の逆量子化部２１０７およびステレオ／インターレース逆直交変換部２１０８の機能に相当する。画像データ生成モジュール９４７がコンピュータに行わせる機能は、図２１の加算器２１０９の機能に相当する。
【０１５５】
なお、上記の各プログラムは、コンピュータ読取り可能な記録媒体（以下、単に「記録媒体」と記す）に記録されて流通してもよいし、その一部若しくは全部を他の機器から通信回線等の伝送媒体を介して、本発明に係る動画像符号化装置または動画像復号化装置により受信され、記録される構成にしてもよい。反対に、上記の各プログラムは、本発明に係る動画像符号化装置または動画像復号化装置から伝送媒体を介して他の機器に伝送され、インストールされる構成としてもよい。
【符号の説明】
【０１５６】
１０…フィルター、１１…液晶ディスプレイ、１２…スリット板、１３…左目、１４…右目、３０、１４０…動画像符号化装置、１１０、２１０…動画像復号化装置、３０１…動画像種別判定部、３０２…スイッチ、３０３…動画像回転部、３０４…スイッチ、３０５…動画像インターレース符号化部、３０６…ステレオ画像識別子符号化部、３０７…多重化部、９１０、９３０…動画像符号化プログラム、９２０、９４０…動画像符号化プログラム、１１０１…分離部、１１０２…動画像インターレース復号化部、１１０３…ステレオ画像識別子復号化部、１１０４…スイッチ、１１０５…動画像逆回転部、１１０６…スイッチ、１４０１…動画像種別判定部、１４０２…ステレオ／インターレース動き検出部、１４０３…ステレオ／インターレース動き補償部、１４０４…フレームメモリ、１４０５…ステレオ／インターレース空間予測部、１４０６…スイッチ、１４０７…減算器、１４０８…ステレオ／インターレース直交変換部、１４０９…量子化部、１４１０…可変長符号化部、１４１１…逆量子化部、１４１２…ステレオ／インターレース逆直交変換部、１４１３…加算器、２１０１…可変長復号化部、２１０２…ステレオ／インターレース動きベクトル復元部、２１０３…ステレオ／インターレース動き補償部、２１０４…フレームメモリ、２１０５…ステレオ／インターレース空間予測部、２１０６…スイッチ、２１０７…逆量子化部、２１０８…ステレオ／インターレース逆直交変換部、２１０９…加算器。
【特許請求の範囲】
【請求項１】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、
符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定部と、
符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転部と、
ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化部と、
符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化部と、
前記動画像インターレース符号化部によるインターレース符号化で得られた符号化ビットストリームと、前記ステレオ画像識別子符号化部による符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化部と、
を備える動画像符号化装置。
【請求項２】
前記ステレオ画像識別子符号化部は、前記動画像回転部によって符号化対象の動画像に対し行われた回転に関する情報を、ステレオ画像識別子に含めて符号化することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、
受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離部と、
分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化部と、
分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化部と、
前記動画像インターレース復号化部によるインターレース復号化で得られた動画像信号に対し、前記ステレオ画像識別子復号化部による復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御部と、
を備える動画像復号化装置。
【請求項４】
前記処理制御部は、復号化で得られたステレオ画像識別子に含まれる回転に関する情報に基づいて、動画像が復元されるように前記動画像信号に対し画像処理を行うことを特徴とする請求項３に記載の動画像復号化装置。
【請求項５】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、
符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、
前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、
前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、
を備える動画像符号化装置。
【請求項６】
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部をさらに備える請求項５記載の動画像符号化装置。
【請求項７】
前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することを特徴とする請求項５に記載の動画像符号化装置。
【請求項８】
前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項９】
前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項１０】
前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項１１】
前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことを特徴とする請求項６に記載の動画像符号化装置。
【請求項１２】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、
復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、
前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、
前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、
前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、
前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、
前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部と、
を備える動画像復号化装置。
【請求項１３】
前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１４】
前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１５】
前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１６】
前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１７】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、
符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定ステップと、
符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転ステップと、
ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化ステップと、
符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化ステップと、
前記インターレース符号化で得られた符号化ビットストリームと、前記符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化ステップと、
を有する動画像符号化方法。
【請求項１８】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、
受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離ステップと、
分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化ステップと、
分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化ステップと、
前記インターレース復号化で得られた動画像信号に対し、前記復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御ステップと、
を有する動画像復号化方法。
【請求項１９】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、
符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、
前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、
前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、
を有する動画像符号化方法。
【請求項２０】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、
復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、
前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、
前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、
前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、
前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、
前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップと、
を有する動画像復号化方法。
【請求項１】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、
符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定部と、
符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転部と、
ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化部と、
符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化部と、
前記動画像インターレース符号化部によるインターレース符号化で得られた符号化ビットストリームと、前記ステレオ画像識別子符号化部による符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化部と、
を備える動画像符号化装置。
【請求項２】
前記ステレオ画像識別子符号化部は、前記動画像回転部によって符号化対象の動画像に対し行われた回転に関する情報を、ステレオ画像識別子に含めて符号化することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、
受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離部と、
分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化部と、
分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化部と、
前記動画像インターレース復号化部によるインターレース復号化で得られた動画像信号に対し、前記ステレオ画像識別子復号化部による復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御部と、
を備える動画像復号化装置。
【請求項４】
前記処理制御部は、復号化で得られたステレオ画像識別子に含まれる回転に関する情報に基づいて、動画像が復元されるように前記動画像信号に対し画像処理を行うことを特徴とする請求項３に記載の動画像復号化装置。
【請求項５】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化装置であって、
符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定部と、
前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出部と、
前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換部と、
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化部と、
を備える動画像符号化装置。
【請求項６】
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部をさらに備える請求項５記載の動画像符号化装置。
【請求項７】
前記動き検出部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを検出することを特徴とする請求項５に記載の動画像符号化装置。
【請求項８】
前記動き補償部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項９】
前記空間予測部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、符号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項１０】
前記直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記予測残差信号に基づく予測残差画像を左フィールド予測残差画像と右フィールド予測残差画像として左右に分離したフィールドごとに、直交変換を行うことを特徴とする請求項５に記載の動画像符号化装置。
【請求項１１】
前記逆直交変換部は、符号化対象の動画像がステレオ動画像で、前記選択した予測モードに基づき符号化対象領域をフィールド画像として予測する場合に、前記直交変換後の画像データを左フィールド画像データと右フィールド画像データとして左右に分離したフィールドごとに、逆直交変換を含む所定の画像処理を行うことを特徴とする請求項６に記載の動画像符号化装置。
【請求項１２】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化装置であって、
復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化部と、
前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元部と、
前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償部と、
前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測部と、
前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換部と、
前記逆直交変換部による画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成部と、
を備える動画像復号化装置。
【請求項１３】
前記動きベクトル復元部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動きベクトルを復元することを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１４】
前記動き補償部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、動き補償を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１５】
前記空間予測部は、復号化対象の動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、空間予測を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１６】
前記逆直交変換部は、復号化する動画像がステレオ動画像で、前記予測モード情報に基づき復号化対象領域をフィールド画像として予測する場合に、復号化対象領域を左フィールド画像と右フィールド画像として左右に分離したフィールドごとに、逆直交変換を行うことを特徴とする請求項１２に記載の動画像復号化装置。
【請求項１７】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、
符号化対象の動画像がステレオ動画像であるか否かを判定する動画像種別判定ステップと、
符号化対象の動画像がステレオ動画像であると判定された場合に、当該動画像における縦方向が横方向に変わるように、当該動画像を所定方向に所定角度回転させる動画像回転ステップと、
ステレオ動画像でないと判定された動画像、およびステレオ動画像であると判定され前記所定角度回転した動画像をインターレース符号化する動画像インターレース符号化ステップと、
符号化対象の動画像がステレオ動画像であるか否かを示すステレオ画像識別子を符号化するステレオ画像識別子符号化ステップと、
前記インターレース符号化で得られた符号化ビットストリームと、前記符号化で得られたステレオ画像識別子の符号とを多重化することで多重化符号化ビットストリームを作成する多重化ステップと、
を有する動画像符号化方法。
【請求項１８】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、
受信された多重化符号化ビットストリームを、動画像の符号化ビットストリームとステレオ画像識別子の符号とに分離する分離ステップと、
分離された前記動画像の符号化ビットストリームをインターレース復号化する動画像インターレース復号化ステップと、
分離された前記ステレオ画像識別子の符号を復号化するステレオ画像識別子復号化ステップと、
前記インターレース復号化で得られた動画像信号に対し、前記復号化で得られたステレオ画像識別子に応じた画像処理を行う処理制御ステップと、
を有する動画像復号化方法。
【請求項１９】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を符号化する動画像符号化方法であって、
符号化対象の動画像を表す入力画像信号に基づいて、当該符号化対象の動画像がステレオ動画像であるか否かの種別を判定する動画像種別判定ステップと、
前記判定により得られた動画像の種別に応じて予測モードを選択し、当該予測モードとしてフレーム間予測モードを選択した場合、当該符号化対象の動画像に対する動きベクトルを検出する動き検出ステップと、
前記動画像の種別、前記選択された予測モードおよび前記検出された動きベクトルに基づいて、前記動画像に対し、動き補償を行う動き補償ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記動画像に対し、空間予測を行う空間予測ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記動き補償または前記空間予測により得られた予測画像信号と前記入力画像信号との差分として得られる予測残差信号に対し、直交変換を行う直交変換ステップと、
前記動画像の種別および前記選択された予測モードに基づいて、前記直交変換後の画像データに対し、可変長符号化を含む所定の画像処理を行う可変長符号化ステップと、
を有する動画像符号化方法。
【請求項２０】
右目画像と左目画像を縦１列ごとに交互に並べたステレオ動画像、および奇数行画像と偶数行画像を横１行ごとに交互に並べたインターレース動画像を復号化する動画像復号化方法であって、
復号化対象の動画像がステレオ動画像であるか否かの種別情報、復号化対象領域に関する予測モード情報、および復号化対象領域の直交変換済み画像データを復号化する可変長復号化ステップと、
前記復号化により得られた種別情報および予測モード情報に基づいて、復号化対象領域の動きベクトルを復元する動きベクトル復元ステップと、
前記種別情報、予測モード情報および前記復元された動きベクトルに基づいて、復号化対象領域に関する動き補償を行う動き補償ステップと、
前記種別情報および予測モード情報に基づいて、復号化対象領域に関する空間予測を行う空間予測ステップと、
前記種別情報および予測モード情報に基づいて、前記復号化により得られた復号化対象領域の直交変換済み画像データに対し、逆直交変換を含む所定の画像処理を行う逆直交変換ステップと、
前記画像処理により得られた予測残差信号と、前記動き補償または前記空間予測により得られた予測画像信号とから、復号化対象領域の画像データを生成する画像データ生成ステップと、
を有する動画像復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１９５４７（Ｐ２０１２−１９５４７Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１１−２０７６８９（Ｐ２０１１−２０７６８９）
【出願日】平成２３年９月２２日（２０１１．９．２２）
【分割の表示】特願２００９−１４６６８３（Ｐ２００９−１４６６８３）の分割
【原出願日】平成１６年５月１３日（２００４．５．１３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２３年９月２２日（２０１１．９．２２）
【分割の表示】特願２００９−１４６６８３（Ｐ２００９−１４６６８３）の分割
【原出願日】平成１６年５月１３日（２００４．５．１３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]