画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システム
【課題】解像度の低下を最小限に抑えた状態で複数のソースの動画像を伝送する。
【解決手段】複数の異なるソース動画像が順次に入力されるステップと、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、前記統合画像を受信側へ送信するステップと、を備える。
【解決手段】複数の異なるソース動画像が順次に入力されるステップと、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、前記統合画像を受信側へ送信するステップと、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。
【０００３】
また、現行のデジタル放送では、電子番組表やデータ放送などのサービスが運用されており、ユーザ希望に応じて通常の映像と音声の番組以外のサービスを受けられるようになってきている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
こうした状況において、通常番組においても、映像と音声に新たな付加価値をつけることで更なるサービスの充実を図ることが要望されている。映像に付加価値をつける１つの方法として、上述したような二眼立体視動画像を伝送することが挙げられる。両眼立体視は、左眼用動画像と右眼用動画像を伝送し、受信側で左目には左眼用動画像を提示し、右目には右眼用動画像を提示することで可能になる。
【０００６】
しかしながら、二眼立体視動画像の伝送においては、伝送する情報量が２倍になるため、２次元画像と比較すると、空間解像度、または時間解像度のいずれかが低下する問題がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、解像度を低下を最小限に抑えた状態で複数のソースの動画像を伝送することが可能な、新規かつ改良された画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の異なるソース動画像が順次に入力されるステップと、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、前記統合画像を受信側へ送信するステップと、を備える、画像送信方法が提供される。
【０００９】
また、前記メイン画像を生成するステップにおいて、ソース動画像のオリジナルサイズを縮小して前記メイン画像を生成するものであってもよい。
【００１０】
また、前記サブ画像を生成するステップにおいて、フレーム間の差分を縮小して前記サブ画像を生成するものであってもよい。
【００１１】
また、前記サブ画像を生成するステップにおいて、前記他のソース動画像について、１つ前のフレームの前記他のソース動画像と、現フレームの前記他のソース動画像との差分から現フレームのサブ画像を生成するものであってもよい。
【００１２】
また、前記サブ動画像は、前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像から生成されるものであってもよい。
【００１３】
また、前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、Ｋ−Ｍ番目の画像、又はＫ＋Ｎ−Ｍ番目の画像であってもよい。
【００１４】
また、前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、ｉ、ｊを０以上の整数とすると、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−１番目以前とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ＋Ｎ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ＋Ｎ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、Ｋ−１番目以前とｊを０以上の整数としたときにＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、のいずれかであってもよい。
【００１５】
また、前記サブ動画像は、前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像に対して補正演算処理を行って生成され、前記補正処理は、伝送する補正差分画像数Ｓに対して、１又は複数の補正差分画像を生成する処理であり、補正差分画像１は、元画像もしくは縮小元画像と推定元画像との差分画像に対して、伝送する画像内の配置に基づく縮小率で縮小処理を施して得る画像であり、補正差分画像ｎ（ｎ＝２〜Ｓ）は、元画像もしくは縮小元画像から、推定元画像ならびに補正差分画像１〜補正差分画像（ｎ−１）を推定元画像と同サイズに拡大して得た拡大補正差分画像１〜拡大補正差分画像（ｎ−１）を減算した差分画像を、伝送する画像内の配置に基づく縮小率で縮小処理を施して得られる画像であってもよい。
【００１６】
また、元画像もしくは縮小元画像と補正差分画像を統合した統合動画像では、各ソース動画像の配置を入れ替えることで、前の統合画像の元画像もしくは縮小画像と同位置に次の統合画像の元画像もしくは縮小画像が配置され、前の統合画像の補正差分画像と同位置に次の統合画像の補正差分画像が配置されるものであってもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、前記メイン画像に対応するソース動画像を復元するステップと、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、を備える、画像受信方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を備える、画像送信装置が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を備える、画像受信装置が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、を備える画像伝送システムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、前記メイン画像に対応するソース動画像を復元するステップと、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、を備える、画像受信方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を備える、画像送信装置が提供される。
【００２３】
また、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を備える、画像受信装置が提供される。
【００２４】
また、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、を備える画像伝送システムが提供される。
【発明の効果】
【００２５】
本発明によれば、解像度を低下させることなく、複数のソースの動画像を伝送することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を説明するため、飛んでいるボールなどを撮影した動画を示す模式図である。
【図２】サブ画像をなくした場合、メイン画像が左眼・右眼の交互に並ぶ動画像を示す模式図である。
【図３】メイン画像とサブ画像を横方向に配置した場合を示す模式図である。
【図４】メイン画像とサブ画像を上下方向に配置した場合を示す模式図である。
【図５】第１の実施形態に係る送信装置の処理ブロックを示す模式図である。
【図６】第１の実施形態に係る受信装置の処理ブロックを示す模式図である。
【図７】図５の処理ブロックの動作を示す送信側のフローチャートである。
【図８】サブ画像処理を示すフローチャートである。
【図９】第１の実施形態の受信側の処理を示すフローチャートである。
【図１０】第１の実施形態の受信側の処理を示すフローチャートである。
【図１１】第２の実施形態の送信装置の処理ブロックを示す模式図である。
【図１２】第２の実施形態の受信装置の処理ブロックを示す模式図である。
【図１３】第２の実施形態の送信側の処理を示すフローチャートである。
【図１４】図１３のサブ画像処理を示すフローチャートである。
【図１５】第２の実施形態の受信側の処理を示すフローチャートである。
【図１６】図１５のサブ画像復元処理を示すフローチャートである。
【図１７】第３の実施形態に係る送信装置の処理ブロックを示す模式図である。
【図１８】第３の実施形態の受信装置の処理ブロックを示す模式図である。
【図１９】第３の実施形態の送信側の処理を示すフローチャートである。
【図２０】図１９の出力処理を示すフローチャートである。
【図２１】サブ画像処理を示すフローチャートである。
【図２２】図２１のステップＳ１１０２における、推定元画像算出処理のフローチャートである。
【図２３】メイン画像処理を示すフローチャートである。
【図２４】図２３のステップＳ１３０６におけるサブ画像処理のフローチャートである。
【図２５】推定元画像算出処理を示すフローチャートである。
【図２６】メイン画像の右側と下側にサブ画像を１つずつ配置した統合画像内の様子を示す模式図である。
【図２７】サブ画像配置が３箇所になった場合を示す模式図である。
【図２８】サブ画像配置が２箇所になった場合を示す模式図である。
【図２９】サブ画像配置が２箇所になった場合を示す模式図である。
【図３０】差分画像をオリジナル画像サイズで行った場合に、送信側のサブ画像処理を示すフローチャートである。
【図３１】差分画像をオリジナル画像サイズで行った場合に、受信側のサブ画像復元処理を示すフローチャートである。
【図３２】現フレームＬ２において、Ｌ１の推定元画像を算出する方法を示す模式図である。
【図３３】３つの全く異なる動画像を統合画像として伝送する場合を示す模式図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（本発明に係る実施形態の基本的構成）
２．第２の実施形態（オリジナル画を用いてサブ画像を生成する例）
３．第３の実施形態（動き補償、重み付けを用いて推定元画像を生成する例）
【００２９】
＜１．第１の実施形態＞
既存の映像伝送にて二眼立体視動画像を伝送する場合、左眼・右眼で独立の動画伝送を行うのではなく、左眼画像と右眼画像を交互に伝送するフレーム（フィールド）シーケンシャル方式や、左眼画像と右眼画像を一枚のフレーム（フィールド）内に左右に並べて伝送するサイドバイサイド方式、左眼画像と右眼画像を一枚のフレーム（フィールド）内に上下に並べて伝送するトップアンドボトム方式などを用いる。
【００３０】
これらの方式では、時間方向・左右方向・上下方向いずれかのサンプル数を半分にすることで、左眼画像と右眼画像を送ることを可能にしている。このため、時間方向・左右方向・上下方向いずれかで解像度が半分となる。
【００３１】
時間方向の解像度（時間解像度）が不足した場合には動きへの追従性が悪くなり、動きの滑らかさが失われる現象が発生し、上下左右方向の解像度（空間解像度）が半分になると被写体のリアリティ（特に静止している被写体のリアリティ）が失われる現象が発生する。
【００３２】
もともと既存の映像伝送では一眼画像を伝送することが前提であるため、同じ圧縮率での符号化を考えた場合には、二眼立体視動画像を伝送する場合、情報量が２倍となるため、時間方向または上下左右方向での解像度劣化がトレードオフとなる。
【００３３】
一方、いずれか一方向（時間方向または空間方向）での解像度劣化ではなく、それぞれの方向に解像度劣化は生じるが、全体での解像度劣化が抑えられる方法は現時点で想定されていないのが実情である。
【００３４】
ここで、時間解像度・空間解像度と人間の視覚特性に関する知見として、次のようなことが挙げられる。
・静止画と動画
静止画を伝送する場合には、空間解像度が高いことが望ましく、フレーム（フィールド）シーケンシャル方式による伝送がもっとも良いと考えられる。一方、動きの速い動画を伝送する場合には、時間解像度が高いことが望ましく、映像の縦横方向での解像度を低下させたサイドバイサイド方式もしくはトップアンドボトム方式が最良となる。
【００３５】
しかしながら、通常のビデオカメラでの撮影では、背景は静止画に近く、前景は動画に近い状態であり、一概に時間解像度と空間解像度のどちらか一方を優先したり、空間解像度の上下あるいは左右のどちらか一方に解像度のしわ寄せを行うのは好ましい状況とは言えない。
【００３６】
・視覚特性と時間解像度
人間の視覚特性としては、時間方向で映像が変化したか否かは敏感に感じられる。また、物体の移動に関しては、移動速度の変化について予測と異なる動きが発生すると人間の資格特性は敏感に反応する。このため、図１に示すように、飛んでいるボールなどを撮影した動画では、時間方向に半分のサンプルを行い、同じフレームを２回表示すると、静止・動作の繰り返しとして認識され、動きの滑らかさを欠いたギクシャクした動きとなってしまう。
【００３７】
また、シーンの切り替わり時には、突然シーン全面を切り替えるよりも、前後シーンがブレンドされつつ、後半のシーンに切り替わる方が滑らかなシーンチェンジになる。この現象は動体よりも静止物に依存し、静止物が突然無くなることによる違和感から生じると考えられる。
【００３８】
・視覚特性と空間解像度
人間の視覚特性としては、動きを伴うものに対する空間解像度よりも、静止物に対する空間解像度の方が敏感である。これはタイヤがとまっているとホイールのデザインがはっきり見えるのに比べて動き始めるとホイールのデザインがわからなくなっていく状況を思い浮かべると理解しやすい。
【００３９】
動体に関して、時間解像度には敏感であり、空間解像度には比較的鈍感であるという点は、タイヤがまわっている場合では次のように考えられる。回っているタイヤのホイールデザインの詳細部がぼけていても違和感はないが、ホイールデザインの詳細部がはっきりと映っていてもタイヤが止まったり動いたりするように見えると違和感を感じるようになる。
【００４０】
・両眼視における補正作用
また両眼で立体視を行う場合には、片眼での情報が多少不足する状態でももう一方の眼に入る情報によって情報が補完されて、立体視が可能である。たとえば、片眼の視力が低下した場合など、片眼の画像としてはぼやけた画像になっていたとしても、両眼立体視を行うともう一方の目の情報によって、立体視が可能であるとともにある程度ぼやけが解消するように見える。
【００４１】
以上のように、人間の視覚特性に照らして時間解像度・空間解像度を考えると、時間方向・左右方向・上下方向何れかのみの解像度をトレードオフの犠牲にするのは好ましくないことがわかるとともに、人間の視覚特性を考慮することでより好適な時空間解像度制御方法を考えることが望ましい。
【００４２】
以上の観点から、時間方向・左右方向・上下方向の何れかのみの解像度を１／２にして二眼立体視動画像を伝送する方式に比較して、本実施形態では、人間の視覚特性を考慮に入れて、より好適な時空間解像度制御を可能にした、複数動画像、特に二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供する。
【００４３】
先ず、本実施形態の基本的な形態を示す。図５は、第１の実施形態に係る送信装置の処理ブロックを示す模式図である。本実施形態の送信側処理では、図５の左側に示す、左眼用動画像、右眼用動画像、メイン縮小率、サブ縮小率、メインサブ配置情報を入力とし、左右フラグ、統合動画像、メイン縮小率、サブ縮小率、メインサブ配置情報、推定元画像０フラグを出力としている。
【００４４】
左眼用動画像、右眼用動画像はそれぞれの眼で同時に見ることで立体視可能な動画像である。メインとサブの縮小率はメインサブ配置に関連しており、左眼用・右眼用の動画像の画像サイズ（これをオリジナル画サイズと呼ぶ）に対して、統合画像内のメイン画像やサブ画像がどのくらい縮小されるかを示すものである。
【００４５】
本実施形態では、ソース動画像数を２つに限定する必要はないが、まず最初に、最も効果的である二眼立体視動画像を入力とした場合で説明を行う。二眼立体視動画像の場合にはソース画像は左眼用もしくは右眼用の動画像であり、任意の第１のソース画像と第２のソース画像を例に挙げるよりも理解し易いため、下記では左眼もしくは右眼としてソース画像を表現する。
【００４６】
図２の左側は、メイン画像Ｌ０とサブ画像ｄＲ０、メイン画像Ｒ１とサブ画像ｄＬ１、メイン画像Ｌ２とサブ画像ｄＲ２、メイン画像Ｒ３とサブ画像ｄＬ３からなる統合画像が時系列に送られる様子を示している。図２に示すように、統合画像は、メイン画像とサブ画像を合わせた画像であり、左眼用または右眼用のオリジナル画と同等のサイズである。メイン画像は、オリジナル画に対してメイン縮小率で規定される縮小率で縮小される。また、サブ画像は、オリジナル画に対してサブ縮小率で規定される縮小率で縮小される。本実施形態において、メイン画像とサブ画像の縮尺率は、統合画像内で配置可能な範囲内で変更することが可能である。例えば、図２の右側のようにサブ画像をなくした場合、メイン画像Ｌ０，Ｒ１，Ｌ２，Ｒ３・・・が左眼・右眼用の交互に並ぶ動画像となるため、フレームシーケンシャル方式と同等の伝送方式となる。
【００４７】
図３及び図４の左側に示す図は、図２の左側に示す図と同様に、メイン縮小率とサブ縮小率を異なるようにした場合を示している。また、図３の中央に示す図は、メイン画像とサブ画像とを同じサイズにして左右に配置した場合を示しており、サイドバイサイド方式と同等の伝送方式となる。また、図４の中央に示す図は、メイン画像とサブ画像とを同じサイズにして上下に配置した場合を示しており、トップアンドボトム方式と同等の伝送方式となる。
【００４８】
本実施形態では、図２〜図４の左側の図に示すように、メイン縮小率とサブ縮小率を異ならせて統合画像を生成する。従って、本実施形態は、フレームシーケンシャル方式・サイドバイサイド方式・トップアンドボトム方式の中間的な伝送方式であり、時間方向・左右方向・上下方向いずれかのみの解像度を半分にして二眼立体視動画像を伝送するという制約を解き、伝送するコンテンツに応じて、フレームシーケンシャル方式に近い伝送方法としたり、サイドバイサイド方式に近い伝送方法にするなど時空間解像度を制御することが可能としたものである。ここで、メイン縮小率を大きくするほどフレームシーケンシャル方式に近い伝送方法となり、メイン縮小率を小さくするほどサイドバイサイド方式（またはトップアンドボトム方式）に近い伝送方法となる。
【００４９】
図３に示すように、２フレーム目を現フレームとすると、サブ画像ｄＬ１は現フレームのメイン画像Ｌ１と前のフレームのメイン画像Ｌ０との差分であり、現フレームのメイン画像Ｌ１は送信側から送信されない。つまり、２フレーム目では左眼用画像として差分ｄＬ１を送ることで、サブ画像の情報量を低下させることができ、メイン画像に対してサブ画像を小さくして統合画像を生成することができる。同様に、サブ画像ｄＲ２はメイン画像Ｒ２と前のフレームのメイン画像Ｒ１との差分であり、メイン画像Ｒ２は送信側から送信されない。これを一般化すると、ｄＲ２ｎ＝Ｒ２ｎ−Ｒ２ｎ−１，ｄＬ２ｎ＋１＝Ｌ２ｎ＋１−Ｌ２ｎとなる。図４に示すトップアンドボトム方式の場合も同様である。なお、ｄＲ２ｎ，ｄＲ２ｎを差分画像と称することとする。
【００５０】
また、本実施形態では、時間軸方向での差分画像をベース概念とした補正差分画像を導入することで、時間変化する成分と時間変化しない成分の分離を図り、静止物と動体の空間周波数の扱いを分離することを可能にしている。これは静止物と動体では空間周波数の高域成分に対する感度が異なっているという視覚特性上の性質を考慮したものであり、サブ画像から高域成分に敏感な静止物を取り除いてサブ画像の高域劣化耐性をあげることで、メイン画像とサブ画像の縮小率を変えてメイン画像の解像度を改善することを可能にしている。
【００５１】
すなわち、前後のフレーム間では、静止している部分のデータについては変化しない。例えばフレームＬ１とフレームＬ２では、静止している部分のデータは同一であり、動きのある部分のみが変化する。従って、差分画像ｄＬ１（＝Ｌ１−Ｌ０）は、動きのある部分に対応した画像になる。
【００５２】
サブ画像に関しては縮小率を上げた分だけ（サブ画像を小さくした分だけ）不鮮明な画像になることは避けられないが、静止物の分離による高域耐性の向上とともに、両眼立体視において情報欠落の補完に用いられる反対側の眼の画像であるメイン画像は高域特性が改善されており、立体視動画視聴上大きな支障になることはない。
【００５３】
さらに、左眼画像と右眼画像に対して交互にメイン画像とサブ画像を切り替えることで、サブ画像内の静止物については同じ眼の時間軸上前後方向のメイン画像を含めた推定元画像から高域成分も含めて画像情報を得ることが可能となり、高解像感のある静止物表示が可能となった。
【００５４】
以上のように、本実施形態を用いることで、旧来からある、時間方向・左右方向・上下方向いずれかのみの解像度を１／２にして、二眼立体視動画像を伝送する方式に比較して、人間の視覚特性を考慮に入れた、より好適な時空間解像度制御が可能な二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供可能である。
【００５５】
次に、本発明の二眼立体動画像以外の複数動画像処理における効果を説明する。二眼立体視動画像を伝送する場合には、両眼立体視における情報欠落の補完作用を有効に活用することや統合画像のメイン画像位置とサブ画像位置を揃えることで統合画像の動画像圧縮に有利であることは本実施形態の一つの特徴として挙げられるが、処理としては各ソース画像ごとの処理となっているため、処理自体は立体視動画像処理に制限されることも、二つの動画像入力に制限されることもない。
【００５６】
たとえば、図３３に示すように、３つの全く異なる動画像を統合画像として伝送する場合にも順番にメイン画像となるソース画像を変えることで対応可能である。この場合でもサブ画像が時間軸方向での差分画像をベース概念としていることは不変であるため、静止物の分離による空間周波数の高域耐性の向上は行われ、サブ画像の縮小拡大による影響が少ない伝送を行うことが可能である。
【００５７】
メイン画像以外のソース画像は２画像あるため、統合画像にはソース画像１のメイン画像Ｌ０とソース画像２のサブ画像ｄＬ０、ソース画像３のサブ画像ｄＲ０が配置される。この場合でもメイン画像を高解像度とし、サブ画像の画像サイズを小さくして配置することで、静止物の空間解像度をメイン画像で得、動体に関してはサブ画像で時間方向の解像度を得ることが可能である。
【００５８】
以上から、本実施形態によって、人間の視覚特性を考慮に入れて、より好適な時空間解像度制御を可能にした、複数動画像、特に二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供することが可能となる。
【００５９】
１つのソース画に対するサブ画像は１つに限られるものではなく、統合画像内に複数配置することができる。例えば、図２６には、メイン画像の右側と下側にサブ画像をひとつずつ配置した統合画像内の様子を示している。例えば１フレーム目では、Ｌ０がメイン画像であり、ｄＲ００，ｄＲ１０はサブ画像である。メイン画像であるＬ０,Ｒ１のオリジナル画サイズに対する割合をメイン縮小率とし、サブ画像ｄＲ００，ｄＲ１０のオリジナル画サイズに対するそれぞれの割合をサブ縮小率とする。
【００６０】
図５の処理ブロックは、入力部１１０、メイン画像処理部１２０、サブ画像処理部１３０、統合画像生成処理部１４０の４つに分けられる。これらの動作を記述したのが図７の本実施形態の送信側のフローチャートである。
【００６１】
送信側の処理としては、左右眼画像のどちらがメインでどちらがサブかを決めるフラグをもっており（ここでは初期値として、ｍａｉｎ＝Ｌ，ｓｕｂ＝Ｒとする）、このフラグに応じて入力されたオリジナル画の左右眼画像を入力部１１０でメイン画像処理部１２０とサブ画像処理部１３０に交互に振り分ける。
【００６２】
メイン画像処理部１２０では、メイン元画像（オリジナル画サイズ）をメイン縮小率で縮小し、統合画像内のメイン画像のサイズに合わせる。また、上述のようにｄＲ２ｎ＝Ｒ２ｎ−Ｒ２ｎ−１，ｄＬ２ｎ＋１＝Ｌ２ｎ＋１−Ｌ２ｎであるため、このメイン画像（Ｒ２ｎ−１またはＬ２ｎ）は、次のフレームのサブ画像（ｄＲ２ｎまたはｄＬ２ｎ＋１）を作成する際に使用するために保存しておく。次に、ｍａｉｎを左右フラグとして出力し、統合画像にメイン画像とサブ画像を配置して出力した後、まだ入力画像があれば、入力部１１０での交互振り分けのためにｍａｉｎ，ｓｕｂを切り替えて、上記処理を再度行い、入力画像がなくなれば終了する。
【００６３】
サブ画像処理部１３０では、サブ画像を算出する。サブ画像処理部１３０の処理については、図８に示したサブ画像処理のフローチャートに従って説明を行う。まず、推定元画像を作成する。本実施形態では、一枚前のメイン画像を現在のメイン画像サイズに拡大もしくは縮小して推定元画像とする（ステップＳ２００）。この処理はサブ画像処理部１３０の拡大・縮小部１３１にて行う。なお、図３、図４に示したように、メイン画像サイズが不変であれば当然ながらこの拡大縮小は不要であり、１枚前のメイン画像（図３及び図４に示すＬ０，Ｌ２，・・・，Ｒ１，Ｒ３，・・・，）を推定元画像とする。
【００６４】
ただし、最初のサブ画像処理では一枚前のメイン画像が存在しないので、推定元画像の画素値はすべて０とする。また、推定元画像の画素値を０として処理したかどうかを、受信側で判別できるようにするために、推定元画像０フラグを出力する。ここで、推定元画像０フラグ＝１で画素値を０としたと判定することとする。
【００６５】
次に、この推定元画像と同サイズにサブ元画像（オリジナル画サイズ）を縮小し（ステップＳ２０２）、縮小したサブ元画像（図３及び図４におけるＬ１，Ｌ３，・・・，Ｒ０，Ｒ２，・・・，）から推定元画像を引いて差分画像とする（ステップＳ２０４）。この縮小処理は縮小処理部１３２で行い、差分画像の算出は差分画像算出部１３３で行う。ここで、（差分画像）＝（縮小サブ元画像）−（推定元画像）であるので、差分画像に推定元画像を加算すればメイン画像サイズのサブ元画像を得ることができる。受信側では、推定元画像は１枚前の統合画像内から切り出したメイン画像を基に算出可能である。
【００６６】
サブ画像としては、図２６のようにメイン画像の右横と下側の双方に配置される場合がある。このような場合、本実施形態では、最初に右横のサブ画像（図２６の２フレーム目であればｄＬ００）を算出し、次に下側のサブ画像（２フレーム目であればｄＬ０１）を算出するものとする。最初に上述のようにして算出した差分画像を右横のサブ画像サイズに縮小して補正差分画像（サブ画像）を出力する。下側のサブ画像の算出については、図８のステップＳ２０８における、「求めるサブ画像はまだあるか？」の条件分岐でｙｅｓ側の処理にしたがって行われる。すなわち、これから求めようとする下側に配置されるサブ画像の前に算出されたサブ画像（本実施形態では右横のサブ画像）をメイン画像サイズに拡大して拡大サブ画像を算出し（ステップＳ２１０）、差分画像から拡大サブ画像を減算して新たな差分画像とする（ステップＳ２１２）。つまり、
（新たな差分画像）＝（差分画像）−（拡大サブ画像）
とする。この新たな差分画像を下側のサブ画像サイズに縮小して下側サブ画像を出力し、すべての求めるサブ画像算出が終了し、サブ画像処理は終了となる。
【００６７】
ここで、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）とし、差分画像を右横のサブ画像サイズに縮小する処理をＦ１、右横のサブ画像をメイン画像サイズに拡大する処理をＦ２、差分画像を下側のサブ画像サイズに縮小する処理をＧ１，下側のサブ画像をメイン画像サイズに拡大する処理をＧ２とすると、
（サブ画像ｄＳ０（Ｋ））
＝Ｆ１＊（差分画像）
＝Ｆ１＊（（縮小サブ元画像）−（推定元画像））
であり、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｆ２＊（サブ画像）
＝（差分画像）−Ｆ２＊Ｆ１＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ１（Ｋ））
＝Ｇ１＊（新たな差分画像）
＝Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。
【００６８】
縮小処理によって情報量は削減されてしまうため、縮小処理後に拡大処理をおこなっても、縮小前の画像を復元することはできないため、上記の新たな差分画像の各画素がすべて０になることはない。ただし、例外として縮小率＝拡大率＝１．０の場合（すなわち縮小しない場合）にはＦ２＊Ｆ１＝１となり、新たな差分画像の各画素がすべて０になって、新たな差分画像は意味を持たなくなる。この場合、統合画像上で考えると、メイン画像と並ぶサブ画像がメイン画像と同サイズの領域を持つものであり、いわゆるサイドバイサイド画像かトップアンドボトム画像と同じ並びになる。
【００６９】
差分画像は正負の値を扱うため、メイン画像と同じビット数で統合画像に配置する際には、精度を落とす形になる。本実施形態では、１枚おきに量子化精度に問題のないメイン画像が使用され、これに対する差分画像の精度が落ちる形になるため、全体の動画像を通しての品質的な問題とはなりにくいが、単純に最下位ビットを無視して処理するだけでなく、非線形量子化などを利用することも考えられる。
【００７０】
なお、特例として、サブ画像サイズが１つでメイン画像サイズと同じサイズの場合に限り、サブ画像を補正差分画像ではなく、サブ画像サイズに縮小したサブ元画像として扱う取り決めを送信側と受信側で行うことにより、減算を行うことで生じる正負符号のためのビット増加による精度落ちを回避することができる。
【００７１】
また、図２７のようにサブ画像配置が３箇所になった場合も想定することができる。この場合には、右下のサブ画像をｄＳ２（Ｋ）、差分画像を右下のサブ画像サイズに縮小する処理をＨ１，右下のサブ画像をメイン画像サイズに拡大する処理をＨ２とすると、
差分画像はすでに、
（差分画像）＝（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となっているため、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｇ２＊（サブ画像）
＝（差分画像）−Ｇ２＊Ｇ１＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ２（Ｋ））
＝Ｈ１＊（新たな差分画像）
＝Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。
【００７２】
以上のようにしてサブ画像が生成されると、拡大部１３５によりサブ画像がメイン画サイズに拡大される。拡大されたサブ画像は、次のフレームの差分画像を算出する際に推定元画像（１フレーム前のメイン画像）として使用される。
【００７３】
統合画像生成処理部１４０は、メイン画像処理部１２０からメイン画像の入力を受け、サブ画像処理部１３０からサブ画像の入力を受けて、統合画像を生成し、これを受信装置２００へ出力する。この他、送信装置１００は、図５に示すように、左右フラグ、推定元画像０フラグ、メイン縮小率、サブ縮小率、メインサブ配置の情報を受信装置２００へ送信する。
【００７４】
［受信側の処理について］
次に受信側の処理について説明する。図６は、本実施形態の受信装置２００の処理ブロックを示す模式図である。本実施形態の受信側処理では、図６の左側にある、統合動画像、メインサブ配置情報、メイン縮小率、サブ縮小率、左右フラグ、推定元画像０フラグを入力とし、左眼用動画像、右眼用動画像を出力する。図６の処理ブロックは、入力部２１０、メイン画像処理部２２０、サブ画像処理部２３０、復元画像振り分け処理２４０の４つに分けられる。この受信側の処理を図９、図１０のフローチャートに示す。
【００７５】
先ず図９のフローチャートについて説明すると、図６の入力部２１０では、入力された統合画像とメインサブ配置情報からメイン画像とサブ画像を切り出す（ステップＳ３００）。図３及び図４の統合画像であれば、サブ画像は１画像である。また、図２６の統合画像であればサブ画像は２画像であり、図２７の統合画像であればサブ画像は３画像である。メイン画像はメイン画像処理部２２０へ入力され、サブ画像はサブ画像処理部２３０へ入力される。次に、サブ画像処理ブロック２３０で後述のサブ画像復元処理を行い、サブ復元画像を算出する（ステップＳ３０２）。その後、メイン画像処理ブロック２２０で、メイン縮小率を用いてメイン画像をオリジナル画像サイズに拡大し、メイン復元画像を算出する（ステップＳ３０４）。メイン復元画像への拡大は、メイン画像処理部２２０の拡大処理部２２１にて行われる。メイン復元画像は次のサブ復元処理に用いられるので、メイン縮小率とメイン画像は次のサブ復元処理が行われるまで保存される（ステップＳ３０６）。
【００７６】
さらに、得られたメイン復元画像とサブ復元画像を左右フラグに応じて、左眼用画像と右眼用画像に振り分けて出力する（ステップＳ３０８）。ステップＳ３１０〜ステップＳ３００のループにて、全ての統合画像に関してこれを繰り返すと受信側の処理を終了する。
【００７７】
図１０は、サブ画像復元処理を示すフローチャートである。サブ画像復元処理は、推定元画像に推定元画像サイズに調整したサブ画像をすべて加算して、オリジナル画像サイズに拡大して出力する処理である。
【００７８】
この処理では、最初に、１枚前のメイン画像を１枚前のメイン画像縮小率と現在の縮小率を用いて、現在のメイン画像サイズに拡大・縮小して、推定元画像を求める（ステップＳ４００）。なお、図３、図４に示したように、メイン画像サイズが不変であればこの拡大縮小は不要であり、１枚前のメイン画像を推定元画像とする。この処理は、本実施形態において推定元画像を１枚前のメイン画像とすることを送信側と受信側の取り決めとしており、送信側、受信側の処理で同じ推定元画像を用いて処理が行われていることに基づいている。ただし、推定元画像０フラグが１の場合には送信側で推定元画像の画素値を０としてサブ画像を算出しているので、推定元画像の画素値を全て０とする。
【００７９】
次に、推定元画像を一時復元画像とし（ステップＳ４０２）、サブ画像それぞれに対して、順に、現在のメイン画像サイズ（＝推定元画像サイズ）に拡大し（ステップＳ４０４）、一時復元画像への加算を行い（ステップＳ４０６）、ステップＳ４０８〜Ｓ４０４のループにて、全てのサブ画像について終了したら、一時サブ復元画像をオリジナル画像サイズに拡大してサブ復元画像として出力して終了する（ステップＳ４１０）。
【００８０】
例えば図２６の統合画像であれば、送信側の処理で用いた、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）、メイン画像サイズを右横のサブ画像サイズに縮小する処理Ｆ１、右横のサブ画像をメイン画像サイズに拡大する処理Ｆ２、差分画像を下側のサブ画像サイズに縮小する処理Ｇ１，下側のサブ画像をメイン画像サイズに拡大する処理Ｇ２を使用すると、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（縮小サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＝（縮小サブ元画像）
−（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
がすべてのサブ画像を加算した状態での一時復元画像である。縮小サブ元画像が復元されることが最適なケースであるが、統合画像内の限られた解像度に収めるために縮小処理が入っており、特殊な場合を除き、（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）は０にはならない。もちろん、（縮小サブ元画像）−（推定元画像）は言い換えると現フレームと前フレームの差分画像であり、静止画であれば全く問題なく復元ができることを意味している。
【００８１】
さらにサブ画像数が増えた図２７に対しては、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））＋Ｈ２＊（サブ画像ｄＳ２（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（縮小サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＋Ｈ２＊Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＝（縮小サブ元画像）
−（１−Ｈ２＊Ｈ１）＊（（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となり、一時復元画像は、より縮小サブ元画像に近づく。
【００８２】
ここで、縮小処理と拡大処理をより具体的に説明する。たとえば図２６において、右横のサブ画像に縮小する場合、縦方向のサイズは変更されないため、横方向の一次元フィルタを各行の画素に適用して、横方向の画素数を間引いた横縮小画像を出力とすると考える。
【００８３】
この処理は画像全体を行列とみなし、各画素を行列の要素とみなすと、
［横縮小画像］＝［元画像］［Ｆ１］
という行列演算で示すことができる。Ｆ１のｉ列ベクトルは、出力の横縮小画像のｉ列の画素を算出するための縮小ＦＩＲフィルタの係数である。つまり着目画素付近に重みをつけた上で代表画素値を算出するためのベクトルであり、この列ベクトル数が横縮小画像の横幅になる。このため、［Ｆ１］は正方行列ではなく行数の方が列数よりも多い行列になる。
【００８４】
また、横方向拡大処理についても通常行われる処理は同様に行列演算として表現でき、
［横拡大画像］＝［元画像］［Ｆ２］
と示される。ｉ列ベクトルはＦ１のものと同様に、出力の復元画像のｉ列の画素を算出するための拡大ＦＩＲフィルタの係数である。違いは行数の方が列数よりも少ない行列であることである。
【００８５】
これを用いると横縮小後に横拡大して復元する処理は、
［復元画像］＝［元画像］［Ｆ１］［Ｆ２］
となる。
【００８６】
一方、縦方向については、ｉ列ベクトルではなく、ｉ行ベクトルがフィルタの役割をするため、行列の掛ける方向が異なっており、
［復元画像］＝［Ｇ２］［Ｇ１］［元画像］
となる。
【００８７】
これらの関係を用いて図２６の一時復元画像を算出すると、
［サブ画像ｄＳ０（Ｋ）］＝（［縮小サブ元画像］−［推定元画像］）［Ｆ１］
［サブ画像ｄＳ１（Ｋ）］＝［Ｇ１］（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
［一時復元画像］
＝［縮小サブ元画像］
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
となる。図２７に対しては、さらに増えたサブ画像が、縦方向及び横方向に拡大縮小を行う形になっている。縦方向と横方向を独立なフィルタ（縮小：Ｈ１０、Ｈ１１、拡大：Ｈ２０、Ｈ２１）として考えた場合には、
［サブ画像ｄＳ２（Ｋ）］＝［Ｈ１０］（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）［Ｈ１１］
［一時復元画像］
＝［縮小サブ元画像］
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
＋［Ｈ２０］［Ｈ１０］（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）［Ｈ１１］［Ｈ２１］
＝［縮小サブ元画像］
−（１−［Ｈ２０］［Ｈ１０］）（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）（１−［Ｈ１１］［Ｈ２１］）
＋（１−［Ｈ２０］［Ｈ１０］）（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）（１−［Ｈ１１］［Ｈ２１］）
となる。
【００８８】
本実施形態では、１枚前のメイン画像を推定元画像に用いており、一時復元画像の誤差成分は時間的な変化分に依存している。上記の縮小拡大フィルタは低域通過フィルタとして考えられるので、図２６の場合も図２７の場合も時間的な変化分に対して、（全域−低域通過フィルタ）で示される高域通過フィルタによって、時間的変化分の高域成分が１枚前のメイン画像に置き換えられるような誤差になっている。
【００８９】
上述したように、視覚特性としては時間方向の変化には敏感であるが、変化時の空間方向の高周波成分はそれほど敏感ではないため、ある程度の誤差は許容できると考えられる。しかし、縮小拡大フィルタによって１枚前のフレームにもないような擬似輪郭や時間方向での揺れ動くような均一でない状況が発生することは避けるべきである。
【００９０】
以上のようにしてメイン画像、サブ画像が復元されると、振分け処理部２４０により、左右フラグに従ってメイン画像、サブ画像の左右への振り分けが行われる。これにより、左眼用動画像、右眼用動画像を得ることができる。
【００９１】
＜２．第２の実施形態＞
第２の実施形態では、第１の実施形態に対して、処理を簡略化した形態を示す。第１の実施形態では、サブ画像処理の中心がメイン画像サイズで行われており、送信側ではオリジナル画像サイズからメイン画像サイズに縮小して画像処理を行い、サブ画像サイズに縮小してサブ画像とする。伝送後は、受信側でサブ画像サイズからメイン画像サイズへの拡大の後、画像処理されて得た一時復元画像がさらにオリジナル画像サイズに拡大されて表示されるようになっている。
【００９２】
一方、第２の実施形態では、サブ画像に関わる処理をメイン画像サイズではなく、オリジナル画像サイズで行う。図１１は、第２の実施形態の送信装置１００の処理ブロックを示している。図５と比較すると差分画像算出ブロック１３３の前段で、サブ元画像の縮小処理は行われない。また、拡大部１３６にて、保存されていたメイン画像を現在のメイン画像サイズではなくオリジナル画像サイズに拡大すること第１の実施形態と異なっている。
【００９３】
本実施形態の送信側のフローチャートを図１３に示す。図１３の処理は、図７のフローチャートと処理の流れは同じであり、処理上の違いは図１３のステップＳ５０４と図７のステップＳ１０４のサブ画像処理である。この相違は、図１４に示すサブ画像処理のフローチャートに現れている。
【００９４】
図１４の最初のステップで示されるように、本実施形態では、推定元画像として一枚前のメイン画像をオリジナル画像サイズに拡大した画像を用いる（ステップＳ６００）。この拡大処理は、拡大部１３６にて行う。なお、一枚前のメイン画像がない場合に、推定元画像の画素値を０とすること、推定元画像０フラグに推定元画像の画素値を０にしたかどうかを設定し出力することは図８の処理と同じである。
【００９５】
サブ元画像はオリジナル画像サイズであるので、サブ元画像から推定元画像を引いて差分画像とする（ステップＳ６０２）。ここで、（差分画像）＝（サブ元画像）−（推定元画像）であるので、差分画像に推定元画像を加算すればサブ元画像を得ることができる。なお、受信側では推定元画像は１枚前の統合画像内から切り出したメイン画像をもとに算出可能である。
【００９６】
本実施形態では、最初に右横のサブ画像を算出し、次に下側のサブ画像を算出するものとすると、最初に差分画像を右横のサブ画像サイズに縮小して補正差分画像（サブ画像）を出力する（ステップＳ６０４）。
【００９７】
下側のサブ画像の算出については、図１４のステップＳ６０６における「求めるサブ画像はまだあるか？」の条件分岐でｙｅｓ側の処理にしたがって行われる。すなわち、これから求めようとするサブ画像の前のサブ画像（本実施形態では右横のサブ画像）をオリジナル画像サイズに拡大した拡大サブ画像を算出し（ステップＳ６０８）、差分画像から拡大サブ画像を減算して新たな差分画像とする（ステップＳ６１０）。
【００９８】
つまり、
（新たな差分画像）＝（差分画像）−（拡大サブ画像）
とする。この新たな差分画像を下側のサブ画像サイズに縮小して下側サブ画像を出力し、すべての求めるサブ画像算出が終了すると、サブ画像処理は終了となる。
【００９９】
ここで、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）とし、差分画像を右横のサブ画像サイズに縮小する処理をＦ１、右横のサブ画像をオリジナル画像サイズに拡大する処理をＦ２、差分画像を下側のサブ画像サイズに縮小する処理をＧ１，下側のサブ画像をオリジナル画像サイズに拡大する処理をＧ２とすると、
（サブ画像ｄＳ０（Ｋ））
＝Ｆ１＊（差分画像）
＝Ｆ１＊（（サブ元画像）−（推定元画像））
であり、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｆ２＊（サブ画像）
＝（差分画像）−Ｆ２＊Ｆ１＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ１（Ｋ））
＝Ｇ１＊（新たな差分画像）
＝Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。
【０１００】
縮小処理によって情報量は削減されてしまうため、縮小処理後に拡大処理を行っても、縮小前の画像を復元することはできないため、上記の新たな差分画像の各画素がすべて０になることはない。
【０１０１】
図２７の場合の３番目のサブ画像についても、右下のサブ画像をｄＳ２（Ｋ）、差分画像を右下のサブ画像サイズに縮小する処理をＨ１，右下のサブ画像をメイン画像サイズに拡大する処理をＨ２とすると、
差分画像はすでに、
（差分画像）＝（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となっているため、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｇ２＊（サブ画像）
＝（差分画像）−Ｇ２＊Ｇ１＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ２（Ｋ））
＝Ｈ１＊（新たな差分画像）
＝Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。
【０１０２】
次に、第２の実施形態に係る受信装置２００の処理ブロックを図１２に示す。図６と比較するとメイン画像処理の前でメイン画像とメイン縮小率を保存していたところが、メイン画像処理の後にオリジナル画サイズのメイン画像を保存する形に変更されている。また、サブ画像処理では、推定元画像として一枚前のオリジナル画サイズのメイン画像をそのまま用いて拡大サブ画像と合算する形に変更されている。推定元画像と拡大サブ画像を合算する処理ブロックの後でも、拡大処理なしで復元画像振分け処理に入力される形になっており、図６に比較してサブ画像処理が簡略化されている。
【０１０３】
この受信側の処理のフローチャートを図１５、図１６に示す。図１５に関しても図９のフローチャートと処理の流れは変わらず、第１の実施形態ではメイン画像とメイン縮小率を保存していたところが、メイン復元画像を保存することに変更された点が相違点（ステップＳ３０２とステップＳ７０２の違い）といえる。図１６に示されているサブ画像復元処理では、一時復元画像がオリジナル画像サイズとなっているために、推定元画像のサイズや拡大サブ画像のサイズをオリジナル画像サイズとする点（ステップＳ８００〜Ｓ８０４）、サブ復元画像として出力する際に、オリジナル画像サイズへの拡大を行わなくとも良くなった点（ステップＳ８１０）が図１０と異なる点である。
【０１０４】
図２６の統合画像であれば、送信側の処理で用いた、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）、メイン画像サイズを右横のサブ画像サイズに縮小する処理Ｆ１、右横のサブ画像をオリジナル画像サイズに拡大する処理Ｆ２、差分画像を下側のサブ画像サイズに縮小する処理Ｇ１，下側のサブ画像をオリジナル画像サイズに拡大する処理Ｇ２を使用すると、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＝（サブ元画像）
−（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
がすべてのサブ画像を加算した状態での一時復元画像である。サブ元画像が復元されることが最適なケースであるが、統合画像内の限られた解像度に収めるために縮小処理が入っており、（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）は０にはならない。（サブ元画像）−（推定元画像）は言い換えると現フレームと前フレームの差分画像であり、静止画であれば全く問題なく復元ができることを意味している。
【０１０５】
さらにサブ画像数が増えた図２７に対しては、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））＋Ｈ２＊（サブ画像ｄＳ２（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＋Ｈ２＊Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＝（サブ元画像）
−（１−Ｈ２＊Ｈ１）＊（（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となり、一時復元画像は、よりサブ元画像に近づく。
【０１０６】
第１の実施の形態と同様に、縮小処理と拡大処理をより具体的に説明する。複数画素に重みをつけて出力画素を算出する縮小処理および拡大処理が行列演算として表現できることは第１の実施の形態にも示した。ここでも同様に行列演算で本実施例の処理を説明する。なお、行列演算として表現できないような縮小処理や拡大処理を用いることもできる。
【０１０７】
本実施形態では、オリジナル画像サイズでのサブ画像処理を行っているため、右横のサブ画像でも下側のサブ画像でも縦横方向の縮小拡大処理が入ってしまう。右横のサブ画像の縮小処理をＦ１０，Ｆ１１、拡大処理をＦ２０，Ｆ２１とし、下側のサブ画像の縮小処理をＧ１０，Ｇ１１、拡大処理をＧ２０，Ｇ２１とすると、
図２６のサブ画像処理およびサブ画像復元処理では、
［サブ画像ｄＳ０（Ｋ）］＝［Ｆ１０］［差分画像０］［Ｆ１１］
ただし、
［差分画像０］＝［サブ元画像］−［推定元画像］。
［サブ画像ｄＳ１（Ｋ）］＝［Ｇ１０］［差分画像１］［Ｇ１１］
ただし、
［差分画像１］
＝ （１−［Ｆ２０］［Ｆ１０］）［差分画像０］
＋ ［差分画像０］（１−［Ｆ１１］［Ｆ２１］）
−（１−［Ｆ２０］［Ｆ１０］）［差分画像０］（１−［Ｆ１１］［Ｆ２１］）
［サブ復元画像］
＝［サブ元画像］
＋（１−［Ｇ２０］［Ｇ１０］）［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
− ［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
−（１−［Ｇ２０］［Ｇ１０］）［差分画像１］
となる。図２７に対しては、さらに増えたサブ画像の縮小処理をＨ１０，Ｈ１１、拡大処理をＨ２０，Ｈ２１として考えた場合には、
［サブ画像ｄＳ２（Ｋ）］＝［Ｈ１０］［差分画像２］［Ｈ１１］
ただし、
［差分画像２］＝［差分画像１］−［Ｇ２０］［Ｇ１０］［差分画像１］［Ｇ１１］［Ｇ２１］
＝ （１−［Ｇ２０］［Ｇ１０］）［差分画像１］
＋ ［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
−（１−［Ｇ２０］［Ｇ１０］）［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
［サブ復元画像］
＝［サブ元画像］
＋（１−［Ｈ２０］［Ｈ１０］）［差分画像２］（１−［Ｈ１１］［Ｈ２１］）
− ［差分画像２］（１−［Ｈ１１］［Ｈ２１］）
−（１−［Ｈ２０］［Ｈ１０］）［差分画像２］
となる。
【０１０８】
上記の式ではサブ復元画像はサブ画像を増やすとサブ元画像に近づくと考えられるが、実際には統合画像の解像度の制限によって、Ｆ，Ｇ，Ｈの縮小拡大処理行列は変化するため、図２７のサブ画像３個の場合と、図２８、図２９のサブ画像２個の場合のどちらがより好適かは、この解像度の制限によって変化する。また、より単純にメイン画像とサブ画像１個の方が良い場合もあり得る。これらは伝送するコンテンツの内容にも依存して最適条件が変化するため、これに応じて柔軟に対応可能である。
【０１０９】
メインサブ配置やメイン縮小率、サブ縮小率を統合画像ごとに伝送すればダイナミックにメインサブを変更することも可能である。また、これらの変更は少ないとして、変化したときのみ伝送することも可能である。更には、一定の配置や縮小率と送受信間で取り決めて伝送パラメータに含めないことも可能である。縮小拡大処理のフィルタパラメータに関してもメイン縮小率・サブ縮小率に伴って伝送することも考えられる。
【０１１０】
本実施形態では、差分画像をオリジナル画像サイズで行っているため、サブ画像サイズとメイン画像サイズが同じになってもＦ１,Ｆ２の縮小・拡大率は１．０にならない。そこで、図３０に示すような送信側のサブ画像処理を用い、図３１に示すような受信側のサブ画像復元処理を用いることも考えられる。
【０１１１】
図３０、図３１のフローチャートでは、最初にメイン画像とサブ画像の縮小率が同じかどうかを判断し、同じだった場合には差分画像を用いず、送信側ではサブ元画像をそのまま縮小し、受信側ではサブ画像をそのままオリジナル画像サイズに拡大して出力している。なお。多くのコンテンツでは、サブ画像サイズとメイン画像サイズを等しくする場合よりも、サブ画像サイズがメイン画像サイズよりも小さくなること場合の方が適していると考えられるため、図３０、図３１の処理が必ずしも必要になるわけではない。
【０１１２】
＜３．第３の実施形態＞
第３の実施形態では、動き補償も含めた例を示す。第１の実施形態では、サブ画像を作成する際やサブ画像から復元画像を生成する際に必要となる推定元画像は、１フレーム前の統合画像内のメイン画像としたが、第３の実施形態では複数のメイン画像・サブ復元画像を参照して推定元画像を生成する。更に、第３の実施形態では、それらの画像とサブ元画像との動き検出や動き補償処理を行い、重みつき平均によって推定元画像を算出する。
【０１１３】
推定元画像の算出に関して、本実施形態では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズのサブ復元画像、１枚後のメイン画像を使用するものとする。図３２は、現フレームＬ２において、Ｌ１の推定元画像を算出する方法を示す模式図である。この場合、１，３，５枚前の３個のメイン画像として、Ｌ０，Ｌ−２，Ｌ−４を用い、２，４枚前の２個のメイン画像サイズのサブ復元画像として、Ｌ−１，Ｌ−３を用い、１枚後のメイン画像としてＬ２を用いるものとする。
【０１１４】
動き検出と動き補正処理は、メイン画像サイズの画像を８ｘ８の画素ブロックに分け、それぞれのブロックが他の画像のどこにマッチングするかを求め、マッチング箇所を並べ直して推定元画像算出に用いることとする。もちろん、算出に用いるメイン画像数やメイン画像サイズ、サブ復元画像数や動き検出方法および動き補正方法には特に制限はなく、どのような枚数、動き検出・補正方法であっても適用可能である。
【０１１５】
図１７は、第３の実施形態に係る送信装置１００の処理ブロックを示す模式図である。図５に比較すると、図１７では、サブ画像処理ブロックの内部処理以外では、入力部のサブ元画像、サブ縮小率が一旦バッファリングされる。また、図１７では、メイン画像処理部１２０の出力の左右フラグ、メイン画像がバッファリングされ、また、メイン画像処理部１２０からの出力のメイン画像、メイン縮小率のバッファリング数が複数に対応できるようになっており、サブ画像処理部で必要なメイン画像、メイン縮小率を複数供給できるようになる。
【０１１６】
また、図１７では、サブ画像処理部１３０の出力であるメイン画像サイズサブ復元画像、サブ復元縮小率をバッファリングし、後のサブ画像処理で必要なメイン画像サイズサブ復元画像、サブ復元縮小率を供給できる。また、図１７では、推定元画像０フラグに替わって重みつき平均の重みを出力する。図１７では、以上の構成が図５に対して異なっている。
【０１１７】
この変更に伴って、図１９に示すフローチャートは図７のフローチャートから変化している。処理の最初に、ｍａｉｎ＝Ｌ，ｓｕｂ＝Ｒ，ｐ＿ｎｕｍ＝０とする（ステップＳ９００）。ｍａｉｎ，ｓｕｂは左右のどちらをメイン画像・サブ画像とするかを示すフラグであり、ｐ＿ｎｕｍは出力する統合画像の画像番号であり、０を最初の画像とし、一枚作成するごとに１ずつ増加するカウンタ値である。
【０１１８】
処理としては両眼画像すべてについてのループ処理となっている。ループ処理としては、まず、ｍａｉｎ，ｓｕｂに応じて両眼画像をメイン元画像とサブ元画像とし（ステップＳ９０２）、サブ元画像とサブ縮小率を保存する（ステップＳ９０４）。
【０１１９】
次にメイン画像処理を行い、メイン元画像をメイン縮小率で縮小してメイン画像とする（ステップＳ９０６）。この際、メイン画像とメイン縮小率を保存するとともに、ｍａｉｎフラグを左右フラグとして保存する（ステップＳ９０８）。これらの保存データに関しては、最初の画像から何枚目かを示す画像インデックスなどで検索可能とし、出力処理やサブ画像処理で必要な画像を引き出すことを可能とする。
【０１２０】
フローチャートとしては、この段階でサブ画像処理に必要な後続メイン画像は揃ったかどうかを判定し、判定結果に応じた分岐処理となる（ステップＳ９１０）。本実施形態では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズサブ復元画像、１枚後のメイン画像を使用することとしており、後続メイン画像としてはサブ画像処理を行うｐ＿ｎｕｍ番号に対してｐ＿ｎｕｍ＋１のメイン画像を使用する。
【０１２１】
このため、最初の処理では後続メイン画像は揃っておらず、ｎｏの判定になる。もちろん、両眼画像はまだ存在するので次の分岐はｙｅｓ判定になって、ステップＳ９２８でｍａｉｎ，ｓｕｂを入れ替えた上でループ処理を繰り返す。この繰り返しによって、再度サブ画像処理に必要な後続メイン画像（ｐ＿ｎｕｍ＋１）が揃うため、ステップＳ９１０の分岐処理がｙｅｓ判定になって、ｐ＿ｎｕｍのサブ画像処理（ステップＳ９２２）と出力処理（ステップＳ９２４）が行われる。
【０１２２】
このループ処理は、ステップＳ９２６の判定に応じて、両眼画像全てを処理するまで行われる。最後の両眼画像がメイン・サブに分けられて保存され、上記の分岐処理ならびにサブ画像処理・出力処理が行われると、残りの両眼画像はなくなる。しかし、後続メイン画像を使用している関係で、サブ画像処理した画像数と保存したメイン画像・サブ元画像数にはずれが生じているため、処理を続行してメイン画像をすべて統合画像に配置して伝送しなければならない。このため、ｍａｉｎ，ｓｕｂを入れ替えた上で（ステップＳ９２０）、再度、後続メイン画像が足りないままサブ画像処理と出力処理を行い、全ての保存したサブ元画像が処理された段階で処理を終了する。
【０１２３】
図２０は、図１９のステップＳ９２４の出力処理を示すフローチャートである。図２０の出力処理では、算出したサブ画像と同時刻のメイン画像を統合画像に配置し（ステップＳ１０００）、同時刻の統合画像、メインサブ配置、左右フラグ、メイン縮小率、サブ縮小率、動きベクトルを出力するとともに（ステップＳ１００２）、サブ画像を算出する際に用いた推定元画像算出に用いた重みも出力する（ステップＳ１００４）。この重みでは、最初の処理で存在しなかったメイン画像やサブ復元画像に対して０を指定する。また、最後に後続メイン画像が不足した状況でサブ画像算出した場合の不足したメイン画像に対して０を指定しており、受信側で得られない画像の重みを０とすることで同じ推定元画像を生成できる仕組みとしている。
【０１２４】
こうした出力を行った後、ｐ＿ｎｕｍをインクリメントして（ステップＳ１００６）、ｐ＿ｎｕｍを次の処理すべき統合画像の画像番号として出力処理を終了する。
【０１２５】
図２１は、図１９のステップＳ９２２のサブ画像処理のフローチャートである。本実施形態のサブ画像処理では、サブ元画像を現在のメイン画像サイズに縮小して縮小サブ元画像とする（ステップＳ１１００）。次に後述する推定元画像算出処理によって推定元画像を算出する（ステップＳ１１０２）。次に、求めた縮小サブ元画像から推定元画像を引いて差分画像とし、差分画像を一時サブ復元元画像にコピーする（ステップＳ１１０４）。以降、求めるサブ画像の数だけループ処理を行う。
【０１２６】
ループ処理の内容は以下である。先ず、差分画像を縮小して補正差分画像を求め、サブ画像として出力する（ステップＳ１１０６）。次にサブ画像を現在のメイン画像サイズに拡大し、拡大サブ画像とする（ステップＳ１１０８）。さらに、一時サブ復元画像に拡大サブ画像を加算して新たな一時サブ復元画像とする（ステップＳ１１１０）。
【０１２７】
ステップＳ１１１２では求めるサブ画像がまだあるか否かを判定し、この時点でサブ画像数がそろっていればループを終了し、一時サブ復元画像をメイン画像サイズサブ復元画像として出力する（ステップＳ１１１６）。サブ画像数が足りない場合には、差分画像から拡大差分画像を減算して新たな差分画像とし（ステップＳ１１１４）、ループ処理を繰り返す。
【０１２８】
図２２は、図２１のステップＳ１１０２における、推定元画像算出処理のフローチャートである。本実施形態では推定元画像を複数の画像から算出する。複数の画像からは重みつき平均を用いて一枚の推定元画像とするので、最初に一時推定元画像を画素値０で初期化し（ステップＳ１２００）、重みをつけて画素加算することで最終的な推定元画像を得ることにする。なお、重みを掛けた際の丸め処理方法などの詳細については記述しないが、方法は特に限定されるものではない。
【０１２９】
また、推定ソース画像は既に記述したように、前３枚のメイン画像と前２枚のサブ画像、後１枚のメイン画像とする（ステップＳ１２０２）。これら全ての推定ソース画像に対してループ処理を行う。
【０１３０】
ループ処理の内容は以下である。先ず、ステップＳ１２０４において、当該の推定ソース画像が存在するか否かを判定し、当該の推定ソース画像が存在しない場合は、一時重みの当該係数を０として次の推定ソース画像の処理に移る（ステップＳ１２１４）。推定ソース画像が存在しないケースは、両眼動画像の最初の画像を処理するときなどに算出するサブ画像よりも前の画像がない場合と、最後の画像を処理するときなどに算出するサブ画像よりも後の画像がない場合がある。これらの場合には推定ソース画像として画素値０をもつ画像を想定するため、一時推定元画像には加算処理を行わない。また、この処理を受信側でも同様に行うために、重み係数のうちの該当する係数を０として伝送する。
【０１３１】
また、当該の推定ソース画像が存在する場合には、推定ソース画像を現在のメイン画像サイズに拡大・縮小し、補正前入力画像とする（ステップＳ１２０６）。
【０１３２】
次に、図２１のサブ画像処理のフローチャートの最初に算出した縮小サブ元画像を８ｘ８のブロックにわけ、各ブロックごとに最もマッチするブロック位置を補正前入力画像から選び、このときの画像上でのブロック位置のずれを動きベクトルとして出力する（ステップＳ１２０８）。
【０１３３】
この動きベクトルを用いて補正前入力画像上のマッチングしたブロックを、縮小サブ元画像の各ブロック位置に配置しなおし、補正後入力画像とする（ステップＳ１２１０）。この状態で、補正後入力画像と縮小サブ元画像の各ブロックはマッチングが取れている状態となっているので、推定ソース画像ごとに定めた重みを各画素に乗算し、一時推定元画像に加算する。また、この重みを一時重みの該当重みにコピーする（ステップＳ１２１２）。
【０１３４】
ステップＳ１２１６では、残りの推定ソース画像があるか否かを判定し、この時点ですべての推定ソース画像の処理が済んでいれば、ループ処理を終了して一時推定元画像を推定元画像として出力するとともに、一時重みを重みとして出力して推定元画像算出処理を終了する（ステップＳ１２１８）。一方、ステップＳ１２１６で残りの推定ソース画像がある場合には、ループ処理を繰り返す。
【０１３５】
以上のようにして、本実施形態では、複数の推定ソース画像の動き検出と動き補正を行った後に重み付け平均をとった推定元画像を算出することができる。
【０１３６】
どのメイン画像、メイン画像サイズサブ復元画像を使用するか、動き検出・補償を行うブロックのサイズはどのくらいにするかなどは、受信側とあらかじめ取り決めを行うことができる。また、取り決めを行わない場合は、送信側からこれらの情報を伝送し、受信側でも送信側と同じ推定元画像を生成できるようにする。メイン画像に関しては現在よりも後のメイン画像を推定ソース画像として使用できるが、メイン画像サイズサブ復元画像に関しては現在よりも前のメイン画像サイズサブ復元画像のみが使用できる。
【０１３７】
推定元画像を算出する処理は受信側の処理でも可能である必要がある。現在よりも前のメイン画像やメイン画像サイズサブ復元画像は受信側で得ることが可能であり、到達した統合画像の処理を遅らせて、処理する統合画像より後の統合画像からも推定ソース画像を得るとすると、統合画像上から切り出したメイン画像は拡大縮小のみで推定ソース画像として使用できるが、サブ画像は復元処理が必要であり、そのまま使用することはできない。したがって上記のような推定ソース画像の使用制限となっている。
【０１３８】
図１８は、本実施形態の受信装置２００の処理ブロックを示す模式図である。本実施形態の受信側処理では、図１８の左側にある、統合動画像、メインサブ配置情報、メイン縮小率、サブ縮小率、左右フラグ、動きベクトル、重みを入力とし、左眼用動画像、右眼用動画像を出力する。
【０１３９】
入力部２１０は、第１および第２の実施形態と同様に、統合画像をメインサブ配置情報に基づいてメイン画像とサブ画像に分離する。分離したメイン画像とサブ画像は一旦バッファリングされる。そのほかの入力に関しても一旦バッファリングされる。このバッファリングはサブ画像処理で処理する統合画像よりも後に到着する統合画像中のメイン画像を処理に用いるために行われる。
【０１４０】
メイン画像処理ブロック２２０は、第１および第２の実施の形態と同様の処理であり、メイン画像をメイン縮小率を用いてオリジナル画像サイズに拡大する。この拡大処理は、サブ画像処理で復元されたサブ復元画像と同じ時刻のメイン画像に対して施され、復元画像振分け処理にて左眼用画像と右眼用画像に振り分けられる。この振り分け処理に用いられる左右フラグについてもサブ復元画像と同じ時刻のものが使用される。この処理をフローチャートに示したものが図２３である。
【０１４１】
図２４は、図２３のステップＳ１３０６におけるサブ画像処理のフローチャートである。サブ画像処理では最初に、後述する推定元画像算出処理を行い、推定元画像を算出する（ステップＳ１４００）。
【０１４２】
この推定元画像を一時サブ復元画像とし（ステップＳ１４０２）、以下のループ処理を行う。まず、サブ画像を現在のメイン画像サイズに拡大し、拡大サブ画像とする（ステップＳ１４０４）。次に一時サブ復元画像に拡大サブ画像を加算し、新たな一時サブ復元画像とする（ステップＳ１４０６）。
【０１４３】
ステップＳ１４０８では残りのサブ画像があるか否かを判定し、全てのサブ画像について、このループ処理を行った後、一時サブ復元画像をメイン画像サイズサブ復元画像として保存するとともに、オリジナル画像サイズに拡大し、オリジナル画像サイズサブ復元画像として出力する（ステップＳ１４１０）。
【０１４４】
図２５は、推定元画像算出処理を示すフローチャートである。最初に一時推定元画像を画素値０で初期化する（ステップＳ１５００）。送信側の処理で既に示したように、本実施例では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズサブ復元画像、１枚後のメイン画像を使用することとしている。
【０１４５】
これらの画像をバッファ中から引き出し推定ソース画像とし（ステップＳ１５０２）、全ての推定ソース画像に対して以下の処理を行う。ただし、ステップＳ１５０４の判定により、重みが０の画像に関しては処理しない。重みが０でない画像に関しては、現在のメイン画像サイズに拡大・縮小し、補正前入力画像とする（ステップＳ１５０６）。
【０１４６】
次に補正後入力画像上の各８ｘ８ブロックに対して動きベクトルによって対応する８ｘ８ブロックを補正前入力画像から選び出して配置しなおすことで、補正後入力画像を得る（ステップＳ１５０８）。
【０１４７】
補正後入力画像が求まったら、重みを掛けた後、一時推定元画像に加算する（ステップＳ１５１０）。以上の処理をすべての推定ソース画像に対して行った後、一時推定元画像を推定元画像として出力する（ステップＳ１５１２）。
【０１４８】
第１、第２、第３の実施の形態で示した推定元画像算出処理は、処理の一例であり、たとえば、１枚前のメイン画像を使用して、動き補償を行って推定元画像とする場合、１枚前と１枚後の２個のメイン画像を平均（重みが均一な重みつき平均）した画像を推定元画像とする場合など、多くの組み合わせを想定することができる。
【０１４９】
また、本実施形態では、最も効果が高いと思われる二眼立体画像の処理について記述したが、時間軸方向での差分画像をベースとしたサブ画像を用い、メイン画像に比べてサブ画像を縮小した形で伝送する方式の有効性には、立体動画像のような動画像間の類似性や動画像数による制限はなく、相関のない２つ以上の動画像に対して適用した場合も十分な効果を得ることができる。
【０１５０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１５１】
１００ 送信装置
１１０ 入力部
１２０ メイン画像処理部
１３０ サブ画像処理部
１４０ 統合画像生成処理部
２００ 受信装置
２１０ 入力部
２２０ メイン画像処理部
２３０ サブ画像処理部２３０
２４０ 復元画像振り分け処理部
【技術分野】
【０００１】
本発明は、画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献に記載されているように、視差を有する左目用画像及び右目用画像を所定周期で交互にディスプレイに供給し、この画像を所定周期に同期して駆動される液晶シャッターを備える眼鏡で観察する方法が知られている。
【０００３】
また、現行のデジタル放送では、電子番組表やデータ放送などのサービスが運用されており、ユーザ希望に応じて通常の映像と音声の番組以外のサービスを受けられるようになってきている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
こうした状況において、通常番組においても、映像と音声に新たな付加価値をつけることで更なるサービスの充実を図ることが要望されている。映像に付加価値をつける１つの方法として、上述したような二眼立体視動画像を伝送することが挙げられる。両眼立体視は、左眼用動画像と右眼用動画像を伝送し、受信側で左目には左眼用動画像を提示し、右目には右眼用動画像を提示することで可能になる。
【０００６】
しかしながら、二眼立体視動画像の伝送においては、伝送する情報量が２倍になるため、２次元画像と比較すると、空間解像度、または時間解像度のいずれかが低下する問題がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、解像度を低下を最小限に抑えた状態で複数のソースの動画像を伝送することが可能な、新規かつ改良された画像送信方法、画像受信方法、画像送信装置、画像受信装置及び画像伝送システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の異なるソース動画像が順次に入力されるステップと、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、前記統合画像を受信側へ送信するステップと、を備える、画像送信方法が提供される。
【０００９】
また、前記メイン画像を生成するステップにおいて、ソース動画像のオリジナルサイズを縮小して前記メイン画像を生成するものであってもよい。
【００１０】
また、前記サブ画像を生成するステップにおいて、フレーム間の差分を縮小して前記サブ画像を生成するものであってもよい。
【００１１】
また、前記サブ画像を生成するステップにおいて、前記他のソース動画像について、１つ前のフレームの前記他のソース動画像と、現フレームの前記他のソース動画像との差分から現フレームのサブ画像を生成するものであってもよい。
【００１２】
また、前記サブ動画像は、前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像から生成されるものであってもよい。
【００１３】
また、前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、Ｋ−Ｍ番目の画像、又はＫ＋Ｎ−Ｍ番目の画像であってもよい。
【００１４】
また、前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、ｉ、ｊを０以上の整数とすると、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−１番目以前とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ＋Ｎ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ＋Ｎ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、Ｋ−１番目以前とｊを０以上の整数としたときにＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、のいずれかであってもよい。
【００１５】
また、前記サブ動画像は、前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像に対して補正演算処理を行って生成され、前記補正処理は、伝送する補正差分画像数Ｓに対して、１又は複数の補正差分画像を生成する処理であり、補正差分画像１は、元画像もしくは縮小元画像と推定元画像との差分画像に対して、伝送する画像内の配置に基づく縮小率で縮小処理を施して得る画像であり、補正差分画像ｎ（ｎ＝２〜Ｓ）は、元画像もしくは縮小元画像から、推定元画像ならびに補正差分画像１〜補正差分画像（ｎ−１）を推定元画像と同サイズに拡大して得た拡大補正差分画像１〜拡大補正差分画像（ｎ−１）を減算した差分画像を、伝送する画像内の配置に基づく縮小率で縮小処理を施して得られる画像であってもよい。
【００１６】
また、元画像もしくは縮小元画像と補正差分画像を統合した統合動画像では、各ソース動画像の配置を入れ替えることで、前の統合画像の元画像もしくは縮小画像と同位置に次の統合画像の元画像もしくは縮小画像が配置され、前の統合画像の補正差分画像と同位置に次の統合画像の補正差分画像が配置されるものであってもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、前記メイン画像に対応するソース動画像を復元するステップと、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、を備える、画像受信方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を備える、画像送信装置が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を備える、画像受信装置が提供される。
【００２０】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、を備える画像伝送システムが提供される。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、前記メイン画像に対応するソース動画像を復元するステップと、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、を備える、画像受信方法が提供される。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を備える、画像送信装置が提供される。
【００２３】
また、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を備える、画像受信装置が提供される。
【００２４】
また、複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、を備える画像伝送システムが提供される。
【発明の効果】
【００２５】
本発明によれば、解像度を低下させることなく、複数のソースの動画像を伝送することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態を説明するため、飛んでいるボールなどを撮影した動画を示す模式図である。
【図２】サブ画像をなくした場合、メイン画像が左眼・右眼の交互に並ぶ動画像を示す模式図である。
【図３】メイン画像とサブ画像を横方向に配置した場合を示す模式図である。
【図４】メイン画像とサブ画像を上下方向に配置した場合を示す模式図である。
【図５】第１の実施形態に係る送信装置の処理ブロックを示す模式図である。
【図６】第１の実施形態に係る受信装置の処理ブロックを示す模式図である。
【図７】図５の処理ブロックの動作を示す送信側のフローチャートである。
【図８】サブ画像処理を示すフローチャートである。
【図９】第１の実施形態の受信側の処理を示すフローチャートである。
【図１０】第１の実施形態の受信側の処理を示すフローチャートである。
【図１１】第２の実施形態の送信装置の処理ブロックを示す模式図である。
【図１２】第２の実施形態の受信装置の処理ブロックを示す模式図である。
【図１３】第２の実施形態の送信側の処理を示すフローチャートである。
【図１４】図１３のサブ画像処理を示すフローチャートである。
【図１５】第２の実施形態の受信側の処理を示すフローチャートである。
【図１６】図１５のサブ画像復元処理を示すフローチャートである。
【図１７】第３の実施形態に係る送信装置の処理ブロックを示す模式図である。
【図１８】第３の実施形態の受信装置の処理ブロックを示す模式図である。
【図１９】第３の実施形態の送信側の処理を示すフローチャートである。
【図２０】図１９の出力処理を示すフローチャートである。
【図２１】サブ画像処理を示すフローチャートである。
【図２２】図２１のステップＳ１１０２における、推定元画像算出処理のフローチャートである。
【図２３】メイン画像処理を示すフローチャートである。
【図２４】図２３のステップＳ１３０６におけるサブ画像処理のフローチャートである。
【図２５】推定元画像算出処理を示すフローチャートである。
【図２６】メイン画像の右側と下側にサブ画像を１つずつ配置した統合画像内の様子を示す模式図である。
【図２７】サブ画像配置が３箇所になった場合を示す模式図である。
【図２８】サブ画像配置が２箇所になった場合を示す模式図である。
【図２９】サブ画像配置が２箇所になった場合を示す模式図である。
【図３０】差分画像をオリジナル画像サイズで行った場合に、送信側のサブ画像処理を示すフローチャートである。
【図３１】差分画像をオリジナル画像サイズで行った場合に、受信側のサブ画像復元処理を示すフローチャートである。
【図３２】現フレームＬ２において、Ｌ１の推定元画像を算出する方法を示す模式図である。
【図３３】３つの全く異なる動画像を統合画像として伝送する場合を示す模式図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（本発明に係る実施形態の基本的構成）
２．第２の実施形態（オリジナル画を用いてサブ画像を生成する例）
３．第３の実施形態（動き補償、重み付けを用いて推定元画像を生成する例）
【００２９】
＜１．第１の実施形態＞
既存の映像伝送にて二眼立体視動画像を伝送する場合、左眼・右眼で独立の動画伝送を行うのではなく、左眼画像と右眼画像を交互に伝送するフレーム（フィールド）シーケンシャル方式や、左眼画像と右眼画像を一枚のフレーム（フィールド）内に左右に並べて伝送するサイドバイサイド方式、左眼画像と右眼画像を一枚のフレーム（フィールド）内に上下に並べて伝送するトップアンドボトム方式などを用いる。
【００３０】
これらの方式では、時間方向・左右方向・上下方向いずれかのサンプル数を半分にすることで、左眼画像と右眼画像を送ることを可能にしている。このため、時間方向・左右方向・上下方向いずれかで解像度が半分となる。
【００３１】
時間方向の解像度（時間解像度）が不足した場合には動きへの追従性が悪くなり、動きの滑らかさが失われる現象が発生し、上下左右方向の解像度（空間解像度）が半分になると被写体のリアリティ（特に静止している被写体のリアリティ）が失われる現象が発生する。
【００３２】
もともと既存の映像伝送では一眼画像を伝送することが前提であるため、同じ圧縮率での符号化を考えた場合には、二眼立体視動画像を伝送する場合、情報量が２倍となるため、時間方向または上下左右方向での解像度劣化がトレードオフとなる。
【００３３】
一方、いずれか一方向（時間方向または空間方向）での解像度劣化ではなく、それぞれの方向に解像度劣化は生じるが、全体での解像度劣化が抑えられる方法は現時点で想定されていないのが実情である。
【００３４】
ここで、時間解像度・空間解像度と人間の視覚特性に関する知見として、次のようなことが挙げられる。
・静止画と動画
静止画を伝送する場合には、空間解像度が高いことが望ましく、フレーム（フィールド）シーケンシャル方式による伝送がもっとも良いと考えられる。一方、動きの速い動画を伝送する場合には、時間解像度が高いことが望ましく、映像の縦横方向での解像度を低下させたサイドバイサイド方式もしくはトップアンドボトム方式が最良となる。
【００３５】
しかしながら、通常のビデオカメラでの撮影では、背景は静止画に近く、前景は動画に近い状態であり、一概に時間解像度と空間解像度のどちらか一方を優先したり、空間解像度の上下あるいは左右のどちらか一方に解像度のしわ寄せを行うのは好ましい状況とは言えない。
【００３６】
・視覚特性と時間解像度
人間の視覚特性としては、時間方向で映像が変化したか否かは敏感に感じられる。また、物体の移動に関しては、移動速度の変化について予測と異なる動きが発生すると人間の資格特性は敏感に反応する。このため、図１に示すように、飛んでいるボールなどを撮影した動画では、時間方向に半分のサンプルを行い、同じフレームを２回表示すると、静止・動作の繰り返しとして認識され、動きの滑らかさを欠いたギクシャクした動きとなってしまう。
【００３７】
また、シーンの切り替わり時には、突然シーン全面を切り替えるよりも、前後シーンがブレンドされつつ、後半のシーンに切り替わる方が滑らかなシーンチェンジになる。この現象は動体よりも静止物に依存し、静止物が突然無くなることによる違和感から生じると考えられる。
【００３８】
・視覚特性と空間解像度
人間の視覚特性としては、動きを伴うものに対する空間解像度よりも、静止物に対する空間解像度の方が敏感である。これはタイヤがとまっているとホイールのデザインがはっきり見えるのに比べて動き始めるとホイールのデザインがわからなくなっていく状況を思い浮かべると理解しやすい。
【００３９】
動体に関して、時間解像度には敏感であり、空間解像度には比較的鈍感であるという点は、タイヤがまわっている場合では次のように考えられる。回っているタイヤのホイールデザインの詳細部がぼけていても違和感はないが、ホイールデザインの詳細部がはっきりと映っていてもタイヤが止まったり動いたりするように見えると違和感を感じるようになる。
【００４０】
・両眼視における補正作用
また両眼で立体視を行う場合には、片眼での情報が多少不足する状態でももう一方の眼に入る情報によって情報が補完されて、立体視が可能である。たとえば、片眼の視力が低下した場合など、片眼の画像としてはぼやけた画像になっていたとしても、両眼立体視を行うともう一方の目の情報によって、立体視が可能であるとともにある程度ぼやけが解消するように見える。
【００４１】
以上のように、人間の視覚特性に照らして時間解像度・空間解像度を考えると、時間方向・左右方向・上下方向何れかのみの解像度をトレードオフの犠牲にするのは好ましくないことがわかるとともに、人間の視覚特性を考慮することでより好適な時空間解像度制御方法を考えることが望ましい。
【００４２】
以上の観点から、時間方向・左右方向・上下方向の何れかのみの解像度を１／２にして二眼立体視動画像を伝送する方式に比較して、本実施形態では、人間の視覚特性を考慮に入れて、より好適な時空間解像度制御を可能にした、複数動画像、特に二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供する。
【００４３】
先ず、本実施形態の基本的な形態を示す。図５は、第１の実施形態に係る送信装置の処理ブロックを示す模式図である。本実施形態の送信側処理では、図５の左側に示す、左眼用動画像、右眼用動画像、メイン縮小率、サブ縮小率、メインサブ配置情報を入力とし、左右フラグ、統合動画像、メイン縮小率、サブ縮小率、メインサブ配置情報、推定元画像０フラグを出力としている。
【００４４】
左眼用動画像、右眼用動画像はそれぞれの眼で同時に見ることで立体視可能な動画像である。メインとサブの縮小率はメインサブ配置に関連しており、左眼用・右眼用の動画像の画像サイズ（これをオリジナル画サイズと呼ぶ）に対して、統合画像内のメイン画像やサブ画像がどのくらい縮小されるかを示すものである。
【００４５】
本実施形態では、ソース動画像数を２つに限定する必要はないが、まず最初に、最も効果的である二眼立体視動画像を入力とした場合で説明を行う。二眼立体視動画像の場合にはソース画像は左眼用もしくは右眼用の動画像であり、任意の第１のソース画像と第２のソース画像を例に挙げるよりも理解し易いため、下記では左眼もしくは右眼としてソース画像を表現する。
【００４６】
図２の左側は、メイン画像Ｌ０とサブ画像ｄＲ０、メイン画像Ｒ１とサブ画像ｄＬ１、メイン画像Ｌ２とサブ画像ｄＲ２、メイン画像Ｒ３とサブ画像ｄＬ３からなる統合画像が時系列に送られる様子を示している。図２に示すように、統合画像は、メイン画像とサブ画像を合わせた画像であり、左眼用または右眼用のオリジナル画と同等のサイズである。メイン画像は、オリジナル画に対してメイン縮小率で規定される縮小率で縮小される。また、サブ画像は、オリジナル画に対してサブ縮小率で規定される縮小率で縮小される。本実施形態において、メイン画像とサブ画像の縮尺率は、統合画像内で配置可能な範囲内で変更することが可能である。例えば、図２の右側のようにサブ画像をなくした場合、メイン画像Ｌ０，Ｒ１，Ｌ２，Ｒ３・・・が左眼・右眼用の交互に並ぶ動画像となるため、フレームシーケンシャル方式と同等の伝送方式となる。
【００４７】
図３及び図４の左側に示す図は、図２の左側に示す図と同様に、メイン縮小率とサブ縮小率を異なるようにした場合を示している。また、図３の中央に示す図は、メイン画像とサブ画像とを同じサイズにして左右に配置した場合を示しており、サイドバイサイド方式と同等の伝送方式となる。また、図４の中央に示す図は、メイン画像とサブ画像とを同じサイズにして上下に配置した場合を示しており、トップアンドボトム方式と同等の伝送方式となる。
【００４８】
本実施形態では、図２〜図４の左側の図に示すように、メイン縮小率とサブ縮小率を異ならせて統合画像を生成する。従って、本実施形態は、フレームシーケンシャル方式・サイドバイサイド方式・トップアンドボトム方式の中間的な伝送方式であり、時間方向・左右方向・上下方向いずれかのみの解像度を半分にして二眼立体視動画像を伝送するという制約を解き、伝送するコンテンツに応じて、フレームシーケンシャル方式に近い伝送方法としたり、サイドバイサイド方式に近い伝送方法にするなど時空間解像度を制御することが可能としたものである。ここで、メイン縮小率を大きくするほどフレームシーケンシャル方式に近い伝送方法となり、メイン縮小率を小さくするほどサイドバイサイド方式（またはトップアンドボトム方式）に近い伝送方法となる。
【００４９】
図３に示すように、２フレーム目を現フレームとすると、サブ画像ｄＬ１は現フレームのメイン画像Ｌ１と前のフレームのメイン画像Ｌ０との差分であり、現フレームのメイン画像Ｌ１は送信側から送信されない。つまり、２フレーム目では左眼用画像として差分ｄＬ１を送ることで、サブ画像の情報量を低下させることができ、メイン画像に対してサブ画像を小さくして統合画像を生成することができる。同様に、サブ画像ｄＲ２はメイン画像Ｒ２と前のフレームのメイン画像Ｒ１との差分であり、メイン画像Ｒ２は送信側から送信されない。これを一般化すると、ｄＲ２ｎ＝Ｒ２ｎ−Ｒ２ｎ−１，ｄＬ２ｎ＋１＝Ｌ２ｎ＋１−Ｌ２ｎとなる。図４に示すトップアンドボトム方式の場合も同様である。なお、ｄＲ２ｎ，ｄＲ２ｎを差分画像と称することとする。
【００５０】
また、本実施形態では、時間軸方向での差分画像をベース概念とした補正差分画像を導入することで、時間変化する成分と時間変化しない成分の分離を図り、静止物と動体の空間周波数の扱いを分離することを可能にしている。これは静止物と動体では空間周波数の高域成分に対する感度が異なっているという視覚特性上の性質を考慮したものであり、サブ画像から高域成分に敏感な静止物を取り除いてサブ画像の高域劣化耐性をあげることで、メイン画像とサブ画像の縮小率を変えてメイン画像の解像度を改善することを可能にしている。
【００５１】
すなわち、前後のフレーム間では、静止している部分のデータについては変化しない。例えばフレームＬ１とフレームＬ２では、静止している部分のデータは同一であり、動きのある部分のみが変化する。従って、差分画像ｄＬ１（＝Ｌ１−Ｌ０）は、動きのある部分に対応した画像になる。
【００５２】
サブ画像に関しては縮小率を上げた分だけ（サブ画像を小さくした分だけ）不鮮明な画像になることは避けられないが、静止物の分離による高域耐性の向上とともに、両眼立体視において情報欠落の補完に用いられる反対側の眼の画像であるメイン画像は高域特性が改善されており、立体視動画視聴上大きな支障になることはない。
【００５３】
さらに、左眼画像と右眼画像に対して交互にメイン画像とサブ画像を切り替えることで、サブ画像内の静止物については同じ眼の時間軸上前後方向のメイン画像を含めた推定元画像から高域成分も含めて画像情報を得ることが可能となり、高解像感のある静止物表示が可能となった。
【００５４】
以上のように、本実施形態を用いることで、旧来からある、時間方向・左右方向・上下方向いずれかのみの解像度を１／２にして、二眼立体視動画像を伝送する方式に比較して、人間の視覚特性を考慮に入れた、より好適な時空間解像度制御が可能な二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供可能である。
【００５５】
次に、本発明の二眼立体動画像以外の複数動画像処理における効果を説明する。二眼立体視動画像を伝送する場合には、両眼立体視における情報欠落の補完作用を有効に活用することや統合画像のメイン画像位置とサブ画像位置を揃えることで統合画像の動画像圧縮に有利であることは本実施形態の一つの特徴として挙げられるが、処理としては各ソース画像ごとの処理となっているため、処理自体は立体視動画像処理に制限されることも、二つの動画像入力に制限されることもない。
【００５６】
たとえば、図３３に示すように、３つの全く異なる動画像を統合画像として伝送する場合にも順番にメイン画像となるソース画像を変えることで対応可能である。この場合でもサブ画像が時間軸方向での差分画像をベース概念としていることは不変であるため、静止物の分離による空間周波数の高域耐性の向上は行われ、サブ画像の縮小拡大による影響が少ない伝送を行うことが可能である。
【００５７】
メイン画像以外のソース画像は２画像あるため、統合画像にはソース画像１のメイン画像Ｌ０とソース画像２のサブ画像ｄＬ０、ソース画像３のサブ画像ｄＲ０が配置される。この場合でもメイン画像を高解像度とし、サブ画像の画像サイズを小さくして配置することで、静止物の空間解像度をメイン画像で得、動体に関してはサブ画像で時間方向の解像度を得ることが可能である。
【００５８】
以上から、本実施形態によって、人間の視覚特性を考慮に入れて、より好適な時空間解像度制御を可能にした、複数動画像、特に二眼立体視動画像を伝送する方式ならびにシステムおよび装置を提供することが可能となる。
【００５９】
１つのソース画に対するサブ画像は１つに限られるものではなく、統合画像内に複数配置することができる。例えば、図２６には、メイン画像の右側と下側にサブ画像をひとつずつ配置した統合画像内の様子を示している。例えば１フレーム目では、Ｌ０がメイン画像であり、ｄＲ００，ｄＲ１０はサブ画像である。メイン画像であるＬ０,Ｒ１のオリジナル画サイズに対する割合をメイン縮小率とし、サブ画像ｄＲ００，ｄＲ１０のオリジナル画サイズに対するそれぞれの割合をサブ縮小率とする。
【００６０】
図５の処理ブロックは、入力部１１０、メイン画像処理部１２０、サブ画像処理部１３０、統合画像生成処理部１４０の４つに分けられる。これらの動作を記述したのが図７の本実施形態の送信側のフローチャートである。
【００６１】
送信側の処理としては、左右眼画像のどちらがメインでどちらがサブかを決めるフラグをもっており（ここでは初期値として、ｍａｉｎ＝Ｌ，ｓｕｂ＝Ｒとする）、このフラグに応じて入力されたオリジナル画の左右眼画像を入力部１１０でメイン画像処理部１２０とサブ画像処理部１３０に交互に振り分ける。
【００６２】
メイン画像処理部１２０では、メイン元画像（オリジナル画サイズ）をメイン縮小率で縮小し、統合画像内のメイン画像のサイズに合わせる。また、上述のようにｄＲ２ｎ＝Ｒ２ｎ−Ｒ２ｎ−１，ｄＬ２ｎ＋１＝Ｌ２ｎ＋１−Ｌ２ｎであるため、このメイン画像（Ｒ２ｎ−１またはＬ２ｎ）は、次のフレームのサブ画像（ｄＲ２ｎまたはｄＬ２ｎ＋１）を作成する際に使用するために保存しておく。次に、ｍａｉｎを左右フラグとして出力し、統合画像にメイン画像とサブ画像を配置して出力した後、まだ入力画像があれば、入力部１１０での交互振り分けのためにｍａｉｎ，ｓｕｂを切り替えて、上記処理を再度行い、入力画像がなくなれば終了する。
【００６３】
サブ画像処理部１３０では、サブ画像を算出する。サブ画像処理部１３０の処理については、図８に示したサブ画像処理のフローチャートに従って説明を行う。まず、推定元画像を作成する。本実施形態では、一枚前のメイン画像を現在のメイン画像サイズに拡大もしくは縮小して推定元画像とする（ステップＳ２００）。この処理はサブ画像処理部１３０の拡大・縮小部１３１にて行う。なお、図３、図４に示したように、メイン画像サイズが不変であれば当然ながらこの拡大縮小は不要であり、１枚前のメイン画像（図３及び図４に示すＬ０，Ｌ２，・・・，Ｒ１，Ｒ３，・・・，）を推定元画像とする。
【００６４】
ただし、最初のサブ画像処理では一枚前のメイン画像が存在しないので、推定元画像の画素値はすべて０とする。また、推定元画像の画素値を０として処理したかどうかを、受信側で判別できるようにするために、推定元画像０フラグを出力する。ここで、推定元画像０フラグ＝１で画素値を０としたと判定することとする。
【００６５】
次に、この推定元画像と同サイズにサブ元画像（オリジナル画サイズ）を縮小し（ステップＳ２０２）、縮小したサブ元画像（図３及び図４におけるＬ１，Ｌ３，・・・，Ｒ０，Ｒ２，・・・，）から推定元画像を引いて差分画像とする（ステップＳ２０４）。この縮小処理は縮小処理部１３２で行い、差分画像の算出は差分画像算出部１３３で行う。ここで、（差分画像）＝（縮小サブ元画像）−（推定元画像）であるので、差分画像に推定元画像を加算すればメイン画像サイズのサブ元画像を得ることができる。受信側では、推定元画像は１枚前の統合画像内から切り出したメイン画像を基に算出可能である。
【００６６】
サブ画像としては、図２６のようにメイン画像の右横と下側の双方に配置される場合がある。このような場合、本実施形態では、最初に右横のサブ画像（図２６の２フレーム目であればｄＬ００）を算出し、次に下側のサブ画像（２フレーム目であればｄＬ０１）を算出するものとする。最初に上述のようにして算出した差分画像を右横のサブ画像サイズに縮小して補正差分画像（サブ画像）を出力する。下側のサブ画像の算出については、図８のステップＳ２０８における、「求めるサブ画像はまだあるか？」の条件分岐でｙｅｓ側の処理にしたがって行われる。すなわち、これから求めようとする下側に配置されるサブ画像の前に算出されたサブ画像（本実施形態では右横のサブ画像）をメイン画像サイズに拡大して拡大サブ画像を算出し（ステップＳ２１０）、差分画像から拡大サブ画像を減算して新たな差分画像とする（ステップＳ２１２）。つまり、
（新たな差分画像）＝（差分画像）−（拡大サブ画像）
とする。この新たな差分画像を下側のサブ画像サイズに縮小して下側サブ画像を出力し、すべての求めるサブ画像算出が終了し、サブ画像処理は終了となる。
【００６７】
ここで、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）とし、差分画像を右横のサブ画像サイズに縮小する処理をＦ１、右横のサブ画像をメイン画像サイズに拡大する処理をＦ２、差分画像を下側のサブ画像サイズに縮小する処理をＧ１，下側のサブ画像をメイン画像サイズに拡大する処理をＧ２とすると、
（サブ画像ｄＳ０（Ｋ））
＝Ｆ１＊（差分画像）
＝Ｆ１＊（（縮小サブ元画像）−（推定元画像））
であり、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｆ２＊（サブ画像）
＝（差分画像）−Ｆ２＊Ｆ１＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ１（Ｋ））
＝Ｇ１＊（新たな差分画像）
＝Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。
【００６８】
縮小処理によって情報量は削減されてしまうため、縮小処理後に拡大処理をおこなっても、縮小前の画像を復元することはできないため、上記の新たな差分画像の各画素がすべて０になることはない。ただし、例外として縮小率＝拡大率＝１．０の場合（すなわち縮小しない場合）にはＦ２＊Ｆ１＝１となり、新たな差分画像の各画素がすべて０になって、新たな差分画像は意味を持たなくなる。この場合、統合画像上で考えると、メイン画像と並ぶサブ画像がメイン画像と同サイズの領域を持つものであり、いわゆるサイドバイサイド画像かトップアンドボトム画像と同じ並びになる。
【００６９】
差分画像は正負の値を扱うため、メイン画像と同じビット数で統合画像に配置する際には、精度を落とす形になる。本実施形態では、１枚おきに量子化精度に問題のないメイン画像が使用され、これに対する差分画像の精度が落ちる形になるため、全体の動画像を通しての品質的な問題とはなりにくいが、単純に最下位ビットを無視して処理するだけでなく、非線形量子化などを利用することも考えられる。
【００７０】
なお、特例として、サブ画像サイズが１つでメイン画像サイズと同じサイズの場合に限り、サブ画像を補正差分画像ではなく、サブ画像サイズに縮小したサブ元画像として扱う取り決めを送信側と受信側で行うことにより、減算を行うことで生じる正負符号のためのビット増加による精度落ちを回避することができる。
【００７１】
また、図２７のようにサブ画像配置が３箇所になった場合も想定することができる。この場合には、右下のサブ画像をｄＳ２（Ｋ）、差分画像を右下のサブ画像サイズに縮小する処理をＨ１，右下のサブ画像をメイン画像サイズに拡大する処理をＨ２とすると、
差分画像はすでに、
（差分画像）＝（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となっているため、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｇ２＊（サブ画像）
＝（差分画像）−Ｇ２＊Ｇ１＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ２（Ｋ））
＝Ｈ１＊（新たな差分画像）
＝Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となる。
【００７２】
以上のようにしてサブ画像が生成されると、拡大部１３５によりサブ画像がメイン画サイズに拡大される。拡大されたサブ画像は、次のフレームの差分画像を算出する際に推定元画像（１フレーム前のメイン画像）として使用される。
【００７３】
統合画像生成処理部１４０は、メイン画像処理部１２０からメイン画像の入力を受け、サブ画像処理部１３０からサブ画像の入力を受けて、統合画像を生成し、これを受信装置２００へ出力する。この他、送信装置１００は、図５に示すように、左右フラグ、推定元画像０フラグ、メイン縮小率、サブ縮小率、メインサブ配置の情報を受信装置２００へ送信する。
【００７４】
［受信側の処理について］
次に受信側の処理について説明する。図６は、本実施形態の受信装置２００の処理ブロックを示す模式図である。本実施形態の受信側処理では、図６の左側にある、統合動画像、メインサブ配置情報、メイン縮小率、サブ縮小率、左右フラグ、推定元画像０フラグを入力とし、左眼用動画像、右眼用動画像を出力する。図６の処理ブロックは、入力部２１０、メイン画像処理部２２０、サブ画像処理部２３０、復元画像振り分け処理２４０の４つに分けられる。この受信側の処理を図９、図１０のフローチャートに示す。
【００７５】
先ず図９のフローチャートについて説明すると、図６の入力部２１０では、入力された統合画像とメインサブ配置情報からメイン画像とサブ画像を切り出す（ステップＳ３００）。図３及び図４の統合画像であれば、サブ画像は１画像である。また、図２６の統合画像であればサブ画像は２画像であり、図２７の統合画像であればサブ画像は３画像である。メイン画像はメイン画像処理部２２０へ入力され、サブ画像はサブ画像処理部２３０へ入力される。次に、サブ画像処理ブロック２３０で後述のサブ画像復元処理を行い、サブ復元画像を算出する（ステップＳ３０２）。その後、メイン画像処理ブロック２２０で、メイン縮小率を用いてメイン画像をオリジナル画像サイズに拡大し、メイン復元画像を算出する（ステップＳ３０４）。メイン復元画像への拡大は、メイン画像処理部２２０の拡大処理部２２１にて行われる。メイン復元画像は次のサブ復元処理に用いられるので、メイン縮小率とメイン画像は次のサブ復元処理が行われるまで保存される（ステップＳ３０６）。
【００７６】
さらに、得られたメイン復元画像とサブ復元画像を左右フラグに応じて、左眼用画像と右眼用画像に振り分けて出力する（ステップＳ３０８）。ステップＳ３１０〜ステップＳ３００のループにて、全ての統合画像に関してこれを繰り返すと受信側の処理を終了する。
【００７７】
図１０は、サブ画像復元処理を示すフローチャートである。サブ画像復元処理は、推定元画像に推定元画像サイズに調整したサブ画像をすべて加算して、オリジナル画像サイズに拡大して出力する処理である。
【００７８】
この処理では、最初に、１枚前のメイン画像を１枚前のメイン画像縮小率と現在の縮小率を用いて、現在のメイン画像サイズに拡大・縮小して、推定元画像を求める（ステップＳ４００）。なお、図３、図４に示したように、メイン画像サイズが不変であればこの拡大縮小は不要であり、１枚前のメイン画像を推定元画像とする。この処理は、本実施形態において推定元画像を１枚前のメイン画像とすることを送信側と受信側の取り決めとしており、送信側、受信側の処理で同じ推定元画像を用いて処理が行われていることに基づいている。ただし、推定元画像０フラグが１の場合には送信側で推定元画像の画素値を０としてサブ画像を算出しているので、推定元画像の画素値を全て０とする。
【００７９】
次に、推定元画像を一時復元画像とし（ステップＳ４０２）、サブ画像それぞれに対して、順に、現在のメイン画像サイズ（＝推定元画像サイズ）に拡大し（ステップＳ４０４）、一時復元画像への加算を行い（ステップＳ４０６）、ステップＳ４０８〜Ｓ４０４のループにて、全てのサブ画像について終了したら、一時サブ復元画像をオリジナル画像サイズに拡大してサブ復元画像として出力して終了する（ステップＳ４１０）。
【００８０】
例えば図２６の統合画像であれば、送信側の処理で用いた、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）、メイン画像サイズを右横のサブ画像サイズに縮小する処理Ｆ１、右横のサブ画像をメイン画像サイズに拡大する処理Ｆ２、差分画像を下側のサブ画像サイズに縮小する処理Ｇ１，下側のサブ画像をメイン画像サイズに拡大する処理Ｇ２を使用すると、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（縮小サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＝（縮小サブ元画像）
−（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
がすべてのサブ画像を加算した状態での一時復元画像である。縮小サブ元画像が復元されることが最適なケースであるが、統合画像内の限られた解像度に収めるために縮小処理が入っており、特殊な場合を除き、（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）は０にはならない。もちろん、（縮小サブ元画像）−（推定元画像）は言い換えると現フレームと前フレームの差分画像であり、静止画であれば全く問題なく復元ができることを意味している。
【００８１】
さらにサブ画像数が増えた図２７に対しては、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））＋Ｈ２＊（サブ画像ｄＳ２（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（縮小サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＋Ｈ２＊Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
＝（縮小サブ元画像）
−（１−Ｈ２＊Ｈ１）＊（（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（縮小サブ元画像）−（推定元画像））
となり、一時復元画像は、より縮小サブ元画像に近づく。
【００８２】
ここで、縮小処理と拡大処理をより具体的に説明する。たとえば図２６において、右横のサブ画像に縮小する場合、縦方向のサイズは変更されないため、横方向の一次元フィルタを各行の画素に適用して、横方向の画素数を間引いた横縮小画像を出力とすると考える。
【００８３】
この処理は画像全体を行列とみなし、各画素を行列の要素とみなすと、
［横縮小画像］＝［元画像］［Ｆ１］
という行列演算で示すことができる。Ｆ１のｉ列ベクトルは、出力の横縮小画像のｉ列の画素を算出するための縮小ＦＩＲフィルタの係数である。つまり着目画素付近に重みをつけた上で代表画素値を算出するためのベクトルであり、この列ベクトル数が横縮小画像の横幅になる。このため、［Ｆ１］は正方行列ではなく行数の方が列数よりも多い行列になる。
【００８４】
また、横方向拡大処理についても通常行われる処理は同様に行列演算として表現でき、
［横拡大画像］＝［元画像］［Ｆ２］
と示される。ｉ列ベクトルはＦ１のものと同様に、出力の復元画像のｉ列の画素を算出するための拡大ＦＩＲフィルタの係数である。違いは行数の方が列数よりも少ない行列であることである。
【００８５】
これを用いると横縮小後に横拡大して復元する処理は、
［復元画像］＝［元画像］［Ｆ１］［Ｆ２］
となる。
【００８６】
一方、縦方向については、ｉ列ベクトルではなく、ｉ行ベクトルがフィルタの役割をするため、行列の掛ける方向が異なっており、
［復元画像］＝［Ｇ２］［Ｇ１］［元画像］
となる。
【００８７】
これらの関係を用いて図２６の一時復元画像を算出すると、
［サブ画像ｄＳ０（Ｋ）］＝（［縮小サブ元画像］−［推定元画像］）［Ｆ１］
［サブ画像ｄＳ１（Ｋ）］＝［Ｇ１］（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
［一時復元画像］
＝［縮小サブ元画像］
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
となる。図２７に対しては、さらに増えたサブ画像が、縦方向及び横方向に拡大縮小を行う形になっている。縦方向と横方向を独立なフィルタ（縮小：Ｈ１０、Ｈ１１、拡大：Ｈ２０、Ｈ２１）として考えた場合には、
［サブ画像ｄＳ２（Ｋ）］＝［Ｈ１０］（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）［Ｈ１１］
［一時復元画像］
＝［縮小サブ元画像］
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
＋［Ｈ２０］［Ｈ１０］（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）［Ｈ１１］［Ｈ２１］
＝［縮小サブ元画像］
−（１−［Ｈ２０］［Ｈ１０］）（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）
−（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）（１−［Ｈ１１］［Ｈ２１］）
＋（１−［Ｈ２０］［Ｈ１０］）（１−［Ｇ２］［Ｇ１］）（［縮小サブ元画像］−［推定元画像］）（１−［Ｆ１］［Ｆ２］）（１−［Ｈ１１］［Ｈ２１］）
となる。
【００８８】
本実施形態では、１枚前のメイン画像を推定元画像に用いており、一時復元画像の誤差成分は時間的な変化分に依存している。上記の縮小拡大フィルタは低域通過フィルタとして考えられるので、図２６の場合も図２７の場合も時間的な変化分に対して、（全域−低域通過フィルタ）で示される高域通過フィルタによって、時間的変化分の高域成分が１枚前のメイン画像に置き換えられるような誤差になっている。
【００８９】
上述したように、視覚特性としては時間方向の変化には敏感であるが、変化時の空間方向の高周波成分はそれほど敏感ではないため、ある程度の誤差は許容できると考えられる。しかし、縮小拡大フィルタによって１枚前のフレームにもないような擬似輪郭や時間方向での揺れ動くような均一でない状況が発生することは避けるべきである。
【００９０】
以上のようにしてメイン画像、サブ画像が復元されると、振分け処理部２４０により、左右フラグに従ってメイン画像、サブ画像の左右への振り分けが行われる。これにより、左眼用動画像、右眼用動画像を得ることができる。
【００９１】
＜２．第２の実施形態＞
第２の実施形態では、第１の実施形態に対して、処理を簡略化した形態を示す。第１の実施形態では、サブ画像処理の中心がメイン画像サイズで行われており、送信側ではオリジナル画像サイズからメイン画像サイズに縮小して画像処理を行い、サブ画像サイズに縮小してサブ画像とする。伝送後は、受信側でサブ画像サイズからメイン画像サイズへの拡大の後、画像処理されて得た一時復元画像がさらにオリジナル画像サイズに拡大されて表示されるようになっている。
【００９２】
一方、第２の実施形態では、サブ画像に関わる処理をメイン画像サイズではなく、オリジナル画像サイズで行う。図１１は、第２の実施形態の送信装置１００の処理ブロックを示している。図５と比較すると差分画像算出ブロック１３３の前段で、サブ元画像の縮小処理は行われない。また、拡大部１３６にて、保存されていたメイン画像を現在のメイン画像サイズではなくオリジナル画像サイズに拡大すること第１の実施形態と異なっている。
【００９３】
本実施形態の送信側のフローチャートを図１３に示す。図１３の処理は、図７のフローチャートと処理の流れは同じであり、処理上の違いは図１３のステップＳ５０４と図７のステップＳ１０４のサブ画像処理である。この相違は、図１４に示すサブ画像処理のフローチャートに現れている。
【００９４】
図１４の最初のステップで示されるように、本実施形態では、推定元画像として一枚前のメイン画像をオリジナル画像サイズに拡大した画像を用いる（ステップＳ６００）。この拡大処理は、拡大部１３６にて行う。なお、一枚前のメイン画像がない場合に、推定元画像の画素値を０とすること、推定元画像０フラグに推定元画像の画素値を０にしたかどうかを設定し出力することは図８の処理と同じである。
【００９５】
サブ元画像はオリジナル画像サイズであるので、サブ元画像から推定元画像を引いて差分画像とする（ステップＳ６０２）。ここで、（差分画像）＝（サブ元画像）−（推定元画像）であるので、差分画像に推定元画像を加算すればサブ元画像を得ることができる。なお、受信側では推定元画像は１枚前の統合画像内から切り出したメイン画像をもとに算出可能である。
【００９６】
本実施形態では、最初に右横のサブ画像を算出し、次に下側のサブ画像を算出するものとすると、最初に差分画像を右横のサブ画像サイズに縮小して補正差分画像（サブ画像）を出力する（ステップＳ６０４）。
【００９７】
下側のサブ画像の算出については、図１４のステップＳ６０６における「求めるサブ画像はまだあるか？」の条件分岐でｙｅｓ側の処理にしたがって行われる。すなわち、これから求めようとするサブ画像の前のサブ画像（本実施形態では右横のサブ画像）をオリジナル画像サイズに拡大した拡大サブ画像を算出し（ステップＳ６０８）、差分画像から拡大サブ画像を減算して新たな差分画像とする（ステップＳ６１０）。
【００９８】
つまり、
（新たな差分画像）＝（差分画像）−（拡大サブ画像）
とする。この新たな差分画像を下側のサブ画像サイズに縮小して下側サブ画像を出力し、すべての求めるサブ画像算出が終了すると、サブ画像処理は終了となる。
【００９９】
ここで、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）とし、差分画像を右横のサブ画像サイズに縮小する処理をＦ１、右横のサブ画像をオリジナル画像サイズに拡大する処理をＦ２、差分画像を下側のサブ画像サイズに縮小する処理をＧ１，下側のサブ画像をオリジナル画像サイズに拡大する処理をＧ２とすると、
（サブ画像ｄＳ０（Ｋ））
＝Ｆ１＊（差分画像）
＝Ｆ１＊（（サブ元画像）−（推定元画像））
であり、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｆ２＊（サブ画像）
＝（差分画像）−Ｆ２＊Ｆ１＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（差分画像）
＝（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ１（Ｋ））
＝Ｇ１＊（新たな差分画像）
＝Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。
【０１００】
縮小処理によって情報量は削減されてしまうため、縮小処理後に拡大処理を行っても、縮小前の画像を復元することはできないため、上記の新たな差分画像の各画素がすべて０になることはない。
【０１０１】
図２７の場合の３番目のサブ画像についても、右下のサブ画像をｄＳ２（Ｋ）、差分画像を右下のサブ画像サイズに縮小する処理をＨ１，右下のサブ画像をメイン画像サイズに拡大する処理をＨ２とすると、
差分画像はすでに、
（差分画像）＝（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となっているため、
（新たな差分画像）
＝（差分画像）−（拡大サブ画像）
＝（差分画像）−Ｇ２＊（サブ画像）
＝（差分画像）−Ｇ２＊Ｇ１＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（差分画像）
＝（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。ここから、
（サブ画像ｄＳ２（Ｋ））
＝Ｈ１＊（新たな差分画像）
＝Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となる。
【０１０２】
次に、第２の実施形態に係る受信装置２００の処理ブロックを図１２に示す。図６と比較するとメイン画像処理の前でメイン画像とメイン縮小率を保存していたところが、メイン画像処理の後にオリジナル画サイズのメイン画像を保存する形に変更されている。また、サブ画像処理では、推定元画像として一枚前のオリジナル画サイズのメイン画像をそのまま用いて拡大サブ画像と合算する形に変更されている。推定元画像と拡大サブ画像を合算する処理ブロックの後でも、拡大処理なしで復元画像振分け処理に入力される形になっており、図６に比較してサブ画像処理が簡略化されている。
【０１０３】
この受信側の処理のフローチャートを図１５、図１６に示す。図１５に関しても図９のフローチャートと処理の流れは変わらず、第１の実施形態ではメイン画像とメイン縮小率を保存していたところが、メイン復元画像を保存することに変更された点が相違点（ステップＳ３０２とステップＳ７０２の違い）といえる。図１６に示されているサブ画像復元処理では、一時復元画像がオリジナル画像サイズとなっているために、推定元画像のサイズや拡大サブ画像のサイズをオリジナル画像サイズとする点（ステップＳ８００〜Ｓ８０４）、サブ復元画像として出力する際に、オリジナル画像サイズへの拡大を行わなくとも良くなった点（ステップＳ８１０）が図１０と異なる点である。
【０１０４】
図２６の統合画像であれば、送信側の処理で用いた、Ｋ番目の統合画像のメイン画像をＭ（Ｋ），右横のサブ画像をｄＳ０（Ｋ），下側のｄＳ１（Ｋ）、メイン画像サイズを右横のサブ画像サイズに縮小する処理Ｆ１、右横のサブ画像をオリジナル画像サイズに拡大する処理Ｆ２、差分画像を下側のサブ画像サイズに縮小する処理Ｇ１，下側のサブ画像をオリジナル画像サイズに拡大する処理Ｇ２を使用すると、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＝（サブ元画像）
−（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
がすべてのサブ画像を加算した状態での一時復元画像である。サブ元画像が復元されることが最適なケースであるが、統合画像内の限られた解像度に収めるために縮小処理が入っており、（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）は０にはならない。（サブ元画像）−（推定元画像）は言い換えると現フレームと前フレームの差分画像であり、静止画であれば全く問題なく復元ができることを意味している。
【０１０５】
さらにサブ画像数が増えた図２７に対しては、
（一時復元画像）
＝（推定元画像）＋Ｆ２＊（サブ画像ｄＳ０（Ｋ））＋Ｇ２＊（サブ画像ｄＳ１（Ｋ））＋Ｈ２＊（サブ画像ｄＳ２（Ｋ））
＝（推定元画像）
＋Ｆ２＊Ｆ１＊（（サブ元画像）−（推定元画像））
＋Ｇ２＊Ｇ１＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＋Ｈ２＊Ｈ１＊（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
＝（サブ元画像）
−（１−Ｈ２＊Ｈ１）＊（（１−Ｇ２＊Ｇ１）＊（１−Ｆ２＊Ｆ１）＊（（サブ元画像）−（推定元画像））
となり、一時復元画像は、よりサブ元画像に近づく。
【０１０６】
第１の実施の形態と同様に、縮小処理と拡大処理をより具体的に説明する。複数画素に重みをつけて出力画素を算出する縮小処理および拡大処理が行列演算として表現できることは第１の実施の形態にも示した。ここでも同様に行列演算で本実施例の処理を説明する。なお、行列演算として表現できないような縮小処理や拡大処理を用いることもできる。
【０１０７】
本実施形態では、オリジナル画像サイズでのサブ画像処理を行っているため、右横のサブ画像でも下側のサブ画像でも縦横方向の縮小拡大処理が入ってしまう。右横のサブ画像の縮小処理をＦ１０，Ｆ１１、拡大処理をＦ２０，Ｆ２１とし、下側のサブ画像の縮小処理をＧ１０，Ｇ１１、拡大処理をＧ２０，Ｇ２１とすると、
図２６のサブ画像処理およびサブ画像復元処理では、
［サブ画像ｄＳ０（Ｋ）］＝［Ｆ１０］［差分画像０］［Ｆ１１］
ただし、
［差分画像０］＝［サブ元画像］−［推定元画像］。
［サブ画像ｄＳ１（Ｋ）］＝［Ｇ１０］［差分画像１］［Ｇ１１］
ただし、
［差分画像１］
＝ （１−［Ｆ２０］［Ｆ１０］）［差分画像０］
＋ ［差分画像０］（１−［Ｆ１１］［Ｆ２１］）
−（１−［Ｆ２０］［Ｆ１０］）［差分画像０］（１−［Ｆ１１］［Ｆ２１］）
［サブ復元画像］
＝［サブ元画像］
＋（１−［Ｇ２０］［Ｇ１０］）［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
− ［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
−（１−［Ｇ２０］［Ｇ１０］）［差分画像１］
となる。図２７に対しては、さらに増えたサブ画像の縮小処理をＨ１０，Ｈ１１、拡大処理をＨ２０，Ｈ２１として考えた場合には、
［サブ画像ｄＳ２（Ｋ）］＝［Ｈ１０］［差分画像２］［Ｈ１１］
ただし、
［差分画像２］＝［差分画像１］−［Ｇ２０］［Ｇ１０］［差分画像１］［Ｇ１１］［Ｇ２１］
＝ （１−［Ｇ２０］［Ｇ１０］）［差分画像１］
＋ ［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
−（１−［Ｇ２０］［Ｇ１０］）［差分画像１］（１−［Ｇ１１］［Ｇ２１］）
［サブ復元画像］
＝［サブ元画像］
＋（１−［Ｈ２０］［Ｈ１０］）［差分画像２］（１−［Ｈ１１］［Ｈ２１］）
− ［差分画像２］（１−［Ｈ１１］［Ｈ２１］）
−（１−［Ｈ２０］［Ｈ１０］）［差分画像２］
となる。
【０１０８】
上記の式ではサブ復元画像はサブ画像を増やすとサブ元画像に近づくと考えられるが、実際には統合画像の解像度の制限によって、Ｆ，Ｇ，Ｈの縮小拡大処理行列は変化するため、図２７のサブ画像３個の場合と、図２８、図２９のサブ画像２個の場合のどちらがより好適かは、この解像度の制限によって変化する。また、より単純にメイン画像とサブ画像１個の方が良い場合もあり得る。これらは伝送するコンテンツの内容にも依存して最適条件が変化するため、これに応じて柔軟に対応可能である。
【０１０９】
メインサブ配置やメイン縮小率、サブ縮小率を統合画像ごとに伝送すればダイナミックにメインサブを変更することも可能である。また、これらの変更は少ないとして、変化したときのみ伝送することも可能である。更には、一定の配置や縮小率と送受信間で取り決めて伝送パラメータに含めないことも可能である。縮小拡大処理のフィルタパラメータに関してもメイン縮小率・サブ縮小率に伴って伝送することも考えられる。
【０１１０】
本実施形態では、差分画像をオリジナル画像サイズで行っているため、サブ画像サイズとメイン画像サイズが同じになってもＦ１,Ｆ２の縮小・拡大率は１．０にならない。そこで、図３０に示すような送信側のサブ画像処理を用い、図３１に示すような受信側のサブ画像復元処理を用いることも考えられる。
【０１１１】
図３０、図３１のフローチャートでは、最初にメイン画像とサブ画像の縮小率が同じかどうかを判断し、同じだった場合には差分画像を用いず、送信側ではサブ元画像をそのまま縮小し、受信側ではサブ画像をそのままオリジナル画像サイズに拡大して出力している。なお。多くのコンテンツでは、サブ画像サイズとメイン画像サイズを等しくする場合よりも、サブ画像サイズがメイン画像サイズよりも小さくなること場合の方が適していると考えられるため、図３０、図３１の処理が必ずしも必要になるわけではない。
【０１１２】
＜３．第３の実施形態＞
第３の実施形態では、動き補償も含めた例を示す。第１の実施形態では、サブ画像を作成する際やサブ画像から復元画像を生成する際に必要となる推定元画像は、１フレーム前の統合画像内のメイン画像としたが、第３の実施形態では複数のメイン画像・サブ復元画像を参照して推定元画像を生成する。更に、第３の実施形態では、それらの画像とサブ元画像との動き検出や動き補償処理を行い、重みつき平均によって推定元画像を算出する。
【０１１３】
推定元画像の算出に関して、本実施形態では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズのサブ復元画像、１枚後のメイン画像を使用するものとする。図３２は、現フレームＬ２において、Ｌ１の推定元画像を算出する方法を示す模式図である。この場合、１，３，５枚前の３個のメイン画像として、Ｌ０，Ｌ−２，Ｌ−４を用い、２，４枚前の２個のメイン画像サイズのサブ復元画像として、Ｌ−１，Ｌ−３を用い、１枚後のメイン画像としてＬ２を用いるものとする。
【０１１４】
動き検出と動き補正処理は、メイン画像サイズの画像を８ｘ８の画素ブロックに分け、それぞれのブロックが他の画像のどこにマッチングするかを求め、マッチング箇所を並べ直して推定元画像算出に用いることとする。もちろん、算出に用いるメイン画像数やメイン画像サイズ、サブ復元画像数や動き検出方法および動き補正方法には特に制限はなく、どのような枚数、動き検出・補正方法であっても適用可能である。
【０１１５】
図１７は、第３の実施形態に係る送信装置１００の処理ブロックを示す模式図である。図５に比較すると、図１７では、サブ画像処理ブロックの内部処理以外では、入力部のサブ元画像、サブ縮小率が一旦バッファリングされる。また、図１７では、メイン画像処理部１２０の出力の左右フラグ、メイン画像がバッファリングされ、また、メイン画像処理部１２０からの出力のメイン画像、メイン縮小率のバッファリング数が複数に対応できるようになっており、サブ画像処理部で必要なメイン画像、メイン縮小率を複数供給できるようになる。
【０１１６】
また、図１７では、サブ画像処理部１３０の出力であるメイン画像サイズサブ復元画像、サブ復元縮小率をバッファリングし、後のサブ画像処理で必要なメイン画像サイズサブ復元画像、サブ復元縮小率を供給できる。また、図１７では、推定元画像０フラグに替わって重みつき平均の重みを出力する。図１７では、以上の構成が図５に対して異なっている。
【０１１７】
この変更に伴って、図１９に示すフローチャートは図７のフローチャートから変化している。処理の最初に、ｍａｉｎ＝Ｌ，ｓｕｂ＝Ｒ，ｐ＿ｎｕｍ＝０とする（ステップＳ９００）。ｍａｉｎ，ｓｕｂは左右のどちらをメイン画像・サブ画像とするかを示すフラグであり、ｐ＿ｎｕｍは出力する統合画像の画像番号であり、０を最初の画像とし、一枚作成するごとに１ずつ増加するカウンタ値である。
【０１１８】
処理としては両眼画像すべてについてのループ処理となっている。ループ処理としては、まず、ｍａｉｎ，ｓｕｂに応じて両眼画像をメイン元画像とサブ元画像とし（ステップＳ９０２）、サブ元画像とサブ縮小率を保存する（ステップＳ９０４）。
【０１１９】
次にメイン画像処理を行い、メイン元画像をメイン縮小率で縮小してメイン画像とする（ステップＳ９０６）。この際、メイン画像とメイン縮小率を保存するとともに、ｍａｉｎフラグを左右フラグとして保存する（ステップＳ９０８）。これらの保存データに関しては、最初の画像から何枚目かを示す画像インデックスなどで検索可能とし、出力処理やサブ画像処理で必要な画像を引き出すことを可能とする。
【０１２０】
フローチャートとしては、この段階でサブ画像処理に必要な後続メイン画像は揃ったかどうかを判定し、判定結果に応じた分岐処理となる（ステップＳ９１０）。本実施形態では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズサブ復元画像、１枚後のメイン画像を使用することとしており、後続メイン画像としてはサブ画像処理を行うｐ＿ｎｕｍ番号に対してｐ＿ｎｕｍ＋１のメイン画像を使用する。
【０１２１】
このため、最初の処理では後続メイン画像は揃っておらず、ｎｏの判定になる。もちろん、両眼画像はまだ存在するので次の分岐はｙｅｓ判定になって、ステップＳ９２８でｍａｉｎ，ｓｕｂを入れ替えた上でループ処理を繰り返す。この繰り返しによって、再度サブ画像処理に必要な後続メイン画像（ｐ＿ｎｕｍ＋１）が揃うため、ステップＳ９１０の分岐処理がｙｅｓ判定になって、ｐ＿ｎｕｍのサブ画像処理（ステップＳ９２２）と出力処理（ステップＳ９２４）が行われる。
【０１２２】
このループ処理は、ステップＳ９２６の判定に応じて、両眼画像全てを処理するまで行われる。最後の両眼画像がメイン・サブに分けられて保存され、上記の分岐処理ならびにサブ画像処理・出力処理が行われると、残りの両眼画像はなくなる。しかし、後続メイン画像を使用している関係で、サブ画像処理した画像数と保存したメイン画像・サブ元画像数にはずれが生じているため、処理を続行してメイン画像をすべて統合画像に配置して伝送しなければならない。このため、ｍａｉｎ，ｓｕｂを入れ替えた上で（ステップＳ９２０）、再度、後続メイン画像が足りないままサブ画像処理と出力処理を行い、全ての保存したサブ元画像が処理された段階で処理を終了する。
【０１２３】
図２０は、図１９のステップＳ９２４の出力処理を示すフローチャートである。図２０の出力処理では、算出したサブ画像と同時刻のメイン画像を統合画像に配置し（ステップＳ１０００）、同時刻の統合画像、メインサブ配置、左右フラグ、メイン縮小率、サブ縮小率、動きベクトルを出力するとともに（ステップＳ１００２）、サブ画像を算出する際に用いた推定元画像算出に用いた重みも出力する（ステップＳ１００４）。この重みでは、最初の処理で存在しなかったメイン画像やサブ復元画像に対して０を指定する。また、最後に後続メイン画像が不足した状況でサブ画像算出した場合の不足したメイン画像に対して０を指定しており、受信側で得られない画像の重みを０とすることで同じ推定元画像を生成できる仕組みとしている。
【０１２４】
こうした出力を行った後、ｐ＿ｎｕｍをインクリメントして（ステップＳ１００６）、ｐ＿ｎｕｍを次の処理すべき統合画像の画像番号として出力処理を終了する。
【０１２５】
図２１は、図１９のステップＳ９２２のサブ画像処理のフローチャートである。本実施形態のサブ画像処理では、サブ元画像を現在のメイン画像サイズに縮小して縮小サブ元画像とする（ステップＳ１１００）。次に後述する推定元画像算出処理によって推定元画像を算出する（ステップＳ１１０２）。次に、求めた縮小サブ元画像から推定元画像を引いて差分画像とし、差分画像を一時サブ復元元画像にコピーする（ステップＳ１１０４）。以降、求めるサブ画像の数だけループ処理を行う。
【０１２６】
ループ処理の内容は以下である。先ず、差分画像を縮小して補正差分画像を求め、サブ画像として出力する（ステップＳ１１０６）。次にサブ画像を現在のメイン画像サイズに拡大し、拡大サブ画像とする（ステップＳ１１０８）。さらに、一時サブ復元画像に拡大サブ画像を加算して新たな一時サブ復元画像とする（ステップＳ１１１０）。
【０１２７】
ステップＳ１１１２では求めるサブ画像がまだあるか否かを判定し、この時点でサブ画像数がそろっていればループを終了し、一時サブ復元画像をメイン画像サイズサブ復元画像として出力する（ステップＳ１１１６）。サブ画像数が足りない場合には、差分画像から拡大差分画像を減算して新たな差分画像とし（ステップＳ１１１４）、ループ処理を繰り返す。
【０１２８】
図２２は、図２１のステップＳ１１０２における、推定元画像算出処理のフローチャートである。本実施形態では推定元画像を複数の画像から算出する。複数の画像からは重みつき平均を用いて一枚の推定元画像とするので、最初に一時推定元画像を画素値０で初期化し（ステップＳ１２００）、重みをつけて画素加算することで最終的な推定元画像を得ることにする。なお、重みを掛けた際の丸め処理方法などの詳細については記述しないが、方法は特に限定されるものではない。
【０１２９】
また、推定ソース画像は既に記述したように、前３枚のメイン画像と前２枚のサブ画像、後１枚のメイン画像とする（ステップＳ１２０２）。これら全ての推定ソース画像に対してループ処理を行う。
【０１３０】
ループ処理の内容は以下である。先ず、ステップＳ１２０４において、当該の推定ソース画像が存在するか否かを判定し、当該の推定ソース画像が存在しない場合は、一時重みの当該係数を０として次の推定ソース画像の処理に移る（ステップＳ１２１４）。推定ソース画像が存在しないケースは、両眼動画像の最初の画像を処理するときなどに算出するサブ画像よりも前の画像がない場合と、最後の画像を処理するときなどに算出するサブ画像よりも後の画像がない場合がある。これらの場合には推定ソース画像として画素値０をもつ画像を想定するため、一時推定元画像には加算処理を行わない。また、この処理を受信側でも同様に行うために、重み係数のうちの該当する係数を０として伝送する。
【０１３１】
また、当該の推定ソース画像が存在する場合には、推定ソース画像を現在のメイン画像サイズに拡大・縮小し、補正前入力画像とする（ステップＳ１２０６）。
【０１３２】
次に、図２１のサブ画像処理のフローチャートの最初に算出した縮小サブ元画像を８ｘ８のブロックにわけ、各ブロックごとに最もマッチするブロック位置を補正前入力画像から選び、このときの画像上でのブロック位置のずれを動きベクトルとして出力する（ステップＳ１２０８）。
【０１３３】
この動きベクトルを用いて補正前入力画像上のマッチングしたブロックを、縮小サブ元画像の各ブロック位置に配置しなおし、補正後入力画像とする（ステップＳ１２１０）。この状態で、補正後入力画像と縮小サブ元画像の各ブロックはマッチングが取れている状態となっているので、推定ソース画像ごとに定めた重みを各画素に乗算し、一時推定元画像に加算する。また、この重みを一時重みの該当重みにコピーする（ステップＳ１２１２）。
【０１３４】
ステップＳ１２１６では、残りの推定ソース画像があるか否かを判定し、この時点ですべての推定ソース画像の処理が済んでいれば、ループ処理を終了して一時推定元画像を推定元画像として出力するとともに、一時重みを重みとして出力して推定元画像算出処理を終了する（ステップＳ１２１８）。一方、ステップＳ１２１６で残りの推定ソース画像がある場合には、ループ処理を繰り返す。
【０１３５】
以上のようにして、本実施形態では、複数の推定ソース画像の動き検出と動き補正を行った後に重み付け平均をとった推定元画像を算出することができる。
【０１３６】
どのメイン画像、メイン画像サイズサブ復元画像を使用するか、動き検出・補償を行うブロックのサイズはどのくらいにするかなどは、受信側とあらかじめ取り決めを行うことができる。また、取り決めを行わない場合は、送信側からこれらの情報を伝送し、受信側でも送信側と同じ推定元画像を生成できるようにする。メイン画像に関しては現在よりも後のメイン画像を推定ソース画像として使用できるが、メイン画像サイズサブ復元画像に関しては現在よりも前のメイン画像サイズサブ復元画像のみが使用できる。
【０１３７】
推定元画像を算出する処理は受信側の処理でも可能である必要がある。現在よりも前のメイン画像やメイン画像サイズサブ復元画像は受信側で得ることが可能であり、到達した統合画像の処理を遅らせて、処理する統合画像より後の統合画像からも推定ソース画像を得るとすると、統合画像上から切り出したメイン画像は拡大縮小のみで推定ソース画像として使用できるが、サブ画像は復元処理が必要であり、そのまま使用することはできない。したがって上記のような推定ソース画像の使用制限となっている。
【０１３８】
図１８は、本実施形態の受信装置２００の処理ブロックを示す模式図である。本実施形態の受信側処理では、図１８の左側にある、統合動画像、メインサブ配置情報、メイン縮小率、サブ縮小率、左右フラグ、動きベクトル、重みを入力とし、左眼用動画像、右眼用動画像を出力する。
【０１３９】
入力部２１０は、第１および第２の実施形態と同様に、統合画像をメインサブ配置情報に基づいてメイン画像とサブ画像に分離する。分離したメイン画像とサブ画像は一旦バッファリングされる。そのほかの入力に関しても一旦バッファリングされる。このバッファリングはサブ画像処理で処理する統合画像よりも後に到着する統合画像中のメイン画像を処理に用いるために行われる。
【０１４０】
メイン画像処理ブロック２２０は、第１および第２の実施の形態と同様の処理であり、メイン画像をメイン縮小率を用いてオリジナル画像サイズに拡大する。この拡大処理は、サブ画像処理で復元されたサブ復元画像と同じ時刻のメイン画像に対して施され、復元画像振分け処理にて左眼用画像と右眼用画像に振り分けられる。この振り分け処理に用いられる左右フラグについてもサブ復元画像と同じ時刻のものが使用される。この処理をフローチャートに示したものが図２３である。
【０１４１】
図２４は、図２３のステップＳ１３０６におけるサブ画像処理のフローチャートである。サブ画像処理では最初に、後述する推定元画像算出処理を行い、推定元画像を算出する（ステップＳ１４００）。
【０１４２】
この推定元画像を一時サブ復元画像とし（ステップＳ１４０２）、以下のループ処理を行う。まず、サブ画像を現在のメイン画像サイズに拡大し、拡大サブ画像とする（ステップＳ１４０４）。次に一時サブ復元画像に拡大サブ画像を加算し、新たな一時サブ復元画像とする（ステップＳ１４０６）。
【０１４３】
ステップＳ１４０８では残りのサブ画像があるか否かを判定し、全てのサブ画像について、このループ処理を行った後、一時サブ復元画像をメイン画像サイズサブ復元画像として保存するとともに、オリジナル画像サイズに拡大し、オリジナル画像サイズサブ復元画像として出力する（ステップＳ１４１０）。
【０１４４】
図２５は、推定元画像算出処理を示すフローチャートである。最初に一時推定元画像を画素値０で初期化する（ステップＳ１５００）。送信側の処理で既に示したように、本実施例では、１，３，５枚前の３個のメイン画像と、２，４枚前の２個のメイン画像サイズサブ復元画像、１枚後のメイン画像を使用することとしている。
【０１４５】
これらの画像をバッファ中から引き出し推定ソース画像とし（ステップＳ１５０２）、全ての推定ソース画像に対して以下の処理を行う。ただし、ステップＳ１５０４の判定により、重みが０の画像に関しては処理しない。重みが０でない画像に関しては、現在のメイン画像サイズに拡大・縮小し、補正前入力画像とする（ステップＳ１５０６）。
【０１４６】
次に補正後入力画像上の各８ｘ８ブロックに対して動きベクトルによって対応する８ｘ８ブロックを補正前入力画像から選び出して配置しなおすことで、補正後入力画像を得る（ステップＳ１５０８）。
【０１４７】
補正後入力画像が求まったら、重みを掛けた後、一時推定元画像に加算する（ステップＳ１５１０）。以上の処理をすべての推定ソース画像に対して行った後、一時推定元画像を推定元画像として出力する（ステップＳ１５１２）。
【０１４８】
第１、第２、第３の実施の形態で示した推定元画像算出処理は、処理の一例であり、たとえば、１枚前のメイン画像を使用して、動き補償を行って推定元画像とする場合、１枚前と１枚後の２個のメイン画像を平均（重みが均一な重みつき平均）した画像を推定元画像とする場合など、多くの組み合わせを想定することができる。
【０１４９】
また、本実施形態では、最も効果が高いと思われる二眼立体画像の処理について記述したが、時間軸方向での差分画像をベースとしたサブ画像を用い、メイン画像に比べてサブ画像を縮小した形で伝送する方式の有効性には、立体動画像のような動画像間の類似性や動画像数による制限はなく、相関のない２つ以上の動画像に対して適用した場合も十分な効果を得ることができる。
【０１５０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１５１】
１００ 送信装置
１１０ 入力部
１２０ メイン画像処理部
１３０ サブ画像処理部
１４０ 統合画像生成処理部
２００ 受信装置
２１０ 入力部
２２０ メイン画像処理部
２３０ サブ画像処理部２３０
２４０ 復元画像振り分け処理部
【特許請求の範囲】
【請求項１】
複数の異なるソース動画像が順次に入力されるステップと、
フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、
フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、
前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、
前記統合画像を受信側へ送信するステップと、
を備える、画像送信方法。
【請求項２】
前記メイン画像を生成するステップにおいて、ソース動画像のオリジナルサイズを縮小して前記メイン画像を生成する、請求項１に記載の画像送信方法。
【請求項３】
前記サブ画像を生成するステップにおいて、フレーム間の差分を縮小して前記サブ画像を生成する、請求項１に記載の画像送信方法。
【請求項４】
前記サブ画像を生成するステップにおいて、前記他のソース動画像について、１つ前のフレームの前記他のソース動画像と、現フレームの前記他のソース動画像との差分から現フレームのサブ画像を生成する、請求項１に記載の画像送信方法。
【請求項５】
前記サブ動画像は、
前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像から生成される、請求項１に記載の画像送信方法。
【請求項６】
前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、Ｋ−Ｍ番目の画像、又はＫ＋Ｎ−Ｍ番目の画像である、請求項１に記載の画像送信方法。
【請求項７】
前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、ｉ、ｊを０以上の整数とすると、
Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−１番目以前とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ＋Ｎ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ＋Ｎ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、Ｋ−１番目以前とｊを０以上の整数としたときにＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、のいずれかである、請求項１に記載の画像送信方法。
【請求項８】
前記サブ動画像は、
前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像に対して補正演算処理を行って生成され、
前記補正処理は、伝送する補正差分画像数Ｓに対して、１又は複数の補正差分画像を生成する処理であり、補正差分画像１は、元画像もしくは縮小元画像と推定元画像との差分画像に対して、伝送する画像内の配置に基づく縮小率で縮小処理を施して得る画像であり、補正差分画像ｎ（ｎ＝２〜Ｓ）は、元画像もしくは縮小元画像から、推定元画像ならびに補正差分画像１〜補正差分画像（ｎ−１）を推定元画像と同サイズに拡大して得た拡大補正差分画像１〜拡大補正差分画像（ｎ−１）を減算した差分画像を、伝送する画像内の配置に基づく縮小率で縮小処理を施して得られる画像である、請求項１に記載の画像送信方法。
【請求項９】
元画像もしくは縮小元画像と補正差分画像を統合した統合動画像では、各ソース動画像の配置を入れ替えることで、前の統合画像の元画像もしくは縮小画像と同位置に次の統合画像の元画像もしくは縮小画像が配置され、前の統合画像の補正差分画像と同位置に次の統合画像の補正差分画像が配置される、請求項５に記載の画像送信方法。
【請求項１０】
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、
前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、
前記メイン画像に対応するソース動画像を復元するステップと、
隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、
前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、
を備える、画像受信方法。
【請求項１１】
複数の異なるソース動画像が順次に入力される入力部と、
フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、
フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、
前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、
を備える、画像送信装置。
【請求項１２】
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、
前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、
隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、
前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、
を備える、画像受信装置。
【請求項１３】
複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、
を備える画像伝送システム。
【請求項１】
複数の異なるソース動画像が順次に入力されるステップと、
フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するステップと、
フレーム毎に、前記メイン画像が生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ画像を生成するステップと、
前記メイン画像と前記サブ画像とを統合した統合画像を生成するステップと、
前記統合画像を受信側へ送信するステップと、
を備える、画像送信方法。
【請求項２】
前記メイン画像を生成するステップにおいて、ソース動画像のオリジナルサイズを縮小して前記メイン画像を生成する、請求項１に記載の画像送信方法。
【請求項３】
前記サブ画像を生成するステップにおいて、フレーム間の差分を縮小して前記サブ画像を生成する、請求項１に記載の画像送信方法。
【請求項４】
前記サブ画像を生成するステップにおいて、前記他のソース動画像について、１つ前のフレームの前記他のソース動画像と、現フレームの前記他のソース動画像との差分から現フレームのサブ画像を生成する、請求項１に記載の画像送信方法。
【請求項５】
前記サブ動画像は、
前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像から生成される、請求項１に記載の画像送信方法。
【請求項６】
前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、Ｋ−Ｍ番目の画像、又はＫ＋Ｎ−Ｍ番目の画像である、請求項１に記載の画像送信方法。
【請求項７】
前記推定元画像は、ソース動画像の総数をＮとし、現フレームが１のソース動画像中のＫ番目の画像とし、このソース動画像がＫ−Ｍ番目でメイン画像となるとした場合に、ｉ、ｊを０以上の整数とすると、
Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−１番目以前とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像に対する重みつき平均画像、Ｋ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ＋Ｎ−Ｍ番目の画像からＫ番目の画像への変化をもとにＫ＋Ｎ−Ｍ番目の画像に動き補正を行った動き補正画像、Ｋ−Ｎ＊ｉ−Ｍ番目で示される前方の画像とＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、Ｋ−１番目以前とｊを０以上の整数としたときにＫ＋Ｎ＊ｊ＋Ｎ−Ｍ番目で示される後方の画像から選択した複数画像各々とＫ番目の画像の違いから各画像に動き補正を行った動き補正画像列に対する重みつき平均画像、のいずれかである、請求項１に記載の画像送信方法。
【請求項８】
前記サブ動画像は、
前記他のソース動画像の時間軸における前後方向の画像列から得られる推定元画像を用い、前記他のソース動画像の現フレームの元画像から前記推定元画像を減算して得られる差分画像に対して補正演算処理を行って生成され、
前記補正処理は、伝送する補正差分画像数Ｓに対して、１又は複数の補正差分画像を生成する処理であり、補正差分画像１は、元画像もしくは縮小元画像と推定元画像との差分画像に対して、伝送する画像内の配置に基づく縮小率で縮小処理を施して得る画像であり、補正差分画像ｎ（ｎ＝２〜Ｓ）は、元画像もしくは縮小元画像から、推定元画像ならびに補正差分画像１〜補正差分画像（ｎ−１）を推定元画像と同サイズに拡大して得た拡大補正差分画像１〜拡大補正差分画像（ｎ−１）を減算した差分画像を、伝送する画像内の配置に基づく縮小率で縮小処理を施して得られる画像である、請求項１に記載の画像送信方法。
【請求項９】
元画像もしくは縮小元画像と補正差分画像を統合した統合動画像では、各ソース動画像の配置を入れ替えることで、前の統合画像の元画像もしくは縮小画像と同位置に次の統合画像の元画像もしくは縮小画像が配置され、前の統合画像の補正差分画像と同位置に次の統合画像の補正差分画像が配置される、請求項５に記載の画像送信方法。
【請求項１０】
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信するステップと、
前記統合画像から前記メイン画像と前記サブ画像を分離するステップと、
前記メイン画像に対応するソース動画像を復元するステップと、
隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するステップと、
前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示するステップと、
を備える、画像受信方法。
【請求項１１】
複数の異なるソース動画像が順次に入力される入力部と、
フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、
フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、
前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、
を備える、画像送信装置。
【請求項１２】
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、
前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、
隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、
前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、
を備える、画像受信装置。
【請求項１３】
複数の異なるソース動画像が順次に入力される入力部と、フレーム毎に前記複数の異なるソース画像の１つからメイン画像を生成するメイン画像処理部と、フレーム毎に、前記メイン画像は生成されたソース動画像以外の他のソース動画像について、フレーム間の差分からサブ動画像を生成するサブ画像処理部と、前記メイン画像と前記サブ画像とを統合した統合画像を生成する統合画像生成処理部と、を有する画像送信装置と、
複数の異なるソース動画像の１つから生成されたメイン画像と、前記メイン画像に対応するソース動画像以外の他のソース動画像についてフレーム間の差分から生成されたサブ動画像と、からなる統合画像を受信し、前記統合画像から前記メイン画像と前記サブ画像を分離する分離部と、前記メイン画像に対応するソース動画像を復元するメイン画像復元分と、隣接するフレームのメイン画像と、分離したサブ画像とからサブ画像に対応するソース動画像を復元するサブ画像復元分と、前記メイン画像及び前記サブ画像に対応するそれぞれのソース動画像を表示する表示部と、を有する画像受信装置と、
を備える画像伝送システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１１−１０９３９８（Ｐ２０１１−１０９３９８Ａ）
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願番号】特願２００９−２６２１８６（Ｐ２００９−２６２１８６）
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月２日（２０１１．６．２）
【国際特許分類】
【出願日】平成２１年１１月１７日（２００９．１１．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]