画像変換装置、画像変換方法、画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、動画像変換装置、動画像変換方法、動画像変換プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
【課題】本発明は、複数のカメラで撮像される画像情報などを蓄積する場合に、その蓄積に要する時間を大幅に短縮できるようにする新たな画像変換技術の提供を目的とする。
【解決手段】画像情報を空間サブバンド分割または時空間サブバンド分割することで複数のバンドに分割し、バンドデータ毎に蓄積する媒体を選択して、バンドデータをデータフォーマット変換して蓄積する。ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。これから、カメラで撮影される画像情報の１フレームあたりの蓄積処理をバンド数分だけ並列処理にすることができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【解決手段】画像情報を空間サブバンド分割または時空間サブバンド分割することで複数のバンドに分割し、バンドデータ毎に蓄積する媒体を選択して、バンドデータをデータフォーマット変換して蓄積する。ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。これから、カメラで撮影される画像情報の１フレームあたりの蓄積処理をバンド数分だけ並列処理にすることができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像蓄積に関する技術である。
【背景技術】
【０００２】
複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが、更に、撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば、下記に示す非特許文献１では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。
【０００３】
ここで、任意視点の映像を生成するための画像情報の符号化方法としては、カメラ入力映像を符号化対象とする手法と、光線空間を符号化対象とする手法とに分類できる。
【０００４】
カメラ入力映像を符号化対象とする手法としては、単純にカメラ入力映像を個別に符号化する手法の他に、カメラ間の相関を利用した手法が提案されている。例えば、下記に示す非特許文献２では、複数のカメラ入力映像のうち、同じ時間帯のピクチャをまとめて一つのタイルとして符号化する手法を提案している。このタイル内にあるピクチャ間でフレーム間予測符号化を適用して比較的効率の良い符号化を実現する。
【０００５】
このように、複数カメラ入力映像のピクチャ間でフレーム間予測符号化を適用して、各ピクチャを符号化することが行われている。
【０００６】
一方、光線空間を符号化対象とする手法としては、例えば、下記に示す非特許文献３が挙げられる。この手法では、多次元の光線空間を多次元サブバンド分割して複数のレイヤ構造にして、各レイヤを符号化する。
【非特許文献１】藤井，木本，谷本：“光線群表現における３次元空間情報の圧縮”，３次元画像コンファレンス'96, pp.1-6 (1996.7)
【非特許文献２】Heung-Yeung Shun, Sing Bing Kang, Shing-Chow Chan, "Survey of Image-Based Representations and Compression Techniques," IEEE Trans., Circuits Syst., Video Technol., vol.13, no.11, pp.1020-1037, 2003
【非特許文献３】M.Tanimoto, S.Sakaguchi, T.Kobayashi, T.Fujii, T.Kimoto, "The Hierarchical Ray Space for 3-D Imaging," EVA 2000 Florence（2000.3）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数のカメラで構成される撮像系では、カメラから取得する画像情報は膨大なものとなる。この膨大な画像情報を、ユーザは一度の画像として見るようなことはなく、通常はこのうちの一部分を選択して見ることになる。例えば、ユーザの所望する視点位置や視線方向の画像情報を見る場合には、その画像を生成するために必要な画像情報または光線情報のみが必要であって、必ずしも全ての画像情報は必要ではない。
【０００８】
このようなことを背景にして、通常の場合、複数のカメラ入力画像は一旦記録媒体に蓄積されることになる。
【０００９】
このとき、記録する対象である画像情報は膨大なものとなることから、記録媒体としてはＤＲＡＭのような撮像デバイスに含まれる小容量のメモリではなく、ハードディスクなどのような大容量の外部記憶装置が使用される。ここで、メモリは高速にデータを転送することができるのに対して、ハードディスクなどの外部記憶装置は記録媒体に記録する処理時間が膨大なものとなるという問題がある。
【００１０】
従来技術では、複数のカメラ入力画像などを取り扱う場合にも、特別な工夫を施すことなく、それぞれのカメラ入力画像を符号化して、ハードディスクなどのような大容量の外部記憶装置に蓄積するようにしていた。
【００１１】
これから、従来技術に従っていると、複数のカメラで構成される撮像系で撮像される画像情報を蓄積する場合に、その蓄積に多大な時間を要するという問題がある。
【００１２】
本発明はかかる事情に鑑みてなされたものであって、複数のカメラで構成される撮像系で撮像される画像情報などを蓄積する場合に、その蓄積に要する時間を大幅に短縮できるようにする新たな画像変換技術の提供を目的とする。
【課題を解決するための手段】
【００１３】
〔１〕本発明の画像変換装置の構成
上記目的を達成するために、本発明の画像変換装置は、（イ）画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部とを備えるように構成する。
【００１４】
以上の各処理手段が動作することで実現される本発明の画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１５】
このように構成される本発明の画像変換装置では、画像情報をＮ個のバンドデータに空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
【００１６】
このようにして、本発明の画像変換装置によれば、画像情報を空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００１７】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。従って、カメラで撮影される画像情報の１フレームあたりの平均の蓄積処理をバンド数分だけ並列に処理することができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【００１８】
〔２〕本発明の動画像変換装置の構成
上記目的を達成するために、本発明の動画像変換装置は、（イ）動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部とを備えるように構成する。
【００１９】
以上の各処理手段が動作することで実現される本発明の動画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２０】
このように構成される本発明の動画像変換装置では、動画像情報をＮ個のバンドデータに時空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
【００２１】
このようにして、本発明の動画像変換装置によれば、動画像情報を時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００２２】
これをカメラ撮像系に適用するには、例えば次のような手順となる。
【００２３】
カメラで撮影される画像情報を蓄積するメモリを備えておき、撮影される画像情報を複数フレーム分蓄積する。そして、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用して、複数のバンドに分割する。このとき、低域成分について時間サブバンド分割を繰り返す。次に、得られた各バンドデータに対して、更に空間サブバンド分割を適用する。そして、バンドデータ毎に蓄積する媒体を選択する。
【００２４】
ここで、この例では、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。
【００２５】
このようにして、本発明の動画像変換装置によれば、動画像情報を時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００２６】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。従って、カメラで撮影される画像情報の１フレームあたりの平均の蓄積処理をバンド数分だけ並列に処理することができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【００２７】
フォーマット変換蓄積部で変換するフォーマットとしては、各バンドデータの先頭に時刻情報をつけて時刻順序に配列したものとなる。更に、バンドデータを可逆符号化または不可逆符号化してもよい。また、時刻の異なるバンドデータ間でフレーム間予測符号化を適用しても良い。
【００２８】
また、このフォーマット変換蓄積部については、ネットワークで繋がれた複数の蓄積機器で構成されてもよいし、ＰＣＩバスやシリアルバスで接続された複数の蓄積機器で構成されてもよい。ＰＣＩバスなどで接続される場合には、複数の蓄積機器はＲＡＩＤ構成で実現してもよい。
【００２９】
また、フォーマット変換蓄積部で蓄積する際に、他のフォーマットデータとの依存関係を同時に蓄積すると好適である。
【００３０】
例えば、高域バンドデータは低域バンドデータが無いと画像情報を再構成できない。そこで、高域バンドデータを蓄積するフォーマットでは、低域バンドデータが画像の再構成には必要であることを示す情報と、低域バンドデータが蓄積されている場所を示す情報とを蓄積してもよい。また、低域バンドデータを蓄積するフォーマットでは、解像度を上げることに利用できる高域バンドデータが他にあることを示す情報と、高域バンドデータが蓄積されている場所を示す情報とを蓄積してもよい。
【発明の効果】
【００３１】
以上に説明したように、本発明によれば、画像情報を空間サブバンド分割または時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００３２】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。
【００３３】
従って、本発明によれば、カメラで撮影される画像情報の１フレームあたりの蓄積処理をバンド数分だけ並列処理にすることができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
カメラから入力された画像情報を空間サブバンド分割（ウエーブレット変換などを用いることにより空間サブバンド分割する）して、４箇所に転送し、各バンドでフレーム間予測符号化を適用してフォーマット変換する場合の処理例について説明する。
【００３６】
フレーム間予測符号化としてはＨ.264符号化方式を用いるとする。また、空間サブバンド分割では、画像情報を一度サブバンド分割し、更に低域成分をサブバンド分割するものとする。また、バンド振り分け送信部では、空間サブバンド分割部で画像情報をサブバンド分割したバンドを基準に転送先を選択するものとする。
【００３７】
図１に、空間サブバンド分割したバンド構成の例と転送する基準とを示す。
【００３８】
この図では、画像情報を１回サブバンド分割したときの縦横高域成分をＨＨで示し、縦低域横高域成分をＨＬで示し、縦高域横低域成分をＬＨで示す。そして、画像情報を１回サブバンド分割したときの縦横低域成分に対して、更に１回サブバンド分割したときの縦横高域成分をＬＬ−ＨＨで示し、縦低域横高域成分をＬＬ−ＨＬで示し、縦高域横低域成分をＬＬ−ＬＨで示し、縦横低域成分をＬＬ−ＬＬで示す。
【００３９】
この例では、合計７バンドに分割されるが、バンド振り分けについては、図中に示す太い枠で示した基準で４箇所に転送する。
【００４０】
図２に、本発明を具備する動画像変換装置の一実施形態例を図示する。
【００４１】
この図に示すように、本発明を具備する動画像変換装置は、動画像を撮影する画像撮像部１０１と、画像を空間サブバンド分割する空間サブバンド分割部１０２と、バンドデータを４箇所に転送するバンド振り分け送信部１０３と、第１のバンドデータを受信しデータフォーマットに変換して蓄積する第１のフォーマット変換蓄積部１０４-1と、第２のバンドデータを受信しデータフォーマットに変換して蓄積する第２のフォーマット変換蓄積部１０４-2と、第３のバンドデータを受信しデータフォーマットに変換して蓄積する第３のフォーマット変換蓄積部１０４-3と、第４のバンドデータを受信しデータフォーマットに変換して蓄積する第４のフォーマット変換蓄積部１０４-4とを備える。
【００４２】
第１のフォーマット変換蓄積部１０４-1の処理する第１のバンドデータにはＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドが含まれており、第２のフォーマット変換蓄積部１０４-2の処理する第２のバンドデータにはＨＬバンドが含まれており、第３のフォーマット変換蓄積部１０４-3の処理する第３のバンドデータにはＬＨバンドが含まれており、第４のフォーマット変換蓄積部１０４-4の処理する第４のバンドデータにはＨＨバンドが含まれている。
【００４３】
図３に、フォーマット変換蓄積部１０４-i（ｉ＝１〜４）の一実施形態例を図示する。
【００４４】
この図に示すように、各フォーマット変換蓄積部１０４-iは、バンド毎にデータを入力するデータ入力部２０１と、参照画像との間で動き探索を行って符号化モードを決定する動き探索モード決定部２０２と、参照画像との間で動き補償をして予測残差を求める動き補償部２０３と、予測残差を符号化する符号化部２０４と、符号化データを復号する復号部２０５と、復号画像を蓄積する参照画像メモリ２０６と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。
【００４５】
第１のバンドデータを処理する第１のフォーマット変換蓄積部１０４-1の実行する処理について説明するならば、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。参照画像メモリ２０６には各バンドに対応した個別のメモリが用意されている。
【００４６】
第１のフォーマット変換蓄積部１０４-1は、まず、フレーム時刻符号化部２０７を使って入力フレームの時刻を符号化する。そして、ＬＬ−ＬＬ成分の画像情報を入力し、動き探索をして符号化モードを決定する。このとき、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、動き補償して符号化し、符号化データを復号して、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４７】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＬ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４８】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４９】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００５０】
最後に、第１のフォーマット変換蓄積部１０４-1は、媒体蓄積部２０８を使って、フレーム時刻符号化データと各バンドの符号化データとを多重化して、蓄積媒体に蓄積する。
【００５１】
一方、第２のバンドデータを処理する第２のフォーマット変換蓄積部１０４-2は、Ｈ.264符号化方式を適用して、ＨＬ成分の画像情報をフレーム間予測符号化する。また、第３のバンドデータを処理する第３のフォーマット変換蓄積部１０４-3は、Ｈ.264符号化方式を適用して、ＬＨ成分の画像情報をフレーム間予測符号化する。また、第４のバンドデータを処理する第４のフォーマット変換蓄積部１０４-4は、Ｈ.264符号化方式を適用して、ＨＨ成分の画像情報をフレーム間予測符号化する。
【００５２】
このような前提で、画像撮像部１０１により撮影して得られる動画像情報を４箇所に転送し、フォーマット変換して蓄積媒体に蓄積させる手順について説明する。
【００５３】
まず、画像撮像部１０１は、画像情報を撮影し、これを受けて、空間サブバンド分割部１０２は、画像情報を空間サブバンド分割し、これを受けて、バンド振り分け送信部１０３は、図１に示す基準（太枠で示した基準）に従ってバンドデータを４箇所に転送する。
【００５４】
このバンドデータの転送を受けて、第１のフォーマット変換蓄積部１０４-1では、４つのバンドデータ（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第２のフォーマット変換蓄積部１０４-2では、１つのバンドデータ（ＨＬバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第３のフォーマット変換蓄積部１０４-3では、１つのバンドデータ（ＬＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第４のフォーマット変換蓄積部１０４-4では、１つのバンドデータ（ＨＨバンド）を受信してＨ．２６４符号化方式を適用して符号化して蓄積媒体に蓄積する。
【００５５】
本発明を具備する動画像変換装置は、以上の手順を画像を撮影する度に繰り返し実行する。
【００５６】
このようにして、図２及び図３のように構成される本発明を具備する動画像変換装置では、画像情報を空間サブバンド分割して、４箇所に転送して個別に蓄積するように処理することから、カメラで撮影される画像情報の１フレームあたりの蓄積処理を４並列処理にすることができることで、その蓄積にかかる時間を大幅に短縮することができるようになる。
【００５７】
このように構成されるときにあって、バンド振り分け送信部１０３は、偶数フレームと奇数フレームとで転送先を替えることにより合計８箇所に転送するようにしてもよい。
【００５８】
この場合には、図４に示すように、蓄積媒体に蓄積するフォーマット変換蓄積部１０４-iとして４個追加する構成を採ることになる。この方法を用いれば、１フレームあたりの蓄積処理を平均８並列処理にすることができ、蓄積にかかる時間を更に短縮することができることになる。
【００５９】
図２に示す本発明を具備する動画像変換装置では、空間サブバンド分割部１０２を使って画像を空間サブバンド分割するようにしているが、画像を時空間サブバンド分割するようにしてもよい。
【００６０】
この構成を採る場合には、図５に示すように、空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備えるとともに、画像撮像部１０１により撮像される画像情報を複数フレーム分蓄積する画像メモリ１０６を備えることになる。
【００６１】
空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備える場合には、図６に示すように、ＭＣＴＦ手法(Motion Compensated Temporal Filtering：動き方向に２フレーム間でサブバンド分割用分析フィルタを適用する技術）を用いて、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用することで、複数のバンドに分割して（このとき、低域成分について時間サブバンド分割を繰り返す）、図７に示すように、得られた各バンドデータに対して、更に空間サブバンド分割を適用するという処理を行うことになる。
【００６２】
ここで、この例では、時空間サブバンド分割部１０５は、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、図８に示すように、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。
【００６３】
なお、時間サブバンド分割については、下記の文献に詳しく紹介されている。
【００６４】
（１）Jens-Ralner Ohm, "Three-Dimensional Subband Coding with Motion Compensattion," IEEE Trans, Image Proc., vol.3, no.5, pp.559-571, 1994.
（２）Lin Luo, Feng Wu, Shipeng Li and Zhenquan Zhuang, "Advanced Lifting-Based Motion-Threading (MTh) Technique for the 3D Wavelet Video Coding," VCIP2003, vol.5150, pp.707-718, 2003.
（３）Ylannis Andreopoulos, Mihaela Van der Schaar, Adrian Munteanu, Joerl Barbarien, Peter Schelkens and Jan Cornelis, "COMPLETE-TO-OVERCOMPLETE DISCRETE WAVELET TRANSFORMS FOR SCALABLE VIDEO CODING WITH MCTF," VCIP2003, vol.5150, pp.719-731, 2003.
（４）Shih-Ta Hsiang and John W.Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank," Signal Processing : Image Communication, vol.16, pp.705-724, 2001.
（５）Jong Chul Ye and Mihaela van der Schaar, "Fully Scalable 3-D Overcomplete Wavelet Video Coding using Adaptive Motion Compensated Temporal Filtering," VCIP2003, vol.5150, pp.1169-1180, 2003.
以上に説明した実施形態例では、フォーマット変換蓄積部１０４-iではＨ.264符号化方式を用いたが、別の符号化方式を用いてもよい。例えば、ＭＣ−ＥＺＢＣ方式（上述の文献（４))を用いてもよい。
【００６５】
図９に、この場合におけるフォーマット変換蓄積部１０４-1（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドを処理する）の構成を示す。
【００６６】
この図に示すように、この構成を採る場合には、フォーマット変換蓄積部１０４-1は、バンド毎にデータを入力するデータ入力部２０１と、バンドデータを蓄積する画像メモリ２０９と、画像メモリ２０９に蓄積されたデータ間で動き補償を行いながら時間サブバンド分割を行う時間サブバンド分割部２１０と、サブバンドデータをエントロピー符号化するエントロピー符号化部２１１と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。
【００６７】
このとき、フォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。ただし、各バンドで８フレーム分をまとめて符号化する。画像メモリ２０９には各バンドに対応した個別のメモリが用意されている。
【００６８】
このように構成される場合、フォーマット変換蓄積部１０４-1は次のように動作する。すなわち、まず、フレーム時刻符号化部２０７は、入力フレームの時刻を符号化する。そして、データ入力部２０１は、ＬＬ−ＬＬ成分の画像情報を８フレーム分入力して画像メモリ２０９に蓄積する。時間サブバンド分割部２１０は、画像メモリ２０９に蓄積されているバンドデータをサブバンド分割する。エントロピー符号化部２１１は、バンドデータをエントロピー符号化する。続いて、ＬＬ−ＨＬ成分、ＬＬ−ＬＨ成分、ＬＬ−ＨＨ成分の順序で各バンドの符号化を繰り返す。最後に、媒体蓄積部２０８は、フレーム時刻符号化データと各バンドの符号化データとを多重化して蓄積媒体に蓄積する。
【００６９】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、カメラは１つしか備えない例を示したが、カメラが複数ある場合には、カメラの台数分だけ、この構成を並列に構築すればよい。
【００７０】
また、フォーマット変換蓄積部１０４-2とフォーマット変換蓄積部１０４-3とフォーマット変換蓄積部１０４-4とに蓄積されるデータを使って画像情報を再構成するには、フォーマット変換蓄積部１０４-1に蓄積されるデータを使用する必要がある。そこで、例えば、これらのフォーマット変換蓄積部１０４-iがネットワークで接続されている場合には、蓄積媒体に蓄積するときに、他のフォーマット変換蓄積部のＵＲＬを同時に蓄積するようにしてもよい。
【図面の簡単な説明】
【００７１】
【図１】空間サブバンド分割した場合のバンド構成の一例を示す図である。
【図２】本発明を具備する動画像変換装置の一実施形態例である。
【図３】フォーマット変換蓄積部の一実施形態例である。
【図４】本発明を具備する動画像変換装置の他の実施形態例である。
【図５】本発明を具備する動画像変換装置の他の実施形態例である。
【図６】時間サブバンド分割の説明図である。
【図７】時空間サブバンド分割の説明図である。
【図８】時空間サブバンド分割の説明図である。
【図９】フォーマット変換蓄積部の他の実施形態例である。
【符号の説明】
【００７２】
１０１ 画像撮像部
１０２ 空間サブバンド分割部
１０３ バンド振り分け送信部
１０４ フォーマット変換蓄積部
２０１ データ入力部
２０２ 動き探索モード決定部
２０３ 動き補償部
２０４ 符号化部
２０５ 復号部
２０６ 参照画像メモリ
２０７ フレーム時刻符号化部
２０８ 媒体蓄積部
【技術分野】
【０００１】
本発明は、視点位置や視線方向を変更することを可能とする映像技術などに好適となる映像蓄積に関する技術である。
【背景技術】
【０００２】
複数のカメラ入力映像を予め持っていれば、入力映像を切り替えることによって視点位置と視線方向を変更することが可能である。これらは撮影した位置での映像が得られるが、更に、撮影されていない視点位置や視線方向の映像を生成する技術が提案されている。例えば、下記に示す非特許文献１では、複数のカメラ入力画像から光線空間を生成して、その光線空間から画像情報を取り出すことにより、撮影されていない視点位置または視線方向の映像を生成する手法が提案されている。
【０００３】
ここで、任意視点の映像を生成するための画像情報の符号化方法としては、カメラ入力映像を符号化対象とする手法と、光線空間を符号化対象とする手法とに分類できる。
【０００４】
カメラ入力映像を符号化対象とする手法としては、単純にカメラ入力映像を個別に符号化する手法の他に、カメラ間の相関を利用した手法が提案されている。例えば、下記に示す非特許文献２では、複数のカメラ入力映像のうち、同じ時間帯のピクチャをまとめて一つのタイルとして符号化する手法を提案している。このタイル内にあるピクチャ間でフレーム間予測符号化を適用して比較的効率の良い符号化を実現する。
【０００５】
このように、複数カメラ入力映像のピクチャ間でフレーム間予測符号化を適用して、各ピクチャを符号化することが行われている。
【０００６】
一方、光線空間を符号化対象とする手法としては、例えば、下記に示す非特許文献３が挙げられる。この手法では、多次元の光線空間を多次元サブバンド分割して複数のレイヤ構造にして、各レイヤを符号化する。
【非特許文献１】藤井，木本，谷本：“光線群表現における３次元空間情報の圧縮”，３次元画像コンファレンス'96, pp.1-6 (1996.7)
【非特許文献２】Heung-Yeung Shun, Sing Bing Kang, Shing-Chow Chan, "Survey of Image-Based Representations and Compression Techniques," IEEE Trans., Circuits Syst., Video Technol., vol.13, no.11, pp.1020-1037, 2003
【非特許文献３】M.Tanimoto, S.Sakaguchi, T.Kobayashi, T.Fujii, T.Kimoto, "The Hierarchical Ray Space for 3-D Imaging," EVA 2000 Florence（2000.3）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
複数のカメラで構成される撮像系では、カメラから取得する画像情報は膨大なものとなる。この膨大な画像情報を、ユーザは一度の画像として見るようなことはなく、通常はこのうちの一部分を選択して見ることになる。例えば、ユーザの所望する視点位置や視線方向の画像情報を見る場合には、その画像を生成するために必要な画像情報または光線情報のみが必要であって、必ずしも全ての画像情報は必要ではない。
【０００８】
このようなことを背景にして、通常の場合、複数のカメラ入力画像は一旦記録媒体に蓄積されることになる。
【０００９】
このとき、記録する対象である画像情報は膨大なものとなることから、記録媒体としてはＤＲＡＭのような撮像デバイスに含まれる小容量のメモリではなく、ハードディスクなどのような大容量の外部記憶装置が使用される。ここで、メモリは高速にデータを転送することができるのに対して、ハードディスクなどの外部記憶装置は記録媒体に記録する処理時間が膨大なものとなるという問題がある。
【００１０】
従来技術では、複数のカメラ入力画像などを取り扱う場合にも、特別な工夫を施すことなく、それぞれのカメラ入力画像を符号化して、ハードディスクなどのような大容量の外部記憶装置に蓄積するようにしていた。
【００１１】
これから、従来技術に従っていると、複数のカメラで構成される撮像系で撮像される画像情報を蓄積する場合に、その蓄積に多大な時間を要するという問題がある。
【００１２】
本発明はかかる事情に鑑みてなされたものであって、複数のカメラで構成される撮像系で撮像される画像情報などを蓄積する場合に、その蓄積に要する時間を大幅に短縮できるようにする新たな画像変換技術の提供を目的とする。
【課題を解決するための手段】
【００１３】
〔１〕本発明の画像変換装置の構成
上記目的を達成するために、本発明の画像変換装置は、（イ）画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部とを備えるように構成する。
【００１４】
以上の各処理手段が動作することで実現される本発明の画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１５】
このように構成される本発明の画像変換装置では、画像情報をＮ個のバンドデータに空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
【００１６】
このようにして、本発明の画像変換装置によれば、画像情報を空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００１７】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。従って、カメラで撮影される画像情報の１フレームあたりの平均の蓄積処理をバンド数分だけ並列に処理することができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【００１８】
〔２〕本発明の動画像変換装置の構成
上記目的を達成するために、本発明の動画像変換装置は、（イ）動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、（ロ）各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、（ハ）バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部とを備えるように構成する。
【００１９】
以上の各処理手段が動作することで実現される本発明の動画像変換方法はコンピュータプログラムで実現できるものであり、このコンピュータプログラムは、半導体メモリなどのような適当な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００２０】
このように構成される本発明の動画像変換装置では、動画像情報をＮ個のバンドデータに時空間サブバンド分割して、各バンドデータをＭ個の転送先のいずれか１箇所へ振り分けて送信し、その振り分け先で、バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積する。
【００２１】
このようにして、本発明の動画像変換装置によれば、動画像情報を時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００２２】
これをカメラ撮像系に適用するには、例えば次のような手順となる。
【００２３】
カメラで撮影される画像情報を蓄積するメモリを備えておき、撮影される画像情報を複数フレーム分蓄積する。そして、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用して、複数のバンドに分割する。このとき、低域成分について時間サブバンド分割を繰り返す。次に、得られた各バンドデータに対して、更に空間サブバンド分割を適用する。そして、バンドデータ毎に蓄積する媒体を選択する。
【００２４】
ここで、この例では、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。
【００２５】
このようにして、本発明の動画像変換装置によれば、動画像情報を時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００２６】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。従って、カメラで撮影される画像情報の１フレームあたりの平均の蓄積処理をバンド数分だけ並列に処理することができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【００２７】
フォーマット変換蓄積部で変換するフォーマットとしては、各バンドデータの先頭に時刻情報をつけて時刻順序に配列したものとなる。更に、バンドデータを可逆符号化または不可逆符号化してもよい。また、時刻の異なるバンドデータ間でフレーム間予測符号化を適用しても良い。
【００２８】
また、このフォーマット変換蓄積部については、ネットワークで繋がれた複数の蓄積機器で構成されてもよいし、ＰＣＩバスやシリアルバスで接続された複数の蓄積機器で構成されてもよい。ＰＣＩバスなどで接続される場合には、複数の蓄積機器はＲＡＩＤ構成で実現してもよい。
【００２９】
また、フォーマット変換蓄積部で蓄積する際に、他のフォーマットデータとの依存関係を同時に蓄積すると好適である。
【００３０】
例えば、高域バンドデータは低域バンドデータが無いと画像情報を再構成できない。そこで、高域バンドデータを蓄積するフォーマットでは、低域バンドデータが画像の再構成には必要であることを示す情報と、低域バンドデータが蓄積されている場所を示す情報とを蓄積してもよい。また、低域バンドデータを蓄積するフォーマットでは、解像度を上げることに利用できる高域バンドデータが他にあることを示す情報と、高域バンドデータが蓄積されている場所を示す情報とを蓄積してもよい。
【発明の効果】
【００３１】
以上に説明したように、本発明によれば、画像情報を空間サブバンド分割または時空間サブバンド分割することで複数のバンドに分割して、バンドデータ毎に蓄積する媒体を選択することができるようになる。
【００３２】
ここで得られる各バンドデータのデータ量は、１画面の画像情報のデータ量よりも一般的に少ない。
【００３３】
従って、本発明によれば、カメラで撮影される画像情報の１フレームあたりの蓄積処理をバンド数分だけ並列処理にすることができるようになることで、蓄積にかかる時間を大幅に短縮することができるようになる。
【発明を実施するための最良の形態】
【００３４】
以下、実施の形態に従って本発明を詳細に説明する。
【００３５】
カメラから入力された画像情報を空間サブバンド分割（ウエーブレット変換などを用いることにより空間サブバンド分割する）して、４箇所に転送し、各バンドでフレーム間予測符号化を適用してフォーマット変換する場合の処理例について説明する。
【００３６】
フレーム間予測符号化としてはＨ.264符号化方式を用いるとする。また、空間サブバンド分割では、画像情報を一度サブバンド分割し、更に低域成分をサブバンド分割するものとする。また、バンド振り分け送信部では、空間サブバンド分割部で画像情報をサブバンド分割したバンドを基準に転送先を選択するものとする。
【００３７】
図１に、空間サブバンド分割したバンド構成の例と転送する基準とを示す。
【００３８】
この図では、画像情報を１回サブバンド分割したときの縦横高域成分をＨＨで示し、縦低域横高域成分をＨＬで示し、縦高域横低域成分をＬＨで示す。そして、画像情報を１回サブバンド分割したときの縦横低域成分に対して、更に１回サブバンド分割したときの縦横高域成分をＬＬ−ＨＨで示し、縦低域横高域成分をＬＬ−ＨＬで示し、縦高域横低域成分をＬＬ−ＬＨで示し、縦横低域成分をＬＬ−ＬＬで示す。
【００３９】
この例では、合計７バンドに分割されるが、バンド振り分けについては、図中に示す太い枠で示した基準で４箇所に転送する。
【００４０】
図２に、本発明を具備する動画像変換装置の一実施形態例を図示する。
【００４１】
この図に示すように、本発明を具備する動画像変換装置は、動画像を撮影する画像撮像部１０１と、画像を空間サブバンド分割する空間サブバンド分割部１０２と、バンドデータを４箇所に転送するバンド振り分け送信部１０３と、第１のバンドデータを受信しデータフォーマットに変換して蓄積する第１のフォーマット変換蓄積部１０４-1と、第２のバンドデータを受信しデータフォーマットに変換して蓄積する第２のフォーマット変換蓄積部１０４-2と、第３のバンドデータを受信しデータフォーマットに変換して蓄積する第３のフォーマット変換蓄積部１０４-3と、第４のバンドデータを受信しデータフォーマットに変換して蓄積する第４のフォーマット変換蓄積部１０４-4とを備える。
【００４２】
第１のフォーマット変換蓄積部１０４-1の処理する第１のバンドデータにはＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドが含まれており、第２のフォーマット変換蓄積部１０４-2の処理する第２のバンドデータにはＨＬバンドが含まれており、第３のフォーマット変換蓄積部１０４-3の処理する第３のバンドデータにはＬＨバンドが含まれており、第４のフォーマット変換蓄積部１０４-4の処理する第４のバンドデータにはＨＨバンドが含まれている。
【００４３】
図３に、フォーマット変換蓄積部１０４-i（ｉ＝１〜４）の一実施形態例を図示する。
【００４４】
この図に示すように、各フォーマット変換蓄積部１０４-iは、バンド毎にデータを入力するデータ入力部２０１と、参照画像との間で動き探索を行って符号化モードを決定する動き探索モード決定部２０２と、参照画像との間で動き補償をして予測残差を求める動き補償部２０３と、予測残差を符号化する符号化部２０４と、符号化データを復号する復号部２０５と、復号画像を蓄積する参照画像メモリ２０６と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。
【００４５】
第１のバンドデータを処理する第１のフォーマット変換蓄積部１０４-1の実行する処理について説明するならば、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。参照画像メモリ２０６には各バンドに対応した個別のメモリが用意されている。
【００４６】
第１のフォーマット変換蓄積部１０４-1は、まず、フレーム時刻符号化部２０７を使って入力フレームの時刻を符号化する。そして、ＬＬ−ＬＬ成分の画像情報を入力し、動き探索をして符号化モードを決定する。このとき、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、動き補償して符号化し、符号化データを復号して、ＬＬ−ＬＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４７】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＬ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＬ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４８】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＬＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＬＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００４９】
次に、第１のフォーマット変換蓄積部１０４-1は、ＬＬ−ＨＨ成分の画像情報を入力して、動き補償して符号化する。このとき、動きベクトルと符号化モードとについては、ＬＬ−ＬＬ成分で求めたものを使用する。また、動き補償部２０３では、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に蓄積されている画像を参照画像に使用する。そして、符号化データを復号して、ＬＬ−ＨＨ成分用の参照画像メモリ２０６に復号画像を蓄積する。
【００５０】
最後に、第１のフォーマット変換蓄積部１０４-1は、媒体蓄積部２０８を使って、フレーム時刻符号化データと各バンドの符号化データとを多重化して、蓄積媒体に蓄積する。
【００５１】
一方、第２のバンドデータを処理する第２のフォーマット変換蓄積部１０４-2は、Ｈ.264符号化方式を適用して、ＨＬ成分の画像情報をフレーム間予測符号化する。また、第３のバンドデータを処理する第３のフォーマット変換蓄積部１０４-3は、Ｈ.264符号化方式を適用して、ＬＨ成分の画像情報をフレーム間予測符号化する。また、第４のバンドデータを処理する第４のフォーマット変換蓄積部１０４-4は、Ｈ.264符号化方式を適用して、ＨＨ成分の画像情報をフレーム間予測符号化する。
【００５２】
このような前提で、画像撮像部１０１により撮影して得られる動画像情報を４箇所に転送し、フォーマット変換して蓄積媒体に蓄積させる手順について説明する。
【００５３】
まず、画像撮像部１０１は、画像情報を撮影し、これを受けて、空間サブバンド分割部１０２は、画像情報を空間サブバンド分割し、これを受けて、バンド振り分け送信部１０３は、図１に示す基準（太枠で示した基準）に従ってバンドデータを４箇所に転送する。
【００５４】
このバンドデータの転送を受けて、第１のフォーマット変換蓄積部１０４-1では、４つのバンドデータ（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第２のフォーマット変換蓄積部１０４-2では、１つのバンドデータ（ＨＬバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第３のフォーマット変換蓄積部１０４-3では、１つのバンドデータ（ＬＨバンド）を受信して、Ｈ.264符号化方式を適用して符号化して蓄積媒体に蓄積する。そして、第４のフォーマット変換蓄積部１０４-4では、１つのバンドデータ（ＨＨバンド）を受信してＨ．２６４符号化方式を適用して符号化して蓄積媒体に蓄積する。
【００５５】
本発明を具備する動画像変換装置は、以上の手順を画像を撮影する度に繰り返し実行する。
【００５６】
このようにして、図２及び図３のように構成される本発明を具備する動画像変換装置では、画像情報を空間サブバンド分割して、４箇所に転送して個別に蓄積するように処理することから、カメラで撮影される画像情報の１フレームあたりの蓄積処理を４並列処理にすることができることで、その蓄積にかかる時間を大幅に短縮することができるようになる。
【００５７】
このように構成されるときにあって、バンド振り分け送信部１０３は、偶数フレームと奇数フレームとで転送先を替えることにより合計８箇所に転送するようにしてもよい。
【００５８】
この場合には、図４に示すように、蓄積媒体に蓄積するフォーマット変換蓄積部１０４-iとして４個追加する構成を採ることになる。この方法を用いれば、１フレームあたりの蓄積処理を平均８並列処理にすることができ、蓄積にかかる時間を更に短縮することができることになる。
【００５９】
図２に示す本発明を具備する動画像変換装置では、空間サブバンド分割部１０２を使って画像を空間サブバンド分割するようにしているが、画像を時空間サブバンド分割するようにしてもよい。
【００６０】
この構成を採る場合には、図５に示すように、空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備えるとともに、画像撮像部１０１により撮像される画像情報を複数フレーム分蓄積する画像メモリ１０６を備えることになる。
【００６１】
空間サブバンド分割部１０２に代えて時空間サブバンド分割部１０５を備える場合には、図６に示すように、ＭＣＴＦ手法(Motion Compensated Temporal Filtering：動き方向に２フレーム間でサブバンド分割用分析フィルタを適用する技術）を用いて、蓄積されている複数フレーム分の画像情報に対して時間サブバンド分割を適用することで、複数のバンドに分割して（このとき、低域成分について時間サブバンド分割を繰り返す）、図７に示すように、得られた各バンドデータに対して、更に空間サブバンド分割を適用するという処理を行うことになる。
【００６２】
ここで、この例では、時空間サブバンド分割部１０５は、最初に時間サブバンド分割し、それに対して空間サブバンド分割するという処理手順で説明したが、図８に示すように、最初に空間サブバンド分割し、それに対して時間サブバンド分割するという処理手順をとってもよい。
【００６３】
なお、時間サブバンド分割については、下記の文献に詳しく紹介されている。
【００６４】
（１）Jens-Ralner Ohm, "Three-Dimensional Subband Coding with Motion Compensattion," IEEE Trans, Image Proc., vol.3, no.5, pp.559-571, 1994.
（２）Lin Luo, Feng Wu, Shipeng Li and Zhenquan Zhuang, "Advanced Lifting-Based Motion-Threading (MTh) Technique for the 3D Wavelet Video Coding," VCIP2003, vol.5150, pp.707-718, 2003.
（３）Ylannis Andreopoulos, Mihaela Van der Schaar, Adrian Munteanu, Joerl Barbarien, Peter Schelkens and Jan Cornelis, "COMPLETE-TO-OVERCOMPLETE DISCRETE WAVELET TRANSFORMS FOR SCALABLE VIDEO CODING WITH MCTF," VCIP2003, vol.5150, pp.719-731, 2003.
（４）Shih-Ta Hsiang and John W.Woods, "Embedded video coding using invertible motion compensated 3-D subband / wavelet filter bank," Signal Processing : Image Communication, vol.16, pp.705-724, 2001.
（５）Jong Chul Ye and Mihaela van der Schaar, "Fully Scalable 3-D Overcomplete Wavelet Video Coding using Adaptive Motion Compensated Temporal Filtering," VCIP2003, vol.5150, pp.1169-1180, 2003.
以上に説明した実施形態例では、フォーマット変換蓄積部１０４-iではＨ.264符号化方式を用いたが、別の符号化方式を用いてもよい。例えば、ＭＣ−ＥＺＢＣ方式（上述の文献（４))を用いてもよい。
【００６５】
図９に、この場合におけるフォーマット変換蓄積部１０４-1（ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドを処理する）の構成を示す。
【００６６】
この図に示すように、この構成を採る場合には、フォーマット変換蓄積部１０４-1は、バンド毎にデータを入力するデータ入力部２０１と、バンドデータを蓄積する画像メモリ２０９と、画像メモリ２０９に蓄積されたデータ間で動き補償を行いながら時間サブバンド分割を行う時間サブバンド分割部２１０と、サブバンドデータをエントロピー符号化するエントロピー符号化部２１１と、各フレームの時刻情報を符号化するフレーム時刻符号化部２０７と、符号化データと時刻情報とを多重化して蓄積媒体に蓄積する媒体蓄積部２０８とを備える。
【００６７】
このとき、フォーマット変換蓄積部１０４-1は、ＬＬ−ＬＬ、ＬＬ−ＨＬ、ＬＬ−ＬＨ、ＬＬ−ＨＨバンドの順序で各バンドを符号化する。ただし、各バンドで８フレーム分をまとめて符号化する。画像メモリ２０９には各バンドに対応した個別のメモリが用意されている。
【００６８】
このように構成される場合、フォーマット変換蓄積部１０４-1は次のように動作する。すなわち、まず、フレーム時刻符号化部２０７は、入力フレームの時刻を符号化する。そして、データ入力部２０１は、ＬＬ−ＬＬ成分の画像情報を８フレーム分入力して画像メモリ２０９に蓄積する。時間サブバンド分割部２１０は、画像メモリ２０９に蓄積されているバンドデータをサブバンド分割する。エントロピー符号化部２１１は、バンドデータをエントロピー符号化する。続いて、ＬＬ−ＨＬ成分、ＬＬ−ＬＨ成分、ＬＬ−ＨＨ成分の順序で各バンドの符号化を繰り返す。最後に、媒体蓄積部２０８は、フレーム時刻符号化データと各バンドの符号化データとを多重化して蓄積媒体に蓄積する。
【００６９】
図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、カメラは１つしか備えない例を示したが、カメラが複数ある場合には、カメラの台数分だけ、この構成を並列に構築すればよい。
【００７０】
また、フォーマット変換蓄積部１０４-2とフォーマット変換蓄積部１０４-3とフォーマット変換蓄積部１０４-4とに蓄積されるデータを使って画像情報を再構成するには、フォーマット変換蓄積部１０４-1に蓄積されるデータを使用する必要がある。そこで、例えば、これらのフォーマット変換蓄積部１０４-iがネットワークで接続されている場合には、蓄積媒体に蓄積するときに、他のフォーマット変換蓄積部のＵＲＬを同時に蓄積するようにしてもよい。
【図面の簡単な説明】
【００７１】
【図１】空間サブバンド分割した場合のバンド構成の一例を示す図である。
【図２】本発明を具備する動画像変換装置の一実施形態例である。
【図３】フォーマット変換蓄積部の一実施形態例である。
【図４】本発明を具備する動画像変換装置の他の実施形態例である。
【図５】本発明を具備する動画像変換装置の他の実施形態例である。
【図６】時間サブバンド分割の説明図である。
【図７】時空間サブバンド分割の説明図である。
【図８】時空間サブバンド分割の説明図である。
【図９】フォーマット変換蓄積部の他の実施形態例である。
【符号の説明】
【００７２】
１０１ 画像撮像部
１０２ 空間サブバンド分割部
１０３ バンド振り分け送信部
１０４ フォーマット変換蓄積部
２０１ データ入力部
２０２ 動き探索モード決定部
２０３ 動き補償部
２０４ 符号化部
２０５ 復号部
２０６ 参照画像メモリ
２０７ フレーム時刻符号化部
２０８ 媒体蓄積部
【特許請求の範囲】
【請求項１】
画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換装置であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする画像変換装置。
【請求項２】
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換装置であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする動画像変換装置。
【請求項３】
画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換方法であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする画像変換方法。
【請求項４】
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換方法であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする動画像変換方法。
【請求項５】
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムであって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラム。
【請求項６】
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムであって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラム。
【請求項７】
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換装置であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする画像変換装置。
【請求項２】
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換装置であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割部と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信部と、
バンドデータを受信しデータフォーマットに変換して蓄積するフォーマット変換蓄積部と、
を備えることを特徴とする動画像変換装置。
【請求項３】
画像データを予め規定されたデータフォーマットに変換して蓄積する画像変換方法であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする画像変換方法。
【請求項４】
動画像データを予め規定されたデータフォーマットに変換して蓄積する動画像変換方法であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割ステップと、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信ステップと、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積ステップと、
を実行することを特徴とする動画像変換方法。
【請求項５】
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムであって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラム。
【請求項６】
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムであって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラム。
【請求項７】
画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
画像情報をＮ（Ｎは２以上の整数）個のバンドデータに空間サブバンド分割する空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項８】
動画像データを予め規定されたデータフォーマットに変換して蓄積する処理を行う動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
動画像情報をＮ（Ｎは２以上の整数）個のバンドデータに時空間サブバンド分割する時空間サブバンド分割処理と、
各バンドデータをＭ（Ｍは２以上、Ｎ以下の整数）個の転送先のいずれか１箇所へ振り分けて送信するバンド振り分け送信処理と、
バンドデータを受信しデータフォーマットに変換して対となる蓄積部に蓄積するフォーマット変換蓄積処理とをコンピュータに実行させるための動画像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００５−３１８１９４（Ｐ２００５−３１８１９４Ａ）
【公開日】平成１７年１１月１０日（２００５．１１．１０）
【国際特許分類】
【出願番号】特願２００４−１３２７９３（Ｐ２００４−１３２７９３）
【出願日】平成１６年４月２８日（２００４．４．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１５年度通信・放送機構「通信ネットワーク利用放送技術に関する研究開発」受託研究、産業活力再生特別措置法第３０条の適用を受けるもの）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成１７年１１月１０日（２００５．１１．１０）
【国際特許分類】
【出願日】平成１６年４月２８日（２００４．４．２８）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成１５年度通信・放送機構「通信ネットワーク利用放送技術に関する研究開発」受託研究、産業活力再生特別措置法第３０条の適用を受けるもの）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]