画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
【課題】縮小及び拡大された画像から、画質劣化の少ない高解像度画像を生成する。
【解決手段】画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、前記画像送信部は、前記画像を縮小し、前記縮小された画像を、前記画像受信部に送信し、前記画像受信部は、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、前記画像送信部から送信された画像を拡大し、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する。
【解決手段】画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、前記画像送信部は、前記画像を縮小し、前記縮小された画像を、前記画像受信部に送信し、前記画像受信部は、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、前記画像送信部から送信された画像を拡大し、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像転送システムに関し、特に、画像を符号化し送信するための画像転送システムに関する。
【背景技術】
【０００２】
近年、動画像の高品質化に伴ってデータ量が急激に増大しており、データ量を削減するための圧縮技術が提案されている。具体的には、画像の空間方向に間引き処理し、復元する技術が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年のデジタルカメラ、デジタルビデオ、及び、テレビ受像機等において、映像及び画像は高精細化される要求が強く、このため、様々な高解像度化技術が提案されている。具体的には、インタレース走査の画像から高解像度化しながら画素数を増やす技術によって、インタレース走査の複数のフィールド画像を合成して１枚の画像フレームとするインタレース・プログレッシブ走査変換（Ｉ−Ｐ変換）が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４８３２０号公報
【特許文献２】特開２００９−０１７２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、テレビジョン放送信号には、インタレース走査の画像を用いられるのが主流である。このようなインタレース走査の画像に、特許文献１に記載される画像の空間方向の間引き後の復元技術と特許文献２に記載される高解像度化技術とが適用されるシステムにおいて、インタレース走査のフィールド画像を、単純に画素数を間引いて画像サイズを縮小した場合、画像の周波数スペクトルには、垂直方向及び水平方向の各方向に折返し成分が生じる。
【０００６】
そして、フィールド画像には、インタレース走査に伴って垂直方向に折返し成分も生じる。このインタレース走査に伴う垂直方向の折返し成分の多くは、画像が表示される際に、元に戻る。元に戻るとは、折返し成分による表示と原成分による表示とが同一になり、人がノイズとして認識できないことである。
【０００７】
ここで、折返し成分について図２２Ａを用いて説明する。
【０００８】
図２２Ａは、従来技術の画像の周波数スペクトルを示す説明図である。
【０００９】
図２２Ａは、ある１次元信号の周波数スペクトルを示し、周波数軸、実軸、及び、虚軸の３軸によって周波数スペクトルを示す。また、１次元信号のサンプリング周波数をｆｓとする。原成分１１０１が周波数ｆｓの間隔によって繰り返されるサンプリング定理の原理に基づき、原点から周波数ｆｓの位置に折返し成分１１０５が生じる。折返し成分１１０５と原成分１１０１との和が、１次元信号の周波数スペクトルである。原成分１１０１と折返し成分１１０５との重なりがある部分は折返し歪みと呼ばれ、折返し歪みが発生するとノイズなどの画質劣化が生じる。
【００１０】
特許文献２に示される方法は、被写体が動いている方向の折返し成分を除去することによって、画像の高解像度化が可能であるという特徴を持つ。従って、被写体が画像の垂直方向に動いている場合、インタレース走査に伴って生じる垂直方向の折返し成分は除去される。しかし、インタレース走査に伴って生じる垂直方向の折返し成分は多くが元に戻る成分である。このため、その垂直方向の折返し成分が除去されることによって、かえってノイズなどの画質劣化が生じるという問題があった。
【００１１】
また、画像の縮小によって生じた折返し歪みとインタレース走査に伴って生じた垂直方向の折返し歪みとに重なりが生じている場合、特許文献２に示される方法ではどちらの折返し歪みも適切に除去されず、その結果ノイズなどの画質劣化が現れてしまうという問題があった。
【００１２】
本発明は、上記従来技術の課題に鑑みて為されたものであって、その目的は、インタレース走査によって画像を縮小した後、縮小した画像から画質劣化の少ない高解像度画像を生成する技術を提供することにある。
【００１３】
さらに、プログレッシブ走査を用いて画像を送信する場合も、サンプリング定理が用いられるため、表示される画像に折返し歪みが発生する。このため、本発明は、プログレッシブ走査が用いられるシステムにおいても、折返し歪みを適切に除去し、高解像度画像を生成することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の代表的な一例を示せば以下のとおりである。すなわち、画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、前記画像送信部は、前記画像を縮小し、前記縮小された画像を、前記画像受信部に送信し、前記画像受信部は、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、前記画像送信部から送信された画像を拡大し、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する。
【発明の効果】
【００１５】
本発明の一実施形態によると、高い圧縮率によって符号化された画像を転送し、かつ、転送された画像を好適に高解像度化することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の画像転送システムを示すブロック図である。
【図２Ａ】本発明の第１の実施形態のポリフェーズ型の水平縮小部を示すブロック図である。
【図２Ｂ】本発明の第１の実施形態のオーバサンプリング型の水平縮小部を示すブロック図である。
【図２Ｃ】本発明の第１の実施形態の水平拡大部を示すブロック図である。
【図３】本発明の第１の実施形態の超解像部の第１の構成例を示すブロック図である。
【図４】本発明の第１の実施形態の混合部を示すブロック図である。
【図５Ａ】本発明の第１の実施形態の角度を示す説明図である。
【図５Ｂ】本発明の第１の実施形態の空間周波数スペクトルを示す説明図である。
【図５Ｃ】本発明の第１の実施形態の角度と係数αとの対応を示す説明図である。
【図６Ａ】本発明の第１の実施形態の水平縮小部に入力される画像の周波数スペクトルを示す説明図である。
【図６Ｂ】本発明の第１の実施形態の水平縮小部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図６Ｃ】本発明の第１の実施形態の水平縮小部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図６Ｄ】本発明の第１の実施形態の水平縮小部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図７Ａ】本発明の第１の実施形態の水平拡大部に入力される画像の周波数スペクトルを示す説明図である。
【図７Ｂ】本発明の第１の実施形態の水平拡大部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図７Ｃ】本発明の第１の実施形態の水平拡大部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図７Ｄ】本発明の第１の実施形態の水平拡大部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図８】本発明の第１の実施形態の超解像部の第２の構成例を示すブロック図である。
【図９】本発明の第１の実施形態の位相シフト部と折返し成分除去部との構成を示すブロック図である。
【図１０】本発明の第１の実施形態の係数決定部による係数生成方法を示す説明図である。
【図１１】本発明の第２の実施形態の画像転送システムの構成を示すブロック図である。
【図１２】本発明の第２の実施形態の水平拡大部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態の超解像部の構成を示すブロック図である。
【図１４】本発明の第２の実施形態の混合部の構成を示すブロック図である。
【図１５】本発明の第３の実施形態の画像転送システムの構成を示すブロック図である。
【図１６】本発明の第３の実施形態の画像縮小部の構成を示すブロック図である。
【図１７Ａ】本発明の第３の実施形態の垂直縮小部に入力された画像の周波数スペクトルを示す説明図である。
【図１７Ｂ】本発明の第３の実施形態の垂直縮小部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図１７Ｃ】本発明の第３の実施形態の垂直縮小部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図１８】本発明の第３の実施形態の画像拡大部の構成を示すブロック図である。
【図１９Ａ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部に入力されるフレーム画像の周波数スペクトルを示す説明図である。
【図１９Ｂ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図１９Ｃ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図２０】本発明の第３の実施形態の超解像部の構成を示すブロック図である。
【図２１】本発明の第４の実施形態の画像撮像装置の構成を示すブロック図である。
【図２２Ａ】従来技術の画像の周波数スペクトルを示す説明図である。
【図２２Ｂ】従来技術の画像に含まれる原成分を示す説明図である。
【図２２Ｃ】従来技術の画像に含まれる折返し成分を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を、図面を用いて説明する。なお、各図面において、同じ符号が付されている構成要素は同じ機能を有する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態の画像転送システムを示すブロック図である。
【００１９】
画像転送システムは、画像送信装置１００、伝送路１１０、画像受信装置１２０、及び、伝送路１３０を備える。画像送信装置１００は、伝送路１１０を介して、画像受信装置１２０に接続される。
【００２０】
画像送信装置１００は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４を有する。
【００２１】
画像送信装置１００は、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、画像送信装置１００は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【００２２】
また、画像送信装置１００は、管理者等によって、画像送信装置１００において用いられるパラメータを入力するための入力装置を備えてもよい。
【００２３】
入力部１０１には、例えば、テレビジョン放送信号などの動画像のフィールド画像が入力される。また、入力部１０１に、符号化された符号化ストリームが入力された場合、入力部１０１は、入力された符号化ストリームを復号し、復号されたストリームの中から、動画像のフィールド画像を抽出する。
【００２４】
水平縮小部１０２は、入力部１０１から送信されるフィールド画像の水平方向の画素数を減らすための機能である。すなわち、水平縮小部１０２は、フィールド画像を水平方向に縮小する。水平縮小部１０２の詳細を、図２Ａ及び図２Ｂに後述する。
【００２５】
符号化部１０３は、水平縮小部１０２によって水平方向に縮小されたフィールド画像を符号化する機能である。送信部１０４は、符号化部１０３によって符号化されたフィールド画像を、伝送路１１０を介して画像受信装置１２０に送信する機能である。画像送信装置１００が放送局の送信装置である場合、送信部１０４は、画像符号化データを、電波等によって送信する。
【００２６】
伝送路１１０は、符号化された画像を含む画像符号化データを送信するための伝送路である。また、伝送路１１０は、通信のための伝送路だけでなく、放送、又は、蓄積のための伝送路であってもよい。
【００２７】
画像受信装置１２０は、受信部１２１、復号化部１２２、水平拡大部１２３、超解像部１２４、表示部１２５、及び、送信部１２６を有する。
【００２８】
画像受信装置１２０は、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２、水平拡大部１２３、超解像部１２４、表示部１２５、及び、送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１２０は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【００２９】
また、画像受信装置１２０は、管理者等によって、画像受信装置１２０において用いられるパラメータを入力するための入力装置を備えてもよい。
【００３０】
受信部１２１は、画像送信装置１００から送信されたフィールド画像を受信するための機能である。画像受信装置１２０が放送受信装置などである場合、電波等によって送信された画像符号化データを受信する。
【００３１】
復号化部１２２は、画像送信装置１００の符号化部１０３によって符号化されたフィールド画像を復号化するための機能である。復号化部１２２は、受信部１２１によって受信された画像符号化データを復号し、フィールド画像を生成する。
【００３２】
水平拡大部１２３は、水平縮小部１０２によって水平方向に縮小されたフィールド画像の水平方向の画素数を増やすための機能である。すなわち、水平拡大部１２３は、フィールド画像を水平方向に拡大する。水平拡大部１２３の詳細を、図２Ｃに後述する。
【００３３】
超解像部１２４は、水平拡大部１２３から受信したフィールド画像の解像度をあげるための機能である。超解像部１２４の詳細を、図３又は図８に後述する。
【００３４】
表示部１２５は、フィールド画像を画像として表示するための機能である。表示部１２５は、水平拡大部１２３及び超解像部１２４によって高解像度化されたフィールド画像を表示する。表示部１２５には、例えば、プラズマディスプレイパネル、液晶表示パネル、又は、電子若しくは電解放出型ディスプレイパネルが用いられる。
【００３５】
送信部１２６は、水平拡大部１２３及び超解像部１２４によって高解像度化されたフィールド画像を伝送路１３０を介して送信するための機能である。送信部１２６は、フィールド画像を、伝送路１３０を介して他の機器等に送信する。
【００３６】
図２Ａ及び図２Ｂは、本発明の第１の実施形態の水平縮小部１０２を示すブロック図である。
【００３７】
水平縮小部１０２は、画素数（すなわち、サンプル数）を変換する画素変換機能を有する。水平縮小部１０２は、一般的に、ポリフェーズ型、又は、オーバサンプリング型によって実装される。
【００３８】
図２Ａは、本発明の第１の実施形態のポリフェーズ型の水平縮小部１０２を示すブロック図である。
【００３９】
図２Ａに示すポリフェーズ型の水平縮小部１０２は、複数の補間ローパスフィルタ部２０１と、切替部２０２とを有する。
【００４０】
水平方向の画素数を変換率ｍ／ｎ倍（ただし、ｍ、ｎはともに整数）によって変換する場合、図２Ａに示す水平縮小部１０２は、所定の周波数特性を持った補間ローパスフィルタ部２０１をｍ個有する。そして、切替部２０２は、補間ローパスフィルタ部２０１の出力を、整数ｍと整数ｎとによって定められた順番に従って出力されるように、切り替わる。
【００４１】
図２Ｂは、本発明の第１の実施形態のオーバサンプリング型の水平縮小部１０２を示すブロック図である。
【００４２】
図２Ｂに示すオーバサンプリング型の水平縮小部１０２は、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。水平方向の画素数を変換率ｍ／ｎ倍によって変換する場合、アップサンプリング部２０３は、まず、フィールド画像に含まれるサンプル数を、ｍ倍にアップサンプリングする。
【００４３】
具体的には、アップサンプリング部２０３は、フィールド画像の整数ｍ個の画素ごとの入力データを、順番に水平方向に配置する。そして、その間の（ｍ−１）個の画素に”０”を挿入する。
【００４４】
その後、補間ローパスフィルタ部２０４は、アップサンプリング部２０３から送信されたデータに、所定の周波数特性によってフィルタリングする。さらに、ダウンサンプリング部２０５は、補間ローパスフィルタ部２０４から送信された入力データを、１／ｎ倍にダウンサンプリングする。すなわち、整数ｎ個の画素ごとに１画素を等間隔に選択して間引きした後、間引きされた入力データを出力する。
【００４５】
図２Ｂに示す水平縮小部１０２の機能は、一般的に用いられる方法によって実装されてよい。第１の実施形態の補間ローパスフィルタ部２０４は、カットオフ周波数の値を保持する。また、第１の実施形態のアップサンプリング部２０３は、アップサンプリングに用いる整数ｍを保持し、ダウンサンプリング部２０５は、ダウンサンプリングに用いる整数ｎを保持する。
【００４６】
補間ローパスフィルタ部２０４は、サンプリング周波数からカットオフ周波数分離れた周波数帯域（通過帯域）以外の周波数帯域の成分を削除する。本実施形態の水平縮小部１０２が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。
【００４７】
画像送信装置１００の符号化部１０３は、水平縮小部１０２によって縮小された画像を圧縮し、そして、圧縮された画像を符号化する。符号化部１０３には、映像信号を圧縮する映像符号化方法であれば、いずれの映像符号化方法が用いられてもよい。例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、又は、Ｈ．２６４／ＡＶＣなどの映像符号化方法が用いられてもよい。また、伝送路１１０が十分な通信帯域を保持している場合、又は、遅延を可能な限り小さくする場合、符号化部１０３は、画像を符号化しなくてもよい。
【００４８】
本発明の実施形態によれば、水平縮小部１０２によって水平方向に縮小されたフィールド画像を圧縮するため、水平縮小部１０２を含まない画像転送システムと比較した場合、圧縮率の向上が期待できる。
【００４９】
図２Ｃは、本発明の第１の実施形態の水平拡大部１２３を示すブロック図である。
【００５０】
図２Ｃに示す水平拡大部１２３の構成は一例である。図２Ｃに示す水平拡大部１２３は、複数枚の画像間で被写体が動いたことによって生じる位相差を抽出し、高解像度化するための機能を有する。
【００５１】
水平拡大部１２３は、位置推定部２２１、動き補償部２２２、水平拡大部２２３、及び、水平拡大部２２４を有する。図２Ｃに示す水平拡大部１２３は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を入力され、二つのフィールド画像間を動き補償し、二つのフィールド画像を出力する。
【００５２】
なお、二つのフィールド画像は、受信部１２１が連続して受信する画像符号化データから取得された画像である。なお、フィールド画像＃２は、フィールド画像＃１よりも早い時間に受信したフィールド画像でもよく、フィールド画像＃２よりも遅い時間に受信したフィールド画像でもよい。
【００５３】
また、水平拡大部１２３は、バッファ等に接続され、フィールド画像＃１又はフィールド画像＃２のうちいずれか早く受信したフィールド画像を、水平拡大部１２３に接続されるバッファに蓄える。そして、遅く受信したフィールド画像とともに、早く受信したフィールド画像を処理する。
【００５４】
第１の実施形態において、水平拡大部１２３及び超解像部１２４は、フィールド画像＃１を高解像度化する。
【００５５】
位置推定部２２１は、まず、復号化部１２２によって復号された画像（フィールド画像＃１及びフィールド画像＃２）に含まれる画素の標本化位置を各々取得する。そして、フィールド画像＃１の画素とフィールド画像＃２の画素との標本化位置を比較することによって、フィールド画像＃１の画素の、フィールド画像＃２の画素に対応する位置を推定する。そして、推定された位置に基づいて、画素ごとのサンプリング位相差θを求める。
【００５６】
次に、動き補償部２２２は、位置推定部２２１によって求められたサンプリング位相差θを用いて、位置ずれが無くなるようにフィールド画像＃２の画像を動き補償する。
【００５７】
そして、水平拡大部２２４は、高解像度化する対象の画像（フィールド画像＃１）の水平方向の画素数を増やす。また、水平拡大部２２３は、他の画像（フィールド画像＃２）の水平方向の画素数を増やす。
【００５８】
位置推定部２２１には、参考文献１又は参考文献２に記載された方法が用いられる。
【００５９】
［参考文献１］Shigeru ANDO "A Velocity Vector Field Measurement System Based on Spatio-Temporal Image Derivative", Papers of Measurement Automatic Control Academic Society, pp.1330-1336, Vol.22, No. 12,1986
［参考文献２］Hiroyuki KOBAYASHI et al. "Calculation Method of a Phase-Only Correlation Function for Images Based on Discrete Cosine Transform", IEICE Technical Report ITS2005-92, IE2005-299(2006-02), pp.73-78
水平拡大部２２４及び水平拡大部２２３は、水平方向の画素数を増やすため、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じ機能を有する。第１の実施形態の水平縮小部１０２において、変換率の整数ｍと整数ｎとは、ｍ＜ｎに定められるが、第１の実施形態の水平拡大部２２４及び水平拡大部２２３において、変換率の整数ｍと整数ｎとは、ｍ＞ｎに定められる。
【００６０】
第１の実施形態の水平拡大部２２４及び水平拡大部２２３が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。管理者等は、水平拡大部２２４及び水平拡大部２２３による処理の後、フィールド画像の水平方向の各折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【００６１】
水平拡大部２２４及び水平拡大部２２３が図２Ａに示す水平縮小部１０２と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、補間ローパスフィルタ部２０１のｍ個の値を定める。また、水平拡大部２２４及び水平拡大部２２３が図２Ｂに示す水平縮小部１０２と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、アップサンプリング部２０３が用いる整数ｍ及びダウンサンプリング部２０５が用いる整数ｎの値を定める。
【００６２】
なお、超解像部１２４が一つのフィールド画像＃１だけを高解像度化する場合、水平拡大部１２３は、位置推定部２２１、動き補償部２２２、及び、水平拡大部２２３を有する必要はない。すなわち、超解像部１２４が一つのフィールド画像だけを高解像度化する場合、水平拡大部１２３は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じでよい。
【００６３】
超解像部１２４は、水平拡大部１２３から送信される画像の高解像度化処理を行う。第１の実施形態の超解像部１２４は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を水平拡大部１２３から送信されるが、本発明の超解像部１２４は、一つの画像を送信されてもよい。
【００６４】
また、超解像部１２４に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。本実施形態における超解像部１２４は、前述の成分ごとに超解像処理（すなわち、折返し成分の除去処理）を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【００６５】
具体的には、超解像部１２４が輝度成分又は色差成分によって、折返し成分を除去するか否かを判定する場合、超解像部１２４は、フィールド画像に含まれる画素ごとに、輝度成分又は色差成分を判定する機能を保持してもよい。また、超解像部１２４は、画像送信装置１００に備わるメモリ等に格納されたパラメータに従って、いずれの輝度成分又は色差成分の画素の折返し成分を除去するかを判定する機能を保持してもよい。
【００６６】
第１の実施形態の超解像部１２４は、以下の図３又は図８の機能を有する。
【００６７】
図３は、本発明の第１の実施形態の超解像部１２４の第１の構成例を示すブロック図である。
【００６８】
超解像部１２４は、折返し成分除去部３０１、直線角度算出部３０２、混合部３０３、及び、位相シフト部３１０を有する。
【００６９】
図３に示す超解像部１２４は、二つのフィールド画像（フィールド画像＃１及びフィールド画像＃２）が入力される。水平拡大部１２３から送信されたフィールド画像＃１及びフィールド画像＃２は、位相シフト部３１０に入力される。また、水平拡大部１２３から送信されたフィールド画像＃１は、直線角度算出部３０２及び混合部３０３に入力される。さらに、水平拡大部１２３から送信されたサンプリング位相差θは、折返し成分除去部３０１に入力される。
【００７０】
位相シフト部３１０は、入力されたフィールド画像の位相を一定量だけシフトしたフィールド画像を生成する。本実施形態において、位相シフト部３１０は、フィールド画像の位相を一定量だけシフトするため、受信した二つのフィールド画像を各々二つに分岐させ、これによって、合計四つのフィールド画像を生成する方法を用いる。
【００７１】
具体的には、本実施形態の位相シフト部３１０は、π／２位相シフト器及び遅延器を有する。π／２位相シフト器は、分岐された一方のフィールド画像の位相をπ／２シフトする。そして、遅延器は、π／２位相シフト器の処理によって生じる遅延分、分岐された他方のフィールド画像も遅延させることによって、分岐された他方のフィールド画像を保障する。
【００７２】
位相シフト部３１０は、π／２位相シフト器によって位相がπ／２ずらされたフィールド画像＃１（フィールド画像＃Ａ）と、π／２位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像＃１（フィールド画像＃Ｂ）と、π／２位相シフト器によって位相をπ／２ずらされたフィールド画像＃２（フィールド画像＃Ｃ）と、π／２位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像＃２（フィールド画像＃Ｄ）と、を生成する（例えば、特許文献２参照）。
【００７３】
そして、位相シフト部３１０は、生成された四つのフィールド画像＃Ａ〜フィールド画像＃Ｄを、折返し成分除去部３０１に送信する。
【００７４】
折返し成分除去部３０１は、位相シフト部３１０から送信される画像（フィールド画像＃Ａ〜フィールド画像＃Ｄ）と、水平拡大部１２３の位置推定部２２１から送信された画素ごとのサンプリング位相差θと、に基づいて、周波数スペクトルにおける折返し成分を全て除去する。これによって、折返し成分除去部３０１は、フィールド画像＃Ａ〜フィールド画像＃Ｄに基づいて、フィールド画像＃１の原成分だけを抽出する。
【００７５】
第１の構成例の超解像部１２４における折返し成分除去部３０１には、複数のフィールド画像に含まれる被写体の位置の差に基づいて、画像内の動き方向の折返し成分を除去する方法を用いる（例えば、特許文献２参照）。これによって、折返し成分除去部３０１は、フィールド画像＃１の原成分を、混合部３０３に送信する。
【００７６】
直線角度算出部３０２は、水平拡大部１２３から送信されたフィールド画像（フィールド画像＃１）に表示される直線又はエッジの向き（角度３０４）を、フィールド画像＃１の画素ごとに算出する。直線又はエッジの向き（角度３０４）を画素ごとに算出する方法には、例えば、ハフ変換などの従来技術が用いられる。
【００７７】
混合部３０３は、水平拡大部１２３から送信される画像（折返し成分を含む）と折返し成分除去部３０１から送信される画像（折返し成分を含まない）とを、直線角度算出部３０２から送信される角度３０４に従って合成する。具体的には、角度３０４に従って定められた比率によって、フィールド画像＃１及びフィールド画像＃２を画素ごとに合成する。そして、混合部３０３は、一つのフィールド列、すなわち、フィールド画像を出力する。
【００７８】
なお、超解像部１２４は、バッファに接続されてもよい。そして、折返し成分除去部３０１は、受信したサンプリング位相差θに対応する画素の折返し成分を除去するため、受信したフィールド画像又はサンプリング位相差θを一時的にバッファに格納してもよい。また、混合部３０３は、受信した角度３０４に対応する、フィールド画像＃１の画素と折返し成分を除去されたフィールド画像＃１の画素とを、合成するため、バッファに受信した角度３０４、フィールド画像＃１又は折返し成分を除去されたフィールド画像＃１を一時的に格納してもよい。
【００７９】
また、第１の実施形態の超解像部１２４は、二つのフィールド画像を用いることによって、一つのフィールド画像を高解像度化したが、本発明の超解像部１２４は、一つのフィールド画像を用いて、一つのフィールド画像を高解像度化してもよい。一つのフィールド画像を用いる場合、超解像部１２４の位相シフト部３１０は不要であり、折返し成分除去部３０１へのサンプリング位相差θの入力も不要である。
【００８０】
また、第１の構成例の超解像部１２４は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、混合部３０３に、各画素の折返し成分を除去させてもよい。
【００８１】
図４は、本発明の第１の実施形態の混合部３０３を示すブロック図である。
【００８２】
混合部３０３は、係数算出部４０１、乗算器４０２、乗算器４０３、及び、加算器４０４を有する。乗算器４０２は、入力されたフィールド画像＃１の各画素に、各画素に対応する係数α（値域は０〜１）を乗算し、乗算結果を加算器４０４に送信する。また、乗算器４０３は、折返し成分除去部３０１から送信された原成分のみのフィールド画像＃１の各画素に、各画素に対応する係数（１−α）を乗算し、乗算結果を加算器４０４に送信する。
【００８３】
加算器４０４は、乗算器４０２及び乗算器４０３から送信された各画素を加算し、加算された結果を表示部１２５又は送信部１２６に送信する。係数算出部４０１は、係数αと係数（１−α）を、直線角度算出部３０２から送信された角度３０４を用いて生成する。そして、係数算出部４０１は、係数αを乗算器４０２に送信し、係数（１−α）を乗算器４０３に送信する。
【００８４】
乗算器４０２に入力されるフィールド画像＃１には折返し成分が含まれ、乗算器４０３に入力されるフィールド画像＃１は、原成分のみである。このため、係数αの値に従って、折返し成分と原成分とを加算することによって、本実施形態の超解像部１２４は、より高解像度のフィールド画像を取得できる。
【００８５】
以下、係数算出部４０１及び係数αの具体例について図５Ａ〜図５Ｃを用いて説明する。
【００８６】
図５Ａは、本発明の第１の実施形態の角度３０４を示す説明図である。
【００８７】
図５Ａは、斜め線が表示される画像を示し、画像の水平方向をｘ軸によって示し、画像の垂直方向をｙ軸によって示す。角度３０４は、画像の斜め線が水平方向（ｘ軸）と並行である場合、０（ｒａｄ）であり、垂直方向（ｙ軸）と並行である場合、π／２（ｒａｄ）である。水平方向と斜め線との間の角度は、図５Ａに示すｘ軸からの偏差（範囲は０〜π／２）によって示される。
【００８８】
図５Ｂは、本発明の第１の実施形態の空間周波数スペクトルを示す説明図である。
【００８９】
図５Ｂの空間周波数スペクトル（すなわち、周波数スペクトル）は、横軸が水平周波数μであり、縦軸が垂直周波数νである表によって示される。図５Ａに示す画像は、フーリエ変換によって図５Ｂに示す空間周波数スペクトルに変換される。
【００９０】
以下に示す例は、角度３０４が０〜π／２ｒａｄである場合における具体例である。図５Ａの角度３０４の値が小さい程、すなわち、０ｒａｄに近い程、図５Ａの斜め線は、水平周波数μの軸より垂直周波数νの軸が近い領域に含まれる点に変換される。
【００９１】
また、角度３０４の値がπ／２ｒａｄに近い程（垂直方向に並行する程）、空間周波数スペクトル上において、垂直周波数νの軸より水平周波数μの軸が近い側の領域に含まれる点に変換される。
【００９２】
図５Ｂに示す領域（２）は、角度３０４がπ／４ｒａｄに近い場合において、角度３０４が変換される領域である。
【００９３】
すなわち、図５Ａの斜め線がｘ軸と並行になる程（画像において、横線に近い程）、図５Ａの斜め線は、図５Ｂに示す領域（１）に変換される。すなわち、図５Ａの斜め線がｙ軸と並行になる程（画像において、縦線になる程）図５Ａの斜め線は、図５Ｂに示す領域（３）に変換される。
【００９４】
図５Ｃは、本発明の第１の実施形態の角度３０４と係数αとの対応を示す説明図である。
【００９５】
係数αは、係数算出部４０１によって定められる。係数αの値が０．０の場合、加算器４０４による出力には、折返し成分除去部３０１の出力、すなわち、原成分がすべて含まれる。また、係数αの値が１．０に近い値である場合、加算器４０４による出力には、折返し成分除去前の画像（フィールド画像＃１）の割合が増える。すなわち、係数αの値が１．０に近い値である場合、加算器４０４による出力には、折返し成分除去の効果が小さくなり、折返し成分が多く含まれる。
【００９６】
前述のように、画像転送システムは、画像におけるノイズを除去するために、水平方向の折返し成分を除去し、垂直方向の折返し成分を残すことが望ましい。
【００９７】
第１の構成例の超解像部１２４における係数算出部４０１は、角度３０４が小さい値である程、垂直方向の折返し成分が多く含まれるため、係数αを１に近い値に定める。これによって、加算器４０４は、垂直方向の折返し成分を残した画像を出力できる。
【００９８】
また、第１の構成例の超解像部１２４における係数算出部４０１は、角度３０４が大きい値である程、水平方向の折返し成分が多く含まれるため、係数αを０に近い値に定める。これによって、加算器４０４は、水平方向の折返し成分を除去した画像を出力できる。
【００９９】
図５Ｃに示す項目（１）は、角度３０４が０〜３π／１６ｒａｄであり、図５Ｂの領域（１）を示す。また、図５Ｃに示す項目（２）は、角度３０４が３π／１６ｒａｄ〜π／４ｒａｄであり、図５Ｂの領域（２）を示す。また、図５Ｃに示す項目（３）は、角度３０４がπ／４ｒａｄ〜π／２ｒａｄであり、図５Ｂでは領域（３）に該当する。
【０１００】
図５Ｃの項目（１）において、係数αは１であり、項目（２）において係数αは０．５である。また、図５Ｃの項目（３）において、係数αは０である。角度３０４と係数αとの対応は、管理者等によってあらかじめ定められ、係数算出部４０１によって保持される。
【０１０１】
図５Ｃに示す角度３０４と係数αとの対応が、係数算出部４０１によって保持されることによって、図５Ｂの領域（１）に生じた折返し成分は除去されず、図５Ｂの領域（２）に生じた折返し成分は、弱められ、図５Ｂの領域（３）に生じた折返し成分は、除去される。
【０１０２】
次に、図６〜図７において、本発明の画像転送システムの高解像度化処理によって生成される画像を、周波数スペクトルを用いて説明する。
【０１０３】
図６Ａ〜図６Ｄは、ｍ＝２、ｎ＝３の条件において、水平縮小部１０２が画像の水平方向の画素数を減らす（解像度を低くする）処理における、各処理部からの出力の周波数スペクトルを示す。図６Ａ〜図６Ｄにおいて、水平縮小部１０２は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０１０４】
図６Ａ〜図６Ｄに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置（周波数）６００を示す。また、水平方向のサンプリング周波数はμｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ毎の周波数である。
【０１０５】
図６Ａは、本発明の第１の実施形態の水平縮小部１０２に入力される画像の周波数スペクトルを示す説明図である。
【０１０６】
図６Ａに示す周波数スペクトルは、水平縮小部１０２に入力されるフィールド画像を示す。フィールド画像の垂直周波数成分には、インタレース化に伴って垂直方向のナイキスト周波数（νｓ／２）以上の周波数成分が含まれているものと想定する。また、水平周波数成分には、ナイキスト周波数（μｓ／２）以上の周波数成分は含まれていないものと想定する。
【０１０７】
入力部１０１から出力されるフィールド画像を、水平方向に２／３倍縮小するため、水平縮小部１０２は、アップサンプリング部２０３による水平方向への２倍アップサンプリング、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／３倍ダウンサンプリングを行う。
【０１０８】
図６Ｂは、本発明の第１の実施形態の水平縮小部１０２のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０１０９】
図６Ｂに示す周波数スペクトルは、ｍ＝２の条件における、水平縮小部１０２のアップサンプリング部２０３の出力を示す。図６Ｂに示すとおり、アップサンプリング部２０３による処理の結果、図６Ａに示す水平方向のサンプリング位置の間隔がμｓから２μｓに広がる。
【０１１０】
図６Ｃは、本発明の第１の実施形態の水平縮小部１０２の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０１１１】
図６Ｃに示す周波数スペクトルは、水平縮小部１０２の補間ローパスフィルタ部２０４の出力を示す。第１の実施形態の水平縮小部１０２の補間ローパスフィルタ部２０４が保持するカットオフ周波数は、μｓ／３より大きく、２μｓ／３より小さい値である。通過帯域６３０は、補間ローパスフィルタ部２０４がカットオフ周波数を用いることによって残された周波数帯域である。
【０１１２】
水平縮小部１０２の補間ローパスフィルタ部２０４は、図６Ｂに示す水平方向の周波数スペクトルのうちサンプリング周波数（図６Ｃにおいて、μ＝０、μ＝２μｓ等）の近傍の周波数だけを残し、その他の周波数の成分を削除する。図６Ｃにおいて、カットオフ周波数はμｓ／２である。
【０１１３】
補間ローパスフィルタ部２０４のカットオフ周波数は、図６Ｄに示すダウンサンプリング部２０５の出力の周波数スペクトルにおいて、インタレース化に伴う垂直方向の折返し成分６４１と水平方向の折返し成分６４０とに重なりが生じないような値に、あらかじめ管理者等によって定められる。そして定められたカットオフ周波数は、補間ローパスフィルタ部２０４によって保持される。
【０１１４】
図６Ｄは、本発明の第１の実施形態の水平縮小部１０２のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０１１５】
図６Ｄに示す周波数スペクトルは、ｎ＝３の条件における、水平縮小部１０２のダウンサンプリング部２０５の出力を示す。図６Ｄのとおり、ダウンサンプリング部２０５によって、水平方向のサンプリング周波数は、μｓ’（＝２μｓ／３）毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が順に配置される。その結果、補間ローパスフィルタ部２０４によってフィルタリングされた周波数帯域分、フィールド画像の水平方向が縮小される。
【０１１６】
図６Ｄに示す周波数スペクトルの楕円のうち、ν軸上に平行して配置される楕円の重なりが、インタレース化に伴う垂直方向の折返し成分６４１を示す。また、μ軸に平行して配置される楕円の重なりが、水平方向の折返し成分６４０を示す。
【０１１７】
なお、管理者等は、μｓ／３より大きく２μｓ／３より小さい範囲の値であり、かつ、インタレース化に伴う垂直方向の折返し成分６４１と水平方向の折返し成分６４０に重なりが生じないような値に、補間ローパスフィルタ部２０４のカットオフ周波数を定める。これによって、インタレース化に伴う垂直方向の折返し成分６４１と重なりのない水平周波数μｓ／３の近傍で折返し成分６４０が発生する。
【０１１８】
管理者等は、前述のように、水平縮小部１０２による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【０１１９】
図７Ａ〜図７Ｄは、水平拡大部１２３がｍ＝３、ｎ＝２の条件において、水平方向の解像度を増やす（画素数を増やす）際の周波数スペクトルを示す。図７Ａ〜図７Ｄにおいて、水平拡大部１２３は、水平縮小部１０２と同じく、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０１２０】
図７Ａ〜図７Ｄに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置（周波数）７００である。
【０１２１】
図７Ａは、本発明の第１の実施形態の水平拡大部１２３に入力される画像の周波数スペクトルを示す説明図である。
【０１２２】
図７Ａに示す周波数スペクトルは、水平縮小部１０２から送信された画像が、符号化部１０３、送信部１０４、伝送路１１０、受信部１２１、及び、復号化部１２２を介して、水平拡大部１２３に入力される際の、入力される画像の周波数スペクトルを示す。このため、本実施形態において、図７Ａに示す周波数スペクトルと、水平縮小部１０２から送信される図６Ｄに示す周波数スペクトルとは同じである。
【０１２３】
水平拡大部１２３は、画像を水平方向に３／２倍拡大するため、水平方向にアップサンプリング部２０３による３倍アップサンプリング、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／２倍ダウンサンプリングを行う。
【０１２４】
図７Ｂは、本発明の第１の実施形態の水平拡大部１２３のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０１２５】
図７Ｂに示す周波数スペクトルは、ｍ＝３の条件における、水平拡大部１２３のアップサンプリング部２０３の出力を示す。図７Ｂに示すとおり、アップサンプリング部２０３による処理の結果、図７Ａに示す水平方向のサンプリング位置の間隔が２μｓ／３から２μｓに広がる。
【０１２６】
図７Ｃは、本発明の第１の実施形態の水平拡大部１２３の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０１２７】
図７Ｃに示す周波数スペクトルは、水平拡大部１２３の補間ローパスフィルタ部２０４の出力を示す。第１の実施形態の水平拡大部１２３の補間ローパスフィルタ部２０４のカットオフ周波数は、μｓ／２である。また、水平拡大部１２３の補間ローパスフィルタ部２０４は、図７Ｂに示す水平方向の周波数スペクトルのうちサンプリング周波数（図７Ｃにおいて、μ＝０、μ＝２μｓ等）の近傍の周波数（通過帯域７３０）だけを残し、その他の周波数を削除する。
【０１２８】
水平拡大部１２３の補間ローパスフィルタ部２０４のカットオフ周波数も、水平縮小部１０２と同じく、あらかじめ管理者等によって定められ、補間ローパスフィルタ部２０４に保持される。管理者等は、水平拡大部１２３による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【０１２９】
図７Ｄは、本発明の第１の実施形態の水平拡大部１２３のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０１３０】
図７Ｄに示す周波数スペクトルは、ｎ＝２の条件における、水平拡大部１２３のダウンサンプリング部２０５の出力を示す。図７Ｄのとおり、ダウンサンプリング部２０５によって、水平方向のサンプリング周波数は、μｓ”（＝μｓ）毎の周波数に定められる。この定められたサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が配置される。この結果、フィールド画像の水平方向の画素数が増大する。
【０１３１】
水平縮小部１０２において発生した折返し成分６４０は、図７Ｄに示すとおり、水平周波数μｓ／３の近傍において、折返し成分７４０として残ったままである。また、インタレース化に伴う垂直方向の折返し成分７４１は、折返し成分６４１と同じく生じる。図７Ｄに示す周波数スペクトルは、超解像部１２４に送信される。
【０１３２】
超解像部１２４が、図５Ｃに示す角度３０４と係数αとの対応を用いて出力を生成する。角度３０４の値が０〜３π／１６の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（１）の係数αを用いる場合、水平方向の折返し成分７４０は除去されない。また、図５Ｃに示す領域（１）は、図７Ｄに示すインタレース化に伴って生じた折返し成分７４１を含むため、領域（１）の係数αを用いる場合、インタレース化に伴って生じた折返し成分７４１は除去されない。
【０１３３】
一方、角度３０４の値がπ／４〜π／２の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（３）の係数αを用いる場合、水平方向の折返し成分７４０の多くが除去される。すなわち、図５Ｃに示す領域（３）は、図７Ｄに示す折返し成分７４０を含むことから、折返し成分７４０の多くが除去される。
【０１３４】
さらに、角度３０４の値が３π／１６〜π／４の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（２）の係数αを用いる場合、水平方向の折返し成分７４０は低減される。
【０１３５】
図７Ｄに示す水平方向の折返し成分７４０だけを除去するためには、角度３０４の値がｔａｎ-1（２／３）より小さい場合、係数αを１に定め、角度３０４の値がｔａｎ-1（２／３）より大きい場合、係数αを０に定める。これによって、超解像部１２４は、図６Ａに示す元の周波数スペクトルを得ることが可能である。
【０１３６】
第１の構成例の超解像部１２４の係数算出部４０１は、図５Ｃのように、係数αと角度３０４とを対応させてあらかじめ保持し、フィールド画像＃１が混合部３０３に送信された場合、角度３０４に対応する係数αを定める。そして、混合部は、定められた係数αと、係数αに対応する画素とを、乗算器４０２及び乗算器４０３に処理させる。なお、係数算出部４０１は、係数αと角度３０４とを管理者等によってあらかじめ与えられていてもよい。
【０１３７】
前述の超解像部１２４の第１の構成例によれば、超解像部１２４は、フィールド画像の角度３０４に従って係数αを定めることによって、水平方向の折返し成分を除去することができる。すなわち、角度３０４に従って、折返し成分を除去する量を変化させることができる。これによって、高解像度の画像を取得することが可能である。
【０１３８】
図８は、本発明の第１の実施形態の超解像部１２４の第２の構成例を示すブロック図である。
【０１３９】
図８に示す超解像部１２４は、図３に示す超解像部１２４と異なる構成を有する。図８に示す超解像部１２４も、複数の画像を処理する。図８に示す超解像部１２４は、直線角度算出部３０２から送信される角度３０４に従って、折返し成分を除去する。以下では、図３に示す超解像部１２４と同じ機能には、同じ符号を付す。また、図３に示す超解像部１２４と同じ機能の説明は、重複するため、省略する。
【０１４０】
図８の超解像部１２４は、折返し成分除去部８０１、直線角度算出部３０２、及び、位相シフト部３１０を有する。
【０１４１】
折返し成分除去部８０１は、水平拡大部１２３から送信されたサンプリング位相差θと、位相シフト部３１０から送信されたフィールド画像と、直線角度算出部３０２から送信された角度３０４とを受信する。そして、折返し成分除去部８０１は、送信された画像の周波数スペクトルにおける水平方向の折返し成分７４０を、サンプリング位相差θ及び角度３０４に基づいて除去し、画像の原成分を抽出する。
【０１４２】
図９は、本発明の第１の実施形態の位相シフト部３１０と折返し成分除去部８０１との構成を示すブロック図である。
【０１４３】
図８に示す第２の構成例の超解像部１２４は、図９に示す位相シフト部３１０と折返し成分除去部８０１とを有する。
【０１４４】
位相シフト部３１０は、図３に示す位相シフト部３１０と同じく、位相シフト器と遅延器とを有する。図９に示す位相シフト部３１０には、画像９００Ａ（フィールド画像＃１）及び画像９００Ｂ（フィールド画像＃２）が入力される。
【０１４５】
図９に示す位相シフト部３１０は、画像９００Ａ及び画像９００Ｂを、位相シフト器によって、位相の異なる二つの画像に各々変換する。この結果、位相シフト部３１０は、画像（９２１、９２２、９２３、及び、９２４）を出力する。なお、位相シフト部３１０に入力される画像は、二つでなくてよく、三つ以上であってもよい。
【０１４６】
折返し成分除去部８０１は、係数決定部９１０、乗算器（９１１、９１２、９１３、及び９１４）、及び、加算器９１５を有する。乗算器９１１には画像９２１が入力され、乗算器９１２には画像９２２が入力され、乗算器９１３には画像９２３が入力され、乗算器９１４には画像９２４が入力される。
【０１４７】
画像９２１は、画像９００Ａが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ／２位相シフト器によって処理される際に生じる遅延を遅延器に補償されたフィールド画像である。画像９２２は、画像９００Ａが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π／２位相シフト器によって位相をπ／２シフトされた画像である。
【０１４８】
また、画像９２３は、画像９００Ｂが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ／２位相シフト器によって処理される際に生じる遅延を補償されたフィールド画像である。画像９２４は、画像９００Ｂが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π／２位相シフト器によって位相をπ／２シフトされたフィールド画像である。
【０１４９】
係数決定部９１０は、サンプリング位相差θと角度３０４とに基づいて生成された係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を算出する。
【０１５０】
折返し成分除去部８０１の乗算器（９１１、９１２、９１３、及び、９１４）は、位相シフト部３１０から出力された画像（９２１、９２２、９２３、及び、９２４）の各画素と、係数決定部９１０によって算出された係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを、各々乗算し、乗算された結果を加算器９１５に送信する。加算器９１５は、乗算器（９１１、９１２、９１３、及び、９１４）から送信された画素を加算し、表示部１２５又は送信部１２６に加算結果を送信する。
【０１５１】
超解像部１２３は、バッファに接続され、画像（９２１、９２２、９２３、及び、９２４）、角度３０４又はサンプリング位相差θをパッファに一時的に格納してもよい。これによって、画像（９２１、９２２、９２３、及び、９２４）に対応する角度３０４及び位相差θによって、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を算出し、その係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）と画像（９２１、９２２、９２３、及び、９２４）とを対応させてもよい。
【０１５２】
係数決定部９１０は、水平拡大部１２３からサンプリング位相差θを受信する。また、直線角度算出部３０２から角度３０４を受信する。
【０１５３】
なお、図９に示す第２の構成例の超解像部１２４は、複数の画像を入力されるが、本発明の超解像部１２４は、一つの画像を入力されてもよい。
【０１５４】
図１０は、本発明の第１の実施形態の係数決定部９１０による係数算出方法を示す説明図である。
【０１５５】
図１０は、第２の構成例の超解像部１２４に含まれる係数決定部９１０が、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める際に用いる方法を示す。
【０１５６】
図２２Ｂ及び図２２Ｃによって、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める方法の概要を示す。
【０１５７】
図２２Ｂは、従来技術の画像に含まれる原成分を示す説明図である。
【０１５８】
図２２Ｂに示す四つのベクトルは、二つの画像（フィールド画像＃１及びフィールド画像＃２）の原成分を示すベクトル（１１０１及び１１０２）、及び、フィールド画像＃１及びフィールド画像＃２の原成分を各々π／２位相シフトした結果を示すベクトル（１１０３及び１１０４）である。
【０１５９】
ベクトル（１１０１〜１１０４）は、原成分を示す。ベクトル（１１０１及び１１０２）は、実軸と並行に記載される。図２２Ｂのベクトル（１１０１〜１１０４）は、図２２Ａに示すベクトル（１１０１〜１１０４）に対応する。
【０１６０】
図２２Ｃは、従来技術の画像に含まれる折返し成分を示す説明図である。
【０１６１】
図２２Ｃに示す四つのベクトルは、二つのフィールド画像を、水平縮小部１０２及び水平拡大部１２３によって処理した後の、各折返し成分の位相を示す。ベクトル１１０５は、フィールド画像＃１の折返し成分であり、ベクトル１１０７は、π／２位相シフト後のフィールド画像＃１の折返し成分である。ベクトル１１０６は、フィールド画像＃２の折返し成分であり、ベクトル１１０８は、π／２位相シフト後のフィールド画像＃２の折返し成分である。
【０１６２】
フィールド画像＃１の折返し成分のベクトル１１０５は、実軸と並行である。フィールド画像＃２の折返し成分のベクトル１１０６は、実軸からサンプリング位相差θ分傾く。
【０１６３】
第１の実施形態の第２の構成例の超解像部１２４は、図２２Ｂに示す四つの成分と与えられた係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを各々乗算し、乗算された結果のベクトル和を取得する。また、図２２Ｃに示す四つの成分と係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを各々乗算し、乗算された結果のベクトル和を取得する。
【０１６４】
このため、係数決定部９１０は、図２２Ｂにおいて実軸の成分が１になり、虚軸の成分が０になり、かつ、図２２Ｃにおいて実軸の成分が係数α（値域は０〜１）になり、虚軸の成分が０となるような、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める。すなわち、係数決定部９１０は、係数αの値を定めることによって、超解像部１２４から出力されるフィールド画像に残る折返し成分の量を調整する。
【０１６５】
前述のとおり、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定めることによって、第１の実施形態の超解像部１２４は、二つのフィールド画像だけを用いて、折返し成分を完全に除去する高解像度化、又は、折返し成分を若干残した高解像度化を実現可能となる。
【０１６６】
なお、図８の超解像部１２４における係数αは、前述の図３の超解像部１２４における係数αと同じく、角度３０４に従って定められる。すなわち、係数αの値が０．０である場合、折返し成分が完全に除去される。また、係数αの値が０．０に近づく程、折返し成分が低減する。係数αの値が１．０の場合、折返し成分は完全に残る。これは、前述の図３の超解像部１２４における係数αと同じであり、角度３０４と係数αとの関係も図５Ｃに示す対応関係と同じである。
【０１６７】
さらに、図８の超解像部１２４は、フィールド画像＃１及びフィールド画像＃２の原成分及び折返し成分のベクトル和の虚軸の成分を０にするため、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を用いる。
【０１６８】
係数Ｃ０は、位相シフト部３１０の画像９２１（水平拡大後のフィールド列＃１の原成分と折返し成分との和）に対応する係数である。また、係数Ｃ１は、位相シフト部３１０の画像９２２（水平拡大後のフィールド画像＃１の原成分と折返し成分とをそれぞれπ／２位相シフトした結果の和）に対応する係数である。
【０１６９】
また、係数Ｃ２は、位相シフト部９０１の画像９２３（水平拡大後のフィールド画像＃２の原成分と折返し成分との和）に対応する係数である。また、係数Ｃ３は、位相シフト部９０１の画像９２４（水平拡大後のフィールド画像＃２の原成分と折返し成分とをそれぞれπ／２位相シフトした結果の和）に対応する係数である。
【０１７０】
係数決定部９１０は、前述の係数αと係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）とサンプリング位相差θを用い、図１０の（ａ）の条件を満たすような、連立方程式をあらかじめ求める。その結果、係数決定部９１０は、図２２Ｂ及び図２２Ｃに示す各成分の位相関係から、図１０の（ｂ）に示す連立方程式を求める。
【０１７１】
係数決定部９１０は、直線角度算出部３０２から受信した角度３０４に従って係数αを定め、図１０の（ｂ）の連立方程式を算出する。これによって、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を定めることができる。
【０１７２】
例えば、係数α＝０である場合、すなわち、折返し成分を完全に除去する場合、係数決定部９１０は、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を、図１０の（ｃ）のように定める。図１０の（ｄ）は、サンプリング位相差θをπ／８ｒａｄごとに０〜２πｒａｄまで変化させた場合の、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）の値を示す。
【０１７３】
図１０の（ｄ）に示す係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を用いた場合、折返し成分除去部８０１による処理は、もとのフィールド画像＃２の信号を、１／１６画素の精度によって位置推定し、フィールド画像＃１に動き補償する処理に相当する。係数決定部９１０は、サンプリング位相差θの値が０未満、又は、２π以上である場合、ｓｉｎ関数及びｃｏｓ関数の周期性を利用し、位相差θの値に２πの整数倍の値を、加算又は減算することによって、サンプリング位相差θが０〜２πの範囲に収まるように、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を定めればよい。
【０１７４】
前述のとおり、第２の構成例の超解像部１２４も、第１の構成例の超解像部１２４と同じく、角度３０４に従って、折返し成分を除去する量を変化させることができる。
【０１７５】
なお、第２の構成例の超解像部１２４は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、折返し成分除去部８０１に、各画素の折返し成分を除去させてもよい。
【０１７６】
また、前述の第１の実施形態の画像受信装置１２０は、画像ごとに直線又はエッジの角度を求め、画素ごとに係数αを定めた。しかし、本発明の画像受信装置１２０は、フィールド画像中の任意の画素を抽出し、抽出された画素の直線又はエッジの角度３０４を算出してもよい。そして、本発明の画像受信装置１２０は、抽出された画素と抽出された画素の周辺の画素に、算出された角度３０４に従った係数αを定めてもよい。
【０１７７】
前述のとおり、第１の実施形態の画像送信装置１００は、インタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮及び符号化し、伝送路１１０を介して画像受信装置１２０に送信する。画像送信装置１００は、フィールド画像を縮小した後に圧縮するため、送信する画像符号化データの量を低減することができる。このような画像送信装置１００を備える画像転送システムによれば、伝送路１１０の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
【０１７８】
また、第１の実施形態の画像受信装置１２０は、圧縮及び符号化された画像符号化データを受信し、受信した画像復号化データを復号する。そして、復号されたフィールド画像を水平方向に拡大し、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求める。そして、求められた角度３０４に従って折返し成分を除去する量を変化させる。
【０１７９】
第１の実施形態の画像受信装置１２０は、画像において垂直方向に傾いた直線又はエッジについて折返し成分の除去の程度を強くし、水平方向に傾いた直線又はエッジについては折返し成分の除去の程度を弱くする。この結果、画像における水平方向の折返し成分の多くを除去でき、さらに、インタレース化に伴う垂直方向の折返し成分の多くを残すことが可能である。
【０１８０】
このため、第１の実施形態の画像受信装置１２０は、水平方向に縮小及び拡大されたフィールド画像から、高解像度なフィールド画像を生成できる。そして、被写体に垂直方向の動きがある場合においても、垂直方向の折返し成分の多くを残すことができるため、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０１８１】
なお、第１の実施形態の画像転送システムは、伝送路１１０に蓄積装置を用い、画像送信装置１００と画像受信装置１２０とを一体化することによって、画像蓄積装置として実装されてもよい。
【０１８２】
また、第１の実施形態の水平縮小部１０２及び水平拡大部１２３が用いるカットオフ周波数及び変換率は、各処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定めた。しかし、本実施形態の画像転送システムは、水平拡大部１２３による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重なる場合も、角度３０４によって水平方向の折返し成分を除去するため、高解像度化の効果が得られる。
【０１８３】
（第２の実施形態）
第２の実施形態の画像送信装置は、第１の実施形態の画像転送システムと異なり、水平縮小部によって用いられた変換率（すなわち、整数ｍ及び整数ｎの比）と、カットオフ周波数とを符号化部において画像符号化データに含める。そして、変換率とカットオフ周波数とを含む画像符号化データを、画像受信装置に送信する。
【０１８４】
第２の実施形態の画像受信装置は、受信した画像符号化データから復号化部によって変換率とカットオフ周波数とを抽出する。そして、抽出された変換率とカットオフ周波数とを用いて、水平拡大部と超解像部とに処理させる。これによって、第２の実施形態の画像転送システムは、周波数スペクトルにおける折返し成分の発生状況をより正確に把握し、ノイズ等の画質劣化の少ない高解像度画像を生成する。
【０１８５】
以下において、前述の第１の実施形態の画像転送システムが有する機能と同じ機能には、同じ符号を付す。また、同じ機能に関する重複する説明を省略する。
【０１８６】
図１１は、本発明の第２の実施形態の画像転送システムの構成を示すブロック図である。
【０１８７】
第２の実施形態の画像転送システムは、画像送信装置１２００、伝送路１１０、画像受信装置１２２０、及び、伝送路１３０を備える。画像送信装置１２００は、図１に示す画像送信装置１００に相当する。画像受信装置１２２０は、図１に示す画像受信装置１２０に相当する。
【０１８８】
画像送信装置１２００は、入力部１０１、水平縮小部１２０２、符号化部１２０３、及び、送信部１０４を有する。
【０１８９】
画像送信装置１２００は、第１の実施形態の画像送信装置１００と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１０１、水平縮小部１２０２、符号化部１２０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０１９０】
また、画像送信装置１２００は、管理者等によって、画像送信装置１２００において用いられるパラメータを入力するための入力装置を備えてもよい。
【０１９１】
水平縮小部１２０２は、入力部１０１から送信されるフィールド画像を処理する。具体的には、水平縮小部１２０２は、画像の水平方向の画素数を減らす。第２の実施形態の水平縮小部１２０２は、第１の実施形態の水平縮小部１０２と同じ機能を用いるが、さらに、フィールド画像をフィルタリングする際に用いたカットオフ周波数と、水平方向の画素数の変換率とを出力する。
【０１９２】
なお、第２の実施形態の水平縮小部１２０２は、変換率ｎ／ｍによって、水平方向の画素数を減らす（ｎ、ｍ：整数、ｎ＜ｍ）。すなわち、水平縮小部１２０２が図２Ｂに示すオーバサンプリング型である場合、アップサンプリング部２０３が整数ｎを用いてフィールド画像のサンプリング周波数を大きくし、ダウンサンプリング部２０５が整数ｍを用いてフィールド画像のサンプリング周波数を小さくする。
【０１９３】
符号化部１２０３は、水平縮小部１２０２によって縮小された画像を圧縮することによって、画像符号化データを生成する。また、水平縮小部１２０２から送信されるカットオフ周波数と、変換率とを多重して符号化する。これによって、符号化されたカットオフ周波数と変換率とを画像符号化データに含める。
【０１９４】
カットオフ周波数と変換率とを画像符号化データに多重化する方法には、例えば、Ｈ．２６４／ＡＶＣの映像符号化方式によって規定されるストリームシンタクスのＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）のユーザデータ領域に多重する方法が用いられる。
【０１９５】
画像受信装置１２２０は、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６を有する。
【０１９６】
画像受信装置１２２０は、第１の実施形態の画像受信装置１２０と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１２２０は、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０１９７】
復号化部１２２２は、受信部１２１によって受信された画像符号化データを復号することによって、フィールド画像を生成する。そして、受信された画像符号化データに含まれるストリームシンタクスのＳＥＩからカットオフ周波数１２２８と変換率１２２９とを抽出する。ここで、変換率１２２９は、ｎ／ｍである。
【０１９８】
図１２は、本発明の第２の実施形態の水平拡大部１２２３の構成を示すブロック図である。
【０１９９】
図１２に示す水平拡大部１２２３の構成は、複数の画像間において被写体が動いた場合に生じるサンプリング位相差θを用いて、超解像部１２４が、画像を高解像度化することを想定したものである。水平拡大部１２２３は、位置推定部２２１、動き補償部２２２、水平拡大部２２３、水平拡大部２２４、及び、拡大率・カットオフ周波数算出部１３０１を有する。
【０２００】
図１２に示す水平拡大部１２２３は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を用いて、一方の画像（フィールド画像＃２）を動き補償し、さらに、二つの画像（フィールド画像＃１、及び、動き補償後のフィールド画像＃２）を出力する。
【０２０１】
拡大率・カットオフ周波数算出部１３０１は、受信部１２１によって抽出されたカットオフ周波数１２２８と変換率１２２９とを受信する。そして、受信したカットオフ周波数１２２８と変換率１２２９とに基づいて、水平拡大部２２３及び水平拡大部２２４において用いられるカットオフ周波数１２３０と拡大率１２３１とを、算出する。
【０２０２】
水平拡大部２２３及び水平拡大部２２４は、拡大率・カットオフ周波数算出部１３０１から送信されたカットオフ周波数１２３０と拡大率１２３１とに基づいて、画像（フィールド画像＃２及びフィールド画像＃１）の水平方向に画素を増やす。
【０２０３】
拡大率・カットオフ周波数算出部１３０１は、例えば、変換率１２２９の逆数を、拡大率としてもよい。具体的には、変換率１２２９がｎ／ｍである場合、拡大率１２３１をｍ／ｎとしてもよい。また、カットオフ周波数１２３０を、復号化部１２２２から送信されたカットオフ周波数１２２８と同じとしてもよい。
【０２０４】
図７Ａ〜図７Ｄに示す周波数スペクトルは、ｍ＝３、ｎ＝２である条件において、拡大率１２３１がｍ／ｎである場合の、第２の実施形態の水平拡大部２２３及び水平拡大部２２４が出力する周波数スペクトルと同じである。水平拡大部１２２３の結果、図７Ｄに示す周波数スペクトルが出力される。
【０２０５】
そして、図７Ｄに示す周波数スペクトルには、ダウンサンプリング部２０５において既に生じた折返し成分以外に、新たな折返し成分は発生していない。具体的には、インタレース化に伴う折返し成分７４１と、水平方向の折返し成分７４０とが重なることによって発生する新たな折返し成分は、図７Ｄに示す周波数スペクトルには発生していない。
【０２０６】
すなわち、第２の実施形態の水平拡大部１２２３は、画像受信装置１２００から送信されたカットオフ周波数１２２８と変換率１２２９を用いることによって、新たな折返し成分の発生を防ぐことができる。
【０２０７】
また、超解像部１２４が一つの画像だけを用いて高解像度化する場合、水平拡大部１２２３は、位置推定部２２１、動き補償部２２２、及び、水平拡大部２２４を有する必要がない。
【０２０８】
図１３は、本発明の第２の実施形態の超解像部１２２４の構成を示すブロック図である。
【０２０９】
第２の実施形態の超解像部１２２４は、図１３に示す復号化部１２２２から送信されるカットオフ周波数１２２８（以下、第１のカットオフ周波数１２２８）と変換率１２２９と、水平拡大部１２２３から送信されるカットオフ周波数１２３０（以下、第２のカットオフ周波数１２３０）と拡大率１２３１とを用いて、空間方向の折返し成分の発生を推定し、推定された結果を用いてフィールド画像を高解像度化する。
【０２１０】
なお、第２の実施形態の超解像部１２２４に送信されるフィールド画像は、第１の実施形態の超解像部１２４と同じく、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。また、第２の実施形態における超解像部１２２４は、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【０２１１】
図１３に示す超解像部１２２４は、折返し成分除去部３０１、直線角度算出部３０２、位相シフト部３１０、混合部１４０３、及び、折返し成分推定部１４０１を有する。以下に示す第２の実施形態の超解像部１２２４の折返し成分除去部３０１、直線角度算出部３０２、及び、位相シフト部３１０は、第１の実施形態の第１の構成例の超解像部１２４の折返し成分除去部３０１、直線角度算出部３０２、及び、位相シフト部３１０と同じである。
【０２１２】
折返し成分推定部１４０１は、復号化部１２２２から送信される第１のカットオフ周波数１２２８と変換率１２２９と、水平拡大部１２２３によって用いられた第２のカットオフ周波数１２３０と拡大率１２３１とを用いて空間方向における折返し成分の発生を推定する。
【０２１３】
折返し成分推定部１４０１による折返し成分の推定方法を、以下に示す。
【０２１４】
以下に示す推定方法において、変換率１２９９はｎ／ｍであり、拡大率１２３１はｍ／ｎであり、水平方向の画素の拡大後のサンプリング周波数はμｓである。このため、水平方向の画素を縮小する際に折返し成分が発生する第１の条件は、第１のカットオフ周波数１２２８が（ｎ／２ｍ）×μｓより大きい場合である。また、水平方向の画素の拡大時に新たな折返し成分が発生しない第２の条件は、第２のカットオフ周波数が（１／２）×μｓより小さい場合である。
【０２１５】
従って、前述の第１の条件及び第２の条件に基づいて、折返し成分推定部１４０１は、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）から（１／２）×μｓまでの水平周波数の成分には、折返しが生じている可能性が高いと判定する。このため、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）から（１／２）×μｓまでの水平周波数の画素において、折返し成分が発生することを示す情報を、折返し成分発生データに格納する。
【０２１６】
また、折返し成分推定部１４０１は、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）より小さい水平周波数の成分において、折返しが発生していないと判定する。このため、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）より小さい水平周波数の画素において、折返し成分が発生しないことを示す情報を、折返し成分発生データに格納する。
【０２１７】
そして、折返し成分推定部１４０１は、情報を格納された折返し成分発生データを、混合部１４０３に送信する。折返し成分推定部１４０１は、折返し成分発生データを、例えば、水平周波数μと垂直周波数νとの関係式によって示してもよい。
【０２１８】
なお、本実施形態では、複数のフィールド画像を用いた場合の構成について説明したが、一つの画像を用いた構成でもよい。その場合、位相シフト部３１０は不要であり、折返し成分除去部３０１への位相差の入力も不要である。
【０２１９】
図１４は、本発明の第２の実施形態の混合部１４０３の構成を示すブロック図である。
【０２２０】
混合部１４０３は、係数算出部１５０１、乗算器４０２、乗算器４０３、及び、加算器４０４を有する。混合部１４０３の乗算器４０２、乗算器４０３、及び、加算器４０４は、第１の実施形態の混合部３０３の乗算器４０２、乗算器４０３、及び、加算器４０４と同じである。
【０２２１】
混合部１４０３と第１の実施形態の混合部３０３とが異なる点は、係数算出部１５０１が、折返し成分推定部１４０１から送信された折返し成分発生データと、直線角度算出部３０２から送信された角度３０４と、を用いて係数αを定める点である。
【０２２２】
係数算出部１５０１は、例えば、図５Ｃに示す項目（１）、（２）及び（３）のうち、角度３０４が示す項目を抽出する。そして、折返し成分発生データを参照し、抽出された項目において折返し成分が発生している場合、係数算出部１５０１は、係数αを０に定める。また、抽出された項目において折返し成分が発生していない場合、係数算出部１５０１は、係数αを１に定める。
【０２２３】
第２の実施形態の超解像部１２２４によれば、折返し成分が発生する画素を推定することによって、折返し成分の発生の有無と角度３０４とに従って、折返し成分の除去量を変化させることが可能となる。
【０２２４】
また、第１の実施形態の超解像部１２４の第２の構成例に、第２の実施形態の折返し成分推定部１４０１を追加してもよい。この場合、係数決定部９１０は、折返し成分発生データと角度３０４とに基づいて、係数αの値を定めることによって、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を算出し、折返し成分を除去する量を変化させる。
【０２２５】
以上のような第２の実施形態の画像転送システムは、画像送信装置１２００がインタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮する。そして、水平方向の解像度の縮小の際に用いられた変換率、及び、カットオフ周波数を多重して符号化し、伝送路１１０を介して画像受信装置１２２０に送信する。
【０２２６】
ここで、第２の実施形態の画像送信装置１２００は、縮小された画像を圧縮できるため、送信データ量を低減することができる。これによって、伝送路１１０の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
【０２２７】
また、第２の実施形態の画像受信装置１２２０は、圧縮及び符号化された画像符号化データを受信し、受信した画像符号化データをフィールド画像に復号する。そして、フィールド画像と水平方向の解像度の縮小の際に設定された変換率及びカットオフ周波数を取得し、復号化されたフィールド画像に、画像送信装置１２００から送信された変換率及びカットオフ周波数に基づいて水平方向に拡大する。これによって、既に生じている折返し成分の他に、折返し成分が発生することを防ぐことができる。従って第２の実施形態の超解像部１２４は、適切に折返し成分を除去できる。
【０２２８】
また、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って折返し成分を除去する量を変化させる。特に垂直方向に傾いた直線又はエッジについて折返し成分を除去する量を多くし、水平方向に傾いた直線又はエッジについて、折返し成分を除去する量を少なくする。
【０２２９】
これによって、水平方向の折返し成分の多くが除去可能な一方、被写体に垂直方向の動きがある場合でもインタレース化に伴う折返し成分の多くが残る。また、水平方向の解像度の縮小の際に用いられた変換率１２２９及び第１のカットオフ周波数１２２８に基づいて、水平方向に拡大することによって、前述の折返し成分を除去する成分と、除去する量とがより正確に判定され、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２３０】
また、第２の実施形態の画像受信装置１１２０の超解像部１２２４において、変換率１２２９及び第１のカットオフ周波数、及び、水平方向の解像度の拡大に用いられた拡大率１２３１、第２のカットオフ周波数１２３０を用いて、空間方向において折返し成分の発生を推定し、直線又はエッジの角度３０４とともに折返し成分除去に用いることによって、折返し成分除去の程度をより正確に調整可能になり、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２３１】
さらに、画像送信装置１２００からカットオフ周波数と変換率とを送信することによって、第２の実施形態の画像転送システムは、画像受信装置１２２０において用いられるカットオフ周波数及び拡大率を、自動的に変更することができる。
【０２３２】
例えば、画像送信装置１２００が、管理者による入出力が可能な場所に設置され、画像受信装置１２２０が管理者による入出力ができない場所に設置されている場合、第２の実施形態の画像転送システムは、画像送信装置１２００におけるカットオフ周波数及び拡大率の変更を、ただちに、画像受信装置１２２０に反映させることができる。
【０２３３】
なお、第２の実施形態の画像転送システムは、伝送路１１０に蓄積装置を用い、画像送信装置１２００と画像受信装置１２２０とを一体化することによって、画像蓄積装置として実装されることも可能である。
【０２３４】
（第３の実施形態）
第１の実施形態の画像転送システムは、インタレース走査の画像（フィールド画像）を送受信したが、第３の実施形態の画像転送システムは、プログレッシブ走査の画像（フレーム画像）を送受信する。プログレッシブ走査の画像にも、本実施形態の方法によって、ノイズ等の画質劣化の少ない高解像度画像を生成可能である。
【０２３５】
以下に示す画像転送システムが有する機能が、前述の第１の実施形態の画像転送システム、及び、第２の実施形態の画像転送システムの機能と同じである場合、同一の符号を付し、重複する説明を省略する。
【０２３６】
図１５は、本発明の第３の実施形態の画像転送システムの構成を示すブロック図である。
【０２３７】
画像送信装置１６００は、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４を有する。画像送信装置１６００の符号化部１０３及び送信部１０４は、第１の実施形態の画像送信装置１００の符号化部１０３及び送信部１０４と同じである。
【０２３８】
画像送信装置１６００は、第１の実施形態の画像送信装置１００と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０２３９】
また、画像送信装置１６００は、管理者等によって、画像送信装置１６００において用いられるパラメータを入力するための入力装置を備えてもよい。
【０２４０】
画像受信装置１６２０は、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６を有する。画像受信装置１６２０の受信部１２１、復号化部１２２、表示部１２５及び送信部１２６は、第１の実施形態の画像受信装置１２０の受信部１２１、復号化部１２２、表示部１２５及び送信部１２６と同じである。
【０２４１】
画像受信装置１６２０は、第１の実施形態の画像受信装置１２０と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１６２０は、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０２４２】
また、画像受信装置１６２０は、管理者等によって、画像受信装置１６２０において用いられるパラメータを入力するための入力装置を備えてもよい。
【０２４３】
入力部１６０１には、例えば、テレビジョン放送信号などの動画像をプログレッシブ走査によって表示するための、フレーム画像が入力される。また、入力部１６０１は、符号化された符号化ストリームが入力された場合、入力された符号化ストリームを復号処理し、そして、復号結果から、動画像のフレーム画像を抽出する。
【０２４４】
図１６は、本発明の第３の実施形態の画像縮小部１６０２の構成を示すブロック図である。
【０２４５】
第３の実施形態の画像縮小部１６０２は、垂直縮小部１７２４、及び、水平縮小部１７２５を有する。水平縮小部１７２５は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じであり、垂直縮小部１７２４は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同様である。垂直縮小部１７２４は、周波数スペクトルの垂直方向を縮小する（垂直方向の画素数を減らす）点において、水平縮小部１０２と異なる。
【０２４６】
垂直縮小部１７２４は、変換率ｍｖ／ｎｖによって、フレーム画像の垂直方向の画素を減らし、水平縮小部１７２５は、変換率ｍｈ／ｎｈによって、フレーム画像の水平方向の画素を減らす。
【０２４７】
図１７Ａ〜図１７Ｃは、垂直縮小部１７２４がｍｖ＝１、ｎｖ＝２の条件において、垂直方向の画素数を減らす際の周波数スペクトルを示す。図１７Ａ〜図１７Ｃにおいて、垂直縮小部１７２４は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０２４８】
図１７Ａ〜図１７Ｃに示す図の横軸は、水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置（周波数）１８００を示す。また、水平方向のサンプリング周波数は、μｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ’毎の周波数である。
【０２４９】
図１７Ａは、本発明の第３の実施形態の垂直縮小部１７２４に入力された画像の周波数スペクトルを示す説明図である。
【０２５０】
図１７Ａに示す周波数スペクトルは、垂直縮小部１７２４に入力されるフレーム画像の周波数スペクトルである。フレーム画像の垂直周波数成分には、ナイキスト周波数（νｓ’／２）以上の周波数成分を含まれていないものとする。また、フレーム画像の水平周波数成分には、ナイキスト周波数（μｓ／２）以上の周波数成分を含んでいないものとする。
【０２５１】
入力部１０１から出力されるフレーム画像を、垂直方向に１／２倍縮小するため、垂直縮小部１７２４は、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／２倍ダウンサンプリングを行う。
【０２５２】
図１７Ｂは、本発明の第３の実施形態の垂直縮小部１７２４の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０２５３】
図１７Ｂに示す周波数スペクトルは、垂直縮小部１７２４の補間ローパスフィルタ部２０４の出力を示す。補間ローパスフィルタ部２０４は、図１７Ａに示す水平方向の周波数スペクトルのうちν＝０と、ν＝０からνｓ’の整数倍離れた周波数（垂直方向のサンプリング周波数１８００）との各々の近傍の周波数を残し、その他の周波数の成分を削除する。
【０２５４】
図１７Ｂにおけるカットオフ周波数は、νｓ’／２である。垂直縮小部１７２４の補間ローパスフィルタ部２０４のカットオフ周波数は、図１７Ｃに示すダウンサンプリング部２０５による出力の周波数スペクトルにおいて、垂直方向の折返し成分１８３０が生じるような値に、管理者等によってあらかじめ定められる。
【０２５５】
図１７Ｃは、本発明の第３の実施形態の垂直縮小部１７２４のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０２５６】
図１７Ｃに示す周波数スペクトルは、ｎｖ＝２の条件における、垂直縮小部１７２４のダウンサンプリング部２０５の出力を示す。図１７Ｃのとおり、ダウンサンプリング部２０５によって、垂直方向のサンプリング周波数は、νｓ（＝νｓ’／２）毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が配置される。この結果、フレーム画像は垂直方向に縮小される。
【０２５７】
図１７Ｃのとおり、垂直縮小部１７２４の補間ローパスフィルタ部２０４が、カットオフ周波数をνｓ／２以上にすることによって、垂直方向の折返し成分１８３０が生じる。
【０２５８】
水平縮小部１７２５は、垂直縮小部１７２４における処理によって発生した折返し成分１８３０に重なりが生じず、かつ、水平方向に折返し成分が生じるような、カットオフ周波数をあらかじめ保持する。
【０２５９】
第３の実施形態の水平縮小部１７２５は、ｍｈ＝２、ｎｈ＝３を条件として、図１７Ｃに示す周波数スペクトルの出力を、水平方向に縮小する。具体的には、第１の実施形態の水平縮小部１０２による処理と同じであり、出力の周波数スペクトルは、図６Ａ〜図６Ｄに示す周波数スペクトルと同じである。また、画像縮小部１６０２によって出力される画像の周波数スペクトルは、図６Ｄの周波数スペクトルと同じである。
【０２６０】
画像縮小部１６０２の処理によって、フレーム画像は、垂直方向及び水平方向に縮小された画像になる。
【０２６１】
図１８は、本発明の第３の実施形態の画像拡大部１６２３の構成を示すブロック図である。
【０２６２】
図１８に示す画像拡大部１６２３は、超解像部１６２４において複数のフレーム画像間において被写体が動くことによって生じる位相差を用いて、フレーム画像を高解像度化するための機能を保持する。画像拡大部１６２３は、位置推定部２２１、動き補償部２２２、第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７を有する。
【０２６３】
第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７は、それぞれ図２Ａ又は図２Ｂに示す水平縮小部１０２と同じ構成である。
【０２６４】
位置推定部２２１は、フレーム画像＃１の各画素とフレーム画像＃２の各画素とを比較することによって、画素ごとに水平方向のサンプリング位相差θｈと垂直方向のサンプリング位相差θｖとを求める。
【０２６５】
図１９Ａ〜図１９Ｃは、ｍｖ＝１、ｎｖ＝２の条件において、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７がフレーム画像の垂直方向の画素数を減らす処理における、各処理部の出力の周波数スペクトルを示す。図１９Ａ〜図１９Ｃにおいて、第１の垂直拡大部１９２５及び第２の垂直拡大部１９２７は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０２６６】
図１９Ａ〜図１９Ｃに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置（周波数）２０００を示す。また、水平方向のサンプリング周波数はμｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ’（＝２νｓ）毎の周波数である。
【０２６７】
図１９Ａは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７に入力されるフレーム画像の周波数スペクトルを示す説明図である。
【０２６８】
図１９Ａに示す周波数スペクトルは、第１の水平拡大部１９２４から第１の垂直拡大部１９２５へ、又は、第２の水平拡大部１９２６から第２の垂直拡大部１９２７へ、入力されるフレーム画像の周波数スペクトルである。
【０２６９】
すなわち、図１９Ａに示す周波数スペクトルは、水平拡大部１９２４又は水平拡大部１９２６によって第１の実施形態の水平拡大部１２３と同じ処理が行われた結果、出力されたフレーム画像の周波数スペクトルである。このため、図１９Ａは、図７Ｄに相当する。
【０２７０】
第１の水平拡大部１９２４から入力されたフレーム画像を、垂直方向に２倍に拡大するため、第１の垂直拡大部１９２５は、アップサンプリング部２０３による２倍アップサンプリング、及び、補間ローパスフィルタ部２０４によるフィルタリングを行う。また、第２の水平拡大部１９２６から入力されたフレーム画像を、垂直方向に２倍に拡大するため、第２の垂直拡大部１９２７は、アップサンプリング部２０３による２倍アップサンプリング、及び、補間ローパスフィルタ部２０４によるフィルタリングを行う。
【０２７１】
図１９Ｂは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０２７２】
図１９Ｂに示す周波数スペクトルは、ｍｖ＝２の条件における、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７のアップサンプリング部２０３の出力を示す。図１９Ａ及び図１９Ｂに示すとおり、図１９Ａにおいてνｓであった垂直方向のサンプリング周波数の間隔が、図１９Ｂにおいて２νｓに広がる。
【０２７３】
図１９Ｃは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０２７４】
図１９Ｃに示す周波数スペクトルは、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４の出力を示す。第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４は、図１９Ｂに示す周波数スペクトルのうち、垂直方向のサンプリング周波数（図１９Ｃにおいて、ν＝０、ν＝２νｓ等）の近傍の周波数帯域（通過帯域２０３０）だけを残し、その他の周波数の成分を削除する。
【０２７５】
管理者等は、ダウンサンプリング部２０５の出力の周波数スペクトルにおいて、垂直方向に新たな折返し成分が生じないような値に、補間ローパスフィルタ部２０４のカットオフ周波数をあらかじめ定める。図１９Ｂにおけるカットオフ周波数は、νｓ／２とνｓとの間に定められる。
【０２７６】
図２０は、本発明の第３の実施形態の超解像部１６２４の構成を示すブロック図である。
【０２７７】
第３の実施形態の超解像部１６２４に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。第３の実施形態における超解像部１６２４は、第１の実施形態の超解像部１２４と同じく、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【０２７８】
超解像部１６２４は、水平超解像部２１０１、垂直超解像部２１０２、及び、混合部２１０３を有する。
【０２７９】
水平超解像部２１０１は、水平方向のサンプリング位相差θｈを用いて、フレーム画像を水平方向に高解像度化する。垂直超解像部２１０２は、垂直方向のサンプリング位相差θｖを用いて垂直方向に高解像度化する。サンプリング位相差θｈを用いる水平超解像部２１０１、及び、サンプリング位相差θｖを用いる垂直超解像部２１０２には、例えば、特許文献２に記載された水平超解像部及び垂直超解像部が用いられてもよい。
【０２８０】
混合部２１０３は、水平超解像部２１０１及び垂直超解像部２１０２から出力されたフレーム画像を混合する。
【０２８１】
第３の実施形態によれば、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を混合することによって、プログレッシブ走査による画像を水平方向及び垂直方向共に高解像度化することができる。
【０２８２】
水平超解像部２１０１及び垂直超解像部２１０２は、図３に示す超解像部１２４と同じ構成を各々有する。このとき、水平超解像部２１０１の混合部３０３は、角度３０４の値が小さい場合、係数αを１に定め、角度３０４の値が大きい場合、係数αを０に定める。これによって、水平方向の折返し成分を適切に除去できる。
【０２８３】
また、垂直超解像部２１０２の混合部３０３は、角度３０４の値が小さい場合、係数αを０に定め、角度３０４の値が大きい場合、係数αを１に定める。これによって、被写体に垂直方向の動きがある場合、垂直方向の折返し成分を適切に除去できる。
【０２８４】
また、超解像部１６２４には、第１の実施形態の超解像部１２４を用いてもよい。この場合、超解像部１６２４は、図２０に示す構成と比較して高解像度化効果は小さいが、少ない回路規模によって高解像度化を実現できる。
【０２８５】
第３の実施形態の画像転送システムは、前述のとおり、画像送信装置１２００がプログレッシブ走査による画像を縮小し、縮小された画像を圧縮及び符号化することによって、画像符号化データを生成する。そして、伝送路１１０を介して画像受信装置１２２０に生成された画像符号化データを送信する。
【０２８６】
画像送信装置１２００は、画像を縮小した後に圧縮するため、画像受信装置１２２０へ送信する画像符号化データ量を低減することができる。このため、伝送路１１０の通信帯域に限りがあっても、より情報量の多い映像信号を送信することが可能となる。
【０２８７】
また、画像受信装置１２２０は、圧縮及び符号化された画像符号化データを受信し、復号することによって取得したフレーム画像を拡大する。そして、拡大されたフレーム画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って折返し成分除去の程度を調整する。さらに、フレーム画像を拡大する際、新たな折返し成分が生じないようにすることによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２８８】
なお、第３の実施形態において、第２の実施形態の画像転送システムのように、フレーム画像を縮小する際の変換率（１／ｎ）及びカットオフ周波数を、画像受信装置１２２０に送信し、画像受信装置１２２０の第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７は、送信された変換率（１／ｎ）及びカットオフ周波数に基づいて、フレーム画像を拡大してもよい。
【０２８９】
また、伝送路１１０に蓄積装置を用い、画像送信装置１２００と画像受信装置１２２０とを、一つの装置によって実装することによって、画像蓄積装置として構成してもよい。
【０２９０】
（第４の実施形態）
第４の実施形態の画像撮像装置２２００は、第１の実施形態、第２の実施形態又は第３の実施形態の画像転送システムにおける高解像度画像を生成するための機能を実装された撮像装置である。これによって、画像撮像装置２２００は、高解像度画像を撮像できる。
【０２９１】
以下において、前述の第１の実施形態の画像転送システム、第２の実施形態の画像転送システム、及び、第３の実施形態の画像転送システムと同じ機能を果たす処理部には、同じ符号を付し、重複する説明を省略する。
【０２９２】
図２１は、本発明の第４の実施形態の画像撮像装置２２００の構成を示すブロック図である。
【０２９３】
画像撮像装置２２００は、レンズ２２０１、光学ローパスフィルタ部２２０２、撮像素子２２０３、画像拡大部１６２３、超解像部１６２４、及び、送信部１２６を有する。
【０２９４】
レンズ２２０１は、入射光を撮像素子２２０３に取得するための集光機能を有する。
【０２９５】
光学ローパスフィルタ部２２０２は、水平方向と垂直方向とについて、ある周波数範囲を通過させるフィルタ機能を有する。光学ローパスフィルタ部２２０２は、一般的に、３枚の水晶を用いるフィルタが知られている。以下に、光学ローパスフィルタ部２２０２の周波数特性について説明する。
【０２９６】
光学ローパスフィルタ部２２０２の垂直方向の周波数特性は、撮像素子２２０３の垂直方向のピッチから取得される垂直方向のサンプリング周波数の１／２以上の周波数成分を通過するようにする。また、水平方向の周波数特性を、撮像素子２２０３の水平方向のピッチから取得される水平方向のサンプリング周波数の１／２以上であり、垂直方向において発生する折返し成分に重ならないような周波数以上の成分を通過するようにする。
【０２９７】
具体的には、図７Ｄに示す水平方向の折返し成分と垂直方向の折返し成分とが重ならない周波数スペクトルが取得できるような光学ローパスフィルタを用いる。このため、光学ローパスフィルタ部２２０２は、本発明において、どのような構造によって実装されてもよい。
【０２９８】
撮像素子２２０３は、２次元ＣＣＤ入力部イメージセンサ、又は、２次元ＣＭＯＳイメージセンサなどの一般的な撮像素子である。
【０２９９】
さらに、第４の実施形態の画像撮像装置と、第１の実施形態の画像受信装置１２０とを用いてもよい。すなわち、光学ローパスフィルタ部２２０２は、水平方向と垂直方向とにおいてお互いの折返し成分が重ならないように折返し成分を発生させる。そして、第１の実施形態の画像受信装置１２０が圧縮及び符号化された画像符号化データを受信し、受信したデータを復号する。これによって、取得されたフィールド画像を水平方向に拡大する。これによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０３００】
また、超解像部１６２４は、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って、第１の実施形態と同じく、折返し成分除去の程度を変化させる。これによって、第４の実施形態の画像撮像装置２２００は、画質劣化のより少ない高解像度なフィールド画像を生成することができる。
【０３０１】
また、第４の実施形態の画像拡大部１６２３、及び、超解像部１６２４の代わりに、水平拡大部１２３、及び、超解像部１２４が用いられてもよい。そして、光学ローパスフィルタ部２２０２が、撮像素子２２０３の水平方向のピッチから得られる水平方向のサンプリング周波数の１／２以上の成分を通過させ、撮像素子２２０３の垂直方向のピッチから得られる垂直方向のサンプリング周波数の１／２以下の成分を通過させる。これによって、水平方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド列を撮像可能となる。
【０３０２】
また、前述の水平拡大部１２３を、π／２回転させることによって、フィールド画像を垂直方向に拡大させ、光学ローパスフィルタ部２２０２の垂直方向の周波数特性については、撮像素子２２０３の垂直方向のピッチから得られる垂直方向のサンプリング周波数の１／２以上の成分を通過させ、水平方向の周波数特性については撮像素子２２０３の水平方向のピッチから得られる水平方向のサンプリング周波数の１／２以下の成分を通過させるフィルタとする構成としてもよい。これによって、垂直方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド画像を撮像可能となる。
【０３０３】
本実施形態の画像転送システムによれば、画像送信装置において画像を縮小するため、画像を高い圧縮率によって符号化し、画像受信装置に送信することができる。
【０３０４】
また、画像に表示される直線又はエッジの角度３０４に従って、折返し成分を除去する量を変化させることによって、インタレース走査又はプログレッシブ走査によって画像を縮小及び拡大した画像から、画質劣化の少ない高解像度画像を生成できる。
【符号の説明】
【０３０５】
１００ 画像送信装置
１０１ 入力部
１０２ 水平縮小部
１０３ 符号化部
１０４ 送信部
１１０ 伝送路
１２０ 画像受信装置
１２１ 受信部
１２２ 復号化部
１２３ 水平拡大部
１２４ 超解像部
１２５ 表示部
１２６ 送信部
１３０ 伝送路
３０１ 折返し成分除去部
３０２ 直線角度算出部
３０３ 混合部
４０１ 係数算出部
４０２ 乗算器
４０３ 乗算器
４０４ 加算器
８０１ 折返し成分除去部
９０１ 位相シフト部
９１０ 係数決定部
９１１ 乗算器
９１２ 乗算器
９１３ 乗算器
９１４ 乗算器
９１５ 加算器
【技術分野】
【０００１】
本発明は、画像転送システムに関し、特に、画像を符号化し送信するための画像転送システムに関する。
【背景技術】
【０００２】
近年、動画像の高品質化に伴ってデータ量が急激に増大しており、データ量を削減するための圧縮技術が提案されている。具体的には、画像の空間方向に間引き処理し、復元する技術が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年のデジタルカメラ、デジタルビデオ、及び、テレビ受像機等において、映像及び画像は高精細化される要求が強く、このため、様々な高解像度化技術が提案されている。具体的には、インタレース走査の画像から高解像度化しながら画素数を増やす技術によって、インタレース走査の複数のフィールド画像を合成して１枚の画像フレームとするインタレース・プログレッシブ走査変換（Ｉ−Ｐ変換）が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４８３２０号公報
【特許文献２】特開２００９−０１７２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現在、テレビジョン放送信号には、インタレース走査の画像を用いられるのが主流である。このようなインタレース走査の画像に、特許文献１に記載される画像の空間方向の間引き後の復元技術と特許文献２に記載される高解像度化技術とが適用されるシステムにおいて、インタレース走査のフィールド画像を、単純に画素数を間引いて画像サイズを縮小した場合、画像の周波数スペクトルには、垂直方向及び水平方向の各方向に折返し成分が生じる。
【０００６】
そして、フィールド画像には、インタレース走査に伴って垂直方向に折返し成分も生じる。このインタレース走査に伴う垂直方向の折返し成分の多くは、画像が表示される際に、元に戻る。元に戻るとは、折返し成分による表示と原成分による表示とが同一になり、人がノイズとして認識できないことである。
【０００７】
ここで、折返し成分について図２２Ａを用いて説明する。
【０００８】
図２２Ａは、従来技術の画像の周波数スペクトルを示す説明図である。
【０００９】
図２２Ａは、ある１次元信号の周波数スペクトルを示し、周波数軸、実軸、及び、虚軸の３軸によって周波数スペクトルを示す。また、１次元信号のサンプリング周波数をｆｓとする。原成分１１０１が周波数ｆｓの間隔によって繰り返されるサンプリング定理の原理に基づき、原点から周波数ｆｓの位置に折返し成分１１０５が生じる。折返し成分１１０５と原成分１１０１との和が、１次元信号の周波数スペクトルである。原成分１１０１と折返し成分１１０５との重なりがある部分は折返し歪みと呼ばれ、折返し歪みが発生するとノイズなどの画質劣化が生じる。
【００１０】
特許文献２に示される方法は、被写体が動いている方向の折返し成分を除去することによって、画像の高解像度化が可能であるという特徴を持つ。従って、被写体が画像の垂直方向に動いている場合、インタレース走査に伴って生じる垂直方向の折返し成分は除去される。しかし、インタレース走査に伴って生じる垂直方向の折返し成分は多くが元に戻る成分である。このため、その垂直方向の折返し成分が除去されることによって、かえってノイズなどの画質劣化が生じるという問題があった。
【００１１】
また、画像の縮小によって生じた折返し歪みとインタレース走査に伴って生じた垂直方向の折返し歪みとに重なりが生じている場合、特許文献２に示される方法ではどちらの折返し歪みも適切に除去されず、その結果ノイズなどの画質劣化が現れてしまうという問題があった。
【００１２】
本発明は、上記従来技術の課題に鑑みて為されたものであって、その目的は、インタレース走査によって画像を縮小した後、縮小した画像から画質劣化の少ない高解像度画像を生成する技術を提供することにある。
【００１３】
さらに、プログレッシブ走査を用いて画像を送信する場合も、サンプリング定理が用いられるため、表示される画像に折返し歪みが発生する。このため、本発明は、プログレッシブ走査が用いられるシステムにおいても、折返し歪みを適切に除去し、高解像度画像を生成することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の代表的な一例を示せば以下のとおりである。すなわち、画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、前記画像送信部は、前記画像を縮小し、前記縮小された画像を、前記画像受信部に送信し、前記画像受信部は、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、前記画像送信部から送信された画像を拡大し、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する。
【発明の効果】
【００１５】
本発明の一実施形態によると、高い圧縮率によって符号化された画像を転送し、かつ、転送された画像を好適に高解像度化することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の画像転送システムを示すブロック図である。
【図２Ａ】本発明の第１の実施形態のポリフェーズ型の水平縮小部を示すブロック図である。
【図２Ｂ】本発明の第１の実施形態のオーバサンプリング型の水平縮小部を示すブロック図である。
【図２Ｃ】本発明の第１の実施形態の水平拡大部を示すブロック図である。
【図３】本発明の第１の実施形態の超解像部の第１の構成例を示すブロック図である。
【図４】本発明の第１の実施形態の混合部を示すブロック図である。
【図５Ａ】本発明の第１の実施形態の角度を示す説明図である。
【図５Ｂ】本発明の第１の実施形態の空間周波数スペクトルを示す説明図である。
【図５Ｃ】本発明の第１の実施形態の角度と係数αとの対応を示す説明図である。
【図６Ａ】本発明の第１の実施形態の水平縮小部に入力される画像の周波数スペクトルを示す説明図である。
【図６Ｂ】本発明の第１の実施形態の水平縮小部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図６Ｃ】本発明の第１の実施形態の水平縮小部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図６Ｄ】本発明の第１の実施形態の水平縮小部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図７Ａ】本発明の第１の実施形態の水平拡大部に入力される画像の周波数スペクトルを示す説明図である。
【図７Ｂ】本発明の第１の実施形態の水平拡大部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図７Ｃ】本発明の第１の実施形態の水平拡大部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図７Ｄ】本発明の第１の実施形態の水平拡大部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図８】本発明の第１の実施形態の超解像部の第２の構成例を示すブロック図である。
【図９】本発明の第１の実施形態の位相シフト部と折返し成分除去部との構成を示すブロック図である。
【図１０】本発明の第１の実施形態の係数決定部による係数生成方法を示す説明図である。
【図１１】本発明の第２の実施形態の画像転送システムの構成を示すブロック図である。
【図１２】本発明の第２の実施形態の水平拡大部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態の超解像部の構成を示すブロック図である。
【図１４】本発明の第２の実施形態の混合部の構成を示すブロック図である。
【図１５】本発明の第３の実施形態の画像転送システムの構成を示すブロック図である。
【図１６】本発明の第３の実施形態の画像縮小部の構成を示すブロック図である。
【図１７Ａ】本発明の第３の実施形態の垂直縮小部に入力された画像の周波数スペクトルを示す説明図である。
【図１７Ｂ】本発明の第３の実施形態の垂直縮小部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図１７Ｃ】本発明の第３の実施形態の垂直縮小部のダウンサンプリング部の出力の周波数スペクトルを示す説明図である。
【図１８】本発明の第３の実施形態の画像拡大部の構成を示すブロック図である。
【図１９Ａ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部に入力されるフレーム画像の周波数スペクトルを示す説明図である。
【図１９Ｂ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部のアップサンプリング部による出力の周波数スペクトルを示す説明図である。
【図１９Ｃ】本発明の第３の実施形態の第１の垂直拡大部又は第２の垂直拡大部の補間ローパスフィルタ部による出力の周波数スペクトルを示す説明図である。
【図２０】本発明の第３の実施形態の超解像部の構成を示すブロック図である。
【図２１】本発明の第４の実施形態の画像撮像装置の構成を示すブロック図である。
【図２２Ａ】従来技術の画像の周波数スペクトルを示す説明図である。
【図２２Ｂ】従来技術の画像に含まれる原成分を示す説明図である。
【図２２Ｃ】従来技術の画像に含まれる折返し成分を示す説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を、図面を用いて説明する。なお、各図面において、同じ符号が付されている構成要素は同じ機能を有する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態の画像転送システムを示すブロック図である。
【００１９】
画像転送システムは、画像送信装置１００、伝送路１１０、画像受信装置１２０、及び、伝送路１３０を備える。画像送信装置１００は、伝送路１１０を介して、画像受信装置１２０に接続される。
【００２０】
画像送信装置１００は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４を有する。
【００２１】
画像送信装置１００は、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、画像送信装置１００は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【００２２】
また、画像送信装置１００は、管理者等によって、画像送信装置１００において用いられるパラメータを入力するための入力装置を備えてもよい。
【００２３】
入力部１０１には、例えば、テレビジョン放送信号などの動画像のフィールド画像が入力される。また、入力部１０１に、符号化された符号化ストリームが入力された場合、入力部１０１は、入力された符号化ストリームを復号し、復号されたストリームの中から、動画像のフィールド画像を抽出する。
【００２４】
水平縮小部１０２は、入力部１０１から送信されるフィールド画像の水平方向の画素数を減らすための機能である。すなわち、水平縮小部１０２は、フィールド画像を水平方向に縮小する。水平縮小部１０２の詳細を、図２Ａ及び図２Ｂに後述する。
【００２５】
符号化部１０３は、水平縮小部１０２によって水平方向に縮小されたフィールド画像を符号化する機能である。送信部１０４は、符号化部１０３によって符号化されたフィールド画像を、伝送路１１０を介して画像受信装置１２０に送信する機能である。画像送信装置１００が放送局の送信装置である場合、送信部１０４は、画像符号化データを、電波等によって送信する。
【００２６】
伝送路１１０は、符号化された画像を含む画像符号化データを送信するための伝送路である。また、伝送路１１０は、通信のための伝送路だけでなく、放送、又は、蓄積のための伝送路であってもよい。
【００２７】
画像受信装置１２０は、受信部１２１、復号化部１２２、水平拡大部１２３、超解像部１２４、表示部１２５、及び、送信部１２６を有する。
【００２８】
画像受信装置１２０は、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２、水平拡大部１２３、超解像部１２４、表示部１２５、及び、送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１２０は、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【００２９】
また、画像受信装置１２０は、管理者等によって、画像受信装置１２０において用いられるパラメータを入力するための入力装置を備えてもよい。
【００３０】
受信部１２１は、画像送信装置１００から送信されたフィールド画像を受信するための機能である。画像受信装置１２０が放送受信装置などである場合、電波等によって送信された画像符号化データを受信する。
【００３１】
復号化部１２２は、画像送信装置１００の符号化部１０３によって符号化されたフィールド画像を復号化するための機能である。復号化部１２２は、受信部１２１によって受信された画像符号化データを復号し、フィールド画像を生成する。
【００３２】
水平拡大部１２３は、水平縮小部１０２によって水平方向に縮小されたフィールド画像の水平方向の画素数を増やすための機能である。すなわち、水平拡大部１２３は、フィールド画像を水平方向に拡大する。水平拡大部１２３の詳細を、図２Ｃに後述する。
【００３３】
超解像部１２４は、水平拡大部１２３から受信したフィールド画像の解像度をあげるための機能である。超解像部１２４の詳細を、図３又は図８に後述する。
【００３４】
表示部１２５は、フィールド画像を画像として表示するための機能である。表示部１２５は、水平拡大部１２３及び超解像部１２４によって高解像度化されたフィールド画像を表示する。表示部１２５には、例えば、プラズマディスプレイパネル、液晶表示パネル、又は、電子若しくは電解放出型ディスプレイパネルが用いられる。
【００３５】
送信部１２６は、水平拡大部１２３及び超解像部１２４によって高解像度化されたフィールド画像を伝送路１３０を介して送信するための機能である。送信部１２６は、フィールド画像を、伝送路１３０を介して他の機器等に送信する。
【００３６】
図２Ａ及び図２Ｂは、本発明の第１の実施形態の水平縮小部１０２を示すブロック図である。
【００３７】
水平縮小部１０２は、画素数（すなわち、サンプル数）を変換する画素変換機能を有する。水平縮小部１０２は、一般的に、ポリフェーズ型、又は、オーバサンプリング型によって実装される。
【００３８】
図２Ａは、本発明の第１の実施形態のポリフェーズ型の水平縮小部１０２を示すブロック図である。
【００３９】
図２Ａに示すポリフェーズ型の水平縮小部１０２は、複数の補間ローパスフィルタ部２０１と、切替部２０２とを有する。
【００４０】
水平方向の画素数を変換率ｍ／ｎ倍（ただし、ｍ、ｎはともに整数）によって変換する場合、図２Ａに示す水平縮小部１０２は、所定の周波数特性を持った補間ローパスフィルタ部２０１をｍ個有する。そして、切替部２０２は、補間ローパスフィルタ部２０１の出力を、整数ｍと整数ｎとによって定められた順番に従って出力されるように、切り替わる。
【００４１】
図２Ｂは、本発明の第１の実施形態のオーバサンプリング型の水平縮小部１０２を示すブロック図である。
【００４２】
図２Ｂに示すオーバサンプリング型の水平縮小部１０２は、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。水平方向の画素数を変換率ｍ／ｎ倍によって変換する場合、アップサンプリング部２０３は、まず、フィールド画像に含まれるサンプル数を、ｍ倍にアップサンプリングする。
【００４３】
具体的には、アップサンプリング部２０３は、フィールド画像の整数ｍ個の画素ごとの入力データを、順番に水平方向に配置する。そして、その間の（ｍ−１）個の画素に”０”を挿入する。
【００４４】
その後、補間ローパスフィルタ部２０４は、アップサンプリング部２０３から送信されたデータに、所定の周波数特性によってフィルタリングする。さらに、ダウンサンプリング部２０５は、補間ローパスフィルタ部２０４から送信された入力データを、１／ｎ倍にダウンサンプリングする。すなわち、整数ｎ個の画素ごとに１画素を等間隔に選択して間引きした後、間引きされた入力データを出力する。
【００４５】
図２Ｂに示す水平縮小部１０２の機能は、一般的に用いられる方法によって実装されてよい。第１の実施形態の補間ローパスフィルタ部２０４は、カットオフ周波数の値を保持する。また、第１の実施形態のアップサンプリング部２０３は、アップサンプリングに用いる整数ｍを保持し、ダウンサンプリング部２０５は、ダウンサンプリングに用いる整数ｎを保持する。
【００４６】
補間ローパスフィルタ部２０４は、サンプリング周波数からカットオフ周波数分離れた周波数帯域（通過帯域）以外の周波数帯域の成分を削除する。本実施形態の水平縮小部１０２が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。
【００４７】
画像送信装置１００の符号化部１０３は、水平縮小部１０２によって縮小された画像を圧縮し、そして、圧縮された画像を符号化する。符号化部１０３には、映像信号を圧縮する映像符号化方法であれば、いずれの映像符号化方法が用いられてもよい。例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、又は、Ｈ．２６４／ＡＶＣなどの映像符号化方法が用いられてもよい。また、伝送路１１０が十分な通信帯域を保持している場合、又は、遅延を可能な限り小さくする場合、符号化部１０３は、画像を符号化しなくてもよい。
【００４８】
本発明の実施形態によれば、水平縮小部１０２によって水平方向に縮小されたフィールド画像を圧縮するため、水平縮小部１０２を含まない画像転送システムと比較した場合、圧縮率の向上が期待できる。
【００４９】
図２Ｃは、本発明の第１の実施形態の水平拡大部１２３を示すブロック図である。
【００５０】
図２Ｃに示す水平拡大部１２３の構成は一例である。図２Ｃに示す水平拡大部１２３は、複数枚の画像間で被写体が動いたことによって生じる位相差を抽出し、高解像度化するための機能を有する。
【００５１】
水平拡大部１２３は、位置推定部２２１、動き補償部２２２、水平拡大部２２３、及び、水平拡大部２２４を有する。図２Ｃに示す水平拡大部１２３は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を入力され、二つのフィールド画像間を動き補償し、二つのフィールド画像を出力する。
【００５２】
なお、二つのフィールド画像は、受信部１２１が連続して受信する画像符号化データから取得された画像である。なお、フィールド画像＃２は、フィールド画像＃１よりも早い時間に受信したフィールド画像でもよく、フィールド画像＃２よりも遅い時間に受信したフィールド画像でもよい。
【００５３】
また、水平拡大部１２３は、バッファ等に接続され、フィールド画像＃１又はフィールド画像＃２のうちいずれか早く受信したフィールド画像を、水平拡大部１２３に接続されるバッファに蓄える。そして、遅く受信したフィールド画像とともに、早く受信したフィールド画像を処理する。
【００５４】
第１の実施形態において、水平拡大部１２３及び超解像部１２４は、フィールド画像＃１を高解像度化する。
【００５５】
位置推定部２２１は、まず、復号化部１２２によって復号された画像（フィールド画像＃１及びフィールド画像＃２）に含まれる画素の標本化位置を各々取得する。そして、フィールド画像＃１の画素とフィールド画像＃２の画素との標本化位置を比較することによって、フィールド画像＃１の画素の、フィールド画像＃２の画素に対応する位置を推定する。そして、推定された位置に基づいて、画素ごとのサンプリング位相差θを求める。
【００５６】
次に、動き補償部２２２は、位置推定部２２１によって求められたサンプリング位相差θを用いて、位置ずれが無くなるようにフィールド画像＃２の画像を動き補償する。
【００５７】
そして、水平拡大部２２４は、高解像度化する対象の画像（フィールド画像＃１）の水平方向の画素数を増やす。また、水平拡大部２２３は、他の画像（フィールド画像＃２）の水平方向の画素数を増やす。
【００５８】
位置推定部２２１には、参考文献１又は参考文献２に記載された方法が用いられる。
【００５９】
［参考文献１］Shigeru ANDO "A Velocity Vector Field Measurement System Based on Spatio-Temporal Image Derivative", Papers of Measurement Automatic Control Academic Society, pp.1330-1336, Vol.22, No. 12,1986
［参考文献２］Hiroyuki KOBAYASHI et al. "Calculation Method of a Phase-Only Correlation Function for Images Based on Discrete Cosine Transform", IEICE Technical Report ITS2005-92, IE2005-299(2006-02), pp.73-78
水平拡大部２２４及び水平拡大部２２３は、水平方向の画素数を増やすため、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じ機能を有する。第１の実施形態の水平縮小部１０２において、変換率の整数ｍと整数ｎとは、ｍ＜ｎに定められるが、第１の実施形態の水平拡大部２２４及び水平拡大部２２３において、変換率の整数ｍと整数ｎとは、ｍ＞ｎに定められる。
【００６０】
第１の実施形態の水平拡大部２２４及び水平拡大部２２３が用いるカットオフ周波数及び変換率は、あらかじめ管理者等によって定められる。管理者等は、水平拡大部２２４及び水平拡大部２２３による処理の後、フィールド画像の水平方向の各折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【００６１】
水平拡大部２２４及び水平拡大部２２３が図２Ａに示す水平縮小部１０２と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、補間ローパスフィルタ部２０１のｍ個の値を定める。また、水平拡大部２２４及び水平拡大部２２３が図２Ｂに示す水平縮小部１０２と同じ機能を有する場合、管理者等は、水平方向の画素数が増えるように、アップサンプリング部２０３が用いる整数ｍ及びダウンサンプリング部２０５が用いる整数ｎの値を定める。
【００６２】
なお、超解像部１２４が一つのフィールド画像＃１だけを高解像度化する場合、水平拡大部１２３は、位置推定部２２１、動き補償部２２２、及び、水平拡大部２２３を有する必要はない。すなわち、超解像部１２４が一つのフィールド画像だけを高解像度化する場合、水平拡大部１２３は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じでよい。
【００６３】
超解像部１２４は、水平拡大部１２３から送信される画像の高解像度化処理を行う。第１の実施形態の超解像部１２４は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を水平拡大部１２３から送信されるが、本発明の超解像部１２４は、一つの画像を送信されてもよい。
【００６４】
また、超解像部１２４に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。本実施形態における超解像部１２４は、前述の成分ごとに超解像処理（すなわち、折返し成分の除去処理）を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【００６５】
具体的には、超解像部１２４が輝度成分又は色差成分によって、折返し成分を除去するか否かを判定する場合、超解像部１２４は、フィールド画像に含まれる画素ごとに、輝度成分又は色差成分を判定する機能を保持してもよい。また、超解像部１２４は、画像送信装置１００に備わるメモリ等に格納されたパラメータに従って、いずれの輝度成分又は色差成分の画素の折返し成分を除去するかを判定する機能を保持してもよい。
【００６６】
第１の実施形態の超解像部１２４は、以下の図３又は図８の機能を有する。
【００６７】
図３は、本発明の第１の実施形態の超解像部１２４の第１の構成例を示すブロック図である。
【００６８】
超解像部１２４は、折返し成分除去部３０１、直線角度算出部３０２、混合部３０３、及び、位相シフト部３１０を有する。
【００６９】
図３に示す超解像部１２４は、二つのフィールド画像（フィールド画像＃１及びフィールド画像＃２）が入力される。水平拡大部１２３から送信されたフィールド画像＃１及びフィールド画像＃２は、位相シフト部３１０に入力される。また、水平拡大部１２３から送信されたフィールド画像＃１は、直線角度算出部３０２及び混合部３０３に入力される。さらに、水平拡大部１２３から送信されたサンプリング位相差θは、折返し成分除去部３０１に入力される。
【００７０】
位相シフト部３１０は、入力されたフィールド画像の位相を一定量だけシフトしたフィールド画像を生成する。本実施形態において、位相シフト部３１０は、フィールド画像の位相を一定量だけシフトするため、受信した二つのフィールド画像を各々二つに分岐させ、これによって、合計四つのフィールド画像を生成する方法を用いる。
【００７１】
具体的には、本実施形態の位相シフト部３１０は、π／２位相シフト器及び遅延器を有する。π／２位相シフト器は、分岐された一方のフィールド画像の位相をπ／２シフトする。そして、遅延器は、π／２位相シフト器の処理によって生じる遅延分、分岐された他方のフィールド画像も遅延させることによって、分岐された他方のフィールド画像を保障する。
【００７２】
位相シフト部３１０は、π／２位相シフト器によって位相がπ／２ずらされたフィールド画像＃１（フィールド画像＃Ａ）と、π／２位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像＃１（フィールド画像＃Ｂ）と、π／２位相シフト器によって位相をπ／２ずらされたフィールド画像＃２（フィールド画像＃Ｃ）と、π／２位相シフト器によって生じる遅延を遅延器によって補償されたフィールド画像＃２（フィールド画像＃Ｄ）と、を生成する（例えば、特許文献２参照）。
【００７３】
そして、位相シフト部３１０は、生成された四つのフィールド画像＃Ａ〜フィールド画像＃Ｄを、折返し成分除去部３０１に送信する。
【００７４】
折返し成分除去部３０１は、位相シフト部３１０から送信される画像（フィールド画像＃Ａ〜フィールド画像＃Ｄ）と、水平拡大部１２３の位置推定部２２１から送信された画素ごとのサンプリング位相差θと、に基づいて、周波数スペクトルにおける折返し成分を全て除去する。これによって、折返し成分除去部３０１は、フィールド画像＃Ａ〜フィールド画像＃Ｄに基づいて、フィールド画像＃１の原成分だけを抽出する。
【００７５】
第１の構成例の超解像部１２４における折返し成分除去部３０１には、複数のフィールド画像に含まれる被写体の位置の差に基づいて、画像内の動き方向の折返し成分を除去する方法を用いる（例えば、特許文献２参照）。これによって、折返し成分除去部３０１は、フィールド画像＃１の原成分を、混合部３０３に送信する。
【００７６】
直線角度算出部３０２は、水平拡大部１２３から送信されたフィールド画像（フィールド画像＃１）に表示される直線又はエッジの向き（角度３０４）を、フィールド画像＃１の画素ごとに算出する。直線又はエッジの向き（角度３０４）を画素ごとに算出する方法には、例えば、ハフ変換などの従来技術が用いられる。
【００７７】
混合部３０３は、水平拡大部１２３から送信される画像（折返し成分を含む）と折返し成分除去部３０１から送信される画像（折返し成分を含まない）とを、直線角度算出部３０２から送信される角度３０４に従って合成する。具体的には、角度３０４に従って定められた比率によって、フィールド画像＃１及びフィールド画像＃２を画素ごとに合成する。そして、混合部３０３は、一つのフィールド列、すなわち、フィールド画像を出力する。
【００７８】
なお、超解像部１２４は、バッファに接続されてもよい。そして、折返し成分除去部３０１は、受信したサンプリング位相差θに対応する画素の折返し成分を除去するため、受信したフィールド画像又はサンプリング位相差θを一時的にバッファに格納してもよい。また、混合部３０３は、受信した角度３０４に対応する、フィールド画像＃１の画素と折返し成分を除去されたフィールド画像＃１の画素とを、合成するため、バッファに受信した角度３０４、フィールド画像＃１又は折返し成分を除去されたフィールド画像＃１を一時的に格納してもよい。
【００７９】
また、第１の実施形態の超解像部１２４は、二つのフィールド画像を用いることによって、一つのフィールド画像を高解像度化したが、本発明の超解像部１２４は、一つのフィールド画像を用いて、一つのフィールド画像を高解像度化してもよい。一つのフィールド画像を用いる場合、超解像部１２４の位相シフト部３１０は不要であり、折返し成分除去部３０１へのサンプリング位相差θの入力も不要である。
【００８０】
また、第１の構成例の超解像部１２４は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、混合部３０３に、各画素の折返し成分を除去させてもよい。
【００８１】
図４は、本発明の第１の実施形態の混合部３０３を示すブロック図である。
【００８２】
混合部３０３は、係数算出部４０１、乗算器４０２、乗算器４０３、及び、加算器４０４を有する。乗算器４０２は、入力されたフィールド画像＃１の各画素に、各画素に対応する係数α（値域は０〜１）を乗算し、乗算結果を加算器４０４に送信する。また、乗算器４０３は、折返し成分除去部３０１から送信された原成分のみのフィールド画像＃１の各画素に、各画素に対応する係数（１−α）を乗算し、乗算結果を加算器４０４に送信する。
【００８３】
加算器４０４は、乗算器４０２及び乗算器４０３から送信された各画素を加算し、加算された結果を表示部１２５又は送信部１２６に送信する。係数算出部４０１は、係数αと係数（１−α）を、直線角度算出部３０２から送信された角度３０４を用いて生成する。そして、係数算出部４０１は、係数αを乗算器４０２に送信し、係数（１−α）を乗算器４０３に送信する。
【００８４】
乗算器４０２に入力されるフィールド画像＃１には折返し成分が含まれ、乗算器４０３に入力されるフィールド画像＃１は、原成分のみである。このため、係数αの値に従って、折返し成分と原成分とを加算することによって、本実施形態の超解像部１２４は、より高解像度のフィールド画像を取得できる。
【００８５】
以下、係数算出部４０１及び係数αの具体例について図５Ａ〜図５Ｃを用いて説明する。
【００８６】
図５Ａは、本発明の第１の実施形態の角度３０４を示す説明図である。
【００８７】
図５Ａは、斜め線が表示される画像を示し、画像の水平方向をｘ軸によって示し、画像の垂直方向をｙ軸によって示す。角度３０４は、画像の斜め線が水平方向（ｘ軸）と並行である場合、０（ｒａｄ）であり、垂直方向（ｙ軸）と並行である場合、π／２（ｒａｄ）である。水平方向と斜め線との間の角度は、図５Ａに示すｘ軸からの偏差（範囲は０〜π／２）によって示される。
【００８８】
図５Ｂは、本発明の第１の実施形態の空間周波数スペクトルを示す説明図である。
【００８９】
図５Ｂの空間周波数スペクトル（すなわち、周波数スペクトル）は、横軸が水平周波数μであり、縦軸が垂直周波数νである表によって示される。図５Ａに示す画像は、フーリエ変換によって図５Ｂに示す空間周波数スペクトルに変換される。
【００９０】
以下に示す例は、角度３０４が０〜π／２ｒａｄである場合における具体例である。図５Ａの角度３０４の値が小さい程、すなわち、０ｒａｄに近い程、図５Ａの斜め線は、水平周波数μの軸より垂直周波数νの軸が近い領域に含まれる点に変換される。
【００９１】
また、角度３０４の値がπ／２ｒａｄに近い程（垂直方向に並行する程）、空間周波数スペクトル上において、垂直周波数νの軸より水平周波数μの軸が近い側の領域に含まれる点に変換される。
【００９２】
図５Ｂに示す領域（２）は、角度３０４がπ／４ｒａｄに近い場合において、角度３０４が変換される領域である。
【００９３】
すなわち、図５Ａの斜め線がｘ軸と並行になる程（画像において、横線に近い程）、図５Ａの斜め線は、図５Ｂに示す領域（１）に変換される。すなわち、図５Ａの斜め線がｙ軸と並行になる程（画像において、縦線になる程）図５Ａの斜め線は、図５Ｂに示す領域（３）に変換される。
【００９４】
図５Ｃは、本発明の第１の実施形態の角度３０４と係数αとの対応を示す説明図である。
【００９５】
係数αは、係数算出部４０１によって定められる。係数αの値が０．０の場合、加算器４０４による出力には、折返し成分除去部３０１の出力、すなわち、原成分がすべて含まれる。また、係数αの値が１．０に近い値である場合、加算器４０４による出力には、折返し成分除去前の画像（フィールド画像＃１）の割合が増える。すなわち、係数αの値が１．０に近い値である場合、加算器４０４による出力には、折返し成分除去の効果が小さくなり、折返し成分が多く含まれる。
【００９６】
前述のように、画像転送システムは、画像におけるノイズを除去するために、水平方向の折返し成分を除去し、垂直方向の折返し成分を残すことが望ましい。
【００９７】
第１の構成例の超解像部１２４における係数算出部４０１は、角度３０４が小さい値である程、垂直方向の折返し成分が多く含まれるため、係数αを１に近い値に定める。これによって、加算器４０４は、垂直方向の折返し成分を残した画像を出力できる。
【００９８】
また、第１の構成例の超解像部１２４における係数算出部４０１は、角度３０４が大きい値である程、水平方向の折返し成分が多く含まれるため、係数αを０に近い値に定める。これによって、加算器４０４は、水平方向の折返し成分を除去した画像を出力できる。
【００９９】
図５Ｃに示す項目（１）は、角度３０４が０〜３π／１６ｒａｄであり、図５Ｂの領域（１）を示す。また、図５Ｃに示す項目（２）は、角度３０４が３π／１６ｒａｄ〜π／４ｒａｄであり、図５Ｂの領域（２）を示す。また、図５Ｃに示す項目（３）は、角度３０４がπ／４ｒａｄ〜π／２ｒａｄであり、図５Ｂでは領域（３）に該当する。
【０１００】
図５Ｃの項目（１）において、係数αは１であり、項目（２）において係数αは０．５である。また、図５Ｃの項目（３）において、係数αは０である。角度３０４と係数αとの対応は、管理者等によってあらかじめ定められ、係数算出部４０１によって保持される。
【０１０１】
図５Ｃに示す角度３０４と係数αとの対応が、係数算出部４０１によって保持されることによって、図５Ｂの領域（１）に生じた折返し成分は除去されず、図５Ｂの領域（２）に生じた折返し成分は、弱められ、図５Ｂの領域（３）に生じた折返し成分は、除去される。
【０１０２】
次に、図６〜図７において、本発明の画像転送システムの高解像度化処理によって生成される画像を、周波数スペクトルを用いて説明する。
【０１０３】
図６Ａ〜図６Ｄは、ｍ＝２、ｎ＝３の条件において、水平縮小部１０２が画像の水平方向の画素数を減らす（解像度を低くする）処理における、各処理部からの出力の周波数スペクトルを示す。図６Ａ〜図６Ｄにおいて、水平縮小部１０２は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０１０４】
図６Ａ〜図６Ｄに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置（周波数）６００を示す。また、水平方向のサンプリング周波数はμｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ毎の周波数である。
【０１０５】
図６Ａは、本発明の第１の実施形態の水平縮小部１０２に入力される画像の周波数スペクトルを示す説明図である。
【０１０６】
図６Ａに示す周波数スペクトルは、水平縮小部１０２に入力されるフィールド画像を示す。フィールド画像の垂直周波数成分には、インタレース化に伴って垂直方向のナイキスト周波数（νｓ／２）以上の周波数成分が含まれているものと想定する。また、水平周波数成分には、ナイキスト周波数（μｓ／２）以上の周波数成分は含まれていないものと想定する。
【０１０７】
入力部１０１から出力されるフィールド画像を、水平方向に２／３倍縮小するため、水平縮小部１０２は、アップサンプリング部２０３による水平方向への２倍アップサンプリング、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／３倍ダウンサンプリングを行う。
【０１０８】
図６Ｂは、本発明の第１の実施形態の水平縮小部１０２のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０１０９】
図６Ｂに示す周波数スペクトルは、ｍ＝２の条件における、水平縮小部１０２のアップサンプリング部２０３の出力を示す。図６Ｂに示すとおり、アップサンプリング部２０３による処理の結果、図６Ａに示す水平方向のサンプリング位置の間隔がμｓから２μｓに広がる。
【０１１０】
図６Ｃは、本発明の第１の実施形態の水平縮小部１０２の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０１１１】
図６Ｃに示す周波数スペクトルは、水平縮小部１０２の補間ローパスフィルタ部２０４の出力を示す。第１の実施形態の水平縮小部１０２の補間ローパスフィルタ部２０４が保持するカットオフ周波数は、μｓ／３より大きく、２μｓ／３より小さい値である。通過帯域６３０は、補間ローパスフィルタ部２０４がカットオフ周波数を用いることによって残された周波数帯域である。
【０１１２】
水平縮小部１０２の補間ローパスフィルタ部２０４は、図６Ｂに示す水平方向の周波数スペクトルのうちサンプリング周波数（図６Ｃにおいて、μ＝０、μ＝２μｓ等）の近傍の周波数だけを残し、その他の周波数の成分を削除する。図６Ｃにおいて、カットオフ周波数はμｓ／２である。
【０１１３】
補間ローパスフィルタ部２０４のカットオフ周波数は、図６Ｄに示すダウンサンプリング部２０５の出力の周波数スペクトルにおいて、インタレース化に伴う垂直方向の折返し成分６４１と水平方向の折返し成分６４０とに重なりが生じないような値に、あらかじめ管理者等によって定められる。そして定められたカットオフ周波数は、補間ローパスフィルタ部２０４によって保持される。
【０１１４】
図６Ｄは、本発明の第１の実施形態の水平縮小部１０２のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０１１５】
図６Ｄに示す周波数スペクトルは、ｎ＝３の条件における、水平縮小部１０２のダウンサンプリング部２０５の出力を示す。図６Ｄのとおり、ダウンサンプリング部２０５によって、水平方向のサンプリング周波数は、μｓ’（＝２μｓ／３）毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が順に配置される。その結果、補間ローパスフィルタ部２０４によってフィルタリングされた周波数帯域分、フィールド画像の水平方向が縮小される。
【０１１６】
図６Ｄに示す周波数スペクトルの楕円のうち、ν軸上に平行して配置される楕円の重なりが、インタレース化に伴う垂直方向の折返し成分６４１を示す。また、μ軸に平行して配置される楕円の重なりが、水平方向の折返し成分６４０を示す。
【０１１７】
なお、管理者等は、μｓ／３より大きく２μｓ／３より小さい範囲の値であり、かつ、インタレース化に伴う垂直方向の折返し成分６４１と水平方向の折返し成分６４０に重なりが生じないような値に、補間ローパスフィルタ部２０４のカットオフ周波数を定める。これによって、インタレース化に伴う垂直方向の折返し成分６４１と重なりのない水平周波数μｓ／３の近傍で折返し成分６４０が発生する。
【０１１８】
管理者等は、前述のように、水平縮小部１０２による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【０１１９】
図７Ａ〜図７Ｄは、水平拡大部１２３がｍ＝３、ｎ＝２の条件において、水平方向の解像度を増やす（画素数を増やす）際の周波数スペクトルを示す。図７Ａ〜図７Ｄにおいて、水平拡大部１２３は、水平縮小部１０２と同じく、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０１２０】
図７Ａ〜図７Ｄに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は水平方向のサンプリング位置（周波数）７００である。
【０１２１】
図７Ａは、本発明の第１の実施形態の水平拡大部１２３に入力される画像の周波数スペクトルを示す説明図である。
【０１２２】
図７Ａに示す周波数スペクトルは、水平縮小部１０２から送信された画像が、符号化部１０３、送信部１０４、伝送路１１０、受信部１２１、及び、復号化部１２２を介して、水平拡大部１２３に入力される際の、入力される画像の周波数スペクトルを示す。このため、本実施形態において、図７Ａに示す周波数スペクトルと、水平縮小部１０２から送信される図６Ｄに示す周波数スペクトルとは同じである。
【０１２３】
水平拡大部１２３は、画像を水平方向に３／２倍拡大するため、水平方向にアップサンプリング部２０３による３倍アップサンプリング、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／２倍ダウンサンプリングを行う。
【０１２４】
図７Ｂは、本発明の第１の実施形態の水平拡大部１２３のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０１２５】
図７Ｂに示す周波数スペクトルは、ｍ＝３の条件における、水平拡大部１２３のアップサンプリング部２０３の出力を示す。図７Ｂに示すとおり、アップサンプリング部２０３による処理の結果、図７Ａに示す水平方向のサンプリング位置の間隔が２μｓ／３から２μｓに広がる。
【０１２６】
図７Ｃは、本発明の第１の実施形態の水平拡大部１２３の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０１２７】
図７Ｃに示す周波数スペクトルは、水平拡大部１２３の補間ローパスフィルタ部２０４の出力を示す。第１の実施形態の水平拡大部１２３の補間ローパスフィルタ部２０４のカットオフ周波数は、μｓ／２である。また、水平拡大部１２３の補間ローパスフィルタ部２０４は、図７Ｂに示す水平方向の周波数スペクトルのうちサンプリング周波数（図７Ｃにおいて、μ＝０、μ＝２μｓ等）の近傍の周波数（通過帯域７３０）だけを残し、その他の周波数を削除する。
【０１２８】
水平拡大部１２３の補間ローパスフィルタ部２０４のカットオフ周波数も、水平縮小部１０２と同じく、あらかじめ管理者等によって定められ、補間ローパスフィルタ部２０４に保持される。管理者等は、水平拡大部１２３による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定める。
【０１２９】
図７Ｄは、本発明の第１の実施形態の水平拡大部１２３のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０１３０】
図７Ｄに示す周波数スペクトルは、ｎ＝２の条件における、水平拡大部１２３のダウンサンプリング部２０５の出力を示す。図７Ｄのとおり、ダウンサンプリング部２０５によって、水平方向のサンプリング周波数は、μｓ”（＝μｓ）毎の周波数に定められる。この定められたサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が配置される。この結果、フィールド画像の水平方向の画素数が増大する。
【０１３１】
水平縮小部１０２において発生した折返し成分６４０は、図７Ｄに示すとおり、水平周波数μｓ／３の近傍において、折返し成分７４０として残ったままである。また、インタレース化に伴う垂直方向の折返し成分７４１は、折返し成分６４１と同じく生じる。図７Ｄに示す周波数スペクトルは、超解像部１２４に送信される。
【０１３２】
超解像部１２４が、図５Ｃに示す角度３０４と係数αとの対応を用いて出力を生成する。角度３０４の値が０〜３π／１６の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（１）の係数αを用いる場合、水平方向の折返し成分７４０は除去されない。また、図５Ｃに示す領域（１）は、図７Ｄに示すインタレース化に伴って生じた折返し成分７４１を含むため、領域（１）の係数αを用いる場合、インタレース化に伴って生じた折返し成分７４１は除去されない。
【０１３３】
一方、角度３０４の値がπ／４〜π／２の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（３）の係数αを用いる場合、水平方向の折返し成分７４０の多くが除去される。すなわち、図５Ｃに示す領域（３）は、図７Ｄに示す折返し成分７４０を含むことから、折返し成分７４０の多くが除去される。
【０１３４】
さらに、角度３０４の値が３π／１６〜π／４の場合、すなわち、超解像部１２４が、図５Ｃに示す周波数スペクトル上の領域（２）の係数αを用いる場合、水平方向の折返し成分７４０は低減される。
【０１３５】
図７Ｄに示す水平方向の折返し成分７４０だけを除去するためには、角度３０４の値がｔａｎ-1（２／３）より小さい場合、係数αを１に定め、角度３０４の値がｔａｎ-1（２／３）より大きい場合、係数αを０に定める。これによって、超解像部１２４は、図６Ａに示す元の周波数スペクトルを得ることが可能である。
【０１３６】
第１の構成例の超解像部１２４の係数算出部４０１は、図５Ｃのように、係数αと角度３０４とを対応させてあらかじめ保持し、フィールド画像＃１が混合部３０３に送信された場合、角度３０４に対応する係数αを定める。そして、混合部は、定められた係数αと、係数αに対応する画素とを、乗算器４０２及び乗算器４０３に処理させる。なお、係数算出部４０１は、係数αと角度３０４とを管理者等によってあらかじめ与えられていてもよい。
【０１３７】
前述の超解像部１２４の第１の構成例によれば、超解像部１２４は、フィールド画像の角度３０４に従って係数αを定めることによって、水平方向の折返し成分を除去することができる。すなわち、角度３０４に従って、折返し成分を除去する量を変化させることができる。これによって、高解像度の画像を取得することが可能である。
【０１３８】
図８は、本発明の第１の実施形態の超解像部１２４の第２の構成例を示すブロック図である。
【０１３９】
図８に示す超解像部１２４は、図３に示す超解像部１２４と異なる構成を有する。図８に示す超解像部１２４も、複数の画像を処理する。図８に示す超解像部１２４は、直線角度算出部３０２から送信される角度３０４に従って、折返し成分を除去する。以下では、図３に示す超解像部１２４と同じ機能には、同じ符号を付す。また、図３に示す超解像部１２４と同じ機能の説明は、重複するため、省略する。
【０１４０】
図８の超解像部１２４は、折返し成分除去部８０１、直線角度算出部３０２、及び、位相シフト部３１０を有する。
【０１４１】
折返し成分除去部８０１は、水平拡大部１２３から送信されたサンプリング位相差θと、位相シフト部３１０から送信されたフィールド画像と、直線角度算出部３０２から送信された角度３０４とを受信する。そして、折返し成分除去部８０１は、送信された画像の周波数スペクトルにおける水平方向の折返し成分７４０を、サンプリング位相差θ及び角度３０４に基づいて除去し、画像の原成分を抽出する。
【０１４２】
図９は、本発明の第１の実施形態の位相シフト部３１０と折返し成分除去部８０１との構成を示すブロック図である。
【０１４３】
図８に示す第２の構成例の超解像部１２４は、図９に示す位相シフト部３１０と折返し成分除去部８０１とを有する。
【０１４４】
位相シフト部３１０は、図３に示す位相シフト部３１０と同じく、位相シフト器と遅延器とを有する。図９に示す位相シフト部３１０には、画像９００Ａ（フィールド画像＃１）及び画像９００Ｂ（フィールド画像＃２）が入力される。
【０１４５】
図９に示す位相シフト部３１０は、画像９００Ａ及び画像９００Ｂを、位相シフト器によって、位相の異なる二つの画像に各々変換する。この結果、位相シフト部３１０は、画像（９２１、９２２、９２３、及び、９２４）を出力する。なお、位相シフト部３１０に入力される画像は、二つでなくてよく、三つ以上であってもよい。
【０１４６】
折返し成分除去部８０１は、係数決定部９１０、乗算器（９１１、９１２、９１３、及び９１４）、及び、加算器９１５を有する。乗算器９１１には画像９２１が入力され、乗算器９１２には画像９２２が入力され、乗算器９１３には画像９２３が入力され、乗算器９１４には画像９２４が入力される。
【０１４７】
画像９２１は、画像９００Ａが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ／２位相シフト器によって処理される際に生じる遅延を遅延器に補償されたフィールド画像である。画像９２２は、画像９００Ａが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π／２位相シフト器によって位相をπ／２シフトされた画像である。
【０１４８】
また、画像９２３は、画像９００Ｂが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、分岐された他方のフィールド画像がπ／２位相シフト器によって処理される際に生じる遅延を補償されたフィールド画像である。画像９２４は、画像９００Ｂが二つに分岐されたフィールド画像のうちの一つのフィールド画像であり、π／２位相シフト器によって位相をπ／２シフトされたフィールド画像である。
【０１４９】
係数決定部９１０は、サンプリング位相差θと角度３０４とに基づいて生成された係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を算出する。
【０１５０】
折返し成分除去部８０１の乗算器（９１１、９１２、９１３、及び、９１４）は、位相シフト部３１０から出力された画像（９２１、９２２、９２３、及び、９２４）の各画素と、係数決定部９１０によって算出された係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを、各々乗算し、乗算された結果を加算器９１５に送信する。加算器９１５は、乗算器（９１１、９１２、９１３、及び、９１４）から送信された画素を加算し、表示部１２５又は送信部１２６に加算結果を送信する。
【０１５１】
超解像部１２３は、バッファに接続され、画像（９２１、９２２、９２３、及び、９２４）、角度３０４又はサンプリング位相差θをパッファに一時的に格納してもよい。これによって、画像（９２１、９２２、９２３、及び、９２４）に対応する角度３０４及び位相差θによって、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を算出し、その係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）と画像（９２１、９２２、９２３、及び、９２４）とを対応させてもよい。
【０１５２】
係数決定部９１０は、水平拡大部１２３からサンプリング位相差θを受信する。また、直線角度算出部３０２から角度３０４を受信する。
【０１５３】
なお、図９に示す第２の構成例の超解像部１２４は、複数の画像を入力されるが、本発明の超解像部１２４は、一つの画像を入力されてもよい。
【０１５４】
図１０は、本発明の第１の実施形態の係数決定部９１０による係数算出方法を示す説明図である。
【０１５５】
図１０は、第２の構成例の超解像部１２４に含まれる係数決定部９１０が、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める際に用いる方法を示す。
【０１５６】
図２２Ｂ及び図２２Ｃによって、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める方法の概要を示す。
【０１５７】
図２２Ｂは、従来技術の画像に含まれる原成分を示す説明図である。
【０１５８】
図２２Ｂに示す四つのベクトルは、二つの画像（フィールド画像＃１及びフィールド画像＃２）の原成分を示すベクトル（１１０１及び１１０２）、及び、フィールド画像＃１及びフィールド画像＃２の原成分を各々π／２位相シフトした結果を示すベクトル（１１０３及び１１０４）である。
【０１５９】
ベクトル（１１０１〜１１０４）は、原成分を示す。ベクトル（１１０１及び１１０２）は、実軸と並行に記載される。図２２Ｂのベクトル（１１０１〜１１０４）は、図２２Ａに示すベクトル（１１０１〜１１０４）に対応する。
【０１６０】
図２２Ｃは、従来技術の画像に含まれる折返し成分を示す説明図である。
【０１６１】
図２２Ｃに示す四つのベクトルは、二つのフィールド画像を、水平縮小部１０２及び水平拡大部１２３によって処理した後の、各折返し成分の位相を示す。ベクトル１１０５は、フィールド画像＃１の折返し成分であり、ベクトル１１０７は、π／２位相シフト後のフィールド画像＃１の折返し成分である。ベクトル１１０６は、フィールド画像＃２の折返し成分であり、ベクトル１１０８は、π／２位相シフト後のフィールド画像＃２の折返し成分である。
【０１６２】
フィールド画像＃１の折返し成分のベクトル１１０５は、実軸と並行である。フィールド画像＃２の折返し成分のベクトル１１０６は、実軸からサンプリング位相差θ分傾く。
【０１６３】
第１の実施形態の第２の構成例の超解像部１２４は、図２２Ｂに示す四つの成分と与えられた係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを各々乗算し、乗算された結果のベクトル和を取得する。また、図２２Ｃに示す四つの成分と係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）とを各々乗算し、乗算された結果のベクトル和を取得する。
【０１６４】
このため、係数決定部９１０は、図２２Ｂにおいて実軸の成分が１になり、虚軸の成分が０になり、かつ、図２２Ｃにおいて実軸の成分が係数α（値域は０〜１）になり、虚軸の成分が０となるような、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定める。すなわち、係数決定部９１０は、係数αの値を定めることによって、超解像部１２４から出力されるフィールド画像に残る折返し成分の量を調整する。
【０１６５】
前述のとおり、係数（Ｃ０、Ｃ２、Ｃ１、及び、Ｃ３）を定めることによって、第１の実施形態の超解像部１２４は、二つのフィールド画像だけを用いて、折返し成分を完全に除去する高解像度化、又は、折返し成分を若干残した高解像度化を実現可能となる。
【０１６６】
なお、図８の超解像部１２４における係数αは、前述の図３の超解像部１２４における係数αと同じく、角度３０４に従って定められる。すなわち、係数αの値が０．０である場合、折返し成分が完全に除去される。また、係数αの値が０．０に近づく程、折返し成分が低減する。係数αの値が１．０の場合、折返し成分は完全に残る。これは、前述の図３の超解像部１２４における係数αと同じであり、角度３０４と係数αとの関係も図５Ｃに示す対応関係と同じである。
【０１６７】
さらに、図８の超解像部１２４は、フィールド画像＃１及びフィールド画像＃２の原成分及び折返し成分のベクトル和の虚軸の成分を０にするため、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を用いる。
【０１６８】
係数Ｃ０は、位相シフト部３１０の画像９２１（水平拡大後のフィールド列＃１の原成分と折返し成分との和）に対応する係数である。また、係数Ｃ１は、位相シフト部３１０の画像９２２（水平拡大後のフィールド画像＃１の原成分と折返し成分とをそれぞれπ／２位相シフトした結果の和）に対応する係数である。
【０１６９】
また、係数Ｃ２は、位相シフト部９０１の画像９２３（水平拡大後のフィールド画像＃２の原成分と折返し成分との和）に対応する係数である。また、係数Ｃ３は、位相シフト部９０１の画像９２４（水平拡大後のフィールド画像＃２の原成分と折返し成分とをそれぞれπ／２位相シフトした結果の和）に対応する係数である。
【０１７０】
係数決定部９１０は、前述の係数αと係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）とサンプリング位相差θを用い、図１０の（ａ）の条件を満たすような、連立方程式をあらかじめ求める。その結果、係数決定部９１０は、図２２Ｂ及び図２２Ｃに示す各成分の位相関係から、図１０の（ｂ）に示す連立方程式を求める。
【０１７１】
係数決定部９１０は、直線角度算出部３０２から受信した角度３０４に従って係数αを定め、図１０の（ｂ）の連立方程式を算出する。これによって、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を定めることができる。
【０１７２】
例えば、係数α＝０である場合、すなわち、折返し成分を完全に除去する場合、係数決定部９１０は、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を、図１０の（ｃ）のように定める。図１０の（ｄ）は、サンプリング位相差θをπ／８ｒａｄごとに０〜２πｒａｄまで変化させた場合の、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）の値を示す。
【０１７３】
図１０の（ｄ）に示す係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を用いた場合、折返し成分除去部８０１による処理は、もとのフィールド画像＃２の信号を、１／１６画素の精度によって位置推定し、フィールド画像＃１に動き補償する処理に相当する。係数決定部９１０は、サンプリング位相差θの値が０未満、又は、２π以上である場合、ｓｉｎ関数及びｃｏｓ関数の周期性を利用し、位相差θの値に２πの整数倍の値を、加算又は減算することによって、サンプリング位相差θが０〜２πの範囲に収まるように、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を定めればよい。
【０１７４】
前述のとおり、第２の構成例の超解像部１２４も、第１の構成例の超解像部１２４と同じく、角度３０４に従って、折返し成分を除去する量を変化させることができる。
【０１７５】
なお、第２の構成例の超解像部１２４は、いずれの輝度成分又は色差成分を持つ画素の折返し成分を除去するか否かを判定した後、判定された結果に従って、折返し成分除去部８０１に、各画素の折返し成分を除去させてもよい。
【０１７６】
また、前述の第１の実施形態の画像受信装置１２０は、画像ごとに直線又はエッジの角度を求め、画素ごとに係数αを定めた。しかし、本発明の画像受信装置１２０は、フィールド画像中の任意の画素を抽出し、抽出された画素の直線又はエッジの角度３０４を算出してもよい。そして、本発明の画像受信装置１２０は、抽出された画素と抽出された画素の周辺の画素に、算出された角度３０４に従った係数αを定めてもよい。
【０１７７】
前述のとおり、第１の実施形態の画像送信装置１００は、インタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮及び符号化し、伝送路１１０を介して画像受信装置１２０に送信する。画像送信装置１００は、フィールド画像を縮小した後に圧縮するため、送信する画像符号化データの量を低減することができる。このような画像送信装置１００を備える画像転送システムによれば、伝送路１１０の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
【０１７８】
また、第１の実施形態の画像受信装置１２０は、圧縮及び符号化された画像符号化データを受信し、受信した画像復号化データを復号する。そして、復号されたフィールド画像を水平方向に拡大し、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求める。そして、求められた角度３０４に従って折返し成分を除去する量を変化させる。
【０１７９】
第１の実施形態の画像受信装置１２０は、画像において垂直方向に傾いた直線又はエッジについて折返し成分の除去の程度を強くし、水平方向に傾いた直線又はエッジについては折返し成分の除去の程度を弱くする。この結果、画像における水平方向の折返し成分の多くを除去でき、さらに、インタレース化に伴う垂直方向の折返し成分の多くを残すことが可能である。
【０１８０】
このため、第１の実施形態の画像受信装置１２０は、水平方向に縮小及び拡大されたフィールド画像から、高解像度なフィールド画像を生成できる。そして、被写体に垂直方向の動きがある場合においても、垂直方向の折返し成分の多くを残すことができるため、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０１８１】
なお、第１の実施形態の画像転送システムは、伝送路１１０に蓄積装置を用い、画像送信装置１００と画像受信装置１２０とを一体化することによって、画像蓄積装置として実装されてもよい。
【０１８２】
また、第１の実施形態の水平縮小部１０２及び水平拡大部１２３が用いるカットオフ周波数及び変換率は、各処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重ならず、かつ、折返し成分が残るようなカットオフ周波数及び変換率を定めた。しかし、本実施形態の画像転送システムは、水平拡大部１２３による処理の後、フィールド画像の水平方向の折返し成分と垂直方向の折返し成分とが重なる場合も、角度３０４によって水平方向の折返し成分を除去するため、高解像度化の効果が得られる。
【０１８３】
（第２の実施形態）
第２の実施形態の画像送信装置は、第１の実施形態の画像転送システムと異なり、水平縮小部によって用いられた変換率（すなわち、整数ｍ及び整数ｎの比）と、カットオフ周波数とを符号化部において画像符号化データに含める。そして、変換率とカットオフ周波数とを含む画像符号化データを、画像受信装置に送信する。
【０１８４】
第２の実施形態の画像受信装置は、受信した画像符号化データから復号化部によって変換率とカットオフ周波数とを抽出する。そして、抽出された変換率とカットオフ周波数とを用いて、水平拡大部と超解像部とに処理させる。これによって、第２の実施形態の画像転送システムは、周波数スペクトルにおける折返し成分の発生状況をより正確に把握し、ノイズ等の画質劣化の少ない高解像度画像を生成する。
【０１８５】
以下において、前述の第１の実施形態の画像転送システムが有する機能と同じ機能には、同じ符号を付す。また、同じ機能に関する重複する説明を省略する。
【０１８６】
図１１は、本発明の第２の実施形態の画像転送システムの構成を示すブロック図である。
【０１８７】
第２の実施形態の画像転送システムは、画像送信装置１２００、伝送路１１０、画像受信装置１２２０、及び、伝送路１３０を備える。画像送信装置１２００は、図１に示す画像送信装置１００に相当する。画像受信装置１２２０は、図１に示す画像受信装置１２０に相当する。
【０１８８】
画像送信装置１２００は、入力部１０１、水平縮小部１２０２、符号化部１２０３、及び、送信部１０４を有する。
【０１８９】
画像送信装置１２００は、第１の実施形態の画像送信装置１００と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１０１、水平縮小部１２０２、符号化部１２０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、入力部１０１、水平縮小部１０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０１９０】
また、画像送信装置１２００は、管理者等によって、画像送信装置１２００において用いられるパラメータを入力するための入力装置を備えてもよい。
【０１９１】
水平縮小部１２０２は、入力部１０１から送信されるフィールド画像を処理する。具体的には、水平縮小部１２０２は、画像の水平方向の画素数を減らす。第２の実施形態の水平縮小部１２０２は、第１の実施形態の水平縮小部１０２と同じ機能を用いるが、さらに、フィールド画像をフィルタリングする際に用いたカットオフ周波数と、水平方向の画素数の変換率とを出力する。
【０１９２】
なお、第２の実施形態の水平縮小部１２０２は、変換率ｎ／ｍによって、水平方向の画素数を減らす（ｎ、ｍ：整数、ｎ＜ｍ）。すなわち、水平縮小部１２０２が図２Ｂに示すオーバサンプリング型である場合、アップサンプリング部２０３が整数ｎを用いてフィールド画像のサンプリング周波数を大きくし、ダウンサンプリング部２０５が整数ｍを用いてフィールド画像のサンプリング周波数を小さくする。
【０１９３】
符号化部１２０３は、水平縮小部１２０２によって縮小された画像を圧縮することによって、画像符号化データを生成する。また、水平縮小部１２０２から送信されるカットオフ周波数と、変換率とを多重して符号化する。これによって、符号化されたカットオフ周波数と変換率とを画像符号化データに含める。
【０１９４】
カットオフ周波数と変換率とを画像符号化データに多重化する方法には、例えば、Ｈ．２６４／ＡＶＣの映像符号化方式によって規定されるストリームシンタクスのＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）のユーザデータ領域に多重する方法が用いられる。
【０１９５】
画像受信装置１２２０は、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６を有する。
【０１９６】
画像受信装置１２２０は、第１の実施形態の画像受信装置１２０と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１２２０は、受信部１２１、復号化部１２２２、水平拡大部１２２３、超解像部１２４、表示部１２５、及び送信部１２６等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０１９７】
復号化部１２２２は、受信部１２１によって受信された画像符号化データを復号することによって、フィールド画像を生成する。そして、受信された画像符号化データに含まれるストリームシンタクスのＳＥＩからカットオフ周波数１２２８と変換率１２２９とを抽出する。ここで、変換率１２２９は、ｎ／ｍである。
【０１９８】
図１２は、本発明の第２の実施形態の水平拡大部１２２３の構成を示すブロック図である。
【０１９９】
図１２に示す水平拡大部１２２３の構成は、複数の画像間において被写体が動いた場合に生じるサンプリング位相差θを用いて、超解像部１２４が、画像を高解像度化することを想定したものである。水平拡大部１２２３は、位置推定部２２１、動き補償部２２２、水平拡大部２２３、水平拡大部２２４、及び、拡大率・カットオフ周波数算出部１３０１を有する。
【０２００】
図１２に示す水平拡大部１２２３は、二つの画像（フィールド画像＃１及びフィールド画像＃２）を用いて、一方の画像（フィールド画像＃２）を動き補償し、さらに、二つの画像（フィールド画像＃１、及び、動き補償後のフィールド画像＃２）を出力する。
【０２０１】
拡大率・カットオフ周波数算出部１３０１は、受信部１２１によって抽出されたカットオフ周波数１２２８と変換率１２２９とを受信する。そして、受信したカットオフ周波数１２２８と変換率１２２９とに基づいて、水平拡大部２２３及び水平拡大部２２４において用いられるカットオフ周波数１２３０と拡大率１２３１とを、算出する。
【０２０２】
水平拡大部２２３及び水平拡大部２２４は、拡大率・カットオフ周波数算出部１３０１から送信されたカットオフ周波数１２３０と拡大率１２３１とに基づいて、画像（フィールド画像＃２及びフィールド画像＃１）の水平方向に画素を増やす。
【０２０３】
拡大率・カットオフ周波数算出部１３０１は、例えば、変換率１２２９の逆数を、拡大率としてもよい。具体的には、変換率１２２９がｎ／ｍである場合、拡大率１２３１をｍ／ｎとしてもよい。また、カットオフ周波数１２３０を、復号化部１２２２から送信されたカットオフ周波数１２２８と同じとしてもよい。
【０２０４】
図７Ａ〜図７Ｄに示す周波数スペクトルは、ｍ＝３、ｎ＝２である条件において、拡大率１２３１がｍ／ｎである場合の、第２の実施形態の水平拡大部２２３及び水平拡大部２２４が出力する周波数スペクトルと同じである。水平拡大部１２２３の結果、図７Ｄに示す周波数スペクトルが出力される。
【０２０５】
そして、図７Ｄに示す周波数スペクトルには、ダウンサンプリング部２０５において既に生じた折返し成分以外に、新たな折返し成分は発生していない。具体的には、インタレース化に伴う折返し成分７４１と、水平方向の折返し成分７４０とが重なることによって発生する新たな折返し成分は、図７Ｄに示す周波数スペクトルには発生していない。
【０２０６】
すなわち、第２の実施形態の水平拡大部１２２３は、画像受信装置１２００から送信されたカットオフ周波数１２２８と変換率１２２９を用いることによって、新たな折返し成分の発生を防ぐことができる。
【０２０７】
また、超解像部１２４が一つの画像だけを用いて高解像度化する場合、水平拡大部１２２３は、位置推定部２２１、動き補償部２２２、及び、水平拡大部２２４を有する必要がない。
【０２０８】
図１３は、本発明の第２の実施形態の超解像部１２２４の構成を示すブロック図である。
【０２０９】
第２の実施形態の超解像部１２２４は、図１３に示す復号化部１２２２から送信されるカットオフ周波数１２２８（以下、第１のカットオフ周波数１２２８）と変換率１２２９と、水平拡大部１２２３から送信されるカットオフ周波数１２３０（以下、第２のカットオフ周波数１２３０）と拡大率１２３１とを用いて、空間方向の折返し成分の発生を推定し、推定された結果を用いてフィールド画像を高解像度化する。
【０２１０】
なお、第２の実施形態の超解像部１２２４に送信されるフィールド画像は、第１の実施形態の超解像部１２４と同じく、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。また、第２の実施形態における超解像部１２２４は、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【０２１１】
図１３に示す超解像部１２２４は、折返し成分除去部３０１、直線角度算出部３０２、位相シフト部３１０、混合部１４０３、及び、折返し成分推定部１４０１を有する。以下に示す第２の実施形態の超解像部１２２４の折返し成分除去部３０１、直線角度算出部３０２、及び、位相シフト部３１０は、第１の実施形態の第１の構成例の超解像部１２４の折返し成分除去部３０１、直線角度算出部３０２、及び、位相シフト部３１０と同じである。
【０２１２】
折返し成分推定部１４０１は、復号化部１２２２から送信される第１のカットオフ周波数１２２８と変換率１２２９と、水平拡大部１２２３によって用いられた第２のカットオフ周波数１２３０と拡大率１２３１とを用いて空間方向における折返し成分の発生を推定する。
【０２１３】
折返し成分推定部１４０１による折返し成分の推定方法を、以下に示す。
【０２１４】
以下に示す推定方法において、変換率１２９９はｎ／ｍであり、拡大率１２３１はｍ／ｎであり、水平方向の画素の拡大後のサンプリング周波数はμｓである。このため、水平方向の画素を縮小する際に折返し成分が発生する第１の条件は、第１のカットオフ周波数１２２８が（ｎ／２ｍ）×μｓより大きい場合である。また、水平方向の画素の拡大時に新たな折返し成分が発生しない第２の条件は、第２のカットオフ周波数が（１／２）×μｓより小さい場合である。
【０２１５】
従って、前述の第１の条件及び第２の条件に基づいて、折返し成分推定部１４０１は、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）から（１／２）×μｓまでの水平周波数の成分には、折返しが生じている可能性が高いと判定する。このため、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）から（１／２）×μｓまでの水平周波数の画素において、折返し成分が発生することを示す情報を、折返し成分発生データに格納する。
【０２１６】
また、折返し成分推定部１４０１は、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）より小さい水平周波数の成分において、折返しが発生していないと判定する。このため、（ｎ／２ｍ）×μｓ−（第１のカットオフ周波数−（ｎ／２ｍ）×μｓ）より小さい水平周波数の画素において、折返し成分が発生しないことを示す情報を、折返し成分発生データに格納する。
【０２１７】
そして、折返し成分推定部１４０１は、情報を格納された折返し成分発生データを、混合部１４０３に送信する。折返し成分推定部１４０１は、折返し成分発生データを、例えば、水平周波数μと垂直周波数νとの関係式によって示してもよい。
【０２１８】
なお、本実施形態では、複数のフィールド画像を用いた場合の構成について説明したが、一つの画像を用いた構成でもよい。その場合、位相シフト部３１０は不要であり、折返し成分除去部３０１への位相差の入力も不要である。
【０２１９】
図１４は、本発明の第２の実施形態の混合部１４０３の構成を示すブロック図である。
【０２２０】
混合部１４０３は、係数算出部１５０１、乗算器４０２、乗算器４０３、及び、加算器４０４を有する。混合部１４０３の乗算器４０２、乗算器４０３、及び、加算器４０４は、第１の実施形態の混合部３０３の乗算器４０２、乗算器４０３、及び、加算器４０４と同じである。
【０２２１】
混合部１４０３と第１の実施形態の混合部３０３とが異なる点は、係数算出部１５０１が、折返し成分推定部１４０１から送信された折返し成分発生データと、直線角度算出部３０２から送信された角度３０４と、を用いて係数αを定める点である。
【０２２２】
係数算出部１５０１は、例えば、図５Ｃに示す項目（１）、（２）及び（３）のうち、角度３０４が示す項目を抽出する。そして、折返し成分発生データを参照し、抽出された項目において折返し成分が発生している場合、係数算出部１５０１は、係数αを０に定める。また、抽出された項目において折返し成分が発生していない場合、係数算出部１５０１は、係数αを１に定める。
【０２２３】
第２の実施形態の超解像部１２２４によれば、折返し成分が発生する画素を推定することによって、折返し成分の発生の有無と角度３０４とに従って、折返し成分の除去量を変化させることが可能となる。
【０２２４】
また、第１の実施形態の超解像部１２４の第２の構成例に、第２の実施形態の折返し成分推定部１４０１を追加してもよい。この場合、係数決定部９１０は、折返し成分発生データと角度３０４とに基づいて、係数αの値を定めることによって、係数（Ｃ０、Ｃ１、Ｃ２、及び、Ｃ３）を算出し、折返し成分を除去する量を変化させる。
【０２２５】
以上のような第２の実施形態の画像転送システムは、画像送信装置１２００がインタレース化されたフィールド画像を水平方向に縮小し、縮小された画像を圧縮する。そして、水平方向の解像度の縮小の際に用いられた変換率、及び、カットオフ周波数を多重して符号化し、伝送路１１０を介して画像受信装置１２２０に送信する。
【０２２６】
ここで、第２の実施形態の画像送信装置１２００は、縮小された画像を圧縮できるため、送信データ量を低減することができる。これによって、伝送路１１０の通信帯域に限りがあってもより情報量の多い映像信号を送信することが可能となる。
【０２２７】
また、第２の実施形態の画像受信装置１２２０は、圧縮及び符号化された画像符号化データを受信し、受信した画像符号化データをフィールド画像に復号する。そして、フィールド画像と水平方向の解像度の縮小の際に設定された変換率及びカットオフ周波数を取得し、復号化されたフィールド画像に、画像送信装置１２００から送信された変換率及びカットオフ周波数に基づいて水平方向に拡大する。これによって、既に生じている折返し成分の他に、折返し成分が発生することを防ぐことができる。従って第２の実施形態の超解像部１２４は、適切に折返し成分を除去できる。
【０２２８】
また、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って折返し成分を除去する量を変化させる。特に垂直方向に傾いた直線又はエッジについて折返し成分を除去する量を多くし、水平方向に傾いた直線又はエッジについて、折返し成分を除去する量を少なくする。
【０２２９】
これによって、水平方向の折返し成分の多くが除去可能な一方、被写体に垂直方向の動きがある場合でもインタレース化に伴う折返し成分の多くが残る。また、水平方向の解像度の縮小の際に用いられた変換率１２２９及び第１のカットオフ周波数１２２８に基づいて、水平方向に拡大することによって、前述の折返し成分を除去する成分と、除去する量とがより正確に判定され、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２３０】
また、第２の実施形態の画像受信装置１１２０の超解像部１２２４において、変換率１２２９及び第１のカットオフ周波数、及び、水平方向の解像度の拡大に用いられた拡大率１２３１、第２のカットオフ周波数１２３０を用いて、空間方向において折返し成分の発生を推定し、直線又はエッジの角度３０４とともに折返し成分除去に用いることによって、折返し成分除去の程度をより正確に調整可能になり、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２３１】
さらに、画像送信装置１２００からカットオフ周波数と変換率とを送信することによって、第２の実施形態の画像転送システムは、画像受信装置１２２０において用いられるカットオフ周波数及び拡大率を、自動的に変更することができる。
【０２３２】
例えば、画像送信装置１２００が、管理者による入出力が可能な場所に設置され、画像受信装置１２２０が管理者による入出力ができない場所に設置されている場合、第２の実施形態の画像転送システムは、画像送信装置１２００におけるカットオフ周波数及び拡大率の変更を、ただちに、画像受信装置１２２０に反映させることができる。
【０２３３】
なお、第２の実施形態の画像転送システムは、伝送路１１０に蓄積装置を用い、画像送信装置１２００と画像受信装置１２２０とを一体化することによって、画像蓄積装置として実装されることも可能である。
【０２３４】
（第３の実施形態）
第１の実施形態の画像転送システムは、インタレース走査の画像（フィールド画像）を送受信したが、第３の実施形態の画像転送システムは、プログレッシブ走査の画像（フレーム画像）を送受信する。プログレッシブ走査の画像にも、本実施形態の方法によって、ノイズ等の画質劣化の少ない高解像度画像を生成可能である。
【０２３５】
以下に示す画像転送システムが有する機能が、前述の第１の実施形態の画像転送システム、及び、第２の実施形態の画像転送システムの機能と同じである場合、同一の符号を付し、重複する説明を省略する。
【０２３６】
図１５は、本発明の第３の実施形態の画像転送システムの構成を示すブロック図である。
【０２３７】
画像送信装置１６００は、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４を有する。画像送信装置１６００の符号化部１０３及び送信部１０４は、第１の実施形態の画像送信装置１００の符号化部１０３及び送信部１０４と同じである。
【０２３８】
画像送信装置１６００は、第１の実施形態の画像送信装置１００と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４等の機能をプログラムによって実装してもよい。また、入力部１６０１、画像縮小部１６０２、符号化部１０３、及び、送信部１０４等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０２３９】
また、画像送信装置１６００は、管理者等によって、画像送信装置１６００において用いられるパラメータを入力するための入力装置を備えてもよい。
【０２４０】
画像受信装置１６２０は、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６を有する。画像受信装置１６２０の受信部１２１、復号化部１２２、表示部１２５及び送信部１２６は、第１の実施形態の画像受信装置１２０の受信部１２１、復号化部１２２、表示部１２５及び送信部１２６と同じである。
【０２４１】
画像受信装置１６２０は、第１の実施形態の画像受信装置１２０と同じく、プロセッサ、及び、メモリ等を備える計算機であってもよく、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６等の機能をプログラムによって実装してもよい。また、画像受信装置１６２０は、受信部１２１、復号化部１２２、画像拡大部１６２３、超解像部１６２４、表示部１２５及び送信部１２６等の機能を、ＬＳＩ等の素子によって実装してもよい。
【０２４２】
また、画像受信装置１６２０は、管理者等によって、画像受信装置１６２０において用いられるパラメータを入力するための入力装置を備えてもよい。
【０２４３】
入力部１６０１には、例えば、テレビジョン放送信号などの動画像をプログレッシブ走査によって表示するための、フレーム画像が入力される。また、入力部１６０１は、符号化された符号化ストリームが入力された場合、入力された符号化ストリームを復号処理し、そして、復号結果から、動画像のフレーム画像を抽出する。
【０２４４】
図１６は、本発明の第３の実施形態の画像縮小部１６０２の構成を示すブロック図である。
【０２４５】
第３の実施形態の画像縮小部１６０２は、垂直縮小部１７２４、及び、水平縮小部１７２５を有する。水平縮小部１７２５は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同じであり、垂直縮小部１７２４は、図２Ａ又は図２Ｂに示す水平縮小部１０２と同様である。垂直縮小部１７２４は、周波数スペクトルの垂直方向を縮小する（垂直方向の画素数を減らす）点において、水平縮小部１０２と異なる。
【０２４６】
垂直縮小部１７２４は、変換率ｍｖ／ｎｖによって、フレーム画像の垂直方向の画素を減らし、水平縮小部１７２５は、変換率ｍｈ／ｎｈによって、フレーム画像の水平方向の画素を減らす。
【０２４７】
図１７Ａ〜図１７Ｃは、垂直縮小部１７２４がｍｖ＝１、ｎｖ＝２の条件において、垂直方向の画素数を減らす際の周波数スペクトルを示す。図１７Ａ〜図１７Ｃにおいて、垂直縮小部１７２４は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０２４８】
図１７Ａ〜図１７Ｃに示す図の横軸は、水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置（周波数）１８００を示す。また、水平方向のサンプリング周波数は、μｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ’毎の周波数である。
【０２４９】
図１７Ａは、本発明の第３の実施形態の垂直縮小部１７２４に入力された画像の周波数スペクトルを示す説明図である。
【０２５０】
図１７Ａに示す周波数スペクトルは、垂直縮小部１７２４に入力されるフレーム画像の周波数スペクトルである。フレーム画像の垂直周波数成分には、ナイキスト周波数（νｓ’／２）以上の周波数成分を含まれていないものとする。また、フレーム画像の水平周波数成分には、ナイキスト周波数（μｓ／２）以上の周波数成分を含んでいないものとする。
【０２５１】
入力部１０１から出力されるフレーム画像を、垂直方向に１／２倍縮小するため、垂直縮小部１７２４は、補間ローパスフィルタ部２０４によるフィルタリング、及び、ダウンサンプリング部２０５による１／２倍ダウンサンプリングを行う。
【０２５２】
図１７Ｂは、本発明の第３の実施形態の垂直縮小部１７２４の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０２５３】
図１７Ｂに示す周波数スペクトルは、垂直縮小部１７２４の補間ローパスフィルタ部２０４の出力を示す。補間ローパスフィルタ部２０４は、図１７Ａに示す水平方向の周波数スペクトルのうちν＝０と、ν＝０からνｓ’の整数倍離れた周波数（垂直方向のサンプリング周波数１８００）との各々の近傍の周波数を残し、その他の周波数の成分を削除する。
【０２５４】
図１７Ｂにおけるカットオフ周波数は、νｓ’／２である。垂直縮小部１７２４の補間ローパスフィルタ部２０４のカットオフ周波数は、図１７Ｃに示すダウンサンプリング部２０５による出力の周波数スペクトルにおいて、垂直方向の折返し成分１８３０が生じるような値に、管理者等によってあらかじめ定められる。
【０２５５】
図１７Ｃは、本発明の第３の実施形態の垂直縮小部１７２４のダウンサンプリング部２０５の出力の周波数スペクトルを示す説明図である。
【０２５６】
図１７Ｃに示す周波数スペクトルは、ｎｖ＝２の条件における、垂直縮小部１７２４のダウンサンプリング部２０５の出力を示す。図１７Ｃのとおり、ダウンサンプリング部２０５によって、垂直方向のサンプリング周波数は、νｓ（＝νｓ’／２）毎の周波数に定められる。このサンプリング周波数の間隔に、補間ローパスフィルタ部２０４の出力の周波数成分が配置される。この結果、フレーム画像は垂直方向に縮小される。
【０２５７】
図１７Ｃのとおり、垂直縮小部１７２４の補間ローパスフィルタ部２０４が、カットオフ周波数をνｓ／２以上にすることによって、垂直方向の折返し成分１８３０が生じる。
【０２５８】
水平縮小部１７２５は、垂直縮小部１７２４における処理によって発生した折返し成分１８３０に重なりが生じず、かつ、水平方向に折返し成分が生じるような、カットオフ周波数をあらかじめ保持する。
【０２５９】
第３の実施形態の水平縮小部１７２５は、ｍｈ＝２、ｎｈ＝３を条件として、図１７Ｃに示す周波数スペクトルの出力を、水平方向に縮小する。具体的には、第１の実施形態の水平縮小部１０２による処理と同じであり、出力の周波数スペクトルは、図６Ａ〜図６Ｄに示す周波数スペクトルと同じである。また、画像縮小部１６０２によって出力される画像の周波数スペクトルは、図６Ｄの周波数スペクトルと同じである。
【０２６０】
画像縮小部１６０２の処理によって、フレーム画像は、垂直方向及び水平方向に縮小された画像になる。
【０２６１】
図１８は、本発明の第３の実施形態の画像拡大部１６２３の構成を示すブロック図である。
【０２６２】
図１８に示す画像拡大部１６２３は、超解像部１６２４において複数のフレーム画像間において被写体が動くことによって生じる位相差を用いて、フレーム画像を高解像度化するための機能を保持する。画像拡大部１６２３は、位置推定部２２１、動き補償部２２２、第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７を有する。
【０２６３】
第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７は、それぞれ図２Ａ又は図２Ｂに示す水平縮小部１０２と同じ構成である。
【０２６４】
位置推定部２２１は、フレーム画像＃１の各画素とフレーム画像＃２の各画素とを比較することによって、画素ごとに水平方向のサンプリング位相差θｈと垂直方向のサンプリング位相差θｖとを求める。
【０２６５】
図１９Ａ〜図１９Ｃは、ｍｖ＝１、ｎｖ＝２の条件において、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７がフレーム画像の垂直方向の画素数を減らす処理における、各処理部の出力の周波数スペクトルを示す。図１９Ａ〜図１９Ｃにおいて、第１の垂直拡大部１９２５及び第２の垂直拡大部１９２７は、図２Ｂに示すオーバサンプリング型であり、アップサンプリング部２０３、補間ローパスフィルタ部２０４、及び、ダウンサンプリング部２０５を有する。
【０２６６】
図１９Ａ〜図１９Ｃに示す図の横軸は水平周波数μであり、縦軸は垂直周波数νであり、黒丸は垂直方向のサンプリング位置（周波数）２０００を示す。また、水平方向のサンプリング周波数はμｓ毎の周波数であり、垂直方向のサンプリング周波数はνｓ’（＝２νｓ）毎の周波数である。
【０２６７】
図１９Ａは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７に入力されるフレーム画像の周波数スペクトルを示す説明図である。
【０２６８】
図１９Ａに示す周波数スペクトルは、第１の水平拡大部１９２４から第１の垂直拡大部１９２５へ、又は、第２の水平拡大部１９２６から第２の垂直拡大部１９２７へ、入力されるフレーム画像の周波数スペクトルである。
【０２６９】
すなわち、図１９Ａに示す周波数スペクトルは、水平拡大部１９２４又は水平拡大部１９２６によって第１の実施形態の水平拡大部１２３と同じ処理が行われた結果、出力されたフレーム画像の周波数スペクトルである。このため、図１９Ａは、図７Ｄに相当する。
【０２７０】
第１の水平拡大部１９２４から入力されたフレーム画像を、垂直方向に２倍に拡大するため、第１の垂直拡大部１９２５は、アップサンプリング部２０３による２倍アップサンプリング、及び、補間ローパスフィルタ部２０４によるフィルタリングを行う。また、第２の水平拡大部１９２６から入力されたフレーム画像を、垂直方向に２倍に拡大するため、第２の垂直拡大部１９２７は、アップサンプリング部２０３による２倍アップサンプリング、及び、補間ローパスフィルタ部２０４によるフィルタリングを行う。
【０２７１】
図１９Ｂは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７のアップサンプリング部２０３による出力の周波数スペクトルを示す説明図である。
【０２７２】
図１９Ｂに示す周波数スペクトルは、ｍｖ＝２の条件における、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７のアップサンプリング部２０３の出力を示す。図１９Ａ及び図１９Ｂに示すとおり、図１９Ａにおいてνｓであった垂直方向のサンプリング周波数の間隔が、図１９Ｂにおいて２νｓに広がる。
【０２７３】
図１９Ｃは、本発明の第３の実施形態の第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４による出力の周波数スペクトルを示す説明図である。
【０２７４】
図１９Ｃに示す周波数スペクトルは、第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４の出力を示す。第１の垂直拡大部１９２５又は第２の垂直拡大部１９２７の補間ローパスフィルタ部２０４は、図１９Ｂに示す周波数スペクトルのうち、垂直方向のサンプリング周波数（図１９Ｃにおいて、ν＝０、ν＝２νｓ等）の近傍の周波数帯域（通過帯域２０３０）だけを残し、その他の周波数の成分を削除する。
【０２７５】
管理者等は、ダウンサンプリング部２０５の出力の周波数スペクトルにおいて、垂直方向に新たな折返し成分が生じないような値に、補間ローパスフィルタ部２０４のカットオフ周波数をあらかじめ定める。図１９Ｂにおけるカットオフ周波数は、νｓ／２とνｓとの間に定められる。
【０２７６】
図２０は、本発明の第３の実施形態の超解像部１６２４の構成を示すブロック図である。
【０２７７】
第３の実施形態の超解像部１６２４に送信されるフィールド画像は、輝度成分と二つの色差成分とを含んでもよく、赤成分、緑成分、及び、青成分を含んでもよい。第３の実施形態における超解像部１６２４は、第１の実施形態の超解像部１２４と同じく、前述の成分ごとに超解像処理を実行するか否かを判定する機能、及び、判定するためのパラメータを保持してもよい。
【０２７８】
超解像部１６２４は、水平超解像部２１０１、垂直超解像部２１０２、及び、混合部２１０３を有する。
【０２７９】
水平超解像部２１０１は、水平方向のサンプリング位相差θｈを用いて、フレーム画像を水平方向に高解像度化する。垂直超解像部２１０２は、垂直方向のサンプリング位相差θｖを用いて垂直方向に高解像度化する。サンプリング位相差θｈを用いる水平超解像部２１０１、及び、サンプリング位相差θｖを用いる垂直超解像部２１０２には、例えば、特許文献２に記載された水平超解像部及び垂直超解像部が用いられてもよい。
【０２８０】
混合部２１０３は、水平超解像部２１０１及び垂直超解像部２１０２から出力されたフレーム画像を混合する。
【０２８１】
第３の実施形態によれば、水平方向に高解像度化した画像と垂直方向に高解像度化した画像を混合することによって、プログレッシブ走査による画像を水平方向及び垂直方向共に高解像度化することができる。
【０２８２】
水平超解像部２１０１及び垂直超解像部２１０２は、図３に示す超解像部１２４と同じ構成を各々有する。このとき、水平超解像部２１０１の混合部３０３は、角度３０４の値が小さい場合、係数αを１に定め、角度３０４の値が大きい場合、係数αを０に定める。これによって、水平方向の折返し成分を適切に除去できる。
【０２８３】
また、垂直超解像部２１０２の混合部３０３は、角度３０４の値が小さい場合、係数αを０に定め、角度３０４の値が大きい場合、係数αを１に定める。これによって、被写体に垂直方向の動きがある場合、垂直方向の折返し成分を適切に除去できる。
【０２８４】
また、超解像部１６２４には、第１の実施形態の超解像部１２４を用いてもよい。この場合、超解像部１６２４は、図２０に示す構成と比較して高解像度化効果は小さいが、少ない回路規模によって高解像度化を実現できる。
【０２８５】
第３の実施形態の画像転送システムは、前述のとおり、画像送信装置１２００がプログレッシブ走査による画像を縮小し、縮小された画像を圧縮及び符号化することによって、画像符号化データを生成する。そして、伝送路１１０を介して画像受信装置１２２０に生成された画像符号化データを送信する。
【０２８６】
画像送信装置１２００は、画像を縮小した後に圧縮するため、画像受信装置１２２０へ送信する画像符号化データ量を低減することができる。このため、伝送路１１０の通信帯域に限りがあっても、より情報量の多い映像信号を送信することが可能となる。
【０２８７】
また、画像受信装置１２２０は、圧縮及び符号化された画像符号化データを受信し、復号することによって取得したフレーム画像を拡大する。そして、拡大されたフレーム画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って折返し成分除去の程度を調整する。さらに、フレーム画像を拡大する際、新たな折返し成分が生じないようにすることによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０２８８】
なお、第３の実施形態において、第２の実施形態の画像転送システムのように、フレーム画像を縮小する際の変換率（１／ｎ）及びカットオフ周波数を、画像受信装置１２２０に送信し、画像受信装置１２２０の第１の水平拡大部１９２４、第１の垂直拡大部１９２５、第２の水平拡大部１９２６、及び、第２の垂直拡大部１９２７は、送信された変換率（１／ｎ）及びカットオフ周波数に基づいて、フレーム画像を拡大してもよい。
【０２８９】
また、伝送路１１０に蓄積装置を用い、画像送信装置１２００と画像受信装置１２２０とを、一つの装置によって実装することによって、画像蓄積装置として構成してもよい。
【０２９０】
（第４の実施形態）
第４の実施形態の画像撮像装置２２００は、第１の実施形態、第２の実施形態又は第３の実施形態の画像転送システムにおける高解像度画像を生成するための機能を実装された撮像装置である。これによって、画像撮像装置２２００は、高解像度画像を撮像できる。
【０２９１】
以下において、前述の第１の実施形態の画像転送システム、第２の実施形態の画像転送システム、及び、第３の実施形態の画像転送システムと同じ機能を果たす処理部には、同じ符号を付し、重複する説明を省略する。
【０２９２】
図２１は、本発明の第４の実施形態の画像撮像装置２２００の構成を示すブロック図である。
【０２９３】
画像撮像装置２２００は、レンズ２２０１、光学ローパスフィルタ部２２０２、撮像素子２２０３、画像拡大部１６２３、超解像部１６２４、及び、送信部１２６を有する。
【０２９４】
レンズ２２０１は、入射光を撮像素子２２０３に取得するための集光機能を有する。
【０２９５】
光学ローパスフィルタ部２２０２は、水平方向と垂直方向とについて、ある周波数範囲を通過させるフィルタ機能を有する。光学ローパスフィルタ部２２０２は、一般的に、３枚の水晶を用いるフィルタが知られている。以下に、光学ローパスフィルタ部２２０２の周波数特性について説明する。
【０２９６】
光学ローパスフィルタ部２２０２の垂直方向の周波数特性は、撮像素子２２０３の垂直方向のピッチから取得される垂直方向のサンプリング周波数の１／２以上の周波数成分を通過するようにする。また、水平方向の周波数特性を、撮像素子２２０３の水平方向のピッチから取得される水平方向のサンプリング周波数の１／２以上であり、垂直方向において発生する折返し成分に重ならないような周波数以上の成分を通過するようにする。
【０２９７】
具体的には、図７Ｄに示す水平方向の折返し成分と垂直方向の折返し成分とが重ならない周波数スペクトルが取得できるような光学ローパスフィルタを用いる。このため、光学ローパスフィルタ部２２０２は、本発明において、どのような構造によって実装されてもよい。
【０２９８】
撮像素子２２０３は、２次元ＣＣＤ入力部イメージセンサ、又は、２次元ＣＭＯＳイメージセンサなどの一般的な撮像素子である。
【０２９９】
さらに、第４の実施形態の画像撮像装置と、第１の実施形態の画像受信装置１２０とを用いてもよい。すなわち、光学ローパスフィルタ部２２０２は、水平方向と垂直方向とにおいてお互いの折返し成分が重ならないように折返し成分を発生させる。そして、第１の実施形態の画像受信装置１２０が圧縮及び符号化された画像符号化データを受信し、受信したデータを復号する。これによって、取得されたフィールド画像を水平方向に拡大する。これによって、画質劣化の少ない高解像度なフィールド画像を生成することができる。
【０３００】
また、超解像部１６２４は、拡大されたフィールド画像の各画素において直線又はエッジの角度３０４を求め、その角度３０４に従って、第１の実施形態と同じく、折返し成分除去の程度を変化させる。これによって、第４の実施形態の画像撮像装置２２００は、画質劣化のより少ない高解像度なフィールド画像を生成することができる。
【０３０１】
また、第４の実施形態の画像拡大部１６２３、及び、超解像部１６２４の代わりに、水平拡大部１２３、及び、超解像部１２４が用いられてもよい。そして、光学ローパスフィルタ部２２０２が、撮像素子２２０３の水平方向のピッチから得られる水平方向のサンプリング周波数の１／２以上の成分を通過させ、撮像素子２２０３の垂直方向のピッチから得られる垂直方向のサンプリング周波数の１／２以下の成分を通過させる。これによって、水平方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド列を撮像可能となる。
【０３０２】
また、前述の水平拡大部１２３を、π／２回転させることによって、フィールド画像を垂直方向に拡大させ、光学ローパスフィルタ部２２０２の垂直方向の周波数特性については、撮像素子２２０３の垂直方向のピッチから得られる垂直方向のサンプリング周波数の１／２以上の成分を通過させ、水平方向の周波数特性については撮像素子２２０３の水平方向のピッチから得られる水平方向のサンプリング周波数の１／２以下の成分を通過させるフィルタとする構成としてもよい。これによって、垂直方向にのみ生じた折返し成分を除去可能となり、画質劣化の少ない高解像度なフィールド画像を撮像可能となる。
【０３０３】
本実施形態の画像転送システムによれば、画像送信装置において画像を縮小するため、画像を高い圧縮率によって符号化し、画像受信装置に送信することができる。
【０３０４】
また、画像に表示される直線又はエッジの角度３０４に従って、折返し成分を除去する量を変化させることによって、インタレース走査又はプログレッシブ走査によって画像を縮小及び拡大した画像から、画質劣化の少ない高解像度画像を生成できる。
【符号の説明】
【０３０５】
１００ 画像送信装置
１０１ 入力部
１０２ 水平縮小部
１０３ 符号化部
１０４ 送信部
１１０ 伝送路
１２０ 画像受信装置
１２１ 受信部
１２２ 復号化部
１２３ 水平拡大部
１２４ 超解像部
１２５ 表示部
１２６ 送信部
１３０ 伝送路
３０１ 折返し成分除去部
３０２ 直線角度算出部
３０３ 混合部
４０１ 係数算出部
４０２ 乗算器
４０３ 乗算器
４０４ 加算器
８０１ 折返し成分除去部
９０１ 位相シフト部
９１０ 係数決定部
９１１ 乗算器
９１２ 乗算器
９１３ 乗算器
９１４ 乗算器
９１５ 加算器
【特許請求の範囲】
【請求項１】
画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、
前記画像送信部は、
前記画像を縮小し、
前記縮小された画像を、前記画像受信部に送信し、
前記画像受信部は、
前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記画像送信部から送信された画像を拡大し、
前記求められた角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像転送システム。
【請求項２】
前記画像は、インタレース走査によって表示される画像であり、
前記画像送信部は、前記画像の水平方向に、前記画像を縮小し、
前記画像受信部は、
前記画像送信部から送信された画像を、前記画像の水平方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項３】
前記画像受信部は、
前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が垂直に近いほど、前記拡大された画像の折返し成分を除去する量を減らし、
前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が平行に近いほど、前記拡大された画像の折返し成分を除去する量を増やすことを特徴とする請求項１に記載の画像転送システム。
【請求項４】
前記画像送信部は、
前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小し、
前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信部に送信し、
前記画像受信部は、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信部から送信された画像を拡大し、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定し、
前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項５】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像送信部は、前記画像の水平方向及び垂直方向に、前記画像を縮小し、
前記画像受信部は、
前記画像送信部から送信された画像を、前記画像の水平方向及び垂直方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項６】
前記画像転送システムは、前記画像を撮影する画像撮像装置をさらに備え、
前記画像送信部は、前記画像撮像装置によって撮影された画像を処理し、前記画像受信部に送信することを特徴とする請求項１に記載の画像転送システム。
【請求項７】
前記画像に含まれる各画素は、輝度成分又は色差成分を有し、
前記画像受信部は、
前記画素に対応する輝度成分又は色差成分を判定し、
前記判定された輝度成分又は色差成分に従って、折返し成分を除去しない画素と、折返し成分を除去する画素とを判定し、
前記判定された折返し成分を除去する画素の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項８】
画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムによる画像転送方法であって、
前記画像転送方法は、
前記画像送信部が、前記画像を縮小する手順と、
前記画像送信部が、前記縮小された画像を、前記画像受信部に送信する手順と、
前記画像受信部が、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求める手順と、
前記画像受信部が、前記画像送信部から送信された画像を拡大する手順と、
前記画像受信部が、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する手順とを含むことを特徴とする画像転送方法。
【請求項９】
前記画像は、インタレース走査によって表示される画像であり、
前記画像を縮小する手順は、前記画像送信部が、前記画像の水平方向に、前記画像を縮小する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記画像送信部から送信された画像を、前記画像の水平方向に拡大する手順を含み、
前記折返し成分を除去する手順は、前記画像受信部が、前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去する手順を含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１０】
前記折返し成分を除去する手順は、
前記画像受信部が、前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が垂直に近いほど、前記拡大された画像の折返し成分を除去する量を減らす手順と、
前記画像受信部が、前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が平行に近いほど、前記拡大された画像の折返し成分を除去する量を増やす手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１１】
前記画像を縮小する手順は、前記画像送信部が、前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小する手順を含み、
前記縮小された画像を前記画像受信部に送信する手順は、前記画像送信部が、前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信部に送信する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信部から送信された画像を拡大する手順を含み、
前記折返し成分を除去する手順は、
前記画像受信部が、前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定する手順と、
前記画像受信部が、前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去する手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１２】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像を縮小する手順は、前記画像送信部が、前記画像の水平方向及び垂直方向に、前記画像を縮小する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記画像送信部から送信された画像を、前記画像の水平方向及び垂直方向に拡大する手順を含み、
前記折返し成分を除去する手順は、前記画像受信部が、前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去する手順を含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１３】
前記画像に含まれる各画素は、輝度成分又は色差成分を有し、
前記折返し成分を除去する手順は、
前記画像受信部が、前記画素に対応する輝度成分及び色差成分を判定する手順と、
前記画像受信部が、前記判定された輝度成分又は色差成分に従って、折返し成分を除去しない画素と、折返し成分を除去する画素とを判定する手順と、
前記画像受信部が、前記判定された折返し成分を除去する画素の折返し成分を除去する手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１４】
画像送信装置から画像を受信する画像受信装置であって、
前記画像受信装置は、
前記画像送信装置によって縮小された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記画像送信装置から送信された画像を拡大し、
前記求められた画素に対応する角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像受信装置。
【請求項１５】
前記画像は、インタレース走査によって表示される画像であり、
前記画像受信装置は、
前記画像送信装置によって水平方向に縮小された画像を、前記画像の水平方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１６】
前記画像受信装置は、
前記画像送信装置から送信された所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信装置から送信された画像を拡大し、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定し、
前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１７】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像受信装置は、
前記画像送信装置によって水平方向及び垂直方向に縮小された画像を、前記画像の水平方向及び垂直方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１８】
画像受信装置に、画像を送信する画像送信装置であって、
前記画像送信装置は、
前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小し、
前記縮小された画像を、前記画像受信装置に送信し、
前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信装置に送信することを特徴とする画像送信装置。
【請求項１９】
画像を撮影する画像撮像装置であって、
前記画像撮像装置は、
前記撮影された画像を縮小し、
前記縮小された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記縮小された画像を拡大し、
前記求められた角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像撮像装置。
【請求項１】
画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムであって、
前記画像送信部は、
前記画像を縮小し、
前記縮小された画像を、前記画像受信部に送信し、
前記画像受信部は、
前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記画像送信部から送信された画像を拡大し、
前記求められた角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像転送システム。
【請求項２】
前記画像は、インタレース走査によって表示される画像であり、
前記画像送信部は、前記画像の水平方向に、前記画像を縮小し、
前記画像受信部は、
前記画像送信部から送信された画像を、前記画像の水平方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項３】
前記画像受信部は、
前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が垂直に近いほど、前記拡大された画像の折返し成分を除去する量を減らし、
前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が平行に近いほど、前記拡大された画像の折返し成分を除去する量を増やすことを特徴とする請求項１に記載の画像転送システム。
【請求項４】
前記画像送信部は、
前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小し、
前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信部に送信し、
前記画像受信部は、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信部から送信された画像を拡大し、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定し、
前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項５】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像送信部は、前記画像の水平方向及び垂直方向に、前記画像を縮小し、
前記画像受信部は、
前記画像送信部から送信された画像を、前記画像の水平方向及び垂直方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項６】
前記画像転送システムは、前記画像を撮影する画像撮像装置をさらに備え、
前記画像送信部は、前記画像撮像装置によって撮影された画像を処理し、前記画像受信部に送信することを特徴とする請求項１に記載の画像転送システム。
【請求項７】
前記画像に含まれる各画素は、輝度成分又は色差成分を有し、
前記画像受信部は、
前記画素に対応する輝度成分又は色差成分を判定し、
前記判定された輝度成分又は色差成分に従って、折返し成分を除去しない画素と、折返し成分を除去する画素とを判定し、
前記判定された折返し成分を除去する画素の折返し成分を除去することを特徴とする請求項１に記載の画像転送システム。
【請求項８】
画像を送信する画像送信部と、前記画像送信部から送信された画像を受信する画像受信部とを備える画像転送システムによる画像転送方法であって、
前記画像転送方法は、
前記画像送信部が、前記画像を縮小する手順と、
前記画像送信部が、前記縮小された画像を、前記画像受信部に送信する手順と、
前記画像受信部が、前記画像送信部から送信された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求める手順と、
前記画像受信部が、前記画像送信部から送信された画像を拡大する手順と、
前記画像受信部が、前記求められた角度に従って、前記拡大された画像の折返し成分を除去する手順とを含むことを特徴とする画像転送方法。
【請求項９】
前記画像は、インタレース走査によって表示される画像であり、
前記画像を縮小する手順は、前記画像送信部が、前記画像の水平方向に、前記画像を縮小する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記画像送信部から送信された画像を、前記画像の水平方向に拡大する手順を含み、
前記折返し成分を除去する手順は、前記画像受信部が、前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去する手順を含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１０】
前記折返し成分を除去する手順は、
前記画像受信部が、前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が垂直に近いほど、前記拡大された画像の折返し成分を除去する量を減らす手順と、
前記画像受信部が、前記求められた角度が、前記画像に表示される線と当該画像の水平方向との角度が平行に近いほど、前記拡大された画像の折返し成分を除去する量を増やす手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１１】
前記画像を縮小する手順は、前記画像送信部が、前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小する手順を含み、
前記縮小された画像を前記画像受信部に送信する手順は、前記画像送信部が、前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信部に送信する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信部から送信された画像を拡大する手順を含み、
前記折返し成分を除去する手順は、
前記画像受信部が、前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定する手順と、
前記画像受信部が、前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去する手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１２】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像を縮小する手順は、前記画像送信部が、前記画像の水平方向及び垂直方向に、前記画像を縮小する手順を含み、
前記画像を拡大する手順は、前記画像受信部が、前記画像送信部から送信された画像を、前記画像の水平方向及び垂直方向に拡大する手順を含み、
前記折返し成分を除去する手順は、前記画像受信部が、前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去する手順を含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１３】
前記画像に含まれる各画素は、輝度成分又は色差成分を有し、
前記折返し成分を除去する手順は、
前記画像受信部が、前記画素に対応する輝度成分及び色差成分を判定する手順と、
前記画像受信部が、前記判定された輝度成分又は色差成分に従って、折返し成分を除去しない画素と、折返し成分を除去する画素とを判定する手順と、
前記画像受信部が、前記判定された折返し成分を除去する画素の折返し成分を除去する手順とを含むことを特徴とする請求項８に記載の画像転送方法。
【請求項１４】
画像送信装置から画像を受信する画像受信装置であって、
前記画像受信装置は、
前記画像送信装置によって縮小された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記画像送信装置から送信された画像を拡大し、
前記求められた画素に対応する角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像受信装置。
【請求項１５】
前記画像は、インタレース走査によって表示される画像であり、
前記画像受信装置は、
前記画像送信装置によって水平方向に縮小された画像を、前記画像の水平方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１６】
前記画像受信装置は、
前記画像送信装置から送信された所定の変換率と所定のカットオフ周波数とに基づいて、前記画像送信装置から送信された画像を拡大し、
前記受信した所定の変換率と所定のカットオフ周波数とに基づいて、折返し成分が発生する周波数を推定し、
前記推定された周波数と、前記求められた角度とに従って、前記拡大された画像の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１７】
前記画像は、プログレッシブ走査によって表示される画像であり、
前記画像受信装置は、
前記画像送信装置によって水平方向及び垂直方向に縮小された画像を、前記画像の水平方向及び垂直方向に拡大し、
前記求められた角度に従って、前記拡大された画像の水平方向及び垂直方向の折返し成分を除去することを特徴とする請求項１４に記載の画像受信装置。
【請求項１８】
画像受信装置に、画像を送信する画像送信装置であって、
前記画像送信装置は、
前記画像がサンプリングされる周波数の間隔を所定の変換率によって減らし、前記サンプリングされる周波数から所定のカットオフ周波数の間に含まれる周波数帯域の成分以外の成分を削除することによって、前記画像を縮小し、
前記縮小された画像を、前記画像受信装置に送信し、
前記所定の変換率と、前記所定のカットオフ周波数とを、前記画像受信装置に送信することを特徴とする画像送信装置。
【請求項１９】
画像を撮影する画像撮像装置であって、
前記画像撮像装置は、
前記撮影された画像を縮小し、
前記縮小された画像に表示される線と当該画像の水平方向との角度を、当該画像に含まれる画素に対応して求め、
前記縮小された画像を拡大し、
前記求められた角度に従って、前記拡大された画像の折返し成分を除去することを特徴とする画像撮像装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７Ａ】
【図１７Ｂ】
【図１７Ｃ】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図１９Ｃ】
【図２０】
【図２１】
【図２２Ａ】
【図２２Ｂ】
【図２２Ｃ】
【公開番号】特開２０１２−１９５９０８（Ｐ２０１２−１９５９０８Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−６０２４１（Ｐ２０１１−６０２４１）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００１１２２）株式会社日立国際電気 (5,007)
【Ｆターム（参考）】
[ Back to top ]