画像処理装置、画像処理方法およびプログラム
【課題】入力画像信号を高解像度化処理する際に、高解像度化に必要な参照情報を豊富にし、高解像度化のための性能を十分に引き出すことができる装置を提供する。
【解決手段】実施形態によれば、画像変換装置は、受信装置に対して、変換画像信号を生成して中継装置を介して送信する。前記受信装置は、受信した前記変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る。前記画像変換装置では、前記中継装置の容量を低減するために原画像信号を処理して前記変換画像信号を得る。一方、変換特性抽出装置が、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する。そして接続装置が、前記変換画像信号および前記画像変換関連情報を前記受信装置へ送信する。
【解決手段】実施形態によれば、画像変換装置は、受信装置に対して、変換画像信号を生成して中継装置を介して送信する。前記受信装置は、受信した前記変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る。前記画像変換装置では、前記中継装置の容量を低減するために原画像信号を処理して前記変換画像信号を得る。一方、変換特性抽出装置が、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する。そして接続装置が、前記変換画像信号および前記画像変換関連情報を前記受信装置へ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、超解像技術を採用したテレビジョン受信装置やディスプレイが製品として市販されている。超解像技術は、画像の画素サンプリング時（撮像素子による光電変換時や縮小処理時）に失われる詳細な部分を画像処理によって再現する技術である。たとえば、Digital Versatile Disc(DVD)に記録されている解像度の低い画像情報を再生して表示する際、超解像技術を使うと画像の詳細な部分が再現されて、解像度の高い鮮明な画像が得られる。
【０００３】
また解像度をさらに向上させるために前処理で画像を解析してノイズ除去を行い、高解像化の処理性能を向上させようという技術がある。また前処理で画像を解析して、解析内容に応じて高解像化する方法を変更する技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５５３５号公報
【特許文献２】特開２０１０−１３００６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
入力画像信号に対する前処理を行うと、前処理でノイズと共に高解像処理に必要な情報が除去されて、高解像化に失敗する場合がある。また入力画像信号の画像解析によって得られる解析情報の精度が低い場合、解析情報が高解像化の参照情報として十分に活用されない場合がある。
【０００６】
現行の高解像処理装置は、入力される画像タイプが、予測不能である環境で使用されている。画像タイプとは、例えば撮影対象の違い、撮影環境の違い、カメラやレンズの違い、伝送方法の特性の違い、記録方法の特性の違などに基づいて区分されるタイプである。これらのタイプは、放送信号やＤＶＤからの再生信号からは予測不可能である。
【０００７】
このように現行の高解像処理装置は、特定の映像タイプに特化した最適化が十分になされていない。そのために、超解像技術の性能が最大限に発揮されずに、解像度の向上に限界がある。
【０００８】
そこでこの発明の目的は、入力画像信号に対して高解像度化処理を実施する際に、高解像度化に必要な参照情報を豊富にし、高解像度化のための性能を十分に引き出すことができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、画像変換装置は、変換画像信号を生成して中継装置を介して受信装置に送信する。前記受信装置は、受信した前記変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得るものである。この場合、前記画像変換装置では、前記中継装置の容量を低減するために原画像信号を処理して前記変換画像信号を得る。一方、変換特性抽出装置が、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する。そして前記変換画像信号および前記画像変換関連情報が前記受信装置へ送信される。
【図面の簡単な説明】
【００１０】
【図１】実施形態の構成の一例を示すブロック図である。
【図２】図１で示した変換特性情報反映器と補正回路の動作の一例を説明するために示した図である。
【図３】図１で示した変換特性情報反映器と補正回路の動作の他の例を説明するために示した図である。
【図４】図１で示した変換特性情報反映器と補正回路の動作のさらに他の例を説明するために示した図である。
【図５】図１で説明する画像変換関連情報に対応するパラメータ生成装置の一例を示す図である。
【図６】図１で説明する画像変換関連情報に対応する他のパラメータ生成装置の一例を示す図である。
【図７】図１で説明する画像変換関連情報に対応するさらに他のパラメータ生成装置の一例を示す図である。
【図８】さらに他の実施形態の構成例を示すブロック図である。
【図９】さらにまた他の実施形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。図１は、実施形態の構成の一例を示すブロック図である。１００は送信装置であり、２００は受信装置である。なお本開示で用いている用語「送信装置」、「受信装置」は、送信受信に限定するものではなく、「記録」、「再生」の関係であっても良い。また「撮像部」と「表示部」、「読み取り部」と「出力部」など種々の用語を適用可能であるが、便宜上、以下「送信装置」、「受信装置」として説明する。
【００１２】
したがって、本開示で述べる装置、方法、プログラム及びプログラム製品は、一般的な通信システム、情報記録再生装置、会社或いは公共機関における監視システム、会社内、家庭内におけるLocal Area Network (LAN)などさまざまな分野に適用可能である。
【００１３】
送信装置１００は、原画像信号の入力装置１０１を有し、原画像信号は、画像変換装置１０２、変換特性抽出装置１０３に入力する。画像変換装置１０２は、原画像信号を例えば縮小処理して、変換画像信号を出力する。この場合、変換特性抽出装置１０３は、例えば変換特性として「縮小変換特性」を画像変換関連情報として生成する。
【００１４】
ここで、画像変換装置１０２は、原画像信号を一例として縮小処理すると述べたが、本開示では、縮小処理に限定されるものではなく、後述する各種の変換処理も実施形態として含まれることも留意されたい。したがって、変換特性抽出装置１０３は、各種の変換処理に応じた変換特性を抽出することになる。
【００１５】
上記変換画像信号と画像変換関連情報は、接続装置１０４により、中継装置４００（通信回線４０１または蓄積媒体４０２を含む）に出力される。接続装置１０４は、高周波変調器、高周波受信機、相互認証装置を含んでもよい。また接続装置１０４は、送受信を目的とした符号化・復号化処理機能なども含んでもよい。ここで、通信回線は、例えばインターネット、有線通信ライン、無線通信ライン、赤外線の通信ライン、光学的な通信ラインなどを含み、通信エリアは限定されない。また蓄積装置は、録再装置、サーバー、磁気ディスク、光ディスク、半導体メモリなどを含み特定の記憶媒体に限定されることはない。統括制御ブロック１１１は、送信装置１００内の各ブロックの動作シーケンス及び動作内容をソフトウエアプログラムにより統括的に制御する。
【００１６】
上記変換画像信号と画像変換関連情報は、中継装置４００を介して、受信装置２００の接続装置２０１に入力する。接続装置２０１は、高周波受信機、高周波変調器、相互認証装置を含んでもよい。また接続装置２０１は、送受信を目的とした符号化・復号化処理機能なども含んでもよい。接続装置２０１を介して取り込まれた変換画像信号と画像変換関連情報は、超解像処理装置２０２に入力する。超解像処理装置２０２は、変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る。超解像処理装置２０２において、超解像処理が実施されるとき、超解像処理が精度良く行われ、超解像処理の性能が高められるように、前記画像変換関連情報は、超解像処理を補助するために利用される。超解像処理が施された高解像度画像信号は、表示装置２０３に入力される。統括制御ブロック２１１は、受信装置２００内の各ブロックの動作シーケンス及び動作内容をソフトウエアプログラムにより統括的に制御する。
【００１７】
超解像処理装置２０２は、図１の下段にそのブロック構成の一例を示している。接続装置２０１から入力した信号、例えばパケット列は、分離器２２１にて分離され、画像変換関連情報を含むパケットは、変換特性情報反映器２３０に入力され、画像情報を含むパケットは、画像復元回路２２３に入力される。画像復元回路２２３は、送信装置１００にて変換された変換画像信号を、元の画像信号に復元するもので復元画像信号を得る。画像復元回路２２３は、例えばパケットストリームから、画像信号を抽出している。復元画像信号は、例えば初期画像生成器２２９で画像処理されて高解像度画像生成器２２５に入力される。また復元画像信号は、誤差検出器２２４にも入力される。分離器２２１、画像復元回路２２３は接続装置２０１内に含まれていても良い。
【００１８】
高解像度画像生成器２２５は、超解像技術を利用して例えば画素の補正処理などで画像信号の解像度の向上を行う。画像信号は送信側のサンプル数以上に高解像度化されることができる。高解像度画像生成器２２５の出力は、予測低解像度画像生成器２２６に入力される。予測低解像度画像生成回路２２６は、送信装置から送られてきた画像信号と同じ解像度の画像信号（予測低解像度画像信号）を生成し、誤差検出器２２４に入力する。
【００１９】
予測低解像度画像生成回路２２６は、予測低解像度画像信号を生成する際、Point Spread Function (PSF：点広がり関数)を利用して、予測低解像度画像信号を生成している。ここで、PSFのパラメータを適用する際、変換特性情報反映器２３０からの補正パラメータが利用される。
【００２０】
予測低解像度画像信号は、本来ならば送信された画像信号と同じである筈である。しかし、変換処理・伝送処理・超解像処理の経路で誤差が生じている可能性がある。そこで、上記のように予測低解像度画像生成回路２２６では、変換特性情報反映器２３０からの補正パラメータを利用している。変換特性情報は、補正パラメータを指示する為の情報である。指示された補正パラメータは、例えば、原画像信号と予測低解像度画像信号との間の誤差分を改善できる補正パラメータである。
【００２１】
予測低解像度画像生成回路２２６は、補正パラメータを用いて、予測低解像度画像信号に生じる歪成分を抑制すべく処理（例えばフィルタリング処理・レベル調整処理など）を実行している。
【００２２】
これにより、誤差検出器２２４は、送られてきた変換画像信号内における誤差信号の発生箇所、誤差信号の大きさなどを明確にした正確な誤差信号を出力する。この誤差信号を用いて、高解像度画像生成器２２５における予測原画像信号が原画像信号に近づくように修正される。このような処理が超解像処理として繰り返し実行されている。高解像度画像生成器２２５は、解像度が向上した超解像の画像信号を出力回路２２７に供給する。
【００２３】
上記したように、画像変換装置１０２では、中継装置４００（通信回線または蓄積媒体）の容量を低減するために原画像信号を処理して変換画像信号を得る。一方、変換特性抽出装置１０３が、超解像処理を補助するための画像変換関連情報を生成する。そして、接続装置１０４が、変換画像信号および画像変換関連情報を通信回線または蓄積媒体へ出力するようにしている。
【００２４】
受信装置２００では、超解像処理の性能を高めるために、前記変換特性情報を反映させている。上記した本実施形態では、直接的に変換特性情報が送信側から送られてくるために、受信側では、変換特性を予測する必要が無く、変換特性情報を正確に認識し、かつ利用することができる。つまり受信装置は、変換特性情報を直接かつ正確に把握することができる。そして、予測原画像信号に含まれる誤差が確実に修正される。このために超解像処理装置２０２は、その性能を十分に発揮できる。
【００２５】
次に、送信側での変換特性情報の作成方法および装置、受信側での変換特性情報の反映方法および装置について説明する。
【００２６】
予測低解像度画像生成回路２２６内でのPSFの情報には、低解像度の例えば１つの画素が、周辺のどの高解像度の複数の画素から生成されるのかが記述される。低解像度の画素が作成される場合、画像サイズの縮小（低解像度化）を行う前に、高解像度の画像に対してローパスフィルタ処理を行い、ナイキスト周波数以上の高周波成分を除去することが好ましい。一方、超解像化処理を行うためには、事前にローパスフィルタ処理しないほうが理論的には超解像化に好都合である。
【００２７】
図２の例は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態の例を示している。送信側で原画像信号ＳＩＧ１（画素Ｘ１１−Ｘ３３）をフィルタ処理Ｆし、次に、1/3に縮小処理し、変換画像信号ＳＩＧ２（画素Ｙ）を得ている。受信側では、３倍の拡大処理Ｇを行い、予測原画像信号ＳＩＧ３（画素Ｘ’１１−Ｘ’３３）を得ている。この予測原画像信号ＳＩＧ３に対して、仮の補正処理が実施され超解像処理が実施される。
【００２８】
ここで予測原画像信号ＳＩＧ３がより一層、原画像信号ＳＩＧ１に近似する信号となるように、超解像処理が実施される。即ち、予測原画像信号ＳＩＧ３は、送信側と同じ特性でフィルタ処理Ｆされ、1/3に縮小される。この予測低解像度画像信号Ｙ’は、誤差検出器２２４にて、伝送されてきた低解像度画像信号Ｙと比較される。この比較結果で得られた誤差ＥＲＲ＝Ｙ−Ｙ’は、補正回路２２８に入力され、予測原画像信号ＳＩＧ３を補正するために利用される。
【００２９】
上記の補正処理が繰り返されることにより、予測原画像信号ＳＩＧ３は原画像信号ＳＩＧ１に一層近似するようになる。そして誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号であるとして判定される。
【００３０】
図２には、フィルタ処理Ｆを行う変換特性情報、つまりここではフィルタ特性の例を２種類示しており、１つは平均値フィルタによるフィルタリングを実施する例であり、他の１つはガウシアンフィルタによりフィルタリングを実施する例であり、いずれが採用されてもよい。
【００３１】
上記のように送信側で行った変換特性情報（ここではフィルタ処理Ｆの特性）が、受信側においても直接利用される。このために、予測原画像信号ＳＩＧ３を原画像信号ＳＩＧ１に近似させるための処理速度・処理負担が軽減する。
【００３２】
図３は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態とさらに他の例を示している。中継装置の容量を低減するために原画像信号を処理して変換画像信号を得る方法は、図２に示した方法に限定されるものではなく多数存在する。
【００３３】
図３において、送信側で原画像信号ＳＩＧ１（画素Ｘ１１−Ｘ３３）に対してフィルタ処理Ｆを行い、フィルタ処理画像信号ＳＩＧ２（画素Ｙ１１−Ｙ３３）を得ている。フィルタ処理Ｆは、例えば、水平方向フィルタＨＦ，垂直方向フィルタＶＦ１による２次元のフィルタ処理である。このフィルタ処理においては、空間方向（時間方向）のフィルタ処理が実施されてもよい。フィルタ処理された変換画像信号ＳＩＧ２は、中継装置を介して伝送される。
【００３４】
この場合、変換画像信号は符号化されて伝送されてもよいし、そのまま伝送されてもよい。
【００３５】
受信側では、フィルタ処理画像信号ＳＩＧ２に対して逆フィルタ処理Ｇを実施することにより、予測原画像信号ＳＩＧ３（画素Ｘ’１１−Ｘ’３３）を得ている。逆フィルタ処理Ｇは、同図（Ｂ）の（ｂ１）と（ｂ２）に比較して示すように、フィルタ処理Ｆが高域周波数を抑圧する特性であるとき、逆フィルタ処理Ｇは、高域周波数を強調する特性である。このように得られた予測原画像信号ＳＩＧ３に対して、仮の補正処理が実施され超解像処理が実施される。
【００３６】
ここで予測原画像信号ＳＩＧ３がより一層、原画像信号ＳＩＧ１に近似する信号となるように、超解像処理が実施される。即ち、予測原画像信号ＳＩＧ３は、送信側と同じ特性でフィルタ処理Ｆされ、予測フィルタ処理画像信号ＳＩＧ４（画素Ｙ’１１−Ｙ’３３）として再現される。この予測フィルタ処理画像信号ＳＩＧ４（画素Ｙ’１１−Ｙ’３３）は、誤差検出器２２４において、伝送されてきたフィルタ処理画像信号ＳＩＧ２（画素Ｙ１１−Ｙ３３）と比較される。この比較結果で得られた誤差ＥＲＲ＝Ｙ−Ｙ’は、補正回路２２８に入力され、予測原画像信号ＳＩＧ３を補正するために利用される。
【００３７】
上記の補正処理が繰り返されることにより、予測原画像信号ＳＩＧ３は原画像信号ＳＩＧ１に一層近似するようになる。そして誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号であるとして判定される。
【００３８】
図４は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態とのさらに他の例を示している。ここでは中継装置の容量を低減するために原画像信号ＳＧ１を処理して変換画像信号ＳＧ２を得る他の方法として、符号化処理を示している。原画像信号ＳＧ１の画素データが、符号化され、中継装置を介して受信側において復号化される。復号化により得られた復号画像信号ＳＧ３（画素Ｘ’１１−Ｘ’３３）の画素データには、周辺に誤差データが発生している。誤差データは、例えばブロックノイズなどである。
【００３９】
このブロックノイズを含む復号画像信号が、超解像処理された後、そのまま、予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）として採用されると、予測原画像信号にブロックノイズが含まれているか、ブロックノイズの影響で生じた成分が含まれる。
【００４０】
そこで、本実施形態では、上記予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）のノイズを除去するために、予測低解像度画像信号をフィルタＦｉ２でフィルタ処理Ｆする。そしてフィルタ処理された予測復号画像信号（画素Ｒ１１−Ｒ３３）と、復号画像信号ＳＧ３（画素Ｘ’１１−Ｘ’３３）との比較を行い、その誤差信号ＥＲＲ＝Ｘ’−Ｒに応じて予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）を補正（フィルタ特性の可変、レベル調整など）し、誤差信号のレベルを低減させる。誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号である。なお、復号画像信号ＳＧ３と予測原画像信号ＳＩＧ４の間のフィルタ処理Ｇは、最初の予測原画像信号を生成するときに使用するフィルタ処理であり、例えばランダムなノイズフィルタ処理などである。
【００４１】
ここで、上記フィルタ処理Ｆは、事前にシミュレーションなどで判明している特性を適用できる。したがって、符号化・復号化処理の種類に応じて、対応するフィルタ処理特性のパラメータを送信側から受信側で伝送することができる。
【００４２】
上記の処理は、予測低解像度画像信号に対して、修正を行う実施形態を示した。しかし、復号画像信号の超解像処理を行う前に復元画像信号に対して事前処理を行っても良い。
【００４３】
そのためには、例えば、復号画像信号に作用するフィルタ特性を決めるための情報が事前に受信装置に設定されていてもよい。
【００４４】
図５は、変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成する例を示している。中継装置の容量を低減するために原画像信号ＳＧ１を処理して変換画像信号ＳＧ２を得る例として符号化処理を示している。原画像信号ＳＧ１の画素データは送信側で符号化され、中継装置を介して受信側において復号化されるが、復号化したときに誤差データが生じる。そこで、予め、この誤差データを消去或いは低減できるようなフィルタ特性を事前に調査する。
【００４５】
即ち、復号画像信号ＳＩＧ３は、フィルタＦi３を介して誤差検出器ＲｒＤ１に入力される。誤差検出器ＲｒＤ１には、原画像信号ＳＩＧ１が入力されている。誤差検出器ＲｒＤ１は、原画像信号ＳＩＧ１の画素と復号画像信号ＳＩＧ３の対応する画素を比較し、誤差を検出する。これにより、誤差データが検出される。誤差データに応じて、フィルタＦi３のフィルタ係数が可変される。そして誤差データのレベルが許容値以下になったときのフィルタ係数が変換特性情報反映器２３０に補正パラメータ（フィルタ係数を補正するパラメータ）として決定される。
【００４６】
このときの符号化・復号化方式の識別情報と、対応する補正パラメータは、例えばメモリに格納され、受信装置の変換特性情報反映器２３０にセットされる。受信装置２００は、符号化・復号化方式の識別情報を受信したとき、変換特性情報反映器２３０にセットされている補正パラメータを出力し、先に説明したフィルタ処理Ｆに対して補正パラメータに基づくフィルタ係数を設定する。
【００４７】
上記の処理により予測原画像信号のノイズが低減され、良質の超解像処理を実現することができる。
【００４８】
図６は、さらに変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成する他の例を示している。
【００４９】
この例は、送信側で画像を縮小して送信し、受信側で縮小画像を拡大するシステムに適用するための変換特性情報及び補正パラメータの作成装置の例である。入力端子５０１に例えばテスト画像信号を入力する。テスト画像信号（原画像信号）は縮小器５０２に入力されて縮小される。縮小画像は、拡大器５０３で拡大されて元の画像信号（予測原画像信号）に復元される。
【００５０】
誤差情報検出器５０４は、原画像信号と予測原画像信号とを、例えば予め設定されたブロック単位で比較している。誤差情報検出器５０４は、ここで画像縮小・拡大の経路において発生したノイズや歪を検出する。誤差情報検出器５０４が検出したノイズや歪は、誤差抽出器５０５で抽出され、誤差低減情報生成器５０６に入力される。
【００５１】
誤差低減情報生成器５０６は、誤差が低減する方向の補正パラメータを作成して、補正回路５１１に与える。補正パラメータとしては、水平・垂直フィルタ係数、レベル制御情報などがある。補正回路５１１は、補正パラメータに応じて、拡大器５０３からの予測原画像信号にするフィルタ処理特性、あるいはレベル制御特性の可変を実行する。誤差低減情報生成器５０６は、誤差が許容範囲内に低減したら、そのときの補正パラメータを確定する。
【００５２】
確定した補正パラメータは、補正情報テーブル生成器５１０に入力されて、補正情報テーブルに登録される。補正パラメータが確定したとき、画像変換特性情報も確定される。画像変換特性情報としては、たとえば、拡大・縮小率の値を示す変換方式情報、画像の静止画或いは動画を示す静画・動画情報、動画の場合は画像動き速度はＦ１，Ｆ２，Ｆ３のいずれであるかを示す画像動き速度情報、平均輝度レベルはＡ１，Ａ２，Ａ３のいずれであるかを示す輝度レベル情報、輝度分散の情報があり、これらの特定された画像変換特性情報も前記補正情報テーブルに登録される。
【００５３】
これらの登録用の情報は、画像特性判定器５０７、処理情報認識装置５０８によって作成されている。画像特性判定器５０７は、テスト信号としての原画像信号が静止画或いは動画であるか、動画の場合は画像動き速度はＦ１，Ｆ２，Ｆ３のいずれであるか、平均輝度レベルはＡ１，Ａ２，Ａ３のいずれであるかを判定している。また輝度分散・輝度ヒストグラムなどの情報も取得することができる。処理情報認識装置５０８は、制御ブロックからの制御情報を利用して、拡大・縮小率の値を判定している。
【００５４】
この作成された補正情報テーブルは、予め受信装置２００の変換特性情報反映器２３０のメモリに格納されている。変換特性情報反映器２３０は、送信装置１００から、画像変換特性情報を受け取ったとき、画像変換特性情報に対応する補正パラメータ（誤差消去用情報と称しても良い）をテーブル上で指定することができる。そして変換特性情報反映器２３０は、指定された補正パラメータをメモリから読出し、補正回路２２８に与える。このために予測原画像信号から、変換経路の特性により固定的に生じる誤差が抑制され、高解像度画像生成器２２５に入力される。
【００５５】
上記のように、特にこのシステムは、原画像信号を変換処理し、変換画像を復元したときに生じる誤差を測定し、予め誤差消去用情報として直接受信装置２００に送信して準備している。このために、受信装置２００で誤差を抑制するための効果が顕著である。よって、予測原画像信号を原画像信号にできるだけ一致させることができ、超解像処理装置２０２の性能を最大限に発揮させることができる。
【００５６】
上記した例は、画像変換特性が画像の縮小・拡大に関する変換方式情報と、静画・動画情報、画像動き速度情報、輝度レベル情報、輝度分散情報などを示したが、これらの全部の情報が必要なわけではない。少なくとも変換方式情報だけでも本装置の効果は発揮される。上記の変換方式情報は、縮小・拡大に関する情報に限定されることはない。
【００５７】
上記の説明では、縮小器５０２からの変換画像信号を拡大器５０３に直接入力した。しかし途中に中継装置４００に相当する特性（減衰特性・周波数特性など）を擬似中継装置５１１により与えても良い。また上記の装置は、図１の送信装置１００とは独立して構成されてもよいし、図１の送信装置１００内部に一体に組み込まれてもよい。
【００５８】
図７は、さらに変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成するさらにまた他の例を示している。この例は、送信側で、原画像信号を符号化（圧縮）して符号化画像信号を生成し、符号化画像信号を送信する、受信側で、符号化画像信号を受信して復号し、復号化画像信号を生成し、そしてさらに復号化画像信号を高解像度化する装置の例である。図２の装置と同様な機能を持つブロックは図２のブロックと同じ符号を付している。図２のブロックと大きく異なる部分は、テスト信号（原画像信号）を符号化器５０２が符号化し符号化画像信号を生成し、この符号化画像信号を復号化器５０３が復号化し復号化画像信号を生成している点である。
【００５９】
補正情報テーブル生成器５１０内の補正情報テーブルには、符号化・復号化方式に応じて変換及び復元誤差を低減するための補正パラメータが登録される。
【００６０】
符号化・復号化方式は、各種の方式があり、例えばJoint Photographic Experts Group (JPEG), Moving Picture Experts Group 1/2 (MPEG 1/2), H 264/Advanced Video Coding (AVC) などの方式がある。各方式により、また送信側の変換特性により、特有の復元誤差が生じる。この復元誤差を低減することで、受信側における超解像処理の機能が十分に発揮される。
【００６１】
上記の図では、符号化器５２２からの変換画像信号を復号化器５２３に直接入力した。しかし途中に中継装置４００に相当する特性（減衰特性・周波数特性など）を擬似中継装置５１１により与えても良い。また上記の装置は、図１の送信装置１００とは独立して構成されてもよいし、図１の送信装置１００内部に一体に組み込まれてもよい。
【００６２】
上記した実施形態において、変換特性情報は上記した例に限定されるものではなく、カラーフォーマット変換特性情報と、カラーフォーマット変換特性に伴う補正パラメータであっても良い。
【００６３】
図８はさらに他の実施形態を示している。この実施形態では、送信装置１００において、画像特性検出装置１０６が設けられている。この画像特性検出装置１０６は、例えば、図６、図７で説明したように動画・静止画、平均輝度レベル、同期乱れ情報などを検出する。さらには、微小な画像動きを含む２エリア以上を選択して、このような画像が存在しないフレームを画像変換装置１０２が間引くように、該画像変換装置１０２を制御することができる。このような処理は、例えば、オブジェクトの抽出処理に想到し、背景のみの画像信号のフレームが間引かれることを意味する。またオブジェクトの変位の抽出や分離を意味する。例えば、人の顔などがオブジェクトの場合があり得る。この場合、微小な画像動きを含む２エリアは、人の目の画像の可能性がある。このような機能は監視装置においては重要である。
【００６４】
また同期乱れや、平均輝度レベルが異常に大きい場合は、このことが画像特性検出装置１０６により検出されて、当該フレームの間引きが行われるように、画像変換装置１０２が制御されても良い。監視システムにおいて、カメラの設置地域が、異常電波の多い地域であり、同期乱れが多い場合の監視映像は不要とされる場合がある。このような場合は、同期乱れにより、同期が乱れている期間のフレームが間引かれるようにしてもよい。また、時々、異常な光線がカメラに入射（例えば車の照明ライト）するような地域の場合、輝度レベルが異常に高くなり、監視映像は不要とされる場合がある。このような場合もフレームが間引かれるか、またはレベルが大きく抑制されるようにしてもよい。
【００６５】
なお変換特性情報と対応する画像信号は互いに同期するように、変換特性情報及び画像信号を送信するそれぞれのパケットストリームに含まれる例えばタイムスタンプが同期情報として利用可能である。
【００６６】
図９はさらに他の実施形態を示している。この実施形態の送信装置２００は、受信装置２００からアップストリームで送信される要求データに対して応答することができる。要求データは、例えば、受信装置２００の統括制御ブロック２１１で発生してもよいし、超解像処理装置２０２が自動的に発生してもよい。また利用者が操作器２１３を操作することに応答して、統括制御ブロック２１１が要求データを発生しても良い。
【００６７】
要求データにより要求する内容は各種が可能である。例えば、変換画像信号や変換特性情報の送信停止、送信再開などのように、変換特性抽出機能を制御するような要求データがある。また画像変換特性の切替え、画像特徴抽出項目の切り替えや変更などを行う要求データがある。たとえば、動画を変換した変換画像信号のみが送信されることを要求したり、静止画のみを変換した変換画像信号のみが送信されることを要求したりすることができる。また、時間帯（たとえば夜間・昼間）に応じて、輝度レベルを抑制しての画像変換、輝度レベルを増強しての画像変換が実効されるようにしてもよい。
【００６８】
また、画像変換装置１０２で得られる複数枚の画像フレームを、中継装置における通信手段また蓄積手段に含まれる多視点映像符号化によって圧縮するような指令を行う要求データでもよい。またフレーム内から画像変換を行うエリアを特定するような要求データであってもよい。
【００６９】
上記した実施形態は装置及び方法として説明したが、このような装置及び方法実現するためのＩＣチップ、コンピュータを動作させるためのプログラム及びこのプログラムを格納した記憶媒体も本発明の範疇である。
【００７０】
また、本開示では、送信側で原画像信号のデータ量を低減して伝送するための低解像度画像信号を作成しているが、伝送するための画像信号を得る技術は各種存在する。したがって、本開示では、伝送するための画像信号を変換画像信号と総称してもよい。また、受信側では、原画像信号に近似する画像信号を予測原画像信号、予測フィルタ処理画像信号などと称したが、これらの用語にとらわれることはなく、総称して復元画像信号と称してもよい。
【００７１】
即ち、本開示内容は、中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムとして利用できる。そしてこのプログラムは、前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを有するものである。
【００７２】
また、本開示内容は、上記の画像処理方法を実現するプログラムを格納した記憶媒体に対しても適用可能である。即ち、この記憶媒体は、上記ステップをコンピュータに実効させる画像処理プログラムを格納した記憶媒体である。
【００７３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１００・・・送信装置、１０１・・・入力装置、１０２・・・画像変換装置、１０３・・・変換特性抽出装置、１０４・・・接続装置、２００・・・受信装置、２０１・・・接続装置、２０２・・・超解像処理装置、２０３・・・表示装置、２２１・・・分離器、２２３・・・画像復元回路、２２４・・・誤差検出器、２２５・・・高解像度画像生成器、２２６・・・予測低解像度画像生成装置、２２７・・・出力回路、２２８・・・補正回路、２３０・・・変換特性情報反映器。
【技術分野】
【０００１】
本発明の実施形態は画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、超解像技術を採用したテレビジョン受信装置やディスプレイが製品として市販されている。超解像技術は、画像の画素サンプリング時（撮像素子による光電変換時や縮小処理時）に失われる詳細な部分を画像処理によって再現する技術である。たとえば、Digital Versatile Disc(DVD)に記録されている解像度の低い画像情報を再生して表示する際、超解像技術を使うと画像の詳細な部分が再現されて、解像度の高い鮮明な画像が得られる。
【０００３】
また解像度をさらに向上させるために前処理で画像を解析してノイズ除去を行い、高解像化の処理性能を向上させようという技術がある。また前処理で画像を解析して、解析内容に応じて高解像化する方法を変更する技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５５３５号公報
【特許文献２】特開２０１０−１３００６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
入力画像信号に対する前処理を行うと、前処理でノイズと共に高解像処理に必要な情報が除去されて、高解像化に失敗する場合がある。また入力画像信号の画像解析によって得られる解析情報の精度が低い場合、解析情報が高解像化の参照情報として十分に活用されない場合がある。
【０００６】
現行の高解像処理装置は、入力される画像タイプが、予測不能である環境で使用されている。画像タイプとは、例えば撮影対象の違い、撮影環境の違い、カメラやレンズの違い、伝送方法の特性の違い、記録方法の特性の違などに基づいて区分されるタイプである。これらのタイプは、放送信号やＤＶＤからの再生信号からは予測不可能である。
【０００７】
このように現行の高解像処理装置は、特定の映像タイプに特化した最適化が十分になされていない。そのために、超解像技術の性能が最大限に発揮されずに、解像度の向上に限界がある。
【０００８】
そこでこの発明の目的は、入力画像信号に対して高解像度化処理を実施する際に、高解像度化に必要な参照情報を豊富にし、高解像度化のための性能を十分に引き出すことができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
実施形態によれば、画像変換装置は、変換画像信号を生成して中継装置を介して受信装置に送信する。前記受信装置は、受信した前記変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得るものである。この場合、前記画像変換装置では、前記中継装置の容量を低減するために原画像信号を処理して前記変換画像信号を得る。一方、変換特性抽出装置が、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する。そして前記変換画像信号および前記画像変換関連情報が前記受信装置へ送信される。
【図面の簡単な説明】
【００１０】
【図１】実施形態の構成の一例を示すブロック図である。
【図２】図１で示した変換特性情報反映器と補正回路の動作の一例を説明するために示した図である。
【図３】図１で示した変換特性情報反映器と補正回路の動作の他の例を説明するために示した図である。
【図４】図１で示した変換特性情報反映器と補正回路の動作のさらに他の例を説明するために示した図である。
【図５】図１で説明する画像変換関連情報に対応するパラメータ生成装置の一例を示す図である。
【図６】図１で説明する画像変換関連情報に対応する他のパラメータ生成装置の一例を示す図である。
【図７】図１で説明する画像変換関連情報に対応するさらに他のパラメータ生成装置の一例を示す図である。
【図８】さらに他の実施形態の構成例を示すブロック図である。
【図９】さらにまた他の実施形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について図面を参照して説明する。図１は、実施形態の構成の一例を示すブロック図である。１００は送信装置であり、２００は受信装置である。なお本開示で用いている用語「送信装置」、「受信装置」は、送信受信に限定するものではなく、「記録」、「再生」の関係であっても良い。また「撮像部」と「表示部」、「読み取り部」と「出力部」など種々の用語を適用可能であるが、便宜上、以下「送信装置」、「受信装置」として説明する。
【００１２】
したがって、本開示で述べる装置、方法、プログラム及びプログラム製品は、一般的な通信システム、情報記録再生装置、会社或いは公共機関における監視システム、会社内、家庭内におけるLocal Area Network (LAN)などさまざまな分野に適用可能である。
【００１３】
送信装置１００は、原画像信号の入力装置１０１を有し、原画像信号は、画像変換装置１０２、変換特性抽出装置１０３に入力する。画像変換装置１０２は、原画像信号を例えば縮小処理して、変換画像信号を出力する。この場合、変換特性抽出装置１０３は、例えば変換特性として「縮小変換特性」を画像変換関連情報として生成する。
【００１４】
ここで、画像変換装置１０２は、原画像信号を一例として縮小処理すると述べたが、本開示では、縮小処理に限定されるものではなく、後述する各種の変換処理も実施形態として含まれることも留意されたい。したがって、変換特性抽出装置１０３は、各種の変換処理に応じた変換特性を抽出することになる。
【００１５】
上記変換画像信号と画像変換関連情報は、接続装置１０４により、中継装置４００（通信回線４０１または蓄積媒体４０２を含む）に出力される。接続装置１０４は、高周波変調器、高周波受信機、相互認証装置を含んでもよい。また接続装置１０４は、送受信を目的とした符号化・復号化処理機能なども含んでもよい。ここで、通信回線は、例えばインターネット、有線通信ライン、無線通信ライン、赤外線の通信ライン、光学的な通信ラインなどを含み、通信エリアは限定されない。また蓄積装置は、録再装置、サーバー、磁気ディスク、光ディスク、半導体メモリなどを含み特定の記憶媒体に限定されることはない。統括制御ブロック１１１は、送信装置１００内の各ブロックの動作シーケンス及び動作内容をソフトウエアプログラムにより統括的に制御する。
【００１６】
上記変換画像信号と画像変換関連情報は、中継装置４００を介して、受信装置２００の接続装置２０１に入力する。接続装置２０１は、高周波受信機、高周波変調器、相互認証装置を含んでもよい。また接続装置２０１は、送受信を目的とした符号化・復号化処理機能なども含んでもよい。接続装置２０１を介して取り込まれた変換画像信号と画像変換関連情報は、超解像処理装置２０２に入力する。超解像処理装置２０２は、変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る。超解像処理装置２０２において、超解像処理が実施されるとき、超解像処理が精度良く行われ、超解像処理の性能が高められるように、前記画像変換関連情報は、超解像処理を補助するために利用される。超解像処理が施された高解像度画像信号は、表示装置２０３に入力される。統括制御ブロック２１１は、受信装置２００内の各ブロックの動作シーケンス及び動作内容をソフトウエアプログラムにより統括的に制御する。
【００１７】
超解像処理装置２０２は、図１の下段にそのブロック構成の一例を示している。接続装置２０１から入力した信号、例えばパケット列は、分離器２２１にて分離され、画像変換関連情報を含むパケットは、変換特性情報反映器２３０に入力され、画像情報を含むパケットは、画像復元回路２２３に入力される。画像復元回路２２３は、送信装置１００にて変換された変換画像信号を、元の画像信号に復元するもので復元画像信号を得る。画像復元回路２２３は、例えばパケットストリームから、画像信号を抽出している。復元画像信号は、例えば初期画像生成器２２９で画像処理されて高解像度画像生成器２２５に入力される。また復元画像信号は、誤差検出器２２４にも入力される。分離器２２１、画像復元回路２２３は接続装置２０１内に含まれていても良い。
【００１８】
高解像度画像生成器２２５は、超解像技術を利用して例えば画素の補正処理などで画像信号の解像度の向上を行う。画像信号は送信側のサンプル数以上に高解像度化されることができる。高解像度画像生成器２２５の出力は、予測低解像度画像生成器２２６に入力される。予測低解像度画像生成回路２２６は、送信装置から送られてきた画像信号と同じ解像度の画像信号（予測低解像度画像信号）を生成し、誤差検出器２２４に入力する。
【００１９】
予測低解像度画像生成回路２２６は、予測低解像度画像信号を生成する際、Point Spread Function (PSF：点広がり関数)を利用して、予測低解像度画像信号を生成している。ここで、PSFのパラメータを適用する際、変換特性情報反映器２３０からの補正パラメータが利用される。
【００２０】
予測低解像度画像信号は、本来ならば送信された画像信号と同じである筈である。しかし、変換処理・伝送処理・超解像処理の経路で誤差が生じている可能性がある。そこで、上記のように予測低解像度画像生成回路２２６では、変換特性情報反映器２３０からの補正パラメータを利用している。変換特性情報は、補正パラメータを指示する為の情報である。指示された補正パラメータは、例えば、原画像信号と予測低解像度画像信号との間の誤差分を改善できる補正パラメータである。
【００２１】
予測低解像度画像生成回路２２６は、補正パラメータを用いて、予測低解像度画像信号に生じる歪成分を抑制すべく処理（例えばフィルタリング処理・レベル調整処理など）を実行している。
【００２２】
これにより、誤差検出器２２４は、送られてきた変換画像信号内における誤差信号の発生箇所、誤差信号の大きさなどを明確にした正確な誤差信号を出力する。この誤差信号を用いて、高解像度画像生成器２２５における予測原画像信号が原画像信号に近づくように修正される。このような処理が超解像処理として繰り返し実行されている。高解像度画像生成器２２５は、解像度が向上した超解像の画像信号を出力回路２２７に供給する。
【００２３】
上記したように、画像変換装置１０２では、中継装置４００（通信回線または蓄積媒体）の容量を低減するために原画像信号を処理して変換画像信号を得る。一方、変換特性抽出装置１０３が、超解像処理を補助するための画像変換関連情報を生成する。そして、接続装置１０４が、変換画像信号および画像変換関連情報を通信回線または蓄積媒体へ出力するようにしている。
【００２４】
受信装置２００では、超解像処理の性能を高めるために、前記変換特性情報を反映させている。上記した本実施形態では、直接的に変換特性情報が送信側から送られてくるために、受信側では、変換特性を予測する必要が無く、変換特性情報を正確に認識し、かつ利用することができる。つまり受信装置は、変換特性情報を直接かつ正確に把握することができる。そして、予測原画像信号に含まれる誤差が確実に修正される。このために超解像処理装置２０２は、その性能を十分に発揮できる。
【００２５】
次に、送信側での変換特性情報の作成方法および装置、受信側での変換特性情報の反映方法および装置について説明する。
【００２６】
予測低解像度画像生成回路２２６内でのPSFの情報には、低解像度の例えば１つの画素が、周辺のどの高解像度の複数の画素から生成されるのかが記述される。低解像度の画素が作成される場合、画像サイズの縮小（低解像度化）を行う前に、高解像度の画像に対してローパスフィルタ処理を行い、ナイキスト周波数以上の高周波成分を除去することが好ましい。一方、超解像化処理を行うためには、事前にローパスフィルタ処理しないほうが理論的には超解像化に好都合である。
【００２７】
図２の例は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態の例を示している。送信側で原画像信号ＳＩＧ１（画素Ｘ１１−Ｘ３３）をフィルタ処理Ｆし、次に、1/3に縮小処理し、変換画像信号ＳＩＧ２（画素Ｙ）を得ている。受信側では、３倍の拡大処理Ｇを行い、予測原画像信号ＳＩＧ３（画素Ｘ’１１−Ｘ’３３）を得ている。この予測原画像信号ＳＩＧ３に対して、仮の補正処理が実施され超解像処理が実施される。
【００２８】
ここで予測原画像信号ＳＩＧ３がより一層、原画像信号ＳＩＧ１に近似する信号となるように、超解像処理が実施される。即ち、予測原画像信号ＳＩＧ３は、送信側と同じ特性でフィルタ処理Ｆされ、1/3に縮小される。この予測低解像度画像信号Ｙ’は、誤差検出器２２４にて、伝送されてきた低解像度画像信号Ｙと比較される。この比較結果で得られた誤差ＥＲＲ＝Ｙ−Ｙ’は、補正回路２２８に入力され、予測原画像信号ＳＩＧ３を補正するために利用される。
【００２９】
上記の補正処理が繰り返されることにより、予測原画像信号ＳＩＧ３は原画像信号ＳＩＧ１に一層近似するようになる。そして誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号であるとして判定される。
【００３０】
図２には、フィルタ処理Ｆを行う変換特性情報、つまりここではフィルタ特性の例を２種類示しており、１つは平均値フィルタによるフィルタリングを実施する例であり、他の１つはガウシアンフィルタによりフィルタリングを実施する例であり、いずれが採用されてもよい。
【００３１】
上記のように送信側で行った変換特性情報（ここではフィルタ処理Ｆの特性）が、受信側においても直接利用される。このために、予測原画像信号ＳＩＧ３を原画像信号ＳＩＧ１に近似させるための処理速度・処理負担が軽減する。
【００３２】
図３は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態とさらに他の例を示している。中継装置の容量を低減するために原画像信号を処理して変換画像信号を得る方法は、図２に示した方法に限定されるものではなく多数存在する。
【００３３】
図３において、送信側で原画像信号ＳＩＧ１（画素Ｘ１１−Ｘ３３）に対してフィルタ処理Ｆを行い、フィルタ処理画像信号ＳＩＧ２（画素Ｙ１１−Ｙ３３）を得ている。フィルタ処理Ｆは、例えば、水平方向フィルタＨＦ，垂直方向フィルタＶＦ１による２次元のフィルタ処理である。このフィルタ処理においては、空間方向（時間方向）のフィルタ処理が実施されてもよい。フィルタ処理された変換画像信号ＳＩＧ２は、中継装置を介して伝送される。
【００３４】
この場合、変換画像信号は符号化されて伝送されてもよいし、そのまま伝送されてもよい。
【００３５】
受信側では、フィルタ処理画像信号ＳＩＧ２に対して逆フィルタ処理Ｇを実施することにより、予測原画像信号ＳＩＧ３（画素Ｘ’１１−Ｘ’３３）を得ている。逆フィルタ処理Ｇは、同図（Ｂ）の（ｂ１）と（ｂ２）に比較して示すように、フィルタ処理Ｆが高域周波数を抑圧する特性であるとき、逆フィルタ処理Ｇは、高域周波数を強調する特性である。このように得られた予測原画像信号ＳＩＧ３に対して、仮の補正処理が実施され超解像処理が実施される。
【００３６】
ここで予測原画像信号ＳＩＧ３がより一層、原画像信号ＳＩＧ１に近似する信号となるように、超解像処理が実施される。即ち、予測原画像信号ＳＩＧ３は、送信側と同じ特性でフィルタ処理Ｆされ、予測フィルタ処理画像信号ＳＩＧ４（画素Ｙ’１１−Ｙ’３３）として再現される。この予測フィルタ処理画像信号ＳＩＧ４（画素Ｙ’１１−Ｙ’３３）は、誤差検出器２２４において、伝送されてきたフィルタ処理画像信号ＳＩＧ２（画素Ｙ１１−Ｙ３３）と比較される。この比較結果で得られた誤差ＥＲＲ＝Ｙ−Ｙ’は、補正回路２２８に入力され、予測原画像信号ＳＩＧ３を補正するために利用される。
【００３７】
上記の補正処理が繰り返されることにより、予測原画像信号ＳＩＧ３は原画像信号ＳＩＧ１に一層近似するようになる。そして誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号であるとして判定される。
【００３８】
図４は、画像変換及び伝送と、受信処理と、変換特性情報の利用状態とのさらに他の例を示している。ここでは中継装置の容量を低減するために原画像信号ＳＧ１を処理して変換画像信号ＳＧ２を得る他の方法として、符号化処理を示している。原画像信号ＳＧ１の画素データが、符号化され、中継装置を介して受信側において復号化される。復号化により得られた復号画像信号ＳＧ３（画素Ｘ’１１−Ｘ’３３）の画素データには、周辺に誤差データが発生している。誤差データは、例えばブロックノイズなどである。
【００３９】
このブロックノイズを含む復号画像信号が、超解像処理された後、そのまま、予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）として採用されると、予測原画像信号にブロックノイズが含まれているか、ブロックノイズの影響で生じた成分が含まれる。
【００４０】
そこで、本実施形態では、上記予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）のノイズを除去するために、予測低解像度画像信号をフィルタＦｉ２でフィルタ処理Ｆする。そしてフィルタ処理された予測復号画像信号（画素Ｒ１１−Ｒ３３）と、復号画像信号ＳＧ３（画素Ｘ’１１−Ｘ’３３）との比較を行い、その誤差信号ＥＲＲ＝Ｘ’−Ｒに応じて予測原画像信号ＳＩＧ４（画素Ｚ１１−Ｚ３３）を補正（フィルタ特性の可変、レベル調整など）し、誤差信号のレベルを低減させる。誤差信号のレベルが許容範囲になったときが、有用な高解像度画像信号である。なお、復号画像信号ＳＧ３と予測原画像信号ＳＩＧ４の間のフィルタ処理Ｇは、最初の予測原画像信号を生成するときに使用するフィルタ処理であり、例えばランダムなノイズフィルタ処理などである。
【００４１】
ここで、上記フィルタ処理Ｆは、事前にシミュレーションなどで判明している特性を適用できる。したがって、符号化・復号化処理の種類に応じて、対応するフィルタ処理特性のパラメータを送信側から受信側で伝送することができる。
【００４２】
上記の処理は、予測低解像度画像信号に対して、修正を行う実施形態を示した。しかし、復号画像信号の超解像処理を行う前に復元画像信号に対して事前処理を行っても良い。
【００４３】
そのためには、例えば、復号画像信号に作用するフィルタ特性を決めるための情報が事前に受信装置に設定されていてもよい。
【００４４】
図５は、変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成する例を示している。中継装置の容量を低減するために原画像信号ＳＧ１を処理して変換画像信号ＳＧ２を得る例として符号化処理を示している。原画像信号ＳＧ１の画素データは送信側で符号化され、中継装置を介して受信側において復号化されるが、復号化したときに誤差データが生じる。そこで、予め、この誤差データを消去或いは低減できるようなフィルタ特性を事前に調査する。
【００４５】
即ち、復号画像信号ＳＩＧ３は、フィルタＦi３を介して誤差検出器ＲｒＤ１に入力される。誤差検出器ＲｒＤ１には、原画像信号ＳＩＧ１が入力されている。誤差検出器ＲｒＤ１は、原画像信号ＳＩＧ１の画素と復号画像信号ＳＩＧ３の対応する画素を比較し、誤差を検出する。これにより、誤差データが検出される。誤差データに応じて、フィルタＦi３のフィルタ係数が可変される。そして誤差データのレベルが許容値以下になったときのフィルタ係数が変換特性情報反映器２３０に補正パラメータ（フィルタ係数を補正するパラメータ）として決定される。
【００４６】
このときの符号化・復号化方式の識別情報と、対応する補正パラメータは、例えばメモリに格納され、受信装置の変換特性情報反映器２３０にセットされる。受信装置２００は、符号化・復号化方式の識別情報を受信したとき、変換特性情報反映器２３０にセットされている補正パラメータを出力し、先に説明したフィルタ処理Ｆに対して補正パラメータに基づくフィルタ係数を設定する。
【００４７】
上記の処理により予測原画像信号のノイズが低減され、良質の超解像処理を実現することができる。
【００４８】
図６は、さらに変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成する他の例を示している。
【００４９】
この例は、送信側で画像を縮小して送信し、受信側で縮小画像を拡大するシステムに適用するための変換特性情報及び補正パラメータの作成装置の例である。入力端子５０１に例えばテスト画像信号を入力する。テスト画像信号（原画像信号）は縮小器５０２に入力されて縮小される。縮小画像は、拡大器５０３で拡大されて元の画像信号（予測原画像信号）に復元される。
【００５０】
誤差情報検出器５０４は、原画像信号と予測原画像信号とを、例えば予め設定されたブロック単位で比較している。誤差情報検出器５０４は、ここで画像縮小・拡大の経路において発生したノイズや歪を検出する。誤差情報検出器５０４が検出したノイズや歪は、誤差抽出器５０５で抽出され、誤差低減情報生成器５０６に入力される。
【００５１】
誤差低減情報生成器５０６は、誤差が低減する方向の補正パラメータを作成して、補正回路５１１に与える。補正パラメータとしては、水平・垂直フィルタ係数、レベル制御情報などがある。補正回路５１１は、補正パラメータに応じて、拡大器５０３からの予測原画像信号にするフィルタ処理特性、あるいはレベル制御特性の可変を実行する。誤差低減情報生成器５０６は、誤差が許容範囲内に低減したら、そのときの補正パラメータを確定する。
【００５２】
確定した補正パラメータは、補正情報テーブル生成器５１０に入力されて、補正情報テーブルに登録される。補正パラメータが確定したとき、画像変換特性情報も確定される。画像変換特性情報としては、たとえば、拡大・縮小率の値を示す変換方式情報、画像の静止画或いは動画を示す静画・動画情報、動画の場合は画像動き速度はＦ１，Ｆ２，Ｆ３のいずれであるかを示す画像動き速度情報、平均輝度レベルはＡ１，Ａ２，Ａ３のいずれであるかを示す輝度レベル情報、輝度分散の情報があり、これらの特定された画像変換特性情報も前記補正情報テーブルに登録される。
【００５３】
これらの登録用の情報は、画像特性判定器５０７、処理情報認識装置５０８によって作成されている。画像特性判定器５０７は、テスト信号としての原画像信号が静止画或いは動画であるか、動画の場合は画像動き速度はＦ１，Ｆ２，Ｆ３のいずれであるか、平均輝度レベルはＡ１，Ａ２，Ａ３のいずれであるかを判定している。また輝度分散・輝度ヒストグラムなどの情報も取得することができる。処理情報認識装置５０８は、制御ブロックからの制御情報を利用して、拡大・縮小率の値を判定している。
【００５４】
この作成された補正情報テーブルは、予め受信装置２００の変換特性情報反映器２３０のメモリに格納されている。変換特性情報反映器２３０は、送信装置１００から、画像変換特性情報を受け取ったとき、画像変換特性情報に対応する補正パラメータ（誤差消去用情報と称しても良い）をテーブル上で指定することができる。そして変換特性情報反映器２３０は、指定された補正パラメータをメモリから読出し、補正回路２２８に与える。このために予測原画像信号から、変換経路の特性により固定的に生じる誤差が抑制され、高解像度画像生成器２２５に入力される。
【００５５】
上記のように、特にこのシステムは、原画像信号を変換処理し、変換画像を復元したときに生じる誤差を測定し、予め誤差消去用情報として直接受信装置２００に送信して準備している。このために、受信装置２００で誤差を抑制するための効果が顕著である。よって、予測原画像信号を原画像信号にできるだけ一致させることができ、超解像処理装置２０２の性能を最大限に発揮させることができる。
【００５６】
上記した例は、画像変換特性が画像の縮小・拡大に関する変換方式情報と、静画・動画情報、画像動き速度情報、輝度レベル情報、輝度分散情報などを示したが、これらの全部の情報が必要なわけではない。少なくとも変換方式情報だけでも本装置の効果は発揮される。上記の変換方式情報は、縮小・拡大に関する情報に限定されることはない。
【００５７】
上記の説明では、縮小器５０２からの変換画像信号を拡大器５０３に直接入力した。しかし途中に中継装置４００に相当する特性（減衰特性・周波数特性など）を擬似中継装置５１１により与えても良い。また上記の装置は、図１の送信装置１００とは独立して構成されてもよいし、図１の送信装置１００内部に一体に組み込まれてもよい。
【００５８】
図７は、さらに変換特性情報反映器２３０にセットするための変換特性情報及び補正パラメータを事前に作成するさらにまた他の例を示している。この例は、送信側で、原画像信号を符号化（圧縮）して符号化画像信号を生成し、符号化画像信号を送信する、受信側で、符号化画像信号を受信して復号し、復号化画像信号を生成し、そしてさらに復号化画像信号を高解像度化する装置の例である。図２の装置と同様な機能を持つブロックは図２のブロックと同じ符号を付している。図２のブロックと大きく異なる部分は、テスト信号（原画像信号）を符号化器５０２が符号化し符号化画像信号を生成し、この符号化画像信号を復号化器５０３が復号化し復号化画像信号を生成している点である。
【００５９】
補正情報テーブル生成器５１０内の補正情報テーブルには、符号化・復号化方式に応じて変換及び復元誤差を低減するための補正パラメータが登録される。
【００６０】
符号化・復号化方式は、各種の方式があり、例えばJoint Photographic Experts Group (JPEG), Moving Picture Experts Group 1/2 (MPEG 1/2), H 264/Advanced Video Coding (AVC) などの方式がある。各方式により、また送信側の変換特性により、特有の復元誤差が生じる。この復元誤差を低減することで、受信側における超解像処理の機能が十分に発揮される。
【００６１】
上記の図では、符号化器５２２からの変換画像信号を復号化器５２３に直接入力した。しかし途中に中継装置４００に相当する特性（減衰特性・周波数特性など）を擬似中継装置５１１により与えても良い。また上記の装置は、図１の送信装置１００とは独立して構成されてもよいし、図１の送信装置１００内部に一体に組み込まれてもよい。
【００６２】
上記した実施形態において、変換特性情報は上記した例に限定されるものではなく、カラーフォーマット変換特性情報と、カラーフォーマット変換特性に伴う補正パラメータであっても良い。
【００６３】
図８はさらに他の実施形態を示している。この実施形態では、送信装置１００において、画像特性検出装置１０６が設けられている。この画像特性検出装置１０６は、例えば、図６、図７で説明したように動画・静止画、平均輝度レベル、同期乱れ情報などを検出する。さらには、微小な画像動きを含む２エリア以上を選択して、このような画像が存在しないフレームを画像変換装置１０２が間引くように、該画像変換装置１０２を制御することができる。このような処理は、例えば、オブジェクトの抽出処理に想到し、背景のみの画像信号のフレームが間引かれることを意味する。またオブジェクトの変位の抽出や分離を意味する。例えば、人の顔などがオブジェクトの場合があり得る。この場合、微小な画像動きを含む２エリアは、人の目の画像の可能性がある。このような機能は監視装置においては重要である。
【００６４】
また同期乱れや、平均輝度レベルが異常に大きい場合は、このことが画像特性検出装置１０６により検出されて、当該フレームの間引きが行われるように、画像変換装置１０２が制御されても良い。監視システムにおいて、カメラの設置地域が、異常電波の多い地域であり、同期乱れが多い場合の監視映像は不要とされる場合がある。このような場合は、同期乱れにより、同期が乱れている期間のフレームが間引かれるようにしてもよい。また、時々、異常な光線がカメラに入射（例えば車の照明ライト）するような地域の場合、輝度レベルが異常に高くなり、監視映像は不要とされる場合がある。このような場合もフレームが間引かれるか、またはレベルが大きく抑制されるようにしてもよい。
【００６５】
なお変換特性情報と対応する画像信号は互いに同期するように、変換特性情報及び画像信号を送信するそれぞれのパケットストリームに含まれる例えばタイムスタンプが同期情報として利用可能である。
【００６６】
図９はさらに他の実施形態を示している。この実施形態の送信装置２００は、受信装置２００からアップストリームで送信される要求データに対して応答することができる。要求データは、例えば、受信装置２００の統括制御ブロック２１１で発生してもよいし、超解像処理装置２０２が自動的に発生してもよい。また利用者が操作器２１３を操作することに応答して、統括制御ブロック２１１が要求データを発生しても良い。
【００６７】
要求データにより要求する内容は各種が可能である。例えば、変換画像信号や変換特性情報の送信停止、送信再開などのように、変換特性抽出機能を制御するような要求データがある。また画像変換特性の切替え、画像特徴抽出項目の切り替えや変更などを行う要求データがある。たとえば、動画を変換した変換画像信号のみが送信されることを要求したり、静止画のみを変換した変換画像信号のみが送信されることを要求したりすることができる。また、時間帯（たとえば夜間・昼間）に応じて、輝度レベルを抑制しての画像変換、輝度レベルを増強しての画像変換が実効されるようにしてもよい。
【００６８】
また、画像変換装置１０２で得られる複数枚の画像フレームを、中継装置における通信手段また蓄積手段に含まれる多視点映像符号化によって圧縮するような指令を行う要求データでもよい。またフレーム内から画像変換を行うエリアを特定するような要求データであってもよい。
【００６９】
上記した実施形態は装置及び方法として説明したが、このような装置及び方法実現するためのＩＣチップ、コンピュータを動作させるためのプログラム及びこのプログラムを格納した記憶媒体も本発明の範疇である。
【００７０】
また、本開示では、送信側で原画像信号のデータ量を低減して伝送するための低解像度画像信号を作成しているが、伝送するための画像信号を得る技術は各種存在する。したがって、本開示では、伝送するための画像信号を変換画像信号と総称してもよい。また、受信側では、原画像信号に近似する画像信号を予測原画像信号、予測フィルタ処理画像信号などと称したが、これらの用語にとらわれることはなく、総称して復元画像信号と称してもよい。
【００７１】
即ち、本開示内容は、中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムとして利用できる。そしてこのプログラムは、前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを有するものである。
【００７２】
また、本開示内容は、上記の画像処理方法を実現するプログラムを格納した記憶媒体に対しても適用可能である。即ち、この記憶媒体は、上記ステップをコンピュータに実効させる画像処理プログラムを格納した記憶媒体である。
【００７３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７４】
１００・・・送信装置、１０１・・・入力装置、１０２・・・画像変換装置、１０３・・・変換特性抽出装置、１０４・・・接続装置、２００・・・受信装置、２０１・・・接続装置、２０２・・・超解像処理装置、２０３・・・表示装置、２２１・・・分離器、２２３・・・画像復元回路、２２４・・・誤差検出器、２２５・・・高解像度画像生成器、２２６・・・予測低解像度画像生成装置、２２７・・・出力回路、２２８・・・補正回路、２３０・・・変換特性情報反映器。
【特許請求の範囲】
【請求項１】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置であって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を得る画像変換装置と、
前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する変換特性抽出装置と、
前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力する接続装置を有する画像処理装置。
【請求項２】
前記画像変換装置は、前記原画像信号の画面サイズを縮小処理することで前記変換画像信号を得て出力し、
前記変換特性抽出装置は、前記画面サイズの縮小率情報を含む前記画像変換関連情報を生成する、請求項１記載の画像処理装置。
【請求項３】
前記変換特性抽出装置は、前記原画像信号に対して施されたフィルタ処理特性情報を前記画像変換関連情報に付加する、請求項１または２記載の画像処理装置。
【請求項４】
前記画像変換装置は、前記原画像信号を符号化処理することで前記変換画像信号を得て出力し、
前記変換特性抽出装置は、前記符号化処理の方式情報を前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項５】
前記画像変換装置は、前記原画像信号を不可逆圧縮処理することで前記変換画像信号を生成し、
前記変換特性抽出装置は、前記不可逆圧縮処理された前記変換画像信号を復号したときの復号画像信号と前記原画像信号との誤差情報を、前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項６】
前記画像変換装置は、前記原画像信号のカラーフォーマットを変換することで前記変換画像信号を生成し、
前記変換特性抽出装置は、前記カラーフォーマットの変換情報を、前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項７】
さらに、前記原画像信号の画像特性を検出する画像特性検出装置を有し、前記画像変換装置は前記画像特性検出装置の検出結果に応じて適応的に画像変換を行う、請求項１記載の画像処理装置。
【請求項８】
前記画像特性検出装置は、前記原画像信号の特定のオブジェクトの変化を検出し、前記画像変換装置は前記オブジェクトの変化の無いフレームを間引きする画像変換を行う、請求項７記載の画像処理装置。
【請求項９】
前記変換特性抽出装置は、前記受信装置からの要求データに応じて、変換特性抽出機能が制御される請求項１記載の画像処理装置。
【請求項１０】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置の画像処理方法であって、
画像変換装置により前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成し、
変換特性抽出装置により前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成し、
接続装置により前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力する画像処理方法。
【請求項１１】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムであって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、
前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、
前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを有した画像処理プログラム。
【請求項１２】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムを格納した記憶媒体であって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを実効させる画像処理プログラム、を格納した記憶媒体。
【請求項１】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置であって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を得る画像変換装置と、
前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成する変換特性抽出装置と、
前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力する接続装置を有する画像処理装置。
【請求項２】
前記画像変換装置は、前記原画像信号の画面サイズを縮小処理することで前記変換画像信号を得て出力し、
前記変換特性抽出装置は、前記画面サイズの縮小率情報を含む前記画像変換関連情報を生成する、請求項１記載の画像処理装置。
【請求項３】
前記変換特性抽出装置は、前記原画像信号に対して施されたフィルタ処理特性情報を前記画像変換関連情報に付加する、請求項１または２記載の画像処理装置。
【請求項４】
前記画像変換装置は、前記原画像信号を符号化処理することで前記変換画像信号を得て出力し、
前記変換特性抽出装置は、前記符号化処理の方式情報を前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項５】
前記画像変換装置は、前記原画像信号を不可逆圧縮処理することで前記変換画像信号を生成し、
前記変換特性抽出装置は、前記不可逆圧縮処理された前記変換画像信号を復号したときの復号画像信号と前記原画像信号との誤差情報を、前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項６】
前記画像変換装置は、前記原画像信号のカラーフォーマットを変換することで前記変換画像信号を生成し、
前記変換特性抽出装置は、前記カラーフォーマットの変換情報を、前記画像変換関連情報に付加する、請求項１記載の画像処理装置。
【請求項７】
さらに、前記原画像信号の画像特性を検出する画像特性検出装置を有し、前記画像変換装置は前記画像特性検出装置の検出結果に応じて適応的に画像変換を行う、請求項１記載の画像処理装置。
【請求項８】
前記画像特性検出装置は、前記原画像信号の特定のオブジェクトの変化を検出し、前記画像変換装置は前記オブジェクトの変化の無いフレームを間引きする画像変換を行う、請求項７記載の画像処理装置。
【請求項９】
前記変換特性抽出装置は、前記受信装置からの要求データに応じて、変換特性抽出機能が制御される請求項１記載の画像処理装置。
【請求項１０】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置の画像処理方法であって、
画像変換装置により前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成し、
変換特性抽出装置により前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成し、
接続装置により前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力する画像処理方法。
【請求項１１】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムであって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、
前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、
前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを有した画像処理プログラム。
【請求項１２】
中継装置を経て受信した変換画像信号に対して復元処理および超解像処理を施し、解像度が向上した高解像度画像信号を得る受信装置に対して、前記変換画像信号を生成して送信する装置に対して画像処理方法を実現するプログラムを格納した記憶媒体であって、
前記中継装置での容量を低減するために原画像信号を処理して前記変換画像信号を生成するステップと、前記受信装置での超解像処理の性能を高めるために、前記超解像処理を補助するための画像変換関連情報を生成するステップと、前記変換画像信号および前記画像変換関連情報を前記通信回線または蓄積媒体へ出力するステップを実効させる画像処理プログラム、を格納した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１９５８８０（Ｐ２０１２−１９５８８０Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５９８２８（Ｐ２０１１−５９８２８）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]