画像分割処理用の画像信号処理装置、方法及びプログラム
【課題】高精細の単板カラー方式の画像を低解像度化した放送用のサブ画像に変換する画像信号処理装置、方法及びプログラムを提供する。
【解決手段】本発明による画像信号処理装置１は、列画素数４ｍ×行画素数２ｎからなる単板カラー方式の画像を、隣接して連なる画素構成の列画素数２×行画素数２からなるブロック領域における各画素単位で、画素成分Ｒ，Ｇ，Ｂ，Ｗの４つの映像信号に分割する第１の分割手段（１２）と、前記４つの画像の各々を、画素成分Ｇで構成したＧ映像、及び画素成分Ｗで構成したＷ映像をそれぞれベースとし、Ｒ映像及びＢ映像の画素をカラム毎にそれぞれＧ映像とＷ映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段（１４）と、前記単板カラー方式の画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段（１６）とを備える。
【解決手段】本発明による画像信号処理装置１は、列画素数４ｍ×行画素数２ｎからなる単板カラー方式の画像を、隣接して連なる画素構成の列画素数２×行画素数２からなるブロック領域における各画素単位で、画素成分Ｒ，Ｇ，Ｂ，Ｗの４つの映像信号に分割する第１の分割手段（１２）と、前記４つの画像の各々を、画素成分Ｇで構成したＧ映像、及び画素成分Ｗで構成したＷ映像をそれぞれベースとし、Ｒ映像及びＢ映像の画素をカラム毎にそれぞれＧ映像とＷ映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段（１４）と、前記単板カラー方式の画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段（１６）とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像分割処理用の画像信号処理に関し、特に、ビデオ画像で用いられる所定のサンプリング構造を持つ単板カラー方式のカラー画像を、該サンプリング構造とは異なるサンプリング構造であって、且つ同一種類のサンプリング構造を有する複数の低解像度サブカラービデオ画像に変換する、画像分割処理用の画像信号処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えばスーパーハイビジョン（超高精細度画像）として知られる高解像度のカラーテレビ画像の信号処理や信号伝送を行う場合、ほぼリアルタイムで処理するにはデータ量が多いことに起因して、当該高解像度のフレーム画像を例えば４分割し、各分割した４つの画像領域について、並列処理することが知られている。このように４分割したフレーム画像のデータ量であれば、一般的に用いられる既存の低解像度用の信号処理や伝送路を用いて処理することができる。即ち、このような場合、高解像度のカラービデオ画像を一旦入力して、複数の低解像度のサブカラービデオ画像に変換し（以下、低解像度化処理と称する）、複数のサブカラービデオ画像を並列処理（例えば、ゲイン補正や黒レベル調整）した後、元の高解像度のカラービデオ画像を表示又は再構成することができる。
【０００３】
従来から知られている低解像度化処理に用いる信号処理装置１０１の具体例を図５に示す。図５に示す信号処理装置１０１は、高解像度の画像フレームＳｉｎを入力し、入力した画像フレームＳｉｎを、例えば４つの画面領域（第１領域〜第４領域）に対応する複数の低解像度サブ画像に分割する。更に、信号処理装置１０１は、各分割した領域の画像データを第１〜第４フレームメモリ１０２，１０３，１０４，１０５に振り分けて格納し、各サブ画像について格納したそれぞれのフレームメモリから読み出す時間軸を調整し、並列に同期して各サブ画像ｓｕｂＳｏｕｔ１〜ｓｕｂＳｏｕｔ４を出力する。これにより、高解像度のカラーテレビ画像の信号処理や信号伝送の処理負担を分散させることができる。
【０００４】
一方、図６に示すように、入力された高解像度の画像フレームＳｉｎについて低解像度化処理する他の例として、該画像フレームＳｉｎの各画素Ｓを、垂直（列）画素２個×水平（行）画素１個からなる画素ブロックＵ（図６の例において、２×１画素ブロックと称する）で、複数のサブ画像に順次割り当てて、各サブ画像Ｓ’ｏｕｔ１〜Ｓ’ｏｕｔ４を生成する方法が開示されている（例えば、非特許文献１参照）。
【０００５】
また、固体撮像素子に関しては、固体撮像素子の出力信号端子の構成等に基づいて、高解像度の画像を列単位や行単位で固有の出力フォーマットに分割し、低解像度のサブ画像に変換して出力する方法も知られており、この出力フォーマットに従って画像信号を処理する手法もよく用いられている。
【０００６】
【非特許文献１】全米映画1209511319530_0.htmビジョン技術者協会規格書，Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ （ＳＭＰＴＥ） ４３５−１
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した図５及び図６に示す従来の方式は、サンプリング構造４：４：４型，４：２：２型，又は４：２：０型の放送用の高画質ビデオ信号をそれぞれ低解像度化処理するのに一般化されたものである。即ち、放送に用いられる既知の低解像度化処理は、相対的に低画質とされる単板カラーカメラの映像信号を低解像度化するのには向いていない。これは、単板カラーカメラのサンプリング構造が一般的に用いられる放送用のサンプリング構造のものと大きく異なるためである。また、放送用の高画質ビデオ信号は、例えばＨＤ−ＳＤＩに代表されるように放送用動画像の場合、４：２：２型のサンプリング構造を持つインターフェースが主に用いられることにもよる。
【０００８】
そこで、従来では、このような単板カラー画像を低解像度化処理するために、固有の映像フォーマットに変換して信号伝送に用いるか、又は再サンプリングして従来の高画質ビデオ信号のインターフェースにマッピングする方法が用いられてきた。
【０００９】
しかしながら、ほぼリアルタイムの低解像度化処理が要求される用途では、このような固有の映像フォーマットに変換して信号伝送に用いる処理やマッピングする方法は、その後の処理の処理コストが大きく、或いは又、要求されるメモリサイズが増大するという問題がある。
【００１０】
更に、近年デジタルスチルカメラに用いられる多画素撮像素子の開発が進むにつれ、高精細で高フレームレートの単板カラー映像信号の伝送や信号処理も従来の高画質ビデオ信号と同様な処理能力や信号伝送容量を必要とするものが増えてきている。特に、固体撮像素子のカラービデオ画像によく用いられる、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、白（Ｗ）（或いは、Ｗの代わりに、Ｇと同じか、又は別の色を構成する４色目の色）の信号における１フレームのサンプリングパターンが異なる場合（例えば、色フィルタを用いた単板ビデオカラーカメラの撮像素子出力信号）、高速な信号処理を実現するためには、単にパイプライン処理に適した低解像度化処理が必要となる。
【００１１】
本発明の目的は、上記課題を解決するために、ビデオ画像で用いられる所定のサンプリング構造を持つ単板カラー方式のカラー画像を、放送用のサンプリング構造の低解像度カラー画像に変換する画像信号処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明による画像信号処理装置は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置であって、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する第１の分割手段と、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段と、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段とを備えることを特徴とする。
【００１３】
更に、本発明による画像信号処理装置において、前記第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力することを特徴とする。
【００１４】
更に、本発明による画像信号処理装置において、前記撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｗ，Ｒ，Ｂからなり、前記撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｇ’，Ｒ，Ｂからなることを特徴とする。
【００１５】
更に、本発明による画像信号処理方法は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理方法であって、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを含むことを特徴とする。
【００１６】
更に、本発明は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置として構成するコンピュータに、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを実行させるための画像信号処理プログラムとしても特徴付けられる。
【発明の効果】
【００１７】
本発明によれば、例えば高精細で高フレームレートの単板カラー信号を変換し、従来、高画質カラー画像に用いられてきた放送用のサンプリング構造（例えば、４：２：２型）の映像に変換するため、既存の放送用等の映像処理に用いられてきた並列信号処理装置、又は伝送用のインターフェース装置を利用することができるようになる。
【発明を実施するための最良の形態】
【００１８】
本発明による画像信号処理装置は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置である。入力される撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成される。例えば、撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ（緑），Ｗ（白），Ｒ（赤），Ｂ（黒）からなる。或いは又、撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ（緑），Ｇ’（代表的には、緑であるが、原理的に他の任意の色とできる），Ｒ（赤），Ｂ（青）からなる。
【００１９】
本発明による画像信号処理装置は、第１の分割手段と第２の分割手段とを少なくとも備え、最終的には、撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する。第１の分割手段は、撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する。第２の分割手段は、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する。特に、後述で明らかとなるが、第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力する。
【００２０】
以下、本発明による一実施例の画像信号処理装置を説明する。一実施例の画像信号処理装置は、単板カラー方式の撮像素子において現在よく用いられるベイヤー型カラーフィルタ（又は、４色の異なる分光特性を持つ４色フィルタ型カラーフィルタ）によって撮像された映像信号を、放送用動画像の伝送フォーマットとして用いられる映像フォーマット（例えば、最もよく用いられる４：２：２型）のサンプリングパターンの信号に変換する装置である。
【００２１】
図１に、本発明による一実施例の画像信号処理装置の動作概略図を示す。また、図３に本発明による一実施例の画像信号処理装置のブロック図を示す。本実施例の画像信号処理装置１は、入力される単板カラー方式の画像信号を、同一種類のサンプリング構造を有する複数のサブ画像を生成するために、まず、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、画素成分Ｒ，Ｇ，Ｂ，Ｗ毎の４つの画像に分割する。図１では、本実施例の画像信号処理装置１は、単板カラー方式の各画素Ｓ（例示する、Ｓ１，Ｓ２，Ｓ３，Ｓ４，．．．，Ｓｂ，Ｓｃ）において、２×２画素からなる基本画素ブロックＵ単位で複数のサブ画像に予め定めた順で割り当て、例えば４：２：２型のサンプリング構造を有する２つのサブ画像Ｓｏｕｔ１，Ｓｏｕｔ２を生成することができる。尚、各画素Ｓの色は、２×２画素内で、異なる分光特性を持つフィルタ等を通して撮像された映像信号である。即ち、図１は、４色の異なる分光特性を持つフィルタが２×２画素単位で繰り返し配置された画素から得られる単板カラービデオ信号を入力信号とする例である。
【００２２】
現時点において、処理又は伝送される放送用の画像の映像フォーマットとして、ＲＧＢ又はＹＣｒＣｂ方式（輝度及び色差信号方式）では、４：４：４型、４：２：２型、及び４：２：０型が知られており、単板カラー方式では、ベイヤー型、４色フィルタ型が知られている。本実施例の画像信号処理装置１の低解像度化処理において、入力される単板カラー方式の画像のサンプリング構造は、単板カラー方式におけるベイヤー型及び４色フィルタ型におけるいずれのサンプリング構造の画像を、ＲＧＢ方式又は輝度及び色差信号方式の４：４：４型、４：２：２型、及び４：２：０型のいずれかに同一種の構造で複数のサブ画像に変換することで、画像処理の効率化を図る。
【００２３】
各サンプリング構造について説明すると、図２に示すように、画素Ｓは、１画素のサンプリングパターンと考えることができる。従って、Ｇ，Ｂ，Ｒのビデオ信号の４：４：４のサンプリングパターンに対応した映像フォーマットでは、図２（Ａ）に示すα，β，γをＲ，Ｇ，Ｂに対応させたパターンに相当する。この場合、図２（Ａ）は、１つの画素位置に、α（Ｒ），β（Ｇ），γ（Ｂ）の３つの画素データ１００ａ，１０１ａ，１０２ａが存在することを示している。
【００２４】
また、Ｇ，Ｂ，Ｒのビデオ信号のサンプリングパターンが４：２：２又は４：２：０の場合には、それぞれ図２（Ｂ）及び図２（Ｃ）に示すように、α，β，γをＲ，Ｇ，Ｂに対応させたパターンに相当する。この場合、Ｂ，Ｒのデータは、水平方向に１画素おきか、又は水平、垂直方向に１画素おきに存在することになる。本実施例の画像信号処理装置１では、２×２画素ブロック割り当てによる低解像度化処理を施すため、このＢ，Ｒのサンプリングの実際の位置として、Ｇ信号のサンプリング位置と同じであるか、又は隣接したＧ信号の間であるかは、本実施例の画像信号処理装置１では問題とならない。
【００２５】
また、図２において、α，β，γをＣｒ，Ｙ，Ｃｂに対応させることにより、輝度信号Ｙ，２つの色差信号Ｃｂ，Ｃｒにも同様に適用することができ、Ｙ，Ｃｂ，Ｃｒのビデオ信号の４：４：４型のサンプリングパターンが存在し、Ｙ，Ｃｂ，Ｃｒのビデオ信号のサンプリングパターンが４：２：２型、４：２：０型の場合には、それぞれ図２（Ｂ）及び図２（Ｃ）に示すように、Ｃｂ，Ｃｒのデータは、水平方向に１画素おきか、又は水平垂直方向に１画素おきに存在する。この場合も同様に、本実施例の画像信号処理装置１では、２×２画素ブロック割り当てによる低解像度化処理を施すため、本実施例の画像信号処理装置１では問題とならない。
【００２６】
更に、本実施例の画像信号処理装置１は、図２（Ｄ）又は図２（Ｅ）にそれぞれ示すベイヤー型又は４色カラーフィルタを用いた単板カラーカメラのサンプリングパターンを入力画像とするものであるが、前述した図２（Ａ）〜（Ｃ）に示すサンプリング構造とは大きく異なり、従来から知られる画像信号処理装置をそのまま適用することができないことが分かる。
【００２７】
図１では、画像信号処理装置１は、４ｍ×２ｎ画素の入力ビデオ画像が供給され、同じフレーム周波数を持つ２つの２ｍ×ｎ画素の４：２：２型のサンプリング構造のカラービデオ画像に分割する例を示している。尚、所定の有効画素（Ｎｘ，Ｎｙ）の入力画像を考慮して、水平方向の画素数（１つの画像フレームにおける行画素の数）Ｎｘが、４ｍ−２の画素数で入力画像が供給される場合には、低解像度化処理を行う前に、２画素分のダミーデータを仮想的に挿入することにより、画素数４ｍの信号として扱うようにする。
【００２８】
また、垂直方向の画素数（１つの画像フレームにおける列画素の数）Ｎｙが、奇数ラインの画素数で入力画像が供給される場合には、低解像度化処理を行う前に、１ライン分のダミーデータを挿入するようにする。このように、画像信号処理装置１は、入力画像が４ｍ×２ｎの画素数で低解像度処理をするために、必要であればダミーデータを挿入する。尚、特定のブロックサイズを“列画素数×行画素数”と表す。
【００２９】
従って、一実施例の画像信号処理装置１は、有効画素を１フレーム内の画素数を４ｍ×２ｎの入力ビデオ画像として設定し、２×２画素を単位画素として複数のサブ画像に予め定めた順で割り当てる。これにより、例えば水平方向に順次入力される単板カラー方式の画像の画素信号に対して、少なくとも４行分の画素数を一時メモリに格納し、その後、各一時メモリから並列に読み出して、同時に処理することができる。ここで、並列に読み出された各サブ画像は、４：２：２型のサンプリング構造に変換しており、各低解像度におけるその後の処理を既存の放送用信号処理で同一に扱うことができる。例えば、放送用信号処理の例として、図示していないが、様々な用途があり、複数のサブ画像について並列にゲイン補正や黒レベル調整、色バランス調整を施し、例えば複数枚の４：２：２型のサブ画像から当該低解像度化処理とは逆の処理（再構成処理）で、超高精細の放送用の動画像を再構成することにより、放送用信号として扱うことができ、例えばハイビジョンを超える解像度を持つ映像のリアルタイム処理を実現することができる。
【００３０】
図２を参照して、画像信号処理装置１を具体的に説明する。画像信号処理装置１は、単板カラー方式の画像信号を入力する高解像度画像入力部１１と、画素ブロック割り当て手段１２と、４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４と、画素ブロック読み出し制御手段１４と、サブ画像構成手段１５と、サブ画像信号出力部１６とを備える。
【００３１】
高解像度画像入力部１１は、単板カラー方式の撮像素子において現在よく用いられるベイヤー型カラーフィルタ（又は、４色の異なる分光特性を持つ４色フィルタ型カラーフィルタ）の単板カラー方式の画像の画素信号を、水平方向の各行画素を順次入力する。次に、水平方向の各行画素を全て入力した後、垂直方向にシフトした次の各行画素を順次入力するように繰り返して、該単板カラー方式の画像の画素信号を所定の順で連続的に入力する。ここで、入力される画像信号は、例えば、画素成分Ｒ，Ｇ，Ｂ，Ｗを１組とするサンプリングパターンの単板カラー方式の画像である。
【００３２】
画素ブロック割り当て手段１２は、第１の分割手段として機能させることができ、入力された画素信号を、２×２画素ブロック単位における各画素成分Ｒ，Ｇ，Ｂ，Ｗを予め定めた順で、各色毎に４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４に順次割り当てる。ここで、本実施例では、低解像度化修理として、当該一時メモリ毎に順に割り当て、且つ後述する画素ブロック読み出し制御手段１４で順次読み出すものとして説明するが、画素ブロック読み出し制御手段１４の読み出し制御のみで低解像度化修理を実現することもできる。画素ブロック割り当て手段１２は、入力された単板カラー方式の画像の画素信号が、所定の有効画素（Ｎｘ，Ｎｙ）の入力ビデオ画像が供給される場合に、有効画素（Ｎｘ，Ｎｙ）の端部においても常に２×２画素の基本画素ブロックを確保するために、有効画素（Ｎｘ，Ｎｙ）以外の領域の画素値に任意の値を挿入して割り当てる。
【００３３】
画素ブロック読み出し制御手段１４は、第２の分割手段として機能させることができ、例えば水平方向に予め定められた順で入力される単板カラー方式の画像の画素信号に対して、各色毎のサブ画像として並列処理することが可能となる時点で、即ち前記単板カラー方式の画像における２×２画素のブロック領域に対応する、各サブ画像の画素を送出することが可能な時点で、４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４から、各一時メモリに格納された画素信号を４：２：２型の映像フォーマットのサブ画像に適合するように並列に読み出し、同期してサブ画像構成手段１５に送出する。
【００３４】
サブ画像構成手段１５は、随意、画素ブロック読み出し制御手段１４の制御によって入力される各一時メモリの画素ブロックをそれぞれのサブ画像の画素ブロックとした、２枚の２ｍ×ｎ画素のサブ画像をそれぞれ構成し、サブ画像信号出力部１６を経て外部に出力する。ここで、２ｍ×ｎ画素のサブ画像の画素信号は、同一種類のサンプリング構造（４：２：２型の映像フォーマット）となる。また、サブ画像構成手段１５は、サブ画像を再構成することなく、各一時メモリの画素ブロックの信号を、サブ画像信号出力部１６を経て外部に出力してもよい。
【００３５】
サブ画像信号出力部１６から出力される２つの放送用のサブ画像は、当該並列処理を必要とする任意の画像処理に用いることができる。尚、本例では、好適に２つのサブ画像に分割した例を説明するが、後述するサブ画像１（Ｓｏｕｔ１），サブ画像２（Ｓｏｕｔ２）の各々を更に複数の分割画像として構成することもできる。
【００３６】
制御パラメータ設定手段１７は、入力される単板カラー方式の画像の有効画素（Ｎｘ，Ｎｙ）、及び分割数Ｎを、画素ブロック割り当て手段１２、画素ブロック読み出し制御手段１４、及び、随意設けられるサブ画像構成手段１５に対して設定する機能を有する。尚、分割数Ｎは、第１の分割手段用及び第２の分割手段用に異なる値であってもよい。本実施例では、まず第１の分割手段により各色毎に４つに分割した後、第２の分割手段により２つのサブ画像に分割する。また、分割数に応じて、適宜一時メモリの構成を変更することもできる。
【００３７】
次に、第１の分割手段、及び第２の分割手段について更に詳細に説明する。
【００３８】
図４に、画像信号処理装置１において入力される単板カラー方式の高精細入力画像と、最終的に生成される２つの４：２：２型のサブ画像との関係を示す。図４には、各画像について画素の水平又は垂直のアドレス（又は、行又は列アドレス）を示し、単板カラー方式の入力ビデオ画像に対して、どの出力ビデオ画像に割り当てられ、出力されるかを、このアドレス値で示している。
【００３９】
図４に示す例では、画像信号処理装置１は、第１の分割手段により、入力される単板カラー方式の画像Ｓｉｎを、一旦、２×２画素単位の各色Ｒ，Ｇ，Ｂ，Ｗの画素成分毎に４つのビデオ信号の画像Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４に分割する。この例において、単板カラー方式の画像Ｓｉｎは、ｍ＝９６０，ｎ＝１０８０の４ｍ×２ｎ（即ち、３８４０×２１６０画素）の画像で表されており、４つのビデオ信号Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像は、１９２０×１０８０画素の単色の画像に分割される。
【００４０】
更に、画像信号処理装置１は、第２の分割手段により、４つのビデオ信号Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像を、２枚の４：２：２型のサブ画像Ｓｏｕｔ１，Ｓｏｕｔ２に分割する。この例において、４つのビデオ信号の画像Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像は、Ｇ映像及びＷ映像をそれぞれベースとし、Ｒ映像及びＢ映像の画素をカラム毎に割り当てて構成した４：２：２型の１９２０×１０８０画素のサブ画像を２枚生成することができる。
【００４１】
即ち、第２の分割手段は、Ｇ映像をベースとしたサブ画像Ｓｏｕｔ１と、Ｗ映像をベースとしたサブ画像Ｓｏｕｔ２とを生成するために、以下のように割り振りを行う。
【００４２】
カラム２ｑ−１のＲ信号をサブ画像１（Ｓｏｕｔ１）に割り振る。
【００４３】
カラム２ｑのＲ信号をサブ画像２（Ｓｏｕｔ２）に割り振る。
【００４４】
カラム２ｑ−１のＢ信号をサブ画像１（Ｓｏｕｔ１）に割り振る。
【００４５】
カラム２ｑのＢ信号をサブ画像２（Ｓｏｕｔ２）に割り振る。
【００４６】
上記の割り振りを、各サブ画像の左上から１カラムおきに順に詰めて配置する。ここで、ｑはカラム番号を示す。また、ｑの範囲は、１≦ｑ≦ｍである。
【００４７】
このように入力される単板カラー方式の画像を分割することで、例えばハイビジョン画像サイズ（１９２０×１０８０画素）の縦横が２倍の単板カラー方式の画像（３８４０×２１６０画素）を２つの１９２０×１０８０画素のサブ画像に分割することができる。この２つのサブ画像は、同様のサンプリングパターンを持つ映像となり、その後、伝送等では同じ信号処理アルゴリズムを用いて処理することが可能になる。
【００４８】
前述した実施例では、説明の便宜のために、各手段を個別の手段として説明したが、適宜組み合わせて、又は１つの制御手段で構成することができることは明らかである。また、例えば画像信号処理装置１を複数の装置又はコンピュータで実現することができる。更に、画像信号処理装置１として構成する１つ以上のコンピュータは、前述した各処理を実現させるために、中央演算処理装置（ＣＰＵ）の制御によって実現でき、少なくとも１つ以上のメモリを備えることができる。更に、画像信号処理装置１としてコンピュータを機能させるために、メモリの所定の領域にＣＰＵで実行させるためのプログラムを格納することができる。また、前述した各処理を実現させるために必要とされるデータを、メモリに一時的、又は恒久的に格納することもできる。このようなメモリは、適宜コンピュータ内部のＲＯＭ、ＲＡＭ又はハードディスクなどで構成させることができ、或いは又、外部記憶装置（例えば、外付けハードディスク）を用いて構成させることもできる。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。また、実施例としては簡単のため３色又は、４色の色フィルタを持つ単板カラー撮像素子からの出力信号を用いたが、４枚の撮像素子を用いてカラー撮像を行う４板式カラーカメラ（参考文献：Sugawara 他、“Four-Chip CCD camera for HDTV”、SPIE Proceedings, Vol.2173, p.122-129, Feb. 1994）の出力信号を用いても同様の効果を得られる。
【産業上の利用可能性】
【００４９】
本発明によれば、例えばスーパーハイビジョン（超高精細度画像）として知られる単板カラー方式のカラーテレビ画像の信号処理や信号伝送を行う際の低解像化処理を行う場合に、同一のサンプリング構造のサブ画像を複数生成して、その後の処理に既存の放送用の信号処理装置を用いることが可能となるため、単板カラー方式の高精細画像を並列処理する用途に有用である。
【図面の簡単な説明】
【００５０】
【図１】本発明による一実施例の画像信号処理装置の動作概略図である。
【図２】本発明による一実施例の画像信号処理装置において処理又は伝送される各種の映像フォーマット例を示す図である。
【図３】本発明による一実施例の画像信号処理装置のブロック図である。
【図４】本発明による一実施例の画像信号処理装置において入力される単板カラー方式の画像と、生成されるサブ画像との関係を示す図である。
【図５】従来の画像信号処理装置のブロック図である。
【図６】従来の別の画像信号処理の例を示す図である。
【符号の説明】
【００５１】
１ 画像信号処理装置
１１ 高解像度画像入力部
１２ 画素ブロック割り当て手段
１３−１，１３−２，１３−Ｎ サブ画像用一時メモリ
１４ 画素ブロック読み出し制御手段
１５ サブ画像構成手段
１６ サブ画像信号出力部
１７ 制御パラメータ設定手段
１０１ 信号処理装置
１０２，１０３，１０４，１０５ フレームメモリ
【技術分野】
【０００１】
本発明は、画像分割処理用の画像信号処理に関し、特に、ビデオ画像で用いられる所定のサンプリング構造を持つ単板カラー方式のカラー画像を、該サンプリング構造とは異なるサンプリング構造であって、且つ同一種類のサンプリング構造を有する複数の低解像度サブカラービデオ画像に変換する、画像分割処理用の画像信号処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えばスーパーハイビジョン（超高精細度画像）として知られる高解像度のカラーテレビ画像の信号処理や信号伝送を行う場合、ほぼリアルタイムで処理するにはデータ量が多いことに起因して、当該高解像度のフレーム画像を例えば４分割し、各分割した４つの画像領域について、並列処理することが知られている。このように４分割したフレーム画像のデータ量であれば、一般的に用いられる既存の低解像度用の信号処理や伝送路を用いて処理することができる。即ち、このような場合、高解像度のカラービデオ画像を一旦入力して、複数の低解像度のサブカラービデオ画像に変換し（以下、低解像度化処理と称する）、複数のサブカラービデオ画像を並列処理（例えば、ゲイン補正や黒レベル調整）した後、元の高解像度のカラービデオ画像を表示又は再構成することができる。
【０００３】
従来から知られている低解像度化処理に用いる信号処理装置１０１の具体例を図５に示す。図５に示す信号処理装置１０１は、高解像度の画像フレームＳｉｎを入力し、入力した画像フレームＳｉｎを、例えば４つの画面領域（第１領域〜第４領域）に対応する複数の低解像度サブ画像に分割する。更に、信号処理装置１０１は、各分割した領域の画像データを第１〜第４フレームメモリ１０２，１０３，１０４，１０５に振り分けて格納し、各サブ画像について格納したそれぞれのフレームメモリから読み出す時間軸を調整し、並列に同期して各サブ画像ｓｕｂＳｏｕｔ１〜ｓｕｂＳｏｕｔ４を出力する。これにより、高解像度のカラーテレビ画像の信号処理や信号伝送の処理負担を分散させることができる。
【０００４】
一方、図６に示すように、入力された高解像度の画像フレームＳｉｎについて低解像度化処理する他の例として、該画像フレームＳｉｎの各画素Ｓを、垂直（列）画素２個×水平（行）画素１個からなる画素ブロックＵ（図６の例において、２×１画素ブロックと称する）で、複数のサブ画像に順次割り当てて、各サブ画像Ｓ’ｏｕｔ１〜Ｓ’ｏｕｔ４を生成する方法が開示されている（例えば、非特許文献１参照）。
【０００５】
また、固体撮像素子に関しては、固体撮像素子の出力信号端子の構成等に基づいて、高解像度の画像を列単位や行単位で固有の出力フォーマットに分割し、低解像度のサブ画像に変換して出力する方法も知られており、この出力フォーマットに従って画像信号を処理する手法もよく用いられている。
【０００６】
【非特許文献１】全米映画1209511319530_0.htmビジョン技術者協会規格書，Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ （ＳＭＰＴＥ） ４３５−１
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述した図５及び図６に示す従来の方式は、サンプリング構造４：４：４型，４：２：２型，又は４：２：０型の放送用の高画質ビデオ信号をそれぞれ低解像度化処理するのに一般化されたものである。即ち、放送に用いられる既知の低解像度化処理は、相対的に低画質とされる単板カラーカメラの映像信号を低解像度化するのには向いていない。これは、単板カラーカメラのサンプリング構造が一般的に用いられる放送用のサンプリング構造のものと大きく異なるためである。また、放送用の高画質ビデオ信号は、例えばＨＤ−ＳＤＩに代表されるように放送用動画像の場合、４：２：２型のサンプリング構造を持つインターフェースが主に用いられることにもよる。
【０００８】
そこで、従来では、このような単板カラー画像を低解像度化処理するために、固有の映像フォーマットに変換して信号伝送に用いるか、又は再サンプリングして従来の高画質ビデオ信号のインターフェースにマッピングする方法が用いられてきた。
【０００９】
しかしながら、ほぼリアルタイムの低解像度化処理が要求される用途では、このような固有の映像フォーマットに変換して信号伝送に用いる処理やマッピングする方法は、その後の処理の処理コストが大きく、或いは又、要求されるメモリサイズが増大するという問題がある。
【００１０】
更に、近年デジタルスチルカメラに用いられる多画素撮像素子の開発が進むにつれ、高精細で高フレームレートの単板カラー映像信号の伝送や信号処理も従来の高画質ビデオ信号と同様な処理能力や信号伝送容量を必要とするものが増えてきている。特に、固体撮像素子のカラービデオ画像によく用いられる、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、白（Ｗ）（或いは、Ｗの代わりに、Ｇと同じか、又は別の色を構成する４色目の色）の信号における１フレームのサンプリングパターンが異なる場合（例えば、色フィルタを用いた単板ビデオカラーカメラの撮像素子出力信号）、高速な信号処理を実現するためには、単にパイプライン処理に適した低解像度化処理が必要となる。
【００１１】
本発明の目的は、上記課題を解決するために、ビデオ画像で用いられる所定のサンプリング構造を持つ単板カラー方式のカラー画像を、放送用のサンプリング構造の低解像度カラー画像に変換する画像信号処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明による画像信号処理装置は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置であって、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する第１の分割手段と、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段と、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段とを備えることを特徴とする。
【００１３】
更に、本発明による画像信号処理装置において、前記第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力することを特徴とする。
【００１４】
更に、本発明による画像信号処理装置において、前記撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｗ，Ｒ，Ｂからなり、前記撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｇ’，Ｒ，Ｂからなることを特徴とする。
【００１５】
更に、本発明による画像信号処理方法は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理方法であって、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを含むことを特徴とする。
【００１６】
更に、本発明は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置として構成するコンピュータに、前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを実行させるための画像信号処理プログラムとしても特徴付けられる。
【発明の効果】
【００１７】
本発明によれば、例えば高精細で高フレームレートの単板カラー信号を変換し、従来、高画質カラー画像に用いられてきた放送用のサンプリング構造（例えば、４：２：２型）の映像に変換するため、既存の放送用等の映像処理に用いられてきた並列信号処理装置、又は伝送用のインターフェース装置を利用することができるようになる。
【発明を実施するための最良の形態】
【００１８】
本発明による画像信号処理装置は、１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置である。入力される撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成される。例えば、撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ（緑），Ｗ（白），Ｒ（赤），Ｂ（黒）からなる。或いは又、撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ（緑），Ｇ’（代表的には、緑であるが、原理的に他の任意の色とできる），Ｒ（赤），Ｂ（青）からなる。
【００１９】
本発明による画像信号処理装置は、第１の分割手段と第２の分割手段とを少なくとも備え、最終的には、撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する。第１の分割手段は、撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する。第２の分割手段は、前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する。特に、後述で明らかとなるが、第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力する。
【００２０】
以下、本発明による一実施例の画像信号処理装置を説明する。一実施例の画像信号処理装置は、単板カラー方式の撮像素子において現在よく用いられるベイヤー型カラーフィルタ（又は、４色の異なる分光特性を持つ４色フィルタ型カラーフィルタ）によって撮像された映像信号を、放送用動画像の伝送フォーマットとして用いられる映像フォーマット（例えば、最もよく用いられる４：２：２型）のサンプリングパターンの信号に変換する装置である。
【００２１】
図１に、本発明による一実施例の画像信号処理装置の動作概略図を示す。また、図３に本発明による一実施例の画像信号処理装置のブロック図を示す。本実施例の画像信号処理装置１は、入力される単板カラー方式の画像信号を、同一種類のサンプリング構造を有する複数のサブ画像を生成するために、まず、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、画素成分Ｒ，Ｇ，Ｂ，Ｗ毎の４つの画像に分割する。図１では、本実施例の画像信号処理装置１は、単板カラー方式の各画素Ｓ（例示する、Ｓ１，Ｓ２，Ｓ３，Ｓ４，．．．，Ｓｂ，Ｓｃ）において、２×２画素からなる基本画素ブロックＵ単位で複数のサブ画像に予め定めた順で割り当て、例えば４：２：２型のサンプリング構造を有する２つのサブ画像Ｓｏｕｔ１，Ｓｏｕｔ２を生成することができる。尚、各画素Ｓの色は、２×２画素内で、異なる分光特性を持つフィルタ等を通して撮像された映像信号である。即ち、図１は、４色の異なる分光特性を持つフィルタが２×２画素単位で繰り返し配置された画素から得られる単板カラービデオ信号を入力信号とする例である。
【００２２】
現時点において、処理又は伝送される放送用の画像の映像フォーマットとして、ＲＧＢ又はＹＣｒＣｂ方式（輝度及び色差信号方式）では、４：４：４型、４：２：２型、及び４：２：０型が知られており、単板カラー方式では、ベイヤー型、４色フィルタ型が知られている。本実施例の画像信号処理装置１の低解像度化処理において、入力される単板カラー方式の画像のサンプリング構造は、単板カラー方式におけるベイヤー型及び４色フィルタ型におけるいずれのサンプリング構造の画像を、ＲＧＢ方式又は輝度及び色差信号方式の４：４：４型、４：２：２型、及び４：２：０型のいずれかに同一種の構造で複数のサブ画像に変換することで、画像処理の効率化を図る。
【００２３】
各サンプリング構造について説明すると、図２に示すように、画素Ｓは、１画素のサンプリングパターンと考えることができる。従って、Ｇ，Ｂ，Ｒのビデオ信号の４：４：４のサンプリングパターンに対応した映像フォーマットでは、図２（Ａ）に示すα，β，γをＲ，Ｇ，Ｂに対応させたパターンに相当する。この場合、図２（Ａ）は、１つの画素位置に、α（Ｒ），β（Ｇ），γ（Ｂ）の３つの画素データ１００ａ，１０１ａ，１０２ａが存在することを示している。
【００２４】
また、Ｇ，Ｂ，Ｒのビデオ信号のサンプリングパターンが４：２：２又は４：２：０の場合には、それぞれ図２（Ｂ）及び図２（Ｃ）に示すように、α，β，γをＲ，Ｇ，Ｂに対応させたパターンに相当する。この場合、Ｂ，Ｒのデータは、水平方向に１画素おきか、又は水平、垂直方向に１画素おきに存在することになる。本実施例の画像信号処理装置１では、２×２画素ブロック割り当てによる低解像度化処理を施すため、このＢ，Ｒのサンプリングの実際の位置として、Ｇ信号のサンプリング位置と同じであるか、又は隣接したＧ信号の間であるかは、本実施例の画像信号処理装置１では問題とならない。
【００２５】
また、図２において、α，β，γをＣｒ，Ｙ，Ｃｂに対応させることにより、輝度信号Ｙ，２つの色差信号Ｃｂ，Ｃｒにも同様に適用することができ、Ｙ，Ｃｂ，Ｃｒのビデオ信号の４：４：４型のサンプリングパターンが存在し、Ｙ，Ｃｂ，Ｃｒのビデオ信号のサンプリングパターンが４：２：２型、４：２：０型の場合には、それぞれ図２（Ｂ）及び図２（Ｃ）に示すように、Ｃｂ，Ｃｒのデータは、水平方向に１画素おきか、又は水平垂直方向に１画素おきに存在する。この場合も同様に、本実施例の画像信号処理装置１では、２×２画素ブロック割り当てによる低解像度化処理を施すため、本実施例の画像信号処理装置１では問題とならない。
【００２６】
更に、本実施例の画像信号処理装置１は、図２（Ｄ）又は図２（Ｅ）にそれぞれ示すベイヤー型又は４色カラーフィルタを用いた単板カラーカメラのサンプリングパターンを入力画像とするものであるが、前述した図２（Ａ）〜（Ｃ）に示すサンプリング構造とは大きく異なり、従来から知られる画像信号処理装置をそのまま適用することができないことが分かる。
【００２７】
図１では、画像信号処理装置１は、４ｍ×２ｎ画素の入力ビデオ画像が供給され、同じフレーム周波数を持つ２つの２ｍ×ｎ画素の４：２：２型のサンプリング構造のカラービデオ画像に分割する例を示している。尚、所定の有効画素（Ｎｘ，Ｎｙ）の入力画像を考慮して、水平方向の画素数（１つの画像フレームにおける行画素の数）Ｎｘが、４ｍ−２の画素数で入力画像が供給される場合には、低解像度化処理を行う前に、２画素分のダミーデータを仮想的に挿入することにより、画素数４ｍの信号として扱うようにする。
【００２８】
また、垂直方向の画素数（１つの画像フレームにおける列画素の数）Ｎｙが、奇数ラインの画素数で入力画像が供給される場合には、低解像度化処理を行う前に、１ライン分のダミーデータを挿入するようにする。このように、画像信号処理装置１は、入力画像が４ｍ×２ｎの画素数で低解像度処理をするために、必要であればダミーデータを挿入する。尚、特定のブロックサイズを“列画素数×行画素数”と表す。
【００２９】
従って、一実施例の画像信号処理装置１は、有効画素を１フレーム内の画素数を４ｍ×２ｎの入力ビデオ画像として設定し、２×２画素を単位画素として複数のサブ画像に予め定めた順で割り当てる。これにより、例えば水平方向に順次入力される単板カラー方式の画像の画素信号に対して、少なくとも４行分の画素数を一時メモリに格納し、その後、各一時メモリから並列に読み出して、同時に処理することができる。ここで、並列に読み出された各サブ画像は、４：２：２型のサンプリング構造に変換しており、各低解像度におけるその後の処理を既存の放送用信号処理で同一に扱うことができる。例えば、放送用信号処理の例として、図示していないが、様々な用途があり、複数のサブ画像について並列にゲイン補正や黒レベル調整、色バランス調整を施し、例えば複数枚の４：２：２型のサブ画像から当該低解像度化処理とは逆の処理（再構成処理）で、超高精細の放送用の動画像を再構成することにより、放送用信号として扱うことができ、例えばハイビジョンを超える解像度を持つ映像のリアルタイム処理を実現することができる。
【００３０】
図２を参照して、画像信号処理装置１を具体的に説明する。画像信号処理装置１は、単板カラー方式の画像信号を入力する高解像度画像入力部１１と、画素ブロック割り当て手段１２と、４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４と、画素ブロック読み出し制御手段１４と、サブ画像構成手段１５と、サブ画像信号出力部１６とを備える。
【００３１】
高解像度画像入力部１１は、単板カラー方式の撮像素子において現在よく用いられるベイヤー型カラーフィルタ（又は、４色の異なる分光特性を持つ４色フィルタ型カラーフィルタ）の単板カラー方式の画像の画素信号を、水平方向の各行画素を順次入力する。次に、水平方向の各行画素を全て入力した後、垂直方向にシフトした次の各行画素を順次入力するように繰り返して、該単板カラー方式の画像の画素信号を所定の順で連続的に入力する。ここで、入力される画像信号は、例えば、画素成分Ｒ，Ｇ，Ｂ，Ｗを１組とするサンプリングパターンの単板カラー方式の画像である。
【００３２】
画素ブロック割り当て手段１２は、第１の分割手段として機能させることができ、入力された画素信号を、２×２画素ブロック単位における各画素成分Ｒ，Ｇ，Ｂ，Ｗを予め定めた順で、各色毎に４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４に順次割り当てる。ここで、本実施例では、低解像度化修理として、当該一時メモリ毎に順に割り当て、且つ後述する画素ブロック読み出し制御手段１４で順次読み出すものとして説明するが、画素ブロック読み出し制御手段１４の読み出し制御のみで低解像度化修理を実現することもできる。画素ブロック割り当て手段１２は、入力された単板カラー方式の画像の画素信号が、所定の有効画素（Ｎｘ，Ｎｙ）の入力ビデオ画像が供給される場合に、有効画素（Ｎｘ，Ｎｙ）の端部においても常に２×２画素の基本画素ブロックを確保するために、有効画素（Ｎｘ，Ｎｙ）以外の領域の画素値に任意の値を挿入して割り当てる。
【００３３】
画素ブロック読み出し制御手段１４は、第２の分割手段として機能させることができ、例えば水平方向に予め定められた順で入力される単板カラー方式の画像の画素信号に対して、各色毎のサブ画像として並列処理することが可能となる時点で、即ち前記単板カラー方式の画像における２×２画素のブロック領域に対応する、各サブ画像の画素を送出することが可能な時点で、４個のサブ画像用一時メモリ１３−１，１３−２，１３−３，１３−４から、各一時メモリに格納された画素信号を４：２：２型の映像フォーマットのサブ画像に適合するように並列に読み出し、同期してサブ画像構成手段１５に送出する。
【００３４】
サブ画像構成手段１５は、随意、画素ブロック読み出し制御手段１４の制御によって入力される各一時メモリの画素ブロックをそれぞれのサブ画像の画素ブロックとした、２枚の２ｍ×ｎ画素のサブ画像をそれぞれ構成し、サブ画像信号出力部１６を経て外部に出力する。ここで、２ｍ×ｎ画素のサブ画像の画素信号は、同一種類のサンプリング構造（４：２：２型の映像フォーマット）となる。また、サブ画像構成手段１５は、サブ画像を再構成することなく、各一時メモリの画素ブロックの信号を、サブ画像信号出力部１６を経て外部に出力してもよい。
【００３５】
サブ画像信号出力部１６から出力される２つの放送用のサブ画像は、当該並列処理を必要とする任意の画像処理に用いることができる。尚、本例では、好適に２つのサブ画像に分割した例を説明するが、後述するサブ画像１（Ｓｏｕｔ１），サブ画像２（Ｓｏｕｔ２）の各々を更に複数の分割画像として構成することもできる。
【００３６】
制御パラメータ設定手段１７は、入力される単板カラー方式の画像の有効画素（Ｎｘ，Ｎｙ）、及び分割数Ｎを、画素ブロック割り当て手段１２、画素ブロック読み出し制御手段１４、及び、随意設けられるサブ画像構成手段１５に対して設定する機能を有する。尚、分割数Ｎは、第１の分割手段用及び第２の分割手段用に異なる値であってもよい。本実施例では、まず第１の分割手段により各色毎に４つに分割した後、第２の分割手段により２つのサブ画像に分割する。また、分割数に応じて、適宜一時メモリの構成を変更することもできる。
【００３７】
次に、第１の分割手段、及び第２の分割手段について更に詳細に説明する。
【００３８】
図４に、画像信号処理装置１において入力される単板カラー方式の高精細入力画像と、最終的に生成される２つの４：２：２型のサブ画像との関係を示す。図４には、各画像について画素の水平又は垂直のアドレス（又は、行又は列アドレス）を示し、単板カラー方式の入力ビデオ画像に対して、どの出力ビデオ画像に割り当てられ、出力されるかを、このアドレス値で示している。
【００３９】
図４に示す例では、画像信号処理装置１は、第１の分割手段により、入力される単板カラー方式の画像Ｓｉｎを、一旦、２×２画素単位の各色Ｒ，Ｇ，Ｂ，Ｗの画素成分毎に４つのビデオ信号の画像Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４に分割する。この例において、単板カラー方式の画像Ｓｉｎは、ｍ＝９６０，ｎ＝１０８０の４ｍ×２ｎ（即ち、３８４０×２１６０画素）の画像で表されており、４つのビデオ信号Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像は、１９２０×１０８０画素の単色の画像に分割される。
【００４０】
更に、画像信号処理装置１は、第２の分割手段により、４つのビデオ信号Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像を、２枚の４：２：２型のサブ画像Ｓｏｕｔ１，Ｓｏｕｔ２に分割する。この例において、４つのビデオ信号の画像Ｓｍ１，Ｓｍ２，Ｓｍ３，Ｓｍ４の各画像は、Ｇ映像及びＷ映像をそれぞれベースとし、Ｒ映像及びＢ映像の画素をカラム毎に割り当てて構成した４：２：２型の１９２０×１０８０画素のサブ画像を２枚生成することができる。
【００４１】
即ち、第２の分割手段は、Ｇ映像をベースとしたサブ画像Ｓｏｕｔ１と、Ｗ映像をベースとしたサブ画像Ｓｏｕｔ２とを生成するために、以下のように割り振りを行う。
【００４２】
カラム２ｑ−１のＲ信号をサブ画像１（Ｓｏｕｔ１）に割り振る。
【００４３】
カラム２ｑのＲ信号をサブ画像２（Ｓｏｕｔ２）に割り振る。
【００４４】
カラム２ｑ−１のＢ信号をサブ画像１（Ｓｏｕｔ１）に割り振る。
【００４５】
カラム２ｑのＢ信号をサブ画像２（Ｓｏｕｔ２）に割り振る。
【００４６】
上記の割り振りを、各サブ画像の左上から１カラムおきに順に詰めて配置する。ここで、ｑはカラム番号を示す。また、ｑの範囲は、１≦ｑ≦ｍである。
【００４７】
このように入力される単板カラー方式の画像を分割することで、例えばハイビジョン画像サイズ（１９２０×１０８０画素）の縦横が２倍の単板カラー方式の画像（３８４０×２１６０画素）を２つの１９２０×１０８０画素のサブ画像に分割することができる。この２つのサブ画像は、同様のサンプリングパターンを持つ映像となり、その後、伝送等では同じ信号処理アルゴリズムを用いて処理することが可能になる。
【００４８】
前述した実施例では、説明の便宜のために、各手段を個別の手段として説明したが、適宜組み合わせて、又は１つの制御手段で構成することができることは明らかである。また、例えば画像信号処理装置１を複数の装置又はコンピュータで実現することができる。更に、画像信号処理装置１として構成する１つ以上のコンピュータは、前述した各処理を実現させるために、中央演算処理装置（ＣＰＵ）の制御によって実現でき、少なくとも１つ以上のメモリを備えることができる。更に、画像信号処理装置１としてコンピュータを機能させるために、メモリの所定の領域にＣＰＵで実行させるためのプログラムを格納することができる。また、前述した各処理を実現させるために必要とされるデータを、メモリに一時的、又は恒久的に格納することもできる。このようなメモリは、適宜コンピュータ内部のＲＯＭ、ＲＡＭ又はハードディスクなどで構成させることができ、或いは又、外部記憶装置（例えば、外付けハードディスク）を用いて構成させることもできる。従って、本発明は、前述した実施例に限定されるものではなく、その主旨を逸脱しない範囲において種々変更可能である。また、実施例としては簡単のため３色又は、４色の色フィルタを持つ単板カラー撮像素子からの出力信号を用いたが、４枚の撮像素子を用いてカラー撮像を行う４板式カラーカメラ（参考文献：Sugawara 他、“Four-Chip CCD camera for HDTV”、SPIE Proceedings, Vol.2173, p.122-129, Feb. 1994）の出力信号を用いても同様の効果を得られる。
【産業上の利用可能性】
【００４９】
本発明によれば、例えばスーパーハイビジョン（超高精細度画像）として知られる単板カラー方式のカラーテレビ画像の信号処理や信号伝送を行う際の低解像化処理を行う場合に、同一のサンプリング構造のサブ画像を複数生成して、その後の処理に既存の放送用の信号処理装置を用いることが可能となるため、単板カラー方式の高精細画像を並列処理する用途に有用である。
【図面の簡単な説明】
【００５０】
【図１】本発明による一実施例の画像信号処理装置の動作概略図である。
【図２】本発明による一実施例の画像信号処理装置において処理又は伝送される各種の映像フォーマット例を示す図である。
【図３】本発明による一実施例の画像信号処理装置のブロック図である。
【図４】本発明による一実施例の画像信号処理装置において入力される単板カラー方式の画像と、生成されるサブ画像との関係を示す図である。
【図５】従来の画像信号処理装置のブロック図である。
【図６】従来の別の画像信号処理の例を示す図である。
【符号の説明】
【００５１】
１ 画像信号処理装置
１１ 高解像度画像入力部
１２ 画素ブロック割り当て手段
１３−１，１３−２，１３−Ｎ サブ画像用一時メモリ
１４ 画素ブロック読み出し制御手段
１５ サブ画像構成手段
１６ サブ画像信号出力部
１７ 制御パラメータ設定手段
１０１ 信号処理装置
１０２，１０３，１０４，１０５ フレームメモリ
【特許請求の範囲】
【請求項１】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置であって、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する第１の分割手段と、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段と、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段とを備えることを特徴とする、画像信号処理装置。
【請求項２】
前記第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力することを特徴とする、請求項１に記載の画像信号処理装置。
【請求項３】
前記撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｗ，Ｒ，Ｂからなり、
前記撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｇ’，Ｒ，Ｂからなることを特徴とする、請求項１に記載の画像信号処理装置。
【請求項４】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理方法であって、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを含むことを特徴とする、画像信号処理方法。
【請求項５】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置として構成するコンピュータに、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを実行させるための画像信号処理プログラム。
【請求項１】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置であって、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割する第１の分割手段と、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割する第２の分割手段と、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出する手段とを備えることを特徴とする、画像信号処理装置。
【請求項２】
前記第２の分割手段は、それぞれの前記第１映像及び前記第２映像の左端の先頭カラムに、それぞれ前記第３映像及び前記第４映像の画素について最初のカラムの位相を合わせて出力することを特徴とする、請求項１に記載の画像信号処理装置。
【請求項３】
前記撮像カメラからの画像が単板カラー方式の映像フォーマットの画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｗ，Ｒ，Ｂからなり、
前記撮像カメラからの画像が４枚の撮像素子で撮影する４板式カラーカメラの出力信号から構成される画像である場合には、前記第１，第２，第３，第４の画素成分は、それぞれ画素成分Ｇ，Ｇ’，Ｒ，Ｂからなることを特徴とする、請求項１に記載の画像信号処理装置。
【請求項４】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理方法であって、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを含むことを特徴とする、画像信号処理方法。
【請求項５】
１以上の整数ｍ，ｎとして、列画素数４ｍ×行画素数２ｎからなる超高精細度の撮像カメラからの画像を分割して、並列処理するために低解像度化処理する画像信号処理装置として構成するコンピュータに、
前記撮像カメラからの画像は、４種類の画素成分を含む映像フォーマットで構成され、
前記撮像カメラからの画像を、隣接して連なる画素構成の列画素数２×行画素数２からなる２×２画素のブロック領域における各画素単位で、４種類の画素成分毎の４つの画像に分割するステップと、
前記４つの画像の各々を、第１の画素成分で構成した第１映像、及び第２の画素成分で構成した第２映像をそれぞれベースとし、第３の画素成分で構成した第３映像及び第４の画素成分で構成した第４映像の各画素をカラム毎にそれぞれ前記第１映像及び前記第２映像に割り当てて構成した２つの放送用のサブ画像に分割するステップと、
前記撮像カメラからの画像における４×２画素のブロック領域に対応する、各サブ画像の画素を送出するステップとを実行させるための画像信号処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−２６８０１７（Ｐ２００９−２６８０１７Ａ）
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願番号】特願２００８−１１８３５２（Ｐ２００８−１１８３５２）
【出願日】平成２０年４月３０日（２００８．４．３０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２１年１１月１２日（２００９．１１．１２）
【国際特許分類】
【出願日】平成２０年４月３０日（２００８．４．３０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]