説明

映像データ処理装置

【課題】求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる映像データ処理装置を得る。
【解決手段】画像メモリ1は、メモリ制御部2によって、1画面分の映像データが格納される。信号処理部4は、N×Mタップの信号処理を行う。信号処理部4が処理対象とするデータを格納するためのワークメモリ3は、少なくともN×Mタップ分の容量を有し、メモリ制御部2によって、画像メモリ1からのデータが書き込まれる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置等における映像データの処理を行う映像データ処理装置に関するものである。
【背景技術】
【0002】
レンズと撮像デバイス及び信号処理部からなる撮像装置等においては、信号処理部に搭載される、例えば、FIRフィルタの必要なタップ数に応じた一次データ保持用のラインメモリを必要とする。これは、撮像デバイスから出力されるラスターデータを保持しておき、保持されたデータを信号処理部で所望の処理を行うためである。このラインメモリの容量は、処理すべき水平画素数と、垂直のタップ数(若しくは現ラインを使用するときには垂直タップ数−1)を掛け合わせた画素数分必要である。従って、近年のデジタルカメラに求められる高画素化に対応する撮像装置を構成する場合は、ラインメモリの容量が大きくなり、回路規模が肥大化するという問題がある。従来、このようなラインメモリの小容量化に関する技術として、例えば特許文献1に示されているものがあった。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平8−221562号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来装置では、画面を1/n分割しその水平画素数分のラインメモリを有する構成となっているため、ラインメモリを減らすためには、分割数を大きくする必要があるが、分割量が増えるため処理速度が遅くなる問題が生じる。逆にいえば、処理速度を速くするためには、分割数を小さくする必要があり、ラインメモリの容量を減らすことができない。
【0005】
この発明は上記のような課題を解決するためになされたもので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる映像データ処理装置を得ることを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る映像データ処理装置は、1画面分の映像データを格納する画像メモリと、N×M(N及びMは任意の整数)タップの信号処理を行う信号処理部と、信号処理部が処理対象とするデータを格納するための少なくともN×Mタップ分の容量を有するワークメモリと、画像メモリからワークメモリへのデータ書き込みを制御するメモリ制御部とを備えたものである。
【発明の効果】
【0007】
この発明の映像データ処理装置は、ワークメモリの容量を、少なくとも、信号処理部のN×Mタップ分の容量としたので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる。
【図面の簡単な説明】
【0008】
【図1】この発明の実施の形態1による映像データ処理装置を示す構成図である。
【図2】この発明の実施の形態1による映像データ処理装置におけるメモリ制御部の構成図である。
【図3】この発明の実施の形態1による映像データ処理装置のワークメモリの構成図である。
【図4】この発明の実施の形態1による映像データ処理装置のワークメモリへのデータ書き込み制御を示す説明図である。
【図5】この発明の実施の形態1による映像データ処理装置の画像メモリからワークメモリへのデータ転送を示す説明図である。
【図6】この発明の実施の形態2による映像データ処理装置のワークメモリへのデータ書き込み制御を示す説明図である。
【図7】この発明の実施の形態2による映像データ処理装置の画像メモリからワークメモリへのデータ転送を示す説明図である。
【発明を実施するための形態】
【0009】
実施の形態1.
図1は、この発明の実施の形態1による映像データ処理装置を示す構成図である。
図1に示す映像データ処理装置は、画像メモリ1、メモリ制御部2、ワークメモリ3、信号処理部4を備える。画像メモリ1は、SDRAM等で構成され、映像データ1画面分のデータを格納するメモリである。メモリ制御部2は、図示しないカメラのレンズ等を介して取得された映像データを入力(データ入力)し、これを画像メモリ1に書き込み制御すると共に、画像メモリ1に格納されたデータを読み出してワークメモリ3への書き込み制御を行う制御部である。
【0010】
図2は、メモリ制御部2の詳細を示す構成図である。
メモリ制御部2は、アドレス制御部5とデータ調停部6とを有している。アドレス制御部5は、画像メモリ1のアドレスを制御する。画像メモリ1への書き込み時には、データ入力とそれに同期した信号を用いて画像メモリ1に順次データを書き込むようにアドレスを制御する。画像メモリ1から読み出す場合には、書き込んだデータのアドレス情報に基づいてそのデータ位置を記憶しておき、後述するデータの読み出し位置に合わせたアドレスを生成する。データ調停部6は、データ入力と画像メモリ1からデータの調停を行い、ワークメモリ3への出力制御を行う。画像メモリ1へのデータ出力は、データ入力の同期信号を監視してそれがアクティブであれば、画像メモリ1へデータを出力する。画像メモリ1からの読み出し時には読み出しデータをワークメモリ3へ出力する。
【0011】
ワークメモリ3は、信号処理部4が処理対象とするデータを格納するための少なくともN×Mタップ分の容量を有するメモリであり、その構成を図3に示す。なお、N及びMは任意の整数である。
ワークメモリ3は、フリップフロップなどのメモリセル7が水平方向にN個、垂直方向にM個、総数N×M個の構成になっており、一行分は、例えばシフトレジスタの構成のように、メモリ制御部2からのデータを順次、次のメモリセルにデータを転送可能な構造である。各メモリセル7は、それぞれのデータを信号処理部4へ出力する。また、メモリ制御部2から一行分のメモリセル群にデータを選択的に入力できるセレクタ8を有する。
【0012】
信号処理部4は、エッジ強調などの処理に用いられる畳み込み積分のフィルタ部から成る。水平:N×垂直:Mのタップから構成される。下式は、このフィルタ演算の畳み込み演算の一例である。入力データDIに対して重み付け係数kを用いて演算し、スケール値Devによって処理データDを得る。これらの係数値などは、予め与えておくか固定の値として演算器の構成をなしても良い。



フィルタは、演算対象データすなわち出力すべきデータの周辺データを参照することで所望の処理結果を得る。
画素データに重み付け係数を乗算することで処理を行う。従って、この信号処理部4に必要なデータは、N×M個の映像データである。
【0013】
次に動作について説明する。
図示しないカメラなどからの映像データ信号は、メモリ制御部2に入力される。メモリ制御部2はこのデータを画像メモリ1に出力し、データは画像メモリ1に蓄えられる。メモリ制御部2は、データ蓄積が終了した後に画像メモリ1からデータを読み出しワークメモリ3に出力する。
メモリ制御部2は、まず始めに、映像データの左上を原点(1,1)とするデータを画像メモリ1から読み出す。図4はこのときのワークメモリ3をN×M=5×5として模式的に示したものである。図4(a)に示すように、原点(1,1)のデータから矢示Aの方向に向かってデータを画像メモリ1から読み出し、ワークメモリ3の中のメモリセル7に順次収納していく。一行分のメモリセルへの転送が終了すると、セレクタ8(図3参照)を次の行に切り替える。データの転送としては、図4(a)の矢示Bのように次の行の先頭のメモリセル7に収納される動作となる。
【0014】
このようにして、M行・N列までのメモリセルを画像メモリ1のデータで埋めていく。ワークメモリ3のデータ転送が終わると、信号処理部4の処理に必要なデータがすべて揃うため、信号処理部4は、図4(a)のデータDAの演算結果として出力する。
【0015】
上記の動作が終了すると、メモリ制御部2は、図4(b)の円で示した位置に相当する画像メモリ1のデータを読み出す。座標で示すと(1,6)のデータを読み出して1行目のメモリセルに収納する。セレクタ8を切り替えることにより、次行のメモリセルに収納する。このようにして座標(6,6)までのワークメモリ3までの転送が終了すると、図4(b)のデータDBの結果が信号処理部4で演算され出力される。
【0016】
図5は、1画面における、画像メモリ1からワークメモリ3へのデータ転送を示したものである。前述したように、画像メモリ1からのデータの読み出し位置(座標)をずらしながら水平方向のデータを出力していく。水平方向のデータ出力が終了すると、メモリ制御部2は垂直方向にずらしたデータを画像メモリ1から読み出してワークメモリ3へ出力する。このようにして、1画面の信号処理を行い撮像処理出力として得る。
【0017】
このようにして、信号処理部4で必要なワークメモリの構成と、外部メモリからの読み出し制御を行うことで、従来のように1ライン分のワークメモリ(ラインメモリ)を必要とせず、その容量を最小限の構成にすることができ、回路規模の小さい撮像装置を得ることが出来る。また、回路規模が小さいことにより動作時の消費電力の低減効果も得られる。さらに、複数画面を用いた映像合成時にも境目がない画像を生成することができる。
【0018】
なお、上記の実施の形態では、信号処理部4の処理としてフィルタを示したが、周辺画素の参照を必要とする信号処理全般に適用可能である。また、1画面の信号処理順は垂直方向から生成しても良い。
【0019】
以上のように、実施の形態1の映像データ処理装置によれば、1画面分の映像データを格納する画像メモリと、N×Mタップの信号処理を行う信号処理部と、信号処理部が処理対象とするデータを格納するための少なくともN×Mタップ分の容量を有するワークメモリと、画像メモリからワークメモリへのデータ書き込みを制御するメモリ制御部とを備えたので、求められる処理画素数が多くなっても、ラインメモリの容量を減らすことができる。
【0020】
実施の形態2.
上記実施の形態1では、次の出力データを得るために、画像メモリ1からの読み出しデータを水平方向或いは垂直方向に一つずらした座標位置のデータをワークメモリ3に転送するものであったが、実施の形態2では、画像メモリ1からのデータ読み出しを任意の位置から開始し、かつ、画像メモリ1における画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定するようにしたものである。
【0021】
図面上の構成は、実施の形態1における図1〜図3と同様であるため、これらの図を用いて説明する。実施の形態2では、図6(a)に示すように、メモリ制御部2に、第一に必要となる画素位置に対応する読み出しデータの座標を任意の位置、例えば(1,10)から開始できるように設定しておく。この設定に際しては、メモリ制御部2に図示しないCPU、或いは、ROMなどから設定すればよい。
【0022】
この場合の出力データA′が得られた次の段階では、図6(b)に示すようにワークメモリ3内に収納されるデータの端位置を座標(2,11)となるように画像メモリ1から読み出す。具体的には、画像メモリ1のアドレスを水平方向に+1、垂直方向に−1となるようにメモリ制御部2内で演算を行う。
このようにして、図6(b)に示すB′のデータを得る。
【0023】
1画面の走査を図7に示すように順次行う。画面中央から右画面になると、メモリ制御部2は画像メモリ1のアドレスを垂直方向に+1ずつ加算し、画面の下になると垂直方向に+1、さらに右画面になると、垂直方向に−1となるように制御する。すなわち、メモリ制御部2は、画像メモリ1における画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定する。
このことにより、例えば、撮像レンズの光学歪みが補正された出力が得られる。
【0024】
上記のように、画像メモリ1からの読み出しデータをメモリ制御部2により任意の位置から順にできるような構成にしたため、簡易な構成と小ワークメモリにより、光学歪み補正処理を実行することができ、より高品質な映像データの撮像装置を得ることができる。
【0025】
上記の例では、光学歪みとしたが、撮像レンズの色収差補正や、任意の位置からのデータを画像メモリ1から読み出すことによって、映像データの拡大・縮小・回転を小規模な構成で行うことも可能である。
【0026】
以上のように、実施の形態2の映像データ処理装置によれば、メモリ制御部は、画像メモリからのデータ読み出しを任意の位置から開始するようにしたので、種々の信号処理に対応させることができる。
【0027】
また、実施の形態2の映像データ処理装置によれば、メモリ制御部は、画像メモリにおける画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定するようにしたので、映像データの補正や変形といった信号処理にも対応させることができる。
【0028】
なお、本願発明は、その発明の精神の範囲内において、各実施の形態の自由な組合せ、あるいは変形が可能である。
【符号の説明】
【0029】
1 画像メモリ、2 メモリ制御部、3 ワークメモリ、4 信号処理部、5 アドレス制御部、6 データ調停部、7 メモリセル、8 セレクタ。

【特許請求の範囲】
【請求項1】
1画面分の映像データを格納する画像メモリと、
N×M(N及びMは任意の整数)タップの信号処理を行う信号処理部と、
前記信号処理部が処理対象とするデータを格納するための少なくともN×Mタップ分の容量を有するワークメモリと、
前記画像メモリから前記ワークメモリへのデータ書き込みを制御するメモリ制御部とを備えた映像データ処理装置。
【請求項2】
メモリ制御部は、画像メモリからのデータ読み出しを任意の位置から開始することを特徴とする請求項1記載の映像データ処理装置。
【請求項3】
メモリ制御部は、画像メモリにおける画面内の位置に応じて、水平方向及び垂直方向の読み出し位置を決定することを特徴とする請求項1または請求項2記載の映像データ処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate