画像処理装置及び画像撮像装置
【課題】安価なメモリ（フレームメモリ）でも原画像の自由な変形や歪補正等を行い、高画質な映像を容易に得られる画像処理装置を提供する。
【解決手段】メモリ２２０から画像データを読み出す際に座標変換により、画像の変形を反映した読出しアドレスを計算する手段２３０、入力された画像データをメモリ２２０に書込み、読出しアドレスに基づいてメモリ２２０から画像データを読み出す手段２１０、メモリ２２０から読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限する手段２１２、出力画面の主走査方向の画素数に対して主走査方向の画素数が小さくメモリ２２０から読み出された画像データを、出力画面の主走査方向の画素数となるように伸張する手段２４０を備える。
【解決手段】メモリ２２０から画像データを読み出す際に座標変換により、画像の変形を反映した読出しアドレスを計算する手段２３０、入力された画像データをメモリ２２０に書込み、読出しアドレスに基づいてメモリ２２０から画像データを読み出す手段２１０、メモリ２２０から読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限する手段２１２、出力画面の主走査方向の画素数に対して主走査方向の画素数が小さくメモリ２２０から読み出された画像データを、出力画面の主走査方向の画素数となるように伸張する手段２４０を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラなどのカメラシステムに用いられる画像処理装置及びそれを備えた画像撮像装置に関する。
【背景技術】
【０００２】
従来から、魚眼レンズのような広角レンズを用いた車載カメラなどのカメラシステムにおいては、撮像された歪みを持つ画像を信号処理により補正する画像処理装置を用いることが提案されている。一般に画像処理装置では、撮像素子を含むセンサユニットから、レンズにより集光した光情報を光電変換して得られたアナログ信号をデジタル信号に変換したＲＧＢやＹＵＶなどの形式の画像データを入力し、該画像データをＳＲＡＭやＤＲＡＭなどのメモリに格納し、該メモリの所定のアドレスをアクセスして画像データを読出すことにより、歪みを持った原画像について補正および自由な変形を行っている。
【０００３】
従来、このような画像処理装置において、メモリに格納されたデータの読出しに際し、必要なアドレスにアクセスするための方法として、例えば特許文献１に記載されているように、水平方向に伸縮させるための水平補正パラメータや垂直方向に伸縮させるための垂直補正パラメータの情報を、信号処理部外部の補正パラメータエンコーダ部などのブロックに予め格納しておき、必要に応じてそれらの情報を信号処理部内部に読み込むことにより、必要なアドレス値を計算することによって歪みを持った原画像の補正を実現させている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を自由に変形するためには、メモリからランダムアクセスで画像データを読出す必要がある。一方、装置の低コスト化のためには、出来る限り安価なＤＲＡＭなどを使用する必要がある。しかしながら、安価なＤＲＡＭでは駆動周波数があまり速くないことからランダムアクセスのスピードが遅く、正規のＮＴＳＣ出力のためには、必要なアドレス値を計算して、主走査線方向の７２０ピクセルを読出すためには時間的に間に合わないことが課題であった。
【０００５】
本発明は、上記課題を解決し、安価なメモリでも原画像の自由な変形や歪補正等を行ない、高画質な映像を容易に得られる画像処理装置及びそれを備えた画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の発明は、１画面以上の画像データを格納するメモリと、前記メモリから画像データを読み出す際に座標変換により画像の変形を行うため、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算手段と、入力された画像データを前記メモリに書込み、前記読出しアドレス計算手段で計算された読出しアドレスに基づいて前記メモリから画像データを読み出すメモリインターフェース手段と、前記メモリから読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限するメモリアクセス制限手段と、前記出力画面の主走査方向の画素数に対して主走査方向の画素数が小さく前記メモリから読み出された画像データを、前記出力画面の主走査方向の画素数となるように伸張する画像伸張手段と、前記画像伸張手段で伸張された画像データを出力画面として適切な形式にエンコードして出力する画像出力手段とを有する画像処理装置を特徴とする。
【０００７】
請求項２の発明は、請求項１記載の画像処理装置において、前記メモリアクセス制限手段は、前記メモリからの読み出される画像データの主走査方向の画素数をカウントし、該カウント値が所定の値に達したなら前記メモリから当該主走査方向の画像データの読出しを抑止することを特徴とする。
【０００８】
請求項３の発明は、請求項１記載の画像処理装置において、前記メモリアクセス制限手段は、前記読出しアドレス計算部から送出される主走査方向の読出しアドレスの数をカウントし、該カウント値が所定の値に達したなら前記読出しアドレス計算手段から当該主走査方向の読出しアドレスの送出を抑止することを特徴とする。
【０００９】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記メモリインターフェース手段が前記メモリアクセス制限手段を含むことを特徴とする。
【００１０】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置前記メモリは少なくとも２画面分の画像データを格納可能なＤＲＡＭで構成され、 前記メモリインターフェース手段は、ダブルバッファ方式で前記ＤＲＡＭに対する画像データの書込み読出しを行うことを特徴とする。
【００１１】
請求項６の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、前記読出しアドレス計算手段は、画像変形の種別毎の複数の座標変換テーブルを備え、外部からの指示に応じていずれかの座標変換テーブルを用いて所定の画像変形を反映した読出しアドレスを計算することを特徴とする。
【００１２】
請求項７の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、前記画像伸張手段は、前記メモリから読出された主走査方向の画像データを所定の画素数毎に区分し、該区分した画像データセット単位に所定数の画像データを補間して、出力画面の主走査方向の画素数となるように伸張することを特徴とする。
【００１３】
請求項８の発明は、被写体を撮影して画像データを取得するセンサユニットと、請求項１乃至７のいずれか１項に記載の画像処理装置とを具備してなる画像撮像装置を特徴とする。
【発明の効果】
【００１４】
本発明にかかる画像処理装置によれば、メモリから読み出す主走査方向の画像データの画素数を制限すると共に、該画像データを出力画面の主走査方向の画素数となるように伸張することで、安価なメモリでも原画像の自由な変形および補正を行なうことができるため、高画質な映像を容易に得ることができる。また、本発明の画像処理装置を備えた画像撮像装置によれば、高品質な映像を維持しつつ、低コスト化が可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の画像処理装置を備えた画像撮像装置の全体構成図である。
【図２】図１中のセンサユニットの構成例を示す図である。
【図３】ダブルバッファ方式を説明する図である。
【図４】座標変換による画像の回転変形を説明する図である。
【図５】出力画像のブロック分割と頂点画素の関係を示す図である。
【図６】図１中の画像伸張部での伸張処理を説明する図である。
【図７】本発明の画像処理装置の具体的構成例を示す図である。
【図８】画像表示装置の輝度信号の周波数特性を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１は、本発明の画像処理装置を備えた画像処理装置の一実施形態の全体構成図を示す。図１において、１００は撮像素子を含むセンサユニット、２００は該センサユニット１００から出力される画像データを処理する画像処理装置である。例えば、車載カメラシステムの場合、センサユニット１００と画像処理装置２００は筐体内に一体に収納され、車載カメラ装置として車の後方等に取り付けて使用される。画像処理装置２０には表示装置（モニタ）などが接続されるが、図１では省略してある。
【００１７】
センサユニット１００は、被写体を撮影してアナログ信号を取得し、それをデジタル変換して画像データとして出力する。同時に、センサユニット１００は水平・垂直の同期信号を出力する。
【００１８】
図２はセンサユニット１００の構成例を示す。センサユニット１００はレンズ光学系１１０、撮像素子１２０、オートゲインコントロール回路（ＡＧＣ）１３０、オートホワイトバランス回路（ＡＷＢ）１４０、アナログ−デジタル変換器（ＡＤＣ）１５０などで構成される。
【００１９】
光学系１１０により撮像素子１２０に光を効率よく集光させる。車載カメラでは、一般に光学系１１０に広角で歪曲収差の大きいレンズが用いられる。撮像素子１２０は、ＣＣＤやＣＭＯＳなどで構成され、光学系１１０により集光された光学像を、その光強度に応じて強弱を持った電気信号（アナログ信号）に変換する。
【００２０】
撮像素子１２０で取得された撮像画像のアナログ信号は、オートゲインコントロール回路（ＡＧＣ）１３０、オートホワイトバランス回路（ＡＷＢ）１４０を経て、アナログ−デジタル変換器（ＡＤＣ）１５０によりデジタルデータに変換される。ＡＧＣ１３０は、後述のＮＴＳＣエンコーダの入力に必要なレベルの信号を出力するための回路である。すなわち、被写体が明るい場合はアンプのゲインを下げ、暗い場合には所定のレベルになるようにアンプのゲインを上げる。なお、ゲインを上げると、ノイズも増加するため、信号のＳ／Ｎ比を下げるようにする。ＡＷＢ１４０は、白色の被写体を撮像した際に各色それぞれの信号強度が全て等しくなるように各色対応の各チャンネルのゲインを調整する。ＡＤＣ１５０は、アナログ信号の各色それぞれの信号をデジタルデータに変換する。デジタルデータは、例えば、各色それぞれ８ビットで構成される。以下、まとめて画像データと称す。
【００２１】
図２では省略したが、センサユニット１００は同期信号発生器を内蔵して、各部の処理を同期信号に同期して行い、画像データと共に該同期信号を出力する。なお、同期信号発生器は、別途独立に設けて、それからセンサユニット１００及び画像処理装置２００に与えるようにしてもよい。
【００２２】
図１に戻り、画像処理装置２００は、メモリインターフェース部２１０、メモリ２２０、読出しアドレス計算部２３０、画像伸張部２４０、画像出力部２５０などで構成される。また、メモリインターフェース部２１０はメモリアクセス制限部２１２を備えている。画像処理装置２００は、他に色空間変換部、ＭＴＦ補正部、ガンマ補正部などを備えているが、簡単化のため図１では省略してある。
【００２３】
センサユニット１００から出力された画像データは、メモリインターフェース部２１０を介し、一旦メモリ（フレームバッファ）２２０に格納された後、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算部２３０からの読出しアドレスに基づいて該メモリ２２０から読出される。メモリ２２０は、安価なＤＲＡＭなどでよく、１画面（フレーム）以上の画像データが格納される。
【００２４】
ここでは、メモリ２２０の書込み読出し動作はダブルバッファ方式をとるとする。ダブルバッファ方式とは、２画面分の画像データをメモリアドレス空間の各領域（Ａ、Ｂと呼ぶこととする）に格納することができる場合、領域Ａからデータを読出すと同時に、もう１画面分の領域Ｂにセンサユニットからのデータを格納し、領域Ａ、Ｂそれぞれにおいて全アドレスにアクセスが終了したら、ＡとＢの書き込みと読出しの役割を交換するのを繰り返す方式である。図３にダブルバッファ方式の概要を示す。図３に示すように、読出しと書き込みの速度が同じ場合（図３では共に３０ｆｐｓ）は、１フレーム毎に役割を交換すればよい。しかし、例えば読出しが３０ｆｐｓで書き込みが１５ｆｐｓであるような場合には、書き込みが終わらないうちに読出しが追いついてしまうため、画面に残像が出るという不具合が生じる。そのため、書き込み途中の領域で書き込みが終わるまでもう一方の領域をもう一度読む必要がある。また、読出しをインターレースで行なう場合は、１ライン置きにデータを読出していき（第１フィールド）、読み飛ばしたラインをあとから読出す（第２フィールド）方式をとる必要がある。インターレースにより画面表示させると、映像のちらつきを防ぐことができるため都合が良い。
【００２５】
メモリアクセス制限部２１２は、メモリ２２０から読出される画像データの主走査方向の読出し画素数が出力画面の主走査方向の画素数より小さくなるように、メモリ２２０の読出し動作を制御する。これについては後述する。
【００２６】
読出しアドレス計算部２３０は、メモリインターフェース部２１０によりメモリ２２０から画像データを読出す際に、座標変換により画像の変形を行うために、画像の変形を反映した読出しアドレスを計算する。具体的には、出力画像の各画素に対応する入力画像の座標を計算する。
【００２７】
図４に読出しアドレス計算部２３０の処理イメージを示す。これは、入力画像を９０°回転変形した画像を出力する例を示したものである。ここで、図４（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図４（ｂ）は、メモリ２１０に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。
【００２８】
読出しアドレス計算部２３０では、メモリ２２０からの画像データの読出しの際に、出力画像上の座標（Ｘ１，Ｙ１）の画素として、入力画像上の座標（ｘ１，ｙ１）の画素の画素データが読出されるように、読出しアドレスを計算する。また、出力画像の座標（Ｘ２，Ｙ２）の画素としては、入力画像上の座標（ｘ２，ｙ２）の画素の画像データが読出されるように読出しアドレスを計算する。この読出しアドレスに基づき、メモリ２２０の対応するアドレスから画像データを読出すことにより、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２９】
読出しアドレス計算部２３０は、通常、ＬＳＩとして実装される。車載カメラシステムでは、歪み補正や回転補正や見下ろし補正やその他、利用状況などに応じて多種多様の画像変形が必要とされており、全ての種類の画像変形処理に対応するＬＳＩを実装するのは、開発コストおよび回路規模の制限がある場合、実現困難である。そのため、ＬＳＩでは、画像変形処理のタイプに依存しない双線形補完処理のみを行うようにし、別途ソフトウェアなどで、各画像変形処理のタイプ対応に、双線形補間に利用する複数種類の座標変換テーブル（ＬＵＴ）を作成して、ＰＲＯＭなどに記録しておく。
【００３０】
一実施例として、読出しアドレス計算部２３０は、複数種類の座標変換テーブルが記録されたＰＲＯＭと、必要な座標変換テーブルを使用して、双線形補間処理を行うＬＳＩ（座標変換部）で構成される。
【００３１】
座標変換テーブルには、出力画像を複数ブロックに区切り、各ブロックの頂点画素ごとに、該頂点画素に対応する入力画像上の座標変換元の座標値を保持するようにする。図５は、出力画像を７２０×４８０画素（ピクセル）とし、６０×３２画素を１ブロックとして１２×１５＝１８０ブロックに分割した例を示したものである。図５中、０〜２０５は各ブロックの頂点画素に割り当てた番号（頂点画素番号）を示している。座標変換テーブルでは、各頂点画素番号毎に、その頂点画素に対応する入力画素上の座標値を保持している。ＬＳＩ（座標変換部）は、同期信号を基に出力画像の各画素の座標値を計算し、該座標値の出力画素が頂点画素と一致する場合、座標変換テーブルの当該頂点番号のエントリから対応する入力画像の座標値を得て読出しアドレスとする。一方、出力画素が頂点画素と一致しない場合には、座標変換テーブルから該出力画素周囲の複数の頂点画素（参照画素）に対応する入力画像の複数の座標値を得、該複数の座標値を基に双線形補間処理により、出力画素に対応する入力画像の座標値を計算して読出しアドレスとする。このような双線形補間処理については、例えば、特許文献２に記載されている。
【００３２】
なお、読出しアドレス計算部２３０の構成としては、特許文献２に記載の方法に限られず、特許文献１やその他、従来の周知の種々の方法が適用可能である。要は、座標変換により所望の画像変形が実現できればよい。
【００３３】
メモリインターフェース部２１０は、同期信号の制御下で、読出しアドレス計算部２３０から読出しアドレスを順次受け取り、メモリ２００から当該アドレスの画像データを順次読出していく。この時、メモリアクセス制限部２１２では、このメモリ２２０から読出される画像データの主走査方向（ｘ方向）の読出し画素数（ピクセル数）が出力画面の主走査方向の画素数（ピクセル）より小さくなるように、メモリ２２０の読出し動作を制御する。具体的には、メモリアクセス制限部２１２は、各行毎に、メモリ２００から読出される画像データの画素数をカウントし、該カウント値が所定の値に達したなら当該行の読出し動作を抑止するようにする。
【００３４】
例えば、メモリ２２０に記憶される入力画像を６４０×４８０ピクセル、出力画像を７２０×４８０ピクセルとした場合、メモリアクセス制限部２１２では、各行（主走査線）について、メモリ２２０から例えば５０４ピクセルの画像データが読出されたなら当該行の以降の読出し動作を抑止するようにする。
【００３５】
なお、メモリアクセス制限部２１２は、各行について、読出しアドレス計算部２３０から受け取る読出しアドレスの数をカウントし、該カウント値が所定の値を達したなら、読出しアドレス計算部２３０に対して当該行の以降のアドレス計算のスキップを指示することも可能である。このような構成でも同様の作用効果が得られる。
【００３６】
画像伸張部２４０は、メモリインターフェース部２１０にてメモリ２２０から読出される画像データを受け取り、該画像データを画面主走査方向に対して最終的に出力するのに必要な画素数（ピクセル数）に伸張する。伸張処理には補間を利用する。
【００３７】
図６に画像伸張部２４０での具体的処理イメージを示す。これは、画面主走査方向に対して最終的に出力するのに必要なピクセル数は７２０ピクセル、メモリ２２０から読出される画像データの主走査方向のピクセル数は５０４ピクセルとした場合を示している。
【００３８】
画像伸張部２４０は、メモリ２２０から読出された１ライン当たり５０４ピクセルの画像データを例えばＦＩＦＯメモリに書込み、それを読出す。このＦＩＦＯメモリから読出すためのリードイネーブル信号を１４クロック分ＨＩＧＨ、６クロック分ＬＯＷとして、１４ピクセル分ずつ読出し、これを３６回繰り返して、１ライン当たり５０４ピクセルの画像データを読出す。図６（ａ）は、ＦＩＦＯメモリから読出される１回当たりの画像データセットを示す。この画像データセットを図６（ｂ）のように補間処理して伸張する。これを３６回繰り返すことで、１ライン当たり５０４ピクセルの画像データは７２０ピクセルの画像データに伸張される。
【００３９】
なお、図６は一例にすぎず、画面主走査方向に対して最終的に出力するのに必要なピクセル数が得られればよく、一般に伸張のやり方は種々の方法が考えられる。
【００４０】
画像出力部２５０は、画像伸張部２４０から出力される画像データを入力し、それを出力画面として適切な形式にエンコードする。ここでは、ＮＴＳＣ方式の映像信号に変換し、図示しない表示装置（モニタ）に表示する。
【００４１】
図７に、本発明の画像処理装置の一実施形態の具体的構成例を示す。本画像処理装置は、例えば車載カメラの筐体内に内蔵して使用される。図７において、図１と同一部分には同一の符号が付されている。
【００４２】
センサユニット１００は、車の後方等を撮像して得られる画像データを出力する。ここでは、画像データはＹＵＶ４２２形式（８ビット）とする。センサユニット１００は、例えば２７ＭＨｚのクロックで、Ｙ，Ｕ，Ｙ，Ｖ，Ｙ，Ｕ，Ｙ，Ｖ，・・・の順番に出力する。有効画像データは６４０×４８０ピクセル、フレームレートは３０ｆｐｓである。また、最終の出力画像は７２０×４８０ピクセルとする。
【００４３】
センサユニット１００から出力された画像データは、メモリインターフェース部２１０を介し、メモリ２２０に格納される。メモリ２２０にはＤＲＡＭを使用し、２画面分の画像データを格納できるとする。ここでは、ＤＲＡＭは１Ｍ×１６ｂｉｔのデータを格納できるとし、各アドレスに、例えば上位８ビットは輝度信号８ビット、下位８ビットは色差信号８ビットの状態で格納する。ＤＲＡＭへの書込み及び読出しはダブルバッファ方式とし（図３）、書込みはプログレッシブ、読出しはインターレースで、共に３０ｆｐｓとする。
【００４４】
読出しアドレス計算部２３０は、メモリインターフェース２１０においてメモリ（ＤＲＡＭ）２２０から画像データを読出す際に、座標変換により画像の変形を行なうために、画像の変形を反映した読出しアドレスを計算する。ここで、ＰＲＯＭ２３４は、プログレシッブ・インターレース変換（ＰＩ変換）、歪み補正、回転補正、見下ろし補正など、各画像変形毎に、出力画像の頂点画素に対応する入力画像の座標値をあらかじめ計算した座標変換テーブルを保持している。座標変換部２２２は、ＰＲＯＭ２３４内の所望の座標変換テーブルを用いて、出力画像の各画素に対応する入力画像の座標値を双線形補間により計算し、画像の変形を反映した読出しアドレスをメモリインターフェース２１０に送出する。ＰＲＯＭ２３４内のどの座標変換テーブルを使用するかは、必要に応じて外部から指示する。
【００４５】
メモリインターフェース部２１０は、座標変換部２３２から送出される読出しアドレスに基づいて、メモリ（ＤＲＡＭ）２２０から画像データを読出す。メモリアクセス制限部２１２は、各行毎に、メモリ２２０から読出される画像データの画素数（ピクセル数）をカウントし、該カウント値が所定の値に達したなら当該行（ライン）の以降の読出し動作を抑止する。ここでは、メモリ２２０から読出される画像データは、１ライン当たり５０４ピクセルとする。
【００４６】
画像伸張部２４０は、メモリ（ＤＲＡＭ）２２０から読出される画像データを入力し、ＹＵＶ４４４変換部２４２でＹＵＶ４４４形式に変換した後、伸張部２４４で１ライン当たり５０４ピクセルの画像データを画面主走査方向に対して７２０ピクセルに伸張し、それをＹＵＶ４２２変換部２４６でＹＵＶ４２２形式に戻す。ここで、伸張部２４４では先に述べたように、例えば１ライン当たり５０４ピクセルの画像データをＦＩＦＯメモリ等に書込み、それを読出す際、１４ピクセルずつ読出し、それを２０ピクセルに伸張する処理を３６回繰り返すことで、画面主走査方向に対して７２０ピクセルに伸張する。
【００４７】
画像伸張部２４０の出力画像データは画像出力部２５０に入力される。画像出力部２５０では、ＢＴ６５６スケーリング部２５２にて輝度信号および色差信号のスケーリングを行った後、ＤＡＣ（デジタル・アナログ変換器）においてＮＴＳＣ方式の映像信号に変換して出力する。スケーリングは、ＤＡＣ２５４の入力仕様がＢＴ６５６に準拠しているため、輝度信号と色差信号をそれぞれ１６〜２３５、１６〜２４０の値域に変換してからＤＡＣ２５４に入力するように決められていることによる。
【００４８】
画像出力部２５０には、図示しない画像表示装置が接続されており、ＤＡＣ２５４から出力される映像信号が表示される。
【００４９】
図８に画像表示装置の輝度信号の一般的な周波数特性を示す。ここで、画像出力部２５０から出力されるＮＴＳＣ信号の水平解像度を計算すると、８．０ＭＨｚ／３０ｆｐｓ／５２５line＝５０７本である。図８により、１ライン当たり７２０ピクセルの画像データをメモリ２２０から読出してたとしても、ＮＴＳＣへの出力が律速となっており、５００ピクセル程度でも劣化がほぼないことが分かる。
【００５０】
以上、本発明の画像処理装置の具体的構成例について説明したが、本発明の画像処理装置は、このような構成に限定されるものでないことは云うまでもない。
【符号の説明】
【００５１】
１００ センサユニット
２００ 画像処理装置
２１０ メモリインターフェース部
２１２ メモリアクセス制限部
２２０ メモリ
２３０ 読出しアドリス計算部
２４０ 画像伸張部
２５０ 画像出力部
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特開２００８−０９２６０２号公報
【特許文献２】特開２００９−０１０７３０号公報
【技術分野】
【０００１】
本発明は、車載カメラなどのカメラシステムに用いられる画像処理装置及びそれを備えた画像撮像装置に関する。
【背景技術】
【０００２】
従来から、魚眼レンズのような広角レンズを用いた車載カメラなどのカメラシステムにおいては、撮像された歪みを持つ画像を信号処理により補正する画像処理装置を用いることが提案されている。一般に画像処理装置では、撮像素子を含むセンサユニットから、レンズにより集光した光情報を光電変換して得られたアナログ信号をデジタル信号に変換したＲＧＢやＹＵＶなどの形式の画像データを入力し、該画像データをＳＲＡＭやＤＲＡＭなどのメモリに格納し、該メモリの所定のアドレスをアクセスして画像データを読出すことにより、歪みを持った原画像について補正および自由な変形を行っている。
【０００３】
従来、このような画像処理装置において、メモリに格納されたデータの読出しに際し、必要なアドレスにアクセスするための方法として、例えば特許文献１に記載されているように、水平方向に伸縮させるための水平補正パラメータや垂直方向に伸縮させるための垂直補正パラメータの情報を、信号処理部外部の補正パラメータエンコーダ部などのブロックに予め格納しておき、必要に応じてそれらの情報を信号処理部内部に読み込むことにより、必要なアドレス値を計算することによって歪みを持った原画像の補正を実現させている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像を自由に変形するためには、メモリからランダムアクセスで画像データを読出す必要がある。一方、装置の低コスト化のためには、出来る限り安価なＤＲＡＭなどを使用する必要がある。しかしながら、安価なＤＲＡＭでは駆動周波数があまり速くないことからランダムアクセスのスピードが遅く、正規のＮＴＳＣ出力のためには、必要なアドレス値を計算して、主走査線方向の７２０ピクセルを読出すためには時間的に間に合わないことが課題であった。
【０００５】
本発明は、上記課題を解決し、安価なメモリでも原画像の自由な変形や歪補正等を行ない、高画質な映像を容易に得られる画像処理装置及びそれを備えた画像撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１の発明は、１画面以上の画像データを格納するメモリと、前記メモリから画像データを読み出す際に座標変換により画像の変形を行うため、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算手段と、入力された画像データを前記メモリに書込み、前記読出しアドレス計算手段で計算された読出しアドレスに基づいて前記メモリから画像データを読み出すメモリインターフェース手段と、前記メモリから読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限するメモリアクセス制限手段と、前記出力画面の主走査方向の画素数に対して主走査方向の画素数が小さく前記メモリから読み出された画像データを、前記出力画面の主走査方向の画素数となるように伸張する画像伸張手段と、前記画像伸張手段で伸張された画像データを出力画面として適切な形式にエンコードして出力する画像出力手段とを有する画像処理装置を特徴とする。
【０００７】
請求項２の発明は、請求項１記載の画像処理装置において、前記メモリアクセス制限手段は、前記メモリからの読み出される画像データの主走査方向の画素数をカウントし、該カウント値が所定の値に達したなら前記メモリから当該主走査方向の画像データの読出しを抑止することを特徴とする。
【０００８】
請求項３の発明は、請求項１記載の画像処理装置において、前記メモリアクセス制限手段は、前記読出しアドレス計算部から送出される主走査方向の読出しアドレスの数をカウントし、該カウント値が所定の値に達したなら前記読出しアドレス計算手段から当該主走査方向の読出しアドレスの送出を抑止することを特徴とする。
【０００９】
請求項４の発明は、請求項１乃至３のいずれか１項に記載の画像処理装置において、前記メモリインターフェース手段が前記メモリアクセス制限手段を含むことを特徴とする。
【００１０】
請求項５の発明は、請求項１乃至４のいずれか１項に記載の画像処理装置前記メモリは少なくとも２画面分の画像データを格納可能なＤＲＡＭで構成され、 前記メモリインターフェース手段は、ダブルバッファ方式で前記ＤＲＡＭに対する画像データの書込み読出しを行うことを特徴とする。
【００１１】
請求項６の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、前記読出しアドレス計算手段は、画像変形の種別毎の複数の座標変換テーブルを備え、外部からの指示に応じていずれかの座標変換テーブルを用いて所定の画像変形を反映した読出しアドレスを計算することを特徴とする。
【００１２】
請求項７の発明は、請求項１乃至６のいずれか１項に記載の画像処理装置において、前記画像伸張手段は、前記メモリから読出された主走査方向の画像データを所定の画素数毎に区分し、該区分した画像データセット単位に所定数の画像データを補間して、出力画面の主走査方向の画素数となるように伸張することを特徴とする。
【００１３】
請求項８の発明は、被写体を撮影して画像データを取得するセンサユニットと、請求項１乃至７のいずれか１項に記載の画像処理装置とを具備してなる画像撮像装置を特徴とする。
【発明の効果】
【００１４】
本発明にかかる画像処理装置によれば、メモリから読み出す主走査方向の画像データの画素数を制限すると共に、該画像データを出力画面の主走査方向の画素数となるように伸張することで、安価なメモリでも原画像の自由な変形および補正を行なうことができるため、高画質な映像を容易に得ることができる。また、本発明の画像処理装置を備えた画像撮像装置によれば、高品質な映像を維持しつつ、低コスト化が可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明の画像処理装置を備えた画像撮像装置の全体構成図である。
【図２】図１中のセンサユニットの構成例を示す図である。
【図３】ダブルバッファ方式を説明する図である。
【図４】座標変換による画像の回転変形を説明する図である。
【図５】出力画像のブロック分割と頂点画素の関係を示す図である。
【図６】図１中の画像伸張部での伸張処理を説明する図である。
【図７】本発明の画像処理装置の具体的構成例を示す図である。
【図８】画像表示装置の輝度信号の周波数特性を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳しく説明する。
図１は、本発明の画像処理装置を備えた画像処理装置の一実施形態の全体構成図を示す。図１において、１００は撮像素子を含むセンサユニット、２００は該センサユニット１００から出力される画像データを処理する画像処理装置である。例えば、車載カメラシステムの場合、センサユニット１００と画像処理装置２００は筐体内に一体に収納され、車載カメラ装置として車の後方等に取り付けて使用される。画像処理装置２０には表示装置（モニタ）などが接続されるが、図１では省略してある。
【００１７】
センサユニット１００は、被写体を撮影してアナログ信号を取得し、それをデジタル変換して画像データとして出力する。同時に、センサユニット１００は水平・垂直の同期信号を出力する。
【００１８】
図２はセンサユニット１００の構成例を示す。センサユニット１００はレンズ光学系１１０、撮像素子１２０、オートゲインコントロール回路（ＡＧＣ）１３０、オートホワイトバランス回路（ＡＷＢ）１４０、アナログ−デジタル変換器（ＡＤＣ）１５０などで構成される。
【００１９】
光学系１１０により撮像素子１２０に光を効率よく集光させる。車載カメラでは、一般に光学系１１０に広角で歪曲収差の大きいレンズが用いられる。撮像素子１２０は、ＣＣＤやＣＭＯＳなどで構成され、光学系１１０により集光された光学像を、その光強度に応じて強弱を持った電気信号（アナログ信号）に変換する。
【００２０】
撮像素子１２０で取得された撮像画像のアナログ信号は、オートゲインコントロール回路（ＡＧＣ）１３０、オートホワイトバランス回路（ＡＷＢ）１４０を経て、アナログ−デジタル変換器（ＡＤＣ）１５０によりデジタルデータに変換される。ＡＧＣ１３０は、後述のＮＴＳＣエンコーダの入力に必要なレベルの信号を出力するための回路である。すなわち、被写体が明るい場合はアンプのゲインを下げ、暗い場合には所定のレベルになるようにアンプのゲインを上げる。なお、ゲインを上げると、ノイズも増加するため、信号のＳ／Ｎ比を下げるようにする。ＡＷＢ１４０は、白色の被写体を撮像した際に各色それぞれの信号強度が全て等しくなるように各色対応の各チャンネルのゲインを調整する。ＡＤＣ１５０は、アナログ信号の各色それぞれの信号をデジタルデータに変換する。デジタルデータは、例えば、各色それぞれ８ビットで構成される。以下、まとめて画像データと称す。
【００２１】
図２では省略したが、センサユニット１００は同期信号発生器を内蔵して、各部の処理を同期信号に同期して行い、画像データと共に該同期信号を出力する。なお、同期信号発生器は、別途独立に設けて、それからセンサユニット１００及び画像処理装置２００に与えるようにしてもよい。
【００２２】
図１に戻り、画像処理装置２００は、メモリインターフェース部２１０、メモリ２２０、読出しアドレス計算部２３０、画像伸張部２４０、画像出力部２５０などで構成される。また、メモリインターフェース部２１０はメモリアクセス制限部２１２を備えている。画像処理装置２００は、他に色空間変換部、ＭＴＦ補正部、ガンマ補正部などを備えているが、簡単化のため図１では省略してある。
【００２３】
センサユニット１００から出力された画像データは、メモリインターフェース部２１０を介し、一旦メモリ（フレームバッファ）２２０に格納された後、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算部２３０からの読出しアドレスに基づいて該メモリ２２０から読出される。メモリ２２０は、安価なＤＲＡＭなどでよく、１画面（フレーム）以上の画像データが格納される。
【００２４】
ここでは、メモリ２２０の書込み読出し動作はダブルバッファ方式をとるとする。ダブルバッファ方式とは、２画面分の画像データをメモリアドレス空間の各領域（Ａ、Ｂと呼ぶこととする）に格納することができる場合、領域Ａからデータを読出すと同時に、もう１画面分の領域Ｂにセンサユニットからのデータを格納し、領域Ａ、Ｂそれぞれにおいて全アドレスにアクセスが終了したら、ＡとＢの書き込みと読出しの役割を交換するのを繰り返す方式である。図３にダブルバッファ方式の概要を示す。図３に示すように、読出しと書き込みの速度が同じ場合（図３では共に３０ｆｐｓ）は、１フレーム毎に役割を交換すればよい。しかし、例えば読出しが３０ｆｐｓで書き込みが１５ｆｐｓであるような場合には、書き込みが終わらないうちに読出しが追いついてしまうため、画面に残像が出るという不具合が生じる。そのため、書き込み途中の領域で書き込みが終わるまでもう一方の領域をもう一度読む必要がある。また、読出しをインターレースで行なう場合は、１ライン置きにデータを読出していき（第１フィールド）、読み飛ばしたラインをあとから読出す（第２フィールド）方式をとる必要がある。インターレースにより画面表示させると、映像のちらつきを防ぐことができるため都合が良い。
【００２５】
メモリアクセス制限部２１２は、メモリ２２０から読出される画像データの主走査方向の読出し画素数が出力画面の主走査方向の画素数より小さくなるように、メモリ２２０の読出し動作を制御する。これについては後述する。
【００２６】
読出しアドレス計算部２３０は、メモリインターフェース部２１０によりメモリ２２０から画像データを読出す際に、座標変換により画像の変形を行うために、画像の変形を反映した読出しアドレスを計算する。具体的には、出力画像の各画素に対応する入力画像の座標を計算する。
【００２７】
図４に読出しアドレス計算部２３０の処理イメージを示す。これは、入力画像を９０°回転変形した画像を出力する例を示したものである。ここで、図４（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図４（ｂ）は、メモリ２１０に記憶された入力画像と出力画像上の対応する画素の位置関係を示す。
【００２８】
読出しアドレス計算部２３０では、メモリ２２０からの画像データの読出しの際に、出力画像上の座標（Ｘ１，Ｙ１）の画素として、入力画像上の座標（ｘ１，ｙ１）の画素の画素データが読出されるように、読出しアドレスを計算する。また、出力画像の座標（Ｘ２，Ｙ２）の画素としては、入力画像上の座標（ｘ２，ｙ２）の画素の画像データが読出されるように読出しアドレスを計算する。この読出しアドレスに基づき、メモリ２２０の対応するアドレスから画像データを読出すことにより、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２９】
読出しアドレス計算部２３０は、通常、ＬＳＩとして実装される。車載カメラシステムでは、歪み補正や回転補正や見下ろし補正やその他、利用状況などに応じて多種多様の画像変形が必要とされており、全ての種類の画像変形処理に対応するＬＳＩを実装するのは、開発コストおよび回路規模の制限がある場合、実現困難である。そのため、ＬＳＩでは、画像変形処理のタイプに依存しない双線形補完処理のみを行うようにし、別途ソフトウェアなどで、各画像変形処理のタイプ対応に、双線形補間に利用する複数種類の座標変換テーブル（ＬＵＴ）を作成して、ＰＲＯＭなどに記録しておく。
【００３０】
一実施例として、読出しアドレス計算部２３０は、複数種類の座標変換テーブルが記録されたＰＲＯＭと、必要な座標変換テーブルを使用して、双線形補間処理を行うＬＳＩ（座標変換部）で構成される。
【００３１】
座標変換テーブルには、出力画像を複数ブロックに区切り、各ブロックの頂点画素ごとに、該頂点画素に対応する入力画像上の座標変換元の座標値を保持するようにする。図５は、出力画像を７２０×４８０画素（ピクセル）とし、６０×３２画素を１ブロックとして１２×１５＝１８０ブロックに分割した例を示したものである。図５中、０〜２０５は各ブロックの頂点画素に割り当てた番号（頂点画素番号）を示している。座標変換テーブルでは、各頂点画素番号毎に、その頂点画素に対応する入力画素上の座標値を保持している。ＬＳＩ（座標変換部）は、同期信号を基に出力画像の各画素の座標値を計算し、該座標値の出力画素が頂点画素と一致する場合、座標変換テーブルの当該頂点番号のエントリから対応する入力画像の座標値を得て読出しアドレスとする。一方、出力画素が頂点画素と一致しない場合には、座標変換テーブルから該出力画素周囲の複数の頂点画素（参照画素）に対応する入力画像の複数の座標値を得、該複数の座標値を基に双線形補間処理により、出力画素に対応する入力画像の座標値を計算して読出しアドレスとする。このような双線形補間処理については、例えば、特許文献２に記載されている。
【００３２】
なお、読出しアドレス計算部２３０の構成としては、特許文献２に記載の方法に限られず、特許文献１やその他、従来の周知の種々の方法が適用可能である。要は、座標変換により所望の画像変形が実現できればよい。
【００３３】
メモリインターフェース部２１０は、同期信号の制御下で、読出しアドレス計算部２３０から読出しアドレスを順次受け取り、メモリ２００から当該アドレスの画像データを順次読出していく。この時、メモリアクセス制限部２１２では、このメモリ２２０から読出される画像データの主走査方向（ｘ方向）の読出し画素数（ピクセル数）が出力画面の主走査方向の画素数（ピクセル）より小さくなるように、メモリ２２０の読出し動作を制御する。具体的には、メモリアクセス制限部２１２は、各行毎に、メモリ２００から読出される画像データの画素数をカウントし、該カウント値が所定の値に達したなら当該行の読出し動作を抑止するようにする。
【００３４】
例えば、メモリ２２０に記憶される入力画像を６４０×４８０ピクセル、出力画像を７２０×４８０ピクセルとした場合、メモリアクセス制限部２１２では、各行（主走査線）について、メモリ２２０から例えば５０４ピクセルの画像データが読出されたなら当該行の以降の読出し動作を抑止するようにする。
【００３５】
なお、メモリアクセス制限部２１２は、各行について、読出しアドレス計算部２３０から受け取る読出しアドレスの数をカウントし、該カウント値が所定の値を達したなら、読出しアドレス計算部２３０に対して当該行の以降のアドレス計算のスキップを指示することも可能である。このような構成でも同様の作用効果が得られる。
【００３６】
画像伸張部２４０は、メモリインターフェース部２１０にてメモリ２２０から読出される画像データを受け取り、該画像データを画面主走査方向に対して最終的に出力するのに必要な画素数（ピクセル数）に伸張する。伸張処理には補間を利用する。
【００３７】
図６に画像伸張部２４０での具体的処理イメージを示す。これは、画面主走査方向に対して最終的に出力するのに必要なピクセル数は７２０ピクセル、メモリ２２０から読出される画像データの主走査方向のピクセル数は５０４ピクセルとした場合を示している。
【００３８】
画像伸張部２４０は、メモリ２２０から読出された１ライン当たり５０４ピクセルの画像データを例えばＦＩＦＯメモリに書込み、それを読出す。このＦＩＦＯメモリから読出すためのリードイネーブル信号を１４クロック分ＨＩＧＨ、６クロック分ＬＯＷとして、１４ピクセル分ずつ読出し、これを３６回繰り返して、１ライン当たり５０４ピクセルの画像データを読出す。図６（ａ）は、ＦＩＦＯメモリから読出される１回当たりの画像データセットを示す。この画像データセットを図６（ｂ）のように補間処理して伸張する。これを３６回繰り返すことで、１ライン当たり５０４ピクセルの画像データは７２０ピクセルの画像データに伸張される。
【００３９】
なお、図６は一例にすぎず、画面主走査方向に対して最終的に出力するのに必要なピクセル数が得られればよく、一般に伸張のやり方は種々の方法が考えられる。
【００４０】
画像出力部２５０は、画像伸張部２４０から出力される画像データを入力し、それを出力画面として適切な形式にエンコードする。ここでは、ＮＴＳＣ方式の映像信号に変換し、図示しない表示装置（モニタ）に表示する。
【００４１】
図７に、本発明の画像処理装置の一実施形態の具体的構成例を示す。本画像処理装置は、例えば車載カメラの筐体内に内蔵して使用される。図７において、図１と同一部分には同一の符号が付されている。
【００４２】
センサユニット１００は、車の後方等を撮像して得られる画像データを出力する。ここでは、画像データはＹＵＶ４２２形式（８ビット）とする。センサユニット１００は、例えば２７ＭＨｚのクロックで、Ｙ，Ｕ，Ｙ，Ｖ，Ｙ，Ｕ，Ｙ，Ｖ，・・・の順番に出力する。有効画像データは６４０×４８０ピクセル、フレームレートは３０ｆｐｓである。また、最終の出力画像は７２０×４８０ピクセルとする。
【００４３】
センサユニット１００から出力された画像データは、メモリインターフェース部２１０を介し、メモリ２２０に格納される。メモリ２２０にはＤＲＡＭを使用し、２画面分の画像データを格納できるとする。ここでは、ＤＲＡＭは１Ｍ×１６ｂｉｔのデータを格納できるとし、各アドレスに、例えば上位８ビットは輝度信号８ビット、下位８ビットは色差信号８ビットの状態で格納する。ＤＲＡＭへの書込み及び読出しはダブルバッファ方式とし（図３）、書込みはプログレッシブ、読出しはインターレースで、共に３０ｆｐｓとする。
【００４４】
読出しアドレス計算部２３０は、メモリインターフェース２１０においてメモリ（ＤＲＡＭ）２２０から画像データを読出す際に、座標変換により画像の変形を行なうために、画像の変形を反映した読出しアドレスを計算する。ここで、ＰＲＯＭ２３４は、プログレシッブ・インターレース変換（ＰＩ変換）、歪み補正、回転補正、見下ろし補正など、各画像変形毎に、出力画像の頂点画素に対応する入力画像の座標値をあらかじめ計算した座標変換テーブルを保持している。座標変換部２２２は、ＰＲＯＭ２３４内の所望の座標変換テーブルを用いて、出力画像の各画素に対応する入力画像の座標値を双線形補間により計算し、画像の変形を反映した読出しアドレスをメモリインターフェース２１０に送出する。ＰＲＯＭ２３４内のどの座標変換テーブルを使用するかは、必要に応じて外部から指示する。
【００４５】
メモリインターフェース部２１０は、座標変換部２３２から送出される読出しアドレスに基づいて、メモリ（ＤＲＡＭ）２２０から画像データを読出す。メモリアクセス制限部２１２は、各行毎に、メモリ２２０から読出される画像データの画素数（ピクセル数）をカウントし、該カウント値が所定の値に達したなら当該行（ライン）の以降の読出し動作を抑止する。ここでは、メモリ２２０から読出される画像データは、１ライン当たり５０４ピクセルとする。
【００４６】
画像伸張部２４０は、メモリ（ＤＲＡＭ）２２０から読出される画像データを入力し、ＹＵＶ４４４変換部２４２でＹＵＶ４４４形式に変換した後、伸張部２４４で１ライン当たり５０４ピクセルの画像データを画面主走査方向に対して７２０ピクセルに伸張し、それをＹＵＶ４２２変換部２４６でＹＵＶ４２２形式に戻す。ここで、伸張部２４４では先に述べたように、例えば１ライン当たり５０４ピクセルの画像データをＦＩＦＯメモリ等に書込み、それを読出す際、１４ピクセルずつ読出し、それを２０ピクセルに伸張する処理を３６回繰り返すことで、画面主走査方向に対して７２０ピクセルに伸張する。
【００４７】
画像伸張部２４０の出力画像データは画像出力部２５０に入力される。画像出力部２５０では、ＢＴ６５６スケーリング部２５２にて輝度信号および色差信号のスケーリングを行った後、ＤＡＣ（デジタル・アナログ変換器）においてＮＴＳＣ方式の映像信号に変換して出力する。スケーリングは、ＤＡＣ２５４の入力仕様がＢＴ６５６に準拠しているため、輝度信号と色差信号をそれぞれ１６〜２３５、１６〜２４０の値域に変換してからＤＡＣ２５４に入力するように決められていることによる。
【００４８】
画像出力部２５０には、図示しない画像表示装置が接続されており、ＤＡＣ２５４から出力される映像信号が表示される。
【００４９】
図８に画像表示装置の輝度信号の一般的な周波数特性を示す。ここで、画像出力部２５０から出力されるＮＴＳＣ信号の水平解像度を計算すると、８．０ＭＨｚ／３０ｆｐｓ／５２５line＝５０７本である。図８により、１ライン当たり７２０ピクセルの画像データをメモリ２２０から読出してたとしても、ＮＴＳＣへの出力が律速となっており、５００ピクセル程度でも劣化がほぼないことが分かる。
【００５０】
以上、本発明の画像処理装置の具体的構成例について説明したが、本発明の画像処理装置は、このような構成に限定されるものでないことは云うまでもない。
【符号の説明】
【００５１】
１００ センサユニット
２００ 画像処理装置
２１０ メモリインターフェース部
２１２ メモリアクセス制限部
２２０ メモリ
２３０ 読出しアドリス計算部
２４０ 画像伸張部
２５０ 画像出力部
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特開２００８−０９２６０２号公報
【特許文献２】特開２００９−０１０７３０号公報
【特許請求の範囲】
【請求項１】
１画面以上の画像データを格納するメモリと、
前記メモリから画像データを読み出す際に座標変換により画像の変形を行うため、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算手段と、
入力された画像データを前記メモリに書込み、前記読出しアドレス計算手段で計算された読出しアドレスに基づいて前記メモリから画像データを読み出すメモリインターフェース手段と、
前記メモリから読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限するメモリアクセス制限手段と、
前記出力画面の主走査方向の画素数に対して主走査方向の画素数が小さく前記メモリから読み出された画像データを、前記出力画面の主走査方向の画素数となるように伸張する画像伸張手段と、
前記画像伸張手段で伸張された画像データを出力画面として適切な形式にエンコードして出力する画像出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記メモリアクセス制限手段は、前記メモリから読み出される画像データの主走査方向の画素数をカウントし、該カウント値が所定の値に達したなら前記メモリからの当該主走査方向の画像データの読出しを抑止することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記メモリアクセス制限手段は、前記読出しアドレス計算部から送出される主走査方向の読出しアドレスの数をカウントし、該カウント値が所定の値に達したなら前記読出しアドレス計算手段から当該主走査方向の読出しアドレスの送出を抑止することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記メモリインターフェース手段が前記メモリアクセス制限手段を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記メモリは少なくとも２画面分の画像データを格納可能なＤＲＡＭで構成され、
前記メモリインターフェース手段は、ダブルバッファ方式で前記ＤＲＡＭに対する画像データの書込み読出しを行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記読出しアドレス計算手段は、画像変形の種別毎の複数の座標変換テーブルを備え、外部からの指示に応じていずれかの座標変換テーブルを用いて所定の画像変形を反映した読出しアドレスを計算することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像伸張手段は、前記メモリから読出された主走査方向の画像データを所定の画素数毎に区分し、該区分した画像データセット単位に所定数の画像データを補間して、出力画面の主走査方向の画素数となるように伸張することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を撮影して画像データを取得するセンサユニットと、請求項１乃至７のいずれか１項に記載の画像処理装置とを具備してなる画像撮像装置。
【請求項１】
１画面以上の画像データを格納するメモリと、
前記メモリから画像データを読み出す際に座標変換により画像の変形を行うため、画像の変形を反映した読出しアドレスを計算する読出しアドレス計算手段と、
入力された画像データを前記メモリに書込み、前記読出しアドレス計算手段で計算された読出しアドレスに基づいて前記メモリから画像データを読み出すメモリインターフェース手段と、
前記メモリから読み出される画像データの主走査方向の画素数を、出力画面の主走査方向の画素数に対して小さくなるように制限するメモリアクセス制限手段と、
前記出力画面の主走査方向の画素数に対して主走査方向の画素数が小さく前記メモリから読み出された画像データを、前記出力画面の主走査方向の画素数となるように伸張する画像伸張手段と、
前記画像伸張手段で伸張された画像データを出力画面として適切な形式にエンコードして出力する画像出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記メモリアクセス制限手段は、前記メモリから読み出される画像データの主走査方向の画素数をカウントし、該カウント値が所定の値に達したなら前記メモリからの当該主走査方向の画像データの読出しを抑止することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記メモリアクセス制限手段は、前記読出しアドレス計算部から送出される主走査方向の読出しアドレスの数をカウントし、該カウント値が所定の値に達したなら前記読出しアドレス計算手段から当該主走査方向の読出しアドレスの送出を抑止することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記メモリインターフェース手段が前記メモリアクセス制限手段を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記メモリは少なくとも２画面分の画像データを格納可能なＤＲＡＭで構成され、
前記メモリインターフェース手段は、ダブルバッファ方式で前記ＤＲＡＭに対する画像データの書込み読出しを行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記読出しアドレス計算手段は、画像変形の種別毎の複数の座標変換テーブルを備え、外部からの指示に応じていずれかの座標変換テーブルを用いて所定の画像変形を反映した読出しアドレスを計算することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像伸張手段は、前記メモリから読出された主走査方向の画像データを所定の画素数毎に区分し、該区分した画像データセット単位に所定数の画像データを補間して、出力画面の主走査方向の画素数となるように伸張することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を撮影して画像データを取得するセンサユニットと、請求項１乃至７のいずれか１項に記載の画像処理装置とを具備してなる画像撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−５５３６７（Ｐ２０１１−５５３６７Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４０５４（Ｐ２００９−２０４０５４）
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]