画像処理装置及び画像処理方法
【課題】高解像度画像を座標変換により変形処理して変形画像を生成する際に、大容量のメモリを不要とし、また、メモリのアクセス速度の低下を軽減する。
【解決手段】画像処理装置２００は、入力画像を圧縮して圧縮画像を生成する画像圧縮部２１０と、圧縮画像を格納する記憶部２２０と、座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算部２５０と、記憶部２２０に格納された圧縮画像を、座標情報に基づいて座標変換して読み出すことで、圧縮変形画像を生成する圧縮画像変形部２３０と、圧縮変形画像を伸長する画像伸長部２３０を有している。ここで、画像圧縮部２１０では、入力画像の少なくとも輝度信号（Ｙ）について、ブロック分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮画像を生成する。
【解決手段】画像処理装置２００は、入力画像を圧縮して圧縮画像を生成する画像圧縮部２１０と、圧縮画像を格納する記憶部２２０と、座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算部２５０と、記憶部２２０に格納された圧縮画像を、座標情報に基づいて座標変換して読み出すことで、圧縮変形画像を生成する圧縮画像変形部２３０と、圧縮変形画像を伸長する画像伸長部２３０を有している。ここで、画像圧縮部２１０では、入力画像の少なくとも輝度信号（Ｙ）について、ブロック分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、座標変換により画像を変形処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、車の後ろ部分を見るバックモニターなどにおいて、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像に変形することにより、ドライバーに見やすい画像を表示する画像撮像システムが開発されている（例えば、特許文献１、特許文献２）。
【０００３】
この種の画像撮像システムでは、画像の一部切り出し、また変形により上記の機能を実現するため、表示される画像は、撮像素子より出力された画像の一部を拡大したものとなる。そのため、近年ではその拡大された画像の細かい部分まで表現できるように、１Ｍピクセル以上のピクセル数を持つ高解像度な撮像素子が用いることが要望されている。
【０００４】
しかしながら、高解像度な撮像素子を用いる場合には、
（１）フレームバッファに用いるメモリのアクセススピードの問題
（２）フレームバッファに用いるメモリ容量の問題
が発生する。
【０００５】
上記（１）について云えば、座標変換にはフレームバッファのメモリアドレスへのランダムアクセスが必要であり、またフレームバッファに用いられるＤＲＡＭなどは、連続するアドレスをリードするバーストリードではスループットが大きいが、ランダムアクセスする場合にはスループットが激減する。そのため、高解像度ではリードのスピードが間に合わなくなり、座標変換が破綻する。さらに高画質に座標変換を行うためには、ピクセルの間を補間するインターポレートと行う必要があり、その場合には１ピクセルの出力に対して、周辺の２ピクセル（横方向のみインターポレートの場合）または４ピクセル（縦・横方向のインターポレートを行う場合）のデータをリードする必要があり、さらにリードのスループットが必要となる。
【０００６】
また、上記（２）について云えば、高解像な撮像素子のデータを格納するため、低解像度な撮像素子の場合と比較して、大きなメモリ容量が問題となる。例えば１メガピクセルクラスの撮像素子を用いて、単純にＲＧＢ８ビットずつのデータを格納した場合には、おおよそ以下の容量が必要となる。
VGA(0.3Mpixel) 640*480*24(RGB)*2面（ダブルバッファ）=14.7Mbit
WXGA(1.0MPixel) 1280*800*24(RGB)*2面（ダブルバッファ）=49.2MBit
【０００７】
そのため、例えば、特許文献３には、フレームバッファへの格納データを工夫して上記の問題を解決する技術が開示されている。しかしながら、特許文献３に開示されている技術を用いても、必要容量は上記計算の２／３程度が必要であり、メガピクセルクラスの撮像素子を用いる場合には十分でない。そのため、実装するためには高価な大容量のＲＡＭ等が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、高解像度画像を座標変換により変形処理する際のフレームバッファのメモリ容量とアクセススピードに関する上記問題を解決することにある。
【０００９】
換言すれば、本発明は、大容量のメモリを使用することなく、また、メモリのアクセススピードを低下させることなく、高解像度画像の座標変換を可能とする画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、入力画像データを圧縮して圧縮画像データを生成する画像圧縮手段と、前記圧縮画像データを格納する記憶手段と、座標変換により画像を変形するための座標を計算して、その座標情報を出力する座標計算手段と、前記記憶手段に格納された前記圧縮画像データを、前記座標計算手段からの座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形手段と、前記圧縮変形画像データを伸長する画像伸長手段を有し、前記画像圧縮手段は、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮することを特徴とする。
【００１１】
また、前記画像圧縮手段は、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮することを特徴としている。
【００１２】
また、前記画像圧縮手段は、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減することを特徴としている。さらには、ＨＨ成分のビット数を一番削減することを特徴としている。
【００１３】
また、本発明の画像処理装置は、前記画像伸長手段で伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標計算手段から出力される座標情報のブロック内座標情報に基づいてインターポレートするインターポレーターを更にすることを特徴としている。
【００１４】
また、前記インターポレーターは、色信号についてはそのまま出力することを特徴としている。
【００１５】
また、本発明の画像処理装置は、前記画像圧縮手段は、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成して記憶手段に格納し、前記圧縮画像変形手段は、前記インターポレーターにてブロックの境界を考慮してインターポレートできるように、前記記憶手段から読み出す圧縮画像データを選択することを特徴としている。
【００１６】
また、本発明の画像処理装置は、前記画像伸長手段の後段に、出力画像のサイズを変更する第二の画像伸長手段を更に有することを特徴としている。
【００１７】
また、本発明の画像処理装置は、前記記憶手段に、書込みと読出しでアドレス空間を分けるダブルバッファ方式を用いることを特徴としている。
【００１８】
本発明の画像処理方法の構成も、上記画像処理装置の構成と基本的に同様である。
【発明の効果】
【００１９】
本発明によれば、圧縮画像をメモリに格納し、メモリから該圧縮画像を座標変換により変形しながら読み出すようにしたことにより、高解像度画像を座標変換して変形画像を生成する際に、大容量のメモリを不要とし、また、メモリのアクセススピードの低下を軽減することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の画像処理装置の一実施形態の全体構成図である。
【図２】座標変換による変形画像の生成原理を説明する図である。
【図３】本発明の画像圧縮及び画像伸長の具体的処理イメージを示す図である。
【図４】画面のブロック分割とメモリ格納の具体的イメージを示す図である。
【図５】インターポレーターの処理を説明する図である。
【図６】元画像と出力画像の具体例を示す図である。
【図７】ブロックの境界とインターポレート処理の関係を説明する図である。
【図８】ブロック単位を１ピクセルずらす前の画面を示す図である。
【図９】ブロック単位を１ピクセルずらした後の画面を示す図である。
【図１０】２つの画像に対するメモリ空間の一例を示す図である。
【図１１】ダブルバッファ方式の場合のメモリ空間の一例を示す図である。
【図１２】本発明の画像処理装置の別の実施形態の全体構成図である。
【図１３】図１２の第二の画像伸長部での伸長処理を説明する図である。
【図１４】画像表示装置の輝度信号の周波数特性を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００２２】
図１に、本発明の画像処理装置の一実施形態の全体構成図を示す。センサユニット１００は、レンズ光学系、ＣＣＤやＣＭＯＳなどの撮像素子、Ａ／Ｄ変換回路等のほかに画像処理部を有しており、被写体の光学像を電気信号に変換し、Ａ／Ｄ変換した後、ベイヤ補間やＹＵＶ変換、シャープネスなどの処理を行って画像データを逐次出力する。画像処理装置２００は、センサユニット１００からの画像データ（ＹＵＶデータ）を逐次入力して、座標変換により歪み補正処理や視点変換処理などを行って変形画像を逐次出力する。本発明の特徴は、この画像処理装置２００の構成・処理にある。これについては後述する。
【００２３】
図では省略したが、画像処理装置２００には表示装置が接続されて、画像処理装置２００からの出力画像データは、そのまま又はＮＴＳＣ方式の映像信号に変換されて表示装置に表示される。
【００２４】
本実施例では画像処理装置２００は、入力画像データ（ＹＵＶデータ）を圧縮処理して圧縮画像データを生成する画像圧縮部２１０、圧縮画像データを記憶するフレームバッファ２２０、該フレームバッファ２００から読み出される圧縮画像データ（圧縮変形画像データ）を伸長処理する画像伸長部２３０、伸長された画像データを補間処理するインターポレーター２４０、座標変換により画像を変形するための座標を計算する座標計算部２５０、該座標計算部２５０からの出力情報（座標情報）に基づき、フレームバッファ２２０から圧縮画像データを読み出すことで圧縮変形画像データを生成する圧縮画像変形部２００などで構成される。
【００２５】
例えば、車載カメラシステムの場合、画像処理装置２００はセンサユニット１００と一体に筐体内に収納され、車の後方等に取り付けて使用される。センサユニット１００からは画像データと共にクロック、水平及び垂直同期信号が出力される。なお、画像処理装置２００がクロックや水平／垂直同期信号を生成して、当該装置内の各部及びイメージセンサ１００に供給するようにしてもよい。
【００２６】
まず、変形画像の生成原理について説明する。変形画像は、撮像素子から出力される画像データ（入力画像）を一度フレームバッファにそのまま書込み、異なるアドレス（座標）から読み出すことで生成される。図２は、入力画像を９０°回転変形した画像を生成する例を示したものである。図２（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図２（ｂ）は、フレームメモリに記憶された入力画像と出力画像の対応する画素の位置関係を示す。すなわち、フレームバッファから画像データを読み出す際に、出力画像上の座標（Ｘ１．Ｙ１）の画素として、入力画像上の座標（ｘ１，ｙ１）の画素の画像データを読み出すようにする。また、出力画像上の座標（Ｘ２，Ｙ２）の画素としては、入力画像上の座標（ｘ２，ｙ２）の画素の画像データを読み出すようする。これを入力画像の各画素について実施することで、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２７】
このようにして座標変換により画像を変形することにより、例えば車の後方部分を見るバックモニターなどにおいて、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいて画像変形により真上から見た画像に変形したりして、ドライバーに見やすい画像を表示することができるようになる。
【００２８】
ところで、先に述べたように、高解像度な撮像素子を用いた場合、フレームバッファに用いるメモリのアクセススピードの問題や、メモリ容量の問題が発生する。そこで、本発明では、画像データを圧縮した圧縮画像データをフレームバッファに格納し、座標変換により画像を変形する処理を圧縮画像データを用いて行うようにする。以下、本画像処理装置２００の全体的動作を説明する。
【００２９】
画像圧縮部２１０は、センサユニット１００からの入力画像データ（ＹＵＶデータ）に対して、輝度信号（Ｙ）はＭＸＭピクセルのブロックに分割し、ブロック単位にウェーブレット変換を行い、その後、高周波成分のビット数を削減する量子化を行うことで、圧縮画像データ（非可逆圧縮画像）を生成する。また、色信号（ＵＶ）はそれぞれブロック単位に平均化処理を行うことで、圧縮画像データ（非可逆圧縮画像）を生成する。画像圧縮部２１０は、生成した圧縮画像データをフレームバッファ２２０に逐次格納していく。
【００３０】
座標計算部２５０は、水平／垂直同期信号に基づき、座標変換により所望の歪み補正や視点変換の変形画像を生成するための座標を計算し、圧縮画像変形部２６０に出力する。具体的には、座標計算部２５０では、図２に示したように、フレームメモリからの画像データの読出しの際に、出力画像（変形画像）上の座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）等の画素として、入力画像上の座標（ｘ１，ｙ１），（ｘ２，ｙ２）等の画素の画像データが読み出されるように、出力画像上の変換先座標に対応する入力画像上の変換元座標を計算する。
【００３１】
通常、座標計算部２５０は、歪み補正、回転補正、見下ろし補正、その他、種々の画像変形のためにあらかじめ計算しておいた複数の座標変換テーブル（ＬＵＴ）を有して、目的に応じて所望の座標変換テーブルを選択できるようになっている。したがって、座標計算部２５０は、実際には所望の座標変換テーブルを用い、該テーブルから水平／垂直同期信号に従って変換元座標を読み出して圧縮画像変形部２６０に出力する。これにより、出力画像の変換先座標に対応する入力画像の変換元座標を一々計算する必要がなくなる。
【００３２】
圧縮画像変形部２６０は、座標計算部２５０から受け取った座標情報から、変換元座標が含まれるブロックを算出し、フレームバッファ２２０から当該ブロックの圧縮画像データを読み出す。また、圧縮画像変形部２６０は、インターポレーター２４０に対して、変換元座標がブロック内のどの位置に当たるかを示す情報（ブロック内座標情報）を出力する。
【００３３】
画像伸長部２３０は、フレームバッファ２２０から読み出された圧縮画像データに対して、輝度信号（Ｙ）は逆ウェーブレット変換を行って、ブロック単位にＭＸＭピクセルの画像データに伸長する。色信号（ＵＶ）は、元の形式の画像データに伸長する。
【００３４】
インターポレーター２４０は、画像伸長部２３０から出力される伸長画像データに対して、輝度信号（Ｙ）は、圧縮画像変形部２６０から受け取ったブロック内の座標情報に基づき、バイリニアなどの方法でブロック内の目標座標の画素値を計算して出力する。色信号（ＵＶ）は、後述するように、それぞれ１ブロックで一つの情報しか持たないため、そのまま出力する。
【００３５】
次に、具体的処理について説明する。ここでは、元々の画像データは、１ピクセル当たりＹＵＶ信号ともそれぞれ８ビットで構成されるとする。そして、センサユニット１００からは、輝度信号（Ｙ）は１ピクセル８ビットがそのまま出力され、色信号（ＵＶ）は、センサユニット１００内でＹＵＶ＝４：４：４がＹＵＶ＝４：２：２に変換されて、ＵＶ信号それぞれ２ピクセル分８ビット（２画素の平均値）が出力されるとする。
【００３６】
図３は、画像圧縮部２１０及び画像伸長部２３０での具体的な圧縮／伸長処理イメージを示したものである。ここで、１ブロックは２×２ピクセルとする。
【００３７】
画像圧縮部２３０では、センサユニット１００からの画像データに対して、輝度信号は、２×２ピクセルを１ブロックとして、ブロック単位にウェーブレット変換してＬＬ，ＨＬ，ＬＨ，ＨＨ成分（ウェーブレット変換係数）を生成し、このうち、ＨＬ，ＬＨ，ＨＨの高周波成分は量子化してビット数を削減する。具体的には、ＬＬ成分は８ビット、ＨＬとＬＨ成分は３ビット、ＨＨ成分は２ビットとする。したがって、輝度信号（Ｙ）は、１ブロック当たり、３２ビットが１６ビットに圧縮される。一方、色信号（ＵＶ）は、１ブロック単位にＹＵＶ＝４：２：２をＹＵＶ＝４：１：１に変換する（２×２画素の平均値とする）。ここでは、変換後の色信号（ＵＶ）をそれぞれ８ビットとする。したがって、色信号（ＵＶ）も、１ブロック当たり、３２ビットが１６ビットに圧縮される。
【００３８】
ここで、１ブロックの４ピクセルのＹ信号をａ，ｂ，ｃ，ｄとすると、ＬＬ，ＨＬ，ＬＨ，ＨＨ成分はそれぞれ次のように計算される。
ＬＬ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ＨＬ＝（ａ＋ｃ）／２−（ｂ＋ｄ）／２
ＬＨ＝（ａ＋ｂ）／２−（ｃ＋ｄ）／２
ＨＨ＝（ａ−ｂ）−（ｃ−ｄ）
【００３９】
画像伸長部２３０では、フレームバッファ２２０から読み出された圧縮変形画像データに対して、輝度信号（Ｙ）は、ブロック単位に逆ウェーブレット変換を行って、１ブロック４ピクセルのデータをそれぞれ復元する。すなわち、１ピクセル８ビットずつ、１ブロック４ピクセルで合計３２ビットに復元する。色信号（ＵＶ）は、元のＹＵＶ＝４：２：２に変換する。すなわち、ＵＶ信号毎、２画素分８ビットずつ、１ブロックで合計３２ビットに復元する。
【００４０】
ここで、１ブロックの４ピクセルのＹ信号をａ，ｂ，ｃ，ｄとすると、これらはＬＬ，ＨＬ，ＬＨ，ＨＨ成分から次のように計算される。
ａ＝（４×ＬＬ＋２×ＨＬ＋２×ＬＨ＋ＨＨ）／４
ｂ＝（４×ＬＬ＋２×ＨＬ−２×ＬＨ−ＨＨ）／４
ｃ＝（４×ＬＬ−２×ＨＬ＋２×ＬＨ−ＨＨ）／４
ｄ＝（４×ＬＬ−２×ＨＬ−２×ＬＨ＋ＨＨ）／４
【００４１】
図３の例の場合、フレームバッファは、非圧縮状態（ＲＧＢ各８ビット格納）では１ピクセル当たり２４ビット必要とするデータ量が、４ピクセル当たり輝度情報１６ビット，色情報１６ビットで済むため、１ピクセルあたりは８ビットとなり１／３のデータ量で済む。また、フレームバッファへは、連続したメモリアドレスに高速にライトができるバーストライトが使用できる。一方、フレームバッファからは、出力１ピクセル分に対するリードが、１ブロック分の３２ビットのデータ量を読み出すだけで周辺ピクセルを含む４ピクセル分を読み出すことが可能なため、これら周辺ピクセルを用いて座標変換の小数点部分を補間するＸＹ方向のインターポレートを行うことが可能となり、高品質な座標変換が可能となる。
【００４２】
図４に、画面のブロック分割とメモリ格納方法の具体的イメージを示す。図４（ａ）は、１２８０×８００ピクセルの画面を１ブロック、２×２ピクセルのブロックに分割することを示している。上記図３の例の場合、圧縮画像データは１ブロック当たり、輝度信号及び色信号はいずれも１６ビットである。図３（ｂ）に示すように、この１ブロックの輝度信号及び色信号は、フレームバッファ２２０の連続したアドレスに格納される（バーストライト）。また、フレームバッファ２２０からも、１６ビット×２アドレスのバーストリードで、１ブロック分の３２ビットのデータが読み出される。
【００４３】
なお、フレームバッファ２２０は、メモリへの書込みと読出しが同時に同じフレームに行われないように、２画面分のメモリを備えて、書込みと読出しでアドレス空間を分ける、いわゆるダブルバッファ方式とすることでもよい。
【００４４】
インターポレーター２４０では、輝度信号（Ｙ）については、図５に示すように、１ブロック分の４ピクセルの伸長データａ，ｂ，ｃ，ｄについて、バイリニア方法などを適用して、圧縮画像変形部２６０からのブロック内座標情報の読出し位置（例えば、Ｘ＝０．２，Ｙ＝１．２）に応じて重み付け加重平均を計算し、その計算結果を出力する。色信号（ＵＶ）については、画像伸長部２３０からの伸長データがＵ，Ｖそれぞれ１ブロックで一つの色情報しか持たないため、伸長データをそのまま出力する。
【００４５】
図６に、具体的画像例を示す。図６（ａ）は元画像、図６（ｂ）は上記のようにして圧縮、伸長、インターポレートを行った出力画像の例である。元画像に対し、出力画像は、人間の目にはほぼ差が分からない品質となっている。
【実施例２】
【００４６】
実施例１の構成・動作では、例えば図７の×印がついている位置の輝度情報を得ようとした場合には、ブロックの境目であるため、周辺４ピクセルの情報を１ブロックから得ることができず、インターポレートが行えない。
【００４７】
そのため、本実施例では、画像圧縮部２１０を２重構成として、もう一方の画像圧縮部では、輝度信号について１ピクセルずらしてブロック分割してブロック単位の圧縮画像データを生成し、圧縮画像データのフレームバッファ２２０への書込み時に、通常処理による画像空間のほかに、該ブロックを１ピクセルずらした画像空間をもう一つメモリに書き込んでおき、取りだしたい座標位置にあわせて、どちらの画像空間から当該ブロックの圧縮画像データを読み出すかを圧縮画像変形部２６０が選択できるようにする。
【００４８】
図８及び図９に本実施例の処理イメージを示す。ここで、図８は通常処理（実施例１に対応）の画像空間１であり、図９は１ピクセルずらした画像空間２である。図７の×印の場合、図９の画像空間２を用いることで、×印の周辺４ピクセルの輝度信号を１ブロックから得ることができ、インターポレートを確実に行うことが可能になる。
【００４９】
本実施例では、画像圧縮手段は２つ、メモリ容量は倍必要になるものの、どの位置の座標を読み出際にもＸＹ両方向にインターポレートが可能となる。なお、１ブロックが２×２以上の場合、例えば４×４の場合には、画像空間１と画像空間２とは１ピクセルオーバーラップさせればよい。
【００５０】
図１０はメモリ上の画像空間１及び画像空間２の配置例を示した図である。もちろん、他の配置方法でもよい、また、ダブルバッファ方式の場合には、図１１のように画像空間をメモリ上に４面もつこととなる。
【実施例３】
【００５１】
図１２に、本実施例の画像処理装置の全体構成図を示す。これはインターポレーター２４０の後段に第二の画像伸長部２７０を追加したもので、これ以外は図１と同じである。
【００５２】
画像を変形するためには、メモリ（フレームメモリ）からランダムアクセスで画像データを読出す必要がある。一方、装置の低コスト化のためには、出来る限り安価なＤＲＡＭなどを使用する必要がある。しかしながら、安価なＤＲＡＭでは駆動周波数があまり速くないことからランダムアクセスのスピードが遅く、正規のＮＴＳＣ出力のためには、必要なアドレス値を計算して、例えば、主走査線方向の所望ピクセルを読出すためには時間的に間に合わないことがある。
【００５３】
そこで、本実施例では、フレームバッファ２２０から出力される主走査方向の読み出しピクセル数は、出力画面のピクセル数に対して小さい構成とする。例えば、フレームバッファ２２０からの主走査線方向の読み出しピクセル数は５００ピクセル分と小さく読み出し、その後、第２画像伸長部２７０において、主走査線方向への伸長処理で７２０ピクセルに伸長する。
【００５４】
具体的には、第二画像伸長部２７０では、インターポレーター２４０から出力された１ライン当たり５００ピクセルの画像データを例えばＦＩＦＯメモリに書込み、それを読出す。このＦＩＦＯメモリから読出すためのリードイネーブル信号を１４クロック分ＨＩＧＨ、６クロック分ＬＯＷとして、１４ピクセル分ずつ読出し、これを３５回繰り返し、最後の１回は１０クロック分ＨＩＧＨ、１０クロック分ＬＯＷとして、１ライン当たり５００ピクセルの画像データを読出す。図１３（ａ）は、ＦＩＦＯメモリから読出される１回当たりの画像データセットを示す。この画像データセットを図１３（ｂ）のように補間処理して伸長する。これを３５＋１回繰り返すことで、１ライン当たり５００ピクセルの画像データは７２０ピクセルの画像データに伸長される。
【００５５】
なお、図１３は一例にすぎず、画面主走査方向に対して最終的に出力するのに必要なピクセル数が得られればよく、一般に伸長のやり方は種々の方法が考えられる。
【００５６】
図１４に画像表示装置の輝度信号の一般的な周波数特性を示す。ここで、ＮＴＳＣ信号の水平解像度を計算すると、８．０ＭＨｚ／３０ｆｐｓ／５２５line＝５０７本である。図１４により、１ライン当たり７２０ピクセルの画像データをメモリから読出したとしても、ＮＴＳＣへの出力が律速となっており、５００ピクセル程度でも劣化がほぼないことが分かる。
【実施例４】
【００５７】
本実施例は、図１のインターポレーター２４０の後段や図１２の第二画像伸長部２７０の後にオーバーレイ手段を設けるものである。車載カメラシステムにおいては、多数の車種に対応可能なように車幅線や距離線などのマーカーの一を変更することが可能となっている場合がある。オーバーレイ手段では、このような車幅線や距離線を出力画像に重畳するようにする。
【００５８】
バックモニターなどの表示画面に車の車幅を示す車幅線や、車からの距離を示す距離線を表示することで、ドライバーの安全な駐車等を助けることが可能になる。
【符号の説明】
【００５９】
１００ センサユニット
２００ 画像処理装置
２１０ 画像圧縮部
２２０ フレームバッファ
２３０ 画像伸長部
２４０ インターポレーター
２５０ 座標計算部
２６０ 圧縮画像変形部
２７０ 第二画像伸長部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特開２００９−１７７７０３号公報
【特許文献２】特開２０１０− ８１４７９号公報
【特許文献３】特開２００８− ６１１７２号公報
【技術分野】
【０００１】
本発明は、座標変換により画像を変形処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、車の後ろ部分を見るバックモニターなどにおいて、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいた画像変形により真上から見た画像に変形することにより、ドライバーに見やすい画像を表示する画像撮像システムが開発されている（例えば、特許文献１、特許文献２）。
【０００３】
この種の画像撮像システムでは、画像の一部切り出し、また変形により上記の機能を実現するため、表示される画像は、撮像素子より出力された画像の一部を拡大したものとなる。そのため、近年ではその拡大された画像の細かい部分まで表現できるように、１Ｍピクセル以上のピクセル数を持つ高解像度な撮像素子が用いることが要望されている。
【０００４】
しかしながら、高解像度な撮像素子を用いる場合には、
（１）フレームバッファに用いるメモリのアクセススピードの問題
（２）フレームバッファに用いるメモリ容量の問題
が発生する。
【０００５】
上記（１）について云えば、座標変換にはフレームバッファのメモリアドレスへのランダムアクセスが必要であり、またフレームバッファに用いられるＤＲＡＭなどは、連続するアドレスをリードするバーストリードではスループットが大きいが、ランダムアクセスする場合にはスループットが激減する。そのため、高解像度ではリードのスピードが間に合わなくなり、座標変換が破綻する。さらに高画質に座標変換を行うためには、ピクセルの間を補間するインターポレートと行う必要があり、その場合には１ピクセルの出力に対して、周辺の２ピクセル（横方向のみインターポレートの場合）または４ピクセル（縦・横方向のインターポレートを行う場合）のデータをリードする必要があり、さらにリードのスループットが必要となる。
【０００６】
また、上記（２）について云えば、高解像な撮像素子のデータを格納するため、低解像度な撮像素子の場合と比較して、大きなメモリ容量が問題となる。例えば１メガピクセルクラスの撮像素子を用いて、単純にＲＧＢ８ビットずつのデータを格納した場合には、おおよそ以下の容量が必要となる。
VGA(0.3Mpixel) 640*480*24(RGB)*2面（ダブルバッファ）=14.7Mbit
WXGA(1.0MPixel) 1280*800*24(RGB)*2面（ダブルバッファ）=49.2MBit
【０００７】
そのため、例えば、特許文献３には、フレームバッファへの格納データを工夫して上記の問題を解決する技術が開示されている。しかしながら、特許文献３に開示されている技術を用いても、必要容量は上記計算の２／３程度が必要であり、メガピクセルクラスの撮像素子を用いる場合には十分でない。そのため、実装するためには高価な大容量のＲＡＭ等が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、高解像度画像を座標変換により変形処理する際のフレームバッファのメモリ容量とアクセススピードに関する上記問題を解決することにある。
【０００９】
換言すれば、本発明は、大容量のメモリを使用することなく、また、メモリのアクセススピードを低下させることなく、高解像度画像の座標変換を可能とする画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、入力画像データを圧縮して圧縮画像データを生成する画像圧縮手段と、前記圧縮画像データを格納する記憶手段と、座標変換により画像を変形するための座標を計算して、その座標情報を出力する座標計算手段と、前記記憶手段に格納された前記圧縮画像データを、前記座標計算手段からの座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形手段と、前記圧縮変形画像データを伸長する画像伸長手段を有し、前記画像圧縮手段は、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮することを特徴とする。
【００１１】
また、前記画像圧縮手段は、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮することを特徴としている。
【００１２】
また、前記画像圧縮手段は、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減することを特徴としている。さらには、ＨＨ成分のビット数を一番削減することを特徴としている。
【００１３】
また、本発明の画像処理装置は、前記画像伸長手段で伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標計算手段から出力される座標情報のブロック内座標情報に基づいてインターポレートするインターポレーターを更にすることを特徴としている。
【００１４】
また、前記インターポレーターは、色信号についてはそのまま出力することを特徴としている。
【００１５】
また、本発明の画像処理装置は、前記画像圧縮手段は、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成して記憶手段に格納し、前記圧縮画像変形手段は、前記インターポレーターにてブロックの境界を考慮してインターポレートできるように、前記記憶手段から読み出す圧縮画像データを選択することを特徴としている。
【００１６】
また、本発明の画像処理装置は、前記画像伸長手段の後段に、出力画像のサイズを変更する第二の画像伸長手段を更に有することを特徴としている。
【００１７】
また、本発明の画像処理装置は、前記記憶手段に、書込みと読出しでアドレス空間を分けるダブルバッファ方式を用いることを特徴としている。
【００１８】
本発明の画像処理方法の構成も、上記画像処理装置の構成と基本的に同様である。
【発明の効果】
【００１９】
本発明によれば、圧縮画像をメモリに格納し、メモリから該圧縮画像を座標変換により変形しながら読み出すようにしたことにより、高解像度画像を座標変換して変形画像を生成する際に、大容量のメモリを不要とし、また、メモリのアクセススピードの低下を軽減することが可能になる。
【図面の簡単な説明】
【００２０】
【図１】本発明の画像処理装置の一実施形態の全体構成図である。
【図２】座標変換による変形画像の生成原理を説明する図である。
【図３】本発明の画像圧縮及び画像伸長の具体的処理イメージを示す図である。
【図４】画面のブロック分割とメモリ格納の具体的イメージを示す図である。
【図５】インターポレーターの処理を説明する図である。
【図６】元画像と出力画像の具体例を示す図である。
【図７】ブロックの境界とインターポレート処理の関係を説明する図である。
【図８】ブロック単位を１ピクセルずらす前の画面を示す図である。
【図９】ブロック単位を１ピクセルずらした後の画面を示す図である。
【図１０】２つの画像に対するメモリ空間の一例を示す図である。
【図１１】ダブルバッファ方式の場合のメモリ空間の一例を示す図である。
【図１２】本発明の画像処理装置の別の実施形態の全体構成図である。
【図１３】図１２の第二の画像伸長部での伸長処理を説明する図である。
【図１４】画像表示装置の輝度信号の周波数特性を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態について図面を参照して説明する。
【実施例１】
【００２２】
図１に、本発明の画像処理装置の一実施形態の全体構成図を示す。センサユニット１００は、レンズ光学系、ＣＣＤやＣＭＯＳなどの撮像素子、Ａ／Ｄ変換回路等のほかに画像処理部を有しており、被写体の光学像を電気信号に変換し、Ａ／Ｄ変換した後、ベイヤ補間やＹＵＶ変換、シャープネスなどの処理を行って画像データを逐次出力する。画像処理装置２００は、センサユニット１００からの画像データ（ＹＵＶデータ）を逐次入力して、座標変換により歪み補正処理や視点変換処理などを行って変形画像を逐次出力する。本発明の特徴は、この画像処理装置２００の構成・処理にある。これについては後述する。
【００２３】
図では省略したが、画像処理装置２００には表示装置が接続されて、画像処理装置２００からの出力画像データは、そのまま又はＮＴＳＣ方式の映像信号に変換されて表示装置に表示される。
【００２４】
本実施例では画像処理装置２００は、入力画像データ（ＹＵＶデータ）を圧縮処理して圧縮画像データを生成する画像圧縮部２１０、圧縮画像データを記憶するフレームバッファ２２０、該フレームバッファ２００から読み出される圧縮画像データ（圧縮変形画像データ）を伸長処理する画像伸長部２３０、伸長された画像データを補間処理するインターポレーター２４０、座標変換により画像を変形するための座標を計算する座標計算部２５０、該座標計算部２５０からの出力情報（座標情報）に基づき、フレームバッファ２２０から圧縮画像データを読み出すことで圧縮変形画像データを生成する圧縮画像変形部２００などで構成される。
【００２５】
例えば、車載カメラシステムの場合、画像処理装置２００はセンサユニット１００と一体に筐体内に収納され、車の後方等に取り付けて使用される。センサユニット１００からは画像データと共にクロック、水平及び垂直同期信号が出力される。なお、画像処理装置２００がクロックや水平／垂直同期信号を生成して、当該装置内の各部及びイメージセンサ１００に供給するようにしてもよい。
【００２６】
まず、変形画像の生成原理について説明する。変形画像は、撮像素子から出力される画像データ（入力画像）を一度フレームバッファにそのまま書込み、異なるアドレス（座標）から読み出すことで生成される。図２は、入力画像を９０°回転変形した画像を生成する例を示したものである。図２（ａ）は、ある二つの画素の変換前と変換後の座標上の位置関係を示し、図２（ｂ）は、フレームメモリに記憶された入力画像と出力画像の対応する画素の位置関係を示す。すなわち、フレームバッファから画像データを読み出す際に、出力画像上の座標（Ｘ１．Ｙ１）の画素として、入力画像上の座標（ｘ１，ｙ１）の画素の画像データを読み出すようにする。また、出力画像上の座標（Ｘ２，Ｙ２）の画素としては、入力画像上の座標（ｘ２，ｙ２）の画素の画像データを読み出すようする。これを入力画像の各画素について実施することで、出力画像として、入力画像を９０°回転変形した画像を得ることができる。
【００２７】
このようにして座標変換により画像を変形することにより、例えば車の後方部分を見るバックモニターなどにおいて、魚眼カメラの画像を変形し、魚眼画像に起因する画像の歪みを補正したり、視点変換に基づいて画像変形により真上から見た画像に変形したりして、ドライバーに見やすい画像を表示することができるようになる。
【００２８】
ところで、先に述べたように、高解像度な撮像素子を用いた場合、フレームバッファに用いるメモリのアクセススピードの問題や、メモリ容量の問題が発生する。そこで、本発明では、画像データを圧縮した圧縮画像データをフレームバッファに格納し、座標変換により画像を変形する処理を圧縮画像データを用いて行うようにする。以下、本画像処理装置２００の全体的動作を説明する。
【００２９】
画像圧縮部２１０は、センサユニット１００からの入力画像データ（ＹＵＶデータ）に対して、輝度信号（Ｙ）はＭＸＭピクセルのブロックに分割し、ブロック単位にウェーブレット変換を行い、その後、高周波成分のビット数を削減する量子化を行うことで、圧縮画像データ（非可逆圧縮画像）を生成する。また、色信号（ＵＶ）はそれぞれブロック単位に平均化処理を行うことで、圧縮画像データ（非可逆圧縮画像）を生成する。画像圧縮部２１０は、生成した圧縮画像データをフレームバッファ２２０に逐次格納していく。
【００３０】
座標計算部２５０は、水平／垂直同期信号に基づき、座標変換により所望の歪み補正や視点変換の変形画像を生成するための座標を計算し、圧縮画像変形部２６０に出力する。具体的には、座標計算部２５０では、図２に示したように、フレームメモリからの画像データの読出しの際に、出力画像（変形画像）上の座標（Ｘ１，Ｙ１），（Ｘ２，Ｙ２）等の画素として、入力画像上の座標（ｘ１，ｙ１），（ｘ２，ｙ２）等の画素の画像データが読み出されるように、出力画像上の変換先座標に対応する入力画像上の変換元座標を計算する。
【００３１】
通常、座標計算部２５０は、歪み補正、回転補正、見下ろし補正、その他、種々の画像変形のためにあらかじめ計算しておいた複数の座標変換テーブル（ＬＵＴ）を有して、目的に応じて所望の座標変換テーブルを選択できるようになっている。したがって、座標計算部２５０は、実際には所望の座標変換テーブルを用い、該テーブルから水平／垂直同期信号に従って変換元座標を読み出して圧縮画像変形部２６０に出力する。これにより、出力画像の変換先座標に対応する入力画像の変換元座標を一々計算する必要がなくなる。
【００３２】
圧縮画像変形部２６０は、座標計算部２５０から受け取った座標情報から、変換元座標が含まれるブロックを算出し、フレームバッファ２２０から当該ブロックの圧縮画像データを読み出す。また、圧縮画像変形部２６０は、インターポレーター２４０に対して、変換元座標がブロック内のどの位置に当たるかを示す情報（ブロック内座標情報）を出力する。
【００３３】
画像伸長部２３０は、フレームバッファ２２０から読み出された圧縮画像データに対して、輝度信号（Ｙ）は逆ウェーブレット変換を行って、ブロック単位にＭＸＭピクセルの画像データに伸長する。色信号（ＵＶ）は、元の形式の画像データに伸長する。
【００３４】
インターポレーター２４０は、画像伸長部２３０から出力される伸長画像データに対して、輝度信号（Ｙ）は、圧縮画像変形部２６０から受け取ったブロック内の座標情報に基づき、バイリニアなどの方法でブロック内の目標座標の画素値を計算して出力する。色信号（ＵＶ）は、後述するように、それぞれ１ブロックで一つの情報しか持たないため、そのまま出力する。
【００３５】
次に、具体的処理について説明する。ここでは、元々の画像データは、１ピクセル当たりＹＵＶ信号ともそれぞれ８ビットで構成されるとする。そして、センサユニット１００からは、輝度信号（Ｙ）は１ピクセル８ビットがそのまま出力され、色信号（ＵＶ）は、センサユニット１００内でＹＵＶ＝４：４：４がＹＵＶ＝４：２：２に変換されて、ＵＶ信号それぞれ２ピクセル分８ビット（２画素の平均値）が出力されるとする。
【００３６】
図３は、画像圧縮部２１０及び画像伸長部２３０での具体的な圧縮／伸長処理イメージを示したものである。ここで、１ブロックは２×２ピクセルとする。
【００３７】
画像圧縮部２３０では、センサユニット１００からの画像データに対して、輝度信号は、２×２ピクセルを１ブロックとして、ブロック単位にウェーブレット変換してＬＬ，ＨＬ，ＬＨ，ＨＨ成分（ウェーブレット変換係数）を生成し、このうち、ＨＬ，ＬＨ，ＨＨの高周波成分は量子化してビット数を削減する。具体的には、ＬＬ成分は８ビット、ＨＬとＬＨ成分は３ビット、ＨＨ成分は２ビットとする。したがって、輝度信号（Ｙ）は、１ブロック当たり、３２ビットが１６ビットに圧縮される。一方、色信号（ＵＶ）は、１ブロック単位にＹＵＶ＝４：２：２をＹＵＶ＝４：１：１に変換する（２×２画素の平均値とする）。ここでは、変換後の色信号（ＵＶ）をそれぞれ８ビットとする。したがって、色信号（ＵＶ）も、１ブロック当たり、３２ビットが１６ビットに圧縮される。
【００３８】
ここで、１ブロックの４ピクセルのＹ信号をａ，ｂ，ｃ，ｄとすると、ＬＬ，ＨＬ，ＬＨ，ＨＨ成分はそれぞれ次のように計算される。
ＬＬ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ＨＬ＝（ａ＋ｃ）／２−（ｂ＋ｄ）／２
ＬＨ＝（ａ＋ｂ）／２−（ｃ＋ｄ）／２
ＨＨ＝（ａ−ｂ）−（ｃ−ｄ）
【００３９】
画像伸長部２３０では、フレームバッファ２２０から読み出された圧縮変形画像データに対して、輝度信号（Ｙ）は、ブロック単位に逆ウェーブレット変換を行って、１ブロック４ピクセルのデータをそれぞれ復元する。すなわち、１ピクセル８ビットずつ、１ブロック４ピクセルで合計３２ビットに復元する。色信号（ＵＶ）は、元のＹＵＶ＝４：２：２に変換する。すなわち、ＵＶ信号毎、２画素分８ビットずつ、１ブロックで合計３２ビットに復元する。
【００４０】
ここで、１ブロックの４ピクセルのＹ信号をａ，ｂ，ｃ，ｄとすると、これらはＬＬ，ＨＬ，ＬＨ，ＨＨ成分から次のように計算される。
ａ＝（４×ＬＬ＋２×ＨＬ＋２×ＬＨ＋ＨＨ）／４
ｂ＝（４×ＬＬ＋２×ＨＬ−２×ＬＨ−ＨＨ）／４
ｃ＝（４×ＬＬ−２×ＨＬ＋２×ＬＨ−ＨＨ）／４
ｄ＝（４×ＬＬ−２×ＨＬ−２×ＬＨ＋ＨＨ）／４
【００４１】
図３の例の場合、フレームバッファは、非圧縮状態（ＲＧＢ各８ビット格納）では１ピクセル当たり２４ビット必要とするデータ量が、４ピクセル当たり輝度情報１６ビット，色情報１６ビットで済むため、１ピクセルあたりは８ビットとなり１／３のデータ量で済む。また、フレームバッファへは、連続したメモリアドレスに高速にライトができるバーストライトが使用できる。一方、フレームバッファからは、出力１ピクセル分に対するリードが、１ブロック分の３２ビットのデータ量を読み出すだけで周辺ピクセルを含む４ピクセル分を読み出すことが可能なため、これら周辺ピクセルを用いて座標変換の小数点部分を補間するＸＹ方向のインターポレートを行うことが可能となり、高品質な座標変換が可能となる。
【００４２】
図４に、画面のブロック分割とメモリ格納方法の具体的イメージを示す。図４（ａ）は、１２８０×８００ピクセルの画面を１ブロック、２×２ピクセルのブロックに分割することを示している。上記図３の例の場合、圧縮画像データは１ブロック当たり、輝度信号及び色信号はいずれも１６ビットである。図３（ｂ）に示すように、この１ブロックの輝度信号及び色信号は、フレームバッファ２２０の連続したアドレスに格納される（バーストライト）。また、フレームバッファ２２０からも、１６ビット×２アドレスのバーストリードで、１ブロック分の３２ビットのデータが読み出される。
【００４３】
なお、フレームバッファ２２０は、メモリへの書込みと読出しが同時に同じフレームに行われないように、２画面分のメモリを備えて、書込みと読出しでアドレス空間を分ける、いわゆるダブルバッファ方式とすることでもよい。
【００４４】
インターポレーター２４０では、輝度信号（Ｙ）については、図５に示すように、１ブロック分の４ピクセルの伸長データａ，ｂ，ｃ，ｄについて、バイリニア方法などを適用して、圧縮画像変形部２６０からのブロック内座標情報の読出し位置（例えば、Ｘ＝０．２，Ｙ＝１．２）に応じて重み付け加重平均を計算し、その計算結果を出力する。色信号（ＵＶ）については、画像伸長部２３０からの伸長データがＵ，Ｖそれぞれ１ブロックで一つの色情報しか持たないため、伸長データをそのまま出力する。
【００４５】
図６に、具体的画像例を示す。図６（ａ）は元画像、図６（ｂ）は上記のようにして圧縮、伸長、インターポレートを行った出力画像の例である。元画像に対し、出力画像は、人間の目にはほぼ差が分からない品質となっている。
【実施例２】
【００４６】
実施例１の構成・動作では、例えば図７の×印がついている位置の輝度情報を得ようとした場合には、ブロックの境目であるため、周辺４ピクセルの情報を１ブロックから得ることができず、インターポレートが行えない。
【００４７】
そのため、本実施例では、画像圧縮部２１０を２重構成として、もう一方の画像圧縮部では、輝度信号について１ピクセルずらしてブロック分割してブロック単位の圧縮画像データを生成し、圧縮画像データのフレームバッファ２２０への書込み時に、通常処理による画像空間のほかに、該ブロックを１ピクセルずらした画像空間をもう一つメモリに書き込んでおき、取りだしたい座標位置にあわせて、どちらの画像空間から当該ブロックの圧縮画像データを読み出すかを圧縮画像変形部２６０が選択できるようにする。
【００４８】
図８及び図９に本実施例の処理イメージを示す。ここで、図８は通常処理（実施例１に対応）の画像空間１であり、図９は１ピクセルずらした画像空間２である。図７の×印の場合、図９の画像空間２を用いることで、×印の周辺４ピクセルの輝度信号を１ブロックから得ることができ、インターポレートを確実に行うことが可能になる。
【００４９】
本実施例では、画像圧縮手段は２つ、メモリ容量は倍必要になるものの、どの位置の座標を読み出際にもＸＹ両方向にインターポレートが可能となる。なお、１ブロックが２×２以上の場合、例えば４×４の場合には、画像空間１と画像空間２とは１ピクセルオーバーラップさせればよい。
【００５０】
図１０はメモリ上の画像空間１及び画像空間２の配置例を示した図である。もちろん、他の配置方法でもよい、また、ダブルバッファ方式の場合には、図１１のように画像空間をメモリ上に４面もつこととなる。
【実施例３】
【００５１】
図１２に、本実施例の画像処理装置の全体構成図を示す。これはインターポレーター２４０の後段に第二の画像伸長部２７０を追加したもので、これ以外は図１と同じである。
【００５２】
画像を変形するためには、メモリ（フレームメモリ）からランダムアクセスで画像データを読出す必要がある。一方、装置の低コスト化のためには、出来る限り安価なＤＲＡＭなどを使用する必要がある。しかしながら、安価なＤＲＡＭでは駆動周波数があまり速くないことからランダムアクセスのスピードが遅く、正規のＮＴＳＣ出力のためには、必要なアドレス値を計算して、例えば、主走査線方向の所望ピクセルを読出すためには時間的に間に合わないことがある。
【００５３】
そこで、本実施例では、フレームバッファ２２０から出力される主走査方向の読み出しピクセル数は、出力画面のピクセル数に対して小さい構成とする。例えば、フレームバッファ２２０からの主走査線方向の読み出しピクセル数は５００ピクセル分と小さく読み出し、その後、第２画像伸長部２７０において、主走査線方向への伸長処理で７２０ピクセルに伸長する。
【００５４】
具体的には、第二画像伸長部２７０では、インターポレーター２４０から出力された１ライン当たり５００ピクセルの画像データを例えばＦＩＦＯメモリに書込み、それを読出す。このＦＩＦＯメモリから読出すためのリードイネーブル信号を１４クロック分ＨＩＧＨ、６クロック分ＬＯＷとして、１４ピクセル分ずつ読出し、これを３５回繰り返し、最後の１回は１０クロック分ＨＩＧＨ、１０クロック分ＬＯＷとして、１ライン当たり５００ピクセルの画像データを読出す。図１３（ａ）は、ＦＩＦＯメモリから読出される１回当たりの画像データセットを示す。この画像データセットを図１３（ｂ）のように補間処理して伸長する。これを３５＋１回繰り返すことで、１ライン当たり５００ピクセルの画像データは７２０ピクセルの画像データに伸長される。
【００５５】
なお、図１３は一例にすぎず、画面主走査方向に対して最終的に出力するのに必要なピクセル数が得られればよく、一般に伸長のやり方は種々の方法が考えられる。
【００５６】
図１４に画像表示装置の輝度信号の一般的な周波数特性を示す。ここで、ＮＴＳＣ信号の水平解像度を計算すると、８．０ＭＨｚ／３０ｆｐｓ／５２５line＝５０７本である。図１４により、１ライン当たり７２０ピクセルの画像データをメモリから読出したとしても、ＮＴＳＣへの出力が律速となっており、５００ピクセル程度でも劣化がほぼないことが分かる。
【実施例４】
【００５７】
本実施例は、図１のインターポレーター２４０の後段や図１２の第二画像伸長部２７０の後にオーバーレイ手段を設けるものである。車載カメラシステムにおいては、多数の車種に対応可能なように車幅線や距離線などのマーカーの一を変更することが可能となっている場合がある。オーバーレイ手段では、このような車幅線や距離線を出力画像に重畳するようにする。
【００５８】
バックモニターなどの表示画面に車の車幅を示す車幅線や、車からの距離を示す距離線を表示することで、ドライバーの安全な駐車等を助けることが可能になる。
【符号の説明】
【００５９】
１００ センサユニット
２００ 画像処理装置
２１０ 画像圧縮部
２２０ フレームバッファ
２３０ 画像伸長部
２４０ インターポレーター
２５０ 座標計算部
２６０ 圧縮画像変形部
２７０ 第二画像伸長部
【先行技術文献】
【特許文献】
【００６０】
【特許文献１】特開２００９−１７７７０３号公報
【特許文献２】特開２０１０− ８１４７９号公報
【特許文献３】特開２００８− ６１１７２号公報
【特許請求の範囲】
【請求項１】
入力画像データを圧縮して圧縮画像データを生成する画像圧縮手段と、
前記圧縮画像データを格納する記憶手段と、
座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算手段と、
前記記憶手段に格納された前記圧縮画像データを、前記座標計算手段からの座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形手段と、
前記圧縮変形画像データを伸長する画像伸長手段とを有し、
前記画像圧縮手段は、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮する、
ことを特徴とする画像処理装置。
【請求項２】
前記画像圧縮手段は、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像圧縮手段は、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減する、
ことを特徴とする請求項１もしくは２に記載の画像処理装置。
【請求項４】
前記画像圧縮手段は、前記ＨＨ成分のビット数を一番削減する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像伸長手段で伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標計算手段から出力される座標情報のブロック内座標情報に基づいてインターポレートするインターポレーターを更に有する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記インターポレーターは、色信号についてはそのまま出力することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像圧縮手段は、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成して記憶手段に格納し、
前記圧縮画像変形手段は、前記インターポレーターにてブロックの境界を考慮してインターポレートできるように、前記記憶手段から読み出す圧縮画像データを選択する、
ことを特徴とする請求項５もしくは６に記載の画像処理装置。
【請求項８】
前記画像伸長手段の後段に、出力画像のサイズを変更する第二の画像伸長手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記記憶手段には、書込みと読出しでアドレス空間を分けるダブルバッファ方式が用いられることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
座標変換により画像を変形処理する画像処理方法であって、
入力画像データを圧縮して圧縮画像データを生成する画像圧縮ステップと、
前記圧縮画像データをメモリに格納する記憶ステップと、
座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算ステップと、
前記メモリに格納された前記圧縮画像データを、前記座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形ステップと、
前記圧縮変形画像データを伸長する画像伸長ステップを有し、
前記画像圧縮ステップは、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮する、
ことを特徴とする画像処理方法。
【請求項１１】
前記画像圧縮ステップは、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮する、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記画像圧縮ステップは、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減する、
ことを特徴とする請求項１０もしくは１１に記載の画像処理方法。
【請求項１３】
前記画像圧縮ステップは、前記ＨＨ成分のビット数を一番削減する、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記画像伸長ステップで伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標情報のブロック内座標情報に基づいてインターポレートするインターポレートステップを更に有する、
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記インターポレートステップは、色信号についてはそのまま出力することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記画像圧縮ステップは、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成し、
前記記憶ステップは、通常の圧縮画像データと共に前記所定ピクセルずらした圧縮画像データをメモリに格納し、
前記圧縮画像変形ステップは、前記インターポレートステップにてブロックの境界を考慮してインターポレートできるように、前記メモリから読み出す圧縮画像データを選択する、
ことを特徴とする請求項１４もしくは１５に記載の画像処理方法。
【請求項１７】
出力画像のサイズを変更する第二の画像伸長ステップを更に有することを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
【請求項１】
入力画像データを圧縮して圧縮画像データを生成する画像圧縮手段と、
前記圧縮画像データを格納する記憶手段と、
座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算手段と、
前記記憶手段に格納された前記圧縮画像データを、前記座標計算手段からの座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形手段と、
前記圧縮変形画像データを伸長する画像伸長手段とを有し、
前記画像圧縮手段は、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮する、
ことを特徴とする画像処理装置。
【請求項２】
前記画像圧縮手段は、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像圧縮手段は、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減する、
ことを特徴とする請求項１もしくは２に記載の画像処理装置。
【請求項４】
前記画像圧縮手段は、前記ＨＨ成分のビット数を一番削減する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像伸長手段で伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標計算手段から出力される座標情報のブロック内座標情報に基づいてインターポレートするインターポレーターを更に有する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記インターポレーターは、色信号についてはそのまま出力することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像圧縮手段は、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成して記憶手段に格納し、
前記圧縮画像変形手段は、前記インターポレーターにてブロックの境界を考慮してインターポレートできるように、前記記憶手段から読み出す圧縮画像データを選択する、
ことを特徴とする請求項５もしくは６に記載の画像処理装置。
【請求項８】
前記画像伸長手段の後段に、出力画像のサイズを変更する第二の画像伸長手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記記憶手段には、書込みと読出しでアドレス空間を分けるダブルバッファ方式が用いられることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
座標変換により画像を変形処理する画像処理方法であって、
入力画像データを圧縮して圧縮画像データを生成する画像圧縮ステップと、
前記圧縮画像データをメモリに格納する記憶ステップと、
座標変換により画像を変形するための座標を計算し、その座標情報を出力する座標計算ステップと、
前記メモリに格納された前記圧縮画像データを、前記座標情報に基づいて座標変換して読み出すことで、圧縮変形画像データを生成する圧縮画像変形ステップと、
前記圧縮変形画像データを伸長する画像伸長ステップを有し、
前記画像圧縮ステップは、前記入力画像データの少なくとも輝度信号（Ｙ）について、Ｍ×Ｍピクセルのブロックに分割して、ブロック単位にウェーブレット変換し、該ウェーブレット変換後、量子化してビット数を削減することにより圧縮する、
ことを特徴とする画像処理方法。
【請求項１１】
前記画像圧縮ステップは、前記入力画像データの色信号（ＵＶ）については、ＹＵＶ＝４：１：１に変換して圧縮する、
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記画像圧縮ステップは、ウェーブレット変換のＬＬ，ＨＬ，ＬＨ，ＨＨ成分のうち、ＨＬ，ＬＨ，ＨＨ成分のビット数を削減する、
ことを特徴とする請求項１０もしくは１１に記載の画像処理方法。
【請求項１３】
前記画像圧縮ステップは、前記ＨＨ成分のビット数を一番削減する、
ことを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記画像伸長ステップで伸長された少なくとも輝度信号のブロック単位の画像データについて、前記座標情報のブロック内座標情報に基づいてインターポレートするインターポレートステップを更に有する、
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理方法。
【請求項１５】
前記インターポレートステップは、色信号についてはそのまま出力することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記画像圧縮ステップは、少なくとも輝度信号について、ブロック単位を所定ピクセルずらした圧縮画像データを更に生成し、
前記記憶ステップは、通常の圧縮画像データと共に前記所定ピクセルずらした圧縮画像データをメモリに格納し、
前記圧縮画像変形ステップは、前記インターポレートステップにてブロックの境界を考慮してインターポレートできるように、前記メモリから読み出す圧縮画像データを選択する、
ことを特徴とする請求項１４もしくは１５に記載の画像処理方法。
【請求項１７】
出力画像のサイズを変更する第二の画像伸長ステップを更に有することを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図６】
【公開番号】特開２０１２−１９９６０８（Ｐ２０１２−１９９６０８Ａ）
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願番号】特願２０１１−６０５５３（Ｐ２０１１−６０５５３）
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１０月１８日（２０１２．１０．１８）
【国際特許分類】
【出願日】平成２３年３月１８日（２０１１．３．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]