画像処理システム、画像処理方法及びプログラム
【課題】入力画像に対し歪み補正及び電子ズーム処理を行う際に画質が劣化しない画像処理システム、画像処理方法及びプログラムを提供する。
【解決手段】補正パラメータエンコーダ２０２は、ズーム領域をＭ×Ｎ個に格子分割し、格子分割されたズーム領域の各格子点における歪み補正パラメータを抽出する。補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、格子分割されたズーム領域の対応する格子点の歪み補正パラメータとを対応付けて圧縮し、圧縮データを作成して画像処理装置１００に送信する。
【解決手段】補正パラメータエンコーダ２０２は、ズーム領域をＭ×Ｎ個に格子分割し、格子分割されたズーム領域の各格子点における歪み補正パラメータを抽出する。補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、格子分割されたズーム領域の対応する格子点の歪み補正パラメータとを対応付けて圧縮し、圧縮データを作成して画像処理装置１００に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置により撮像された画像には、撮像に使用したレンズの歪曲収差特性の影響で歪み（ディストーション）が発生していた。高精度・高性能なレンズを使用すれば、歪みを目立たなくすることは可能であるが、レンズコストの高騰を抑えた場合や光学ズームレンズを搭載した撮像装置では、歪みの発生を完全に防ぐことは難しい。更に、車載カメラや監視カメラ等、広角な撮像範囲を必要とする撮像装置では大きい歪みが生じていた。
【０００３】
こうした歪みを除去するために、近年、予め記録された全画素に対応する補正ベクトルを読み出し、補正情報に応じて画像を格納する画像メモリから必要な情報を取り出し、２次元補間方式による幾何学補正を実行するレンズの歪曲収差特性に起因する歪みを画像処理によって補正する画像処理装置（第１の従来技術）が提案されている。
【０００４】
しかし、このような画像処理装置は、全画素に対応した歪み補正情報を持つ必要があり、ハードウェアによる実現の場合、大容量の記憶領域が必要なのでコストが高くなる、という不利益があった。
【０００５】
こうした不利益を解消するために、特許文献１に開示された画像処理システム（第２の従来技術）は、画像入力手段としてレンズ及び撮像素子を備え、予め効率よく圧縮された水平方向と垂直方向とで独立な補正パラメータから、適切な補正パラメータを選択し、エンコードする手段と、エンコードされたパラメータをリアルタイムにデコードする手段と、デコードされた歪み補正パラメータにより水平方向と垂直方向を独立に補間演算を実現する手段とを備える画像処理システムを提供している。すなわち、メモリアーキテクチャの工夫と、補正パラメータの圧縮とを行うことにより、これらの課題を解決し、メモリアーキテクチャの特徴を活かして歪み補正を実現しながら、同時に拡大縮小処理も行うための信号処理回路と補間回路も用意している。
【０００６】
このため、上述した第１の従来の画像処理装置の最大のデメリットであった、全画素に対応した歪み補正情報を保持する必要があり、ハードウェアによる実現の場合、大容量の記憶領域が必要となりコストが高くついてしまうという点について、特許文献１に開示された画像処理装置では、膨大な補正パラメータの内、入力画像を水平Ｍ×垂直Ｎに格子分割し、格子線分の両端及び格子線分をｎ分割して得られる内分点ｎ−１上における歪み補正パラメータを圧縮（符号化）、伸張（復号）して求め、これを基に歪み補正を行うことで克服している。
【０００７】
第１従来技術の画像処理装置と特許文献１に記載された第２従来技術の画像処理システムとを比較すると、例えば入力画像の解像度が８００×６００画素であった場合、上述した従来の画像処理装置であれば、歪み補正情報には、８００×６００個の歪み補正パラメータが必要であったのに対し、第２の従来技術の特許文献１に開示された画像処理システムでは、８×８に格子分割し、格子点間の分割数はｎ＝１とした場合、各格子点の歪み補正パラメータを使用するので、８×８個の歪み補正パラメータのみが必要であり、歪み補正パラメータのデータ量を１／７５００に削減できた。
【特許文献１】特開２００４−８０５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ビデオカメラやデジタルスチルカメラなどにおいては、電子的に処理を行い画面内の一部分をズーミングすることがある（以下、単に『電子ズーム』という）。特許文献１に開示された画像処理システムにおいて、歪み補正を行いかつ電子ズームを実行する場合について、以下説明する。
【０００９】
特許文献１に開示された画像処理システムにおいて電子ズームを行う場合、全画面に対し歪み補正を実施した画像の一部を切り出した後に電子ズーム処理を施すことになる。
図１は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合について説明するための図である。図１では、一例として１２８０×９６０画素の画像の中心部３２０×２４０画素の領域を電子ズーム処理し、６４０×４８０画素の画像を得る場合について説明する。
【００１０】
図１（ａ）は、入力画像、すなわち歪み補正及び電子ズームされる前の入力画像である。ここでは一例として１２８０×９６０画素の画像を入力画像としている。
図１（ｂ）は、図１（ａ）に示した画像に等倍に歪み補正処理を行った画像である。
次に、図１（ｃ）に示すように、図１（ｂ）において歪み補正を行った画像の、電子ズームを行う対象となる中心部を切り出す。図１（ｃ）に示す例は、１２８０×９６０画素の画像の中心部のサイズを３２０×２４０画素とした場合であり、このとき、切り出し位置（切り出す画像の左上の座標値）は（４８０，３６０）である。
図１（ｄ）に示すように、図１（ｃ）において切り出した中心部画像を、２倍に拡大して６４０×４８０画素の電子ズーム画像とする。
【００１１】
格子分割という観点から見れば、特許文献１に開示された画像処理システムにおいては、例えば図２（ａ）に示すように、８×８に格子分割を行い格子点間の分割数を１にした場合、電子ズームの際に中心部の３２０×２４０画素の領域を切り出して拡大して電子ズーム画像を作成しようとすると、切り出された３２０×２４０画素の領域は図２（ｂ）に示すように、２×２の格子分割しかされていないため、歪み補正画像を作成するための歪み補正パラメータは、各格子点分、すなわち９個しか取得されない。
なお、歪み補正パラメータは、歪みを有する入力画像に対して、入力画像を構成する画素点における水平方向及び垂直方向の補正量を示すパラメータである。特許文献１に開示された画像処理システムでは、歪み補正パラメータを利用し入力画像に１次元補間処理を施すことにより歪み補正を行う。歪み補正パラメータは、上記のように入力画像に対し格子分割を行い、各格子点におけるゆがみを補正するための補正量ベクトルを歪み補正パラメータとすることにより全画素における歪み補正パラメータを保持しなくても良いようになっている。
【００１２】
特許文献１に開示された画像処理システムでは、格子点以外に相当する画素の歪み補正パラメータは、すべて補間して求められるが、図２（ａ）のように荒く格子分割されると原画素の各歪み補正パラメータに対し誤差が大きくなる。これにより、出力画像（歪み補正と電子ズームとを施された画像）においてゆがみが十分に補正されず、本来自然な曲線になるべきところが折れ線になったり不自然に変形したりすることがある。レンズの歪みが緩ければそれほど目立つものではないが、車載カメラや監視カメラ等で使用されている歪みのきついレンズを画像処理システムに適用した場合、これが顕著に現れてしまう。
【００１３】
すなわち、入力画像内の一部を拡大する電子ズーム処理の場合、特許文献１に開示された画像処理システムでは、ズームされた画像の一部からしか歪み補正パラメータを取得せずに歪み補正処理及びズーム処理を施した画像を作成しているので、画質が悪くなる、という不利益があった。
【００１４】
本発明は、上述した不利益を解消するために、歪み補正と電子ズームとの両方の処理を入力画像に対して行う場合に、出力画像の画質が悪くならない画像処理システム、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した目的を達成するために、第１の発明の画像処理システムは、入力画像に対し歪み補正及び電子ズーム処理を実行する画像処理システムであって、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して格子点における歪み補正パラメータを抽出し、当該歪み補正パラメータを圧縮して圧縮データを作成する第１の画像処理装置と、前記第１の画像処理装置が圧縮した前記圧縮データを伸張して使用し前記ズーム対象領域の歪み補正及び電子ズーム処理を行って出力画像とする第２の画像処理装置と、を有し、前記第１の画像処理装置は、前記ズーム対象領域を格子分割した各格子点における歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付け、前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする。
【００１６】
第２の発明の画像処理方法は、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、を有する。
【００１７】
第３の発明のプログラムは、画像処理システムが実行するプログラムであって、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、を前記画像処理システムに実行させる。
【発明の効果】
【００１８】
本発明によれば、入力画像に対し歪み補正及び電子ズーム処理を行う際に画質が劣化しない画像処理システム、画像処理方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態にかかる画像処理システム１０００について説明する。
図３に示すように、本実施形態に係る画像処理システム１０００は、画像処理装置１００（第２の画像処理装置）、前処理装置２００（第１の画像処理装置）、外部記録メディア３００で構成される。
図３は、本実施形態に係る画像処理システム１０００の構成を示すブロック図である。
【００２０】
図３に示すように、画像処理装置１００は、レンズ１０１、撮像素子１０２、データ変換部１０３、同期信号生成部１０４、画像メモリ１０５、信号処理部１０６、表示処理部１０７、再生部１０８、記録部１０９、歪み補正処理制御部１１０、歪み補正メモリ１１１、補正パラメータデコーダ１１２を有する。
なお、画像処理装置１００の各構成はハードウェア的に実現される必要は無く、ソフトウェア上の構成とすることが可能である。
【００２１】
レンズ１０１は、被写体からの反射光を集光し、撮像素子１０２に写影する。レンズ１０１は、単焦点のレンズにとどまらず、ズーム機能を有する。
撮像素子１０２はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどから構成され、同期信号生成部１０４から供給された内部同期信号に応じて写影された映像をキャプチャしアナログ画像信号を生成する。
【００２２】
データ変換部１０３は撮像素子１０２に接続され、同期信号生成部１０４から供給された内部同期信号に応じて、撮像素子１０２により生成されたアナログ画像信号をデジタル画像信号に変換し入力画像を生成する。
同期信号生成部１０４は、外部から供給されるクロック信号ＣＬＫに応じて内部生成信号を生成し、撮像素子１０２、データ変換部１０３及び信号処理部１０６へ供給する。
画像メモリ１０５は、データ変換部１０３が出力した入力画像を格納する。
【００２３】
信号処理部１０６は、データ変換部１０３、同期信号生成部１０４、画像メモリ１０５、歪み補正処理制御部１１０及び補正パラメータデコーダ１１２に接続され、歪み補正処理制御部１１０から供給されたコマンドに応じて、データ変換部１０３から供給される入力画像を画像メモリ１０５へ格納するとともに、補正パラメータデコーダ１１２が出力した補正量ベクトルを基に当該入力画像に対する補正処理を実行する。ここで、補正量ベクトルは例えば、入力画像の各画素を歪み補正及びズーム処理の際にどの方向に移動させるかを記述したベクトルであり、信号処理部１０６は各画素に対応する補正量ベクトルだけ各画素を移動させて補正画像を作成する。そして、信号処理部１０６は、当該補正により得られた補正画像を表示処理部１０７及び記録部１０９へ供給する。
また、信号処理部１０６は、入力された画像の一部を拡大（縮小）する電子ズーム処理を実行する。
表示処理部１０７は、図３に図示しない例えばＣＲＴ（Cathode Ray Tube）ディスプレイやＬＣＤ（Liquid Crystal Display）等の表示部に信号処理部１０６が出力した補正画像を表示する。
【００２４】
再生部１０８は、後述する外部記録メディア３００に記録された画像を再生し、再生信号を表示処理部１０７に出力する。
記録部１０９は、信号処理部１０６が出力した補正画像をテープやフレキシブルディスク、ＤＶＤ（Digital Versatile Disk）、ＨＤＤ（Hard Disk Drive）、メモリ等の外部記録メディア３００に記録する。なお、信号処理部１０６により生成された画像信号は、インターネットやワイヤレス通信などを用いて外部記録メディア３００に記録されるようにしてもよい。
【００２５】
歪み補正処理制御部１１０は、図３に図示しない操作部を介したユーザの入力等に応じて、所定の動作を命令するコマンド等を信号処理部１０６へ出力するとともに、レンズ１０１の位置情報を補正パラメータデコーダ１１２へ供給する。この位置情報は、後述する歪み補正パラメータを算出する際に使用される。
歪み補正メモリ１１１は、後述する補正パラメータエンコーダ２０２から供給される圧縮データを格納する。
【００２６】
補正パラメータデコーダ１１２は、信号処理部１０６、歪み補正処理制御部１１０、歪み補正メモリ１１１及び後述する補正パラメータエンコーダ２０２に接続されており、歪み補正処理制御部１１０から供給されたレンズ１０１の位置情報を使用して、後述する補正パラメータエンコーダ２０２から供給された圧縮データを歪み補正メモリ１１１から読み出し、伸張（デコード）して歪み補正パラメータ（補正量ベクトル）を取得し、取得した補正量ベクトルを信号処理部１０６へ供給する。
【００２７】
次に、前処理装置２００は、補正パラメータ導出部２０１、補正パラメータエンコーダ２０２、歪み補正パラメータメモリ２０３を有する。
なお、前処理装置２００の各構成はハードウェア的に実現される必要は無く、ソフトウェア上の構成とすることが可能である。
補正パラメータ導出部２０１は、レンズ１０１に固有の歪曲収差によって決まる、当該レンズ１０１によって取得される画像の全画素の歪み補正パラメータを算出し、補正パラメータメモリ２０３に記憶する。この処理は、歪み補正パラメータがレンズ１０１に固有のものであるため、画像処理システムが歪み補正及びズーム処理を行う以前に実行される。
【００２８】
歪み補正パラメータとは、歪みを有する入力画像に対して、入力画像を構成する画素点における水平方向及び垂直方向の補正量を示すパラメータである。
【００２９】
補正パラメータエンコーダ２０２は、図示しない操作部を介したユーザの操作等に応じて、補正パラメータ導出部２０１が算出した歪み補正パラメータを補正パラメータメモリ２０３から読み出し、圧縮（エンコード）して圧縮データを作成し、圧縮データを補正パラメータデコーダ１１２へ供給する。なお、圧縮方法や形式については本発明では限定しない。
この際、補正パラメータエンコーダ２０２は、入力画像をＭ×Ｎ（Ｍ，Ｎは任意の自然数）に格子分割し、格子分割された格子点及び格子線分をｎ分割して得られる内分点ｎ−１上における歪み補正パラメータをエンコードして画像処理装置１００に供給する。
これにより、膨大な歪み補正パラメータの内の一部のみを利用して歪み補正を行うことができるようになっている。
補正パラメータメモリ２０３は、補正パラメータ導出部２０１が算出したレンズ１０１に固有の歪み補正パラメータを、レンズ１０１によって作成された画像の各画素に対応させて記憶する。
【００３０】
なお、補正パラメータ導出部２０１における歪み補正パラメータの算出と、補正パラメータエンコーダ２０２による歪み補正パラメータのエンコードは、非常に負荷の大きな演算であるが、補正パラメータ導出部２０１及び補正パラメータエンコーダ２０２を含む前処理装置２００は、画像処理装置１００から独立したパーソナルコンピュータ等の演算装置であり、これらの負荷の大きい演算は画像処理装置１００の歪み補正処理より以前に済まされているために、画像処理装置１００のリアルタイムの歪み補正処理に影響を及ぼすことはない。
【００３１】
次に、本実施形態の画像処理システム１０００において、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例について説明する。
図４は、画像処理システム１０００の、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例を説明するためのフローチャートである。
【００３２】
ステップＳＴ１：
レンズ１０１、撮像素子１０２、データ変換部１０３により、被写体を撮影した入力画像を得る。
ステップＳＴ２：
図示しない操作部を介したユーザの操作等により、入力画像の中でズームする領域（以下ズーム領域と称する）の大きさ及び位置、出力画像の大きさ（解像度）が決定される。
【００３３】
ステップＳＴ３：
補正パラメータ導出部２０１は、ステップＳＴ２において決定されたズーム領域内の全画素の歪み補正パラメータを補正パラメータメモリ２０３から読み出す。
ステップＳＴ４：
補正パラメータエンコーダ２０２は、ステップＳＴ２において決定されたズーム領域をＭ×Ｎ個に格子分割する。
【００３４】
ステップＳＴ５：
補正パラメータエンコーダ２０２は、ステップＳＴ４において格子分割されたズーム領域の各格子点（及び内分点）における歪み補正パラメータを、ステップＳＴ３において読み出された歪み補正パラメータの中から抽出する。
ステップＳＴ６：
補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、ステップＳＴ４において格子分割したズーム領域の対応する格子点の歪み補正パラメータとを対応付ける。すなわち、図５に示すように、Ｍ×Ｎ個に格子分割されたズーム画像とＭ×Ｎ個に格子分割した入力画像と同サイズの画像とにおいて、入力画像の同サイズの画像における格子点の座標と、ズーム画像内でその格子点とＭ×Ｎの格子空間において同一の位置にある格子点の歪み補正パラメータとを対応付ける。図５では一例として８×８に格子分割した場合について説明しているが、これは一例である。図５（ａ）と図５（ｂ）において便宜上つけられた各格子点の番号において、図５（ａ）における格子点の歪み補正パラメータが図５（ｂ）における同一番号の格子点の座標と対応付けられる。
【００３５】
ステップＳＴ７：
補正パラメータエンコーダ２０２は、ステップＳＴ６において対応付けた格子点の座標と歪み補正パラメータとを圧縮（エンコード）し、圧縮データを作成する。
ステップＳＴ８：
補正パラメータエンコーダ２０２は、ステップＳＴ７において圧縮された、圧縮データを画像処理装置に送信する。送信された圧縮データは、歪み補正メモリ１１１に記憶される。
【００３６】
ステップＳＴ９：
補正パラメータデコーダ１１２が、ステップＳＴ８において前処理装置２００から送信された圧縮データを伸張（デコード）する。
ステップＳＴ１０：
信号処理部１０６は、入力画像のズーム画像を、入力画像と同一サイズまで拡大する。
【００３７】
ステップＳＴ１１：
信号処理部１０６は、ステップＳＴ９においてデコードされたステップＳＴ６において対応付けた格子点の座標と歪み補正パラメータを基に、ステップＳＴ１０において拡大した画像の歪み補正を行い、歪み補正拡大画像を得る。ステップＳＴ６においてズーム画像の各格子点の歪み補正パラメータが、ステップＳＴ１０において拡大された画像と同一サイズにおいてＭ×Ｎ個の格子分割をした場合の各格子点の座標と対応付けられているために、この処理をスムーズに行うことができる。
ステップＳＴ１２：
ステップＳＴ１１において歪み補正を行った補正画像を、ステップＳＴ２において決定された出力画像の大きさまで縮小する。これにより、入力画像の一部のみ歪み補正を行い画質劣化なしでズームすることが可能になる。
【００３８】
以下、画像処理システム１０００における歪み補正及び電子ズーム処理を、具体例を挙げながら説明する。以下の各ステップは、図４のフローチャートに示す各ステップに対応している。
図６は、画像の具体例を示す図である。
【００３９】
ステップＳＴ１：
図６（ａ）に示すように、１２８０×９６０画素の入力画像を作成する。
ステップＳＴ２：
図６（ａ）に示すように、３２０×２４０画素の領域をズームして６４０×４８０画素の画像を出力する場合について考える。ここで、入力画像の左上の画素を原点とし水平方向の画素数をｘ座標、垂直方向の画素数をｙ座標とする座標系を考えたときに、ズーム領域の左上の画素の座標は例えば（４８０，３６０）である。なお、以下の説明における座標もこの座標系における座標である。なお、この座標系のとり方は一例であり、本発明では座標系のとり方はこれに限定されない。
【００４０】
ステップＳＴ４：
図６（ｂ）に示すように、ズーム領域を８×８に格子分割するとする。なお、図６に関連付けて行う説明においては、内分点はとらないものとする。
ステップＳＴ６：
入力サイズと同一サイズの画像（１２８０×９６０画素）において、８×８個に格子分割した場合を図６（ｃ）に示す。
ここでズーム画像の左上にある格子点の歪み補正パラメータを（ｘ０，ｙ０）とすると、図６（ｃ）における画像の左上にある格子点の座標は（０，０）であるため、歪み補正パラメータ（ｘ０，ｙ０）と座標（０，０）とが対応付けられる。同様に、ズーム画像の左上から水平方向に２番目の格子点の歪み補正パラメータを（ｘ１，ｙ０）とすると、図６（ｃ）に示す画像の左上から水平方向に２番目の格子点の座標は（１６０，０）であるため、歪み補正パラメータ（ｘ１，ｙ０）と座標（１６０，０）とが対応付けられる。このようにして、ズーム画像の全ての格子点の歪み補正パラメータと、図６（ｃ）に示す画像のすべての格子点の座標とを対応付ける。
【００４１】
ステップＳＴ１２：
１２８０×９６０画素に拡大され歪み補正された補正画像を、ステップＳＴ２において決定された大きさまで縮小し、出力画像とする。
【００４２】
以上説明したように、本実施形態の画像処理システム１０００によれば、補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、格子分割したズーム領域の対応する格子点の歪み補正パラメータとを対応付け、信号処理部１０６はこのデータを使用して歪み補正を行っているので、特許文献１に開示された画像処理システムにおいて歪み補正と電子ズーム処理とを行う場合の不利益であった、電子ズームされた画像の一部からしか歪み補正パラメータを取得せずに歪み補正処理及び電子ズーム処理を施した画像が作成されることによる出力画像の画質の低下を防ぐことができる。
【００４３】
具体例を挙げると、特許文献１に開示した画像処理システムでは、１２８０×９６０画素の入力画像に対して８×８個に格子分割をして歪み補正を行い、入力画像の中心部３２０×２４０画素を６４０×４８０画素に拡大して出力する場合には、図７（ａ）に示すように、ズーム領域は２×２個にしか格子分割されず、ズーム領域内にある９個の格子点の歪み補正パラメータしか歪み補正に使用されないために歪み補正及び電子ズーム後の画質が入力画像に対し低下していたが、本実施形態の画像処理システム１０００では、上記と同様の場合には、図７（ｂ）に示すように、ズーム領域が８×８個に格子分割され、８１個の格子点における歪み補正パラメータが歪み補正処理に使用されるため、歪み補正による画質の低下が非常に小さい。
【００４４】
また、本実施形態の画像処理システム１０００によれば、ズーム領域の大きさに左右されずズーム領域をＭ×Ｎ個に格子分割して各格子点の歪み補正パラメータを使用し歪み補正処理を行うので、ズーム領域の大きさによって出力画質が左右されることがない。同様に、ズーム領域を一度入力画像と同一サイズまで拡大及び歪み補正を終えた後に、あらかじめ決定されたサイズまで縮小し出力画像としているので、出力画像の大きさによっても出力画像の画質が左右されることがない。
【００４５】
また、本実施形態の画像処理システム１０００によれば、撮像された光学歪みを伴う画像に対して格子分割を行い、格子点における水平及び垂直方向に歪み補正パラメータのみ利用して歪み補正を行うため、必要なデータ量が少なくて済み、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を得ることができる。
【００４６】
また、本実施形態の画像処理システム１０００によれば、上述した歪み補正処理、電子ズーム処理を、ソフトウェア上で行うことができるので、信号処理によりリアルタイムに画像の歪みを補正することができる。さらにこのため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【００４７】
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【図面の簡単な説明】
【００４８】
【図１】図１は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合について説明するための図である。
【図２】図２は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合の格子分割について説明するための図である。
【図３】図３は、本実施形態に係る画像処理システム１０００の構成を示すブロック図である。
【図４】図４は、画像処理システム１０００の、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例を説明するためのフローチャートである。
【図５】図５は、ズーム領域における歪み補正パラメータの抽出点と、抽出した歪み補正パラメータを対応付ける座標との関連を説明するための図である。
【図６】図６は、本実施形態の画像処理システム１０００において、歪み補正及び電子ズームを行う際の各ステップの画像の具体例を示す図である。
【図７】図７は、特許文献１におけるズーム領域の格子分割と本実施形態におけるズーム領域の格子分割との差異を説明するための図である。
【符号の説明】
【００４９】
１０００…画像処理システム、１００…画像処理装置、１０１…レンズ、１０２…撮像素子、１０３…データ変換部、１０４…同期信号生成部、１０５…画像メモリ、１０６…信号処理部、１０７…表示処理部、１０８…再生部、１０９…記録部、１１０…補正処理制御部、１１１…補正メモリ、１１２…補正パラメータデコーダ、２００…前処理装置、２０１…補正パラメータ導出部、２０２…補正パラメータエンコーダ、２０３…補正パラメータメモリ、３００…外部記録メディア
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理システム、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像装置により撮像された画像には、撮像に使用したレンズの歪曲収差特性の影響で歪み（ディストーション）が発生していた。高精度・高性能なレンズを使用すれば、歪みを目立たなくすることは可能であるが、レンズコストの高騰を抑えた場合や光学ズームレンズを搭載した撮像装置では、歪みの発生を完全に防ぐことは難しい。更に、車載カメラや監視カメラ等、広角な撮像範囲を必要とする撮像装置では大きい歪みが生じていた。
【０００３】
こうした歪みを除去するために、近年、予め記録された全画素に対応する補正ベクトルを読み出し、補正情報に応じて画像を格納する画像メモリから必要な情報を取り出し、２次元補間方式による幾何学補正を実行するレンズの歪曲収差特性に起因する歪みを画像処理によって補正する画像処理装置（第１の従来技術）が提案されている。
【０００４】
しかし、このような画像処理装置は、全画素に対応した歪み補正情報を持つ必要があり、ハードウェアによる実現の場合、大容量の記憶領域が必要なのでコストが高くなる、という不利益があった。
【０００５】
こうした不利益を解消するために、特許文献１に開示された画像処理システム（第２の従来技術）は、画像入力手段としてレンズ及び撮像素子を備え、予め効率よく圧縮された水平方向と垂直方向とで独立な補正パラメータから、適切な補正パラメータを選択し、エンコードする手段と、エンコードされたパラメータをリアルタイムにデコードする手段と、デコードされた歪み補正パラメータにより水平方向と垂直方向を独立に補間演算を実現する手段とを備える画像処理システムを提供している。すなわち、メモリアーキテクチャの工夫と、補正パラメータの圧縮とを行うことにより、これらの課題を解決し、メモリアーキテクチャの特徴を活かして歪み補正を実現しながら、同時に拡大縮小処理も行うための信号処理回路と補間回路も用意している。
【０００６】
このため、上述した第１の従来の画像処理装置の最大のデメリットであった、全画素に対応した歪み補正情報を保持する必要があり、ハードウェアによる実現の場合、大容量の記憶領域が必要となりコストが高くついてしまうという点について、特許文献１に開示された画像処理装置では、膨大な補正パラメータの内、入力画像を水平Ｍ×垂直Ｎに格子分割し、格子線分の両端及び格子線分をｎ分割して得られる内分点ｎ−１上における歪み補正パラメータを圧縮（符号化）、伸張（復号）して求め、これを基に歪み補正を行うことで克服している。
【０００７】
第１従来技術の画像処理装置と特許文献１に記載された第２従来技術の画像処理システムとを比較すると、例えば入力画像の解像度が８００×６００画素であった場合、上述した従来の画像処理装置であれば、歪み補正情報には、８００×６００個の歪み補正パラメータが必要であったのに対し、第２の従来技術の特許文献１に開示された画像処理システムでは、８×８に格子分割し、格子点間の分割数はｎ＝１とした場合、各格子点の歪み補正パラメータを使用するので、８×８個の歪み補正パラメータのみが必要であり、歪み補正パラメータのデータ量を１／７５００に削減できた。
【特許文献１】特開２００４−８０５４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ビデオカメラやデジタルスチルカメラなどにおいては、電子的に処理を行い画面内の一部分をズーミングすることがある（以下、単に『電子ズーム』という）。特許文献１に開示された画像処理システムにおいて、歪み補正を行いかつ電子ズームを実行する場合について、以下説明する。
【０００９】
特許文献１に開示された画像処理システムにおいて電子ズームを行う場合、全画面に対し歪み補正を実施した画像の一部を切り出した後に電子ズーム処理を施すことになる。
図１は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合について説明するための図である。図１では、一例として１２８０×９６０画素の画像の中心部３２０×２４０画素の領域を電子ズーム処理し、６４０×４８０画素の画像を得る場合について説明する。
【００１０】
図１（ａ）は、入力画像、すなわち歪み補正及び電子ズームされる前の入力画像である。ここでは一例として１２８０×９６０画素の画像を入力画像としている。
図１（ｂ）は、図１（ａ）に示した画像に等倍に歪み補正処理を行った画像である。
次に、図１（ｃ）に示すように、図１（ｂ）において歪み補正を行った画像の、電子ズームを行う対象となる中心部を切り出す。図１（ｃ）に示す例は、１２８０×９６０画素の画像の中心部のサイズを３２０×２４０画素とした場合であり、このとき、切り出し位置（切り出す画像の左上の座標値）は（４８０，３６０）である。
図１（ｄ）に示すように、図１（ｃ）において切り出した中心部画像を、２倍に拡大して６４０×４８０画素の電子ズーム画像とする。
【００１１】
格子分割という観点から見れば、特許文献１に開示された画像処理システムにおいては、例えば図２（ａ）に示すように、８×８に格子分割を行い格子点間の分割数を１にした場合、電子ズームの際に中心部の３２０×２４０画素の領域を切り出して拡大して電子ズーム画像を作成しようとすると、切り出された３２０×２４０画素の領域は図２（ｂ）に示すように、２×２の格子分割しかされていないため、歪み補正画像を作成するための歪み補正パラメータは、各格子点分、すなわち９個しか取得されない。
なお、歪み補正パラメータは、歪みを有する入力画像に対して、入力画像を構成する画素点における水平方向及び垂直方向の補正量を示すパラメータである。特許文献１に開示された画像処理システムでは、歪み補正パラメータを利用し入力画像に１次元補間処理を施すことにより歪み補正を行う。歪み補正パラメータは、上記のように入力画像に対し格子分割を行い、各格子点におけるゆがみを補正するための補正量ベクトルを歪み補正パラメータとすることにより全画素における歪み補正パラメータを保持しなくても良いようになっている。
【００１２】
特許文献１に開示された画像処理システムでは、格子点以外に相当する画素の歪み補正パラメータは、すべて補間して求められるが、図２（ａ）のように荒く格子分割されると原画素の各歪み補正パラメータに対し誤差が大きくなる。これにより、出力画像（歪み補正と電子ズームとを施された画像）においてゆがみが十分に補正されず、本来自然な曲線になるべきところが折れ線になったり不自然に変形したりすることがある。レンズの歪みが緩ければそれほど目立つものではないが、車載カメラや監視カメラ等で使用されている歪みのきついレンズを画像処理システムに適用した場合、これが顕著に現れてしまう。
【００１３】
すなわち、入力画像内の一部を拡大する電子ズーム処理の場合、特許文献１に開示された画像処理システムでは、ズームされた画像の一部からしか歪み補正パラメータを取得せずに歪み補正処理及びズーム処理を施した画像を作成しているので、画質が悪くなる、という不利益があった。
【００１４】
本発明は、上述した不利益を解消するために、歪み補正と電子ズームとの両方の処理を入力画像に対して行う場合に、出力画像の画質が悪くならない画像処理システム、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した目的を達成するために、第１の発明の画像処理システムは、入力画像に対し歪み補正及び電子ズーム処理を実行する画像処理システムであって、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して格子点における歪み補正パラメータを抽出し、当該歪み補正パラメータを圧縮して圧縮データを作成する第１の画像処理装置と、前記第１の画像処理装置が圧縮した前記圧縮データを伸張して使用し前記ズーム対象領域の歪み補正及び電子ズーム処理を行って出力画像とする第２の画像処理装置と、を有し、前記第１の画像処理装置は、前記ズーム対象領域を格子分割した各格子点における歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付け、前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする。
【００１６】
第２の発明の画像処理方法は、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、を有する。
【００１７】
第３の発明のプログラムは、画像処理システムが実行するプログラムであって、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、を前記画像処理システムに実行させる。
【発明の効果】
【００１８】
本発明によれば、入力画像に対し歪み補正及び電子ズーム処理を行う際に画質が劣化しない画像処理システム、画像処理方法及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態にかかる画像処理システム１０００について説明する。
図３に示すように、本実施形態に係る画像処理システム１０００は、画像処理装置１００（第２の画像処理装置）、前処理装置２００（第１の画像処理装置）、外部記録メディア３００で構成される。
図３は、本実施形態に係る画像処理システム１０００の構成を示すブロック図である。
【００２０】
図３に示すように、画像処理装置１００は、レンズ１０１、撮像素子１０２、データ変換部１０３、同期信号生成部１０４、画像メモリ１０５、信号処理部１０６、表示処理部１０７、再生部１０８、記録部１０９、歪み補正処理制御部１１０、歪み補正メモリ１１１、補正パラメータデコーダ１１２を有する。
なお、画像処理装置１００の各構成はハードウェア的に実現される必要は無く、ソフトウェア上の構成とすることが可能である。
【００２１】
レンズ１０１は、被写体からの反射光を集光し、撮像素子１０２に写影する。レンズ１０１は、単焦点のレンズにとどまらず、ズーム機能を有する。
撮像素子１０２はＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどから構成され、同期信号生成部１０４から供給された内部同期信号に応じて写影された映像をキャプチャしアナログ画像信号を生成する。
【００２２】
データ変換部１０３は撮像素子１０２に接続され、同期信号生成部１０４から供給された内部同期信号に応じて、撮像素子１０２により生成されたアナログ画像信号をデジタル画像信号に変換し入力画像を生成する。
同期信号生成部１０４は、外部から供給されるクロック信号ＣＬＫに応じて内部生成信号を生成し、撮像素子１０２、データ変換部１０３及び信号処理部１０６へ供給する。
画像メモリ１０５は、データ変換部１０３が出力した入力画像を格納する。
【００２３】
信号処理部１０６は、データ変換部１０３、同期信号生成部１０４、画像メモリ１０５、歪み補正処理制御部１１０及び補正パラメータデコーダ１１２に接続され、歪み補正処理制御部１１０から供給されたコマンドに応じて、データ変換部１０３から供給される入力画像を画像メモリ１０５へ格納するとともに、補正パラメータデコーダ１１２が出力した補正量ベクトルを基に当該入力画像に対する補正処理を実行する。ここで、補正量ベクトルは例えば、入力画像の各画素を歪み補正及びズーム処理の際にどの方向に移動させるかを記述したベクトルであり、信号処理部１０６は各画素に対応する補正量ベクトルだけ各画素を移動させて補正画像を作成する。そして、信号処理部１０６は、当該補正により得られた補正画像を表示処理部１０７及び記録部１０９へ供給する。
また、信号処理部１０６は、入力された画像の一部を拡大（縮小）する電子ズーム処理を実行する。
表示処理部１０７は、図３に図示しない例えばＣＲＴ（Cathode Ray Tube）ディスプレイやＬＣＤ（Liquid Crystal Display）等の表示部に信号処理部１０６が出力した補正画像を表示する。
【００２４】
再生部１０８は、後述する外部記録メディア３００に記録された画像を再生し、再生信号を表示処理部１０７に出力する。
記録部１０９は、信号処理部１０６が出力した補正画像をテープやフレキシブルディスク、ＤＶＤ（Digital Versatile Disk）、ＨＤＤ（Hard Disk Drive）、メモリ等の外部記録メディア３００に記録する。なお、信号処理部１０６により生成された画像信号は、インターネットやワイヤレス通信などを用いて外部記録メディア３００に記録されるようにしてもよい。
【００２５】
歪み補正処理制御部１１０は、図３に図示しない操作部を介したユーザの入力等に応じて、所定の動作を命令するコマンド等を信号処理部１０６へ出力するとともに、レンズ１０１の位置情報を補正パラメータデコーダ１１２へ供給する。この位置情報は、後述する歪み補正パラメータを算出する際に使用される。
歪み補正メモリ１１１は、後述する補正パラメータエンコーダ２０２から供給される圧縮データを格納する。
【００２６】
補正パラメータデコーダ１１２は、信号処理部１０６、歪み補正処理制御部１１０、歪み補正メモリ１１１及び後述する補正パラメータエンコーダ２０２に接続されており、歪み補正処理制御部１１０から供給されたレンズ１０１の位置情報を使用して、後述する補正パラメータエンコーダ２０２から供給された圧縮データを歪み補正メモリ１１１から読み出し、伸張（デコード）して歪み補正パラメータ（補正量ベクトル）を取得し、取得した補正量ベクトルを信号処理部１０６へ供給する。
【００２７】
次に、前処理装置２００は、補正パラメータ導出部２０１、補正パラメータエンコーダ２０２、歪み補正パラメータメモリ２０３を有する。
なお、前処理装置２００の各構成はハードウェア的に実現される必要は無く、ソフトウェア上の構成とすることが可能である。
補正パラメータ導出部２０１は、レンズ１０１に固有の歪曲収差によって決まる、当該レンズ１０１によって取得される画像の全画素の歪み補正パラメータを算出し、補正パラメータメモリ２０３に記憶する。この処理は、歪み補正パラメータがレンズ１０１に固有のものであるため、画像処理システムが歪み補正及びズーム処理を行う以前に実行される。
【００２８】
歪み補正パラメータとは、歪みを有する入力画像に対して、入力画像を構成する画素点における水平方向及び垂直方向の補正量を示すパラメータである。
【００２９】
補正パラメータエンコーダ２０２は、図示しない操作部を介したユーザの操作等に応じて、補正パラメータ導出部２０１が算出した歪み補正パラメータを補正パラメータメモリ２０３から読み出し、圧縮（エンコード）して圧縮データを作成し、圧縮データを補正パラメータデコーダ１１２へ供給する。なお、圧縮方法や形式については本発明では限定しない。
この際、補正パラメータエンコーダ２０２は、入力画像をＭ×Ｎ（Ｍ，Ｎは任意の自然数）に格子分割し、格子分割された格子点及び格子線分をｎ分割して得られる内分点ｎ−１上における歪み補正パラメータをエンコードして画像処理装置１００に供給する。
これにより、膨大な歪み補正パラメータの内の一部のみを利用して歪み補正を行うことができるようになっている。
補正パラメータメモリ２０３は、補正パラメータ導出部２０１が算出したレンズ１０１に固有の歪み補正パラメータを、レンズ１０１によって作成された画像の各画素に対応させて記憶する。
【００３０】
なお、補正パラメータ導出部２０１における歪み補正パラメータの算出と、補正パラメータエンコーダ２０２による歪み補正パラメータのエンコードは、非常に負荷の大きな演算であるが、補正パラメータ導出部２０１及び補正パラメータエンコーダ２０２を含む前処理装置２００は、画像処理装置１００から独立したパーソナルコンピュータ等の演算装置であり、これらの負荷の大きい演算は画像処理装置１００の歪み補正処理より以前に済まされているために、画像処理装置１００のリアルタイムの歪み補正処理に影響を及ぼすことはない。
【００３１】
次に、本実施形態の画像処理システム１０００において、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例について説明する。
図４は、画像処理システム１０００の、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例を説明するためのフローチャートである。
【００３２】
ステップＳＴ１：
レンズ１０１、撮像素子１０２、データ変換部１０３により、被写体を撮影した入力画像を得る。
ステップＳＴ２：
図示しない操作部を介したユーザの操作等により、入力画像の中でズームする領域（以下ズーム領域と称する）の大きさ及び位置、出力画像の大きさ（解像度）が決定される。
【００３３】
ステップＳＴ３：
補正パラメータ導出部２０１は、ステップＳＴ２において決定されたズーム領域内の全画素の歪み補正パラメータを補正パラメータメモリ２０３から読み出す。
ステップＳＴ４：
補正パラメータエンコーダ２０２は、ステップＳＴ２において決定されたズーム領域をＭ×Ｎ個に格子分割する。
【００３４】
ステップＳＴ５：
補正パラメータエンコーダ２０２は、ステップＳＴ４において格子分割されたズーム領域の各格子点（及び内分点）における歪み補正パラメータを、ステップＳＴ３において読み出された歪み補正パラメータの中から抽出する。
ステップＳＴ６：
補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、ステップＳＴ４において格子分割したズーム領域の対応する格子点の歪み補正パラメータとを対応付ける。すなわち、図５に示すように、Ｍ×Ｎ個に格子分割されたズーム画像とＭ×Ｎ個に格子分割した入力画像と同サイズの画像とにおいて、入力画像の同サイズの画像における格子点の座標と、ズーム画像内でその格子点とＭ×Ｎの格子空間において同一の位置にある格子点の歪み補正パラメータとを対応付ける。図５では一例として８×８に格子分割した場合について説明しているが、これは一例である。図５（ａ）と図５（ｂ）において便宜上つけられた各格子点の番号において、図５（ａ）における格子点の歪み補正パラメータが図５（ｂ）における同一番号の格子点の座標と対応付けられる。
【００３５】
ステップＳＴ７：
補正パラメータエンコーダ２０２は、ステップＳＴ６において対応付けた格子点の座標と歪み補正パラメータとを圧縮（エンコード）し、圧縮データを作成する。
ステップＳＴ８：
補正パラメータエンコーダ２０２は、ステップＳＴ７において圧縮された、圧縮データを画像処理装置に送信する。送信された圧縮データは、歪み補正メモリ１１１に記憶される。
【００３６】
ステップＳＴ９：
補正パラメータデコーダ１１２が、ステップＳＴ８において前処理装置２００から送信された圧縮データを伸張（デコード）する。
ステップＳＴ１０：
信号処理部１０６は、入力画像のズーム画像を、入力画像と同一サイズまで拡大する。
【００３７】
ステップＳＴ１１：
信号処理部１０６は、ステップＳＴ９においてデコードされたステップＳＴ６において対応付けた格子点の座標と歪み補正パラメータを基に、ステップＳＴ１０において拡大した画像の歪み補正を行い、歪み補正拡大画像を得る。ステップＳＴ６においてズーム画像の各格子点の歪み補正パラメータが、ステップＳＴ１０において拡大された画像と同一サイズにおいてＭ×Ｎ個の格子分割をした場合の各格子点の座標と対応付けられているために、この処理をスムーズに行うことができる。
ステップＳＴ１２：
ステップＳＴ１１において歪み補正を行った補正画像を、ステップＳＴ２において決定された出力画像の大きさまで縮小する。これにより、入力画像の一部のみ歪み補正を行い画質劣化なしでズームすることが可能になる。
【００３８】
以下、画像処理システム１０００における歪み補正及び電子ズーム処理を、具体例を挙げながら説明する。以下の各ステップは、図４のフローチャートに示す各ステップに対応している。
図６は、画像の具体例を示す図である。
【００３９】
ステップＳＴ１：
図６（ａ）に示すように、１２８０×９６０画素の入力画像を作成する。
ステップＳＴ２：
図６（ａ）に示すように、３２０×２４０画素の領域をズームして６４０×４８０画素の画像を出力する場合について考える。ここで、入力画像の左上の画素を原点とし水平方向の画素数をｘ座標、垂直方向の画素数をｙ座標とする座標系を考えたときに、ズーム領域の左上の画素の座標は例えば（４８０，３６０）である。なお、以下の説明における座標もこの座標系における座標である。なお、この座標系のとり方は一例であり、本発明では座標系のとり方はこれに限定されない。
【００４０】
ステップＳＴ４：
図６（ｂ）に示すように、ズーム領域を８×８に格子分割するとする。なお、図６に関連付けて行う説明においては、内分点はとらないものとする。
ステップＳＴ６：
入力サイズと同一サイズの画像（１２８０×９６０画素）において、８×８個に格子分割した場合を図６（ｃ）に示す。
ここでズーム画像の左上にある格子点の歪み補正パラメータを（ｘ０，ｙ０）とすると、図６（ｃ）における画像の左上にある格子点の座標は（０，０）であるため、歪み補正パラメータ（ｘ０，ｙ０）と座標（０，０）とが対応付けられる。同様に、ズーム画像の左上から水平方向に２番目の格子点の歪み補正パラメータを（ｘ１，ｙ０）とすると、図６（ｃ）に示す画像の左上から水平方向に２番目の格子点の座標は（１６０，０）であるため、歪み補正パラメータ（ｘ１，ｙ０）と座標（１６０，０）とが対応付けられる。このようにして、ズーム画像の全ての格子点の歪み補正パラメータと、図６（ｃ）に示す画像のすべての格子点の座標とを対応付ける。
【００４１】
ステップＳＴ１２：
１２８０×９６０画素に拡大され歪み補正された補正画像を、ステップＳＴ２において決定された大きさまで縮小し、出力画像とする。
【００４２】
以上説明したように、本実施形態の画像処理システム１０００によれば、補正パラメータエンコーダ２０２は、入力画像と同サイズの画像において、Ｍ×Ｎ個に格子分割した際の各格子点の座標と、格子分割したズーム領域の対応する格子点の歪み補正パラメータとを対応付け、信号処理部１０６はこのデータを使用して歪み補正を行っているので、特許文献１に開示された画像処理システムにおいて歪み補正と電子ズーム処理とを行う場合の不利益であった、電子ズームされた画像の一部からしか歪み補正パラメータを取得せずに歪み補正処理及び電子ズーム処理を施した画像が作成されることによる出力画像の画質の低下を防ぐことができる。
【００４３】
具体例を挙げると、特許文献１に開示した画像処理システムでは、１２８０×９６０画素の入力画像に対して８×８個に格子分割をして歪み補正を行い、入力画像の中心部３２０×２４０画素を６４０×４８０画素に拡大して出力する場合には、図７（ａ）に示すように、ズーム領域は２×２個にしか格子分割されず、ズーム領域内にある９個の格子点の歪み補正パラメータしか歪み補正に使用されないために歪み補正及び電子ズーム後の画質が入力画像に対し低下していたが、本実施形態の画像処理システム１０００では、上記と同様の場合には、図７（ｂ）に示すように、ズーム領域が８×８個に格子分割され、８１個の格子点における歪み補正パラメータが歪み補正処理に使用されるため、歪み補正による画質の低下が非常に小さい。
【００４４】
また、本実施形態の画像処理システム１０００によれば、ズーム領域の大きさに左右されずズーム領域をＭ×Ｎ個に格子分割して各格子点の歪み補正パラメータを使用し歪み補正処理を行うので、ズーム領域の大きさによって出力画質が左右されることがない。同様に、ズーム領域を一度入力画像と同一サイズまで拡大及び歪み補正を終えた後に、あらかじめ決定されたサイズまで縮小し出力画像としているので、出力画像の大きさによっても出力画像の画質が左右されることがない。
【００４５】
また、本実施形態の画像処理システム１０００によれば、撮像された光学歪みを伴う画像に対して格子分割を行い、格子点における水平及び垂直方向に歪み補正パラメータのみ利用して歪み補正を行うため、必要なデータ量が少なくて済み、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を得ることができる。
【００４６】
また、本実施形態の画像処理システム１０００によれば、上述した歪み補正処理、電子ズーム処理を、ソフトウェア上で行うことができるので、信号処理によりリアルタイムに画像の歪みを補正することができる。さらにこのため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【００４７】
本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
【図面の簡単な説明】
【００４８】
【図１】図１は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合について説明するための図である。
【図２】図２は、特許文献１に開示された画像処理装置において歪み補正及び電子ズームを行った場合の格子分割について説明するための図である。
【図３】図３は、本実施形態に係る画像処理システム１０００の構成を示すブロック図である。
【図４】図４は、画像処理システム１０００の、入力画像に対し歪み補正及び電子ズーム処理を行う場合の動作例を説明するためのフローチャートである。
【図５】図５は、ズーム領域における歪み補正パラメータの抽出点と、抽出した歪み補正パラメータを対応付ける座標との関連を説明するための図である。
【図６】図６は、本実施形態の画像処理システム１０００において、歪み補正及び電子ズームを行う際の各ステップの画像の具体例を示す図である。
【図７】図７は、特許文献１におけるズーム領域の格子分割と本実施形態におけるズーム領域の格子分割との差異を説明するための図である。
【符号の説明】
【００４９】
１０００…画像処理システム、１００…画像処理装置、１０１…レンズ、１０２…撮像素子、１０３…データ変換部、１０４…同期信号生成部、１０５…画像メモリ、１０６…信号処理部、１０７…表示処理部、１０８…再生部、１０９…記録部、１１０…補正処理制御部、１１１…補正メモリ、１１２…補正パラメータデコーダ、２００…前処理装置、２０１…補正パラメータ導出部、２０２…補正パラメータエンコーダ、２０３…補正パラメータメモリ、３００…外部記録メディア
【特許請求の範囲】
【請求項１】
入力画像に対し歪み補正及び電子ズーム処理を実行する画像処理システムであって、
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して格子点における歪み補正パラメータを抽出し、当該歪み補正パラメータを圧縮して圧縮データを作成する第１の画像処理装置と、
前記第１の画像処理装置が圧縮した前記圧縮データを伸張して使用し前記ズーム対象領域の歪み補正及び電子ズーム処理を行って出力画像とする第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、前記ズーム対象領域を格子分割した各格子点における歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付け、前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする
画像処理システム。
【請求項２】
前記第１の画像処理装置は、前記入力画像の全画素における歪み補正パラメータを予め算出する
請求項１に記載の画像処理システム。
【請求項３】
前記第１の画像処理装置は、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して、格子点及び格子線分を均一または非均一に等分した内分点における歪み補正パラメータを抽出する
請求項２に記載の画像処理システム。
【請求項４】
前記第１の画像処理装置と、前記第２の画像処理装置と離間して配置され、
前記第１の画像処理装置は、圧縮した前記圧縮データを送信し、
前記第２の画像処理装置は、前記第１の画像処理装置が送信した前記圧縮データを受信する
請求項３に記載の画像処理システム。
【請求項５】
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、
前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、
前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、
前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、
前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、
前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、
前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、
前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、
を有する画像処理方法。
【請求項６】
前記第１から第４の工程は第１の画像処理装置において実施され、
前記第５から第８の工程は第２の画像処理装置において実施され、
前記第１の画像処理装置と、前記第２の画像処理装置と離間して配置され、
前記第１の画像処理装置が前記第４の工程において圧縮した前記圧縮データを前記第２の画像処理装置に送信する第９の工程と、
前記第２の画像処理装置が前記第９の工程において送信された前記圧縮データを受信する第１０の工程と、
を更に有し、
前記第５の工程において、受信した圧縮データを伸張する
請求項５に記載の画像処理方法。
【請求項７】
画像処理システムが実行するプログラムであって、
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、
前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、
前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、
前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、
前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、
前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、
前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、
前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、
を前記画像処理システムに実行させるプログラム。
【請求項１】
入力画像に対し歪み補正及び電子ズーム処理を実行する画像処理システムであって、
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して格子点における歪み補正パラメータを抽出し、当該歪み補正パラメータを圧縮して圧縮データを作成する第１の画像処理装置と、
前記第１の画像処理装置が圧縮した前記圧縮データを伸張して使用し前記ズーム対象領域の歪み補正及び電子ズーム処理を行って出力画像とする第２の画像処理装置と、
を有し、
前記第１の画像処理装置は、前記ズーム対象領域を格子分割した各格子点における歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付け、前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする
画像処理システム。
【請求項２】
前記第１の画像処理装置は、前記入力画像の全画素における歪み補正パラメータを予め算出する
請求項１に記載の画像処理システム。
【請求項３】
前記第１の画像処理装置は、入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割して、格子点及び格子線分を均一または非均一に等分した内分点における歪み補正パラメータを抽出する
請求項２に記載の画像処理システム。
【請求項４】
前記第１の画像処理装置と、前記第２の画像処理装置と離間して配置され、
前記第１の画像処理装置は、圧縮した前記圧縮データを送信し、
前記第２の画像処理装置は、前記第１の画像処理装置が送信した前記圧縮データを受信する
請求項３に記載の画像処理システム。
【請求項５】
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、
前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、
前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、
前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、
前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、
前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、
前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、
前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、
を有する画像処理方法。
【請求項６】
前記第１から第４の工程は第１の画像処理装置において実施され、
前記第５から第８の工程は第２の画像処理装置において実施され、
前記第１の画像処理装置と、前記第２の画像処理装置と離間して配置され、
前記第１の画像処理装置が前記第４の工程において圧縮した前記圧縮データを前記第２の画像処理装置に送信する第９の工程と、
前記第２の画像処理装置が前記第９の工程において送信された前記圧縮データを受信する第１０の工程と、
を更に有し、
前記第５の工程において、受信した圧縮データを伸張する
請求項５に記載の画像処理方法。
【請求項７】
画像処理システムが実行するプログラムであって、
入力画像内のズーム対象となるズーム対象領域を所定の数に格子分割する第１の工程と、
前記第１の工程において格子分割された格子点における歪み補正パラメータを抽出する第２の工程と、
前記第２の工程において抽出された歪み補正パラメータと、前記入力画像と同じ大きさの画像を前記所定の数と同じ数だけ格子分割した際の各格子点の位置情報とを、同一の格子内位置にある格子点について対応付ける第３の工程と、
前記第３の工程において対応付けられた前記歪み補正パラメータと前記位置情報とを圧縮して圧縮データとする第４の工程と、
前記第４の工程において得られた前記圧縮データを伸張する第５の工程と、
前記入力画像の前記ズーム対象領域を前記入力画像と同じ大きさに拡大する第６の工程と、
前記第６の工程において拡大された前記ズーム対象領域に対し、前記第５の工程において前記圧縮データを伸張して取得した前記歪み補正パラメータと前記位置情報とを基に歪み補正処理を行う第７の工程と、
前記第７の工程において歪み補正された前記拡大されたズーム領域を、所定の大きさまで縮小して出力する第８の工程と、
を前記画像処理システムに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−３２９５４８（Ｐ２００７−３２９５４８Ａ）
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００６−１５７１８３（Ｐ２００６−１５７１８３）
【出願日】平成１８年６月６日（２００６．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願日】平成１８年６月６日（２００６．６．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]