画像収差補正装置
【課題】基の画像データが基準とは異なる縦横比の画像データであった場合においても、処理負担が少ない状態で、良好な収差補正処理ができる画像収差補正装置を提供する。
【解決手段】座標変換手段１５２は、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。移動量算出手段１５３は、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する。補正後座標算出手段１５４は、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する。
【解決手段】座標変換手段１５２は、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。移動量算出手段１５３は、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する。補正後座標算出手段１５４は、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して画像処理を施すことにより、画像の収差歪みを電子的に補正する装置に関する。
【背景技術】
【０００２】
特許文献１は、画像の収差歪みを電子的に補正する装置を開示している。特許文献１に記載の装置は、画像の存在するエリア内に所定の円を仮想し、その円の外側は画素を外側方向に移動させ、その円の内側は画素を内側方向に移動させるようにしている。これにより、画像収差補正処理の処理負担を低減している。
【０００３】
特許文献１に開示する発明とは異なるが、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法が知られている。これによれば、座標系と移動量との関係を簡素化しやすく、画像収差補正処理の処理負担を低減できる。
【特許文献１】特開平０６−１６５０２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法は、基の画像データが基準となる縦横比の画像データであることを前提としたものである。ここで、基準となる縦横比は、撮像素子に結像された画像と相似の縦横比である場合が多い。仮に、基の画像データが基準とは異なる縦横比の画像データであった場合に、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用した場合、不自然な画像が形成される場合が多いものと考えられる。基の画像データが基準とは異なる縦横比となることは、高速連写を実現するために撮像素子から垂直方向の画素データを間引いて読み出す間引き読み出し時や、多チャンネル読み出し時に発生し得る。
【０００５】
そこで、本発明は、基の画像データが基準とは異なる縦横比の画像データであった場合においても、処理負担が少ない状態で、良好な収差補正処理ができる画像収差補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像収差補正装置は、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する基画像データ取得手段と、取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する縦横比変換データ出力手段と、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する座標変換手段と、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する移動量算出手段と、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する補正後座標算出手段と、算出された補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する補正後画像データ生成手段と、を備える。
【０００７】
これにより、補正後座標データを算出する前に、縦横変換後座標データを算出するので、基画像データの縦横比が標準の縦横比でない場合においても、座標系の中心から各縦横変換後座標データまでの距離に従って移動量を算出できる。そのため、基画像データの縦横比が標準の縦横比でない場合においても、標準縦横比で用いる算出方法を採用できるので、移動量の算出が容易になる。
【発明の効果】
【０００８】
本発明によれば、基の画像データが基準とは異なる縦横比の画像データであった場合においても、処理負担が少ない状態で、良好な収差補正処理ができる画像収差補正装置を提供できる。
【発明を実施するための最良の形態】
【０００９】
（実施の形態１）
本発明の概要を図８を用いて説明する。図８に示すように、撮像素子に結像された画像と縦横比が相似な画像データについて画像収差補正をする場合は、通常通り、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用して、収差補正処理を行う。これに対して、撮像素子に結像された画像と縦横比が相似でない画像データについて画像収差補正をする場合は、一旦縦横比を変換した後、収差補正処理を行う。この場合、収差補正処理の方法は、撮像素子に結像された画像と縦横比が相似な画像データについて画像収差補正をする場合と同様に、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用可能である。
【００１０】
但し、上記説明では、撮像素子に結像された画像の縦横比を基準値としたが、これには限定しない。従って、基準となる縦横比を、撮像素子に結像された画像の縦横比とは別の縦横比としてもよい。例えば、撮像素子は、３：４と若干異なる縦横比であっても、その一部を切り出した画像を基準画像として、切り出し後の画像の縦横比である３：４を基準となる縦横比としてもよい。この方法は、特に、１つの画像データから複数の縦横比の画像データを生成可能な撮像装置（マルチアスペクトカメラ等）において有効である。
【００１１】
図１は、本発明の実施の形態１にかかるデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、撮像画像を生成する撮像系と撮像画像を処理する画像処理系を含む。撮像系は、ズームレンズ１１１、ズームモータ１１２、フォーカスレンズ１１３、フォーカスモータ１１４、ＣＣＤイメージセンサー１２０、タイミングジェネレーター１２１、ＡＤコンバーター１２２などを備える。また、画像処理系は、画像処理部１３０やバッファメモリ１４０などを含む。そして、メモリーカード１６０は、画像処理済みの画像データを格納可能である。コントローラー１５０は、デジタルカメラ１００の全体を制御する。
【００１２】
ズームレンズ１１１は、光軸方向に移動可能である。ズームレンズ１１１が光軸方向に移動することにより、ＣＣＤイメージセンサー１２０上に形成される画像の倍率が変化する。それに伴い、レンズ系の状況にもよるが、一般的には、ＣＣＤイメージセンサー１２０上に形成される画像の歪み収差の状態が変化する。本発明は、ＣＣＤイメージセンサー１２０上に形成された画像の歪み収差を、その画像を示す画像データに対して画像処理を施すことにより、電子的に修正する技術に関する。
【００１３】
ズームモータ１１２は、ズームレンズ１１１を光軸方向に駆動する駆動手段である。ズームモータ１１２は、ステップモーター、ＤＣモーター、リニアモーターなどで実現可能である。
【００１４】
フォーカスレンズ１１３は、光軸方向に移動可能である。フォーカスレンズ１１３が光軸方向に移動することにより、ＣＣＤイメージセンサー１２０上に形成される画像の合焦状態が変化する。フォーカスモータ１１４は、フォーカスレンズ１１３を光軸方向に駆動する駆動手段である。ズームモータ１１２は、ステップモーター、ＤＣモーター、リニアモーターなどで実現可能である。
【００１５】
なお、本発明においては、ズームレンズ１１１やフォーカスレンズ１１３は必須ではない。それに伴って、ズームモータ１１２やフォーカスモータ１１４も必須ではない。また、ズームレンズ１１１やフォーカスレンズ１１３は、１枚のレンズで構成してもよいし、複数のレンズを含むレンズ群で構成してもよい。また、本実施の形態１では、ズームレンズ１１１とフォーカスレンズ１１３の２群構成で光学系を構成したが、本発明はこれに限定されない。例えば、３群構成や４群構成で構成してもよいし、ズーム機能やフォーカス機能を備えないカメラにも適用可能である。要するに、本発明は、電子的に画像の歪み収差を補正するものであれば適用可能である。
【００１６】
ＣＣＤイメージセンサー１２０は、光学系により形成された被写体像を撮像して画像データを生成する。そして、ＣＣＤイメージセンサー１２０で生成された画像データは、ＡＤコンバーター１２２でデジタル化される。ＣＣＤイメージセンサー１２０は、タイミングジェネレーター１２１で生成されるタイミング信号に基づいて動作する。タイミングジェネレーター１２１は、コントローラー１５０の制御により、タイミング信号を発生する。
【００１７】
コントローラー１５０は、タイミングジェネレーター１２１を制御することにより、ＣＣＤイメージセンサー１２０の読み出し画像量を調整可能である。例えば、コントローラー１５０は、ＣＣＤイメージセンサー１２０から全画素の画素データを出力させたり、一部の画素の画素データのみを出力させたりすることができる。一部の画素の画素データのみを出力させた場合、ＣＣＤイメージセンサー１２０から出力される画像データが示す画像は、ＣＣＤイメージセンサー１２０上に形成される画像とは異なる縦横比になる。例えば、コントローラー１５０がＣＣＤイメージセンサー１２０の全画素から垂直方向に２列のうち１列を間引いて出力させたとした場合、ＣＣＤイメージセンサー１２０から出力される画像データが示す画像は、ＣＣＤイメージセンサー１２０上に形成される画像に比べて、水平方向は同じであるが垂直方向は１／２に縮められた画像となる。
【００１８】
画像処理部１３０は、画像データに対して処理を施す手段である。前処理部１３１は、半導体チップ等で実現可能である。画像処理部１３０は、ハードワイヤードな電子回路で実現してもよいし、プログラム可能なマイコン等で実現してもよい。画像処理部１３０は、前処理部１３１、ＹＣ処理部１３２、電子ズーム部１３３、圧縮部１３４を備える。但し、前処理部１３１、ＹＣ処理部１３２、圧縮部１３４は本発明にとって必須ではない。また、電子ズーム部１３３は補間処理を行うが、本発明にとって補間処理は必須ではない。但し、現実的には、補間処理をすることにより、画質を向上できるので、本発明を実現する上で、通常は電子ズーム部１３３を備えるのが好ましい。また、画像処理部１３０は、前処理部１３１、ＹＣ処理部１３２、電子ズーム部１３３、圧縮部１３４の他に、伸張処理部など他の処理部を備えても良い。
【００１９】
前処理部１３１は、ガンマ補正処理やホワイトバランス補正処理、キズ補正処理等を行う処理手段である。前処理部１３１は、ＹＣ処理部１３２での処理を行う前の処理を行う。また、前処理部１３１は、コントローラー１５０の制御により、画像データの水平および垂直方向の画素数を削減することが可能である。
【００２０】
ＹＣ処理部１３２は、前処理部１３１で処理されたＲＡＷデータを輝度信号と色差信号とを含むＹＣデータに変換する。本実施の形態１では、ＹＣ処理部１３２からの出力画像データを基画像データとする。基画像データは、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データである。
【００２１】
電子ズーム部１３３は、電子ズーム処理を行う。電子ズーム処理は、基の画像データから拡大すべきエリアの画像データを切り出す処理と、切り出した画像データについて補間処理により画素数を増大させる処理とを含む処理である。また、電子ズーム部１３３は、切り出し処理を行わないで、補間処理のみを行うということも可能である。
【００２２】
圧縮部１３４は、ＹＣデータをＪＰＥＧ規格準拠等の圧縮データに変換する手段である。本実施の形態１では、圧縮処理をした後、メモリーカード１６０に格納する動作を例示するが、本発明はこれに限らない。例えば、ＲＧＢデータの状態でメモリーカード１６０に格納するようにしてもよい。
【００２３】
バッファメモリ１４０は、画像処理部１３０の各処理部の画像処理の際に、又は、コントローラー１５０の制御動作の際に、ワークメモリとして機能する。バッファメモリ１４０は、ＤＲＡＭ、強誘電体メモリなどで実現可能である。
【００２４】
コントローラー１５０は、デジタルカメラ１００全体を制御する。本実施の形態１では、コントローラー１５０の機能のうち、特に画像収差補正機能に関して説明する。コントローラー１５０は、縦横比取得部１５１、座標変換手段１５２、移動量算出手段１５３、補正後座標算出手段１５４を備える。縦横比取得部１５１、座標変換手段１５２、移動量算出手段１５３、補正後座標算出手段１５４は、それぞれコントローラー１５０の機能を示す機能ブロックである。それらは、コントローラー１５０を構成する半導体チップ内の半導体素子等で実現可能である。コントローラー１５０は、ハードワイヤードな電子回路で実現してもよいし、プログラム可能なマイコン等で実現してもよい。また、画像処理部１３０とコントローラー１５０とは、１つの半導体チップで実現してもよいし、別々の半導体チップで実現してもよい。なお、コントローラー１５０は、各種データを内部に格納し読み出し可能にしてもよく、コントローラー１５０の外部にフラッシュメモリ等の外部メモリを設け、その外部メモリに各種データを格納し読み出し可能としてもよい。
【００２５】
縦横比取得部１５１は、基画像データが示す画像の縦横比を撮像素子に結像された画像と相似な画像の縦横比に変換する際の変換係数に関する縦横比変換データである。ここで、撮像素子に結像された画像と相似な画像の縦横比は予めコントローラー１５０に設定されている。撮像素子に結像された画像と相似な画像の縦横比は、例えば、縦：横＝３：４などである。これに対して、基画像データが示す画像の縦横比が縦：横＝０．７５：４である場合には、変換係数は、縦：４倍、横：１倍である。基画像データが示す画像の縦横比は、タイミングジェネレーター１２１の制御や前処理部１３１の制御に依存して決定されるので、縦横比取得部１５１は、タイミングジェネレーター１２１や前処理部１３１を如何に制御したかを覚えておくことにより、縦横比変換データを取得できる。
【００２６】
座標変換手段１５２は、縦横比取得部１５１で取得された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。上記例では、縦横比が縦：横＝０．７５：４の座標系を縦：横＝３：４の座標系に変換するのである。
【００２７】
より理解を容易にするために、図２を用いて説明する。図２（Ａ）が基画像データである場合に、座標変換手段１５２は、各画素の座標データを変換して、撮像素子に結像された画像と相似な画像である図２（Ｂ）に示す座標系を算出するのである。座標変換手段１５２は、算出した座標系を、テーブル状に記憶しておくようにすることができる。図３は、縦横比変換前後の各画素データの対応テーブルを示す模式図である。縦横比変換前の各画素の座標値は、縦横比変換後の各画素の座標値と対応付けられた状態でテーブルを構成する。
【００２８】
移動量算出手段１５３は、座標変換手段１５２から出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する手段である。移動量算出手段１５３は、図４に示すような座標系において、中心から各画素までの距離を求める。そして、移動量算出手段１５３は、図５に示す中心からの距離と移動量との対応表に基づいて、各画素での移動量を算出する。図５に示す対応表は、コントローラー１５０の内部やフラッシュメモリ等に予め格納されている。この対応表に示す中心からの距離と移動量との対応は、光学系の特性及びズーム倍率によって変化する。光学系の特性は、レンズ組み込み型のカメラでは一定であるが、一眼レフカメラなどのレンズ着脱式のカメラでは交換レンズ毎に異なるものである。
【００２９】
補正後座標算出手段１５４は、移動量算出手段１５３で算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系（例えば、図４に示す座標系）における収差補正後の座標位置を示す補正後座標データを算出する。補正後座標算出手段１５４は、座標系の中心から各画素へ向かう方向に、移動量算出手段１５３で算出された移動量分だけ移動した座標を補正後座標として、補正後座標データを算出する。なお、移動量は負の値をとることがあり、その場合は、各画素から座標系の中心へと向かう方向に移動させることにより補正後座標を求めることになる。
【００３０】
カードスロット１６１は、メモリーカード１６０を機械的及び電気的に着脱可能な接続手段である。カードスロット１６１は、メモリーカード１６０を制御する機能を備えてもよい。メモリーカード１６０は、フラッシュメモリ等を内蔵する。
【００３１】
図６は、本発明の構成を示す概念図である。図６において、本発明の各構成要素は機能ブロックとして記載されている。
【００３２】
基画像データ取得手段２１０は、基画像データを取得する手段である。基画像データ取得手段２１０は、本実施の形態１に示すように画像処理部１３０などで実現可能である。なお、本実施の形態１では、ＣＣＤイメージセンサー１２０、ＡＤコンバーター１２２、前処理部１３１、ＹＣ処理部１３２などで基画像データを生成するとしたが、本発明はこれに限定されない。例えば、メモリーカード１６０に格納されている画像データを読み出して、読み出した画像データ又はそれに所定の処理を施した画像データを、基画像データとしてもよい。このようにすることにより、撮像段階のみならず、メモリーカード１６０に格納された画像データを再生する段階において、画像収差を補正することが可能になる。
【００３３】
縦横比変換データ出力手段２２０は、コントローラー１５０がタイミングジェネレーター１２１や前処理部１３１などを制御する段階で把握される縦横比に関するデータを保持し、出力するものである。縦横比変換データ出力手段２２０は、基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する手段である。縦横比変換データ出力手段２２０は、コントローラー１５０内の一機能として実現可能である。
【００３４】
補正後画像データ生成手段２３０は、補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する手段である。補正後画像データ生成手段２３０は、補正後座標を逆変換し、逆変換に基づいて得られる座標とそれに対応する基画像データの画素データとを対応付けることにより、収差補正後の画像データを生成する。補正後画像データ生成手段２３０は、電子ズーム部１３３で実現可能である。従って、本実施の形態１では、電子ズーム部１３３は、逆変換に基づいて得られる座標とそれに対応する基画像データの画素データとを対応付ける際に、補間処理を行う。しかし、上述の通り、補間処理は本発明には必須ではない。
【００３５】
次に、図７を用いてデジタルカメラ１００の画像収差補正動作を説明する。図７は、デジタルカメラ１００の画像収差補正動作を説明するためのフローチャートである。
【００３６】
ＣＣＤイメージセンサー１２０で画像データが撮像され、ＡＤコンバーター１２２で撮像画像がデジタル化され、前処理部１３１で所定の処理が施されると、縦横比取得部１５１は、縦横比変換データを取得する（Ｓ１１）。上述のように、縦横比変換データは、例えば、コントローラー１５０がタイミングジェネレーター１２１や前処理部１３１を制御する状況に依存して変化する。ここで、縦横比変換前の画像の座標系は、例えば、図２（Ａ）のように示される。図２（Ａ）において、縦横変換前歪み有り画像Ｄ１１は、基画像データが示す画像が歪んでいることを模式的に示している。
【００３７】
次に、座標変換手段１５２は、縦横比変換テーブルを作成する（Ｓ１２）。このときの縦横比変換後の座標系の状態を図２（Ｂ）に模式的に示す。縦横変換後歪み有り画像Ｄ１２は、歪みが未だ補正されていないが、縦横比は変換されていることを示す。
【００３８】
これらと並行して、コントローラー１５０は、ズームモータ１１２からズーム倍率に関する情報を取得する（Ｓ１３）。また、コントローラー１５０は、画像収差補正の基準となる補正基データを取得する（Ｓ１４）。これは、図５に示すテーブルの基となるデータであって、補正基データとズーム倍率とに基づいて、コントローラー１５０は、図５に示すテーブルを算出する。なお、コントローラー１５０は、ズーム倍率毎に図５に示すようなテーブルを予め保持し、これを補正基データとして用いるようにしてもよい。
【００３９】
次に、コントローラー１５０は、各画素毎に処理を進めていく。
【００４０】
まず、移動量算出手段１５３は、図３に示すテーブルに基づいて、縦横比補正後の座標系の中心を求める。そして、その中心から現在処理中の画素の座標までの距離を求める（Ｓ１５）。その距離は、図４におけるｒ１などである。次に、移動量算出手段１５３は、図５に示すテーブルを用いて、画素移動量を算出する（Ｓ１６）。図５においては、中心からの距離や移動量は１画素を単位として表示されている。この段階で、移動量算出手段１５３は、例えば、図４に示すベクトルｖ１の大きさを求めたことになる。
【００４１】
次に、補正後座標算出手段１５４は、移動量算出手段１５３で算出された移動量及び収差補正前の画素の座標を用いて、収差補正後の画素の座標を算出する（Ｓ１７）。具体的には、図４に示すように、座標中心から各画素に向かう方向に、移動量算出手段１５３で求めた移動量だけ画素座標を移動させることにより、画像収差補正後の画素座標を求めるのである。そのため、図４に示す通り、座標系の中心とする同一円上に存在する各座標は、座標系の中心から放射状に、又は座標系の中心に向かうように、同じ距離だけ伸びるベクトルの先端に座標を移動させることになる。ここで、図２（Ｃ）は、収差補正後の座標データの一例を示している。縦横変換後歪み軽減画像Ｄ１３は、縦横比が変換され、画像の歪みが軽減されていることを模式的に示す。
【００４２】
次に、座標変換手段１５２は、図３に示すテーブルを用いて、補正後座標算出手段１５４で生成された座標データに対して逆変換を行う（Ｓ１８）。図２（Ｄ）は、逆変換後の座標データの一例を示している。縦横逆変換後歪み軽減画像Ｄ１４は、縦横比が元に戻り、画像の歪みが軽減されていることを模式的に示す。この状態では、基画像データの各画素は適宜新たな座標に移動していることになる。
【００４３】
最後に、基画像データの各画素の画素データを新たな座標に対応付ける（Ｓ１９）。これにより、収差補正後の画像データを得ることができる。
【００４４】
上記ステップＳ１５からステップＳ１９までで示す処理を全ての画素に対して施すことにより（Ｓ２０）、１画面分の画像データの収差補正が完了する。
【００４５】
以上のように本発明の実施の形態１にかかるデジタルカメラ１００は、基画像データ取得手段と、縦横比変換データ出力手段と、座標変換手段と、移動量算出手段と、補正後座標算出手段と、補正後画像データ生成手段と、を備える。基画像データ取得手段は、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する。縦横比取得部１５１は、取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを取得する。座標変換手段１５２は、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。移動量算出手段１５３は、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する。補正後座標算出手段１５４は、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する。電子ズーム部１３３は、算出された補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する。
【００４６】
これにより、補正後座標データを算出する前に、縦横変換後座標データを算出するので、基画像データの縦横比が標準の縦横比でない場合においても、座標系の中心から各縦横変換後座標データまでの距離に従って移動量を算出できる。そのため、基画像データの縦横比が標準の縦横比でない場合においても、標準縦横比で用いる算出方法を採用できるので、移動量の算出が容易になる。
【００４７】
また、本発明は、本実施の形態１で示したように、補正後画像データ生成手段は、算出された補正後座標データを縦横比について逆変換することにより生成された座標データに対して、基画像データのそれぞれの画素の画素データを対応付けることにより、収差補正後の画像データを生成するようにしてもよい。
（他の実施の形態）
本発明の実施の形態の一例として実施の形態１を示した。しかし、本発明は実施の形態１には限定されず、他の実施の形態にも適用可能である。そこで、他の実施の形態を以下まとめて説明する。
【００４８】
実施の形態１では、収差補正後の座標データを、縦横比について逆変換した後、基画像データの各画素の画素データと対応付けたが、これには限らない。例えば、収差補正後の座標データに対して、上記逆変換を施さないで、基画像データの各画素の画素データと対応付けるようにしてもよい。要するに、本発明は、座標データに対して、収差補正処理を施す前に縦横比変換処理を施すものであれば適用可能である。
【００４９】
実施の形態１では、収差補正後の座標データを求めた後に画素データとの対応付けを行ったが、収差補正後の座標データを求める前に画素データとの対応付けを行ってもよい。但し、収差補正後の座標データを求めた後に画素データとの対応付けを行うと、画素データとの対応付けという処理が一回で済むので、収差補正後の座標データを求める過程において複数回の画素データ対応付け処理を行う場合に比べて、一連の処理を簡素化することができる。
【００５０】
実施の形態１では、主に静止画像の収差補正を念頭において説明した。しかし、本発明は、静止画像の収差補正に限定されず、動画像に対しても適用可能である。
【００５１】
実施の形態では、レンズの歪み収差を念頭において説明した。しかし、本発明は、歪み収差に限定されず、倍率色収差等の他の収差に対しても適用可能である。
【００５２】
実施の形態１では、画像収差補正装置の一例としてデジタルカメラ１００を説明した。しかし、本発明はこれに限定されない。例えば、ムービー等の他の撮像装置にも適用できる。また、テレビジョン受像装置等の画像表示装置にも適用可能である。また、パーソナルコンピューターで使用可能な画像処理用ソフトウェアの一部の機能としても実現できる。この場合、このようなソフトウェアは、コントローラーやメモリ等の部材と協働して機能を実現する。
【産業上の利用可能性】
【００５３】
本発明は、画像の収差補正装置に適用可能である。例えば、デジタルスチルカメラやムービーなどに適用できる。また、テレビジョン受像装置等の画像表示装置にも適用可能である。また、パーソナルコンピューターで使用可能な画像処理用ソフトウェアの一部の機能としても実現できる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態１にかかるデジタルカメラの構成を示すブロック図
【図２】各処理段階における座標データの状況を示す模式図
【図３】縦横比補正の前後の対応関係を表すテーブルを示す模式図
【図４】画像収差補正の方法を説明するための模式図
【図５】座標系の中心から画素までの距離と画素の移動量との対応関係を表すテーブルを示す模式図
【図６】本発明を模式的に示す機能ブロック図
【図７】本発明の実施の形態１にかかるデジタルカメラの画像収差補正動作を説明するためのフローチャート
【図８】本発明の概要を示す模式図
【符号の説明】
【００５５】
１１１ ズームレンズ
１１２ ズームモータ
１１３ フォーカスレンズ
１１４ フォーカスモータ
１２０ ＣＣＤイメージセンサー
１２１ タイミングジェネレーター
１２２ ＡＤコンバーター
１３０ 画像処理部
１３１ 前処理部
１３２ ＹＣ処理部
１３３ 電子ズーム部
１３４ 圧縮部
１４０ バッファメモリ
１５０ コントローラー
１５１ 縦横比取得部
１５２ 座標変換手段
１５３ 移動量算出手段
１５４ 補正後座標算出手段
１６０ メモリーカード
１６１ カードスロット
２１０ 基画像データ取得手段
２２０ 縦横比変換データ出力手段
２３０ 補正後画像データ生成手段
Ｄ１１ 縦横変換前歪み有り画像
Ｄ１２ 縦横変換後歪み有り画像
Ｄ１３ 縦横変換後歪み軽減画像
Ｄ１４ 縦横逆変換後歪み軽減画像
【技術分野】
【０００１】
本発明は、画像データに対して画像処理を施すことにより、画像の収差歪みを電子的に補正する装置に関する。
【背景技術】
【０００２】
特許文献１は、画像の収差歪みを電子的に補正する装置を開示している。特許文献１に記載の装置は、画像の存在するエリア内に所定の円を仮想し、その円の外側は画素を外側方向に移動させ、その円の内側は画素を内側方向に移動させるようにしている。これにより、画像収差補正処理の処理負担を低減している。
【０００３】
特許文献１に開示する発明とは異なるが、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法が知られている。これによれば、座標系と移動量との関係を簡素化しやすく、画像収差補正処理の処理負担を低減できる。
【特許文献１】特開平０６−１６５０２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法は、基の画像データが基準となる縦横比の画像データであることを前提としたものである。ここで、基準となる縦横比は、撮像素子に結像された画像と相似の縦横比である場合が多い。仮に、基の画像データが基準とは異なる縦横比の画像データであった場合に、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用した場合、不自然な画像が形成される場合が多いものと考えられる。基の画像データが基準とは異なる縦横比となることは、高速連写を実現するために撮像素子から垂直方向の画素データを間引いて読み出す間引き読み出し時や、多チャンネル読み出し時に発生し得る。
【０００５】
そこで、本発明は、基の画像データが基準とは異なる縦横比の画像データであった場合においても、処理負担が少ない状態で、良好な収差補正処理ができる画像収差補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の画像収差補正装置は、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する基画像データ取得手段と、取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する縦横比変換データ出力手段と、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する座標変換手段と、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する移動量算出手段と、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する補正後座標算出手段と、算出された補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する補正後画像データ生成手段と、を備える。
【０００７】
これにより、補正後座標データを算出する前に、縦横変換後座標データを算出するので、基画像データの縦横比が標準の縦横比でない場合においても、座標系の中心から各縦横変換後座標データまでの距離に従って移動量を算出できる。そのため、基画像データの縦横比が標準の縦横比でない場合においても、標準縦横比で用いる算出方法を採用できるので、移動量の算出が容易になる。
【発明の効果】
【０００８】
本発明によれば、基の画像データが基準とは異なる縦横比の画像データであった場合においても、処理負担が少ない状態で、良好な収差補正処理ができる画像収差補正装置を提供できる。
【発明を実施するための最良の形態】
【０００９】
（実施の形態１）
本発明の概要を図８を用いて説明する。図８に示すように、撮像素子に結像された画像と縦横比が相似な画像データについて画像収差補正をする場合は、通常通り、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用して、収差補正処理を行う。これに対して、撮像素子に結像された画像と縦横比が相似でない画像データについて画像収差補正をする場合は、一旦縦横比を変換した後、収差補正処理を行う。この場合、収差補正処理の方法は、撮像素子に結像された画像と縦横比が相似な画像データについて画像収差補正をする場合と同様に、座標系の中心から各画素までの距離に応じて、収差補正後の座標位置までの移動量を求める方法を採用可能である。
【００１０】
但し、上記説明では、撮像素子に結像された画像の縦横比を基準値としたが、これには限定しない。従って、基準となる縦横比を、撮像素子に結像された画像の縦横比とは別の縦横比としてもよい。例えば、撮像素子は、３：４と若干異なる縦横比であっても、その一部を切り出した画像を基準画像として、切り出し後の画像の縦横比である３：４を基準となる縦横比としてもよい。この方法は、特に、１つの画像データから複数の縦横比の画像データを生成可能な撮像装置（マルチアスペクトカメラ等）において有効である。
【００１１】
図１は、本発明の実施の形態１にかかるデジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、撮像画像を生成する撮像系と撮像画像を処理する画像処理系を含む。撮像系は、ズームレンズ１１１、ズームモータ１１２、フォーカスレンズ１１３、フォーカスモータ１１４、ＣＣＤイメージセンサー１２０、タイミングジェネレーター１２１、ＡＤコンバーター１２２などを備える。また、画像処理系は、画像処理部１３０やバッファメモリ１４０などを含む。そして、メモリーカード１６０は、画像処理済みの画像データを格納可能である。コントローラー１５０は、デジタルカメラ１００の全体を制御する。
【００１２】
ズームレンズ１１１は、光軸方向に移動可能である。ズームレンズ１１１が光軸方向に移動することにより、ＣＣＤイメージセンサー１２０上に形成される画像の倍率が変化する。それに伴い、レンズ系の状況にもよるが、一般的には、ＣＣＤイメージセンサー１２０上に形成される画像の歪み収差の状態が変化する。本発明は、ＣＣＤイメージセンサー１２０上に形成された画像の歪み収差を、その画像を示す画像データに対して画像処理を施すことにより、電子的に修正する技術に関する。
【００１３】
ズームモータ１１２は、ズームレンズ１１１を光軸方向に駆動する駆動手段である。ズームモータ１１２は、ステップモーター、ＤＣモーター、リニアモーターなどで実現可能である。
【００１４】
フォーカスレンズ１１３は、光軸方向に移動可能である。フォーカスレンズ１１３が光軸方向に移動することにより、ＣＣＤイメージセンサー１２０上に形成される画像の合焦状態が変化する。フォーカスモータ１１４は、フォーカスレンズ１１３を光軸方向に駆動する駆動手段である。ズームモータ１１２は、ステップモーター、ＤＣモーター、リニアモーターなどで実現可能である。
【００１５】
なお、本発明においては、ズームレンズ１１１やフォーカスレンズ１１３は必須ではない。それに伴って、ズームモータ１１２やフォーカスモータ１１４も必須ではない。また、ズームレンズ１１１やフォーカスレンズ１１３は、１枚のレンズで構成してもよいし、複数のレンズを含むレンズ群で構成してもよい。また、本実施の形態１では、ズームレンズ１１１とフォーカスレンズ１１３の２群構成で光学系を構成したが、本発明はこれに限定されない。例えば、３群構成や４群構成で構成してもよいし、ズーム機能やフォーカス機能を備えないカメラにも適用可能である。要するに、本発明は、電子的に画像の歪み収差を補正するものであれば適用可能である。
【００１６】
ＣＣＤイメージセンサー１２０は、光学系により形成された被写体像を撮像して画像データを生成する。そして、ＣＣＤイメージセンサー１２０で生成された画像データは、ＡＤコンバーター１２２でデジタル化される。ＣＣＤイメージセンサー１２０は、タイミングジェネレーター１２１で生成されるタイミング信号に基づいて動作する。タイミングジェネレーター１２１は、コントローラー１５０の制御により、タイミング信号を発生する。
【００１７】
コントローラー１５０は、タイミングジェネレーター１２１を制御することにより、ＣＣＤイメージセンサー１２０の読み出し画像量を調整可能である。例えば、コントローラー１５０は、ＣＣＤイメージセンサー１２０から全画素の画素データを出力させたり、一部の画素の画素データのみを出力させたりすることができる。一部の画素の画素データのみを出力させた場合、ＣＣＤイメージセンサー１２０から出力される画像データが示す画像は、ＣＣＤイメージセンサー１２０上に形成される画像とは異なる縦横比になる。例えば、コントローラー１５０がＣＣＤイメージセンサー１２０の全画素から垂直方向に２列のうち１列を間引いて出力させたとした場合、ＣＣＤイメージセンサー１２０から出力される画像データが示す画像は、ＣＣＤイメージセンサー１２０上に形成される画像に比べて、水平方向は同じであるが垂直方向は１／２に縮められた画像となる。
【００１８】
画像処理部１３０は、画像データに対して処理を施す手段である。前処理部１３１は、半導体チップ等で実現可能である。画像処理部１３０は、ハードワイヤードな電子回路で実現してもよいし、プログラム可能なマイコン等で実現してもよい。画像処理部１３０は、前処理部１３１、ＹＣ処理部１３２、電子ズーム部１３３、圧縮部１３４を備える。但し、前処理部１３１、ＹＣ処理部１３２、圧縮部１３４は本発明にとって必須ではない。また、電子ズーム部１３３は補間処理を行うが、本発明にとって補間処理は必須ではない。但し、現実的には、補間処理をすることにより、画質を向上できるので、本発明を実現する上で、通常は電子ズーム部１３３を備えるのが好ましい。また、画像処理部１３０は、前処理部１３１、ＹＣ処理部１３２、電子ズーム部１３３、圧縮部１３４の他に、伸張処理部など他の処理部を備えても良い。
【００１９】
前処理部１３１は、ガンマ補正処理やホワイトバランス補正処理、キズ補正処理等を行う処理手段である。前処理部１３１は、ＹＣ処理部１３２での処理を行う前の処理を行う。また、前処理部１３１は、コントローラー１５０の制御により、画像データの水平および垂直方向の画素数を削減することが可能である。
【００２０】
ＹＣ処理部１３２は、前処理部１３１で処理されたＲＡＷデータを輝度信号と色差信号とを含むＹＣデータに変換する。本実施の形態１では、ＹＣ処理部１３２からの出力画像データを基画像データとする。基画像データは、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データである。
【００２１】
電子ズーム部１３３は、電子ズーム処理を行う。電子ズーム処理は、基の画像データから拡大すべきエリアの画像データを切り出す処理と、切り出した画像データについて補間処理により画素数を増大させる処理とを含む処理である。また、電子ズーム部１３３は、切り出し処理を行わないで、補間処理のみを行うということも可能である。
【００２２】
圧縮部１３４は、ＹＣデータをＪＰＥＧ規格準拠等の圧縮データに変換する手段である。本実施の形態１では、圧縮処理をした後、メモリーカード１６０に格納する動作を例示するが、本発明はこれに限らない。例えば、ＲＧＢデータの状態でメモリーカード１６０に格納するようにしてもよい。
【００２３】
バッファメモリ１４０は、画像処理部１３０の各処理部の画像処理の際に、又は、コントローラー１５０の制御動作の際に、ワークメモリとして機能する。バッファメモリ１４０は、ＤＲＡＭ、強誘電体メモリなどで実現可能である。
【００２４】
コントローラー１５０は、デジタルカメラ１００全体を制御する。本実施の形態１では、コントローラー１５０の機能のうち、特に画像収差補正機能に関して説明する。コントローラー１５０は、縦横比取得部１５１、座標変換手段１５２、移動量算出手段１５３、補正後座標算出手段１５４を備える。縦横比取得部１５１、座標変換手段１５２、移動量算出手段１５３、補正後座標算出手段１５４は、それぞれコントローラー１５０の機能を示す機能ブロックである。それらは、コントローラー１５０を構成する半導体チップ内の半導体素子等で実現可能である。コントローラー１５０は、ハードワイヤードな電子回路で実現してもよいし、プログラム可能なマイコン等で実現してもよい。また、画像処理部１３０とコントローラー１５０とは、１つの半導体チップで実現してもよいし、別々の半導体チップで実現してもよい。なお、コントローラー１５０は、各種データを内部に格納し読み出し可能にしてもよく、コントローラー１５０の外部にフラッシュメモリ等の外部メモリを設け、その外部メモリに各種データを格納し読み出し可能としてもよい。
【００２５】
縦横比取得部１５１は、基画像データが示す画像の縦横比を撮像素子に結像された画像と相似な画像の縦横比に変換する際の変換係数に関する縦横比変換データである。ここで、撮像素子に結像された画像と相似な画像の縦横比は予めコントローラー１５０に設定されている。撮像素子に結像された画像と相似な画像の縦横比は、例えば、縦：横＝３：４などである。これに対して、基画像データが示す画像の縦横比が縦：横＝０．７５：４である場合には、変換係数は、縦：４倍、横：１倍である。基画像データが示す画像の縦横比は、タイミングジェネレーター１２１の制御や前処理部１３１の制御に依存して決定されるので、縦横比取得部１５１は、タイミングジェネレーター１２１や前処理部１３１を如何に制御したかを覚えておくことにより、縦横比変換データを取得できる。
【００２６】
座標変換手段１５２は、縦横比取得部１５１で取得された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。上記例では、縦横比が縦：横＝０．７５：４の座標系を縦：横＝３：４の座標系に変換するのである。
【００２７】
より理解を容易にするために、図２を用いて説明する。図２（Ａ）が基画像データである場合に、座標変換手段１５２は、各画素の座標データを変換して、撮像素子に結像された画像と相似な画像である図２（Ｂ）に示す座標系を算出するのである。座標変換手段１５２は、算出した座標系を、テーブル状に記憶しておくようにすることができる。図３は、縦横比変換前後の各画素データの対応テーブルを示す模式図である。縦横比変換前の各画素の座標値は、縦横比変換後の各画素の座標値と対応付けられた状態でテーブルを構成する。
【００２８】
移動量算出手段１５３は、座標変換手段１５２から出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する手段である。移動量算出手段１５３は、図４に示すような座標系において、中心から各画素までの距離を求める。そして、移動量算出手段１５３は、図５に示す中心からの距離と移動量との対応表に基づいて、各画素での移動量を算出する。図５に示す対応表は、コントローラー１５０の内部やフラッシュメモリ等に予め格納されている。この対応表に示す中心からの距離と移動量との対応は、光学系の特性及びズーム倍率によって変化する。光学系の特性は、レンズ組み込み型のカメラでは一定であるが、一眼レフカメラなどのレンズ着脱式のカメラでは交換レンズ毎に異なるものである。
【００２９】
補正後座標算出手段１５４は、移動量算出手段１５３で算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系（例えば、図４に示す座標系）における収差補正後の座標位置を示す補正後座標データを算出する。補正後座標算出手段１５４は、座標系の中心から各画素へ向かう方向に、移動量算出手段１５３で算出された移動量分だけ移動した座標を補正後座標として、補正後座標データを算出する。なお、移動量は負の値をとることがあり、その場合は、各画素から座標系の中心へと向かう方向に移動させることにより補正後座標を求めることになる。
【００３０】
カードスロット１６１は、メモリーカード１６０を機械的及び電気的に着脱可能な接続手段である。カードスロット１６１は、メモリーカード１６０を制御する機能を備えてもよい。メモリーカード１６０は、フラッシュメモリ等を内蔵する。
【００３１】
図６は、本発明の構成を示す概念図である。図６において、本発明の各構成要素は機能ブロックとして記載されている。
【００３２】
基画像データ取得手段２１０は、基画像データを取得する手段である。基画像データ取得手段２１０は、本実施の形態１に示すように画像処理部１３０などで実現可能である。なお、本実施の形態１では、ＣＣＤイメージセンサー１２０、ＡＤコンバーター１２２、前処理部１３１、ＹＣ処理部１３２などで基画像データを生成するとしたが、本発明はこれに限定されない。例えば、メモリーカード１６０に格納されている画像データを読み出して、読み出した画像データ又はそれに所定の処理を施した画像データを、基画像データとしてもよい。このようにすることにより、撮像段階のみならず、メモリーカード１６０に格納された画像データを再生する段階において、画像収差を補正することが可能になる。
【００３３】
縦横比変換データ出力手段２２０は、コントローラー１５０がタイミングジェネレーター１２１や前処理部１３１などを制御する段階で把握される縦横比に関するデータを保持し、出力するものである。縦横比変換データ出力手段２２０は、基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する手段である。縦横比変換データ出力手段２２０は、コントローラー１５０内の一機能として実現可能である。
【００３４】
補正後画像データ生成手段２３０は、補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する手段である。補正後画像データ生成手段２３０は、補正後座標を逆変換し、逆変換に基づいて得られる座標とそれに対応する基画像データの画素データとを対応付けることにより、収差補正後の画像データを生成する。補正後画像データ生成手段２３０は、電子ズーム部１３３で実現可能である。従って、本実施の形態１では、電子ズーム部１３３は、逆変換に基づいて得られる座標とそれに対応する基画像データの画素データとを対応付ける際に、補間処理を行う。しかし、上述の通り、補間処理は本発明には必須ではない。
【００３５】
次に、図７を用いてデジタルカメラ１００の画像収差補正動作を説明する。図７は、デジタルカメラ１００の画像収差補正動作を説明するためのフローチャートである。
【００３６】
ＣＣＤイメージセンサー１２０で画像データが撮像され、ＡＤコンバーター１２２で撮像画像がデジタル化され、前処理部１３１で所定の処理が施されると、縦横比取得部１５１は、縦横比変換データを取得する（Ｓ１１）。上述のように、縦横比変換データは、例えば、コントローラー１５０がタイミングジェネレーター１２１や前処理部１３１を制御する状況に依存して変化する。ここで、縦横比変換前の画像の座標系は、例えば、図２（Ａ）のように示される。図２（Ａ）において、縦横変換前歪み有り画像Ｄ１１は、基画像データが示す画像が歪んでいることを模式的に示している。
【００３７】
次に、座標変換手段１５２は、縦横比変換テーブルを作成する（Ｓ１２）。このときの縦横比変換後の座標系の状態を図２（Ｂ）に模式的に示す。縦横変換後歪み有り画像Ｄ１２は、歪みが未だ補正されていないが、縦横比は変換されていることを示す。
【００３８】
これらと並行して、コントローラー１５０は、ズームモータ１１２からズーム倍率に関する情報を取得する（Ｓ１３）。また、コントローラー１５０は、画像収差補正の基準となる補正基データを取得する（Ｓ１４）。これは、図５に示すテーブルの基となるデータであって、補正基データとズーム倍率とに基づいて、コントローラー１５０は、図５に示すテーブルを算出する。なお、コントローラー１５０は、ズーム倍率毎に図５に示すようなテーブルを予め保持し、これを補正基データとして用いるようにしてもよい。
【００３９】
次に、コントローラー１５０は、各画素毎に処理を進めていく。
【００４０】
まず、移動量算出手段１５３は、図３に示すテーブルに基づいて、縦横比補正後の座標系の中心を求める。そして、その中心から現在処理中の画素の座標までの距離を求める（Ｓ１５）。その距離は、図４におけるｒ１などである。次に、移動量算出手段１５３は、図５に示すテーブルを用いて、画素移動量を算出する（Ｓ１６）。図５においては、中心からの距離や移動量は１画素を単位として表示されている。この段階で、移動量算出手段１５３は、例えば、図４に示すベクトルｖ１の大きさを求めたことになる。
【００４１】
次に、補正後座標算出手段１５４は、移動量算出手段１５３で算出された移動量及び収差補正前の画素の座標を用いて、収差補正後の画素の座標を算出する（Ｓ１７）。具体的には、図４に示すように、座標中心から各画素に向かう方向に、移動量算出手段１５３で求めた移動量だけ画素座標を移動させることにより、画像収差補正後の画素座標を求めるのである。そのため、図４に示す通り、座標系の中心とする同一円上に存在する各座標は、座標系の中心から放射状に、又は座標系の中心に向かうように、同じ距離だけ伸びるベクトルの先端に座標を移動させることになる。ここで、図２（Ｃ）は、収差補正後の座標データの一例を示している。縦横変換後歪み軽減画像Ｄ１３は、縦横比が変換され、画像の歪みが軽減されていることを模式的に示す。
【００４２】
次に、座標変換手段１５２は、図３に示すテーブルを用いて、補正後座標算出手段１５４で生成された座標データに対して逆変換を行う（Ｓ１８）。図２（Ｄ）は、逆変換後の座標データの一例を示している。縦横逆変換後歪み軽減画像Ｄ１４は、縦横比が元に戻り、画像の歪みが軽減されていることを模式的に示す。この状態では、基画像データの各画素は適宜新たな座標に移動していることになる。
【００４３】
最後に、基画像データの各画素の画素データを新たな座標に対応付ける（Ｓ１９）。これにより、収差補正後の画像データを得ることができる。
【００４４】
上記ステップＳ１５からステップＳ１９までで示す処理を全ての画素に対して施すことにより（Ｓ２０）、１画面分の画像データの収差補正が完了する。
【００４５】
以上のように本発明の実施の形態１にかかるデジタルカメラ１００は、基画像データ取得手段と、縦横比変換データ出力手段と、座標変換手段と、移動量算出手段と、補正後座標算出手段と、補正後画像データ生成手段と、を備える。基画像データ取得手段は、２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する。縦横比取得部１５１は、取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを取得する。座標変換手段１５２は、出力された縦横比変換データに基づいて、基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する。移動量算出手段１５３は、出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する。補正後座標算出手段１５４は、算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する。電子ズーム部１３３は、算出された補正後座標データ及び基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する。
【００４６】
これにより、補正後座標データを算出する前に、縦横変換後座標データを算出するので、基画像データの縦横比が標準の縦横比でない場合においても、座標系の中心から各縦横変換後座標データまでの距離に従って移動量を算出できる。そのため、基画像データの縦横比が標準の縦横比でない場合においても、標準縦横比で用いる算出方法を採用できるので、移動量の算出が容易になる。
【００４７】
また、本発明は、本実施の形態１で示したように、補正後画像データ生成手段は、算出された補正後座標データを縦横比について逆変換することにより生成された座標データに対して、基画像データのそれぞれの画素の画素データを対応付けることにより、収差補正後の画像データを生成するようにしてもよい。
（他の実施の形態）
本発明の実施の形態の一例として実施の形態１を示した。しかし、本発明は実施の形態１には限定されず、他の実施の形態にも適用可能である。そこで、他の実施の形態を以下まとめて説明する。
【００４８】
実施の形態１では、収差補正後の座標データを、縦横比について逆変換した後、基画像データの各画素の画素データと対応付けたが、これには限らない。例えば、収差補正後の座標データに対して、上記逆変換を施さないで、基画像データの各画素の画素データと対応付けるようにしてもよい。要するに、本発明は、座標データに対して、収差補正処理を施す前に縦横比変換処理を施すものであれば適用可能である。
【００４９】
実施の形態１では、収差補正後の座標データを求めた後に画素データとの対応付けを行ったが、収差補正後の座標データを求める前に画素データとの対応付けを行ってもよい。但し、収差補正後の座標データを求めた後に画素データとの対応付けを行うと、画素データとの対応付けという処理が一回で済むので、収差補正後の座標データを求める過程において複数回の画素データ対応付け処理を行う場合に比べて、一連の処理を簡素化することができる。
【００５０】
実施の形態１では、主に静止画像の収差補正を念頭において説明した。しかし、本発明は、静止画像の収差補正に限定されず、動画像に対しても適用可能である。
【００５１】
実施の形態では、レンズの歪み収差を念頭において説明した。しかし、本発明は、歪み収差に限定されず、倍率色収差等の他の収差に対しても適用可能である。
【００５２】
実施の形態１では、画像収差補正装置の一例としてデジタルカメラ１００を説明した。しかし、本発明はこれに限定されない。例えば、ムービー等の他の撮像装置にも適用できる。また、テレビジョン受像装置等の画像表示装置にも適用可能である。また、パーソナルコンピューターで使用可能な画像処理用ソフトウェアの一部の機能としても実現できる。この場合、このようなソフトウェアは、コントローラーやメモリ等の部材と協働して機能を実現する。
【産業上の利用可能性】
【００５３】
本発明は、画像の収差補正装置に適用可能である。例えば、デジタルスチルカメラやムービーなどに適用できる。また、テレビジョン受像装置等の画像表示装置にも適用可能である。また、パーソナルコンピューターで使用可能な画像処理用ソフトウェアの一部の機能としても実現できる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態１にかかるデジタルカメラの構成を示すブロック図
【図２】各処理段階における座標データの状況を示す模式図
【図３】縦横比補正の前後の対応関係を表すテーブルを示す模式図
【図４】画像収差補正の方法を説明するための模式図
【図５】座標系の中心から画素までの距離と画素の移動量との対応関係を表すテーブルを示す模式図
【図６】本発明を模式的に示す機能ブロック図
【図７】本発明の実施の形態１にかかるデジタルカメラの画像収差補正動作を説明するためのフローチャート
【図８】本発明の概要を示す模式図
【符号の説明】
【００５５】
１１１ ズームレンズ
１１２ ズームモータ
１１３ フォーカスレンズ
１１４ フォーカスモータ
１２０ ＣＣＤイメージセンサー
１２１ タイミングジェネレーター
１２２ ＡＤコンバーター
１３０ 画像処理部
１３１ 前処理部
１３２ ＹＣ処理部
１３３ 電子ズーム部
１３４ 圧縮部
１４０ バッファメモリ
１５０ コントローラー
１５１ 縦横比取得部
１５２ 座標変換手段
１５３ 移動量算出手段
１５４ 補正後座標算出手段
１６０ メモリーカード
１６１ カードスロット
２１０ 基画像データ取得手段
２２０ 縦横比変換データ出力手段
２３０ 補正後画像データ生成手段
Ｄ１１ 縦横変換前歪み有り画像
Ｄ１２ 縦横変換後歪み有り画像
Ｄ１３ 縦横変換後歪み軽減画像
Ｄ１４ 縦横逆変換後歪み軽減画像
【特許請求の範囲】
【請求項１】
２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する基画像データ取得手段と、
前記取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する縦横比変換データ出力手段と、
前記出力された縦横比変換データに基づいて、前記基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する座標変換手段と、
前記出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する移動量算出手段と、
前記算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する補正後座標算出手段と、
前記算出された補正後座標データ及び前記基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する補正後画像データ生成手段と、
を備える画像収差補正装置。
【請求項２】
前記補正後画像データ生成手段は、前記算出された補正後座標データに対して前記基画像データのそれぞれの画素の画素データを対応付けることにより、前記収差補正後の画像データを生成する、請求項１に記載の画像収差補正装置。
【請求項３】
前記補正後画像データ生成手段は、前記算出された補正後座標データを縦横比について逆変換することにより生成された座標データに対して、前記基画像データのそれぞれの画素の画素データを対応付けることにより、前記収差補正後の画像データを生成する、請求項１に記載の画像収差補正装置。
【請求項１】
２次元状に複数の画素が配列され、それぞれの画素に画素データが対応付けられた画像データを基画像データとして取得する基画像データ取得手段と、
前記取得した基画像データの縦横比を変換する際の変換係数に関する縦横比変換データを出力する縦横比変換データ出力手段と、
前記出力された縦横比変換データに基づいて、前記基画像データ内の各画素の座標データを新たな座標データに変換して、縦横変換後座標データとして出力する座標変換手段と、
前記出力された縦横変換後座標データで構成する座標系の中心から各縦横変換後座標データまでの距離に応じて、縦横変換後座標データが示す座標から収差補正後の座標位置までの移動量を算出する移動量算出手段と、
前記算出された移動量に応じて、縦横変換後座標データで構成する座標系と同一の座標系における収差補正後の座標位置を示す補正後座標データを算出する補正後座標算出手段と、
前記算出された補正後座標データ及び前記基画像データのそれぞれの画素の画素データに基づいて、収差補正後の画像データを生成する補正後画像データ生成手段と、
を備える画像収差補正装置。
【請求項２】
前記補正後画像データ生成手段は、前記算出された補正後座標データに対して前記基画像データのそれぞれの画素の画素データを対応付けることにより、前記収差補正後の画像データを生成する、請求項１に記載の画像収差補正装置。
【請求項３】
前記補正後画像データ生成手段は、前記算出された補正後座標データを縦横比について逆変換することにより生成された座標データに対して、前記基画像データのそれぞれの画素の画素データを対応付けることにより、前記収差補正後の画像データを生成する、請求項１に記載の画像収差補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−１８７２５７（Ｐ２００９−１８７２５７Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２６１７２（Ｐ２００８−２６１７２）
【出願日】平成２０年２月６日（２００８．２．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月６日（２００８．２．６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]