倍率色収差・像歪補正装置およびそのプログラム
【課題】本発明は、簡易な構成で正確な補正が可能な倍率色収差・像歪補正装置およびそのプログラムを提供する。
【解決手段】倍率色収差・像歪補正装置1は、補正データ生成手段2と、補正データを記憶する補正データ記憶手段6と、補正データが複数入力されると共に、補正データ記憶手段6の記憶容量又は所定の評価値に基づいて補正データの記憶数を算出し、入力された補正データを記憶数以下に間引いてから補正データ記憶手段6に書き込む補正データ間引き手段3と、信号入力手段4と、レンズパラメータ入力手段5と、補正データ記憶手段6と、補正データ選定手段7と、補正量算出手段8と、収差補正手段9と、信号記憶手段10と、信号出力手段11とを備える。
【解決手段】倍率色収差・像歪補正装置1は、補正データ生成手段2と、補正データを記憶する補正データ記憶手段6と、補正データが複数入力されると共に、補正データ記憶手段6の記憶容量又は所定の評価値に基づいて補正データの記憶数を算出し、入力された補正データを記憶数以下に間引いてから補正データ記憶手段6に書き込む補正データ間引き手段3と、信号入力手段4と、レンズパラメータ入力手段5と、補正データ記憶手段6と、補正データ選定手段7と、補正量算出手段8と、収差補正手段9と、信号記憶手段10と、信号出力手段11とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、レンズの色収差(倍率色収差)による映像の色のずれ(にじみ)と、映像の歪とを補正する倍率色収差・像歪補正装置およびそのプログラムに関する。
【背景技術】
【0002】
一般に、映像を撮影する撮影装置(カメラ)のレンズは、光の周波数によって屈折率が異なり、波長の長い光と波長の短い光とで結像する位置にずれが生じるため、レンズを介して撮影された映像にはにじみが生じる。そして、赤(R)、緑(G)、青(B)の三原色からなる映像では、緑に比べて波長の長い赤と、波長の短い青とが互いに異なる方向にずれるため、例えば、黒と白との境界においては、赤あるいは青のにじみが発生する。
【0003】
そこで、この倍率色収差による、緑に対する赤、青の光の結像位置のずれの量を各画素について予め求めておき、撮影された映像の赤と青の原色信号についてずれを補正することで、倍率色収差による映像のにじみを補正する技術が開示されている(特許文献1参照)。また、輝度信号と色差信号を赤、緑、青の原色信号に変換し、レンズの歪曲収差によるひずみと、倍率色収差によるにじみとを補正する技術が開示されている(特許文献2参照)。
【0004】
これら特許文献1および特許文献2に記載の発明は、ズーム、フォーカスおよびアイリス等のレンズパラメータが一定である場合には実現できる。一方、カメラでテレビ番組等の映像(動画)を撮影する場合には、一般的にレンズパラメータを様々に変化させて行うことが多い。この場合、特許文献1および特許文献2に記載の発明は、レンズパラメータの変化に対応する、結像位置のずれの量を示すデータを予め用意しようとすると、このデータの取得が困難であるうえに、膨大な量のデータを記憶する必要が生じ、現実的ではない。
【0005】
そこで、この問題点を解決すべく、例えば、特許文献3に記載の発明が提案されている。この特許文献3に記載の発明は、レンズパラメータを様々な値に変化させて撮影した場合でも、このレンズパラメータに基づいて、倍率色収差による映像のにじみを除去するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平6−292207号公報(段落番号0012〜0030、図1〜5)
【特許文献2】特開2000−3437号公報(段落番号0033〜0070、図3〜7)
【特許文献3】特開2006−135805号公報(段落番号0022〜0052、図1〜4)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献3に記載の発明は、記憶手段に記憶する補正データの数について、適切な基準が示されていない。このため、特許文献3に記載の発明は、補正データの数が多すぎると、大容量の記憶手段が必要になる。その一方、特許文献3に記載の発明は、補正データの数が少なすぎると、適切な補正データの選定が難しく、その補正データを用いて算出した補正量が映像の実際のずれ量と大きく異なるものとなり、補正を正確に行うことができない。
【0008】
そこで、本発明は、前記した問題を解決し、簡易な構成で正確な補正が可能な倍率色収差・像歪補正装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記した課題を解決するため、本願第1発明に係る倍率色収差・像歪補正装置は、映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正する倍率色収差・像歪補正装置であって、補正データ記憶手段と、補正データ間引き手段と、信号入力手段と、レンズパラメータ入力手段と、補正データ選定手段と、補正量算出手段と、補正手段と、信号出力手段とを備えることを特徴とする。
【0010】
かかる構成によれば、倍率色収差・像歪補正装置は、補正データ記憶手段によって、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する。また、倍率色収差・像歪補正装置は、補正データ間引き手段によって、前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む。
これによって、倍率色収差・像歪補正装置は、補正データ記憶手段に適切な数の補正データを記憶することができる。なお、倍率色収差・像歪補正装置は、映像の補正を行う前に、異なるレンズパラメータの値についての補正データを補正データ記憶手段に記憶しておくことが好ましい。
【0011】
また、倍率色収差・像歪補正装置は、信号入力手段によって、前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する。また、倍率色収差・像歪補正装置は、レンズパラメータ入力手段によって、この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力する。そして、倍率色収差・像歪補正装置は、補正データ選定手段によって、前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する。ここで、倍率色収差・像歪補正装置は、補正データ記憶手段に記憶された補正データのうち、撮影レンズパラメータの値より大きい値を有するレンズパラメータの補正データと、小さい値を有するレンズパラメータの補正データとを選定する。
【0012】
また、倍率色収差・像歪補正装置は、補正量算出手段によって、この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する。そして、倍率色収差・像歪補正装置は、補正手段によって、この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する。さらに、倍率色収差・像歪補正装置は、信号出力手段によって、前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する。
【0013】
また、本願第2発明に係る倍率色収差・像歪補正装置は、前記補正データ間引き手段が、前記補正データ記憶手段の記憶容量を前記補正データ1つあたりの容量で除算した値に基づいて、前記記憶数を算出することを特徴とする。
かかる構成によれば、倍率色収差・像歪補正装置は、多量の補正データが入力された場合でも、補正データ記憶手段の記憶容量を超えないように補正データを間引きすることができる。
【0014】
また、本願第3発明に係る倍率色収差・像歪補正装置は、前記補正データ間引き手段が、前記レンズパラメータの値および前記画素ごとに間引き候補の補正データと当該補正データを補間した補間後補正データとの前記収差量の差分を算出し、前記レンズパラメータの値ごとに前記差分の最大値又は平均値を前記評価値として算出し、前記評価値が予め設定された閾値以下で、かつ、前記間引き候補の補正データの最大数を前記記憶数として算出することを特徴とする。
【0015】
ここで、補正データの間引き数を多くするほど、補正データ記憶手段の記憶容量を節約できる。その一方、間引きした補正データを補間すると、間引き前の補正データ(つまり、生成した補正データ)に対する誤差が大きくなると考えられる。このため、倍率色収差・像歪補正装置は、補正量算出手段と同様の手法で、間引き候補となるレンズパラメータの補正データから補間後補正データを補間する。そして、倍率色収差・像歪補正装置は、補間後補正データの誤差を示す評価値を、補正データと補間後補正データとの収差量の差分により算出する。さらに、倍率色収差・像歪補正装置は、補間後補正データの誤差(評価値)が許容範囲内で、かつ、補正データ記憶手段の記憶容量を最も節約できるように記憶数を算出する。
【0016】
また、前記した課題を解決するため、本願第4発明に係る倍率色収差・像歪補正プログラムは、映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するために、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段を備えるコンピュータを、補正データ間引き手段、信号入力手段、レンズパラメータ入力手段、補正データ選定手段、補正量算出手段、補正手段、信号出力手段、として機能させることを特徴とする。
【0017】
かかる構成によれば、倍率色収差・像歪補正プログラムは、補正データ間引き手段によって、前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む。
これによって、倍率色収差・像歪補正プログラムは、補正データ記憶手段に適切な数の補正データを記憶することができる。なお、倍率色収差・像歪補正プログラムを実行するコンピュータは、映像の補正を行う前に、異なるレンズパラメータの値についての補正データを補正データ記憶手段に記憶しておくことが好ましい。
【0018】
また、倍率色収差・像歪補正プログラムは、信号入力手段によって、前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する。また、倍率色収差・像歪補正プログラムは、レンズパラメータ入力手段によって、この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力する。そして、倍率色収差・像歪補正プログラムは、補正データ選定手段によって、前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する。ここで、倍率色収差・像歪補正プログラムは、補正データ記憶手段に記憶された補正データのうち、撮影レンズパラメータの値より大きい値を有するレンズパラメータの補正データと、小さい値を有するレンズパラメータの補正データとを選定する。
【0019】
また、倍率色収差・像歪補正プログラムは、補正量算出手段によって、この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する。そして、倍率色収差・像歪補正プログラムは、補正手段によって、この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する。さらに、倍率色収差・像歪補正プログラムは、信号出力手段によって、前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する。
【発明の効果】
【0020】
本発明は、以下のような優れた効果を奏する。
本願第1,4発明は、補正データ記憶手段に適切な数の補正データを記憶するので、補正データ記憶手段に記憶する補正データの数が多すぎることや少なすぎることがない。これによって、本願第1,4発明は、正確な補正を可能とすると共に、補正データ記憶手段の記憶容量を節約して、倍率色収差・像歪補正装置の構成を簡易にできる。
【0021】
本願第2発明は、多量の補正データが入力された場合でも、補正データ記憶手段の記憶容量を超えないように補正データを間引きすることができ、大規模な補正データ記憶手段を必要とせずに、倍率色収差・像歪補正装置の構成をより簡易にできる。
【0022】
本願第3発明は、補間後補正データの誤差が許容範囲内で、かつ、補正データ記憶手段の記憶容量を最も節約できる記憶数を算出するので、倍率色収差・像歪補正装置の構成を簡易にすると共に、映像の正確な補正を可能とする。
【図面の簡単な説明】
【0023】
【図1】本発明の実施形態に係る倍率色収差・像歪補正装置の構成を示したブロック図である。
【図2】図1の補正データ生成手段が生成した補正データの例を説明するための説明図である。
【図3】図1の補正データ間引き手段が間引いた補正データの例を説明するための説明図である。
【図4】図1の補正データ間引き手段による収差量の差分を算出する例を説明するための説明図である。
【図5】図1の収差補正手段が、補正量に基づいてある画素をずらして、画素値を算出する方法を説明するための説明図であり、(a)はシフト処理部の処理を説明する図であり、(b)は2次元フィルタ部の処理を説明する図である。
【図6】図1の補正データ生成手段が補正データを生成する動作を示したフローチャートである。
【図7】図1の補正データ間引き手段が補正データを間引きする動作を示したフローチャートである。
【図8】本発明の実施形態において、ズーム、フォーカスおよびアイリスをレンズパラメータとする例を説明するための説明図である。
【図9】図1の倍率色収差補正装置が映像を補正する動作を示したフローチャートである。
【発明を実施するための形態】
【0024】
(発明の概略)
以下、図1を参照し、本発明の概略について簡単に説明する。
倍率色収差・像歪補正装置1は、後記する補正データを用いて、映像における倍率色収差による色ずれ、および、樽形状、逆樽形状等の映像の歪を補正するものである。ここで、倍率色収差・像歪補正装置1は、図1の破線内の各手段により、映像の補正を行う前に異なるレンズパラメータの値についての補正データを補正データ記憶手段6に記憶しておく必要がある。このため、倍率色収差・像歪補正装置1は、図示を省略したカメラのレンズのレンズパラメータを変化させながら所定のパターンを撮影し、倍率色収差による色のずれおよび映像の歪を測定して補正データを生成する。そして、倍率色収差・像歪補正装置1は、生成した補正データを間引いてから補正データ記憶手段6に記憶する。その後、倍率色収差・像歪補正装置1は、補正データ記憶手段6に記憶した補正データを用いて、入力された映像を実際に補正する。
【0025】
カメラは、その種類が特に制限されるものでないが、ここでは、プリズム等の分光手段と、3原色毎の撮影素子とを備える3板式の放送番組撮影カメラとして説明する。つまり、カメラは、放送番組を撮影した映像を倍率色収差・像歪補正装置1(信号入力手段4)に出力する。
【0026】
(実施形態)
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
図1に示すように、倍率色収差・像歪補正装置1は、補正データ生成手段2と、補正データ間引き手段3と、信号入力手段4と、レンズパラメータ入力手段5と、補正データ記憶手段6と、補正データ選定手段7と、補正量算出手段8と、収差補正手段(補正手段)9と、信号記憶手段10と、信号出力手段11とを備える。
【0027】
補正データ生成手段2(2a、2b、2c)は、例えば、基準信号(G信号、B信号又はR信号)と、比較信号(無歪み理想信号又は処理済G信号)と、レンズパラメータとが入力される。ここで、補正データ生成手段2aは、基準信号としてG信号が入力され、比較信号として無歪み理想信号が入力される。また、補正データ生成手段2bは、基準信号としてB信号が入力され、比較信号として処理済G信号(無歪み化したG信号)が入力される。さらに、補正データ生成手段2cは、基準信号としてR信号が入力され、比較信号として処理済G信号(無歪み化したG信号)が入力される。
【0028】
そして、補正データ生成手段2(2a、2b、2c)は、入力された基準信号と、比較信号と、レンズパラメータとを用いて補正データを生成する。さらに、補正データ生成手段2(2a、2b、2c)は、生成した補正データを、補正データ間引き手段3(3a、3b、3c)に出力する。
【0029】
ここで、レンズパラメータとは、カメラのレンズのズーム、フォーカス、アイリス等である。ここで、補正データ生成手段2(2a、2b、2c)は、ズーム、フォーカス、アイリスのうちの1つのレンズパラメータ、例えば、ズームのみを入力することとしてもよいし、複数の種類のレンズパラメータを入力することとしてもよい。ここでは、補正データ生成手段2(2a、2b、2c)は、レンズパラメータとしてズームのみを入力することとした。
【0030】
以下、図2を参照し、補正データ生成手段2(2a、2b、2c)が生成した補正データの一例について説明する(適宜図1参照)。
図2では、X軸をズーム(レンズパラメータ)とし、Y軸を画素の収差量(結像位置のずれの量および歪の量)とし、Z軸を画像中心からの距離(画素数)とした。つまり、補正データは、レンズパラメータの値と、G信号、B信号又はR信号の画素ごとの収差量とを対応させたものである。
【0031】
ここで、補正データ生成手段2(2a、2b、2c)は、ズームが連続的に変化するものの、補正データの生成に要する時間および補正データ記憶手段6(6a、6b、6c)の記憶容量の問題を考慮し、補正データを所定のサンプル間隔で生成する。
【0032】
以下の説明では、所定のサンプル間隔で生成した補正データの数(測定点数)をF1とする。つまり、測定点数F1の値は、2以上となる。
また、サンプルした補正データにおいて、ズームの最小値から数えてm番目のズームをz(m)とする。
また、このズームz(m)に対応する補正データを補正データプレーンab(m)とする。
この補正データプレーンとは、あるズーム(レンズパラメータ)の値に対応する1つの補正データのことである。図2の例では、ズーム値12ミリメートルの補正データが1つの補正データプレーンであり、ズーム値14ミリメートルの補正データも1つの補正データプレーンである。
【0033】
以下、図1に戻り、倍率色収差・像歪補正装置1の構成について説明を続ける。
補正データ間引き手段3(3a、3b、3c)は、補正データ生成手段2(2a、2b、2c)から補正データが複数入力されると共に、補正データ記憶手段6(6a、6b、6c)の記憶容量又は後記する評価値に基づいて補正データの記憶数を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、入力された補正データを記憶数以下に間引いてから補正データ記憶手段6(6a、6b、6c)に書き込む。
【0034】
以下、図3および図4を参照し、補正データ記憶手段6(6a、6b、6c)の記憶容量に基づく間引き手法と、評価値に基づく記憶数算出手法との2つの具体例を詳細に説明する(適宜図1参照)。
【0035】
<第1例:補正データ記憶手段の記憶容量に基づく間引き手法>
この第1例では、補正データ間引き手段3(3a、3b、3c)は、補正データ記憶手段6(6a、6b、6c)の記憶容量を補正データプレーン1つあたりの容量で除算した値に基づいて、補正データ記憶手段6(6a、6b、6c)に記憶可能な記憶数(補正データプレーンの数)を算出する。このとき、補正データ間引き手段3(3a、3b、3c)は、除算した値が小数点を有する場合、四捨五入又は切り捨を行ってもよい。
【0036】
ここで、例えば、補正データ記憶手段6(6a、6b、6c)の記憶容量は、補正データ記憶手段6(6a、6b、6c)の最大記憶容量を予め設定しておく。また、例えば、補正データプレーン1つあたりの容量は、予め設定してもよく、補正データ間引き手段3(3a、3b、3c)に入力された補正データプレーンの平均データ容量又は最大データ容量としてもよい。
【0037】
そして、補正データ間引き手段3(3a、3b、3c)は、算出した記憶数(補正データプレーンの数)の範囲内となるように、補正データを間引けばよい。ここで、補正データ間引き手段3(3a、3b、3c)は、ズームが最小値のとき(m=1)、および、ズームが最大値のとき(m=F1)の補正データプレーンを、間引かないこととする。また、補正データ間引き手段3(3a、3b、3c)は、これら最小値および最大値以外の補正データプレーンについて、どれを間引くか特に制限されないが、等間隔に補正データプレーンを間引くことが好ましい。
【0038】
図3の例では、補正データ間引き手段3(3a、3b、3c)が間引いた補正データプレーンを破線で図示した。つまり、図3の例では、補正データ間引き手段3(3a、3b、3c)は、ズームが14ミリメートルおよび16ミリメートルの補正データプレーンを間引いている。
【0039】
この第1例によれば、倍率色収差・像歪補正装置1は、多量の補正データが入力された場合でも、補正データ記憶手段6(6a、6b、6c)の記憶容量を超えないように補正データを間引きすることができる。従って、倍率色収差・像歪補正装置1は、大規模な補正データ記憶手段6(6a、6b、6c)を必要とせず、その構成を簡易にすることができる。
【0040】
<第2例:評価値に基づく間引き手法>
第2例では、第1例と同様、補正データ間引き手段3(3a、3b、3c)は、ズームが最小値のとき(m=1)、および、ズームが最大値のとき(m=F1)の補正データプレーンを、間引かないこととする。そこで、これら以外の補正データプレーンについて、F1から任意の補正データプレーンを1つ間引く場合について考える。このとき、間引き候補となる補正データプレーン数は、F1−2となる。
【0041】
この場合、補正データ間引き手段3(3a、3b、3c)は、線形補間、スプライン補間等、後記する補正量算出手段8(8a、8b、8c)と同じ補間手法で、間引き候補の補正データについて、補間値βを算出する。例えば、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンab(2)を間引きする場合、補正データプレーンab(1)および補正データプレーンab(3)の収差量から、間引き候補の補正データプレーンab(2)´の収差量を補間して算出する。
【0042】
例えば、図3において、ズームが14ミリメートルの補正データプレーンab(2)、および、ズームが16ミリメートルの補正データプレーンab(3)が間引き候補であるとする。この場合、補正データ間引き手段3(3a、3b、3c)は、図4に示すように、補正データプレーンab(2)の収差量の測定値β2と、間引き候補の補正データプレーンab(2)´の収差量の補間値β´2との差分を算出する。また、同様に、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンab(3)の収差量の測定値β3と、間引き候補の補正データプレーンab(3)´の収差量の補間値β´3との差分を算出する。
【0043】
なお、図4は、図3においてZ軸の値(画像中心からの距離)=αのとき、ズームが12ミリメートルから18ミリメートルまでの補正データプレーンを拡大し、Z軸方向から見たときの部分拡大図である。また、測定値とは、補正データ生成手段2(2a、2b、2c)が生成した補正データプレーンの収差量のことである。
【0044】
このとき、補正データ間引き手段3(3a、3b、3c)は、Z軸の値≠αを含めた全画素について、補正データプレーンと間引き候補の後補正データプレーンとの収差量の差分を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、全画素のうち、この収差量の差分が最大となるものを評価値候補とする。また、補正データ間引き手段3(3a、3b、3c)は、全画素について、この収差量の差分の平均値を評価値候補としてもよい。ここで、補正データプレーン数F1−1で2番目の補正データプレーン(m=2)を間引いた場合の評価値候補をEv_temp(F1−1,2)と表す。
【0045】
また、同様に、補正データ間引き手段3(3a、3b、3c)は、補正データプレーン数F1−1で3番目の補正データプレーン(m=3)を間引いた場合の評価値候補Ev_temp(F1−1,3)を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、順次、補正データプレーン数F1−1でF1−1番目の補正データプレーン(m=F1−1)を間引いた場合の評価値候補Ev_temp(F1−1,F1−1)までを算出する。さらに、補正データ間引き手段3(3a、3b、3c)は、下記の式(1)に示すように、評価値候補Ev_temp(F1−1,2)〜Ev_temp(F1−1,F1−1)のなかで最小のものを、補正データプレーン数F1−1の評価値EV(F1−1)として算出する。さらに、補正データ間引き手段3(3a、3b、3c)は、このときの補正データプレーンの番号を減プレーン番号DP(F1−1)として算出する。
【0046】
EV(F1−1)=min(Ev_temp(F1−1、t))・・・式(1)
なお、式(1)において、2<t<F1−1とする。また、式(1)において、minは、最小値を求める関数である。
【0047】
さらに、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンを2つ、3つ、・・・、F1−2個の補正データプレーンを間引いた場合まで、順次、評価値EV(F1−2)〜EV(2)と、減プレーン番号DP(F1−2)〜DP(2)とを算出する。
【0048】
さらに、補正データ間引き手段3(3a、3b、3c)は、評価値EV(F1−2)〜EV(2)が最大色ずれ量の許容値以下で、かつ、間引きする補正データプレーンの数が最大となるように記憶数(補正データプレーンの数)を算出する。なお、最大色ずれ量の許容値は、予め設定される閾値であり、例えば、文献「M.Kanazawa,et al.,“Color error from an RGB-stripe pixel structure,”Journal of the Society for Information Display Tenth Color Imaging Conference:Color Science and Engineering Systems,Technologies,Applications,vol.11,no.2,pp.387-393,2003」に記載されている。
【0049】
その後、補正データ間引き手段3(3a、3b、3c)は、算出した記憶数の範囲内で補正データプレーンを間引けばよい。なお、補正データ間引き手段3(3a、3b、3c)は、第1例と同様にどの補正データプレーンを間引くか特に制限されないが、等間隔に補正データプレーンを間引くことが好ましい。
【0050】
この第2例によれば、倍率色収差・像歪補正装置1は、補間後補正データの誤差(評価値)が許容範囲内で、かつ、補正データ記憶手段6(6a、6b、6c)の記憶容量を最も節約できる記憶数を算出する。従って、倍率色収差・像歪補正装置1は、補正データ記憶手段6(6a、6b、6c)の記憶容量の増加を抑えつつ、映像のずれを正確に補正することができる。
【0051】
ここで、倍率色収差・像歪補正装置1は、前記した第1例又は第2例の何れを用いるか、予め設定してもよい。例えば、補正データ記憶手段6(6a、6b、6c)を増設できない場合、又は、倍率色収差・像歪補正装置1を低コスト化したい場合、第1例の手法が好ましい。一方、映像の補正の正確性、つまり、映像の品質(画質)を重視する場合、第2例の手法が好ましい。
【0052】
以下、図1に戻り、倍率色収差・像歪補正装置1の構成について説明を続ける。
信号入力手段4(4a、4b、4c)は、3つの原色信号(G信号、B信号およびR信号)を外部から入力するものである。ここで、信号入力手段4aは、緑色画素(G画素)の明るさを示すG信号を入力して、収差補正手段9aに出力する。また、信号入力手段4bは、青色画素(B画素)の明るさを示すB信号を入力して、収差補正手段9bに出力する。さらに、信号入力手段4cは、赤色画素(R画素)の明るさを示すR信号を入力して、収差補正手段9cに出力する。
【0053】
レンズパラメータ入力手段5は、映像を撮影したカメラのレンズパラメータを外部から入力するものである。ここで、このレンズパラメータ入力手段5には、信号入力手段4(4a、4b、4c)に入力される映像信号の画素に対応するレンズパラメータ(撮影レンズパラメータ)が入力される。また、レンズパラメータ入力手段5は、入力された撮影レンズパラメータを、補正データ選定手段7(7a、7b、7c)と、補正量算出手段8(8a、8b、8c)とに出力する。なお、レンズパラメータ入力手段5は、補正データ生成手段2(2a、2b、2c)と同種のレンズパラメータを用いることとする。
【0054】
補正データ記憶手段6(6a、6b、6c)は、補正データ間引き手段3(3a、3b、3c)から補正データが書き込まれるものである。例えば、補正データ記憶手段6(6a、6b、6c)は、半導体メモリ、ハードディスク等の一般的な記憶手段である。
【0055】
補正データ選定手段7(7a、7b、7c)は、レンズパラメータ入力手段5から入力されたレンズパラメータに基づいて、補正データ記憶手段6(6a、6b、6c)に記憶された、当該レンズパラメータの値に近いレンズパラメータの補正データを選定するものである。具体的には、補正データ選定手段7(7a、7b、7c)は、レンズパラメータ入力手段5から入力されたズームの値より大きく、かつ、最も近い値の補正データと、入力されたズームの値より小さく、かつ、最も近い値の補正データの2つの補正データを選定する。そして、補正データ選定手段7(7a、7b、7c)は、選定した補正データを、補正量算出手段8(8a、8b、8c)に出力する。なお、レンズパラメータが2種類以上ある場合には、入力された各々のレンズパラメータの値を挟む補正データを選定することで、後記する補正量算出手段8において、補間によって補正量を算出することができる。
【0056】
補正量算出手段8(8a、8b、8c)は、レンズパラメータ入力手段5から入力されたレンズパラメータに基づいて、信号入力手段4(4a、4b、4c)から入力された原色信号の各々の画素について、倍率色収差による色ずれ量および映像の歪の量を示す補正量を算出するものである。そして、補正量算出手段8(8a、8b、8c)は、算出した補正量を、収差補正手段9(9a、9b、9c)に出力する。
【0057】
具体的には、補正量算出手段8(8a、8b、8c)は、補正データ選定手段7(7a、7b、7c)から1つ以上の補正データが入力され、この補正データに基づいて、レンズパラメータ入力手段5から入力された撮影レンズパラメータにおける補正量を補間によって算出する。ここでは、補正量算出手段8は、補正データ選定手段7(7a、7b、7c)から2つの補正データが入力され、線形補間によって補正量を算出することとした。このとき、水平方向の補正量X0と垂直方向の補正量Y0は、以下の式(2)によって求められる。
【0058】
X0=XA+(XB−XA)(Z0―ZA)/(ZB−ZA)
Y0=YA+(YB−YA)(Z0―ZA)/(ZB−ZA)・・・式(2)
式(2)において、レンズパラメータ入力手段5から入力されたズーム(撮影レンズパラメータ)の値をZ0、補正データ選定手段7から入力された2つの補正データのズーム、水平移動量、垂直移動量をそれぞれZA、ZB、XA、XB、YA、YBとする。
【0059】
ここでは、撮影レンズパラメータとしてズームのみが入力される場合について説明したが、これに限定されない。つまり、補正量算出手段8(8a、8b、8c)は、2種類以上の撮影レンズパラメータが入力される場合についても同様に、補正データ選定手段7(7a、7b、7c)から入力されたレンズパラメータの補正データに基づいて、線形補間、スプライン補間等の補間処理によって補正量を算出することができる。
【0060】
収差補正手段9(9a、9b、9c)は、補正量算出手段8(8a、8b、8c)から入力される補正量に基づいて、信号入力手段4(4a、4b、4c)から入力されたG信号、B信号およびR信号における、倍率色収差による色ずれおよび映像の歪を補正するものである。ここで、収差補正手段9aは、信号入力手段4aから入力されたG信号を補正して、補正したG信号の画素値を、信号記憶手段10aの補正された画素の位置を示すアドレスに書き込む。また、収差補正手段9bは、信号入力手段4bから入力されたB信号を補正して、補正したB信号の画素値を、信号記憶手段10bの補正された画素の位置を示すアドレスに書き込む。さらに、収差補正手段9cは、信号入力手段4cから入力されたR信号を補正して、補正したR信号の画素値を、信号記憶手段10cの補正された画素の位置を示すアドレスに書き込む。このため、収差補正手段9(9a、9b、9c)は、シフト処理部91(91a、91b、91c)と、2次元フィルタ部92(92a、92b、92c)とを備える。
【0061】
ここで、図5を参照して、収差補正手段9(9a、9b、9c)によって、色ずれおよび映像の歪を補正した各画素の画素値を算出する方法について説明する。
シフト処理部91(91a、91b、91c)は、補正量算出手段8(8a、8b、8c)から入力される補正量の整数成分を抽出し、この整数成分の値に基づいて信号入力手段4(4a、4b、4c)から入力されたG信号、B信号およびR信号をシフト処理するものである。具体的には、シフト処理部91(91a、91b、91c)は、各々の画素について、補正量算出手段8(8a、8b、8c)から入力された水平方向の補正量と垂直方向の補正量から整数成分を抽出する。そして、シフト処理部91(91a、91b、91c)は、図5(a)に示すように、対象となる画素をこの整数成分の量だけ移動させた画素を特定する。ここで、水平方向にx画素、垂直方向にyラインの位置にある画素Px,yの水平方向の補正量の整数成分をΔX、垂直方向の補正量の整数成分をΔYとすると、この整数成分ΔX、ΔYによって示される画素Px',y'の位置は、(x’,y’)=(x+ΔX、y+ΔY)となる。
【0062】
2次元フィルタ部92(92a、92b、92c)は、補正量算出手段8(8a、8b、8c)から入力される補正量の小数成分を抽出し、この小数成分の値に基づいてシフト処理部91(91a、91b、91c)によってシフト処理された画素の画素値を算出するものである。具体的には、2次元フィルタ部92(92a、92b、92c)は、シフト処理部91(91a、91b、91c)によって整数成分の量だけシフト処理された画素Px',y'の画素値を算出する。つまり、2次元フィルタ部92(92a、92b、92c)は、補正量の小数成分を抽出し、補正量の整数成分の量だけシフト処理された画素を、この小数成分の量だけ更に移動させた際の、当該画素の画素値を算出する。ここで、図5(b)に示すように、2次元フィルタ部92(92a、92b、92c)によって抽出された水平方向および垂直方向の補正量の小数成分をそれぞれf1、f2(1画素の横および縦の大きさを1とする)とし、当該画素とこの画素の上、左、左上に隣接する画素の画素値をそれぞれGa、Gb、Gc、Gdとする。この場合、2次元フィルタ部92(92a、92b、92c)は、画素Px',y'の画素値Gx',y'を、以下の式(3)によって算出する。
【0063】
Gx',y'=a・Ga+b・Gb+c・Gc+d・Gd ・・・式(3)
a=(1−f1)・(1−f2)
b=(1−f1)・f2
c=f1・(1−f2)
d=f1・f2
【0064】
そして、2次元フィルタ部92(92a、92b、92c)は、この画素値Gx',y'を、信号記憶手段10(10a、10b、10c)における、シフト処理部91(91a、91b、91c)によってシフト処理された画素の位置を示すアドレスに書き込む。
【0065】
図1に戻って説明を続ける。
信号記憶手段10(10a、10b,10c)は、倍率色収差による色ずれおよび映像の歪を補正した映像信号の画素値を記憶するものであり、半導体メモリ等の一般的な記憶手段である。ここでは、信号記憶手段10aは、収差補正手段9aによって補正されたG信号の画素値を記憶する。また、信号記憶手段10bは、収差補正手段9bによって補正されたB信号の画素値を記憶する。さらに、信号記憶手段10cは、収差補正手段9cによって補正されたR信号の画素値を記憶する。
【0066】
信号出力手段11(11a、11b、11c)は、信号記憶手段10(10a、10b,10c)に記憶された画素値を読み出し、倍率色収差を補正した映像信号として出力するものである。ここで、信号出力手段11aは、信号記憶手段10aに記憶されたG信号の画素値を読み出して、補正G信号として出力する。また、信号出力手段11bは、信号記憶手段10bに記憶されたB信号の画素値を読み出して、補正B信号として出力する。さらに、信号出力手段11cは、信号記憶手段10cに記憶されたR信号の画素値を読み出して、補正R信号として出力する。
【0067】
[倍率色収差補正装置の動作]
図6〜図9を参照して、倍率色収差・像歪補正装置1が補正データを生成する動作、補正データを間引く動作、および、映像を補正する動作を順に説明する(適宜図1参照)。
【0068】
<補正データの生成動作>
図6に示すように、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力された基準信号(G信号、B信号又はR信号)が示す映像から、特徴点を抽出する(ステップS1)。そして、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力された比較信号(無歪み理想信号又は処理済G信号)が示す映像から、特徴点を抽出する(ステップS2)。
【0069】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、基準信号の特徴点と比較信号の特徴点との間で対応点を探索する(ステップS3)。そして、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、この対応点に基づいて収差量を算出する(ステップS4)。
【0070】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、この収差量を全画面分算出したか否かを判定する(ステップS5)。ここで、収差量を全画面分算出した場合(ステップS5でYes)、倍率色収差・像歪補正装置1は、ステップS6の処理に進む。一方、収差量を全画面分算出していない場合(ステップS5でNo)、倍率色収差・像歪補正装置1は、ステップS3の処理に戻る。
【0071】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力されたレンズパラメータに収差量を対応付けて補正データを生成し、この補正データを補正データ間引き手段3(3a、3b、3c)に出力する(ステップS6)。
なお、図6では、ステップS1、S2は、並列処理としたが、ステップS1、S2の順又はその逆順で直列処理としてもよい。
【0072】
<補正データの間引き動作>
以下、レンズパラメータがd種類、つまり、レンズパラメータが第1軸〜第d軸であることとして説明する。また、第d軸のレンズパラメータにおいて、測定点数をFdとする。
【0073】
図7に示すように、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第1軸について測定点数F1をカウントする(ステップS11)。
【0074】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第1軸について間引きする補正データプレーンを設定する(ステップS12)。つまり、補正データ間引き手段3は、レンズパラメータの第1軸について、ステップS12の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、F1−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第1軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0075】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d−1軸について測定点数Fd-1をカウントする(ステップS13)。
【0076】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d−1軸について間引きする補正データプレーンを設定する(ステップS14)。つまり、補正データ間引き手段3は、レンズパラメータの第d−1軸について、ステップS14の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、Fd-1−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d−1軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0077】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d軸について測定点数Fdをカウントする(ステップS15)。
【0078】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d軸について補正データプレーンを設定する(ステップS16)。つまり、補正データ間引き手段3は、レンズパラメータの第d軸について、ステップS16の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、Fd−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0079】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、ステップS12、ステップS14およびステップS16で設定した補正データプレーンから、間引き候補となる補正データプレーンを選択する(ステップS17)。ここで、補正データプレーンを1個間引く場合、補正データ間引き手段3は、ステップS17の処理を行う毎に、レンズパラメータの第d軸、第d−1軸、・・・、第1軸の順で、mの値をインクリメントする。また、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d軸、第d−1軸、・・・、第1軸の順で、ステップS12、ステップS14およびステップS16で設定した補正データプレーンの組合せごとに選択する。
【0080】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、間引き候補となる補正データプレーンの評価値候補Ev_tempを算出する(ステップS18)。つまり、補正データ間引き手段3は、間引き候補となる補正データプレーンを補正量算出手段8と同じ補間手法で補間し、補間後補正データプレーンとする。そして、補正データ間引き手段3は、全ての画素について、補正データプレーンと間引き候補の補正データプレーンとの収差量の差分を算出する。さらに、補正データ間引き手段3は、全ての画素のうち、この差分が最大となるものを評価値候補Ev_tempとして算出する。
【0081】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、全ての補正データプレーンを評価したか否か、つまり、全ての補正データプレーンについて、評価値候補Ev_tempを算出したか否かを判定する(ステップS19)。ここで、全ての評価した場合(ステップS19でYes)、倍率色収差・像歪補正装置1は、ステップS20の処理に進む。一方、全て評価していない場合(ステップS19でNo)、倍率色収差・像歪補正装置1は、ステップS17の処理に戻る。
【0082】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、評価値EVと、総プレーン数=F1*F2*・・・*Fdと、減プレーン番号DP(F1、F2、・・・Fd)とを算出する(ステップS20)。このとき、補正データ間引き手段3は、評価値候補Ev_tempの最小値を評価値EVとして算出する。また、補正データ間引き手段3は、評価値候補Ev_tempの平均値を評価値EVとして算出してもよい。
【0083】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fdを「1」減算する(ステップS21)。
【0084】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fdが「2」未満であるか否かを判定する(ステップS22)。ここで、測定点数Fdが「2」未満である場合(ステップS22でYes)、倍率色収差・像歪補正装置1は、ステップS23の処理に進む。一方、測定点数Fdが「2」未満でない場合(ステップS22でNo)、倍率色収差・像歪補正装置1は、ステップS16の処理に戻る。
【0085】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fd-1を「1」減算する(ステップS23)。
【0086】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fd-1が「2」未満であるか否かを判定する(ステップS24)。ここで、測定点数Fd-1が「2」未満である場合(ステップS24でYes)、倍率色収差・像歪補正装置1は、ステップS25の処理に進む。一方、測定点数Fd-1が「2」未満でない場合(ステップS24でNo)、倍率色収差・像歪補正装置1は、ステップS14の処理に戻る。
【0087】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数F1を「1」減算する(ステップS25)。
【0088】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数F1が「2」未満であるか否かを判定する(ステップS26)。ここで、測定点数F1が「2」未満である場合(ステップS26でYes)、倍率色収差・像歪補正装置1は、ステップS23の処理に進む。一方、測定点数F1が「2」未満でない場合(ステップS26でNo)、倍率色収差・像歪補正装置1は、ステップS12の処理に戻る。
【0089】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、評価値EVと、減プレーン番号DPと、総プレーン数とを出力する(ステップS27)。
また、補正データ間引き手段3は、例えば、補正データ記憶手段6の記憶容量を補正データプレーン1つあたりの容量で除算した値に基づいて記憶数を算出し、この総プレーン数が記憶数以下となるように間引きする(ステップS28)。このとき、補正データ間引き手段3は、この評価値EVが最大色ずれ量の許容値以下で、かつ、間引きする補正データプレーンの数が最大となるように記憶数を算出し、この記憶数以下となるように間引きしてもよい。
【0090】
以上のように、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータを複数の種類としたときでも補正データを間引きすることができる。例えば、図8に示すように、第1軸(奥行き方向)のレンズパラメータをズームとし、第2軸(水平方向)のレンズパラメータをアイリスとし、第3軸(垂直方向)のレンズパラメータをフォーカスとした場合でも、倍率色収差・像歪補正装置1は、この補正データを間引きすることができる。
【0091】
<映像の補正動作>
図9に示すように、倍率色収差・像歪補正装置1は、信号入力手段4によって、G信号、R信号およびB信号を入力する。また、倍率色収差・像歪補正装置1は、レンズパラメータ入力手段5によって、撮影レンズパラメータを入力する(信号・レンズパラメータ入力ステップ:ステップS101)。
【0092】
また、倍率色収差・像歪補正装置1は、補正データ選定手段7によって、レンズパラメータ入力手段5に入力されたレンズパラメータに基づいて、補正データ記憶手段6に記憶された補正データを選定する(補正データ選定ステップ:ステップS102)。ここで、補正データ選定手段7は、補正データ記憶手段6に記憶された補正データのうち、入力されたレンズパラメータの値を挟むレンズパラメータの補正データを選定する。
【0093】
また、倍率色収差・像歪補正装置1は、補正量算出手段8によって、補正データ選定手段7が選定した補正データに基づいて、G信号、R信号およびB信号の画素の補正量を算出する(補正量算出ステップ:ステップS103)。ここで、補正量算出手段8は、複数の補正データの各々から当該画素に対応する収差量から、入力されたレンズパラメータにおける補正量を線形補間又はスプライン補間によって算出する。
【0094】
また、倍率色収差・像歪補正装置1は、収差補正手段9によって、補正量算出手段8が算出した補正量に基づいて、レンズパラメータ入力手段5に入力されたG信号、B信号およびR信号の倍率色収差による色ずれおよび映像の歪を補正し、信号記憶手段10に記憶する(収差補正ステップ:ステップS104)。ここでは、倍率色収差・像歪補正装置1は、シフト処理部71によって、補正量算出手段8が算出した補正量から整数成分を抽出して、この整数成分に基づいてシフト処理を行う。また、倍率色収差・像歪補正装置1は、2次元フィルタ部72によって、補正量算出手段8が算出した補正量から小数成分を抽出して、補正量の整数成分によってシフト処理された画素の画素値を算出する。そして、倍率色収差・像歪補正装置1は、2次元フィルタ部72によって、信号記憶手段10に、シフト処理された画素を示すアドレスに画素値を書き込む。以上のように、倍率色収差・像歪補正装置1は、G信号、B信号およびR信号について、画素ごとに画素値を補正することができる。
【0095】
そして、ステップS101に戻り、倍率色収差・像歪補正装置1は、G信号、B信号およびB信号の次の画素の画素値を入力するとともに、この画素に対応するレンズパラメータを入力するステップS101の処理を繰り返し行う。
【0096】
さらに、倍率色収差・像歪補正装置1は、信号出力手段11によって、信号記憶手段10に記憶されたG信号、B信号およびR信号の画素値を各々読み出して補正G信号、補正R信号および補正B信号として出力する(信号出力ステップ、不図示)。
【0097】
以上のように、本実施形態に係る倍率色収差・像歪補正装置1は、補正データ記憶手段6に倍率色収差による色ずれおよび映像の歪を考慮した補正データを記憶するため、カメラが撮影した映像において、倍率色収差による色ずれおよび映像の歪を補正することができる。倍率色収差・像歪補正装置1は、補正データ記憶手段6に適切な数の補正データを記憶するので、補正データ記憶手段6に記憶する補正データの数が多すぎることや少なすぎることがない。これによって、倍率色収差・像歪補正装置1は、その補正データを用いて算出した補正量が映像の実際のずれ量と近いものとなり、正確な補正を可能とすると共に、補正データ記憶手段6の記憶容量を節約して、倍率色収差・像歪補正装置1の構成を簡易にできる。
【0098】
なお、倍率色収差・像歪補正装置1は、一般的なコンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、倍率色収差・像歪補正プログラムとして動作させることも可能である。
【0099】
なお、倍率色収差による色ずれおよび映像の歪の両方を補正することとして説明したが、倍率色収差・像歪補正装置1は、倍率色収差による色ずれおよび映像の歪の何れか一方だけを補正することもできる。
例えば、緑色(第1原色)と、赤色および青色(第2原色および第3原色)とを一致させる処理として考える。この場合、補正データを、緑色(第1原色)について“0”(つまり、補正なし)とし、赤色および青色(第2原色および第3原色)については、緑色(第1原色)の光に対する収差量を示すものとして補正データ記憶手段6(6a、6b、6c)に記憶する。これによって、倍率色収差・像歪補正装置1は、倍率色収差による色ずれのみを補正することができる。各原色の撮影素子を備えない単板式のカメラは、撮影素子の回転およびあおりが発生しないために映像の歪の影響が少ない。従って、倍率色収差・像歪補正装置1は、単板式のカメラに適用することが好ましい。
また、例えば、倍率色収差・像歪補正装置1は、映像の歪みだけを考慮した補正データを補正データ記憶手段6(6a、6b、6c)に記憶することにより、映像の歪だけを補正することもできる。
【符号の説明】
【0100】
1 倍率色収差・像歪補正装置
2 補正データ生成手段
3 補正データ間引き手段
4 信号入力手段
5 レンズパラメータ入力手段
6 補正データ記憶手段
7 補正データ選定手段
8 補正量算出手段
9 収差補正手段(補正手段)
10 信号記憶手段
11 信号出力手段
【技術分野】
【0001】
本発明は、レンズの色収差(倍率色収差)による映像の色のずれ(にじみ)と、映像の歪とを補正する倍率色収差・像歪補正装置およびそのプログラムに関する。
【背景技術】
【0002】
一般に、映像を撮影する撮影装置(カメラ)のレンズは、光の周波数によって屈折率が異なり、波長の長い光と波長の短い光とで結像する位置にずれが生じるため、レンズを介して撮影された映像にはにじみが生じる。そして、赤(R)、緑(G)、青(B)の三原色からなる映像では、緑に比べて波長の長い赤と、波長の短い青とが互いに異なる方向にずれるため、例えば、黒と白との境界においては、赤あるいは青のにじみが発生する。
【0003】
そこで、この倍率色収差による、緑に対する赤、青の光の結像位置のずれの量を各画素について予め求めておき、撮影された映像の赤と青の原色信号についてずれを補正することで、倍率色収差による映像のにじみを補正する技術が開示されている(特許文献1参照)。また、輝度信号と色差信号を赤、緑、青の原色信号に変換し、レンズの歪曲収差によるひずみと、倍率色収差によるにじみとを補正する技術が開示されている(特許文献2参照)。
【0004】
これら特許文献1および特許文献2に記載の発明は、ズーム、フォーカスおよびアイリス等のレンズパラメータが一定である場合には実現できる。一方、カメラでテレビ番組等の映像(動画)を撮影する場合には、一般的にレンズパラメータを様々に変化させて行うことが多い。この場合、特許文献1および特許文献2に記載の発明は、レンズパラメータの変化に対応する、結像位置のずれの量を示すデータを予め用意しようとすると、このデータの取得が困難であるうえに、膨大な量のデータを記憶する必要が生じ、現実的ではない。
【0005】
そこで、この問題点を解決すべく、例えば、特許文献3に記載の発明が提案されている。この特許文献3に記載の発明は、レンズパラメータを様々な値に変化させて撮影した場合でも、このレンズパラメータに基づいて、倍率色収差による映像のにじみを除去するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平6−292207号公報(段落番号0012〜0030、図1〜5)
【特許文献2】特開2000−3437号公報(段落番号0033〜0070、図3〜7)
【特許文献3】特開2006−135805号公報(段落番号0022〜0052、図1〜4)
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、特許文献3に記載の発明は、記憶手段に記憶する補正データの数について、適切な基準が示されていない。このため、特許文献3に記載の発明は、補正データの数が多すぎると、大容量の記憶手段が必要になる。その一方、特許文献3に記載の発明は、補正データの数が少なすぎると、適切な補正データの選定が難しく、その補正データを用いて算出した補正量が映像の実際のずれ量と大きく異なるものとなり、補正を正確に行うことができない。
【0008】
そこで、本発明は、前記した問題を解決し、簡易な構成で正確な補正が可能な倍率色収差・像歪補正装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0009】
前記した課題を解決するため、本願第1発明に係る倍率色収差・像歪補正装置は、映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正する倍率色収差・像歪補正装置であって、補正データ記憶手段と、補正データ間引き手段と、信号入力手段と、レンズパラメータ入力手段と、補正データ選定手段と、補正量算出手段と、補正手段と、信号出力手段とを備えることを特徴とする。
【0010】
かかる構成によれば、倍率色収差・像歪補正装置は、補正データ記憶手段によって、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する。また、倍率色収差・像歪補正装置は、補正データ間引き手段によって、前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む。
これによって、倍率色収差・像歪補正装置は、補正データ記憶手段に適切な数の補正データを記憶することができる。なお、倍率色収差・像歪補正装置は、映像の補正を行う前に、異なるレンズパラメータの値についての補正データを補正データ記憶手段に記憶しておくことが好ましい。
【0011】
また、倍率色収差・像歪補正装置は、信号入力手段によって、前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する。また、倍率色収差・像歪補正装置は、レンズパラメータ入力手段によって、この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力する。そして、倍率色収差・像歪補正装置は、補正データ選定手段によって、前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する。ここで、倍率色収差・像歪補正装置は、補正データ記憶手段に記憶された補正データのうち、撮影レンズパラメータの値より大きい値を有するレンズパラメータの補正データと、小さい値を有するレンズパラメータの補正データとを選定する。
【0012】
また、倍率色収差・像歪補正装置は、補正量算出手段によって、この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する。そして、倍率色収差・像歪補正装置は、補正手段によって、この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する。さらに、倍率色収差・像歪補正装置は、信号出力手段によって、前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する。
【0013】
また、本願第2発明に係る倍率色収差・像歪補正装置は、前記補正データ間引き手段が、前記補正データ記憶手段の記憶容量を前記補正データ1つあたりの容量で除算した値に基づいて、前記記憶数を算出することを特徴とする。
かかる構成によれば、倍率色収差・像歪補正装置は、多量の補正データが入力された場合でも、補正データ記憶手段の記憶容量を超えないように補正データを間引きすることができる。
【0014】
また、本願第3発明に係る倍率色収差・像歪補正装置は、前記補正データ間引き手段が、前記レンズパラメータの値および前記画素ごとに間引き候補の補正データと当該補正データを補間した補間後補正データとの前記収差量の差分を算出し、前記レンズパラメータの値ごとに前記差分の最大値又は平均値を前記評価値として算出し、前記評価値が予め設定された閾値以下で、かつ、前記間引き候補の補正データの最大数を前記記憶数として算出することを特徴とする。
【0015】
ここで、補正データの間引き数を多くするほど、補正データ記憶手段の記憶容量を節約できる。その一方、間引きした補正データを補間すると、間引き前の補正データ(つまり、生成した補正データ)に対する誤差が大きくなると考えられる。このため、倍率色収差・像歪補正装置は、補正量算出手段と同様の手法で、間引き候補となるレンズパラメータの補正データから補間後補正データを補間する。そして、倍率色収差・像歪補正装置は、補間後補正データの誤差を示す評価値を、補正データと補間後補正データとの収差量の差分により算出する。さらに、倍率色収差・像歪補正装置は、補間後補正データの誤差(評価値)が許容範囲内で、かつ、補正データ記憶手段の記憶容量を最も節約できるように記憶数を算出する。
【0016】
また、前記した課題を解決するため、本願第4発明に係る倍率色収差・像歪補正プログラムは、映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するために、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段を備えるコンピュータを、補正データ間引き手段、信号入力手段、レンズパラメータ入力手段、補正データ選定手段、補正量算出手段、補正手段、信号出力手段、として機能させることを特徴とする。
【0017】
かかる構成によれば、倍率色収差・像歪補正プログラムは、補正データ間引き手段によって、前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む。
これによって、倍率色収差・像歪補正プログラムは、補正データ記憶手段に適切な数の補正データを記憶することができる。なお、倍率色収差・像歪補正プログラムを実行するコンピュータは、映像の補正を行う前に、異なるレンズパラメータの値についての補正データを補正データ記憶手段に記憶しておくことが好ましい。
【0018】
また、倍率色収差・像歪補正プログラムは、信号入力手段によって、前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する。また、倍率色収差・像歪補正プログラムは、レンズパラメータ入力手段によって、この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力する。そして、倍率色収差・像歪補正プログラムは、補正データ選定手段によって、前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する。ここで、倍率色収差・像歪補正プログラムは、補正データ記憶手段に記憶された補正データのうち、撮影レンズパラメータの値より大きい値を有するレンズパラメータの補正データと、小さい値を有するレンズパラメータの補正データとを選定する。
【0019】
また、倍率色収差・像歪補正プログラムは、補正量算出手段によって、この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する。そして、倍率色収差・像歪補正プログラムは、補正手段によって、この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する。さらに、倍率色収差・像歪補正プログラムは、信号出力手段によって、前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する。
【発明の効果】
【0020】
本発明は、以下のような優れた効果を奏する。
本願第1,4発明は、補正データ記憶手段に適切な数の補正データを記憶するので、補正データ記憶手段に記憶する補正データの数が多すぎることや少なすぎることがない。これによって、本願第1,4発明は、正確な補正を可能とすると共に、補正データ記憶手段の記憶容量を節約して、倍率色収差・像歪補正装置の構成を簡易にできる。
【0021】
本願第2発明は、多量の補正データが入力された場合でも、補正データ記憶手段の記憶容量を超えないように補正データを間引きすることができ、大規模な補正データ記憶手段を必要とせずに、倍率色収差・像歪補正装置の構成をより簡易にできる。
【0022】
本願第3発明は、補間後補正データの誤差が許容範囲内で、かつ、補正データ記憶手段の記憶容量を最も節約できる記憶数を算出するので、倍率色収差・像歪補正装置の構成を簡易にすると共に、映像の正確な補正を可能とする。
【図面の簡単な説明】
【0023】
【図1】本発明の実施形態に係る倍率色収差・像歪補正装置の構成を示したブロック図である。
【図2】図1の補正データ生成手段が生成した補正データの例を説明するための説明図である。
【図3】図1の補正データ間引き手段が間引いた補正データの例を説明するための説明図である。
【図4】図1の補正データ間引き手段による収差量の差分を算出する例を説明するための説明図である。
【図5】図1の収差補正手段が、補正量に基づいてある画素をずらして、画素値を算出する方法を説明するための説明図であり、(a)はシフト処理部の処理を説明する図であり、(b)は2次元フィルタ部の処理を説明する図である。
【図6】図1の補正データ生成手段が補正データを生成する動作を示したフローチャートである。
【図7】図1の補正データ間引き手段が補正データを間引きする動作を示したフローチャートである。
【図8】本発明の実施形態において、ズーム、フォーカスおよびアイリスをレンズパラメータとする例を説明するための説明図である。
【図9】図1の倍率色収差補正装置が映像を補正する動作を示したフローチャートである。
【発明を実施するための形態】
【0024】
(発明の概略)
以下、図1を参照し、本発明の概略について簡単に説明する。
倍率色収差・像歪補正装置1は、後記する補正データを用いて、映像における倍率色収差による色ずれ、および、樽形状、逆樽形状等の映像の歪を補正するものである。ここで、倍率色収差・像歪補正装置1は、図1の破線内の各手段により、映像の補正を行う前に異なるレンズパラメータの値についての補正データを補正データ記憶手段6に記憶しておく必要がある。このため、倍率色収差・像歪補正装置1は、図示を省略したカメラのレンズのレンズパラメータを変化させながら所定のパターンを撮影し、倍率色収差による色のずれおよび映像の歪を測定して補正データを生成する。そして、倍率色収差・像歪補正装置1は、生成した補正データを間引いてから補正データ記憶手段6に記憶する。その後、倍率色収差・像歪補正装置1は、補正データ記憶手段6に記憶した補正データを用いて、入力された映像を実際に補正する。
【0025】
カメラは、その種類が特に制限されるものでないが、ここでは、プリズム等の分光手段と、3原色毎の撮影素子とを備える3板式の放送番組撮影カメラとして説明する。つまり、カメラは、放送番組を撮影した映像を倍率色収差・像歪補正装置1(信号入力手段4)に出力する。
【0026】
(実施形態)
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
図1に示すように、倍率色収差・像歪補正装置1は、補正データ生成手段2と、補正データ間引き手段3と、信号入力手段4と、レンズパラメータ入力手段5と、補正データ記憶手段6と、補正データ選定手段7と、補正量算出手段8と、収差補正手段(補正手段)9と、信号記憶手段10と、信号出力手段11とを備える。
【0027】
補正データ生成手段2(2a、2b、2c)は、例えば、基準信号(G信号、B信号又はR信号)と、比較信号(無歪み理想信号又は処理済G信号)と、レンズパラメータとが入力される。ここで、補正データ生成手段2aは、基準信号としてG信号が入力され、比較信号として無歪み理想信号が入力される。また、補正データ生成手段2bは、基準信号としてB信号が入力され、比較信号として処理済G信号(無歪み化したG信号)が入力される。さらに、補正データ生成手段2cは、基準信号としてR信号が入力され、比較信号として処理済G信号(無歪み化したG信号)が入力される。
【0028】
そして、補正データ生成手段2(2a、2b、2c)は、入力された基準信号と、比較信号と、レンズパラメータとを用いて補正データを生成する。さらに、補正データ生成手段2(2a、2b、2c)は、生成した補正データを、補正データ間引き手段3(3a、3b、3c)に出力する。
【0029】
ここで、レンズパラメータとは、カメラのレンズのズーム、フォーカス、アイリス等である。ここで、補正データ生成手段2(2a、2b、2c)は、ズーム、フォーカス、アイリスのうちの1つのレンズパラメータ、例えば、ズームのみを入力することとしてもよいし、複数の種類のレンズパラメータを入力することとしてもよい。ここでは、補正データ生成手段2(2a、2b、2c)は、レンズパラメータとしてズームのみを入力することとした。
【0030】
以下、図2を参照し、補正データ生成手段2(2a、2b、2c)が生成した補正データの一例について説明する(適宜図1参照)。
図2では、X軸をズーム(レンズパラメータ)とし、Y軸を画素の収差量(結像位置のずれの量および歪の量)とし、Z軸を画像中心からの距離(画素数)とした。つまり、補正データは、レンズパラメータの値と、G信号、B信号又はR信号の画素ごとの収差量とを対応させたものである。
【0031】
ここで、補正データ生成手段2(2a、2b、2c)は、ズームが連続的に変化するものの、補正データの生成に要する時間および補正データ記憶手段6(6a、6b、6c)の記憶容量の問題を考慮し、補正データを所定のサンプル間隔で生成する。
【0032】
以下の説明では、所定のサンプル間隔で生成した補正データの数(測定点数)をF1とする。つまり、測定点数F1の値は、2以上となる。
また、サンプルした補正データにおいて、ズームの最小値から数えてm番目のズームをz(m)とする。
また、このズームz(m)に対応する補正データを補正データプレーンab(m)とする。
この補正データプレーンとは、あるズーム(レンズパラメータ)の値に対応する1つの補正データのことである。図2の例では、ズーム値12ミリメートルの補正データが1つの補正データプレーンであり、ズーム値14ミリメートルの補正データも1つの補正データプレーンである。
【0033】
以下、図1に戻り、倍率色収差・像歪補正装置1の構成について説明を続ける。
補正データ間引き手段3(3a、3b、3c)は、補正データ生成手段2(2a、2b、2c)から補正データが複数入力されると共に、補正データ記憶手段6(6a、6b、6c)の記憶容量又は後記する評価値に基づいて補正データの記憶数を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、入力された補正データを記憶数以下に間引いてから補正データ記憶手段6(6a、6b、6c)に書き込む。
【0034】
以下、図3および図4を参照し、補正データ記憶手段6(6a、6b、6c)の記憶容量に基づく間引き手法と、評価値に基づく記憶数算出手法との2つの具体例を詳細に説明する(適宜図1参照)。
【0035】
<第1例:補正データ記憶手段の記憶容量に基づく間引き手法>
この第1例では、補正データ間引き手段3(3a、3b、3c)は、補正データ記憶手段6(6a、6b、6c)の記憶容量を補正データプレーン1つあたりの容量で除算した値に基づいて、補正データ記憶手段6(6a、6b、6c)に記憶可能な記憶数(補正データプレーンの数)を算出する。このとき、補正データ間引き手段3(3a、3b、3c)は、除算した値が小数点を有する場合、四捨五入又は切り捨を行ってもよい。
【0036】
ここで、例えば、補正データ記憶手段6(6a、6b、6c)の記憶容量は、補正データ記憶手段6(6a、6b、6c)の最大記憶容量を予め設定しておく。また、例えば、補正データプレーン1つあたりの容量は、予め設定してもよく、補正データ間引き手段3(3a、3b、3c)に入力された補正データプレーンの平均データ容量又は最大データ容量としてもよい。
【0037】
そして、補正データ間引き手段3(3a、3b、3c)は、算出した記憶数(補正データプレーンの数)の範囲内となるように、補正データを間引けばよい。ここで、補正データ間引き手段3(3a、3b、3c)は、ズームが最小値のとき(m=1)、および、ズームが最大値のとき(m=F1)の補正データプレーンを、間引かないこととする。また、補正データ間引き手段3(3a、3b、3c)は、これら最小値および最大値以外の補正データプレーンについて、どれを間引くか特に制限されないが、等間隔に補正データプレーンを間引くことが好ましい。
【0038】
図3の例では、補正データ間引き手段3(3a、3b、3c)が間引いた補正データプレーンを破線で図示した。つまり、図3の例では、補正データ間引き手段3(3a、3b、3c)は、ズームが14ミリメートルおよび16ミリメートルの補正データプレーンを間引いている。
【0039】
この第1例によれば、倍率色収差・像歪補正装置1は、多量の補正データが入力された場合でも、補正データ記憶手段6(6a、6b、6c)の記憶容量を超えないように補正データを間引きすることができる。従って、倍率色収差・像歪補正装置1は、大規模な補正データ記憶手段6(6a、6b、6c)を必要とせず、その構成を簡易にすることができる。
【0040】
<第2例:評価値に基づく間引き手法>
第2例では、第1例と同様、補正データ間引き手段3(3a、3b、3c)は、ズームが最小値のとき(m=1)、および、ズームが最大値のとき(m=F1)の補正データプレーンを、間引かないこととする。そこで、これら以外の補正データプレーンについて、F1から任意の補正データプレーンを1つ間引く場合について考える。このとき、間引き候補となる補正データプレーン数は、F1−2となる。
【0041】
この場合、補正データ間引き手段3(3a、3b、3c)は、線形補間、スプライン補間等、後記する補正量算出手段8(8a、8b、8c)と同じ補間手法で、間引き候補の補正データについて、補間値βを算出する。例えば、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンab(2)を間引きする場合、補正データプレーンab(1)および補正データプレーンab(3)の収差量から、間引き候補の補正データプレーンab(2)´の収差量を補間して算出する。
【0042】
例えば、図3において、ズームが14ミリメートルの補正データプレーンab(2)、および、ズームが16ミリメートルの補正データプレーンab(3)が間引き候補であるとする。この場合、補正データ間引き手段3(3a、3b、3c)は、図4に示すように、補正データプレーンab(2)の収差量の測定値β2と、間引き候補の補正データプレーンab(2)´の収差量の補間値β´2との差分を算出する。また、同様に、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンab(3)の収差量の測定値β3と、間引き候補の補正データプレーンab(3)´の収差量の補間値β´3との差分を算出する。
【0043】
なお、図4は、図3においてZ軸の値(画像中心からの距離)=αのとき、ズームが12ミリメートルから18ミリメートルまでの補正データプレーンを拡大し、Z軸方向から見たときの部分拡大図である。また、測定値とは、補正データ生成手段2(2a、2b、2c)が生成した補正データプレーンの収差量のことである。
【0044】
このとき、補正データ間引き手段3(3a、3b、3c)は、Z軸の値≠αを含めた全画素について、補正データプレーンと間引き候補の後補正データプレーンとの収差量の差分を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、全画素のうち、この収差量の差分が最大となるものを評価値候補とする。また、補正データ間引き手段3(3a、3b、3c)は、全画素について、この収差量の差分の平均値を評価値候補としてもよい。ここで、補正データプレーン数F1−1で2番目の補正データプレーン(m=2)を間引いた場合の評価値候補をEv_temp(F1−1,2)と表す。
【0045】
また、同様に、補正データ間引き手段3(3a、3b、3c)は、補正データプレーン数F1−1で3番目の補正データプレーン(m=3)を間引いた場合の評価値候補Ev_temp(F1−1,3)を算出する。そして、補正データ間引き手段3(3a、3b、3c)は、順次、補正データプレーン数F1−1でF1−1番目の補正データプレーン(m=F1−1)を間引いた場合の評価値候補Ev_temp(F1−1,F1−1)までを算出する。さらに、補正データ間引き手段3(3a、3b、3c)は、下記の式(1)に示すように、評価値候補Ev_temp(F1−1,2)〜Ev_temp(F1−1,F1−1)のなかで最小のものを、補正データプレーン数F1−1の評価値EV(F1−1)として算出する。さらに、補正データ間引き手段3(3a、3b、3c)は、このときの補正データプレーンの番号を減プレーン番号DP(F1−1)として算出する。
【0046】
EV(F1−1)=min(Ev_temp(F1−1、t))・・・式(1)
なお、式(1)において、2<t<F1−1とする。また、式(1)において、minは、最小値を求める関数である。
【0047】
さらに、補正データ間引き手段3(3a、3b、3c)は、補正データプレーンを2つ、3つ、・・・、F1−2個の補正データプレーンを間引いた場合まで、順次、評価値EV(F1−2)〜EV(2)と、減プレーン番号DP(F1−2)〜DP(2)とを算出する。
【0048】
さらに、補正データ間引き手段3(3a、3b、3c)は、評価値EV(F1−2)〜EV(2)が最大色ずれ量の許容値以下で、かつ、間引きする補正データプレーンの数が最大となるように記憶数(補正データプレーンの数)を算出する。なお、最大色ずれ量の許容値は、予め設定される閾値であり、例えば、文献「M.Kanazawa,et al.,“Color error from an RGB-stripe pixel structure,”Journal of the Society for Information Display Tenth Color Imaging Conference:Color Science and Engineering Systems,Technologies,Applications,vol.11,no.2,pp.387-393,2003」に記載されている。
【0049】
その後、補正データ間引き手段3(3a、3b、3c)は、算出した記憶数の範囲内で補正データプレーンを間引けばよい。なお、補正データ間引き手段3(3a、3b、3c)は、第1例と同様にどの補正データプレーンを間引くか特に制限されないが、等間隔に補正データプレーンを間引くことが好ましい。
【0050】
この第2例によれば、倍率色収差・像歪補正装置1は、補間後補正データの誤差(評価値)が許容範囲内で、かつ、補正データ記憶手段6(6a、6b、6c)の記憶容量を最も節約できる記憶数を算出する。従って、倍率色収差・像歪補正装置1は、補正データ記憶手段6(6a、6b、6c)の記憶容量の増加を抑えつつ、映像のずれを正確に補正することができる。
【0051】
ここで、倍率色収差・像歪補正装置1は、前記した第1例又は第2例の何れを用いるか、予め設定してもよい。例えば、補正データ記憶手段6(6a、6b、6c)を増設できない場合、又は、倍率色収差・像歪補正装置1を低コスト化したい場合、第1例の手法が好ましい。一方、映像の補正の正確性、つまり、映像の品質(画質)を重視する場合、第2例の手法が好ましい。
【0052】
以下、図1に戻り、倍率色収差・像歪補正装置1の構成について説明を続ける。
信号入力手段4(4a、4b、4c)は、3つの原色信号(G信号、B信号およびR信号)を外部から入力するものである。ここで、信号入力手段4aは、緑色画素(G画素)の明るさを示すG信号を入力して、収差補正手段9aに出力する。また、信号入力手段4bは、青色画素(B画素)の明るさを示すB信号を入力して、収差補正手段9bに出力する。さらに、信号入力手段4cは、赤色画素(R画素)の明るさを示すR信号を入力して、収差補正手段9cに出力する。
【0053】
レンズパラメータ入力手段5は、映像を撮影したカメラのレンズパラメータを外部から入力するものである。ここで、このレンズパラメータ入力手段5には、信号入力手段4(4a、4b、4c)に入力される映像信号の画素に対応するレンズパラメータ(撮影レンズパラメータ)が入力される。また、レンズパラメータ入力手段5は、入力された撮影レンズパラメータを、補正データ選定手段7(7a、7b、7c)と、補正量算出手段8(8a、8b、8c)とに出力する。なお、レンズパラメータ入力手段5は、補正データ生成手段2(2a、2b、2c)と同種のレンズパラメータを用いることとする。
【0054】
補正データ記憶手段6(6a、6b、6c)は、補正データ間引き手段3(3a、3b、3c)から補正データが書き込まれるものである。例えば、補正データ記憶手段6(6a、6b、6c)は、半導体メモリ、ハードディスク等の一般的な記憶手段である。
【0055】
補正データ選定手段7(7a、7b、7c)は、レンズパラメータ入力手段5から入力されたレンズパラメータに基づいて、補正データ記憶手段6(6a、6b、6c)に記憶された、当該レンズパラメータの値に近いレンズパラメータの補正データを選定するものである。具体的には、補正データ選定手段7(7a、7b、7c)は、レンズパラメータ入力手段5から入力されたズームの値より大きく、かつ、最も近い値の補正データと、入力されたズームの値より小さく、かつ、最も近い値の補正データの2つの補正データを選定する。そして、補正データ選定手段7(7a、7b、7c)は、選定した補正データを、補正量算出手段8(8a、8b、8c)に出力する。なお、レンズパラメータが2種類以上ある場合には、入力された各々のレンズパラメータの値を挟む補正データを選定することで、後記する補正量算出手段8において、補間によって補正量を算出することができる。
【0056】
補正量算出手段8(8a、8b、8c)は、レンズパラメータ入力手段5から入力されたレンズパラメータに基づいて、信号入力手段4(4a、4b、4c)から入力された原色信号の各々の画素について、倍率色収差による色ずれ量および映像の歪の量を示す補正量を算出するものである。そして、補正量算出手段8(8a、8b、8c)は、算出した補正量を、収差補正手段9(9a、9b、9c)に出力する。
【0057】
具体的には、補正量算出手段8(8a、8b、8c)は、補正データ選定手段7(7a、7b、7c)から1つ以上の補正データが入力され、この補正データに基づいて、レンズパラメータ入力手段5から入力された撮影レンズパラメータにおける補正量を補間によって算出する。ここでは、補正量算出手段8は、補正データ選定手段7(7a、7b、7c)から2つの補正データが入力され、線形補間によって補正量を算出することとした。このとき、水平方向の補正量X0と垂直方向の補正量Y0は、以下の式(2)によって求められる。
【0058】
X0=XA+(XB−XA)(Z0―ZA)/(ZB−ZA)
Y0=YA+(YB−YA)(Z0―ZA)/(ZB−ZA)・・・式(2)
式(2)において、レンズパラメータ入力手段5から入力されたズーム(撮影レンズパラメータ)の値をZ0、補正データ選定手段7から入力された2つの補正データのズーム、水平移動量、垂直移動量をそれぞれZA、ZB、XA、XB、YA、YBとする。
【0059】
ここでは、撮影レンズパラメータとしてズームのみが入力される場合について説明したが、これに限定されない。つまり、補正量算出手段8(8a、8b、8c)は、2種類以上の撮影レンズパラメータが入力される場合についても同様に、補正データ選定手段7(7a、7b、7c)から入力されたレンズパラメータの補正データに基づいて、線形補間、スプライン補間等の補間処理によって補正量を算出することができる。
【0060】
収差補正手段9(9a、9b、9c)は、補正量算出手段8(8a、8b、8c)から入力される補正量に基づいて、信号入力手段4(4a、4b、4c)から入力されたG信号、B信号およびR信号における、倍率色収差による色ずれおよび映像の歪を補正するものである。ここで、収差補正手段9aは、信号入力手段4aから入力されたG信号を補正して、補正したG信号の画素値を、信号記憶手段10aの補正された画素の位置を示すアドレスに書き込む。また、収差補正手段9bは、信号入力手段4bから入力されたB信号を補正して、補正したB信号の画素値を、信号記憶手段10bの補正された画素の位置を示すアドレスに書き込む。さらに、収差補正手段9cは、信号入力手段4cから入力されたR信号を補正して、補正したR信号の画素値を、信号記憶手段10cの補正された画素の位置を示すアドレスに書き込む。このため、収差補正手段9(9a、9b、9c)は、シフト処理部91(91a、91b、91c)と、2次元フィルタ部92(92a、92b、92c)とを備える。
【0061】
ここで、図5を参照して、収差補正手段9(9a、9b、9c)によって、色ずれおよび映像の歪を補正した各画素の画素値を算出する方法について説明する。
シフト処理部91(91a、91b、91c)は、補正量算出手段8(8a、8b、8c)から入力される補正量の整数成分を抽出し、この整数成分の値に基づいて信号入力手段4(4a、4b、4c)から入力されたG信号、B信号およびR信号をシフト処理するものである。具体的には、シフト処理部91(91a、91b、91c)は、各々の画素について、補正量算出手段8(8a、8b、8c)から入力された水平方向の補正量と垂直方向の補正量から整数成分を抽出する。そして、シフト処理部91(91a、91b、91c)は、図5(a)に示すように、対象となる画素をこの整数成分の量だけ移動させた画素を特定する。ここで、水平方向にx画素、垂直方向にyラインの位置にある画素Px,yの水平方向の補正量の整数成分をΔX、垂直方向の補正量の整数成分をΔYとすると、この整数成分ΔX、ΔYによって示される画素Px',y'の位置は、(x’,y’)=(x+ΔX、y+ΔY)となる。
【0062】
2次元フィルタ部92(92a、92b、92c)は、補正量算出手段8(8a、8b、8c)から入力される補正量の小数成分を抽出し、この小数成分の値に基づいてシフト処理部91(91a、91b、91c)によってシフト処理された画素の画素値を算出するものである。具体的には、2次元フィルタ部92(92a、92b、92c)は、シフト処理部91(91a、91b、91c)によって整数成分の量だけシフト処理された画素Px',y'の画素値を算出する。つまり、2次元フィルタ部92(92a、92b、92c)は、補正量の小数成分を抽出し、補正量の整数成分の量だけシフト処理された画素を、この小数成分の量だけ更に移動させた際の、当該画素の画素値を算出する。ここで、図5(b)に示すように、2次元フィルタ部92(92a、92b、92c)によって抽出された水平方向および垂直方向の補正量の小数成分をそれぞれf1、f2(1画素の横および縦の大きさを1とする)とし、当該画素とこの画素の上、左、左上に隣接する画素の画素値をそれぞれGa、Gb、Gc、Gdとする。この場合、2次元フィルタ部92(92a、92b、92c)は、画素Px',y'の画素値Gx',y'を、以下の式(3)によって算出する。
【0063】
Gx',y'=a・Ga+b・Gb+c・Gc+d・Gd ・・・式(3)
a=(1−f1)・(1−f2)
b=(1−f1)・f2
c=f1・(1−f2)
d=f1・f2
【0064】
そして、2次元フィルタ部92(92a、92b、92c)は、この画素値Gx',y'を、信号記憶手段10(10a、10b、10c)における、シフト処理部91(91a、91b、91c)によってシフト処理された画素の位置を示すアドレスに書き込む。
【0065】
図1に戻って説明を続ける。
信号記憶手段10(10a、10b,10c)は、倍率色収差による色ずれおよび映像の歪を補正した映像信号の画素値を記憶するものであり、半導体メモリ等の一般的な記憶手段である。ここでは、信号記憶手段10aは、収差補正手段9aによって補正されたG信号の画素値を記憶する。また、信号記憶手段10bは、収差補正手段9bによって補正されたB信号の画素値を記憶する。さらに、信号記憶手段10cは、収差補正手段9cによって補正されたR信号の画素値を記憶する。
【0066】
信号出力手段11(11a、11b、11c)は、信号記憶手段10(10a、10b,10c)に記憶された画素値を読み出し、倍率色収差を補正した映像信号として出力するものである。ここで、信号出力手段11aは、信号記憶手段10aに記憶されたG信号の画素値を読み出して、補正G信号として出力する。また、信号出力手段11bは、信号記憶手段10bに記憶されたB信号の画素値を読み出して、補正B信号として出力する。さらに、信号出力手段11cは、信号記憶手段10cに記憶されたR信号の画素値を読み出して、補正R信号として出力する。
【0067】
[倍率色収差補正装置の動作]
図6〜図9を参照して、倍率色収差・像歪補正装置1が補正データを生成する動作、補正データを間引く動作、および、映像を補正する動作を順に説明する(適宜図1参照)。
【0068】
<補正データの生成動作>
図6に示すように、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力された基準信号(G信号、B信号又はR信号)が示す映像から、特徴点を抽出する(ステップS1)。そして、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力された比較信号(無歪み理想信号又は処理済G信号)が示す映像から、特徴点を抽出する(ステップS2)。
【0069】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、基準信号の特徴点と比較信号の特徴点との間で対応点を探索する(ステップS3)。そして、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、この対応点に基づいて収差量を算出する(ステップS4)。
【0070】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、この収差量を全画面分算出したか否かを判定する(ステップS5)。ここで、収差量を全画面分算出した場合(ステップS5でYes)、倍率色収差・像歪補正装置1は、ステップS6の処理に進む。一方、収差量を全画面分算出していない場合(ステップS5でNo)、倍率色収差・像歪補正装置1は、ステップS3の処理に戻る。
【0071】
また、倍率色収差・像歪補正装置1は、補正データ生成手段2によって、入力されたレンズパラメータに収差量を対応付けて補正データを生成し、この補正データを補正データ間引き手段3(3a、3b、3c)に出力する(ステップS6)。
なお、図6では、ステップS1、S2は、並列処理としたが、ステップS1、S2の順又はその逆順で直列処理としてもよい。
【0072】
<補正データの間引き動作>
以下、レンズパラメータがd種類、つまり、レンズパラメータが第1軸〜第d軸であることとして説明する。また、第d軸のレンズパラメータにおいて、測定点数をFdとする。
【0073】
図7に示すように、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第1軸について測定点数F1をカウントする(ステップS11)。
【0074】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第1軸について間引きする補正データプレーンを設定する(ステップS12)。つまり、補正データ間引き手段3は、レンズパラメータの第1軸について、ステップS12の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、F1−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第1軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0075】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d−1軸について測定点数Fd-1をカウントする(ステップS13)。
【0076】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d−1軸について間引きする補正データプレーンを設定する(ステップS14)。つまり、補正データ間引き手段3は、レンズパラメータの第d−1軸について、ステップS14の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、Fd-1−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d−1軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0077】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d軸について測定点数Fdをカウントする(ステップS15)。
【0078】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータの第d軸について補正データプレーンを設定する(ステップS16)。つまり、補正データ間引き手段3は、レンズパラメータの第d軸について、ステップS16の処理を行う毎に、順次、補正データプレーンを1個間引く場合、2個間引く場合、3個間引く場合、・・・、Fd−2個間引く場合というように、間引きする補正データプレーンの数を設定する。ここで、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d軸全体から、間引する2個以上の補正データプレーンの全組合せも設定する。さらに、補正データ間引き手段3は、どの補正データプレーンを間引くかも設定する。
【0079】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、ステップS12、ステップS14およびステップS16で設定した補正データプレーンから、間引き候補となる補正データプレーンを選択する(ステップS17)。ここで、補正データプレーンを1個間引く場合、補正データ間引き手段3は、ステップS17の処理を行う毎に、レンズパラメータの第d軸、第d−1軸、・・・、第1軸の順で、mの値をインクリメントする。また、補正データプレーンを2個以上間引く場合、補正データ間引き手段3は、レンズパラメータの第d軸、第d−1軸、・・・、第1軸の順で、ステップS12、ステップS14およびステップS16で設定した補正データプレーンの組合せごとに選択する。
【0080】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、間引き候補となる補正データプレーンの評価値候補Ev_tempを算出する(ステップS18)。つまり、補正データ間引き手段3は、間引き候補となる補正データプレーンを補正量算出手段8と同じ補間手法で補間し、補間後補正データプレーンとする。そして、補正データ間引き手段3は、全ての画素について、補正データプレーンと間引き候補の補正データプレーンとの収差量の差分を算出する。さらに、補正データ間引き手段3は、全ての画素のうち、この差分が最大となるものを評価値候補Ev_tempとして算出する。
【0081】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、全ての補正データプレーンを評価したか否か、つまり、全ての補正データプレーンについて、評価値候補Ev_tempを算出したか否かを判定する(ステップS19)。ここで、全ての評価した場合(ステップS19でYes)、倍率色収差・像歪補正装置1は、ステップS20の処理に進む。一方、全て評価していない場合(ステップS19でNo)、倍率色収差・像歪補正装置1は、ステップS17の処理に戻る。
【0082】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、評価値EVと、総プレーン数=F1*F2*・・・*Fdと、減プレーン番号DP(F1、F2、・・・Fd)とを算出する(ステップS20)。このとき、補正データ間引き手段3は、評価値候補Ev_tempの最小値を評価値EVとして算出する。また、補正データ間引き手段3は、評価値候補Ev_tempの平均値を評価値EVとして算出してもよい。
【0083】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fdを「1」減算する(ステップS21)。
【0084】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fdが「2」未満であるか否かを判定する(ステップS22)。ここで、測定点数Fdが「2」未満である場合(ステップS22でYes)、倍率色収差・像歪補正装置1は、ステップS23の処理に進む。一方、測定点数Fdが「2」未満でない場合(ステップS22でNo)、倍率色収差・像歪補正装置1は、ステップS16の処理に戻る。
【0085】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fd-1を「1」減算する(ステップS23)。
【0086】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数Fd-1が「2」未満であるか否かを判定する(ステップS24)。ここで、測定点数Fd-1が「2」未満である場合(ステップS24でYes)、倍率色収差・像歪補正装置1は、ステップS25の処理に進む。一方、測定点数Fd-1が「2」未満でない場合(ステップS24でNo)、倍率色収差・像歪補正装置1は、ステップS14の処理に戻る。
【0087】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数F1を「1」減算する(ステップS25)。
【0088】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、測定点数F1が「2」未満であるか否かを判定する(ステップS26)。ここで、測定点数F1が「2」未満である場合(ステップS26でYes)、倍率色収差・像歪補正装置1は、ステップS23の処理に進む。一方、測定点数F1が「2」未満でない場合(ステップS26でNo)、倍率色収差・像歪補正装置1は、ステップS12の処理に戻る。
【0089】
また、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、評価値EVと、減プレーン番号DPと、総プレーン数とを出力する(ステップS27)。
また、補正データ間引き手段3は、例えば、補正データ記憶手段6の記憶容量を補正データプレーン1つあたりの容量で除算した値に基づいて記憶数を算出し、この総プレーン数が記憶数以下となるように間引きする(ステップS28)。このとき、補正データ間引き手段3は、この評価値EVが最大色ずれ量の許容値以下で、かつ、間引きする補正データプレーンの数が最大となるように記憶数を算出し、この記憶数以下となるように間引きしてもよい。
【0090】
以上のように、倍率色収差・像歪補正装置1は、補正データ間引き手段3によって、レンズパラメータを複数の種類としたときでも補正データを間引きすることができる。例えば、図8に示すように、第1軸(奥行き方向)のレンズパラメータをズームとし、第2軸(水平方向)のレンズパラメータをアイリスとし、第3軸(垂直方向)のレンズパラメータをフォーカスとした場合でも、倍率色収差・像歪補正装置1は、この補正データを間引きすることができる。
【0091】
<映像の補正動作>
図9に示すように、倍率色収差・像歪補正装置1は、信号入力手段4によって、G信号、R信号およびB信号を入力する。また、倍率色収差・像歪補正装置1は、レンズパラメータ入力手段5によって、撮影レンズパラメータを入力する(信号・レンズパラメータ入力ステップ:ステップS101)。
【0092】
また、倍率色収差・像歪補正装置1は、補正データ選定手段7によって、レンズパラメータ入力手段5に入力されたレンズパラメータに基づいて、補正データ記憶手段6に記憶された補正データを選定する(補正データ選定ステップ:ステップS102)。ここで、補正データ選定手段7は、補正データ記憶手段6に記憶された補正データのうち、入力されたレンズパラメータの値を挟むレンズパラメータの補正データを選定する。
【0093】
また、倍率色収差・像歪補正装置1は、補正量算出手段8によって、補正データ選定手段7が選定した補正データに基づいて、G信号、R信号およびB信号の画素の補正量を算出する(補正量算出ステップ:ステップS103)。ここで、補正量算出手段8は、複数の補正データの各々から当該画素に対応する収差量から、入力されたレンズパラメータにおける補正量を線形補間又はスプライン補間によって算出する。
【0094】
また、倍率色収差・像歪補正装置1は、収差補正手段9によって、補正量算出手段8が算出した補正量に基づいて、レンズパラメータ入力手段5に入力されたG信号、B信号およびR信号の倍率色収差による色ずれおよび映像の歪を補正し、信号記憶手段10に記憶する(収差補正ステップ:ステップS104)。ここでは、倍率色収差・像歪補正装置1は、シフト処理部71によって、補正量算出手段8が算出した補正量から整数成分を抽出して、この整数成分に基づいてシフト処理を行う。また、倍率色収差・像歪補正装置1は、2次元フィルタ部72によって、補正量算出手段8が算出した補正量から小数成分を抽出して、補正量の整数成分によってシフト処理された画素の画素値を算出する。そして、倍率色収差・像歪補正装置1は、2次元フィルタ部72によって、信号記憶手段10に、シフト処理された画素を示すアドレスに画素値を書き込む。以上のように、倍率色収差・像歪補正装置1は、G信号、B信号およびR信号について、画素ごとに画素値を補正することができる。
【0095】
そして、ステップS101に戻り、倍率色収差・像歪補正装置1は、G信号、B信号およびB信号の次の画素の画素値を入力するとともに、この画素に対応するレンズパラメータを入力するステップS101の処理を繰り返し行う。
【0096】
さらに、倍率色収差・像歪補正装置1は、信号出力手段11によって、信号記憶手段10に記憶されたG信号、B信号およびR信号の画素値を各々読み出して補正G信号、補正R信号および補正B信号として出力する(信号出力ステップ、不図示)。
【0097】
以上のように、本実施形態に係る倍率色収差・像歪補正装置1は、補正データ記憶手段6に倍率色収差による色ずれおよび映像の歪を考慮した補正データを記憶するため、カメラが撮影した映像において、倍率色収差による色ずれおよび映像の歪を補正することができる。倍率色収差・像歪補正装置1は、補正データ記憶手段6に適切な数の補正データを記憶するので、補正データ記憶手段6に記憶する補正データの数が多すぎることや少なすぎることがない。これによって、倍率色収差・像歪補正装置1は、その補正データを用いて算出した補正量が映像の実際のずれ量と近いものとなり、正確な補正を可能とすると共に、補正データ記憶手段6の記憶容量を節約して、倍率色収差・像歪補正装置1の構成を簡易にできる。
【0098】
なお、倍率色収差・像歪補正装置1は、一般的なコンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、倍率色収差・像歪補正プログラムとして動作させることも可能である。
【0099】
なお、倍率色収差による色ずれおよび映像の歪の両方を補正することとして説明したが、倍率色収差・像歪補正装置1は、倍率色収差による色ずれおよび映像の歪の何れか一方だけを補正することもできる。
例えば、緑色(第1原色)と、赤色および青色(第2原色および第3原色)とを一致させる処理として考える。この場合、補正データを、緑色(第1原色)について“0”(つまり、補正なし)とし、赤色および青色(第2原色および第3原色)については、緑色(第1原色)の光に対する収差量を示すものとして補正データ記憶手段6(6a、6b、6c)に記憶する。これによって、倍率色収差・像歪補正装置1は、倍率色収差による色ずれのみを補正することができる。各原色の撮影素子を備えない単板式のカメラは、撮影素子の回転およびあおりが発生しないために映像の歪の影響が少ない。従って、倍率色収差・像歪補正装置1は、単板式のカメラに適用することが好ましい。
また、例えば、倍率色収差・像歪補正装置1は、映像の歪みだけを考慮した補正データを補正データ記憶手段6(6a、6b、6c)に記憶することにより、映像の歪だけを補正することもできる。
【符号の説明】
【0100】
1 倍率色収差・像歪補正装置
2 補正データ生成手段
3 補正データ間引き手段
4 信号入力手段
5 レンズパラメータ入力手段
6 補正データ記憶手段
7 補正データ選定手段
8 補正量算出手段
9 収差補正手段(補正手段)
10 信号記憶手段
11 信号出力手段
【特許請求の範囲】
【請求項1】
映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正する倍率色収差・像歪補正装置であって、
色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段と、
前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む補正データ間引き手段と、
前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する信号入力手段と、
この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力するレンズパラメータ入力手段と、
前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する補正データ選定手段と、
この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する補正量算出手段と、
この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する補正手段と、
前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する信号出力手段と、
を備えることを特徴とする倍率色収差・像歪補正装置。
【請求項2】
前記補正データ間引き手段は、前記補正データ記憶手段の記憶容量を前記補正データ1つあたりの容量で除算した値に基づいて、前記記憶数を算出することを特徴とする請求項1に記載の倍率色収差・像歪補正装置。
【請求項3】
前記補正データ間引き手段は、前記レンズパラメータの値および前記画素ごとに間引き候補の補正データと当該補正データを補間した補間後補正データとの前記収差量の差分を算出し、前記レンズパラメータの値ごとに前記差分の最大値又は平均値を前記評価値として算出し、前記評価値が予め設定された閾値以下で、かつ、前記間引き候補の補正データの最大数を前記記憶数として算出することを特徴とする請求項1に記載の倍率色収差・像歪補正装置。
【請求項4】
映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するために、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段を備えるコンピュータを、
前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む補正データ間引き手段、
前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する信号入力手段、
この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力するレンズパラメータ入力手段、
前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する補正データ選定手段、
この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する補正量算出手段、
この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する補正手段、
前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する信号出力手段、
として機能させることを特徴とする倍率色収差・像歪補正プログラム。
【請求項1】
映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正する倍率色収差・像歪補正装置であって、
色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段と、
前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む補正データ間引き手段と、
前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する信号入力手段と、
この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力するレンズパラメータ入力手段と、
前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する補正データ選定手段と、
この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する補正量算出手段と、
この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する補正手段と、
前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する信号出力手段と、
を備えることを特徴とする倍率色収差・像歪補正装置。
【請求項2】
前記補正データ間引き手段は、前記補正データ記憶手段の記憶容量を前記補正データ1つあたりの容量で除算した値に基づいて、前記記憶数を算出することを特徴とする請求項1に記載の倍率色収差・像歪補正装置。
【請求項3】
前記補正データ間引き手段は、前記レンズパラメータの値および前記画素ごとに間引き候補の補正データと当該補正データを補間した補間後補正データとの前記収差量の差分を算出し、前記レンズパラメータの値ごとに前記差分の最大値又は平均値を前記評価値として算出し、前記評価値が予め設定された閾値以下で、かつ、前記間引き候補の補正データの最大数を前記記憶数として算出することを特徴とする請求項1に記載の倍率色収差・像歪補正装置。
【請求項4】
映像を撮影するカメラのレンズパラメータの値と、当該レンズパラメータにおける前記映像の画素ごとの倍率色収差による結像位置のずれの量および前記映像の歪の量の少なくとも一方を示す収差量とを対応させた補正データを用いて、前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するために、色の三原色である第1原色、第2原色および第3原色の前記補正データを記憶する補正データ記憶手段を備えるコンピュータを、
前記補正データが複数入力されると共に、前記補正データ記憶手段の記憶容量又は所定の評価値に基づいて前記補正データの記憶数を算出し、前記入力された補正データを前記記憶数以下に間引いてから前記補正データ記憶手段に書き込む補正データ間引き手段、
前記画素ごとの、前記第1原色、第2原色および第3原色の明るさを示す第1原色信号、第2原色信号および第3原色信号を入力する信号入力手段、
この信号入力手段から入力される第1原色信号、第2原色信号および第3原色信号の各々の前記画素に対応する、前記映像を撮影したときのレンズパラメータである撮影レンズパラメータを入力するレンズパラメータ入力手段、
前記レンズパラメータ入力手段から入力された撮影レンズパラメータに基づいて、前記補正データ記憶手段に記憶された、当該撮影レンズパラメータの値を挟む2つのレンズパラメータの補正データを選定する補正データ選定手段、
この補正データ選定手段によって選定された補正データに基づいて、前記撮影レンズパラメータにおける前記倍率色収差による色ずれおよび前記映像の歪の少なくとも一方を補正するための補正量を、補間して算出する補正量算出手段、
この補正量算出手段によって算出された補正量に基づいて、前記第1原色信号、第2原色信号および第3原色信号の各画素の明るさを示す画素値を補正する補正手段、
前記補正手段によって画素値が補正された前記第1原色信号、第2原色信号および第3原色信号を出力する信号出力手段、
として機能させることを特徴とする倍率色収差・像歪補正プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2011−182071(P2011−182071A)
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願番号】特願2010−42332(P2010−42332)
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000004352)日本放送協会 (2,206)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
【公開日】平成23年9月15日(2011.9.15)
【国際特許分類】
【出願日】平成22年2月26日(2010.2.26)
【出願人】(000004352)日本放送協会 (2,206)
【出願人】(000001122)株式会社日立国際電気 (5,007)
【Fターム(参考)】
[ Back to top ]