撮像装置および画像処理方法
【課題】垂直方向の光学歪み補正を行うにあたって、ラインバッファの必要なライン数を低減する。
【解決手段】画像データを所定の画素数の横幅を持つ短冊データに分割する。また、補正する画像がたる歪みであるか糸巻き歪みであるかを判別する。次に、中心を通る水平軸と垂直軸により画像を４つの象限に分割し、補正しようとする短冊の象限がどの象限であるかを判別する。たる歪みの場合は、第１象限ではＴｙｐｅ３、第２象限ではＴｙｐｅ１、第３象限ではＴｙｐｅ２、及び第４象限ではＴｙｐｅ４のバッファ制御を行う。また糸巻き歪みの場合は、第１象限ではＴｙｐｅ４、第２象限ではＴｙｐｅ２、第３象限ではＴｙｐｅ１、及び第４象限ではＴｙｐｅ３のバッファ制御を行う。それぞれの制御タイプは読み出し基準ラインと読み出し方向が異なっている。それぞれの象限において、選択されたバッファ制御を用いて短冊毎に光学歪み補正を行う。
【解決手段】画像データを所定の画素数の横幅を持つ短冊データに分割する。また、補正する画像がたる歪みであるか糸巻き歪みであるかを判別する。次に、中心を通る水平軸と垂直軸により画像を４つの象限に分割し、補正しようとする短冊の象限がどの象限であるかを判別する。たる歪みの場合は、第１象限ではＴｙｐｅ３、第２象限ではＴｙｐｅ１、第３象限ではＴｙｐｅ２、及び第４象限ではＴｙｐｅ４のバッファ制御を行う。また糸巻き歪みの場合は、第１象限ではＴｙｐｅ４、第２象限ではＴｙｐｅ２、第３象限ではＴｙｐｅ１、及び第４象限ではＴｙｐｅ３のバッファ制御を行う。それぞれの制御タイプは読み出し基準ラインと読み出し方向が異なっている。それぞれの象限において、選択されたバッファ制御を用いて短冊毎に光学歪み補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および画像処理方法に係り、特に撮像レンズの光学歪みを補正する撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
光学歪みには、大別して、沈胴ズームレンズにおいて多く発生するたる歪みと、屈曲系のレンズ機構に発生する糸巻き歪みがある。図１は、従来の光学歪み補正の流れを示す図である。撮影した画像を入力画像データとして、まず水平方向の光学歪み補正及びリサイズを行い、次に垂直方向の方角歪み補正及びリサイズを行う。
【０００３】
図２は、たる歪みの補正について示す図である。図２（ａ）は、撮影され、歪み補正前の画像のフレーム全体を実線で、撮像された被写体の歪みの大きさを点線で示している。図２（ｂ）は、図２（ａ）の画像に対して水平方向の歪み補正を行ったことを示す図である。水平方向の歪み補正は、フレームの原点を通る垂直軸に対して左右対称に水平方向に画像を引き伸ばすが、画面の端ほど大きく引き伸ばすことにより、歪みを補正する。図２（ｃ）は、図２（ｂ）の画像に対して垂直方向の歪み補正を行ったことを示す図である。垂直方向の歪み補正は、フレームの原点を通る水平軸に対して上下対称に垂直方向に画像を引き伸ばすが、画面の端ほど大きく引き伸ばすことにより、歪みを補正する。このように、たる歪み補正については、画像の中心に対して角の周辺領域を引き伸ばすように行われる。なお、図２においてはリサイズについては省略している。
【０００４】
図３は、糸巻き歪みの補正について示す図である。図３（ａ）は、撮影され、歪み補正前の画像のフレーム全体を実線で、撮像された被写体の歪みの大きさを点線で示している。図３（ｂ）は、図３（ａ）の画像に対して水平方向の歪み補正を行ったことを示す図である。水平方向の歪み補正は、フレームの原点を通る垂直軸に対して左右対称に水平方向に画像を縮小するが、画面の端ほど大幅に縮小することにより、歪みを補正する。図３（ｃ）は、図３（ｂ）の画像に対して垂直方向の歪み補正を行ったことを示す図である。垂直方向の歪み補正は、フレームの原点を通る水平軸に対して上下対称に垂直方向に画像を縮小するが、画面の端ほど大幅に縮小することにより、歪みを補正する。このように、たる歪み補正については、画像の中心に対して角の周辺領域を縮小するように行われる。なお、図３においてもリサイズについては省略している。
【０００５】
上記の画像の引き伸ばし及び縮小の補正量については、ズーム比毎にレンズの歪みを高次関数によって近似し、出力画像の出力位置から入力画像の参照する位置を逆算することにより算出し、また引き伸ばし及び縮小後は、周辺画素との補間処理及びリサイズ処理を行い補正を完成させる。特許文献１では、リサイズ処理と同時にレンズの光学歪み補正を行う回路について言及している。また特許文献２では、光学歪み補正を実施する際に、メモリ使用量を低減するための短冊処理について述べている。
【０００６】
ここで、図４を用いて短冊処理について説明する。図４（ａ）は、撮影画像のフレームを所定の画素数の横幅を持った、縦長の複数本の短冊４１に分割したことを示す図である。図４（ｂ）は、短冊４１の１つを拡大した図と、短冊４１の横方向の画素数と同じビット数を備えるラインバッファ（メモリ）３１を示す図である。図４（ｂ）に示すように、ラインバッファ３１は短冊４１の複数のラインを読み出すことが可能であり、読み出せるライン数はラインバッファのライン数で決まる。
【０００７】
前述したように、垂直方向の光学歪み補正は、撮像レンズ固有の歪み関数によって、出力画像の出力位置から入力画像の参照する位置を逆算することにより行う。この演算は、ラインバッファで読み出したデータ内で行い、必要なバッファ量は歪みの曲率に応じて異なるが、予め用意されたライン数以上の補正は不可能である。
【特許文献１】特開２００５−１１２６８号公報
【特許文献２】特開２００４−６４７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図５は、短冊処理を用いて垂直方向の光学歪み（糸巻き歪み）補正を行う際の、正しい被写体像（出力ライン）について各画素から逆算したカーブと、このカーブを補正するにあたって必要となるラインバッファの量について示している。たる歪み及び糸巻き歪みの特性から、凹変化の逆算座標カーブを補正するためには出力ラインは下側に、凸変化の逆算座標カーブを補正するためには出力ラインは上側に存在することになるが、この逆算座標カーブはたる歪み・糸巻き歪みに関わらず、原点を通る水平軸を境に短冊内で凹凸が反転する。また前述したように、予め用意されたライン数以上の補正はできない。このため、両カーブに対応するために、出力ラインを挟んで上下にラインバッファを持つ必要がある。しかし、この出力ラインの上下のラインバッファは同時にデータを使用することがなく、上又は下のデータのみを使用している。このため、無駄にラインバッファのライン数が多くなり、ラインバッファへの書き込み時間が長くなるという欠点があった。
【０００９】
本発明はこのような事情に鑑みてなされたもので、処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が短縮できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために請求項１に係る撮像装置は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別手段と、前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御手段とを備えたことを特徴とする。
【００１１】
これにより処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が短縮できる。
【００１２】
請求項２に示すように請求項１に記載の撮像装置において、前記制御手段は、前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最上段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最下段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第１、第４象限の場合は前記ラインバッファの読み出し方向を右から左に設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第２、第３象限の場合は前記ラインバッファの読み出し方向を左から右に設定して前記ラインバッファからの画像データの読み出しを制御することを特徴とする。
【００１３】
前記目的を達成するために請求項３に係る撮像装置は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御手段と、前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御手段と、前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替手段とを備えたことを特徴とする。
【００１４】
これにより、歪みの大きさに応じた適切なラインバッファ制御に切り替えることができる。
【００１５】
請求項４に示すように請求項３に記載の撮像装置において、画像データを取得したときの撮影レンズのズーム比から前記画像データの垂直方向の光学歪みの歪み量を算出する算出手段と、前記歪み量と所定の閾値とを比較することにより、前記歪み量の大小を判定する判定手段とを備え、前記切替手段は、前記判定手段が前記歪み量を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記判定手段が前記歪み量を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする。
【００１６】
このように、撮影レンズのズーム比により２つのラインバッファを水平方向に接続するか垂直方向に接続するかを判断することにより、ズーム比が小さく歪みが大きいときには補正量を大きくし、ズーム比が大きく歪みが小さいときには、歪み補正処理時間を短縮することができる。
【００１７】
請求項５に示すように請求項３に記載の撮像装置において、前記フレームの原点を通る垂直軸と前記ラインバッファを介して読み出される画像データとの距離を測定する手段と、前記距離と所定の閾値とを比較することにより、前記距離の大小を判定する距離判定手段とを備え前記切替手段は、前記距離判定手段が前記距離を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記距離判定手段が前記距離を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする。
【００１８】
このように、画面のフレームの中心から距離により２つのラインバッファを水平方向に接続するか垂直方向に接続するかを判断することにより、画面の端で歪みが大きいときにはラインバッファを垂直に接続することにより補正量を大きくし、画面の中心近傍で歪みが小さいときにはラインバッファを水平に接続することにより歪み補正処理時間を短縮することができる。
【００１９】
前記目的を達成するために請求項６に記載の画像処理方法は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別工程と、前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御工程とを備えたことを特徴とする画像処理方法。
【００２０】
前記目的を達成するために請求項７に記載の画像処理方法は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御工程と、前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御工程と、前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替工程とを備えたことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、撮像レンズの光学歪みの特性と、処理を行う短冊が画面のどの象限であるかに基づいて、ラインバッファの制御を切り換えることにより、処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が必要最低限で済む撮像装置を提供することができる。また同数のラインバッファを使用した場合には、歪みの補正可能範囲が大きい撮像装置を提供することができる。また、撮影時のレンズのズーム比や処理短冊の画面内の位置により、２つのラインバッファを水平に接続して歪み補正を行うか、垂直に接続して歪み補正を行うかを切り替えることにより、歪みの大きさに応じた適切なラインバッファ制御を行う撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【００２３】
＜第１の実施の形態＞
図６は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【００２４】
同図においてＣＰＵ１９は、操作スイッチ１８の入力に基づいてデジタルカメラ１内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。
【００２５】
このＣＰＵ１９の各回路の制御は、ＢＵＳ１６を介しておこなう。またＣＰＵ１９は、ＲＯＭ２１及びメインメモリ２０との間で、必要なデータの授受を行う。ＲＯＭ２１には、カメラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ１の操作に使用するメニュー画像等のＧＵＩ用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像（目盛りが変化する砂時計の画像等）、キー操作音（シャッター音等）、警告音、及びエラー音等を示す音声データ等が記録されている。
【００２６】
まず電源が投入されると、ＣＰＵ１９はこれを検出し、カメラ内電源をＯＮにし、一定期間ＲＯＭ２１に格納されているオープニング画像を表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ１９は、ＬＣＤ２６に動画（スルー画）を表示させる。
【００２７】
ユーザ（撮影者）は、ＬＣＤ２６に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【００２８】
上記撮影スタンバイ状態時に操作スイッチ１８の１つであるレリーズボタンが押されると、操作スイッチインターフェース１７を介してＣＰＵ１９にレリーズ信号が入力され、ＣＰＵ１９は、ＡＦ制御部１１を介して撮像レンズ１０を駆動し、撮像レンズ１０を介してＣＣＤ１２の受光面上に被写体像を結像させる。ＣＣＤ１２は、受光面に結像された被写体像をその光量に応じた量のＲ、Ｇ、Ｂの信号電荷に変換する。この信号電荷は、ＣＰＵ１９の指令に従いＣＤＳ／ＡＭＰ回路１３に送られ、ここで相関二重サンプリング処理された後増幅され、Ａ／Ｄ変換器１４に加えられる。
【００２９】
Ａ／Ｄ変換器１４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、メインメモリ２０に記憶される。
【００３０】
メインメモリ２０に記憶されたＲ、Ｇ、Ｂ信号は、ＣＰＵ１９の指令に従い、図示しない水平方向光学歪み補正部によって水平方向の光学歪みが補正され、次に垂直方向光学歪み補正部２７によって垂直方向の光学歪みが補正される。その後、画像信号処理部１５により輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）に変換されるとともに、ガンマ補正等の所定の処理が施され、再びメインメモリ２０に格納される。
【００３１】
上記のようにしてメインメモリ２０に格納されたＹＣ信号は、圧縮伸張部２４によって所定のフォーマットに圧縮されたのち、メディア制御部２２を介してデジタルカメラ１に着脱自在な記録メディア２３に記録される。
【００３２】
また操作スイッチ１８を操作して再生モードが選択されると、記録メディア２３に記録されている最終コマの画像ファイルがメディア制御部２２を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張部２４を介して非圧縮のＹＣ信号に伸張される。
【００３３】
伸張されたＹＣ信号は、ＬＣＤ制御部２５によって表示用の信号形式に変換されてＬＣＤ２６に出力される。これにより、ＬＣＤ２６には記録メディア２３に記録されている最終コマの画像が表示される。
【００３４】
次に、垂直方向光学歪み補正部２７について説明する。図７は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【００３５】
垂直方向光学歪み補正部２７は、メインメモリ２０との間で読み書きするデータを記憶するためのラインバッファ３１と、メインメモリ２０とラインバッファ３１との間のＤＭＡ転送を制御するＤＭＡコントローラ３０と、演算により光学歪みを補正する演算部３２から構成されている。
【００３６】
ラインバッファ３１はＤＭＡコントローラ３０と接続されており、ＤＭＡコントローラ３０は、ＢＵＳ１６を介したメインメモリ２０内の、ＣＰＵ１９からのアドレス指定に応じた撮影画像データの一部（縦長の短冊に分割した撮影画像の、短冊内におけるラインバッファと同ワード分のデータ）を、ラインバッファ３１へ転送する。演算部３２はＢＵＳ１６を介したＣＰＵ１９からの命令にしたがって、ラインバッファ３１内のデータを演算し、光学歪みの補正の演算を行い、その結果をメインメモリ２０に記憶させる。
【００３７】
次に、垂直方向の光学歪み補正について、図８〜図１３を用いて説明する。デジタルカメラ１は、撮影した画像に対してたる歪みか糸巻き歪みかの判断を行い、また撮影画像を４つの象限に分割し、歪み補正処理を行う短冊のデータがどの象限に属するかの判断を行うことにより、少ないライン数のラインバッファで効率よく垂直方向の光学歪み補正を行う。
【００３８】
図８は、本発明に係る第１の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正の流れを示すフローチャートである。最初に、光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。光学歪み補正のパラメータには、たる歪みを補正するか糸巻き歪みを補正するかの補正タイプと、その補正量が含まれている。たる歪みであるか糸巻き歪みであるかは、撮影したレンズの特性で決まり、１つの画像内で補正タイプが変化することは無いため、最初に設定を行う。また前述したように、ズーム比毎にレンズの光学歪みを高次関数によって近似することにより、補正量を算出する。
【００３９】
次に補正タイプの判定を行う（ステップＳ８０２）。設定された補正タイプがたる歪みの場合はステップＳ８０３へ、糸巻き歪みの場合はステップＳ８１０へ進む。次に、歪み補正処理を行う領域がどの象限に属するかを判定する。
【００４０】
ここで、象限について図９を用いて説明する。図９は、撮影画像の中心（原点）を通る水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって、撮影画像を４つの象限に分割したことを示す図である。ここで、Ｘ軸より上且つＹ軸より右を第１象限、Ｘ軸より上且つＹ軸より左を第２象限、Ｘ軸より下且つＹ軸より左を第３象限、Ｘ軸より下且つＹ軸より右を第４象限とする。
【００４１】
また、ラインバッファの読み出しの制御における４つのタイプについて説明する。ラインバッファの読み出しの制御には、図１０（ａ）に示す、読み出しを開始する基準ラインを最上段に持ち、右側のビットから順に左側へビットを読み出すＴｙｐｅ１、図１０（ｂ）に示す、基準ラインを最下段に持ち、右側のビットから順に左側へビットを読み出すＴｙｐｅ２、図１０（ｃ）に示す、基準ラインを最上段に持ち、左側のビットから順に右側へビットを読み出すＴｙｐｅ３、及び図１０（ｄ）に示す、基準ラインを最下段に持ち、左側のビットから順に右側へビットを読み出すＴｙｐｅ４の４種類がある。
【００４２】
図８のフローチャートにおいて、補正タイプがたる歪みの場合は、ステップＳ８０３〜Ｓ８０５において処理を行う象限を判定し、判定された象限に対応したラインバッファの読み出しの制御タイプを割り当てる（ステップＳ８０６〜Ｓ８０９）。また補正タイプが糸巻き歪みの場合は、ステップＳ８１０〜Ｓ８１２において処理を行う象限を判定し、同様に判定された象限に対応したラインバッファの読み出しの制御タイプを割り当てる（ステップＳ８０６〜Ｓ８０９）。
【００４３】
図１１（ａ）に示すように、たる歪みの補正においては、第１象限ではＴｙｐｅ３、第２象限ではＴｙｐｅ１、第３象限ではＴｙｐｅ２、及び第４象限ではＴｙｐｅ４のラインバッファ制御を用いる。また図１１（ｂ）に示すように、糸巻き歪みの補正においては、第１象限ではＴｙｐｅ４、第２象限ではＴｙｐｅ２、第３象限ではＴｙｐｅ１、及び第４象限ではＴｙｐｅ３のラインバッファ制御を用いる。
【００４４】
ラインバッファの制御の割り当てが終了すると、撮影画像を複数の縦長の短冊に断片化し、短冊毎に歪み補正を行う。断片化された短冊の横方向の画素数とラインバッファの１ラインのビット数は一致しており、また短冊の横方向の画素数は、撮影画像の横方向の画素数の２分の１の約数となっており、短冊が第１象限と第２象限、又は第３象限と第４象限をまたぐことがないように構成されている。ここでは、図１２〜図１９を用いて、たる歪みの補正を例に取り、説明する。
【００４５】
図１２（ａ）は、水平方向の歪み補正がされた撮影画像を実線で示しており、垂直方向の歪み補正後の画像の最外周の逆算座標カーブを点線で示している。歪み補正処理は、撮影画像の左の短冊から行われ、１つの短冊の処理が終わると、その右側の短冊の処理へと移行する。図１２（ｂ）は、最も左側の短冊の上部を拡大した図である。
【００４６】
前述したとおり、補正タイプがたる歪みの場合の第２象限ではＴｙｐｅ１のラインバッファ制御を用いる。即ち、読み出し基準ラインを最上段に持ち、右側のビットから順に左側へビットを読み出す。図１２（ｃ）は、この短冊の最上段からラインバッファ３１のライン数分をラインバッファ３１に書き込んだことを示す図である。前述したようにこの書き込みは、ＣＰＵ１９によりアドレス指定されたＤＭＡコントローラ３０によって行われる。ここでは、最外周の逆算座標カーブが、読み出し開始位置である最上段の読み出し基準ラインの右端に達していないため、最外周の逆算座標カーブが読み出し開始位置に達するまで、ＣＰＵ１９はＤＭＡコントローラ３０に指定するアドレスをインクリメントして、ラインバッファ３１のデータの書き込みを行う。即ち、縦長の短冊に対して、１段ずつラインバッファ３１を下げて短冊のデータの書き込みを行う。
【００４７】
図１３は、図１２の状態から短冊に対してラインバッファ３１を２段下げ、読み出し開始位置に最外周の逆算座標カーブが到達した状態を示している。このように読み出し開始位置に最外周の逆算座標カーブが到達すると、垂直方向光学歪み補正部２７の演算部３２が、逆算座標カーブに沿って画素の入替を行う。図１４（ａ）に示すように、ラインバッファ３１内において、最外周の逆算座標カーブは、座標Ｌ１、Ｋ１、Ｊ１、Ｉ２、Ｈ２、Ｇ２、Ｆ２、Ｅ２、Ｄ３、Ｃ３、Ｂ３、及びＡ４上に存在する。演算部３２はラインバッファ３１からこの画素を順次読み出して１つのラインのデータとし（図１４（ｂ））、メインメモリ２０内の、処理中の画像データとは別の領域である補正済み短冊領域の最上段のラインに書き込む（図１４（ｃ））。
【００４８】
次に、ラインバッファ３１の読み出し基準ラインが、現在処理を行っている短冊の最終ラインかどうかの判断を行い（ステップＳ８１４）、最終ラインでない場合は、ラインバッファ３１の中心がＸ軸と重なっているかどうかの判断を行う（ステップＳ８１５）。ラインバッファ３１の中心がＸ軸と重なっていない場合は、ステップＳ８１３に戻り、処理を継続する。
【００４９】
ステップＳ８１３に戻ると短冊に対してラインバッファ３１をさらに１段下げ、短冊のデータをラインバッファ３１に書き込む。そして読み出し開始位置を通る逆算座標カーブの歪み補正を行い、補正済み短冊領域の前回書き込んだラインの１段下側のラインに、この補正データを書き込む。
【００５０】
以下同様に、ラインバッファ３１を短冊に対して１段ずつ下げて、短冊データをラインバッファ３１に書き込み、読み出し開始位置を通る逆算座標カーブの歪み補正を行い、補正済み短冊領域の前回書き込んだラインの１段下のラインに書き込んでいく。
【００５１】
処理が進み、ラインバッファ３１の中心がＸ軸と重なった場合（ステップＳ８１５）は、歪み補正処理を行う領域を下側の象限に変更する（ステップＳ８１６）。
【００５２】
図１５は、ラインバッファ３１の中心がＸ軸と重なった様子を示した図である。図１５（ａ）は、撮影画像を示しており、図１５（ｂ）は、最も左側の短冊の中心部を拡大して示した図であり、図１５（ｃ）は、中心がＸ軸と重なった位置にある状態のラインバッファ３１を示す図である。ここまで第２象限の歪み補正を行ってきたが、ここから第３象限の歪み補正を行う。またこの状態において、短冊のデータをラインバッファ３１に書き込み、歪み補正をせずにそのまま補正済み短冊領域に書き込む。
【００５３】
象限を変更してステップＳ８０３に戻ると、ステップＳ８０３〜Ｓ８０５において、処理を行う象限が第３象限であると判断し、ラインバッファ制御はＴｙｐｅ２が選択される。前述したように、Ｔｙｐｅ２では読み出しを開始する基準ラインを最下段に持ち、右側のビットから順に左側へビットを読み出す制御を行う。
【００５４】
バッファ制御の種類が選択されると、これまでと同様に、ラインバッファ３１を１段ずつ下げ、光学歪み補正を行う（ステップＳ８１３）。図１６（ａ）は、最も左側の短冊の第３象限の部分を拡大した図であり、これから処理を行う逆算座標カーブを点線で示している。図１６（ｂ）は、これから処理を行う領域をラインバッファに書き込んだことを示す図である。ラインバッファ３１の読み出し制御がＴｙｐｅ２であるので、最下段の右端の読み出し開始位置を通る逆算座標カーブについて補正を行う。
【００５５】
ラインバッファ３１の読み出し制御がＴｙｐｅ１であった第１象限と同様に、垂直方向光学歪み補正部２７の演算部３２が、逆算座標カーブに沿って画素の入替を行う。図１７（ａ）に示すように、ラインバッファ内において、逆算座標カーブは、座標Ｌ６、Ｋ６、Ｊ６、Ｉ６、Ｈ６、Ｇ６、Ｆ６、Ｅ６、Ｄ５、Ｃ５、Ｂ５、及びＡ４上に存在するので、演算部３２はラインバッファ３１からこの座標の画素を順次読み出して、１つのラインのデータとし（図１７（ｂ））、補正済み短冊領域の該当する場所に書き込む（図１７（ｃ））。このように、象限の最終ラインに到達するまでラインバッファ３１を１段ずつ下げて、歪み補正処理を行っていく。
【００５６】
処理が進み、読み出し基準ラインが短冊の最終ラインに到達した場合（ステップＳ８１４）は、歪みが補正されたデータが格納されている補正済み短冊領域のデータを、処理を行った短冊に書き込む（ステップＳ８１７）。このように、メインメモリ２０内に撮影画像データとは別の補正済み短冊領域を備え、歪み補正後のデータを一時的に補正済み短冊領域に記憶し、１つの短冊の処理が全て終了してから撮影画像の短冊に補正済み短冊領域のデータを書き替えることにより、処理中の撮影画像の短冊のデータの上書きによる誤処理を防止する。
【００５７】
その後、処理を行った短冊が最後の短冊であるかどうかの判定を行い（ステップＳ８１８）、まだ処理を行っていない短冊がある場合は、右隣の短冊へ移行し（ステップＳ８１９）、歪み補正を行う。ここで、次の短冊における歪み補正の処理においても、ラインバッファ３１を短冊の上部から１段ずつ下へ下げて、同様の処理を行っていく。
【００５８】
図１８は、第１象限における歪み補正処理を示す図である。補正タイプがたる歪みの場合の第１象限では、Ｔｙｐｅ３のラインバッファ制御を用いる。即ち、読み出し基準ラインを最上段に持ち、左側のビットから順に右側へビットを読み出す。図１８（ａ）は、これから処理を行う短冊の領域をラインバッファ３１に書き込んだことを示す図であり、読み出し基準位置である座標Ａ１上を通る逆算座標カーブの歪み補正を行う。ここではＴｙｐｅ３のラインバッファ制御であるので、演算部３２は、ラインバッファ３１の左側から逆算座標カーブの存在する座標Ａ１、Ｂ１、Ｃ１、Ｄ１、Ｅ２、Ｆ２、Ｇ２、Ｈ２、Ｉ２、Ｊ３、Ｋ３、及びＬ４の画素を読み出して１つのラインのデータとし（図１８（ｂ））、補正済み短冊領域の該当するラインに書き込む（図１８（ｃ））。
【００５９】
また図１９は、第４象限における歪み補正処理を示す図である。補正タイプがたる歪みの場合の第４象限では、Ｔｙｐｅ４のラインバッファ制御を用いる。即ち、読み出し基準ラインを最下段に持ち、左側のビットから順に右側へビットを読み出す。図１９（ａ）は、これから処理を行う短冊の領域をラインバッファ３１に書き込んだことを示す図であり、読み出し基準位置である座標Ａ６上を通る逆算座標カーブの歪み補正を行う。ここではＴｙｐｅ４のラインバッファ制御であるので、演算部３２は、ラインバッファ３１の左側から逆算座標カーブの存在する座標Ａ６、Ｂ６、Ｃ６、Ｄ６、Ｅ６、Ｆ６、Ｇ６、Ｈ５、Ｉ５、Ｊ５、Ｋ５、及びＬ４の画素を読み出して１つのラインのデータとし（図１９（ｂ））、補正済み短冊領域の該当するラインに書き込む（図１９（ｃ））。
【００６０】
全ての短冊が終了し、最後の短冊であった場合（ステップＳ８１８）は、歪み補正が終了する。
【００６１】
図２０（ａ）及び（ｂ）はＴｙｐｅ１のラインバッファ制御のイメージを、図２０（ｃ）及び（ｄ）はＴｙｐｅ２のラインバッファ制御のイメージを示した図である。このように、象限によって読み出し基準ラインを最上段又は最下段のどちらかに設定することにより、図５に示した従来の技術よりラインバッファのライン数が半減したことがわかる。
【００６２】
本実施の形態では、短冊毎の歪み補正処理は、左側の短冊から処理を行ったが、右側の短冊から処理を行ってもよい。また短冊内の処理においては、ラインバッファ３１を上から下へ１段ずつ下げて処理を行ったが、ラインバッファ３１を下から上へ１段ずつ上げて処理を行ってもよい。
【００６３】
＜第２の実施の形態＞
本発明に係る第２の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正について、図２１〜図２４を用いて説明する。
【００６４】
レンズに起因する光学歪みはズームのステップ（倍率）により異なり、一般に広角側では歪みが大きく、望遠側では歪みが小さい。歪み補正を実現する際、歪みが大きい場合は垂直方向に多数バッファリングする必要があり、歪みが小さい場合はバッファ内の全てのラインを参照することはない。本発明に係る第２の実施の形態のデジタルカメラ１は、歪み補正のパラメータ（補正量）に応じて、２つのラインバッファを垂直に接続する構成にするか又は水平に接続する構成にするかを判断して切り替えることにより、効率よく垂直方向の光学歪み補正を行う。
【００６５】
まず、第２の実施の形態の垂直方向の光学歪み補正部２７について説明する。図２１は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。第１の実施の形態とは、ラインバッファ３１が、第１のラインバッファ３１ａ及び第２のラインバッファ３１ｂの２つから構成されているところが異っている。なお、この２つのラインバッファは異なるメモリであってもよいし、同一のメモリ内における異なるメモリ領域であってもよい。
【００６６】
次に、垂直方向の光学歪み補正の方法について説明する。図２２は、第２の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正の流れを示すフローチャートである。尚、図８に示した第１の実施の形態のフローチャートと共通の部分には同一の番号を付し、その詳細な説明は省略する。
【００６７】
第１の実施の形態と同様に、最初に光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。このパラメータは、撮影時の撮像レンズのズームステップ毎に決められる。光学歪み補正のパラメータには、たる歪みであるか糸巻き歪みであるかの補正タイプと、その補正量が含まれている。次に設定された補正量に基づいて、ラインバッファの構成を、ＴｙｐｅαまたはＴｙｐｅβのいずれかから選択する（ステップＳ２２１）。
【００６８】
ここで、図２３を用いてラインバッファ３１のＴｙｐｅαとＴｙｐｅβの構成及び選択方法について説明する。なお、図２３に点線で示した逆算座標カーブは一例を示したものである。
【００６９】
図２３（ａ）はバッファ構成のＴｙｐｅαを示した図であり、第１のラインバッファ３１ａと第２のラインバッファ３１ｂを垂直に接続した構成になっている。逆算座標カーブの変化率が大きいとき、即ち補正量が大きいときはこのＴｙｐｅαの構成を選択する。前述したように、予め用意されたライン数以上の補正は不可能であるため、歪みが大きいときは垂直に構成して補正量を増やす必要がある。
【００７０】
また図２３（ｂ）はバッファ構成のＴｙｐｅβを示した図であり、第１のラインバッファ３１ａと第２のラインバッファ３１ｂを水平に接続した構成になっている。逆算座標カーブの変化率が小さいとき、即ち補正量が小さいときはこのＴｙｐｅβの構成を選択する。この構成にすると補正できる量は小さくなるが、短冊幅が広がり、不要なラインが減少するために処理速度が向上する。
【００７１】
次に図２４を用いて、ラインバッファ３１の構成の、ＴｙｐｅαとＴｙｐｅβの切り換えの制御について説明する。図２４に示すように、第１のラインバッファ３１ａ及び第２のラインバッファ３１ｂは、セレクト用の入力端子であるＣＳ端子、書き込みイネーブル用の入力端子であるＷＥ端子を備え、また７ｂｉｔのアドレスバス及び８ｂｉｔのデータバスが接続されている。
【００７２】
図２４（ａ）はＴｙｐｅαの構成のときの制御を示す図である。第１のラインバッファ３１ａと第２のラインバッファ３１ｂのそれぞれについて、ＣＳ端子にはセレクト信号ＣＳ０及びＣＳ１、ＷＥ端子にはイネーブル信号ＷＥ０及びＷＥ１、アドレス端子にはアドレスバスＡＤＲ０及びＡＤＲ１、データ端子にはデータバスＤＡＴ０及びＤＡＴ１が接続され、それぞれを独立して制御することが可能である。このようにして、２つのラインバッファを垂直に構成して制御することが可能となる。
【００７３】
図２４（ｂ）はＴｙｐｅβの構成のときの制御を示す図である。セレクト信号ＣＳ０、イネーブル信号ＷＥ０、アドレスバスＡＤＲ０、及びデータバスＤＡＴ０を用いて、第１のラインバッファ３１ａと第２のラインバッファ３１ｂの２つのラインバッファを制御する。またアドレスバスの８ｂｉｔ目（ＡＤＲ０[７]信号）を用いて第１のラインバッファ３１ａと第２のラインバッファ３１ｂの選択を行う。
【００７４】
ＣＳ０信号をＨレベルにすると、ＡＤＲ０[７]信号及びインバータ４５によるその反転信号のＨ／Ｌレベルに応じて、第１のアンドゲート４１又は第３のアンドゲート４３のどちらか一方がＨレベルになる。これらのアンドゲートの出力はそれぞれ第１のラインバッファ３１ａと第２のラインバッファ３１ｂのＣＳ端子に入力されており、Ｈレベルが入力されたラインバッファが選択される。アドレスバスとデータバスが共通となっているが、ＣＳ端子の入力がＨレベルのラインバッファのみの読み出しが行われる。また書き込み時においても、ＷＥ０信号をＨレベルにすると、ＡＤＲ０[７]信号のＨ／Ｌレベルに応じて、第２のアンドゲート４２又は第４のアンドゲート４４のどちらか一方がＨレベルになり、ＷＥ端子の入力がＨレベルのラインバッファのみの書き込みが行われる。
【００７５】
ＴｙｐｅαとＴｙｐｅβの切り換えは、レジスタの設定を変更することによってＣＳ端子、ＷＥ端子、アドレス端子、及びデータ端子の入力信号を切り替えることにより可能となっている。このように制御回路を切り換えることにより、ＤＭＡコントローラ３０及び演算部３２は、２つのラインバッファを垂直に構成しても水平に構成しても、１つのラインバッファのように扱うことが可能となる。
【００７６】
図２２のステップＳ２２１において、ラインバッファ構成についてのＴｙｐｅαまたはＴｙｐｅβの選択が終わると、ここからのフローは第１の実施の形態と同様である。
【００７７】
このように、歪み補正の補正量が小さい場合には、２つのラインバッファを水平方向に構成し、短冊幅を大きくすることで処理速度の向上を実現することができる。また歪み補正の補正量が大きい場合には、２つのラインバッファを垂直方向に構成し、補正量幅を増やすことで、必要な補正をすることが可能となる。
【００７８】
本実施の形態においては、２つのラインバッファを、垂直方向に接続する構成、又は水平方向に接続する構成の２通りについて切り替えたが、その他に１つのラインバッファのみを使用する構成を含め、３通りについて切り替えてもよい。
【００７９】
また本実施の形態では、２つのラインバッファを用いて垂直に接続、又は水平に接続を切り替えたが、３つ以上のラインバッファを用いて垂直に接続、又は水平に接続してもよい。また４つのラインバッファを用いて、補正量によって縦横比の構成を１×４、２×２、４×１のように切り換えてもよい。
【００８０】
＜第３の実施の形態＞
本発明に係る第３の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正について、図２５〜２６を用いて説明する。本発明に係る第３の実施の形態のデジタルカメラ１は、処理を行う短冊の、画像の中心（原点）を通る垂直軸（Ｙ軸）からの距離に応じて、２つのラインバッファを垂直に接続する構成にするか又は水平に接続する構成にするかを判断して切り替えることにより、効率よく垂直方向の光学歪み補正を行う。
【００８１】
図２５は、デジタルカメラ１の垂直方向の光学歪み補正の流れを示すフローチャートである。尚、図８に示した第１の実施の形態のフローチャートと共通の部分には同一の番号を付し、その詳細な説明は省略する。
【００８２】
第１の実施の形態と同様に、最初に光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。次に、処理を行う短冊がどの位置に属するかを判定し（ステップＳ２５１）、ラインバッファの構成を決定する（ステップＳ２５２、ステップＳ２５３）。本実施の形態のデジタルカメラ１は、第２の実施の形態のデジタルカメラと同様に、ラインバッファ３１ａとラインバッファ３１ｂを備え、２つのラインバッファを垂直に接続する構成のＴｙｐｅαと、水平に接続する構成のＴｙｐｅβの２種類の切り換え制御が可能となっている。
【００８３】
ここで、出力短冊の先頭座標とラインバッファの構成について、図２６を用いて説明する。図２６（ａ）はたる歪みの画像を、図２６（ｂ）は糸巻き歪みの画像を示した図であり、ともに撮影した画像を実線で、撮像された被写体の歪みの大きさを点線で示している。画像中央から距離を増すごとに垂直方向の歪み量は大きくなり、この傾向はたる歪み、糸巻き歪みのどちらの歪みにも共通している。第２の実施の形態で説明したとおり、２つのラインバッファを備えた場合、歪みが大きいときは垂直に接続して補正量を増やす必要があり、歪みが小さいときは水平に接続した方が処理速度が向上するため有利である。図２６（ｃ）は、垂直方向の光学歪み補正を行う場合の、２つのバッファ構成の割り当てを示した図である。前述したように、画面中央近傍では歪みが小さいため水平に接続する構成のＴｙｐｅβを、画面端では歪みが大きいため垂直に接続する構成のＴｙｐｅαを採用する。本実施の形態では、中心からｘ以内は歪みが少ないと判断しＴｙｐｅβを、ｘ以上は歪みが多いと判断してＴｙｐｅαを採用する。なおこの距離ｘについては、撮影レンズのズーム倍率により値が異なってくる。
【００８４】
このように、処理を行う短冊のＹ軸からの距離を判断して、ラインバッファの構成を切り替えた後、第１の実施の形態と同様に歪み補正処理を行う。なお、この短冊とＹ軸からの距離の判断については短冊毎に行う必要があるため、ステップＳ８１９において次の短冊へ移行する場合には、ステップＳ２５１に戻って、次の短冊のＹ軸からの距離を判断する。
【００８５】
このように、処理を行う短冊のＹ軸からの距離を判断して、２つのラインバッファを垂直に接続するか又は水平に接続するかを切り替えることにより、効率のよい垂直方向の光学歪み補正を実現することができる。
【図面の簡単な説明】
【００８６】
【図１】図１は、従来の光学歪み補正の流れを示す図である。
【図２】図２は、たる歪みの補正について示す図である。
【図３】図３は、糸巻き歪みの補正について示す図である。
【図４】図４は、短冊処理について示した図である。
【図５】図５は、出力ラインについて各画素から逆算したカーブと、必要となるラインバッファの量について示した図である。
【図６】図６は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【図７】図７は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【図８】図８は、第１の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図９】図９は、撮影画像を４つの象限に分割したことを示す図である。
【図１０】図１０は、ラインバッファ３１の読み出しの制御における４つのタイプを示す図である。
【図１１】図１１は、たる歪み、糸巻き歪みの各象限におけるラインバッファ３１の読み出し制御のタイプの割り当てを示す図である。
【図１２】図１２は、補正タイプがたる歪み、出力座標象限が第２象限のときの補正処理を示した図である。
【図１３】図１３は、ラインバッファ３１の制御を示す図である。
【図１４】図１４は、ラインバッファ３１のＴｙｐｅ１の制御における歪み補正を示す図である。
【図１５】図１５は、ラインバッファ３１がＸ軸をまたいでいることを示す図である。
【図１６】図１６は、ラインバッファ３１の制御を示す図である。
【図１７】図１７は、ラインバッファ３１のＴｙｐｅ２の制御における歪み補正を示す図である。
【図１８】図１８は、ラインバッファ３１のＴｙｐｅ３の制御における歪み補正を示す図である。
【図１９】図１９は、ラインバッファ３１のＴｙｐｅ４の制御における歪み補正を示す図である。
【図２０】図２０は、ラインバッファ３１のＴｙｐｅ１とＴｙｐｅ２の処理のイメージを示した図である。
【図２１】図２１は、第２の実施の形態の垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【図２２】図２２は、第２の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図２３】図２３は、２つのラインバッファの垂直方向の接続、及び水平方向の接続を示す図である。
【図２４】図２４は、ラインバッファ３１のＴｙｐｅαとＴｙｐｅβの切り換えの制御を示す図である。
【図２５】図２５は、第３の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図２６】図２６は、画像のＹ軸からの距離と、ラインバッファ３１のＴｙｐｅαとＴｙｐｅβの制御の割り当てを示す図である。
【符号の説明】
【００８７】
１…デジタルカメラ、１０…撮像レンズ、１５…画像信号処理部、１６…ＢＵＳ、１９…ＣＰＵ、２０…メインメモリ、２１…ＲＯＭ、２７…垂直方向光学歪み補正部、３０…ＤＭＡコントローラ、３１…ラインバッファ、３１ａ…第１のラインバッファ、３１ｂ…第２のラインバッファ、３２…演算部、４１…第１のアンドゲート、４２…第２のアンドゲート、４３…第３のアンドゲート、４４…第４のアンドゲート、４５…インバータ
【技術分野】
【０００１】
本発明は撮像装置および画像処理方法に係り、特に撮像レンズの光学歪みを補正する撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
光学歪みには、大別して、沈胴ズームレンズにおいて多く発生するたる歪みと、屈曲系のレンズ機構に発生する糸巻き歪みがある。図１は、従来の光学歪み補正の流れを示す図である。撮影した画像を入力画像データとして、まず水平方向の光学歪み補正及びリサイズを行い、次に垂直方向の方角歪み補正及びリサイズを行う。
【０００３】
図２は、たる歪みの補正について示す図である。図２（ａ）は、撮影され、歪み補正前の画像のフレーム全体を実線で、撮像された被写体の歪みの大きさを点線で示している。図２（ｂ）は、図２（ａ）の画像に対して水平方向の歪み補正を行ったことを示す図である。水平方向の歪み補正は、フレームの原点を通る垂直軸に対して左右対称に水平方向に画像を引き伸ばすが、画面の端ほど大きく引き伸ばすことにより、歪みを補正する。図２（ｃ）は、図２（ｂ）の画像に対して垂直方向の歪み補正を行ったことを示す図である。垂直方向の歪み補正は、フレームの原点を通る水平軸に対して上下対称に垂直方向に画像を引き伸ばすが、画面の端ほど大きく引き伸ばすことにより、歪みを補正する。このように、たる歪み補正については、画像の中心に対して角の周辺領域を引き伸ばすように行われる。なお、図２においてはリサイズについては省略している。
【０００４】
図３は、糸巻き歪みの補正について示す図である。図３（ａ）は、撮影され、歪み補正前の画像のフレーム全体を実線で、撮像された被写体の歪みの大きさを点線で示している。図３（ｂ）は、図３（ａ）の画像に対して水平方向の歪み補正を行ったことを示す図である。水平方向の歪み補正は、フレームの原点を通る垂直軸に対して左右対称に水平方向に画像を縮小するが、画面の端ほど大幅に縮小することにより、歪みを補正する。図３（ｃ）は、図３（ｂ）の画像に対して垂直方向の歪み補正を行ったことを示す図である。垂直方向の歪み補正は、フレームの原点を通る水平軸に対して上下対称に垂直方向に画像を縮小するが、画面の端ほど大幅に縮小することにより、歪みを補正する。このように、たる歪み補正については、画像の中心に対して角の周辺領域を縮小するように行われる。なお、図３においてもリサイズについては省略している。
【０００５】
上記の画像の引き伸ばし及び縮小の補正量については、ズーム比毎にレンズの歪みを高次関数によって近似し、出力画像の出力位置から入力画像の参照する位置を逆算することにより算出し、また引き伸ばし及び縮小後は、周辺画素との補間処理及びリサイズ処理を行い補正を完成させる。特許文献１では、リサイズ処理と同時にレンズの光学歪み補正を行う回路について言及している。また特許文献２では、光学歪み補正を実施する際に、メモリ使用量を低減するための短冊処理について述べている。
【０００６】
ここで、図４を用いて短冊処理について説明する。図４（ａ）は、撮影画像のフレームを所定の画素数の横幅を持った、縦長の複数本の短冊４１に分割したことを示す図である。図４（ｂ）は、短冊４１の１つを拡大した図と、短冊４１の横方向の画素数と同じビット数を備えるラインバッファ（メモリ）３１を示す図である。図４（ｂ）に示すように、ラインバッファ３１は短冊４１の複数のラインを読み出すことが可能であり、読み出せるライン数はラインバッファのライン数で決まる。
【０００７】
前述したように、垂直方向の光学歪み補正は、撮像レンズ固有の歪み関数によって、出力画像の出力位置から入力画像の参照する位置を逆算することにより行う。この演算は、ラインバッファで読み出したデータ内で行い、必要なバッファ量は歪みの曲率に応じて異なるが、予め用意されたライン数以上の補正は不可能である。
【特許文献１】特開２００５−１１２６８号公報
【特許文献２】特開２００４−６４７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
図５は、短冊処理を用いて垂直方向の光学歪み（糸巻き歪み）補正を行う際の、正しい被写体像（出力ライン）について各画素から逆算したカーブと、このカーブを補正するにあたって必要となるラインバッファの量について示している。たる歪み及び糸巻き歪みの特性から、凹変化の逆算座標カーブを補正するためには出力ラインは下側に、凸変化の逆算座標カーブを補正するためには出力ラインは上側に存在することになるが、この逆算座標カーブはたる歪み・糸巻き歪みに関わらず、原点を通る水平軸を境に短冊内で凹凸が反転する。また前述したように、予め用意されたライン数以上の補正はできない。このため、両カーブに対応するために、出力ラインを挟んで上下にラインバッファを持つ必要がある。しかし、この出力ラインの上下のラインバッファは同時にデータを使用することがなく、上又は下のデータのみを使用している。このため、無駄にラインバッファのライン数が多くなり、ラインバッファへの書き込み時間が長くなるという欠点があった。
【０００９】
本発明はこのような事情に鑑みてなされたもので、処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が短縮できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために請求項１に係る撮像装置は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別手段と、前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御手段とを備えたことを特徴とする。
【００１１】
これにより処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が短縮できる。
【００１２】
請求項２に示すように請求項１に記載の撮像装置において、前記制御手段は、前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最上段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最下段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第１、第４象限の場合は前記ラインバッファの読み出し方向を右から左に設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第２、第３象限の場合は前記ラインバッファの読み出し方向を左から右に設定して前記ラインバッファからの画像データの読み出しを制御することを特徴とする。
【００１３】
前記目的を達成するために請求項３に係る撮像装置は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御手段と、前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御手段と、前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替手段とを備えたことを特徴とする。
【００１４】
これにより、歪みの大きさに応じた適切なラインバッファ制御に切り替えることができる。
【００１５】
請求項４に示すように請求項３に記載の撮像装置において、画像データを取得したときの撮影レンズのズーム比から前記画像データの垂直方向の光学歪みの歪み量を算出する算出手段と、前記歪み量と所定の閾値とを比較することにより、前記歪み量の大小を判定する判定手段とを備え、前記切替手段は、前記判定手段が前記歪み量を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記判定手段が前記歪み量を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする。
【００１６】
このように、撮影レンズのズーム比により２つのラインバッファを水平方向に接続するか垂直方向に接続するかを判断することにより、ズーム比が小さく歪みが大きいときには補正量を大きくし、ズーム比が大きく歪みが小さいときには、歪み補正処理時間を短縮することができる。
【００１７】
請求項５に示すように請求項３に記載の撮像装置において、前記フレームの原点を通る垂直軸と前記ラインバッファを介して読み出される画像データとの距離を測定する手段と、前記距離と所定の閾値とを比較することにより、前記距離の大小を判定する距離判定手段とを備え前記切替手段は、前記距離判定手段が前記距離を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記距離判定手段が前記距離を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする。
【００１８】
このように、画面のフレームの中心から距離により２つのラインバッファを水平方向に接続するか垂直方向に接続するかを判断することにより、画面の端で歪みが大きいときにはラインバッファを垂直に接続することにより補正量を大きくし、画面の中心近傍で歪みが小さいときにはラインバッファを水平に接続することにより歪み補正処理時間を短縮することができる。
【００１９】
前記目的を達成するために請求項６に記載の画像処理方法は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別工程と、前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御工程とを備えたことを特徴とする画像処理方法。
【００２０】
前記目的を達成するために請求項７に記載の画像処理方法は、撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御工程と、前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御工程と、前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替工程とを備えたことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、撮像レンズの光学歪みの特性と、処理を行う短冊が画面のどの象限であるかに基づいて、ラインバッファの制御を切り換えることにより、処理に必要なラインバッファのライン数を半減し、ラインバッファへの書き込み時間が必要最低限で済む撮像装置を提供することができる。また同数のラインバッファを使用した場合には、歪みの補正可能範囲が大きい撮像装置を提供することができる。また、撮影時のレンズのズーム比や処理短冊の画面内の位置により、２つのラインバッファを水平に接続して歪み補正を行うか、垂直に接続して歪み補正を行うかを切り替えることにより、歪みの大きさに応じた適切なラインバッファ制御を行う撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、添付図面に従って本発明に係る撮像装置の好ましい実施の形態について説明する。
【００２３】
＜第１の実施の形態＞
図６は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【００２４】
同図においてＣＰＵ１９は、操作スイッチ１８の入力に基づいてデジタルカメラ１内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。
【００２５】
このＣＰＵ１９の各回路の制御は、ＢＵＳ１６を介しておこなう。またＣＰＵ１９は、ＲＯＭ２１及びメインメモリ２０との間で、必要なデータの授受を行う。ＲＯＭ２１には、カメラ制御プログラム、起動時のオープニング画像、停止時のエンディング画像、デジタルカメラ１の操作に使用するメニュー画像等のＧＵＩ用の画像、スクリーンセイバー用の画像、処理中のプログレス表示用の画像（目盛りが変化する砂時計の画像等）、キー操作音（シャッター音等）、警告音、及びエラー音等を示す音声データ等が記録されている。
【００２６】
まず電源が投入されると、ＣＰＵ１９はこれを検出し、カメラ内電源をＯＮにし、一定期間ＲＯＭ２１に格納されているオープニング画像を表示した後、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ１９は、ＬＣＤ２６に動画（スルー画）を表示させる。
【００２７】
ユーザ（撮影者）は、ＬＣＤ２６に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。
【００２８】
上記撮影スタンバイ状態時に操作スイッチ１８の１つであるレリーズボタンが押されると、操作スイッチインターフェース１７を介してＣＰＵ１９にレリーズ信号が入力され、ＣＰＵ１９は、ＡＦ制御部１１を介して撮像レンズ１０を駆動し、撮像レンズ１０を介してＣＣＤ１２の受光面上に被写体像を結像させる。ＣＣＤ１２は、受光面に結像された被写体像をその光量に応じた量のＲ、Ｇ、Ｂの信号電荷に変換する。この信号電荷は、ＣＰＵ１９の指令に従いＣＤＳ／ＡＭＰ回路１３に送られ、ここで相関二重サンプリング処理された後増幅され、Ａ／Ｄ変換器１４に加えられる。
【００２９】
Ａ／Ｄ変換器１４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、メインメモリ２０に記憶される。
【００３０】
メインメモリ２０に記憶されたＲ、Ｇ、Ｂ信号は、ＣＰＵ１９の指令に従い、図示しない水平方向光学歪み補正部によって水平方向の光学歪みが補正され、次に垂直方向光学歪み補正部２７によって垂直方向の光学歪みが補正される。その後、画像信号処理部１５により輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）に変換されるとともに、ガンマ補正等の所定の処理が施され、再びメインメモリ２０に格納される。
【００３１】
上記のようにしてメインメモリ２０に格納されたＹＣ信号は、圧縮伸張部２４によって所定のフォーマットに圧縮されたのち、メディア制御部２２を介してデジタルカメラ１に着脱自在な記録メディア２３に記録される。
【００３２】
また操作スイッチ１８を操作して再生モードが選択されると、記録メディア２３に記録されている最終コマの画像ファイルがメディア制御部２２を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸張部２４を介して非圧縮のＹＣ信号に伸張される。
【００３３】
伸張されたＹＣ信号は、ＬＣＤ制御部２５によって表示用の信号形式に変換されてＬＣＤ２６に出力される。これにより、ＬＣＤ２６には記録メディア２３に記録されている最終コマの画像が表示される。
【００３４】
次に、垂直方向光学歪み補正部２７について説明する。図７は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【００３５】
垂直方向光学歪み補正部２７は、メインメモリ２０との間で読み書きするデータを記憶するためのラインバッファ３１と、メインメモリ２０とラインバッファ３１との間のＤＭＡ転送を制御するＤＭＡコントローラ３０と、演算により光学歪みを補正する演算部３２から構成されている。
【００３６】
ラインバッファ３１はＤＭＡコントローラ３０と接続されており、ＤＭＡコントローラ３０は、ＢＵＳ１６を介したメインメモリ２０内の、ＣＰＵ１９からのアドレス指定に応じた撮影画像データの一部（縦長の短冊に分割した撮影画像の、短冊内におけるラインバッファと同ワード分のデータ）を、ラインバッファ３１へ転送する。演算部３２はＢＵＳ１６を介したＣＰＵ１９からの命令にしたがって、ラインバッファ３１内のデータを演算し、光学歪みの補正の演算を行い、その結果をメインメモリ２０に記憶させる。
【００３７】
次に、垂直方向の光学歪み補正について、図８〜図１３を用いて説明する。デジタルカメラ１は、撮影した画像に対してたる歪みか糸巻き歪みかの判断を行い、また撮影画像を４つの象限に分割し、歪み補正処理を行う短冊のデータがどの象限に属するかの判断を行うことにより、少ないライン数のラインバッファで効率よく垂直方向の光学歪み補正を行う。
【００３８】
図８は、本発明に係る第１の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正の流れを示すフローチャートである。最初に、光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。光学歪み補正のパラメータには、たる歪みを補正するか糸巻き歪みを補正するかの補正タイプと、その補正量が含まれている。たる歪みであるか糸巻き歪みであるかは、撮影したレンズの特性で決まり、１つの画像内で補正タイプが変化することは無いため、最初に設定を行う。また前述したように、ズーム比毎にレンズの光学歪みを高次関数によって近似することにより、補正量を算出する。
【００３９】
次に補正タイプの判定を行う（ステップＳ８０２）。設定された補正タイプがたる歪みの場合はステップＳ８０３へ、糸巻き歪みの場合はステップＳ８１０へ進む。次に、歪み補正処理を行う領域がどの象限に属するかを判定する。
【００４０】
ここで、象限について図９を用いて説明する。図９は、撮影画像の中心（原点）を通る水平軸（Ｘ軸）及び垂直軸（Ｙ軸）の２つの軸によって、撮影画像を４つの象限に分割したことを示す図である。ここで、Ｘ軸より上且つＹ軸より右を第１象限、Ｘ軸より上且つＹ軸より左を第２象限、Ｘ軸より下且つＹ軸より左を第３象限、Ｘ軸より下且つＹ軸より右を第４象限とする。
【００４１】
また、ラインバッファの読み出しの制御における４つのタイプについて説明する。ラインバッファの読み出しの制御には、図１０（ａ）に示す、読み出しを開始する基準ラインを最上段に持ち、右側のビットから順に左側へビットを読み出すＴｙｐｅ１、図１０（ｂ）に示す、基準ラインを最下段に持ち、右側のビットから順に左側へビットを読み出すＴｙｐｅ２、図１０（ｃ）に示す、基準ラインを最上段に持ち、左側のビットから順に右側へビットを読み出すＴｙｐｅ３、及び図１０（ｄ）に示す、基準ラインを最下段に持ち、左側のビットから順に右側へビットを読み出すＴｙｐｅ４の４種類がある。
【００４２】
図８のフローチャートにおいて、補正タイプがたる歪みの場合は、ステップＳ８０３〜Ｓ８０５において処理を行う象限を判定し、判定された象限に対応したラインバッファの読み出しの制御タイプを割り当てる（ステップＳ８０６〜Ｓ８０９）。また補正タイプが糸巻き歪みの場合は、ステップＳ８１０〜Ｓ８１２において処理を行う象限を判定し、同様に判定された象限に対応したラインバッファの読み出しの制御タイプを割り当てる（ステップＳ８０６〜Ｓ８０９）。
【００４３】
図１１（ａ）に示すように、たる歪みの補正においては、第１象限ではＴｙｐｅ３、第２象限ではＴｙｐｅ１、第３象限ではＴｙｐｅ２、及び第４象限ではＴｙｐｅ４のラインバッファ制御を用いる。また図１１（ｂ）に示すように、糸巻き歪みの補正においては、第１象限ではＴｙｐｅ４、第２象限ではＴｙｐｅ２、第３象限ではＴｙｐｅ１、及び第４象限ではＴｙｐｅ３のラインバッファ制御を用いる。
【００４４】
ラインバッファの制御の割り当てが終了すると、撮影画像を複数の縦長の短冊に断片化し、短冊毎に歪み補正を行う。断片化された短冊の横方向の画素数とラインバッファの１ラインのビット数は一致しており、また短冊の横方向の画素数は、撮影画像の横方向の画素数の２分の１の約数となっており、短冊が第１象限と第２象限、又は第３象限と第４象限をまたぐことがないように構成されている。ここでは、図１２〜図１９を用いて、たる歪みの補正を例に取り、説明する。
【００４５】
図１２（ａ）は、水平方向の歪み補正がされた撮影画像を実線で示しており、垂直方向の歪み補正後の画像の最外周の逆算座標カーブを点線で示している。歪み補正処理は、撮影画像の左の短冊から行われ、１つの短冊の処理が終わると、その右側の短冊の処理へと移行する。図１２（ｂ）は、最も左側の短冊の上部を拡大した図である。
【００４６】
前述したとおり、補正タイプがたる歪みの場合の第２象限ではＴｙｐｅ１のラインバッファ制御を用いる。即ち、読み出し基準ラインを最上段に持ち、右側のビットから順に左側へビットを読み出す。図１２（ｃ）は、この短冊の最上段からラインバッファ３１のライン数分をラインバッファ３１に書き込んだことを示す図である。前述したようにこの書き込みは、ＣＰＵ１９によりアドレス指定されたＤＭＡコントローラ３０によって行われる。ここでは、最外周の逆算座標カーブが、読み出し開始位置である最上段の読み出し基準ラインの右端に達していないため、最外周の逆算座標カーブが読み出し開始位置に達するまで、ＣＰＵ１９はＤＭＡコントローラ３０に指定するアドレスをインクリメントして、ラインバッファ３１のデータの書き込みを行う。即ち、縦長の短冊に対して、１段ずつラインバッファ３１を下げて短冊のデータの書き込みを行う。
【００４７】
図１３は、図１２の状態から短冊に対してラインバッファ３１を２段下げ、読み出し開始位置に最外周の逆算座標カーブが到達した状態を示している。このように読み出し開始位置に最外周の逆算座標カーブが到達すると、垂直方向光学歪み補正部２７の演算部３２が、逆算座標カーブに沿って画素の入替を行う。図１４（ａ）に示すように、ラインバッファ３１内において、最外周の逆算座標カーブは、座標Ｌ１、Ｋ１、Ｊ１、Ｉ２、Ｈ２、Ｇ２、Ｆ２、Ｅ２、Ｄ３、Ｃ３、Ｂ３、及びＡ４上に存在する。演算部３２はラインバッファ３１からこの画素を順次読み出して１つのラインのデータとし（図１４（ｂ））、メインメモリ２０内の、処理中の画像データとは別の領域である補正済み短冊領域の最上段のラインに書き込む（図１４（ｃ））。
【００４８】
次に、ラインバッファ３１の読み出し基準ラインが、現在処理を行っている短冊の最終ラインかどうかの判断を行い（ステップＳ８１４）、最終ラインでない場合は、ラインバッファ３１の中心がＸ軸と重なっているかどうかの判断を行う（ステップＳ８１５）。ラインバッファ３１の中心がＸ軸と重なっていない場合は、ステップＳ８１３に戻り、処理を継続する。
【００４９】
ステップＳ８１３に戻ると短冊に対してラインバッファ３１をさらに１段下げ、短冊のデータをラインバッファ３１に書き込む。そして読み出し開始位置を通る逆算座標カーブの歪み補正を行い、補正済み短冊領域の前回書き込んだラインの１段下側のラインに、この補正データを書き込む。
【００５０】
以下同様に、ラインバッファ３１を短冊に対して１段ずつ下げて、短冊データをラインバッファ３１に書き込み、読み出し開始位置を通る逆算座標カーブの歪み補正を行い、補正済み短冊領域の前回書き込んだラインの１段下のラインに書き込んでいく。
【００５１】
処理が進み、ラインバッファ３１の中心がＸ軸と重なった場合（ステップＳ８１５）は、歪み補正処理を行う領域を下側の象限に変更する（ステップＳ８１６）。
【００５２】
図１５は、ラインバッファ３１の中心がＸ軸と重なった様子を示した図である。図１５（ａ）は、撮影画像を示しており、図１５（ｂ）は、最も左側の短冊の中心部を拡大して示した図であり、図１５（ｃ）は、中心がＸ軸と重なった位置にある状態のラインバッファ３１を示す図である。ここまで第２象限の歪み補正を行ってきたが、ここから第３象限の歪み補正を行う。またこの状態において、短冊のデータをラインバッファ３１に書き込み、歪み補正をせずにそのまま補正済み短冊領域に書き込む。
【００５３】
象限を変更してステップＳ８０３に戻ると、ステップＳ８０３〜Ｓ８０５において、処理を行う象限が第３象限であると判断し、ラインバッファ制御はＴｙｐｅ２が選択される。前述したように、Ｔｙｐｅ２では読み出しを開始する基準ラインを最下段に持ち、右側のビットから順に左側へビットを読み出す制御を行う。
【００５４】
バッファ制御の種類が選択されると、これまでと同様に、ラインバッファ３１を１段ずつ下げ、光学歪み補正を行う（ステップＳ８１３）。図１６（ａ）は、最も左側の短冊の第３象限の部分を拡大した図であり、これから処理を行う逆算座標カーブを点線で示している。図１６（ｂ）は、これから処理を行う領域をラインバッファに書き込んだことを示す図である。ラインバッファ３１の読み出し制御がＴｙｐｅ２であるので、最下段の右端の読み出し開始位置を通る逆算座標カーブについて補正を行う。
【００５５】
ラインバッファ３１の読み出し制御がＴｙｐｅ１であった第１象限と同様に、垂直方向光学歪み補正部２７の演算部３２が、逆算座標カーブに沿って画素の入替を行う。図１７（ａ）に示すように、ラインバッファ内において、逆算座標カーブは、座標Ｌ６、Ｋ６、Ｊ６、Ｉ６、Ｈ６、Ｇ６、Ｆ６、Ｅ６、Ｄ５、Ｃ５、Ｂ５、及びＡ４上に存在するので、演算部３２はラインバッファ３１からこの座標の画素を順次読み出して、１つのラインのデータとし（図１７（ｂ））、補正済み短冊領域の該当する場所に書き込む（図１７（ｃ））。このように、象限の最終ラインに到達するまでラインバッファ３１を１段ずつ下げて、歪み補正処理を行っていく。
【００５６】
処理が進み、読み出し基準ラインが短冊の最終ラインに到達した場合（ステップＳ８１４）は、歪みが補正されたデータが格納されている補正済み短冊領域のデータを、処理を行った短冊に書き込む（ステップＳ８１７）。このように、メインメモリ２０内に撮影画像データとは別の補正済み短冊領域を備え、歪み補正後のデータを一時的に補正済み短冊領域に記憶し、１つの短冊の処理が全て終了してから撮影画像の短冊に補正済み短冊領域のデータを書き替えることにより、処理中の撮影画像の短冊のデータの上書きによる誤処理を防止する。
【００５７】
その後、処理を行った短冊が最後の短冊であるかどうかの判定を行い（ステップＳ８１８）、まだ処理を行っていない短冊がある場合は、右隣の短冊へ移行し（ステップＳ８１９）、歪み補正を行う。ここで、次の短冊における歪み補正の処理においても、ラインバッファ３１を短冊の上部から１段ずつ下へ下げて、同様の処理を行っていく。
【００５８】
図１８は、第１象限における歪み補正処理を示す図である。補正タイプがたる歪みの場合の第１象限では、Ｔｙｐｅ３のラインバッファ制御を用いる。即ち、読み出し基準ラインを最上段に持ち、左側のビットから順に右側へビットを読み出す。図１８（ａ）は、これから処理を行う短冊の領域をラインバッファ３１に書き込んだことを示す図であり、読み出し基準位置である座標Ａ１上を通る逆算座標カーブの歪み補正を行う。ここではＴｙｐｅ３のラインバッファ制御であるので、演算部３２は、ラインバッファ３１の左側から逆算座標カーブの存在する座標Ａ１、Ｂ１、Ｃ１、Ｄ１、Ｅ２、Ｆ２、Ｇ２、Ｈ２、Ｉ２、Ｊ３、Ｋ３、及びＬ４の画素を読み出して１つのラインのデータとし（図１８（ｂ））、補正済み短冊領域の該当するラインに書き込む（図１８（ｃ））。
【００５９】
また図１９は、第４象限における歪み補正処理を示す図である。補正タイプがたる歪みの場合の第４象限では、Ｔｙｐｅ４のラインバッファ制御を用いる。即ち、読み出し基準ラインを最下段に持ち、左側のビットから順に右側へビットを読み出す。図１９（ａ）は、これから処理を行う短冊の領域をラインバッファ３１に書き込んだことを示す図であり、読み出し基準位置である座標Ａ６上を通る逆算座標カーブの歪み補正を行う。ここではＴｙｐｅ４のラインバッファ制御であるので、演算部３２は、ラインバッファ３１の左側から逆算座標カーブの存在する座標Ａ６、Ｂ６、Ｃ６、Ｄ６、Ｅ６、Ｆ６、Ｇ６、Ｈ５、Ｉ５、Ｊ５、Ｋ５、及びＬ４の画素を読み出して１つのラインのデータとし（図１９（ｂ））、補正済み短冊領域の該当するラインに書き込む（図１９（ｃ））。
【００６０】
全ての短冊が終了し、最後の短冊であった場合（ステップＳ８１８）は、歪み補正が終了する。
【００６１】
図２０（ａ）及び（ｂ）はＴｙｐｅ１のラインバッファ制御のイメージを、図２０（ｃ）及び（ｄ）はＴｙｐｅ２のラインバッファ制御のイメージを示した図である。このように、象限によって読み出し基準ラインを最上段又は最下段のどちらかに設定することにより、図５に示した従来の技術よりラインバッファのライン数が半減したことがわかる。
【００６２】
本実施の形態では、短冊毎の歪み補正処理は、左側の短冊から処理を行ったが、右側の短冊から処理を行ってもよい。また短冊内の処理においては、ラインバッファ３１を上から下へ１段ずつ下げて処理を行ったが、ラインバッファ３１を下から上へ１段ずつ上げて処理を行ってもよい。
【００６３】
＜第２の実施の形態＞
本発明に係る第２の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正について、図２１〜図２４を用いて説明する。
【００６４】
レンズに起因する光学歪みはズームのステップ（倍率）により異なり、一般に広角側では歪みが大きく、望遠側では歪みが小さい。歪み補正を実現する際、歪みが大きい場合は垂直方向に多数バッファリングする必要があり、歪みが小さい場合はバッファ内の全てのラインを参照することはない。本発明に係る第２の実施の形態のデジタルカメラ１は、歪み補正のパラメータ（補正量）に応じて、２つのラインバッファを垂直に接続する構成にするか又は水平に接続する構成にするかを判断して切り替えることにより、効率よく垂直方向の光学歪み補正を行う。
【００６５】
まず、第２の実施の形態の垂直方向の光学歪み補正部２７について説明する。図２１は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。第１の実施の形態とは、ラインバッファ３１が、第１のラインバッファ３１ａ及び第２のラインバッファ３１ｂの２つから構成されているところが異っている。なお、この２つのラインバッファは異なるメモリであってもよいし、同一のメモリ内における異なるメモリ領域であってもよい。
【００６６】
次に、垂直方向の光学歪み補正の方法について説明する。図２２は、第２の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正の流れを示すフローチャートである。尚、図８に示した第１の実施の形態のフローチャートと共通の部分には同一の番号を付し、その詳細な説明は省略する。
【００６７】
第１の実施の形態と同様に、最初に光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。このパラメータは、撮影時の撮像レンズのズームステップ毎に決められる。光学歪み補正のパラメータには、たる歪みであるか糸巻き歪みであるかの補正タイプと、その補正量が含まれている。次に設定された補正量に基づいて、ラインバッファの構成を、ＴｙｐｅαまたはＴｙｐｅβのいずれかから選択する（ステップＳ２２１）。
【００６８】
ここで、図２３を用いてラインバッファ３１のＴｙｐｅαとＴｙｐｅβの構成及び選択方法について説明する。なお、図２３に点線で示した逆算座標カーブは一例を示したものである。
【００６９】
図２３（ａ）はバッファ構成のＴｙｐｅαを示した図であり、第１のラインバッファ３１ａと第２のラインバッファ３１ｂを垂直に接続した構成になっている。逆算座標カーブの変化率が大きいとき、即ち補正量が大きいときはこのＴｙｐｅαの構成を選択する。前述したように、予め用意されたライン数以上の補正は不可能であるため、歪みが大きいときは垂直に構成して補正量を増やす必要がある。
【００７０】
また図２３（ｂ）はバッファ構成のＴｙｐｅβを示した図であり、第１のラインバッファ３１ａと第２のラインバッファ３１ｂを水平に接続した構成になっている。逆算座標カーブの変化率が小さいとき、即ち補正量が小さいときはこのＴｙｐｅβの構成を選択する。この構成にすると補正できる量は小さくなるが、短冊幅が広がり、不要なラインが減少するために処理速度が向上する。
【００７１】
次に図２４を用いて、ラインバッファ３１の構成の、ＴｙｐｅαとＴｙｐｅβの切り換えの制御について説明する。図２４に示すように、第１のラインバッファ３１ａ及び第２のラインバッファ３１ｂは、セレクト用の入力端子であるＣＳ端子、書き込みイネーブル用の入力端子であるＷＥ端子を備え、また７ｂｉｔのアドレスバス及び８ｂｉｔのデータバスが接続されている。
【００７２】
図２４（ａ）はＴｙｐｅαの構成のときの制御を示す図である。第１のラインバッファ３１ａと第２のラインバッファ３１ｂのそれぞれについて、ＣＳ端子にはセレクト信号ＣＳ０及びＣＳ１、ＷＥ端子にはイネーブル信号ＷＥ０及びＷＥ１、アドレス端子にはアドレスバスＡＤＲ０及びＡＤＲ１、データ端子にはデータバスＤＡＴ０及びＤＡＴ１が接続され、それぞれを独立して制御することが可能である。このようにして、２つのラインバッファを垂直に構成して制御することが可能となる。
【００７３】
図２４（ｂ）はＴｙｐｅβの構成のときの制御を示す図である。セレクト信号ＣＳ０、イネーブル信号ＷＥ０、アドレスバスＡＤＲ０、及びデータバスＤＡＴ０を用いて、第１のラインバッファ３１ａと第２のラインバッファ３１ｂの２つのラインバッファを制御する。またアドレスバスの８ｂｉｔ目（ＡＤＲ０[７]信号）を用いて第１のラインバッファ３１ａと第２のラインバッファ３１ｂの選択を行う。
【００７４】
ＣＳ０信号をＨレベルにすると、ＡＤＲ０[７]信号及びインバータ４５によるその反転信号のＨ／Ｌレベルに応じて、第１のアンドゲート４１又は第３のアンドゲート４３のどちらか一方がＨレベルになる。これらのアンドゲートの出力はそれぞれ第１のラインバッファ３１ａと第２のラインバッファ３１ｂのＣＳ端子に入力されており、Ｈレベルが入力されたラインバッファが選択される。アドレスバスとデータバスが共通となっているが、ＣＳ端子の入力がＨレベルのラインバッファのみの読み出しが行われる。また書き込み時においても、ＷＥ０信号をＨレベルにすると、ＡＤＲ０[７]信号のＨ／Ｌレベルに応じて、第２のアンドゲート４２又は第４のアンドゲート４４のどちらか一方がＨレベルになり、ＷＥ端子の入力がＨレベルのラインバッファのみの書き込みが行われる。
【００７５】
ＴｙｐｅαとＴｙｐｅβの切り換えは、レジスタの設定を変更することによってＣＳ端子、ＷＥ端子、アドレス端子、及びデータ端子の入力信号を切り替えることにより可能となっている。このように制御回路を切り換えることにより、ＤＭＡコントローラ３０及び演算部３２は、２つのラインバッファを垂直に構成しても水平に構成しても、１つのラインバッファのように扱うことが可能となる。
【００７６】
図２２のステップＳ２２１において、ラインバッファ構成についてのＴｙｐｅαまたはＴｙｐｅβの選択が終わると、ここからのフローは第１の実施の形態と同様である。
【００７７】
このように、歪み補正の補正量が小さい場合には、２つのラインバッファを水平方向に構成し、短冊幅を大きくすることで処理速度の向上を実現することができる。また歪み補正の補正量が大きい場合には、２つのラインバッファを垂直方向に構成し、補正量幅を増やすことで、必要な補正をすることが可能となる。
【００７８】
本実施の形態においては、２つのラインバッファを、垂直方向に接続する構成、又は水平方向に接続する構成の２通りについて切り替えたが、その他に１つのラインバッファのみを使用する構成を含め、３通りについて切り替えてもよい。
【００７９】
また本実施の形態では、２つのラインバッファを用いて垂直に接続、又は水平に接続を切り替えたが、３つ以上のラインバッファを用いて垂直に接続、又は水平に接続してもよい。また４つのラインバッファを用いて、補正量によって縦横比の構成を１×４、２×２、４×１のように切り換えてもよい。
【００８０】
＜第３の実施の形態＞
本発明に係る第３の実施の形態のデジタルカメラ１の、垂直方向の光学歪み補正について、図２５〜２６を用いて説明する。本発明に係る第３の実施の形態のデジタルカメラ１は、処理を行う短冊の、画像の中心（原点）を通る垂直軸（Ｙ軸）からの距離に応じて、２つのラインバッファを垂直に接続する構成にするか又は水平に接続する構成にするかを判断して切り替えることにより、効率よく垂直方向の光学歪み補正を行う。
【００８１】
図２５は、デジタルカメラ１の垂直方向の光学歪み補正の流れを示すフローチャートである。尚、図８に示した第１の実施の形態のフローチャートと共通の部分には同一の番号を付し、その詳細な説明は省略する。
【００８２】
第１の実施の形態と同様に、最初に光学歪み補正のパラメータ設定を行う（ステップＳ８０１）。次に、処理を行う短冊がどの位置に属するかを判定し（ステップＳ２５１）、ラインバッファの構成を決定する（ステップＳ２５２、ステップＳ２５３）。本実施の形態のデジタルカメラ１は、第２の実施の形態のデジタルカメラと同様に、ラインバッファ３１ａとラインバッファ３１ｂを備え、２つのラインバッファを垂直に接続する構成のＴｙｐｅαと、水平に接続する構成のＴｙｐｅβの２種類の切り換え制御が可能となっている。
【００８３】
ここで、出力短冊の先頭座標とラインバッファの構成について、図２６を用いて説明する。図２６（ａ）はたる歪みの画像を、図２６（ｂ）は糸巻き歪みの画像を示した図であり、ともに撮影した画像を実線で、撮像された被写体の歪みの大きさを点線で示している。画像中央から距離を増すごとに垂直方向の歪み量は大きくなり、この傾向はたる歪み、糸巻き歪みのどちらの歪みにも共通している。第２の実施の形態で説明したとおり、２つのラインバッファを備えた場合、歪みが大きいときは垂直に接続して補正量を増やす必要があり、歪みが小さいときは水平に接続した方が処理速度が向上するため有利である。図２６（ｃ）は、垂直方向の光学歪み補正を行う場合の、２つのバッファ構成の割り当てを示した図である。前述したように、画面中央近傍では歪みが小さいため水平に接続する構成のＴｙｐｅβを、画面端では歪みが大きいため垂直に接続する構成のＴｙｐｅαを採用する。本実施の形態では、中心からｘ以内は歪みが少ないと判断しＴｙｐｅβを、ｘ以上は歪みが多いと判断してＴｙｐｅαを採用する。なおこの距離ｘについては、撮影レンズのズーム倍率により値が異なってくる。
【００８４】
このように、処理を行う短冊のＹ軸からの距離を判断して、ラインバッファの構成を切り替えた後、第１の実施の形態と同様に歪み補正処理を行う。なお、この短冊とＹ軸からの距離の判断については短冊毎に行う必要があるため、ステップＳ８１９において次の短冊へ移行する場合には、ステップＳ２５１に戻って、次の短冊のＹ軸からの距離を判断する。
【００８５】
このように、処理を行う短冊のＹ軸からの距離を判断して、２つのラインバッファを垂直に接続するか又は水平に接続するかを切り替えることにより、効率のよい垂直方向の光学歪み補正を実現することができる。
【図面の簡単な説明】
【００８６】
【図１】図１は、従来の光学歪み補正の流れを示す図である。
【図２】図２は、たる歪みの補正について示す図である。
【図３】図３は、糸巻き歪みの補正について示す図である。
【図４】図４は、短冊処理について示した図である。
【図５】図５は、出力ラインについて各画素から逆算したカーブと、必要となるラインバッファの量について示した図である。
【図６】図６は、本発明に係る第１の実施の形態のデジタルカメラ１の内部構成の一例を示すブロック図である。
【図７】図７は、垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【図８】図８は、第１の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図９】図９は、撮影画像を４つの象限に分割したことを示す図である。
【図１０】図１０は、ラインバッファ３１の読み出しの制御における４つのタイプを示す図である。
【図１１】図１１は、たる歪み、糸巻き歪みの各象限におけるラインバッファ３１の読み出し制御のタイプの割り当てを示す図である。
【図１２】図１２は、補正タイプがたる歪み、出力座標象限が第２象限のときの補正処理を示した図である。
【図１３】図１３は、ラインバッファ３１の制御を示す図である。
【図１４】図１４は、ラインバッファ３１のＴｙｐｅ１の制御における歪み補正を示す図である。
【図１５】図１５は、ラインバッファ３１がＸ軸をまたいでいることを示す図である。
【図１６】図１６は、ラインバッファ３１の制御を示す図である。
【図１７】図１７は、ラインバッファ３１のＴｙｐｅ２の制御における歪み補正を示す図である。
【図１８】図１８は、ラインバッファ３１のＴｙｐｅ３の制御における歪み補正を示す図である。
【図１９】図１９は、ラインバッファ３１のＴｙｐｅ４の制御における歪み補正を示す図である。
【図２０】図２０は、ラインバッファ３１のＴｙｐｅ１とＴｙｐｅ２の処理のイメージを示した図である。
【図２１】図２１は、第２の実施の形態の垂直方向光学歪み補正部２７の内部構成を示すブロック図である。
【図２２】図２２は、第２の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図２３】図２３は、２つのラインバッファの垂直方向の接続、及び水平方向の接続を示す図である。
【図２４】図２４は、ラインバッファ３１のＴｙｐｅαとＴｙｐｅβの切り換えの制御を示す図である。
【図２５】図２５は、第３の実施の形態の垂直方向の光学歪み補正の流れを示すフローチャートである。
【図２６】図２６は、画像のＹ軸からの距離と、ラインバッファ３１のＴｙｐｅαとＴｙｐｅβの制御の割り当てを示す図である。
【符号の説明】
【００８７】
１…デジタルカメラ、１０…撮像レンズ、１５…画像信号処理部、１６…ＢＵＳ、１９…ＣＰＵ、２０…メインメモリ、２１…ＲＯＭ、２７…垂直方向光学歪み補正部、３０…ＤＭＡコントローラ、３１…ラインバッファ、３１ａ…第１のラインバッファ、３１ｂ…第２のラインバッファ、３２…演算部、４１…第１のアンドゲート、４２…第２のアンドゲート、４３…第３のアンドゲート、４４…第４のアンドゲート、４５…インバータ
【特許請求の範囲】
【請求項１】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、
前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、
前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別手段と、
前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、
前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最上段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最下段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第１、第４象限の場合は前記ラインバッファの読み出し方向を右から左に設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第２、第３象限の場合は前記ラインバッファの読み出し方向を左から右に設定して前記ラインバッファからの画像データの読み出しを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、
前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、
前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御手段と、
前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御手段と、
前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替手段と、
を備えたことを特徴とする撮像装置。
【請求項４】
画像データを取得したときの撮影レンズのズーム比から前記画像データの垂直方向の光学歪みの歪み量を算出する算出手段と、
前記歪み量と所定の閾値とを比較することにより、前記歪み量の大小を判定する判定手段と、を備え、
前記切替手段は、前記判定手段が前記歪み量を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記判定手段が前記歪み量を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記フレームの原点を通る垂直軸と前記ラインバッファを介して読み出される画像データとの距離を測定する手段と、
前記距離と所定の閾値とを比較することにより、前記距離の大小を判定する距離判定手段と、を備え、
前記切替手段は、前記距離判定手段が前記距離を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記距離判定手段が前記距離を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、
前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、
前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別工程と、
前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御工程と、
を備えたことを特徴とする画像処理方法。
【請求項７】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、
前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、
前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御工程と、
前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御工程と、
前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替工程と、
を備えたことを特徴とする画像処理方法。
【請求項１】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、
前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、
前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別手段と、
前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、
前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最上段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記撮影レンズの光学歪みが糸巻き歪みであり、かつ前記判別された象限が第１、第２象限の場合、及び前記撮影レンズの光学歪みが樽歪みであり、かつ前記判別された象限が第３、第４象限の場合には、前記ラインバッファからの読み出しを開始する基準ラインを最下段のラインに設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第１、第４象限の場合は前記ラインバッファの読み出し方向を右から左に設定して前記ラインバッファからの画像データの読み出しを制御し、前記判別された象限が第２、第３象限の場合は前記ラインバッファの読み出し方向を左から右に設定して前記ラインバッファからの画像データの読み出しを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する撮像装置において、
前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、
前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御手段と、
前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御手段と、
前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替手段と、
を備えたことを特徴とする撮像装置。
【請求項４】
画像データを取得したときの撮影レンズのズーム比から前記画像データの垂直方向の光学歪みの歪み量を算出する算出手段と、
前記歪み量と所定の閾値とを比較することにより、前記歪み量の大小を判定する判定手段と、を備え、
前記切替手段は、前記判定手段が前記歪み量を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記判定手段が前記歪み量を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記フレームの原点を通る垂直軸と前記ラインバッファを介して読み出される画像データとの距離を測定する手段と、
前記距離と所定の閾値とを比較することにより、前記距離の大小を判定する距離判定手段と、を備え、
前記切替手段は、前記距離判定手段が前記距離を前記所定の閾値より小さいと判定したときは第１の制御手段に、前記距離判定手段が前記距離を前記所定の閾値より大きいと判定したときは第２の制御手段に、前記ラインバッファの制御を切り替えることを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、
前記ラインバッファは、前記撮影レンズの垂直方向の光学歪みであって、前記短冊の幅内での生じる最大歪みに相当するライン数分のラインバッファであり、
前記ラインバッファを介して読み出される画像データが、前記フレームの第１象限から第４象限のうちの何れの象限内の画像データかを判別する判別工程と、
前記撮影レンズの光学歪みの特性と前記判別された象限とに基づいて前記ラインバッファから読み出しを開始する基準ラインを最上段のライン、又は最下段のラインのいずれかに設定するとともに、前記ラインバッファの読み出し方向を設定して、前記ラインバッファからの画像データの読み出しを制御する制御工程と、
を備えたことを特徴とする画像処理方法。
【請求項７】
撮影レンズ及び撮像素子を介して取得した１フレームの画像データをメモリに保持し、前記フレームを縦長の複数本の短冊に分割して前記メモリから各短冊ごとに画像データを読み出し、前記短冊の横方向の画素数と同じ画素数を記憶する複数ライン分のラインバッファに書き込み、このラインバッファからの読み出しライン位置を制御することにより前記撮影レンズの垂直方向の光学歪みを補正する画像処理方法において、
前記ラインバッファは、１からｎラインの第１のラインバッファと、ｎ＋１から２ｎラインの第２のラインバッファとからなり、
前記第１のラインバッファと第２のラインバッファとを水平方向に接続し、隣接する２つの短冊の画像データの光学歪みを同時に補正する第１の制御工程と、
前記第１のラインバッファと第２のラインバッファとを垂直方向に接続し、光学歪みの補正可能な範囲を２倍に拡大して光学歪み補正を行う第２の制御工程と、
前記第１の制御手段による制御と第２の制御手段による制御とを切り替える切替工程と、
を備えたことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００８−２３６５４４（Ｐ２００８−２３６５４４Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７５２４９（Ｐ２００７−７５２４９）
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２２日（２００７．３．２２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]