撮影装置
【課題】撮影時のレンズ及びズーム率に対応する歪曲収差係数を算出する事が可能な撮影装置を提供する。
【解決手段】撮影装置１０は、撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部２０と、撮影部２０がそれぞれ異なる撮影姿勢で撮影を行うことで得られる複数の画像情報から特徴点を抽出し、一の画像情報から抽出された特徴点と、他の画像情報から抽出された特徴点とから、被写体上の同一点を示す特徴点の組を探索し、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定し、推定された撮影姿勢に基づいて、レンズの歪曲収差係数を算出する歪曲収差係数算出部５０と、を備える。
【解決手段】撮影装置１０は、撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部２０と、撮影部２０がそれぞれ異なる撮影姿勢で撮影を行うことで得られる複数の画像情報から特徴点を抽出し、一の画像情報から抽出された特徴点と、他の画像情報から抽出された特徴点とから、被写体上の同一点を示す特徴点の組を探索し、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定し、推定された撮影姿勢に基づいて、レンズの歪曲収差係数を算出する歪曲収差係数算出部５０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置に関する。
【背景技術】
【０００２】
レンズを用いて撮影された画像には、歪曲収差が発生する。化学的なフィルムを用いたカメラにおいては、このような歪曲収差を補正することは困難であったが、近年普及しているデジタルスチルカメラにおいては、例えば特許文献１、２に記載されているように、歪曲収差を補正することができるようになってきている。
【０００３】
ここで、デジタルスチルカメラが取得した画像の歪曲収差補正は、収差情報の取得と画像の幾何変換という２つの段階からなる。
【０００４】
［収差情報の取得］
撮像面上（撮像素子の面上）の光学的な結像点（実際の投影点）と、歪曲収差が無いと仮定したときの結像点（真の投影点）とについて、各点の座標の対応を表すものが収差情報である。
【０００５】
この収差情報は様々な形式で表すことができるが、投影中心（光軸と撮像素子の面との交点）からの距離（像高）ｒを用いた式が用いられることが多い。
【０００６】
実際の投影点を（ｘｒ，ｙｒ）、真の投影点を（ｘｉ，ｙｉ）、投影中心の座標を（ｘｃ，ｙｃ）とする。このとき真の像高ｒｉと実際の像高ｒｒは式１で表される。
【０００７】
【数１】
…（１）
【０００８】
ここで、ｒｉとｒｒとの関係は、歪曲係数（歪曲収差係数）ｈ１、ｈ２を用いて式２で表される。
【０００９】
【数２】
…（２）
【００１０】
なお、測定誤差を考えると５次程度が必要十分とされる。偶数次項は使用されない。
［画像の幾何変換］
画像の幾何変換としては、対応点を補間する方式と、矩形変換による方式が広く用いられている。
【００１１】
対応点を補間する方式は、画像内の任意の点について真の投影点と実際の投影点とを１対１で対応させ、実際の投影点の画素値を補間するものである。精度は高いが計算量は比較的多くなる。
【００１２】
矩形変換による方式は、画像を複数の矩形領域に分割し、矩形変換によって出力画像を作成するものである。精度はやや落ちるが計算量は比較的少なくなる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２９０８６３号公報
【特許文献２】国際公開第２００８／０４４５９１Ａ１号
【特許文献３】特開平６−１４１２３７
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ところで、歪曲収差量は、レンズ及びズーム率毎に異なる。したがって、歪曲収差補正を正確に行うためには、撮影時のレンズ及びズーム率に対応する歪曲収差係数を取得する必要がある。この点について、特許文献１、２は、レンズユニットに予め登録（記憶）されている歪曲収差係数を取得する技術を開示する。しかし、特許文献１、２に開示された技術は、レンズユニットに歪曲収差係数が登録されていない場合には、歪曲収差係数を取得することができない。
【００１５】
なお、特許文献３には、２つの撮影装置を用いて画像を取得し、これらの画像の重複領域について幾何変換を行う技術を開示する。しかし、この技術は、重複領域において画像が２重にならないように幾何変換を行うものであって、歪曲収差を補正するものではない。
【００１６】
したがって、従来の技術には、撮影時のレンズ及びズーム率に対応する歪曲収差係数を取得することができない場合があるという問題があった。
【００１７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に取得することが可能な、新規かつ改良された撮影装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明のある観点によれば、撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部がそれぞれ異なる撮影姿勢で撮影を行うことで得られ、互いに一部の領域が重複する複数の画像情報の各々から特徴点を抽出する特徴点抽出部と、一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから、被写体上の同一点を示す特徴点の組を探索する特徴点相関部と、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定する姿勢推定部と、姿勢推定部が推定した撮影姿勢に基づいて、レンズの歪曲収差係数を算出する収差係数算出部と、を備えることを特徴とする、撮影装置が提供される。
【００１９】
この観点による撮影装置は、撮影時のレンズやズーム率がどのようなものであっても、画像情報に基づいて撮影姿勢を推定し、歪曲収差係数を算出することができる。したがって、撮影装置は、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に算出することができる。また、撮影装置は、撮影者が実際の風景を撮影したときに歪曲収差係数を算出することができるので、幾何情報が既知のチャート、サンプルを用いることなく、歪曲収差係数を算出することができる。
【００２０】
ここで、特徴点相関部は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が特徴点の組を構成する場合に、一の画像情報と他の画像情報とが相関すると判定し、姿勢推定部は、一の画像情報と他の画像情報とが相関すると判定された場合に、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定するようにしてもよい。この観点による撮影装置は、一の画像情報と他の画像情報とが相関する場合に、撮影姿勢を推定するので、撮影姿勢をより確実に推定することができる。
【００２１】
また、姿勢推定部は、以下の式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、以下の式（４）で表される姿勢行列Ｒを算出するようにしてもよい。
【００２２】
【数３】
…（３）
【００２３】
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、前記一の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、前記他の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【００２４】
【数４】
…（４）
【００２５】
この観点による撮影装置は、撮影姿勢を姿勢行列Ｒとして算出するので、撮影姿勢をより確実に推定することができる。
【００２６】
また、収差係数算出部は、姿勢行列Ｒに基づいて、一の画像情報から抽出された特徴点の真の像高を算出し、一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、一の画像情報から抽出された特徴点の実際の像高を算出し、算出された真の像高及び実際の像高と、以下の式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出するようにしてもよい。
【００２７】
【数５】
…（５）
【００２８】
この観点による撮影装置は、レンズやズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数ｈ１、ｈ２を算出することができる。
【００２９】
また、レンズを識別するための識別情報と、撮影部が前記被写体を撮影する際のズーム率に関するズーム率情報とを取得するレンズ情報取得部と、レンズ情報取得部が取得した情報と、収差係数算出部が算出した歪曲収差係数とを対比させて記憶する収差情報保存部と、を備えるようにしてもよい。
【００３０】
この観点による撮影装置は、収差情報保存部に保存された各歪曲収差係数がどのような条件で算出されたものであるのかを容易に判断することができる。
【００３１】
また、レンズ情報取得部が取得した情報に対応する歪曲収差係数を収差情報保存部から検索し、検索された歪曲収差係数に基づいて、撮影部が取得した画像情報を補正する収差補正部と、を備えるようにしてもよい。
【００３２】
この観点による撮影装置は、現在使用されているレンズ及びズーム率に応じた歪曲収差係数を用いて補正を行うことができるので、補正をより正確に行うことができる。
【発明の効果】
【００３３】
以上説明したように本発明による撮影装置は、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に取得することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態に係る撮影装置の構成を示すブロック図である。
【図２】同実施形態に係る歪曲収差係数算出部の構成を示すブロック図である。
【図３】撮影装置による処理の手順を示すフローチャートである。
【図４】撮影装置による処理の手順を示すフローチャートである。
【図５】表示部に表示されるガイドフレームを示す説明図である。
【図６】実際の風景及びこの風景を撮影したときに得られる画像を示す説明図である。
【図７】撮影者が撮影した画像を示す説明図である。
【図８】抽出された特徴点を示す説明図である。
【図９】撮影装置の撮影姿勢を示す説明図である。
【図１０】特徴点の対応付けを示す説明図である。
【図１１】歪曲収差補正による座標点の対応を示す説明図である。
【図１２】画素補間の概念を示す説明図である。
【図１３】歪曲収差の種類を示す説明図である。
【図１４】投影中心からの距離と歪曲比との関係を、歪曲収差の種類ごとに示すグラフである。
【発明を実施するための形態】
【００３５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３６】
［撮影装置１０の構成］
まず、図１に基づいて、撮影装置１０の概略構成について説明する。撮影装置１０は、いわゆるデジタルスチルカメラであって、撮影部２０と、レンズ情報取得部３０と、カメラ制御部４０と、歪曲収差係数算出部５０と、収差情報保存部６０と、収差補正部７０と、画像保存部８０と、表示部９０とを備える。なお、撮影装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。
【００３７】
撮影部２０は、レンズユニット２１と、撮像素子２２と、画像処理部２３とを備える。レンズユニット２１は、撮影装置１０に対して着脱可能となっており、一または複数のレンズＬ（図９参照）と、ズーム率、フォーカス、絞り、及びシャッタースピードを調整する調整機構と、レンズユニット２１に関する各種情報を記憶する保存部と、調整機構の制御や保存部に記憶された情報の出力等、レンズユニット２１に関する各種制御を行うレンズユニット制御部とを備える。保存部に記憶される情報は、例えば、レンズＬを識別するためのレンズＩＤ（識別情報）や、現在の（即ち撮影時の）ズーム率、フォーカス、絞り、及びシャッタースピードに関する撮影情報等が考えられる。レンズユニット２１は、撮影装置１０の外部の光を取り込み、取り込んだ光を、レンズＬを介して撮像素子２２に入射させる。
【００３８】
撮像素子２２は、撮像素子２２に入射された光に応じた電気信号（Ｒａｗ ｄａｔａ）を生成し、画像処理部２３に出力する。
【００３９】
画像処理部２３は、撮像素子２２から与えられた電気信号を画像情報に変換する。この画像情報は、画素毎に座標及び画素値（画素の色や輝度を示すもの）が設定されたものである。ここで、各画素の座標は、撮像素子２２上に定義され、投影中心を原点としたｘｙ平面上の座標として与えられる。ｘ座標及びｙ座標はいずれも整数となっている。投影中心は、レンズＬの光軸が撮像素子２２に交差する点である。レンズユニット２１のレンズによって歪曲収差が発生しているので、画像処理部２３が生成した画像情報には、歪曲収差による画像歪みが発生している。
【００４０】
画像処理部２３は、画像情報を歪曲収差係数算出部５０及び収差補正部７０に出力する。また、画像処理部２３は、表示部９０に、画像情報を表示する。
【００４１】
レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。
【００４２】
カメラ制御部４０は、撮影装置１０の各構成要素を制御する。また、カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差情報保存部６０及び収差補正部７０に出力する。
【００４３】
歪曲収差係数算出部５０は、画像処理部２３から与えられた画像情報に基づいて、歪曲収差の補正に必要な歪曲収差係数を算出し、この歪曲収差係数に関する収差情報を収差情報保存部６０に出力する。
【００４４】
収差情報保存部６０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報と、歪曲収差係数算出部５０から与えられた収差情報とを対応させて記憶する。すなわち、歪曲収差量は、撮影時のレンズ及びズーム率によって異なるので、歪曲収差の補正に必要な歪曲収差係数も、撮影時のレンズ及びズーム率によって値が変化する。そこで、本実施形態では、収差情報保存部６０が撮影時のレンズ（すなわちレンズＩＤ）及びズーム率と歪曲収差係数とを対応させて記憶することとした。
【００４５】
収差補正部７０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報に対応する収差情報を、収差情報保存部６０から検索する。そして、収差補正部７０は、検索した収差情報に基づいて、画像処理部２３から与えられた画像情報を補正する。収差補正部７０は、補正後の画像情報を画像保存部８０に出力する。画像保存部８０は、収差補正部７０から与えられた画像情報を保存する。
【００４６】
表示部９０は、ディスプレイ１００（図５参照）を有し、ディスプレイ１００に各種の画像を表示する。
【００４７】
［歪曲収差係数算出部５０の構成］
次に、図２に基づいて、歪曲収差係数算出部５０の構成について説明する。歪曲収差係数算出部５０は、特徴点抽出部５１と、特徴点相関部５２と、姿勢推定部５３と、収差係数算出部５４とを備える。
【００４８】
特徴点抽出部５１は、画像処理部２３から与えられた画像情報から特徴点を抽出する。ここで、特徴点とは、画像情報を構成する画素のうち、被写体の輪郭を構成するものである。特徴点を抽出する手法としては、特に限定されず、公知の手法が任意に適用される。特徴点抽出部５１は、特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。
【００４９】
特徴点相関部５２は、特徴点抽出部５１から一の画像情報に対応する特徴点抽出情報と、他の画像情報に対応する特徴点抽出情報とが与えられた際に、一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから被写体上の同一点を示す特徴点の組を探索する。ここで、後述するように、一の画像情報と他の画像情報とは、一部が重複している。
【００５０】
特徴点相関部５２は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上（例えば重複領域に存在する第１の特徴点の総数の８０％以上）の第１の特徴点が特徴点の組を構成する場合に、これらの画像情報が相関すると判定する。特徴点相関部５２は、一の画像情報と他の画像情報とが相関する場合には、探索された特徴点の組に関する特徴点相関情報を生成し、姿勢推定部５３及び収差係数算出部５４に出力する。
【００５１】
姿勢推定部５３は、特徴点相関部５２から与えられた特徴点相関情報に基づいて、以下の式（４）で表される姿勢行列Ｒを算出する。
【００５２】
【数６】
…（４）
【００５３】
次いで、姿勢推定部５３は、算出された姿勢行列Ｒに関する姿勢行列情報を収差係数算出部５４に出力する。
【００５４】
収差係数算出部５４は、特徴点相関部５２及び姿勢推定部５３から与えられた情報に基づいて、歪曲収差係数ｈ１、ｈ２を算出する。収差係数算出部５４は、算出された歪曲収差係数に関する収差情報を生成し、収差情報保存部６０に出力する。
【００５５】
［歪曲収差係数算出処理］
次に、図３に示すフローチャートに沿って、撮影装置１０による歪曲収差係数算出処理について説明する。なお、歪曲収差係数算出処理が行われるタイミングとしては、例えば、撮影装置１０への電源投入時、レンズユニット２１の交換時、撮影者から補正指示がなされた時（この場合、そのような指定を行うためのスイッチが撮影装置１０に別途設けられる）等が考えられる。撮影者は、歪曲収差係数算出処理が行われる間は、ズーム率を固定し、レンズユニット２１の交換も行わないものとする。
【００５６】
図３に示すステップＳ１０において、画像処理部２３は、表示画面１００に、図５（ａ）に示すガイドフレーム１０１〜１０５を表示する。なお、ガイドフレーム１０１〜１０５には番号が付されており、これらの番号はガイドフレームの順番を意味する。即ち、ガイドフレーム１０１〜１０５は、ガイドフレーム１０１から順次１個目、２個目、…、５５個目のガイドフレームとなる。
【００５７】
ガイドフレーム１０１の右上１／４の領域は、ガイドフレーム１０２の左下１／４の領域と重複しており、ガイドフレーム１０１の右下１／４の領域は、ガイドフレーム１０３の左上１／４の領域と重複している。ガイドフレーム１０１と他のガイドフレーム１０４、１０５とも同様にして一部の領域が重複している。このように、ガイドフレーム１０１と他のガイドフレームとは、それらの領域の１／４（２５％）が互いに重複しているが、少なくとも２０％以上の領域で重複していることが好ましい。また、ガイドフレームの数は５つに限定されない。
【００５８】
一方、レンズユニット２１は、外部からの光を常時取り込んで撮像素子２２に入射させ、撮像素子２２は、電気信号を画像処理部２３に出力する。画像処理部２３は、この電気信号に基づいて画像情報を生成する。
【００５９】
ステップＳ２０において、画像処理部２３は、図５（ａ）に示すように、１個目のガイドフレーム１０１をアクティブにし、ガイドフレーム１０１に画像情報を縮小表示する。これにより、画像処理部２３は、ライブビュー、即ち現在の撮影対象となっている風景をガイドフレーム１０１に表示する。例えば、図６（ａ）に示す風景（家屋Ａ１、樹木Ａ２〜Ａ４、ビルＡ５〜Ａ７、工場Ａ８を含む）が撮影の対象となる場合、画像処理部２３は、この風景の一部をライブビューとして表示する。
【００６０】
ステップＳ３０において、画像処理部２３は、撮影者から撮影指示（即ち、シャッタボタンの押下）があるまで待機する。一方、撮影者はガイドフレーム１０１に表示されたライブビューを参考にして撮影指示を出す（即ち、撮影を行う）。画像処理部２３は、操作者から撮影指示があった際にステップＳ４０に進む。
【００６１】
ステップＳ４０において、画像処理部２３は、撮影指示があった際にガイドフレーム１０１に表示されていた画像情報を１枚目の画像情報とし、特徴点抽出部５１に出力する。例えば、画像処理部２３は、図６（ｂ）に示す画像情報Ｐ１をガイドフレーム１０１にライブビューとして表示している際に、操作者から撮影指示があった際には、当該画像情報Ｐ１を１枚目の画像情報とする。なお、画像情報Ｐ１は、図９に示すように、撮影部２０が撮影姿勢Ｌ１及び視点（レンズＬの焦点）Ｂ１で撮影を行うことで取得される。撮影姿勢は、例えばレンズＬの位置や向き等で示されるが、具体的には、姿勢行列Ｒで示される。
【００６２】
ステップＳ５０において、特徴点抽出部５１は、１枚目の画像情報から特徴点を抽出する。ここで、特徴点は、上述した通り、被写体の輪郭を構成する画素である。例えば、１枚目の画像情報が図７（ａ）に示す画像情報Ｐ１となる場合、特徴点抽出部５１は、図８（ａ）に示すように、家屋Ａ１、樹木Ａ２、Ａ３、ビルＡ６の輪郭を構成する特徴点Ｑ１１〜Ｑ１２を抽出する。ついで、特徴点抽出部５１は、抽出した特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。
【００６３】
ステップＳ６０において、画像処理部２３は、次のガイドフレームをアクティブにする。例えば、画像処理部２３は、ガイドフレーム１０１がアクティブになっている場合には、図５（ｂ）に示すように、次のガイドフレーム１０２をアクティブにする。そして、画像処理部２３は、ステップＳ２０と同様に、アクティブなガイドフレームにライブビューを表示する。このとき、すでにガイドフレーム内に固定されている画像情報は、継続してそのガイドフレーム内に固定される。また、２枚の画像情報（ライブビュー含む）の重複領域は、画像処理部２３によってアルファブレンド処理がなされる。これにより、当該重複領域には、２枚の画像情報を重畳させたものが表示される。
【００６４】
ステップＳ７０において、画像処理部２３は、撮影者から撮影指示があるまで待機する。一方、撮影者は、アクティブなガイドフレームに表示されたライブビューの一部が１枚目の画像情報に一致するように、撮影装置１０の撮影姿勢を調整し、この状態で撮影を行う。例えば、ガイドフレーム１０２がアクティブとなる場合、ライブビューの左下１／４の部分が１枚目の画像情報の右上１／４の部分に一致するように、撮影装置１０の撮影姿勢を調整し、この状態で撮影を行う。画像処理部２３は、操作者から撮影指示があった際にステップＳ８０に進む。
【００６５】
ステップＳ８０において、画像処理部２３は、撮影指示があった際にアクティブなガイドフレームに表示されていた画像情報をＮ枚目の画像情報とし、特徴点抽出部５１に出力する。ここで、Ｎは２〜５の整数であり、アクティブなガイドフレームの順番を示す。
【００６６】
例えば、アクティブなガイドフレームがガイドフレーム１０２となる場合、Ｎ＝２となる。画像処理部２３は、図６（ｂ）に示す画像情報Ｐ２−１をライブビューとしてガイドフレーム１０２に表示している際に、操作者から撮影指示があった場合には、画像情報Ｐ２−１を２枚目の画像情報として取得する。画像情報Ｐ２−１の左下１／４の部分は、画像情報Ｐ１の右上１／４の部分に一致する。すなわち、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−１との重複領域Ｐ１２において、両者の画像が一致する。なお、画像情報Ｐ２−１は、図９に示すように、撮影部２０が撮影姿勢Ｌ２及び視点Ｂ２で撮影を行うことで取得される。
【００６７】
一方、画像処理部２３は、図６（ｃ）に示す画像情報Ｐ２−２をライブビューとしてガイドフレーム１０２に表示している際に、操作者から撮影指示があった場合には、画像情報Ｐ２−２を２枚目の画像情報として取得する。画像情報Ｐ２−２の左下１／４の部分は、画像情報Ｐ１の右上１／４の部分と異なる。すなわち、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−２との重複領域Ｐ１２において、両者の画像が異なっている。
【００６８】
ステップＳ９０において、特徴点抽出部５１は、Ｎ枚目の画像情報から特徴点を抽出する。例えば、特徴点抽出部５１は、２枚目の画像情報（Ｎ＝２）として、図７（ｂ）に示す画像情報Ｐ２−１を取得した場合、図８（ｂ）に示すように、家屋Ａ１、樹木Ａ２、Ａ３の輪郭を構成する特徴点Ｑ２１を抽出する。ついで、特徴点抽出部５１は、抽出した特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。なお、図７（ｂ）は画像情報２−１の一部を示す。
【００６９】
ステップＳ１００において、特徴点相関部５２は、特徴点抽出部５１から与えられた１枚目の画像情報に対応する特徴点抽出情報と、Ｎ枚目の画像情報に対応する特徴点抽出情報とに基づいて、１枚目の画像情報から抽出された第１の特徴点と、Ｎ枚目の画像情報から抽出された第２の特徴点とから被写体上の同一点を示す特徴点の組を探索する。特徴点相関部５２は、第１の特徴点のうち、１枚目の画像情報とＮ枚目の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上（例えば１枚目の画像情報とＮ枚目の画像情報との重複領域に存在する第１の特徴点の総数の８０％以上）の第１の特徴点が特徴点の組を構成する場合に、これらの画像情報が相関すると判定する。
【００７０】
例えば、図７（ａ）に示す１枚目の画像情報Ｐ１から図８（ａ）に示す第１の特徴点Ｑ１１、Ｑ１２が抽出され、図７（ｂ）に示す２枚目（Ｎ＝２）の画像情報Ｐ２−１から図８（ｂ）に示す第２の特徴点Ｑ２１が抽出された場合、すべての第１の特徴点Ｑ１１とすべての第２の特徴点Ｑ２１とはいずれも１枚目の画像情報と２枚目の画像情報との重複領域Ｐ１２に存在する。また、すべての第１の特徴点Ｑ１１とすべての第２の特徴点Ｑ２１とは、家屋Ａ１、及び樹木Ａ２、Ａ３上の同一点を構成するので、特徴点の組を構成する。したがって、すべての第１の特徴点Ｑ１１が特徴点の組を構成するので、特徴点相関部５２は、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−１とが相関すると判定する。図１０に、特徴点の組を構成する特徴点同士を連結した直線Ｃを示す。
【００７１】
一方、１枚目の画像情報が画像情報Ｐ１となり、２枚の画像が図６（ｃ）に示す画像情報Ｐ２−２となる場合、これらの画像情報から抽出される特徴点は、特徴点の組を構成しないので、特徴点相関部５２は、これらの画像情報が相関しないと判定する。
【００７２】
次いで、特徴点相関部５２は、１枚目の画像情報とＮ枚目の画像情報とが相関すると判定した場合には、ステップＳ１１０に進み、これらが相関しないと判定した場合には、ステップＳ１４０に進む。
【００７３】
ステップＳ１１０において、特徴点相関部５２は、１枚目の画像情報と５枚目の画像情報との相関がとれたか否かを判定し、これらの相関がとれたと判定した場合には、ステップＳ１２０に進み、これらの相関がとれていないと判定した場合には、ステップＳ６０にもどる。
【００７４】
ステップＳ１２０において、特徴点相関部５２は、１枚目の画像情報と２〜５枚目の画像のそれぞれとから得られる特徴点の組に関する特徴点相関情報を生成し、姿勢推定部５３及び収差係数算出部５４に出力する。
【００７５】
次いで、姿勢推定部５３は、特徴点相関情報に基づいて、上述した姿勢行列Ｒを、画像情報の組み合わせ（１枚目の画像情報と２〜５枚目の画像情報のそれぞれとの組み合わせ）毎に算出する。例えば、姿勢推定部５３は、１枚目の画像情報と２枚目の画像情報との組み合わせに対応する姿勢行列Ｒを以下のように算出する。すなわち、姿勢推定部５３は、以下の式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、姿勢行列Ｒを算出する。
【００７６】
【数７】
…（３）
【００７７】
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、１枚目の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、２枚目の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【００７８】
ここで、式（３）の導出過程について説明する。姿勢行列Ｒは、以下の式（６）で表される。
【００７９】
【数８】
…（６）
【００８０】
ここで、ｗは媒介変数であり、ｆは焦点距離である。ｆは１であっても一般性を失わない。ｋは１〜ｎの自然数である。
【００８１】
式（６）から媒介変数ｗを消去すると、以下の式（７）、（８）が得られる。
【００８２】
【数９】
…（７）
【００８３】
【数１０】
…（８）
【００８４】
姿勢行列Ｒが上述した式（４）のように表せると仮定して、式（８）を展開すると、以下の式（９）が得られる。
【００８５】
【数１１】
…（９）
【００８６】
式（９）を左辺に纏めると、式（１０）が得られる。
【００８７】
【数１２】
…（１０）
【００８８】
式（１０）のｋに１〜ｎをそれぞれ代入し、行列の形に書き直すと、式（３）が得られる。
【００８９】
なお、他の画像情報の組み合わせに対応する姿勢行列Ｒも、上記と同様にして算出される。したがって、姿勢行列Ｒは、合計４つ算出される。以下、１枚目の画像情報とＮ枚目の画像情報との組み合わせに対応する姿勢行列Ｒを、「Ｎ個目の姿勢行列Ｒ」とも称する。
【００９０】
姿勢推定部５３は、算出された姿勢行列Ｒに関する姿勢行列情報を収差係数算出部５４に出力する。
【００９１】
ステップＳ１３０において、収差係数算出部５４は、特徴点相関部５２及び姿勢推定部５３から与えられた情報に基づいて、歪曲収差係数ｈ１、ｈ２を算出する。以下、具体的な算出方法を説明する。
【００９２】
収差係数算出部５４は、特徴点相関情報と姿勢行列情報とに基づいて、投影歪み（ｐｅｒｓｐｅｃｔｉｖｅ）と歪曲収差とを分離し、歪曲収差係数を算出する。具体的には、収差係数算出部５４は、まず、１枚目の画像情報から抽出された特徴点の実際の像高を算出する。実際の像高は、以下の式（１１）で表される。
【００９３】
【数１３】
【００９４】
さらに、収差係数算出部５４は、１枚目の画像情報の図５中右上１／４の領域（２枚目の画像情報との重複領域）内に存在する特徴点の真の像高を、２個目の姿勢行列Ｒに基づいて算出する。
まず、収差係数算出部５４は、以下の式（１２）、（１３）に基づいて、特徴点の真の座標（歪曲収差が生じないときの座標）（ｉ２’ｋ、ｊ２’ｋ）を算出する。
【数１４】
…（１２）
【数１５】
…（１３）
そして、収差係数算出部５４は、真の像高を以下の式（１４）に基づいて算出する。
【００９５】
【数１６】
【００９６】
同様に、収差係数算出部５４は、１枚目の画像情報の他の領域内に存在する特徴点の真の像高を、３〜５個目の姿勢行列Ｒに基づいて算出する。これにより、収差係数算出部５４は、１枚目の画像情報の全特徴点について、真の像高と実際の像高とを算出する。
【００９７】
次いで、収差係数算出部５４は、１枚目の画像情報の全特徴点について算出された真の像高及び実際の像高と、以下の式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出する。
【００９８】
【数１７】
…（５）
【００９９】
ここで、式（５）の右辺第１項はムーアペンローズの一般化逆行列を示す。なお、式（５）は以下のように導出される。すなわち、実際の像高と真の像高とは、以下の式（１５）の関係を満たす。
【０１００】
【数１８】
…（１５）
【０１０１】
これを行列の形にすると以下の式（１６）が得られる。
【０１０２】
【数１９】
…（１６）
【０１０３】
ｋに１〜ｎを代入して書き下すと、以下の式（１７）が得られる。
【０１０４】
【数２０】
…（１７）
【０１０５】
これをムーア−ペンローズの一般化逆行列を用いて変形すると、式（５）が得られる。
収差係数算出部５４は、算出された歪曲収差係数に関する収差情報を生成し、収差情報保存部６０に出力する。
【０１０６】
一方、レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差情報保存部６０に出力する。次いで、収差情報保存部６０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報と、歪曲収差係数算出部５０から与えられた収差情報とを対応させて記憶する。収差情報保存部６０に記憶された情報は、収差補正部７０によって参照される。具体的には後述する。
【０１０７】
ステップＳ１４０において、特徴点相関部５２は、Ｎ枚目の画像情報が１枚目の画像情報と相関が取れなかった旨を画像処理部２３に通知し、画像処理部２３は、アクティブなガイドフレームを強調表示する。このような強調表示としては、例えば、ガイドフレームを太線で表示する、ガイドフレームを点滅させる、ガイドフレームを赤で着色して表示する（通常は黒）等が考えられる。これにより、再度の撮影が促される。音声によるガイドを併用してもよい。この時の音声としては、例えば、「画像が重なる部分が一致するように、撮影を行ってください」というものが考えられる。
【０１０８】
［歪曲収差補正処理］
次に、撮影装置１０が行う歪曲収差補正処理について、図４に基づいて説明する。ステップＳ２００において、レンズユニット２１は、外部からの光を常時取り込んで撮像素子２２に入射させ、撮像素子２２は、電気信号を画像処理部２３に出力する。画像処理部２３は、この電気信号に基づいて画像情報を生成する。画像処理部２３は、生成した画像情報を表示画面１００に表示する。これにより、ライブビューが表示画面１００に表示される。なお、歪曲収差補正処理では、ガイドフレーム１０１〜１０５は表示されず、表示画面１００全面にライブビューが表示される。また、撮影者は、ズーム率やフォーカス等の撮影条件を任意に設定して撮影を行うことができる。撮影者から撮影指示がなされると、画像処理部２３は、撮影時（撮影指示がなされた時）の画像情報を収差補正部７０に出力する。
【０１０９】
一方、レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差補正部７０に出力する。
【０１１０】
ステップＳ２１０において、収差補正部７０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報に対応する収差情報を、収差情報保存部６０から検索する。この結果、収差補正部７０は、このような収差情報を検索できたか否かを判定し、検索できた場合にはステップＳ２２０に進み、検索できなかった場合には、画像処理部２３から与えられた画像情報を画像保存部８０に出力し、ステップＳ２３０に進む。
【０１１１】
ステップＳ２２０において、収差補正部７０は、検索した収差情報に基づいて、画像処理部２３から与えられた画像情報を補正する。収差補正部７０は、具体的には、以下のように補正を行う。
【０１１２】
まず、収差補正部７０は、補正後の画像情報として、補正後の画素の座標（ｉｎ、ｊｎ）を定義する。次いで、収差補正部７０は、補正後の画素が補正前の画像情報（画像処理部２３から与えられた画像情報）のどの画素に対応するかを、以下の式（１８）に基づいて算出する。
【０１１３】
【数２１】
…（１８）
【０１１４】
ここで、ｘｎは補正前の画像情報を構成する画素のｘ座標、ｙｎは補正前の画像情報を構成する画素のｙ座標である。ｘｃは補正後の投影中心のｘ座標（補正前と同じ）であり、ｙｃは補正後の投影中心のｙ座標（補正前と同じ）である。ｆ（ｒ）は歪曲比、即ち（実際の像高）／（真の像高）である。真の像高は、上述した式（１４）から得られる。実際の像高は、上述した式（１５）に真の像高を代入することで得られる。図１１に、補正後の画像情報Ｐｉ上の画素Ｅ１と補正前の画像情報Ｐｒ上の画素Ｅ２との対応関係を概念的に示した。
【０１１５】
次に、収差補正部７０は、補正後の画像情報を構成する各画素の画素値、即ち補正後の画素値を決定する。上述した方法により算出された座標（ｘｎ、ｙｎ）は、実数値で与えられる。一方、補正前の画像情報を構成する各画素の座標は、整数値で与えられる。このため、座標（ｘｎ、ｙｎ）で表される画素には、画素値ν（ｘｎ、ｙｎ）が与えられていない。そこで、収差補正部７０は、画素値ν（ｘｎ、ｙｎ）を画素補間により算出し、これを補正後の画素値ν（ｉｎ、ｊｎ）とする。収差補正部７０は、具体的には、以下の式（１９）に基づいて、画素値ν（ｘｎ、ｙｎ）を算出する。
【０１１６】
【数２２】
…（１９）
【０１１７】
ここで、［ｘｎ］はｘｎを超えない最大の整数であり、［ｙｎ］はｙｎを超えない最大の整数である。ｐ、ｑは任意の自然数である。ｋは重み関数であり、重み関数ｋの与え方によって、画素補間が「ニアレストネイバ」、「バイリニア」、「バイキュービック」等と呼ばれることもある。図１２に、画素補間が行われる様子を概念的に示した。ここでは、画素Ｅ２の画素値がその周囲に存在する画素の画素値によって算出される。
【０１１８】
これにより、収差補正部７０は、補正後の画像情報を構成する各画素の座標及び画素値を算出する。即ち、収差補正部７０は、画像情報の歪曲収差を補正する。
【０１１９】
ステップＳ２３０において、画像保存部８０は、収差補正部７０から与えられた画像情報を記憶する。
【０１２０】
したがって、本実施形態では、収差係数算出部５４は、１枚目の画像情報と２〜５枚目の画像情報との重複領域を用いて、収差補正係数を算出し（図５〜図１０参照）、収差補正部７０は、この収差補正係数を用いて、画像情報の補正を行う。なお、撮影装置１０は、２〜５枚目の画像情報のうち、特徴点の組が最も多い画像情報を選択し、この画像情報と１枚目の画像情報とから算出される収差補正係数に基づいて、画像情報の補正を行ってもよい。このような補正が可能なのは、歪曲収差が投影中心に関して回転対称となるからである。以下、この点について説明する。
【０１２１】
図１３は、歪曲収差の種類を示し、図１４は、投影中心からの距離、即ち実際の像高と歪曲比（式（１６）のｆ（ｒ））との関係を歪曲収差毎に示すグラフである。具体的には、図１３（ａ）は樽型収差を示し、図１４（ａ）は、樽型収差における実際の像高と歪曲比との関係を示す。図１３（ｂ）は糸巻き型収差を示し、図１４（ｂ）は、糸巻き型収差における実際の像高と歪曲比との関係を示す。図１３（ｃ）は陣笠収差を示し、図１４（ｃ）は、陣笠収差における実際の像高と歪曲比との関係を示す。図１３に示すように、すべての歪曲収差が投影中心Ｄに関して回転対称となっているので、画像情報内のすべての領域が、図１４に示す関係を満たす。したがって、収差補正部７０は、上記のように補正を行っても、画像情報全体を精度良く補正することができる。また、収差補正部７０は、１枚目の画像情報と最大相関画像情報との重複領域だけを用いて歪曲収差係数を算出するので、計算に掛かる負荷を低減することができる。
【０１２２】
以上により、本実施形態に係る撮影装置１０は、撮影部２０がそれぞれ異なる撮影姿勢で撮影を行うことで得られる複数の画像情報から特徴点を抽出し、一の画像情報から抽出された特徴点と、他の画像情報から抽出された特徴点とから、被写体上の同一点を示す特徴点の組を探索する。そして、撮影装置１０は、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定し、推定された撮影姿勢に基づいて、レンズの歪曲収差係数を算出する。したがって、撮影装置１０は、レンズユニット２１やズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数を算出することができる。すなわち、撮影装置１０は、撮影時のレンズ（すなわち撮影時のレンズユニット２１）やズーム率に対応する歪曲収差係数を従来よりも確実に取得することができる。また、撮影装置１０は、撮影者が実際の風景を撮影したときに歪曲収差係数を算出することができるので、幾何情報が既知のチャート、サンプルを用いることなく、歪曲収差係数を算出することができる。
【０１２３】
さらに、撮影装置１０は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が特徴点の組を構成する場合に、一の画像情報と他の画像情報とが相関すると判定し、一の画像情報と他の画像情報とが相関すると判定した場合に、特徴点の組に基づいて、撮影姿勢を推定する。したがって、撮影装置１０は、撮影姿勢をより確実に推定することができる。
【０１２４】
さらに、撮影装置１０は、上述した式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、式（４）で表される姿勢行列Ｒを算出する。したがって、撮影装置１０は、撮影姿勢を姿勢行列Ｒとして算出するので、撮影姿勢をより確実に推定することができる。
【０１２５】
さらに、撮影装置１０は、姿勢行列Ｒに基づいて、一の画像情報から抽出された特徴点の真の像高を算出し、一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、一の画像情報から抽出された特徴点の実際の像高を算出する。そして、撮影装置１０は、算出された真の像高及び実際の像高と、上述した式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出する。したがって、撮影装置１０は、レンズユニット２１やズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数ｈ１、ｈ２を算出することができる。
【０１２６】
さらに、撮影装置１０は、レンズＩＤと、撮影時の撮影情報とを取得し、取得された情報と、算出された歪曲収差係数とを対比させて収差情報保存部６０に保存するので、収差情報保存部６０に保存された各歪曲収差係数がどのような条件で算出されたものであるのかを容易に判断することができる。
【０１２７】
さらに、撮影装置１０は、レンズＩＤと、撮影時の撮影情報とを取得し、これらの情報に対応する歪曲収差係数を収差情報保存部６０から検索し、検索された歪曲収差係数に基づいて画像を補正する。したがって、撮影装置１０は、現在使用されているレンズ及びズーム率に応じた歪曲収差係数を用いて補正を行うことができるので、補正をより正確に行うことができる。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２９】
１０ 撮影装置
２０ 撮影部
２１ レンズユニット
２２ 撮像素子
２３ 画像処理部
３０ レンズ情報取得部
４０ カメラ制御部
５０ 歪曲収差係数算出部
５１ 特徴点抽出部
５２ 特徴点相関部
５３ 姿勢推定部
５４ 収差係数算出部
６０ 収差情報保存部
７０ 収差補正部
８０ 画像保存部
９０ 表示部
【技術分野】
【０００１】
本発明は、撮影装置に関する。
【背景技術】
【０００２】
レンズを用いて撮影された画像には、歪曲収差が発生する。化学的なフィルムを用いたカメラにおいては、このような歪曲収差を補正することは困難であったが、近年普及しているデジタルスチルカメラにおいては、例えば特許文献１、２に記載されているように、歪曲収差を補正することができるようになってきている。
【０００３】
ここで、デジタルスチルカメラが取得した画像の歪曲収差補正は、収差情報の取得と画像の幾何変換という２つの段階からなる。
【０００４】
［収差情報の取得］
撮像面上（撮像素子の面上）の光学的な結像点（実際の投影点）と、歪曲収差が無いと仮定したときの結像点（真の投影点）とについて、各点の座標の対応を表すものが収差情報である。
【０００５】
この収差情報は様々な形式で表すことができるが、投影中心（光軸と撮像素子の面との交点）からの距離（像高）ｒを用いた式が用いられることが多い。
【０００６】
実際の投影点を（ｘｒ，ｙｒ）、真の投影点を（ｘｉ，ｙｉ）、投影中心の座標を（ｘｃ，ｙｃ）とする。このとき真の像高ｒｉと実際の像高ｒｒは式１で表される。
【０００７】
【数１】
…（１）
【０００８】
ここで、ｒｉとｒｒとの関係は、歪曲係数（歪曲収差係数）ｈ１、ｈ２を用いて式２で表される。
【０００９】
【数２】
…（２）
【００１０】
なお、測定誤差を考えると５次程度が必要十分とされる。偶数次項は使用されない。
［画像の幾何変換］
画像の幾何変換としては、対応点を補間する方式と、矩形変換による方式が広く用いられている。
【００１１】
対応点を補間する方式は、画像内の任意の点について真の投影点と実際の投影点とを１対１で対応させ、実際の投影点の画素値を補間するものである。精度は高いが計算量は比較的多くなる。
【００１２】
矩形変換による方式は、画像を複数の矩形領域に分割し、矩形変換によって出力画像を作成するものである。精度はやや落ちるが計算量は比較的少なくなる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００９−２９０８６３号公報
【特許文献２】国際公開第２００８／０４４５９１Ａ１号
【特許文献３】特開平６−１４１２３７
【発明の概要】
【発明が解決しようとする課題】
【００１４】
ところで、歪曲収差量は、レンズ及びズーム率毎に異なる。したがって、歪曲収差補正を正確に行うためには、撮影時のレンズ及びズーム率に対応する歪曲収差係数を取得する必要がある。この点について、特許文献１、２は、レンズユニットに予め登録（記憶）されている歪曲収差係数を取得する技術を開示する。しかし、特許文献１、２に開示された技術は、レンズユニットに歪曲収差係数が登録されていない場合には、歪曲収差係数を取得することができない。
【００１５】
なお、特許文献３には、２つの撮影装置を用いて画像を取得し、これらの画像の重複領域について幾何変換を行う技術を開示する。しかし、この技術は、重複領域において画像が２重にならないように幾何変換を行うものであって、歪曲収差を補正するものではない。
【００１６】
したがって、従来の技術には、撮影時のレンズ及びズーム率に対応する歪曲収差係数を取得することができない場合があるという問題があった。
【００１７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に取得することが可能な、新規かつ改良された撮影装置を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明のある観点によれば、撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部がそれぞれ異なる撮影姿勢で撮影を行うことで得られ、互いに一部の領域が重複する複数の画像情報の各々から特徴点を抽出する特徴点抽出部と、一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから、被写体上の同一点を示す特徴点の組を探索する特徴点相関部と、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定する姿勢推定部と、姿勢推定部が推定した撮影姿勢に基づいて、レンズの歪曲収差係数を算出する収差係数算出部と、を備えることを特徴とする、撮影装置が提供される。
【００１９】
この観点による撮影装置は、撮影時のレンズやズーム率がどのようなものであっても、画像情報に基づいて撮影姿勢を推定し、歪曲収差係数を算出することができる。したがって、撮影装置は、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に算出することができる。また、撮影装置は、撮影者が実際の風景を撮影したときに歪曲収差係数を算出することができるので、幾何情報が既知のチャート、サンプルを用いることなく、歪曲収差係数を算出することができる。
【００２０】
ここで、特徴点相関部は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が特徴点の組を構成する場合に、一の画像情報と他の画像情報とが相関すると判定し、姿勢推定部は、一の画像情報と他の画像情報とが相関すると判定された場合に、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定するようにしてもよい。この観点による撮影装置は、一の画像情報と他の画像情報とが相関する場合に、撮影姿勢を推定するので、撮影姿勢をより確実に推定することができる。
【００２１】
また、姿勢推定部は、以下の式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、以下の式（４）で表される姿勢行列Ｒを算出するようにしてもよい。
【００２２】
【数３】
…（３）
【００２３】
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、前記一の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、前記他の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【００２４】
【数４】
…（４）
【００２５】
この観点による撮影装置は、撮影姿勢を姿勢行列Ｒとして算出するので、撮影姿勢をより確実に推定することができる。
【００２６】
また、収差係数算出部は、姿勢行列Ｒに基づいて、一の画像情報から抽出された特徴点の真の像高を算出し、一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、一の画像情報から抽出された特徴点の実際の像高を算出し、算出された真の像高及び実際の像高と、以下の式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出するようにしてもよい。
【００２７】
【数５】
…（５）
【００２８】
この観点による撮影装置は、レンズやズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数ｈ１、ｈ２を算出することができる。
【００２９】
また、レンズを識別するための識別情報と、撮影部が前記被写体を撮影する際のズーム率に関するズーム率情報とを取得するレンズ情報取得部と、レンズ情報取得部が取得した情報と、収差係数算出部が算出した歪曲収差係数とを対比させて記憶する収差情報保存部と、を備えるようにしてもよい。
【００３０】
この観点による撮影装置は、収差情報保存部に保存された各歪曲収差係数がどのような条件で算出されたものであるのかを容易に判断することができる。
【００３１】
また、レンズ情報取得部が取得した情報に対応する歪曲収差係数を収差情報保存部から検索し、検索された歪曲収差係数に基づいて、撮影部が取得した画像情報を補正する収差補正部と、を備えるようにしてもよい。
【００３２】
この観点による撮影装置は、現在使用されているレンズ及びズーム率に応じた歪曲収差係数を用いて補正を行うことができるので、補正をより正確に行うことができる。
【発明の効果】
【００３３】
以上説明したように本発明による撮影装置は、撮影時のレンズ及びズーム率に対応する歪曲収差係数を従来よりも確実に取得することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施形態に係る撮影装置の構成を示すブロック図である。
【図２】同実施形態に係る歪曲収差係数算出部の構成を示すブロック図である。
【図３】撮影装置による処理の手順を示すフローチャートである。
【図４】撮影装置による処理の手順を示すフローチャートである。
【図５】表示部に表示されるガイドフレームを示す説明図である。
【図６】実際の風景及びこの風景を撮影したときに得られる画像を示す説明図である。
【図７】撮影者が撮影した画像を示す説明図である。
【図８】抽出された特徴点を示す説明図である。
【図９】撮影装置の撮影姿勢を示す説明図である。
【図１０】特徴点の対応付けを示す説明図である。
【図１１】歪曲収差補正による座標点の対応を示す説明図である。
【図１２】画素補間の概念を示す説明図である。
【図１３】歪曲収差の種類を示す説明図である。
【図１４】投影中心からの距離と歪曲比との関係を、歪曲収差の種類ごとに示すグラフである。
【発明を実施するための形態】
【００３５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３６】
［撮影装置１０の構成］
まず、図１に基づいて、撮影装置１０の概略構成について説明する。撮影装置１０は、いわゆるデジタルスチルカメラであって、撮影部２０と、レンズ情報取得部３０と、カメラ制御部４０と、歪曲収差係数算出部５０と、収差情報保存部６０と、収差補正部７０と、画像保存部８０と、表示部９０とを備える。なお、撮影装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。
【００３７】
撮影部２０は、レンズユニット２１と、撮像素子２２と、画像処理部２３とを備える。レンズユニット２１は、撮影装置１０に対して着脱可能となっており、一または複数のレンズＬ（図９参照）と、ズーム率、フォーカス、絞り、及びシャッタースピードを調整する調整機構と、レンズユニット２１に関する各種情報を記憶する保存部と、調整機構の制御や保存部に記憶された情報の出力等、レンズユニット２１に関する各種制御を行うレンズユニット制御部とを備える。保存部に記憶される情報は、例えば、レンズＬを識別するためのレンズＩＤ（識別情報）や、現在の（即ち撮影時の）ズーム率、フォーカス、絞り、及びシャッタースピードに関する撮影情報等が考えられる。レンズユニット２１は、撮影装置１０の外部の光を取り込み、取り込んだ光を、レンズＬを介して撮像素子２２に入射させる。
【００３８】
撮像素子２２は、撮像素子２２に入射された光に応じた電気信号（Ｒａｗ ｄａｔａ）を生成し、画像処理部２３に出力する。
【００３９】
画像処理部２３は、撮像素子２２から与えられた電気信号を画像情報に変換する。この画像情報は、画素毎に座標及び画素値（画素の色や輝度を示すもの）が設定されたものである。ここで、各画素の座標は、撮像素子２２上に定義され、投影中心を原点としたｘｙ平面上の座標として与えられる。ｘ座標及びｙ座標はいずれも整数となっている。投影中心は、レンズＬの光軸が撮像素子２２に交差する点である。レンズユニット２１のレンズによって歪曲収差が発生しているので、画像処理部２３が生成した画像情報には、歪曲収差による画像歪みが発生している。
【００４０】
画像処理部２３は、画像情報を歪曲収差係数算出部５０及び収差補正部７０に出力する。また、画像処理部２３は、表示部９０に、画像情報を表示する。
【００４１】
レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。
【００４２】
カメラ制御部４０は、撮影装置１０の各構成要素を制御する。また、カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差情報保存部６０及び収差補正部７０に出力する。
【００４３】
歪曲収差係数算出部５０は、画像処理部２３から与えられた画像情報に基づいて、歪曲収差の補正に必要な歪曲収差係数を算出し、この歪曲収差係数に関する収差情報を収差情報保存部６０に出力する。
【００４４】
収差情報保存部６０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報と、歪曲収差係数算出部５０から与えられた収差情報とを対応させて記憶する。すなわち、歪曲収差量は、撮影時のレンズ及びズーム率によって異なるので、歪曲収差の補正に必要な歪曲収差係数も、撮影時のレンズ及びズーム率によって値が変化する。そこで、本実施形態では、収差情報保存部６０が撮影時のレンズ（すなわちレンズＩＤ）及びズーム率と歪曲収差係数とを対応させて記憶することとした。
【００４５】
収差補正部７０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報に対応する収差情報を、収差情報保存部６０から検索する。そして、収差補正部７０は、検索した収差情報に基づいて、画像処理部２３から与えられた画像情報を補正する。収差補正部７０は、補正後の画像情報を画像保存部８０に出力する。画像保存部８０は、収差補正部７０から与えられた画像情報を保存する。
【００４６】
表示部９０は、ディスプレイ１００（図５参照）を有し、ディスプレイ１００に各種の画像を表示する。
【００４７】
［歪曲収差係数算出部５０の構成］
次に、図２に基づいて、歪曲収差係数算出部５０の構成について説明する。歪曲収差係数算出部５０は、特徴点抽出部５１と、特徴点相関部５２と、姿勢推定部５３と、収差係数算出部５４とを備える。
【００４８】
特徴点抽出部５１は、画像処理部２３から与えられた画像情報から特徴点を抽出する。ここで、特徴点とは、画像情報を構成する画素のうち、被写体の輪郭を構成するものである。特徴点を抽出する手法としては、特に限定されず、公知の手法が任意に適用される。特徴点抽出部５１は、特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。
【００４９】
特徴点相関部５２は、特徴点抽出部５１から一の画像情報に対応する特徴点抽出情報と、他の画像情報に対応する特徴点抽出情報とが与えられた際に、一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから被写体上の同一点を示す特徴点の組を探索する。ここで、後述するように、一の画像情報と他の画像情報とは、一部が重複している。
【００５０】
特徴点相関部５２は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上（例えば重複領域に存在する第１の特徴点の総数の８０％以上）の第１の特徴点が特徴点の組を構成する場合に、これらの画像情報が相関すると判定する。特徴点相関部５２は、一の画像情報と他の画像情報とが相関する場合には、探索された特徴点の組に関する特徴点相関情報を生成し、姿勢推定部５３及び収差係数算出部５４に出力する。
【００５１】
姿勢推定部５３は、特徴点相関部５２から与えられた特徴点相関情報に基づいて、以下の式（４）で表される姿勢行列Ｒを算出する。
【００５２】
【数６】
…（４）
【００５３】
次いで、姿勢推定部５３は、算出された姿勢行列Ｒに関する姿勢行列情報を収差係数算出部５４に出力する。
【００５４】
収差係数算出部５４は、特徴点相関部５２及び姿勢推定部５３から与えられた情報に基づいて、歪曲収差係数ｈ１、ｈ２を算出する。収差係数算出部５４は、算出された歪曲収差係数に関する収差情報を生成し、収差情報保存部６０に出力する。
【００５５】
［歪曲収差係数算出処理］
次に、図３に示すフローチャートに沿って、撮影装置１０による歪曲収差係数算出処理について説明する。なお、歪曲収差係数算出処理が行われるタイミングとしては、例えば、撮影装置１０への電源投入時、レンズユニット２１の交換時、撮影者から補正指示がなされた時（この場合、そのような指定を行うためのスイッチが撮影装置１０に別途設けられる）等が考えられる。撮影者は、歪曲収差係数算出処理が行われる間は、ズーム率を固定し、レンズユニット２１の交換も行わないものとする。
【００５６】
図３に示すステップＳ１０において、画像処理部２３は、表示画面１００に、図５（ａ）に示すガイドフレーム１０１〜１０５を表示する。なお、ガイドフレーム１０１〜１０５には番号が付されており、これらの番号はガイドフレームの順番を意味する。即ち、ガイドフレーム１０１〜１０５は、ガイドフレーム１０１から順次１個目、２個目、…、５５個目のガイドフレームとなる。
【００５７】
ガイドフレーム１０１の右上１／４の領域は、ガイドフレーム１０２の左下１／４の領域と重複しており、ガイドフレーム１０１の右下１／４の領域は、ガイドフレーム１０３の左上１／４の領域と重複している。ガイドフレーム１０１と他のガイドフレーム１０４、１０５とも同様にして一部の領域が重複している。このように、ガイドフレーム１０１と他のガイドフレームとは、それらの領域の１／４（２５％）が互いに重複しているが、少なくとも２０％以上の領域で重複していることが好ましい。また、ガイドフレームの数は５つに限定されない。
【００５８】
一方、レンズユニット２１は、外部からの光を常時取り込んで撮像素子２２に入射させ、撮像素子２２は、電気信号を画像処理部２３に出力する。画像処理部２３は、この電気信号に基づいて画像情報を生成する。
【００５９】
ステップＳ２０において、画像処理部２３は、図５（ａ）に示すように、１個目のガイドフレーム１０１をアクティブにし、ガイドフレーム１０１に画像情報を縮小表示する。これにより、画像処理部２３は、ライブビュー、即ち現在の撮影対象となっている風景をガイドフレーム１０１に表示する。例えば、図６（ａ）に示す風景（家屋Ａ１、樹木Ａ２〜Ａ４、ビルＡ５〜Ａ７、工場Ａ８を含む）が撮影の対象となる場合、画像処理部２３は、この風景の一部をライブビューとして表示する。
【００６０】
ステップＳ３０において、画像処理部２３は、撮影者から撮影指示（即ち、シャッタボタンの押下）があるまで待機する。一方、撮影者はガイドフレーム１０１に表示されたライブビューを参考にして撮影指示を出す（即ち、撮影を行う）。画像処理部２３は、操作者から撮影指示があった際にステップＳ４０に進む。
【００６１】
ステップＳ４０において、画像処理部２３は、撮影指示があった際にガイドフレーム１０１に表示されていた画像情報を１枚目の画像情報とし、特徴点抽出部５１に出力する。例えば、画像処理部２３は、図６（ｂ）に示す画像情報Ｐ１をガイドフレーム１０１にライブビューとして表示している際に、操作者から撮影指示があった際には、当該画像情報Ｐ１を１枚目の画像情報とする。なお、画像情報Ｐ１は、図９に示すように、撮影部２０が撮影姿勢Ｌ１及び視点（レンズＬの焦点）Ｂ１で撮影を行うことで取得される。撮影姿勢は、例えばレンズＬの位置や向き等で示されるが、具体的には、姿勢行列Ｒで示される。
【００６２】
ステップＳ５０において、特徴点抽出部５１は、１枚目の画像情報から特徴点を抽出する。ここで、特徴点は、上述した通り、被写体の輪郭を構成する画素である。例えば、１枚目の画像情報が図７（ａ）に示す画像情報Ｐ１となる場合、特徴点抽出部５１は、図８（ａ）に示すように、家屋Ａ１、樹木Ａ２、Ａ３、ビルＡ６の輪郭を構成する特徴点Ｑ１１〜Ｑ１２を抽出する。ついで、特徴点抽出部５１は、抽出した特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。
【００６３】
ステップＳ６０において、画像処理部２３は、次のガイドフレームをアクティブにする。例えば、画像処理部２３は、ガイドフレーム１０１がアクティブになっている場合には、図５（ｂ）に示すように、次のガイドフレーム１０２をアクティブにする。そして、画像処理部２３は、ステップＳ２０と同様に、アクティブなガイドフレームにライブビューを表示する。このとき、すでにガイドフレーム内に固定されている画像情報は、継続してそのガイドフレーム内に固定される。また、２枚の画像情報（ライブビュー含む）の重複領域は、画像処理部２３によってアルファブレンド処理がなされる。これにより、当該重複領域には、２枚の画像情報を重畳させたものが表示される。
【００６４】
ステップＳ７０において、画像処理部２３は、撮影者から撮影指示があるまで待機する。一方、撮影者は、アクティブなガイドフレームに表示されたライブビューの一部が１枚目の画像情報に一致するように、撮影装置１０の撮影姿勢を調整し、この状態で撮影を行う。例えば、ガイドフレーム１０２がアクティブとなる場合、ライブビューの左下１／４の部分が１枚目の画像情報の右上１／４の部分に一致するように、撮影装置１０の撮影姿勢を調整し、この状態で撮影を行う。画像処理部２３は、操作者から撮影指示があった際にステップＳ８０に進む。
【００６５】
ステップＳ８０において、画像処理部２３は、撮影指示があった際にアクティブなガイドフレームに表示されていた画像情報をＮ枚目の画像情報とし、特徴点抽出部５１に出力する。ここで、Ｎは２〜５の整数であり、アクティブなガイドフレームの順番を示す。
【００６６】
例えば、アクティブなガイドフレームがガイドフレーム１０２となる場合、Ｎ＝２となる。画像処理部２３は、図６（ｂ）に示す画像情報Ｐ２−１をライブビューとしてガイドフレーム１０２に表示している際に、操作者から撮影指示があった場合には、画像情報Ｐ２−１を２枚目の画像情報として取得する。画像情報Ｐ２−１の左下１／４の部分は、画像情報Ｐ１の右上１／４の部分に一致する。すなわち、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−１との重複領域Ｐ１２において、両者の画像が一致する。なお、画像情報Ｐ２−１は、図９に示すように、撮影部２０が撮影姿勢Ｌ２及び視点Ｂ２で撮影を行うことで取得される。
【００６７】
一方、画像処理部２３は、図６（ｃ）に示す画像情報Ｐ２−２をライブビューとしてガイドフレーム１０２に表示している際に、操作者から撮影指示があった場合には、画像情報Ｐ２−２を２枚目の画像情報として取得する。画像情報Ｐ２−２の左下１／４の部分は、画像情報Ｐ１の右上１／４の部分と異なる。すなわち、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−２との重複領域Ｐ１２において、両者の画像が異なっている。
【００６８】
ステップＳ９０において、特徴点抽出部５１は、Ｎ枚目の画像情報から特徴点を抽出する。例えば、特徴点抽出部５１は、２枚目の画像情報（Ｎ＝２）として、図７（ｂ）に示す画像情報Ｐ２−１を取得した場合、図８（ｂ）に示すように、家屋Ａ１、樹木Ａ２、Ａ３の輪郭を構成する特徴点Ｑ２１を抽出する。ついで、特徴点抽出部５１は、抽出した特徴点の座標、画素値、及び特徴点が抽出された画像情報に関する特徴点抽出情報を生成し、特徴点相関部５２に出力する。なお、図７（ｂ）は画像情報２−１の一部を示す。
【００６９】
ステップＳ１００において、特徴点相関部５２は、特徴点抽出部５１から与えられた１枚目の画像情報に対応する特徴点抽出情報と、Ｎ枚目の画像情報に対応する特徴点抽出情報とに基づいて、１枚目の画像情報から抽出された第１の特徴点と、Ｎ枚目の画像情報から抽出された第２の特徴点とから被写体上の同一点を示す特徴点の組を探索する。特徴点相関部５２は、第１の特徴点のうち、１枚目の画像情報とＮ枚目の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上（例えば１枚目の画像情報とＮ枚目の画像情報との重複領域に存在する第１の特徴点の総数の８０％以上）の第１の特徴点が特徴点の組を構成する場合に、これらの画像情報が相関すると判定する。
【００７０】
例えば、図７（ａ）に示す１枚目の画像情報Ｐ１から図８（ａ）に示す第１の特徴点Ｑ１１、Ｑ１２が抽出され、図７（ｂ）に示す２枚目（Ｎ＝２）の画像情報Ｐ２−１から図８（ｂ）に示す第２の特徴点Ｑ２１が抽出された場合、すべての第１の特徴点Ｑ１１とすべての第２の特徴点Ｑ２１とはいずれも１枚目の画像情報と２枚目の画像情報との重複領域Ｐ１２に存在する。また、すべての第１の特徴点Ｑ１１とすべての第２の特徴点Ｑ２１とは、家屋Ａ１、及び樹木Ａ２、Ａ３上の同一点を構成するので、特徴点の組を構成する。したがって、すべての第１の特徴点Ｑ１１が特徴点の組を構成するので、特徴点相関部５２は、１枚目の画像情報Ｐ１と２枚目の画像情報Ｐ２−１とが相関すると判定する。図１０に、特徴点の組を構成する特徴点同士を連結した直線Ｃを示す。
【００７１】
一方、１枚目の画像情報が画像情報Ｐ１となり、２枚の画像が図６（ｃ）に示す画像情報Ｐ２−２となる場合、これらの画像情報から抽出される特徴点は、特徴点の組を構成しないので、特徴点相関部５２は、これらの画像情報が相関しないと判定する。
【００７２】
次いで、特徴点相関部５２は、１枚目の画像情報とＮ枚目の画像情報とが相関すると判定した場合には、ステップＳ１１０に進み、これらが相関しないと判定した場合には、ステップＳ１４０に進む。
【００７３】
ステップＳ１１０において、特徴点相関部５２は、１枚目の画像情報と５枚目の画像情報との相関がとれたか否かを判定し、これらの相関がとれたと判定した場合には、ステップＳ１２０に進み、これらの相関がとれていないと判定した場合には、ステップＳ６０にもどる。
【００７４】
ステップＳ１２０において、特徴点相関部５２は、１枚目の画像情報と２〜５枚目の画像のそれぞれとから得られる特徴点の組に関する特徴点相関情報を生成し、姿勢推定部５３及び収差係数算出部５４に出力する。
【００７５】
次いで、姿勢推定部５３は、特徴点相関情報に基づいて、上述した姿勢行列Ｒを、画像情報の組み合わせ（１枚目の画像情報と２〜５枚目の画像情報のそれぞれとの組み合わせ）毎に算出する。例えば、姿勢推定部５３は、１枚目の画像情報と２枚目の画像情報との組み合わせに対応する姿勢行列Ｒを以下のように算出する。すなわち、姿勢推定部５３は、以下の式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、姿勢行列Ｒを算出する。
【００７６】
【数７】
…（３）
【００７７】
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、１枚目の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、２枚目の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【００７８】
ここで、式（３）の導出過程について説明する。姿勢行列Ｒは、以下の式（６）で表される。
【００７９】
【数８】
…（６）
【００８０】
ここで、ｗは媒介変数であり、ｆは焦点距離である。ｆは１であっても一般性を失わない。ｋは１〜ｎの自然数である。
【００８１】
式（６）から媒介変数ｗを消去すると、以下の式（７）、（８）が得られる。
【００８２】
【数９】
…（７）
【００８３】
【数１０】
…（８）
【００８４】
姿勢行列Ｒが上述した式（４）のように表せると仮定して、式（８）を展開すると、以下の式（９）が得られる。
【００８５】
【数１１】
…（９）
【００８６】
式（９）を左辺に纏めると、式（１０）が得られる。
【００８７】
【数１２】
…（１０）
【００８８】
式（１０）のｋに１〜ｎをそれぞれ代入し、行列の形に書き直すと、式（３）が得られる。
【００８９】
なお、他の画像情報の組み合わせに対応する姿勢行列Ｒも、上記と同様にして算出される。したがって、姿勢行列Ｒは、合計４つ算出される。以下、１枚目の画像情報とＮ枚目の画像情報との組み合わせに対応する姿勢行列Ｒを、「Ｎ個目の姿勢行列Ｒ」とも称する。
【００９０】
姿勢推定部５３は、算出された姿勢行列Ｒに関する姿勢行列情報を収差係数算出部５４に出力する。
【００９１】
ステップＳ１３０において、収差係数算出部５４は、特徴点相関部５２及び姿勢推定部５３から与えられた情報に基づいて、歪曲収差係数ｈ１、ｈ２を算出する。以下、具体的な算出方法を説明する。
【００９２】
収差係数算出部５４は、特徴点相関情報と姿勢行列情報とに基づいて、投影歪み（ｐｅｒｓｐｅｃｔｉｖｅ）と歪曲収差とを分離し、歪曲収差係数を算出する。具体的には、収差係数算出部５４は、まず、１枚目の画像情報から抽出された特徴点の実際の像高を算出する。実際の像高は、以下の式（１１）で表される。
【００９３】
【数１３】
【００９４】
さらに、収差係数算出部５４は、１枚目の画像情報の図５中右上１／４の領域（２枚目の画像情報との重複領域）内に存在する特徴点の真の像高を、２個目の姿勢行列Ｒに基づいて算出する。
まず、収差係数算出部５４は、以下の式（１２）、（１３）に基づいて、特徴点の真の座標（歪曲収差が生じないときの座標）（ｉ２’ｋ、ｊ２’ｋ）を算出する。
【数１４】
…（１２）
【数１５】
…（１３）
そして、収差係数算出部５４は、真の像高を以下の式（１４）に基づいて算出する。
【００９５】
【数１６】
【００９６】
同様に、収差係数算出部５４は、１枚目の画像情報の他の領域内に存在する特徴点の真の像高を、３〜５個目の姿勢行列Ｒに基づいて算出する。これにより、収差係数算出部５４は、１枚目の画像情報の全特徴点について、真の像高と実際の像高とを算出する。
【００９７】
次いで、収差係数算出部５４は、１枚目の画像情報の全特徴点について算出された真の像高及び実際の像高と、以下の式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出する。
【００９８】
【数１７】
…（５）
【００９９】
ここで、式（５）の右辺第１項はムーアペンローズの一般化逆行列を示す。なお、式（５）は以下のように導出される。すなわち、実際の像高と真の像高とは、以下の式（１５）の関係を満たす。
【０１００】
【数１８】
…（１５）
【０１０１】
これを行列の形にすると以下の式（１６）が得られる。
【０１０２】
【数１９】
…（１６）
【０１０３】
ｋに１〜ｎを代入して書き下すと、以下の式（１７）が得られる。
【０１０４】
【数２０】
…（１７）
【０１０５】
これをムーア−ペンローズの一般化逆行列を用いて変形すると、式（５）が得られる。
収差係数算出部５４は、算出された歪曲収差係数に関する収差情報を生成し、収差情報保存部６０に出力する。
【０１０６】
一方、レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差情報保存部６０に出力する。次いで、収差情報保存部６０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報と、歪曲収差係数算出部５０から与えられた収差情報とを対応させて記憶する。収差情報保存部６０に記憶された情報は、収差補正部７０によって参照される。具体的には後述する。
【０１０７】
ステップＳ１４０において、特徴点相関部５２は、Ｎ枚目の画像情報が１枚目の画像情報と相関が取れなかった旨を画像処理部２３に通知し、画像処理部２３は、アクティブなガイドフレームを強調表示する。このような強調表示としては、例えば、ガイドフレームを太線で表示する、ガイドフレームを点滅させる、ガイドフレームを赤で着色して表示する（通常は黒）等が考えられる。これにより、再度の撮影が促される。音声によるガイドを併用してもよい。この時の音声としては、例えば、「画像が重なる部分が一致するように、撮影を行ってください」というものが考えられる。
【０１０８】
［歪曲収差補正処理］
次に、撮影装置１０が行う歪曲収差補正処理について、図４に基づいて説明する。ステップＳ２００において、レンズユニット２１は、外部からの光を常時取り込んで撮像素子２２に入射させ、撮像素子２２は、電気信号を画像処理部２３に出力する。画像処理部２３は、この電気信号に基づいて画像情報を生成する。画像処理部２３は、生成した画像情報を表示画面１００に表示する。これにより、ライブビューが表示画面１００に表示される。なお、歪曲収差補正処理では、ガイドフレーム１０１〜１０５は表示されず、表示画面１００全面にライブビューが表示される。また、撮影者は、ズーム率やフォーカス等の撮影条件を任意に設定して撮影を行うことができる。撮影者から撮影指示がなされると、画像処理部２３は、撮影時（撮影指示がなされた時）の画像情報を収差補正部７０に出力する。
【０１０９】
一方、レンズ情報取得部３０は、レンズＩＤ及び撮影情報をレンズユニット２１から取得し、カメラ制御部４０に出力する。カメラ制御部４０は、レンズ情報取得部３０から与えられたレンズＩＤ及び撮影情報を収差補正部７０に出力する。
【０１１０】
ステップＳ２１０において、収差補正部７０は、カメラ制御部４０から与えられたレンズＩＤ及び撮影情報に対応する収差情報を、収差情報保存部６０から検索する。この結果、収差補正部７０は、このような収差情報を検索できたか否かを判定し、検索できた場合にはステップＳ２２０に進み、検索できなかった場合には、画像処理部２３から与えられた画像情報を画像保存部８０に出力し、ステップＳ２３０に進む。
【０１１１】
ステップＳ２２０において、収差補正部７０は、検索した収差情報に基づいて、画像処理部２３から与えられた画像情報を補正する。収差補正部７０は、具体的には、以下のように補正を行う。
【０１１２】
まず、収差補正部７０は、補正後の画像情報として、補正後の画素の座標（ｉｎ、ｊｎ）を定義する。次いで、収差補正部７０は、補正後の画素が補正前の画像情報（画像処理部２３から与えられた画像情報）のどの画素に対応するかを、以下の式（１８）に基づいて算出する。
【０１１３】
【数２１】
…（１８）
【０１１４】
ここで、ｘｎは補正前の画像情報を構成する画素のｘ座標、ｙｎは補正前の画像情報を構成する画素のｙ座標である。ｘｃは補正後の投影中心のｘ座標（補正前と同じ）であり、ｙｃは補正後の投影中心のｙ座標（補正前と同じ）である。ｆ（ｒ）は歪曲比、即ち（実際の像高）／（真の像高）である。真の像高は、上述した式（１４）から得られる。実際の像高は、上述した式（１５）に真の像高を代入することで得られる。図１１に、補正後の画像情報Ｐｉ上の画素Ｅ１と補正前の画像情報Ｐｒ上の画素Ｅ２との対応関係を概念的に示した。
【０１１５】
次に、収差補正部７０は、補正後の画像情報を構成する各画素の画素値、即ち補正後の画素値を決定する。上述した方法により算出された座標（ｘｎ、ｙｎ）は、実数値で与えられる。一方、補正前の画像情報を構成する各画素の座標は、整数値で与えられる。このため、座標（ｘｎ、ｙｎ）で表される画素には、画素値ν（ｘｎ、ｙｎ）が与えられていない。そこで、収差補正部７０は、画素値ν（ｘｎ、ｙｎ）を画素補間により算出し、これを補正後の画素値ν（ｉｎ、ｊｎ）とする。収差補正部７０は、具体的には、以下の式（１９）に基づいて、画素値ν（ｘｎ、ｙｎ）を算出する。
【０１１６】
【数２２】
…（１９）
【０１１７】
ここで、［ｘｎ］はｘｎを超えない最大の整数であり、［ｙｎ］はｙｎを超えない最大の整数である。ｐ、ｑは任意の自然数である。ｋは重み関数であり、重み関数ｋの与え方によって、画素補間が「ニアレストネイバ」、「バイリニア」、「バイキュービック」等と呼ばれることもある。図１２に、画素補間が行われる様子を概念的に示した。ここでは、画素Ｅ２の画素値がその周囲に存在する画素の画素値によって算出される。
【０１１８】
これにより、収差補正部７０は、補正後の画像情報を構成する各画素の座標及び画素値を算出する。即ち、収差補正部７０は、画像情報の歪曲収差を補正する。
【０１１９】
ステップＳ２３０において、画像保存部８０は、収差補正部７０から与えられた画像情報を記憶する。
【０１２０】
したがって、本実施形態では、収差係数算出部５４は、１枚目の画像情報と２〜５枚目の画像情報との重複領域を用いて、収差補正係数を算出し（図５〜図１０参照）、収差補正部７０は、この収差補正係数を用いて、画像情報の補正を行う。なお、撮影装置１０は、２〜５枚目の画像情報のうち、特徴点の組が最も多い画像情報を選択し、この画像情報と１枚目の画像情報とから算出される収差補正係数に基づいて、画像情報の補正を行ってもよい。このような補正が可能なのは、歪曲収差が投影中心に関して回転対称となるからである。以下、この点について説明する。
【０１２１】
図１３は、歪曲収差の種類を示し、図１４は、投影中心からの距離、即ち実際の像高と歪曲比（式（１６）のｆ（ｒ））との関係を歪曲収差毎に示すグラフである。具体的には、図１３（ａ）は樽型収差を示し、図１４（ａ）は、樽型収差における実際の像高と歪曲比との関係を示す。図１３（ｂ）は糸巻き型収差を示し、図１４（ｂ）は、糸巻き型収差における実際の像高と歪曲比との関係を示す。図１３（ｃ）は陣笠収差を示し、図１４（ｃ）は、陣笠収差における実際の像高と歪曲比との関係を示す。図１３に示すように、すべての歪曲収差が投影中心Ｄに関して回転対称となっているので、画像情報内のすべての領域が、図１４に示す関係を満たす。したがって、収差補正部７０は、上記のように補正を行っても、画像情報全体を精度良く補正することができる。また、収差補正部７０は、１枚目の画像情報と最大相関画像情報との重複領域だけを用いて歪曲収差係数を算出するので、計算に掛かる負荷を低減することができる。
【０１２２】
以上により、本実施形態に係る撮影装置１０は、撮影部２０がそれぞれ異なる撮影姿勢で撮影を行うことで得られる複数の画像情報から特徴点を抽出し、一の画像情報から抽出された特徴点と、他の画像情報から抽出された特徴点とから、被写体上の同一点を示す特徴点の組を探索する。そして、撮影装置１０は、特徴点の組に基づいて、他の画像情報が撮影されたときの撮影姿勢を推定し、推定された撮影姿勢に基づいて、レンズの歪曲収差係数を算出する。したがって、撮影装置１０は、レンズユニット２１やズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数を算出することができる。すなわち、撮影装置１０は、撮影時のレンズ（すなわち撮影時のレンズユニット２１）やズーム率に対応する歪曲収差係数を従来よりも確実に取得することができる。また、撮影装置１０は、撮影者が実際の風景を撮影したときに歪曲収差係数を算出することができるので、幾何情報が既知のチャート、サンプルを用いることなく、歪曲収差係数を算出することができる。
【０１２３】
さらに、撮影装置１０は、一の画像情報と他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が特徴点の組を構成する場合に、一の画像情報と他の画像情報とが相関すると判定し、一の画像情報と他の画像情報とが相関すると判定した場合に、特徴点の組に基づいて、撮影姿勢を推定する。したがって、撮影装置１０は、撮影姿勢をより確実に推定することができる。
【０１２４】
さらに、撮影装置１０は、上述した式（３）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、式（４）で表される姿勢行列Ｒを算出する。したがって、撮影装置１０は、撮影姿勢を姿勢行列Ｒとして算出するので、撮影姿勢をより確実に推定することができる。
【０１２５】
さらに、撮影装置１０は、姿勢行列Ｒに基づいて、一の画像情報から抽出された特徴点の真の像高を算出し、一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、一の画像情報から抽出された特徴点の実際の像高を算出する。そして、撮影装置１０は、算出された真の像高及び実際の像高と、上述した式（５）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出する。したがって、撮影装置１０は、レンズユニット２１やズーム率が変更されても、変更後に取得された画像情報に基づいて、撮影姿勢を推定し、歪曲収差係数ｈ１、ｈ２を算出することができる。
【０１２６】
さらに、撮影装置１０は、レンズＩＤと、撮影時の撮影情報とを取得し、取得された情報と、算出された歪曲収差係数とを対比させて収差情報保存部６０に保存するので、収差情報保存部６０に保存された各歪曲収差係数がどのような条件で算出されたものであるのかを容易に判断することができる。
【０１２７】
さらに、撮影装置１０は、レンズＩＤと、撮影時の撮影情報とを取得し、これらの情報に対応する歪曲収差係数を収差情報保存部６０から検索し、検索された歪曲収差係数に基づいて画像を補正する。したがって、撮影装置１０は、現在使用されているレンズ及びズーム率に応じた歪曲収差係数を用いて補正を行うことができるので、補正をより正確に行うことができる。
【０１２８】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２９】
１０ 撮影装置
２０ 撮影部
２１ レンズユニット
２２ 撮像素子
２３ 画像処理部
３０ レンズ情報取得部
４０ カメラ制御部
５０ 歪曲収差係数算出部
５１ 特徴点抽出部
５２ 特徴点相関部
５３ 姿勢推定部
５４ 収差係数算出部
６０ 収差情報保存部
７０ 収差補正部
８０ 画像保存部
９０ 表示部
【特許請求の範囲】
【請求項１】
撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部がそれぞれ異なる撮影姿勢で撮影を行うことで得られ、互いに一部の領域が重複する複数の画像情報の各々から特徴点を抽出する特徴点抽出部と、
一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから、被写体上の同一点を示す特徴点の組を探索する特徴点相関部と、
前記特徴点の組に基づいて、前記他の画像情報が撮影されたときの撮影姿勢を推定する姿勢推定部と、
前記姿勢推定部が推定した撮影姿勢に基づいて、前記レンズの歪曲収差係数を算出する収差係数算出部と、を備えることを特徴とする、撮影装置。
【請求項２】
前記特徴点相関部は、前記一の画像情報と前記他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が前記特徴点の組を構成する場合に、前記一の画像情報と前記他の画像情報とが相関すると判定し、
前記姿勢推定部は、前記一の画像情報と前記他の画像情報とが相関すると判定された場合に、前記特徴点の組に基づいて、前記他の画像情報が撮影されたときの撮影姿勢を推定することを特徴とする、請求項１記載の撮影装置。
【請求項３】
前記姿勢推定部は、以下の式（１）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、以下の式（２）で表される姿勢行列Ｒを算出することを特徴とする、請求項１または２記載の撮影装置。
【数１】
…（１）
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、前記一の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、前記他の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【数２】
…（２）
【請求項４】
前記収差係数算出部は、前記姿勢行列Ｒに基づいて、前記一の画像情報から抽出された特徴点の真の像高を算出し、前記一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、前記一の画像情報から抽出された特徴点の実際の像高を算出し、算出された真の像高及び実際の像高と、以下の式（３）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出することを特徴とする、請求項３記載の撮影装置。
【数３】
…（３）
【請求項５】
前記レンズを識別するための識別情報と、前記撮影部が前記被写体を撮影する際のズーム率に関するズーム率情報とを取得するレンズ情報取得部と、
前記レンズ情報取得部が取得した情報と、前記収差係数算出部が算出した歪曲収差係数とを対比させて記憶する収差情報保存部と、を備えることを特徴とする請求項１〜４のいずれか１項に記載の撮影装置。
【請求項６】
前記レンズ情報取得部が取得した情報に対応する歪曲収差係数を前記収差情報保存部から検索し、検索された歪曲収差係数に基づいて、前記撮影部が取得した画像情報を補正する収差補正部を備えることを特徴とする、請求項５記載の撮影装置。
【請求項１】
撮影用のレンズを有し、当該レンズを用いた撮影が可能な撮影部がそれぞれ異なる撮影姿勢で撮影を行うことで得られ、互いに一部の領域が重複する複数の画像情報の各々から特徴点を抽出する特徴点抽出部と、
一の画像情報から抽出された第１の特徴点と、他の画像情報から抽出された第２の特徴点とから、被写体上の同一点を示す特徴点の組を探索する特徴点相関部と、
前記特徴点の組に基づいて、前記他の画像情報が撮影されたときの撮影姿勢を推定する姿勢推定部と、
前記姿勢推定部が推定した撮影姿勢に基づいて、前記レンズの歪曲収差係数を算出する収差係数算出部と、を備えることを特徴とする、撮影装置。
【請求項２】
前記特徴点相関部は、前記一の画像情報と前記他の画像情報との重複領域に存在する第１の特徴点のうち、所定数以上の第１の特徴点が前記特徴点の組を構成する場合に、前記一の画像情報と前記他の画像情報とが相関すると判定し、
前記姿勢推定部は、前記一の画像情報と前記他の画像情報とが相関すると判定された場合に、前記特徴点の組に基づいて、前記他の画像情報が撮影されたときの撮影姿勢を推定することを特徴とする、請求項１記載の撮影装置。
【請求項３】
前記姿勢推定部は、以下の式（１）の左辺を特異値分解することで、行列Ｕ、Ｖと、特異値を対角成分に持つ対角行列Ｓとの積Ｕ・Ｓ・Ｖに変換し、最小の特異値の列に対応する行列Ｖの列成分をａ００〜ａ２２とすることで、以下の式（２）で表される姿勢行列Ｒを算出することを特徴とする、請求項１または２記載の撮影装置。
【数１】
…（１）
ここで、ｎは自然数であり、ｉ１ｎ、ｊ１ｎは、前記一の画像情報から抽出された特徴点のｘ座標及びｙ座標であり、ｉ２ｎ、ｊ２ｎは、前記他の画像情報から抽出された特徴点のｘ座標及びｙ座標である。
【数２】
…（２）
【請求項４】
前記収差係数算出部は、前記姿勢行列Ｒに基づいて、前記一の画像情報から抽出された特徴点の真の像高を算出し、前記一の画像情報から抽出された特徴点の座標（ｉ１ｎ、ｊ１ｎ）に基づいて、前記一の画像情報から抽出された特徴点の実際の像高を算出し、算出された真の像高及び実際の像高と、以下の式（３）とに基づいて、歪曲収差係数ｈ１、ｈ２を算出することを特徴とする、請求項３記載の撮影装置。
【数３】
…（３）
【請求項５】
前記レンズを識別するための識別情報と、前記撮影部が前記被写体を撮影する際のズーム率に関するズーム率情報とを取得するレンズ情報取得部と、
前記レンズ情報取得部が取得した情報と、前記収差係数算出部が算出した歪曲収差係数とを対比させて記憶する収差情報保存部と、を備えることを特徴とする請求項１〜４のいずれか１項に記載の撮影装置。
【請求項６】
前記レンズ情報取得部が取得した情報に対応する歪曲収差係数を前記収差情報保存部から検索し、検索された歪曲収差係数に基づいて、前記撮影部が取得した画像情報を補正する収差補正部を備えることを特徴とする、請求項５記載の撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１３４６６２（Ｐ２０１２−１３４６６２Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３６７０（Ｐ２０１０−２８３６７０）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]