画像処理装置と画像処理方法およびプログラム
【課題】撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できるようにする。
【解決手段】合成処理部29は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する。加工処理部30は、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいてパノラマ画像の縮小または拡大を行い、被写体までの距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できる。
【解決手段】合成処理部29は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する。加工処理部30は、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいてパノラマ画像の縮小または拡大を行い、被写体までの距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できる。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像歪みが補正された広画角の合成画像を容易に生成できるようにする。
【背景技術】
【0002】
従来、撮像装置をスイングまたは平行移動しながら複数回の撮像を行うことにより得られた撮像画像を合成することで、1回の撮像で得られる画像よりも広画角である合成画像、いわゆるパノラマ画像を生成することが行われている。
【0003】
パノラマ画像の生成では、例えば特許文献1のように、画像の合成時に撮影レンズの収差や視差等による幾何学的変位を補正して、画像合成が行われている。また、特許文献1では、被写体までの距離を計測して、距離情報から視差量の計算を行い、視差量に基づいて視差の補正を行った画像を用いて画像合成が行われている。
【0004】
また、特許文献2では、撮影条件や画像の用途に応じた歪補正が行われている。例えば撮影された複数の画像データを繋ぎ合わせてパノラマ画像を作成する場合には、撮像時のレンズの焦点距離に応じた歪補正を行い、歪補正後の画像を用いて繋ぎ合わせが行われている。また、広角レンズを用いて広い画角で撮影する場合には、周辺部の歪みを残した画像のほうが、歪みが無い画像に比べて自然に見える場合があるため、歪みを残す補正が行われている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平8−116490号公報
【特許文献2】特開2009−260567号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、円筒面投影法を用いてパノラマ画像を生成する場合、固定した位置で撮像装置を回転させて複数枚の撮像画像の生成を行い、生成された画像を繋ぎ合わせることが行われる。
【0007】
図1は、円筒面投影法を説明するための図である。円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法である。したがって、図1の(A)に示すように、撮像装置90から被写体91までの距離が一定であり、各被写体91が同一サイズである場合は、撮像画像上においても図1の(B)に示すように、同一サイズの被写体画像91pとなる。しかし、撮像装置から被写体までの距離が変化すると、距離の変化に応じた画像歪みが生じる。例えば、図1の(C)に示すように、撮像装置90と円筒面93上の第1の撮像画像94の一端を結ぶ線分LN1が平面96と交わる点を交点P1’とする。また、第1の撮像画像94の他方の端点P2と撮像装置90の位置を結ぶ線分LN2が平面96と交わる点を交点P2’とする。同様に、円筒面93上の第2の撮像画像95の一方の端点P3と撮像装置90の位置を結ぶ線分LN3が平面96と交わる点を交点P3’とする。また、第2の撮像画像95の他方の端点P4と撮像装置90の位置を結ぶ線分LN4が平面96と交わる点を交点P4’とする。この場合、第1の撮像画像94は、平面96における交点P1’〜P2’の範囲を示す画像となる。同様に、第2の撮像画像95は、平面96における交点P3’〜P4’の範囲を示す画像となる。また、撮像装置90の位置から交点P1’までの距離は撮像装置90の位置から交点P2’までの距離よりも長くなっており、撮像装置90の位置から交点P4’までの距離は、撮像装置90の位置から交点P3’までの距離よりも長くなっている。したがって、平面96の被写体92は、図1の(D)に示すように、樽状の歪みを生じた被写体画像92pとなってしまう。
【0008】
このように、円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法であるため、撮像装置からの距離が一定でない被写体は、撮像画像上において距離に応じた歪みを有する形状となってしまう。しかし、特許文献1のように撮像レンズの収差や視差による幾何学的変位の補正や特許文献2のようにレンズの焦点距離に応じた歪補正では、撮像装置からの距離が一定でないことによって生じる歪みを補正することができない。
【0009】
そこで、この技術では、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる、画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
この技術の第1の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部とを備える画像処理装置にある。
【0011】
この技術においては、円筒面投影法を用いて撮像を行うことにより複数枚の撮像画像が生成される。この複数枚の撮像画像から画像が切り出されて、切り出された画像が繋ぎ合わされて、広画角の合成画像が生成される。また、被写体までの距離を被写体における複数位置、例えば切り出した画像を繋ぎ合わせる方向の複数位置で計測して得た距離情報に基づいて合成画像の縮小または拡大が行われて、距離の違いによって生じた合成画像における被写体の画像歪みが補正される。合成画像の縮小では、距離情報が最長距離から短くなるに伴い、合成画像の縮小割合が大きくされる。また、合成画像を縮小することによって生じた画像情報の無い領域が所定の画像とされる。または、縮小後の合成画像から画像情報の無い領域を除いて、矩形状に画像が切り出される。合成画像の拡大では、距離情報が最短距離から長くなるに伴い、合成画像の拡大割合が大きくされる。なお、画像表示を行う表示部に合成画像と歪補正後の合成画像が表示されて、何れかの合成画像が選択可能とされる。
【0012】
この技術の第2の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程とを含む画像処理方法にある。
【0013】
この技術の第3の側面は、複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順とを前記コンピュータで実行させるプログラムにある。
【0014】
なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【0015】
この技術によれば、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせて合成画像が生成される。また、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて合成画像の加工が行われて、被写体までの距離の違いによって生じた合成画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる。
【図面の簡単な説明】
【0016】
【図1】円筒面投影法を説明するための図である。
【図2】画像処理装置を用いた撮像装置の構成を示す図である。
【図3】位相差画素を有するCMOS固体撮像素子の構成を示す図である。
【図4】シフト量と、デフォーカス量との関係を例示した図である。
【図5】画像処理装置を用いた撮像装置の動作を示すフローチャートである。
【図6】円筒面投影法を用いた場合における撮像装置と被写体間の距離を示した図である。
【図7】撮像装置と被写体との間の距離を例示した図である。
【図8】距離情報に基づき画像の縮小を行う場合の縮小率nを例示した図である。
【図9】加工処理部で行われる歪補正処理を説明するための図である。
【図10】加工処理部で行われる歪補正処理後の画像加工処理を説明するための図である。
【図11】画像処理装置を用いた撮像装置の他の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.画像処理装置を用いた撮像装置の構成
2.画像処理装置を用いた撮像装置の動作
3.画像処理装置を用いた撮像装置の他の動作
【0018】
<1.画像処理装置を用いた撮像装置の構成>
図2は、本技術の画像処理装置を用いた撮像装置10の構成を例示している。撮像装置10は、撮像レンズ部11、撮像素子12、撮像素子駆動部13、前処理部14、カメラDSP(Digital Signal Processing)部20、メモリ部41、表示部42、記録媒体43、システム制御部50、操作部51を有している。
【0019】
撮像レンズ部11は、被写体光を撮像素子12に導くための撮像光学系として機能するものである。撮像レンズ部11は、撮像素子12の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。
【0020】
撮像素子12は、CMOS(Complementary Metal-Oxide Semiconductor)やCCD(Charge Coupled Device)等の固体撮像素子を用いて構成されている。撮像素子12は、撮像レンズ部11によって受光面に結像された光学像に応じた撮像信号を生成して前処理部14に出力する。
【0021】
撮像素子駆動部13は、駆動信号を生成して撮像素子12に供給することで、撮像信号を撮像素子12で生成して出力させる。
【0022】
前処理部14は、撮像素子12から供給される撮像信号に対して相関二重サンプリング処理(CDS:Correlated Double Sampling)やアナログ増幅処理、A/D変換処理等を行い、画像データを生成してカメラDSP部20に出力する。
【0023】
カメラDSP部20は、後述するシステム制御部50の制御のもとで、前処理部5から出力される画像データの記録や再生および画像データに基づく画像表示等に係る処理、広画角の合成画像いわゆるパノラマ画像の生成等を行う。なお、カメラDSP部20にはメモリ部41が接続されており、メモリ部41は、カメラDSP部20で種々の処理を行うための作業用領域として用いられる。
【0024】
カメラDSP部20は、カメラ信号処理部21、メモリ制御部22、レンズ制御部23、解像度変換部24、表示制御部25、コーデック部26、メディア制御部27、被写体距離計測部28、合成処理部29、加工処理部30を有している。また、カメラDSP部20の各部は、内部バス31を介して接続されている。
【0025】
カメラ信号処理部21は、前処理部14から供給される画像データに対してホワイトバランス調整処理、ガンマ補正処理等を行う。また、カメラ信号処理部21は、画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部23に出力する。
【0026】
メモリ制御部22は、メモリ部41に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部22は、カメラDSP部20の各部から供給される画像データや符号化データをメモリ部41に書き込み、またメモリ部41に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0027】
レンズ制御部23は、カメラ信号処理部21から得られる情報や、後述するシステム制御部50からの制御信号に基づき、撮像レンズ部11を駆動して、オートフォーカス制御やズーム制御、絞り制御等を行う。
【0028】
解像度変換部24は、メモリ部41に格納された画像データ、またはカメラ信号処理部21から出力される画像データの解像度を変換する。例えば、解像度変換部24は、カメラ信号処理が行われた画像データを表示部42の表示解像度に対応した画像データに変換する。また、解像度変換部24は、ユーザにより指示された解像度に変換して、記録媒体43に記録できるようにする。また、撮像画像の一部領域を切り出してこの解像度の変換処理に係る処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。
【0029】
表示制御部25は、解像度変換部24から供給された画像データやメモリ部41に格納された画像データにより表示部42を駆動して、撮像動作時におけるモニタ画像やメモリ部41に記録されている画像、および記録媒体43に記録されている画像の表示を行う。また、表示制御部25は、撮像装置10に搭載される機能を選択するためのメニュー表示や撮像装置10の設定状態を示す設定状態表示等を、表示部42で表示させる。
【0030】
コーデック部26は、画像データのデータ圧縮処理を行い、得られた符号化データをメモリ制御部22やメディア制御部27に出力して、メモリ部41や記録媒体43に記録させる。また、メモリ部41や記録媒体43から読み出された符号化データのデータ伸長処理を行い、得られた画像データをメモリ制御部22や表示制御部25等に出力する。なおこのデータ圧縮、伸長は、静止画にあってはJPEG(Joint Photographic Coding Experts Group)の手法が適用される。また、動画にあっては、ISO/IEC JTC1/SC29WG11のMPEG1(Motion Picture Experts Group 1)、MPEG2(Motion Picture Experts Group 2)、MPEG4(Motion Picture Experts Group 4)、ITU−TのH.263、H.264/MPEG4−AVC(Advanced Video Coding)等、動きベクトルを用いたデータ圧縮手法が適用される。
【0031】
メモリ制御部22は、メモリ部41に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部22は、カメラDSP部20の各部から供給される画像データや符号化データをメモリ部41に書き込み、またメモリ部41に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0032】
メディア制御部27は、記録媒体43に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メディア制御部27は、カメラDSP部20の各部から供給される画像データや符号化データを記録媒体43に書き込み、また記録媒体43に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0033】
被写体距離計測部28は、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。被写体距離計測部28は、生成した距離情報をメモリ部41や記録媒体43に供給する。被写体距離計測部28は、被写体までの距離を示す距離情報を生成できる構成であればよい。例えば、被写体距離計測部28は、赤外光または超音波等を利用した測距センサからのセンサ信号に基づき、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。また、撮像装置に設けられているオートフォーカス機能を利用して、フォーカスレンズの合焦位置等から距離情報を生成する。また、撮像装置10を回転させて距離情報の生成を行うことで、被写体における複数位置の距離情報を生成できる。さらに、特開2010−169709号公報に示されているように、被写体光を瞳分割して焦点検出するための位相差画素を有するCMOS固体撮像素子を用いれば、撮像画像における複数の位置で距離情報を生成できる。なお、撮像素子は、位相差画素を有する構成であればよく、CMOSに限る必要はない
【0034】
図3は、被写体光を瞳分割して焦点検出するための位相差画素を有するCMOS固体撮像素子の構成を示している。撮像素子12は、フォトダイオードを用いて構成される複数の画素がマトリクス状に2次元配置されている。各画素の受光面には、それぞれ分光特性の異なる例えばR(赤)、G(緑)、B(青)のカラーフィルタが1:2:1の比率で配設されて、R画素121、G画素122およびB画素123が形成されている。また、被写体光を瞳分割して焦点検出するための位相差画素のペア(以下「AF(AutoFocus)画素対」という)12fが設けられている。なお、R画素121、G画素122、B画素123およびAF画素対12fで示す破線は、集光レンズとして機能するマイクロレンズを示している。
【0035】
瞳分割機能を持たない画素は、G画素122とR画素121とが水平方向に交互に配置されて水平ラインL1を形成しており、B画素123とG画素122とが水平方向に交互に配置されて水平ラインL2を形成している。この水平ラインL1と水平ラインL2とが垂直方向に交互に配置されることでベイヤー配列が構成される。
【0036】
AF画素対12fは、水平方向に沿って繰り返し配列されてAFラインLfを形成している。なお、斜線の領域は遮光部LSである。このように構成されたAFラインLfは、垂直方向に所定ライン数の配置間隔をもって複数設けられている。また、AF画素対12fの第1AF画素12f-aで得られる受光データをA系列のデータ、第2AF画素12f-bで得られる受光データをB系列のデータとする。
【0037】
A系列の像とB系列の像を比較すると、デフォーカス量が大きいほど、A系列の像とB系列の像との間に生じるAFラインLf(水平方向)方向のシフト量(ズレ量)が増大する。図4は、A系列とB系列の像との間に生じるシフト量と、デフォーカス量との関係を例示している。なお、図4においては、縦軸がA系列の像の重心位置に対するB系列の像の重心位置の差(画素ピッチ)を示し、縦軸がデフォーカス量(μm)を示している。なお、各像の重心位置Xgは、式(1)により求められる。なお、式(1)において、X1〜Xnは、例えばAFラインLfにおける左端からの画素位置を表し、Y1〜Ynは、各位置X1〜Xnの第1AF画素12f-a、第2AF画素12f-bからの出力値を表している。
【数1】
【0038】
図4に示すように一対の像における重心位置の差(ピッチ)とデフォーカス量(μm)との関係は、比例関係となっている。この関係について、デフォーカス量をDF(μm)とし重心位置の差をC(μm)として数式で表現すると、次の式(2)のようになる。なお、式(2)の係数kは、傾きGk(破線で図示)を表しており、工場試験等によって事前に取得できるものである。
【数2】
【0039】
このように、AFラインLfのAF画素対12fから得られるA系列のデータとB系列のデータに関する重心位置の差(位相差)Cを算出して、さらに式(2)の演算を行うことでデフォーカス量DFが算出できる。このようにして算出したデフォーカス量DFに基づき、被写体までの距離被写体までの距離を算出する。また、AF画素対12fは、撮像面に分散して設けられていることから、撮像範囲内の複数点で被写体までの距離を計測できる。
【0040】
図2に戻り、合成処理部29は、カメラ信号処理部21やメモリ部41から読み出された複数枚の撮像画像の画像データ、またはコーデック部26から供給された複数枚の撮像画像の画像データを用いて、パノラマ画像の画像データを生成する。パノラマ画像の画像データの生成では、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行う。
【0041】
加工処理部30は、被写体距離計測部28で生成された距離情報に基づき、パノラマ画像の加工を行い、距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。また、加工処理部30は、歪補正によって画像情報の無い領域が生じた場合、画像情報の無い領域を所定の画像に加工する。
【0042】
表示部42は、液晶表示素子や有機EL等の表示素子を用いて構成されている。表示部42は、表示制御部25の制御の下で、撮像装置10に搭載される機能を選択するためのメニュー表示や撮像装置10の設定状態を示す設定状態表示、撮像画像や再生画像等の表示を行う。
【0043】
記録媒体43は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録媒体等が用いられる。記録媒体43は、コーデック部26で生成された符号化データ等を記録する。
【0044】
システム制御部50には、操作部51が接続されている。操作部51は、撮像装置10に設けられた操作スイッチや操作ボタン、表示部42の表示画面に設けられたタッチパネル等を用いて構成されており、ユーザによる操作に応じた操作信号をシステム制御部50に出力する。
【0045】
システム制御部50は、CPU(Central Processing Unit)やROM(Read Only Memory)およびRAM(Random Access Memory)等を用いて構成されている。システム制御部50は、ROMに記憶されているプログラムを読み出してCPUで実行して、操作信号に基づき撮像装置10の動作がユーザ操作に応じた動作となるように各部の動作を制御する。なお、プログラムは、事前に、撮像装置10にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしてもよい。
【0046】
<2.画像処理装置を用いた撮像装置の動作>
図5は、本技術の画像処理装置を用いた撮像装置の動作を示すフローチャートである。なお、図5に示す撮像装置の動作では、距離情報の生成を行ったのちパノラマ画像の生成を行う場合を示している。
【0047】
ステップST1で撮像装置10は、ユーザ操作の受け付けを行う。撮像装置10は、操作部51で行われたユーザ操作を受け付けてステップST2に進む。
【0048】
ステップST2で撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップST3に進む。なお、撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップST15に進み、ステップST15でユーザ操作に応じた処理を行ってステップST1に戻る。
【0049】
ステップST3で撮像装置10は、距離情報の生成を行う。撮像装置10は、固定した位置で撮像装置を回転させて、複数枚の撮像画像を生成する前に、被写体における複数位置の距離情報を被写体距離計測部28で生成してステップST4に進む。
【0050】
ステップST4で撮像装置10は、距離情報の生成が成功したか判別する。撮像装置10は、被写体距離計測部28によって距離情報が生成された場合にはステップST5に進み、距離情報が生成されない場合にはステップST14に進む。
【0051】
ステップST5で撮像装置10は、距離情報を保存する。撮像装置10は、生成した距離情報を、例えばメモリ部41に保存してステップST6に進む。
【0052】
ステップST6で撮像装置10は撮像画像の生成を行う。撮像装置10は、円筒面投影法を用いて撮像画像の生成を行う。具体的には、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成して、例えばメモリ部41に保存してステップST7に進む。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。
【0053】
ステップST7で撮像装置10は、撮像が成功したか判別する。撮像装置10は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップST8に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置10の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップST14に進む。
【0054】
ステップST8で撮像装置10はパノラマ画像の生成を行う。撮像装置10の合成処理部29は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置10は、生成したパノラマ画像の画像データを例えばメモリ部41に保存してステップST9に進む。
【0055】
ステップST9で撮像装置10は、距離情報に基づく被写体解析処理を行う。撮像装置10は、保存されている距離情報に基づき、パノラマ画像の被写体が、例えば図1の(C)に示すように距離の変化する被写体であるか解析して、ステップST10に進む。
【0056】
ステップST10で撮像装置10は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置10は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップST11に進み、撮像装置から一定の距離である場合にはステップST12に進む。
【0057】
ステップST11で撮像装置10は、距離情報に基づく歪補正処理を行う。撮像装置10の加工処理部30は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップST12に進む。なお、距離情報に基づく歪補正処理の詳細については後述する。
【0058】
ステップST12で撮像装置10は、パディング加工処理を行う。撮像装置10の加工処理部30は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップST13に進む。
【0059】
ステップST13で撮像装置10は、パノラマ画像を保存する。撮像装置10は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部41や記録媒体43に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。
【0060】
ステップST14で撮像装置10は、エラー表示を行う。撮像装置10は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部42でその旨を示すエラー表示を行う。
【0061】
なお、図5は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップST1,2,12〜15の処理は、本技術の画像処理装置では必須の処理ではない。
【0062】
次に、距離情報に基づく歪補正処理について説明する。図6は、円筒面投影法を用いた場合における撮像装置と被写体間の距離を示している。図6の(A)に示すように、固定した位置で撮像装置10を回転した場合、撮像装置10と大平面状の被写体60との間の距離LMは、回転方向すなわちパノラマ画像の生成において切り出した画像を繋ぎ合わせる方向に対して、図6の(B)に示すように変化する。固定した位置で撮像装置10を回転するとは、図6の(A)に示すように撮像装置の位置を回転軸とする場合だけでなく、撮像装置を用いて撮像を行うユーザが、固定した位置で体を軸として回転することにより撮像装置が回転する場合も含まれる。
【0063】
図7は、位置PS0〜位置PS10における撮像装置10と被写体60との間の距離LMを例示している。例えば位置PS1では距離「10」であり、撮像装置10の撮像方向が被写体60の中央側に移動するにつれて距離が短くなり、位置PS5では距離「5」となる。さらに、撮像装置10の撮像方向が被写体60の右側に移動するにつれて距離が長くなり、位置PS10では距離「10」となる。なお、図6〜図8において、D1〜D10は、位置PS0からの距離を示している。
【0064】
加工処理部30は、距離情報に基づき画像の加工を行い、距離情報に基づき画像の縮小または拡大を行い、距離の違いによって生じた画像歪みを補正する。加工処理部30は、距離情報に基づき画像の縮小を行う場合、最長距離LM(max)の位置に対する縮小率を「100%(1倍)」として、距離LMが短くなるに伴い縮小の割合を大きくすることで、距離の違いによって生じた画像歪みを補正する。縮小率nは、式(3)に基づいて設定する。
n=LM/LM(max)×100% ・・・(3)
【0065】
図8は、距離情報に基づき画像の縮小を行う場合の縮小率nを例示している。位置PS1は最も離れた距離、すなわち最長距離LM(max)(=10)であることから、縮小率を「100%(1倍)」とする。また、距離LMが短くなるに伴い縮小の割合を大きくして画像をより小さくする。位置PS5で距離が最短距離LM(min)(=5)となる場合は、縮小率を「LM(min)/LM(max)×100=50%」とする。また、距離が長くなるに伴い縮小の割合を小さくして、位置PS10で距離が最長距離LM(max)となる場合は、縮小率を「100%」とする。
【0066】
図9は、加工処理部30で行われる歪補正処理を説明するための図である。加工処理部30は、距離情報に基づき被写体までの距離に応じて決定した縮小率でパノラマ画像の縮小処理を行い、画像歪みを補正する。例えば、図9の(A)に示すように、パノラマ画像の長手方向に対して直交する方向の画像サイズを「Sh」とした場合、式(4)の演算を行い、被写体までの距離に応じて画像を縮小して、図9の(B)に示すように、画像歪みが補正されたパノラマ画像を生成する。
SCh=n×Sh ・・・(4)
【0067】
図10は、加工処理部30で行われる歪補正処理後の画像加工処理を説明するための図である。加工処理部30は、画像を縮小して歪補正を行った場合、図10の(A)に示すように画像情報の無いパディングPA(斜線部)が生じる。したがって、加工処理部30は、パディングPAを所定の画像とする。例えば図10の(B)に示すように所定色CPで塗りつぶす。また、加工処理部30は、パディングPAと隣接する領域の画像を加工して、パディングPAに貼り付けてもよい。
【0068】
また、加工処理部30は、図10の(C)に示すように、歪補正後のパノラマ画像からパディングPAの領域を除く矩形状の領域PBを切り出して、図10の(D)に示すように、パディングを除いたパノラマ画像としてもよい。
【0069】
さらに、加工処理部30は、距離情報が最短距離から長くなるに伴い、パノラマ画像の拡大割合を大きくして、歪補正後のパノラマ画像を生成することもできる。この場合、式(3)のLM(max)をL(min)とすれば、nは拡大率を示すことになる。
【0070】
なお、被写体までの距離に応じてパノラマ画像の縮小を行う場合、歪補正後のパノラマ画像は、撮像装置10から離れた部分の画質を維持した画像となる。また、被写体までの距離に応じてパノラマ画像の拡大する場合、歪補正後のパノラマ画像は、撮像装置10に近い部分の画質を維持した画像となる。
【0071】
このように、距離情報に応じてパノラマ画像の縮小または拡大が行われて、撮像装置からの距離が一定でないことによって生じる画像歪みが補正される。したがって、被写体画像が歪みを生じていないパノラマ画像を容易に生成できる。
【0072】
ところで、図5に示す動作は、距離情報を取得してから撮像動作を行うようにしたが、上述のように、位相差画素を有するCMOS固体撮像素子を用いれば、撮像画像の画像データを生成しながら距離情報を生成できる。
【0073】
次に、本技術の画像処理装置を用いた撮像装置の他の動作として、円筒面投影法を用いて複数枚の撮像画像の画像データを生成しながら距離情報を生成する場合について図11のフローチャートを用いて説明する。
【0074】
ステップST21で撮像装置10は、ユーザ操作の受け付けを行う。撮像装置10は、操作部51で行われたユーザ操作を受け付けてステップST22に進む。
【0075】
ステップST22で撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップST23に進む。なお、撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップST35に進み、ステップST35でユーザ操作に応じた処理を行ってステップST21に戻る。
【0076】
ステップST23で撮像装置10は、撮像画像の生成を行う。撮像装置10は、1枚の撮像画像を生成してステップST24に進む。
【0077】
ステップST24で撮像装置10は、距離情報の生成を行う。撮像装置10は、ステップST23で撮像された被写体までの距離に応じた距離情報を被写体距離計測部28で生成してステップST24に進む。
【0078】
ステップST25で撮像装置10は、撮像画像と距離情報を保存する。撮像装置10は、ステップST23で生成した撮像画像の画像データと、ステップST24で生成した距離情報を、例えばメモリ部41に保存してステップST26に進む。
【0079】
ステップST26で撮像装置10は、撮像終了であるか判別する。撮像装置10は、撮像終了と判別した場合にステップST27に進む。また、撮像終了と判別していない場合にはステップST23に戻り、撮像装置10は、回転された位置の撮像画像の生成を新たに行う。撮像装置10は、例えばユーザによるシャッター終了操作が行われた場合、所定数枚の撮像画像の生成が行われた場合、撮像装置10の回転動作が終了した場合等に、撮像終了と判別する。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。
【0080】
ステップST27で撮像装置10は、撮像が成功したか判別する。撮像装置10は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップST28に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置10の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップST34に進む。
【0081】
ステップST28で撮像装置10はパノラマ画像の生成を行う。撮像装置10の合成処理部29は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置10は、生成したパノラマ画像の画像データを例えばメモリ部41に保存してステップST29に進む。
【0082】
ステップST29で撮像装置10は、距離情報に基づく被写体解析処理を行う。撮像装置10は、保存されている距離情報に基づき、パノラマ画像の被写体が、距離の変化する被写体であるか解析して、ステップST30に進む。
【0083】
ステップST30で撮像装置10は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置10は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップST31に進み、撮像装置から一定の距離である場合にはステップST32に進む。
【0084】
ステップST31で撮像装置10は、距離情報に基づく歪補正処理を行う。撮像装置10の加工処理部30は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップST32に進む。
【0085】
ステップST32で撮像装置10は、パディング加工処理を行う。撮像装置10の加工処理部30は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップST33に進む。
【0086】
ステップST33で撮像装置10は、パノラマ画像を保存する。撮像装置10は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部41や記録媒体43に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。
【0087】
ステップST34で撮像装置10は、エラー表示を行う。撮像装置10は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部42でその旨を示すエラー表示を行う。
【0088】
なお、図11は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップST21,22,32〜35の処理は、本技術の画像処理装置では必須の処理ではない。
【0089】
このように、撮像画像の生成時に距離情報を生成できることから、撮像装置からの距離が一定でないことによって生じる画像歪みを補正したパノラマ画像を、さらに簡単かつ速やかに生成できる。
【0090】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。また、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0091】
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0092】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0093】
また、上述の実施の形態では、歪補正を撮像時に行う場合を例示しているが、パノラマ画像の再生時に、ユーザからの指示で行うようにしてもよい。また、補正前のパノラマ画像と補正後のパノラマ画像を表示部42に表示して、操作部51のユーザ操作によって選択されたパノラマ画像の画像データを記録するようにしてもよい。また、補正後のパノラマ画像を表示部42に表示する機能のみを有する構成であってもよい。さらに、メモリ部41や記録媒体43には、補正前のパノラマ画像と補正後のパノラマ画像の画像データを記録してもよい。
【0094】
また、距離情報と画像信号を別個に記録してもよく、画像信号のファイルに距離情報を含めるようにしてもよい。例えばExifファイルのタグに距離情報を含めてもよい。
【0095】
さらに、上述の実施の形態では、撮像装置に画像処理装置を適用した場合を示したが、撮像装置と信号処理装置が別個に構成されてもよい。すなわち、撮像装置は、円筒面投影法を用いた複数枚の撮像画像の生成と、被写体までの距離に応じた距離情報の生成を行う。また、画像処理装置では、撮像装置で生成された撮像画像の画王データと距離情報を用いてパノラマ画像の生成と歪補正を行う。
【0096】
本技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0097】
なお、本技術は以下のような構成も取ることができる。
(1) 複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
を備える画像処理装置。
(2) 前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である(1)に記載の画像処理装置。
(3) 前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である(1)または(2)に記載の画像処理装置。
(4) 前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する(1)乃至(3)の何れかに記載の画像処理装置。
(5) 前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする(4)記載の画像処理装置。
(6) 前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする(4)または(5)に記載の画像処理装置。
(7) 前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う(4)または(5)に記載の画像処理装置。
(8) 前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする(4)記載の画像処理装置。
(9) 画像表示を行う表示部を有し、
前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする(1)乃至(8)の何れかに記載の画像処理装置。
【産業上の利用可能性】
【0098】
この技術の信号処理装置と信号処理方法およびプログラムでは、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせてパノラマ画像が生成される。また、被写体までの距離を該被写体における複数位置で計測した距離情報に基づいてパノラマ画像の加工が行われて、距離の違いによって生じたパノラマ画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できることから、撮像装置や撮像画像の加工編集を行う編集装置等に適している。
【符号の説明】
【0099】
10,90・・・撮像装置、11・・・撮像レンズ部、12・・・撮像素子、12f・・・AF(AutoFocus)画素対、12f−a・・・第1AF画素、12f−b・・・第2AF画素、13・・・撮像素子駆動部、14・・・前処理部、20・・・DSP(Digital Signal Processor)部、21・・・カメラ信号処理部、22・・・メモリ制御部、23・・・レンズ制御部、24・・・解像度変換部、25・・・表示制御部、26・・・コーデック部、27・・・メディア制御部、28・・・被写体距離計測部、29・・・合成処理部、30・・・加工処理部、31・・・内部バス、41・・・メモリ部、42・・・表示部、43・・・記録媒体、50・・・システム制御部、51・・・操作部、60,91,92・・・被写体、91p,92p・・・被写体画像、93・・・円筒面、94・・・第1撮像画像、95・・・第2撮像画像、96・・・平面
【技術分野】
【0001】
この技術は、画像処理装置と画像処理方法およびプログラムに関する。詳しくは、画像歪みが補正された広画角の合成画像を容易に生成できるようにする。
【背景技術】
【0002】
従来、撮像装置をスイングまたは平行移動しながら複数回の撮像を行うことにより得られた撮像画像を合成することで、1回の撮像で得られる画像よりも広画角である合成画像、いわゆるパノラマ画像を生成することが行われている。
【0003】
パノラマ画像の生成では、例えば特許文献1のように、画像の合成時に撮影レンズの収差や視差等による幾何学的変位を補正して、画像合成が行われている。また、特許文献1では、被写体までの距離を計測して、距離情報から視差量の計算を行い、視差量に基づいて視差の補正を行った画像を用いて画像合成が行われている。
【0004】
また、特許文献2では、撮影条件や画像の用途に応じた歪補正が行われている。例えば撮影された複数の画像データを繋ぎ合わせてパノラマ画像を作成する場合には、撮像時のレンズの焦点距離に応じた歪補正を行い、歪補正後の画像を用いて繋ぎ合わせが行われている。また、広角レンズを用いて広い画角で撮影する場合には、周辺部の歪みを残した画像のほうが、歪みが無い画像に比べて自然に見える場合があるため、歪みを残す補正が行われている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平8−116490号公報
【特許文献2】特開2009−260567号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、円筒面投影法を用いてパノラマ画像を生成する場合、固定した位置で撮像装置を回転させて複数枚の撮像画像の生成を行い、生成された画像を繋ぎ合わせることが行われる。
【0007】
図1は、円筒面投影法を説明するための図である。円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法である。したがって、図1の(A)に示すように、撮像装置90から被写体91までの距離が一定であり、各被写体91が同一サイズである場合は、撮像画像上においても図1の(B)に示すように、同一サイズの被写体画像91pとなる。しかし、撮像装置から被写体までの距離が変化すると、距離の変化に応じた画像歪みが生じる。例えば、図1の(C)に示すように、撮像装置90と円筒面93上の第1の撮像画像94の一端を結ぶ線分LN1が平面96と交わる点を交点P1’とする。また、第1の撮像画像94の他方の端点P2と撮像装置90の位置を結ぶ線分LN2が平面96と交わる点を交点P2’とする。同様に、円筒面93上の第2の撮像画像95の一方の端点P3と撮像装置90の位置を結ぶ線分LN3が平面96と交わる点を交点P3’とする。また、第2の撮像画像95の他方の端点P4と撮像装置90の位置を結ぶ線分LN4が平面96と交わる点を交点P4’とする。この場合、第1の撮像画像94は、平面96における交点P1’〜P2’の範囲を示す画像となる。同様に、第2の撮像画像95は、平面96における交点P3’〜P4’の範囲を示す画像となる。また、撮像装置90の位置から交点P1’までの距離は撮像装置90の位置から交点P2’までの距離よりも長くなっており、撮像装置90の位置から交点P4’までの距離は、撮像装置90の位置から交点P3’までの距離よりも長くなっている。したがって、平面96の被写体92は、図1の(D)に示すように、樽状の歪みを生じた被写体画像92pとなってしまう。
【0008】
このように、円筒面投影法は撮像装置から被写体までの距離が常に一定であることを前提とした撮像方法であるため、撮像装置からの距離が一定でない被写体は、撮像画像上において距離に応じた歪みを有する形状となってしまう。しかし、特許文献1のように撮像レンズの収差や視差による幾何学的変位の補正や特許文献2のようにレンズの焦点距離に応じた歪補正では、撮像装置からの距離が一定でないことによって生じる歪みを補正することができない。
【0009】
そこで、この技術では、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる、画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
この技術の第1の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部とを備える画像処理装置にある。
【0011】
この技術においては、円筒面投影法を用いて撮像を行うことにより複数枚の撮像画像が生成される。この複数枚の撮像画像から画像が切り出されて、切り出された画像が繋ぎ合わされて、広画角の合成画像が生成される。また、被写体までの距離を被写体における複数位置、例えば切り出した画像を繋ぎ合わせる方向の複数位置で計測して得た距離情報に基づいて合成画像の縮小または拡大が行われて、距離の違いによって生じた合成画像における被写体の画像歪みが補正される。合成画像の縮小では、距離情報が最長距離から短くなるに伴い、合成画像の縮小割合が大きくされる。また、合成画像を縮小することによって生じた画像情報の無い領域が所定の画像とされる。または、縮小後の合成画像から画像情報の無い領域を除いて、矩形状に画像が切り出される。合成画像の拡大では、距離情報が最短距離から長くなるに伴い、合成画像の拡大割合が大きくされる。なお、画像表示を行う表示部に合成画像と歪補正後の合成画像が表示されて、何れかの合成画像が選択可能とされる。
【0012】
この技術の第2の側面は、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程とを含む画像処理方法にある。
【0013】
この技術の第3の側面は、複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順とを前記コンピュータで実行させるプログラムにある。
【0014】
なお、本技術のプログラムは、例えば、様々なプログラムを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【0015】
この技術によれば、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせて合成画像が生成される。また、被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて合成画像の加工が行われて、被写体までの距離の違いによって生じた合成画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角の合成画像を容易に生成できる。
【図面の簡単な説明】
【0016】
【図1】円筒面投影法を説明するための図である。
【図2】画像処理装置を用いた撮像装置の構成を示す図である。
【図3】位相差画素を有するCMOS固体撮像素子の構成を示す図である。
【図4】シフト量と、デフォーカス量との関係を例示した図である。
【図5】画像処理装置を用いた撮像装置の動作を示すフローチャートである。
【図6】円筒面投影法を用いた場合における撮像装置と被写体間の距離を示した図である。
【図7】撮像装置と被写体との間の距離を例示した図である。
【図8】距離情報に基づき画像の縮小を行う場合の縮小率nを例示した図である。
【図9】加工処理部で行われる歪補正処理を説明するための図である。
【図10】加工処理部で行われる歪補正処理後の画像加工処理を説明するための図である。
【図11】画像処理装置を用いた撮像装置の他の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.画像処理装置を用いた撮像装置の構成
2.画像処理装置を用いた撮像装置の動作
3.画像処理装置を用いた撮像装置の他の動作
【0018】
<1.画像処理装置を用いた撮像装置の構成>
図2は、本技術の画像処理装置を用いた撮像装置10の構成を例示している。撮像装置10は、撮像レンズ部11、撮像素子12、撮像素子駆動部13、前処理部14、カメラDSP(Digital Signal Processing)部20、メモリ部41、表示部42、記録媒体43、システム制御部50、操作部51を有している。
【0019】
撮像レンズ部11は、被写体光を撮像素子12に導くための撮像光学系として機能するものである。撮像レンズ部11は、撮像素子12の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等が含まれている。
【0020】
撮像素子12は、CMOS(Complementary Metal-Oxide Semiconductor)やCCD(Charge Coupled Device)等の固体撮像素子を用いて構成されている。撮像素子12は、撮像レンズ部11によって受光面に結像された光学像に応じた撮像信号を生成して前処理部14に出力する。
【0021】
撮像素子駆動部13は、駆動信号を生成して撮像素子12に供給することで、撮像信号を撮像素子12で生成して出力させる。
【0022】
前処理部14は、撮像素子12から供給される撮像信号に対して相関二重サンプリング処理(CDS:Correlated Double Sampling)やアナログ増幅処理、A/D変換処理等を行い、画像データを生成してカメラDSP部20に出力する。
【0023】
カメラDSP部20は、後述するシステム制御部50の制御のもとで、前処理部5から出力される画像データの記録や再生および画像データに基づく画像表示等に係る処理、広画角の合成画像いわゆるパノラマ画像の生成等を行う。なお、カメラDSP部20にはメモリ部41が接続されており、メモリ部41は、カメラDSP部20で種々の処理を行うための作業用領域として用いられる。
【0024】
カメラDSP部20は、カメラ信号処理部21、メモリ制御部22、レンズ制御部23、解像度変換部24、表示制御部25、コーデック部26、メディア制御部27、被写体距離計測部28、合成処理部29、加工処理部30を有している。また、カメラDSP部20の各部は、内部バス31を介して接続されている。
【0025】
カメラ信号処理部21は、前処理部14から供給される画像データに対してホワイトバランス調整処理、ガンマ補正処理等を行う。また、カメラ信号処理部21は、画像データから絞り補正、オートフォーカス調整に必要な情報を検出し、検出した情報をレンズ制御部23に出力する。
【0026】
メモリ制御部22は、メモリ部41に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部22は、カメラDSP部20の各部から供給される画像データや符号化データをメモリ部41に書き込み、またメモリ部41に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0027】
レンズ制御部23は、カメラ信号処理部21から得られる情報や、後述するシステム制御部50からの制御信号に基づき、撮像レンズ部11を駆動して、オートフォーカス制御やズーム制御、絞り制御等を行う。
【0028】
解像度変換部24は、メモリ部41に格納された画像データ、またはカメラ信号処理部21から出力される画像データの解像度を変換する。例えば、解像度変換部24は、カメラ信号処理が行われた画像データを表示部42の表示解像度に対応した画像データに変換する。また、解像度変換部24は、ユーザにより指示された解像度に変換して、記録媒体43に記録できるようにする。また、撮像画像の一部領域を切り出してこの解像度の変換処理に係る処理を実行して、電子ズームや再生ズームの処理が行われた画像データを生成する。
【0029】
表示制御部25は、解像度変換部24から供給された画像データやメモリ部41に格納された画像データにより表示部42を駆動して、撮像動作時におけるモニタ画像やメモリ部41に記録されている画像、および記録媒体43に記録されている画像の表示を行う。また、表示制御部25は、撮像装置10に搭載される機能を選択するためのメニュー表示や撮像装置10の設定状態を示す設定状態表示等を、表示部42で表示させる。
【0030】
コーデック部26は、画像データのデータ圧縮処理を行い、得られた符号化データをメモリ制御部22やメディア制御部27に出力して、メモリ部41や記録媒体43に記録させる。また、メモリ部41や記録媒体43から読み出された符号化データのデータ伸長処理を行い、得られた画像データをメモリ制御部22や表示制御部25等に出力する。なおこのデータ圧縮、伸長は、静止画にあってはJPEG(Joint Photographic Coding Experts Group)の手法が適用される。また、動画にあっては、ISO/IEC JTC1/SC29WG11のMPEG1(Motion Picture Experts Group 1)、MPEG2(Motion Picture Experts Group 2)、MPEG4(Motion Picture Experts Group 4)、ITU−TのH.263、H.264/MPEG4−AVC(Advanced Video Coding)等、動きベクトルを用いたデータ圧縮手法が適用される。
【0031】
メモリ制御部22は、メモリ部41に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メモリ制御部22は、カメラDSP部20の各部から供給される画像データや符号化データをメモリ部41に書き込み、またメモリ部41に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0032】
メディア制御部27は、記録媒体43に対するデータの書き込みや書き込まれているデータの読み出しを制御する。メディア制御部27は、カメラDSP部20の各部から供給される画像データや符号化データを記録媒体43に書き込み、また記録媒体43に書き込まれている画像データや符号化データを読み出してカメラDSP部20の各部に出力する。
【0033】
被写体距離計測部28は、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。被写体距離計測部28は、生成した距離情報をメモリ部41や記録媒体43に供給する。被写体距離計測部28は、被写体までの距離を示す距離情報を生成できる構成であればよい。例えば、被写体距離計測部28は、赤外光または超音波等を利用した測距センサからのセンサ信号に基づき、被写体までの距離を被写体における複数位置で計測して距離情報を生成する。また、撮像装置に設けられているオートフォーカス機能を利用して、フォーカスレンズの合焦位置等から距離情報を生成する。また、撮像装置10を回転させて距離情報の生成を行うことで、被写体における複数位置の距離情報を生成できる。さらに、特開2010−169709号公報に示されているように、被写体光を瞳分割して焦点検出するための位相差画素を有するCMOS固体撮像素子を用いれば、撮像画像における複数の位置で距離情報を生成できる。なお、撮像素子は、位相差画素を有する構成であればよく、CMOSに限る必要はない
【0034】
図3は、被写体光を瞳分割して焦点検出するための位相差画素を有するCMOS固体撮像素子の構成を示している。撮像素子12は、フォトダイオードを用いて構成される複数の画素がマトリクス状に2次元配置されている。各画素の受光面には、それぞれ分光特性の異なる例えばR(赤)、G(緑)、B(青)のカラーフィルタが1:2:1の比率で配設されて、R画素121、G画素122およびB画素123が形成されている。また、被写体光を瞳分割して焦点検出するための位相差画素のペア(以下「AF(AutoFocus)画素対」という)12fが設けられている。なお、R画素121、G画素122、B画素123およびAF画素対12fで示す破線は、集光レンズとして機能するマイクロレンズを示している。
【0035】
瞳分割機能を持たない画素は、G画素122とR画素121とが水平方向に交互に配置されて水平ラインL1を形成しており、B画素123とG画素122とが水平方向に交互に配置されて水平ラインL2を形成している。この水平ラインL1と水平ラインL2とが垂直方向に交互に配置されることでベイヤー配列が構成される。
【0036】
AF画素対12fは、水平方向に沿って繰り返し配列されてAFラインLfを形成している。なお、斜線の領域は遮光部LSである。このように構成されたAFラインLfは、垂直方向に所定ライン数の配置間隔をもって複数設けられている。また、AF画素対12fの第1AF画素12f-aで得られる受光データをA系列のデータ、第2AF画素12f-bで得られる受光データをB系列のデータとする。
【0037】
A系列の像とB系列の像を比較すると、デフォーカス量が大きいほど、A系列の像とB系列の像との間に生じるAFラインLf(水平方向)方向のシフト量(ズレ量)が増大する。図4は、A系列とB系列の像との間に生じるシフト量と、デフォーカス量との関係を例示している。なお、図4においては、縦軸がA系列の像の重心位置に対するB系列の像の重心位置の差(画素ピッチ)を示し、縦軸がデフォーカス量(μm)を示している。なお、各像の重心位置Xgは、式(1)により求められる。なお、式(1)において、X1〜Xnは、例えばAFラインLfにおける左端からの画素位置を表し、Y1〜Ynは、各位置X1〜Xnの第1AF画素12f-a、第2AF画素12f-bからの出力値を表している。
【数1】
【0038】
図4に示すように一対の像における重心位置の差(ピッチ)とデフォーカス量(μm)との関係は、比例関係となっている。この関係について、デフォーカス量をDF(μm)とし重心位置の差をC(μm)として数式で表現すると、次の式(2)のようになる。なお、式(2)の係数kは、傾きGk(破線で図示)を表しており、工場試験等によって事前に取得できるものである。
【数2】
【0039】
このように、AFラインLfのAF画素対12fから得られるA系列のデータとB系列のデータに関する重心位置の差(位相差)Cを算出して、さらに式(2)の演算を行うことでデフォーカス量DFが算出できる。このようにして算出したデフォーカス量DFに基づき、被写体までの距離被写体までの距離を算出する。また、AF画素対12fは、撮像面に分散して設けられていることから、撮像範囲内の複数点で被写体までの距離を計測できる。
【0040】
図2に戻り、合成処理部29は、カメラ信号処理部21やメモリ部41から読み出された複数枚の撮像画像の画像データ、またはコーデック部26から供給された複数枚の撮像画像の画像データを用いて、パノラマ画像の画像データを生成する。パノラマ画像の画像データの生成では、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行う。
【0041】
加工処理部30は、被写体距離計測部28で生成された距離情報に基づき、パノラマ画像の加工を行い、距離の違いによって生じたパノラマ画像における被写体の画像歪みを補正する。また、加工処理部30は、歪補正によって画像情報の無い領域が生じた場合、画像情報の無い領域を所定の画像に加工する。
【0042】
表示部42は、液晶表示素子や有機EL等の表示素子を用いて構成されている。表示部42は、表示制御部25の制御の下で、撮像装置10に搭載される機能を選択するためのメニュー表示や撮像装置10の設定状態を示す設定状態表示、撮像画像や再生画像等の表示を行う。
【0043】
記録媒体43は、半導体メモリカードまたは磁気や光を用いて記録再生を行うディスク状記録媒体等が用いられる。記録媒体43は、コーデック部26で生成された符号化データ等を記録する。
【0044】
システム制御部50には、操作部51が接続されている。操作部51は、撮像装置10に設けられた操作スイッチや操作ボタン、表示部42の表示画面に設けられたタッチパネル等を用いて構成されており、ユーザによる操作に応じた操作信号をシステム制御部50に出力する。
【0045】
システム制御部50は、CPU(Central Processing Unit)やROM(Read Only Memory)およびRAM(Random Access Memory)等を用いて構成されている。システム制御部50は、ROMに記憶されているプログラムを読み出してCPUで実行して、操作信号に基づき撮像装置10の動作がユーザ操作に応じた動作となるように各部の動作を制御する。なお、プログラムは、事前に、撮像装置10にインストールされて提供されるものの、このような事前のインストールによる提供に代えて、インターネット等のネットワークを介したインストールによる提供するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供するようにしてもよい。
【0046】
<2.画像処理装置を用いた撮像装置の動作>
図5は、本技術の画像処理装置を用いた撮像装置の動作を示すフローチャートである。なお、図5に示す撮像装置の動作では、距離情報の生成を行ったのちパノラマ画像の生成を行う場合を示している。
【0047】
ステップST1で撮像装置10は、ユーザ操作の受け付けを行う。撮像装置10は、操作部51で行われたユーザ操作を受け付けてステップST2に進む。
【0048】
ステップST2で撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップST3に進む。なお、撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップST15に進み、ステップST15でユーザ操作に応じた処理を行ってステップST1に戻る。
【0049】
ステップST3で撮像装置10は、距離情報の生成を行う。撮像装置10は、固定した位置で撮像装置を回転させて、複数枚の撮像画像を生成する前に、被写体における複数位置の距離情報を被写体距離計測部28で生成してステップST4に進む。
【0050】
ステップST4で撮像装置10は、距離情報の生成が成功したか判別する。撮像装置10は、被写体距離計測部28によって距離情報が生成された場合にはステップST5に進み、距離情報が生成されない場合にはステップST14に進む。
【0051】
ステップST5で撮像装置10は、距離情報を保存する。撮像装置10は、生成した距離情報を、例えばメモリ部41に保存してステップST6に進む。
【0052】
ステップST6で撮像装置10は撮像画像の生成を行う。撮像装置10は、円筒面投影法を用いて撮像画像の生成を行う。具体的には、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成して、例えばメモリ部41に保存してステップST7に進む。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。
【0053】
ステップST7で撮像装置10は、撮像が成功したか判別する。撮像装置10は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップST8に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置10の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップST14に進む。
【0054】
ステップST8で撮像装置10はパノラマ画像の生成を行う。撮像装置10の合成処理部29は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置10は、生成したパノラマ画像の画像データを例えばメモリ部41に保存してステップST9に進む。
【0055】
ステップST9で撮像装置10は、距離情報に基づく被写体解析処理を行う。撮像装置10は、保存されている距離情報に基づき、パノラマ画像の被写体が、例えば図1の(C)に示すように距離の変化する被写体であるか解析して、ステップST10に進む。
【0056】
ステップST10で撮像装置10は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置10は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップST11に進み、撮像装置から一定の距離である場合にはステップST12に進む。
【0057】
ステップST11で撮像装置10は、距離情報に基づく歪補正処理を行う。撮像装置10の加工処理部30は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップST12に進む。なお、距離情報に基づく歪補正処理の詳細については後述する。
【0058】
ステップST12で撮像装置10は、パディング加工処理を行う。撮像装置10の加工処理部30は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップST13に進む。
【0059】
ステップST13で撮像装置10は、パノラマ画像を保存する。撮像装置10は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部41や記録媒体43に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。
【0060】
ステップST14で撮像装置10は、エラー表示を行う。撮像装置10は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部42でその旨を示すエラー表示を行う。
【0061】
なお、図5は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップST1,2,12〜15の処理は、本技術の画像処理装置では必須の処理ではない。
【0062】
次に、距離情報に基づく歪補正処理について説明する。図6は、円筒面投影法を用いた場合における撮像装置と被写体間の距離を示している。図6の(A)に示すように、固定した位置で撮像装置10を回転した場合、撮像装置10と大平面状の被写体60との間の距離LMは、回転方向すなわちパノラマ画像の生成において切り出した画像を繋ぎ合わせる方向に対して、図6の(B)に示すように変化する。固定した位置で撮像装置10を回転するとは、図6の(A)に示すように撮像装置の位置を回転軸とする場合だけでなく、撮像装置を用いて撮像を行うユーザが、固定した位置で体を軸として回転することにより撮像装置が回転する場合も含まれる。
【0063】
図7は、位置PS0〜位置PS10における撮像装置10と被写体60との間の距離LMを例示している。例えば位置PS1では距離「10」であり、撮像装置10の撮像方向が被写体60の中央側に移動するにつれて距離が短くなり、位置PS5では距離「5」となる。さらに、撮像装置10の撮像方向が被写体60の右側に移動するにつれて距離が長くなり、位置PS10では距離「10」となる。なお、図6〜図8において、D1〜D10は、位置PS0からの距離を示している。
【0064】
加工処理部30は、距離情報に基づき画像の加工を行い、距離情報に基づき画像の縮小または拡大を行い、距離の違いによって生じた画像歪みを補正する。加工処理部30は、距離情報に基づき画像の縮小を行う場合、最長距離LM(max)の位置に対する縮小率を「100%(1倍)」として、距離LMが短くなるに伴い縮小の割合を大きくすることで、距離の違いによって生じた画像歪みを補正する。縮小率nは、式(3)に基づいて設定する。
n=LM/LM(max)×100% ・・・(3)
【0065】
図8は、距離情報に基づき画像の縮小を行う場合の縮小率nを例示している。位置PS1は最も離れた距離、すなわち最長距離LM(max)(=10)であることから、縮小率を「100%(1倍)」とする。また、距離LMが短くなるに伴い縮小の割合を大きくして画像をより小さくする。位置PS5で距離が最短距離LM(min)(=5)となる場合は、縮小率を「LM(min)/LM(max)×100=50%」とする。また、距離が長くなるに伴い縮小の割合を小さくして、位置PS10で距離が最長距離LM(max)となる場合は、縮小率を「100%」とする。
【0066】
図9は、加工処理部30で行われる歪補正処理を説明するための図である。加工処理部30は、距離情報に基づき被写体までの距離に応じて決定した縮小率でパノラマ画像の縮小処理を行い、画像歪みを補正する。例えば、図9の(A)に示すように、パノラマ画像の長手方向に対して直交する方向の画像サイズを「Sh」とした場合、式(4)の演算を行い、被写体までの距離に応じて画像を縮小して、図9の(B)に示すように、画像歪みが補正されたパノラマ画像を生成する。
SCh=n×Sh ・・・(4)
【0067】
図10は、加工処理部30で行われる歪補正処理後の画像加工処理を説明するための図である。加工処理部30は、画像を縮小して歪補正を行った場合、図10の(A)に示すように画像情報の無いパディングPA(斜線部)が生じる。したがって、加工処理部30は、パディングPAを所定の画像とする。例えば図10の(B)に示すように所定色CPで塗りつぶす。また、加工処理部30は、パディングPAと隣接する領域の画像を加工して、パディングPAに貼り付けてもよい。
【0068】
また、加工処理部30は、図10の(C)に示すように、歪補正後のパノラマ画像からパディングPAの領域を除く矩形状の領域PBを切り出して、図10の(D)に示すように、パディングを除いたパノラマ画像としてもよい。
【0069】
さらに、加工処理部30は、距離情報が最短距離から長くなるに伴い、パノラマ画像の拡大割合を大きくして、歪補正後のパノラマ画像を生成することもできる。この場合、式(3)のLM(max)をL(min)とすれば、nは拡大率を示すことになる。
【0070】
なお、被写体までの距離に応じてパノラマ画像の縮小を行う場合、歪補正後のパノラマ画像は、撮像装置10から離れた部分の画質を維持した画像となる。また、被写体までの距離に応じてパノラマ画像の拡大する場合、歪補正後のパノラマ画像は、撮像装置10に近い部分の画質を維持した画像となる。
【0071】
このように、距離情報に応じてパノラマ画像の縮小または拡大が行われて、撮像装置からの距離が一定でないことによって生じる画像歪みが補正される。したがって、被写体画像が歪みを生じていないパノラマ画像を容易に生成できる。
【0072】
ところで、図5に示す動作は、距離情報を取得してから撮像動作を行うようにしたが、上述のように、位相差画素を有するCMOS固体撮像素子を用いれば、撮像画像の画像データを生成しながら距離情報を生成できる。
【0073】
次に、本技術の画像処理装置を用いた撮像装置の他の動作として、円筒面投影法を用いて複数枚の撮像画像の画像データを生成しながら距離情報を生成する場合について図11のフローチャートを用いて説明する。
【0074】
ステップST21で撮像装置10は、ユーザ操作の受け付けを行う。撮像装置10は、操作部51で行われたユーザ操作を受け付けてステップST22に進む。
【0075】
ステップST22で撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示であるか判別する。撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示である場合にはステップST23に進む。なお、撮像装置10は、受け付けたユーザ操作がパノラマ撮像指示でない場合にはステップST35に進み、ステップST35でユーザ操作に応じた処理を行ってステップST21に戻る。
【0076】
ステップST23で撮像装置10は、撮像画像の生成を行う。撮像装置10は、1枚の撮像画像を生成してステップST24に進む。
【0077】
ステップST24で撮像装置10は、距離情報の生成を行う。撮像装置10は、ステップST23で撮像された被写体までの距離に応じた距離情報を被写体距離計測部28で生成してステップST24に進む。
【0078】
ステップST25で撮像装置10は、撮像画像と距離情報を保存する。撮像装置10は、ステップST23で生成した撮像画像の画像データと、ステップST24で生成した距離情報を、例えばメモリ部41に保存してステップST26に進む。
【0079】
ステップST26で撮像装置10は、撮像終了であるか判別する。撮像装置10は、撮像終了と判別した場合にステップST27に進む。また、撮像終了と判別していない場合にはステップST23に戻り、撮像装置10は、回転された位置の撮像画像の生成を新たに行う。撮像装置10は、例えばユーザによるシャッター終了操作が行われた場合、所定数枚の撮像画像の生成が行われた場合、撮像装置10の回転動作が終了した場合等に、撮像終了と判別する。なお、固定した位置で撮像装置を回転させて、パノラマ画像の生成に用いる複数枚の撮像画像の画像データを生成することで円筒面投映法を用いて撮像画像の生成を行ったことになる。
【0080】
ステップST27で撮像装置10は、撮像が成功したか判別する。撮像装置10は、パノラマ画像の生成に用いる複数枚の撮像画像の生成が成功した場合にステップST28に進む。また、複数枚の撮像画像の生成が不成功である場合、例えば撮像装置10の回転が速すぎて、撮像画像と次の撮像画像を繋ぎ合わせたときに被写体の欠落が生じてしまうような場合や、撮像動作が途中で中断されてしまった場合等ではステップST34に進む。
【0081】
ステップST28で撮像装置10はパノラマ画像の生成を行う。撮像装置10の合成処理部29は、複数枚の撮像画像の画像データを用いて、複数枚の撮像画像から画像の切り出しと切り出した画像の繋ぎ合わせを行い、パノラマ画像の画像データを生成する。撮像装置10は、生成したパノラマ画像の画像データを例えばメモリ部41に保存してステップST29に進む。
【0082】
ステップST29で撮像装置10は、距離情報に基づく被写体解析処理を行う。撮像装置10は、保存されている距離情報に基づき、パノラマ画像の被写体が、距離の変化する被写体であるか解析して、ステップST30に進む。
【0083】
ステップST30で撮像装置10は、撮像装置からの距離が変化する被写体であるか判別する。撮像装置10は、パノラマ画像の被写体が、撮像装置からの距離が変化する被写体である場合にはステップST31に進み、撮像装置から一定の距離である場合にはステップST32に進む。
【0084】
ステップST31で撮像装置10は、距離情報に基づく歪補正処理を行う。撮像装置10の加工処理部30は、パノラマ画像に対して距離情報に基づき歪補正処理を行いステップST32に進む。
【0085】
ステップST32で撮像装置10は、パディング加工処理を行う。撮像装置10の加工処理部30は、距離情報に基づいて歪補正処理を行ったことにより画像情報の無いパディングが生じた場合、パディングを所定の画像に加工してステップST33に進む。
【0086】
ステップST33で撮像装置10は、パノラマ画像を保存する。撮像装置10は、歪補正やパディング加工処理が行われたパノラマ画像を、例えばメモリ部41や記録媒体43に保存する。また、パノラマ画像の保存では、コーデック部によってパノラマ画像の画像データを圧縮符号化してから保存すれば、保存するデータ量を少なくできる。
【0087】
ステップST34で撮像装置10は、エラー表示を行う。撮像装置10は、パノラマ画像の生成または距離情報に基づいた歪補正を行うことができないことから、表示部42でその旨を示すエラー表示を行う。
【0088】
なお、図11は、本技術の画像処理装置を用いた撮像装置の動作を例示しており、ステップST21,22,32〜35の処理は、本技術の画像処理装置では必須の処理ではない。
【0089】
このように、撮像画像の生成時に距離情報を生成できることから、撮像装置からの距離が一定でないことによって生じる画像歪みを補正したパノラマ画像を、さらに簡単かつ速やかに生成できる。
【0090】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。また、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0091】
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0092】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0093】
また、上述の実施の形態では、歪補正を撮像時に行う場合を例示しているが、パノラマ画像の再生時に、ユーザからの指示で行うようにしてもよい。また、補正前のパノラマ画像と補正後のパノラマ画像を表示部42に表示して、操作部51のユーザ操作によって選択されたパノラマ画像の画像データを記録するようにしてもよい。また、補正後のパノラマ画像を表示部42に表示する機能のみを有する構成であってもよい。さらに、メモリ部41や記録媒体43には、補正前のパノラマ画像と補正後のパノラマ画像の画像データを記録してもよい。
【0094】
また、距離情報と画像信号を別個に記録してもよく、画像信号のファイルに距離情報を含めるようにしてもよい。例えばExifファイルのタグに距離情報を含めてもよい。
【0095】
さらに、上述の実施の形態では、撮像装置に画像処理装置を適用した場合を示したが、撮像装置と信号処理装置が別個に構成されてもよい。すなわち、撮像装置は、円筒面投影法を用いた複数枚の撮像画像の生成と、被写体までの距離に応じた距離情報の生成を行う。また、画像処理装置では、撮像装置で生成された撮像画像の画王データと距離情報を用いてパノラマ画像の生成と歪補正を行う。
【0096】
本技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【0097】
なお、本技術は以下のような構成も取ることができる。
(1) 複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせて合成画像を生成する合成処理部と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
を備える画像処理装置。
(2) 前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である(1)に記載の画像処理装置。
(3) 前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である(1)または(2)に記載の画像処理装置。
(4) 前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する(1)乃至(3)の何れかに記載の画像処理装置。
(5) 前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする(4)記載の画像処理装置。
(6) 前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする(4)または(5)に記載の画像処理装置。
(7) 前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う(4)または(5)に記載の画像処理装置。
(8) 前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする(4)記載の画像処理装置。
(9) 画像表示を行う表示部を有し、
前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする(1)乃至(8)の何れかに記載の画像処理装置。
【産業上の利用可能性】
【0098】
この技術の信号処理装置と信号処理方法およびプログラムでは、複数枚の撮像画像から画像の切り出しが行われて、切り出した画像を繋ぎ合わせてパノラマ画像が生成される。また、被写体までの距離を該被写体における複数位置で計測した距離情報に基づいてパノラマ画像の加工が行われて、距離の違いによって生じたパノラマ画像における被写体の画像歪みが補正される。このため、撮像装置からの距離が一定でないことによって生じる画像歪みが補正された広画角のパノラマ画像を容易に生成できることから、撮像装置や撮像画像の加工編集を行う編集装置等に適している。
【符号の説明】
【0099】
10,90・・・撮像装置、11・・・撮像レンズ部、12・・・撮像素子、12f・・・AF(AutoFocus)画素対、12f−a・・・第1AF画素、12f−b・・・第2AF画素、13・・・撮像素子駆動部、14・・・前処理部、20・・・DSP(Digital Signal Processor)部、21・・・カメラ信号処理部、22・・・メモリ制御部、23・・・レンズ制御部、24・・・解像度変換部、25・・・表示制御部、26・・・コーデック部、27・・・メディア制御部、28・・・被写体距離計測部、29・・・合成処理部、30・・・加工処理部、31・・・内部バス、41・・・メモリ部、42・・・表示部、43・・・記録媒体、50・・・システム制御部、51・・・操作部、60,91,92・・・被写体、91p,92p・・・被写体画像、93・・・円筒面、94・・・第1撮像画像、95・・・第2撮像画像、96・・・平面
【特許請求の範囲】
【請求項1】
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
を備える画像処理装置。
【請求項2】
前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である請求項1記載の画像処理装置。
【請求項3】
前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である請求項1記載の画像処理装置。
【請求項4】
前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する請求項1記載の画像処理装置。
【請求項5】
前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする請求項4記載の画像処理装置。
【請求項6】
前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする請求項5記載の画像処理装置。
【請求項7】
前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う請求項5記載の画像処理装置。
【請求項8】
前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする請求項4記載の画像処理装置。
【請求項9】
画像表示を行う表示部を有し、
前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする請求項1記載の画像処理装置。
【請求項10】
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程と
を含む画像処理方法。
【請求項11】
複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順と
を前記コンピュータで実行させるプログラム。
【請求項1】
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する合成処理部と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する加工処理部と
を備える画像処理装置。
【請求項2】
前記複数枚の撮像画像は、円筒面投影法を用いて撮像を行うことにより生成された画像である請求項1記載の画像処理装置。
【請求項3】
前記複数位置は、前記切り出した画像を繋ぎ合わせる方向の複数位置である請求項1記載の画像処理装置。
【請求項4】
前記加工処理部は、前記距離情報に基づき前記被写体までの距離に応じて前記パノラマ画像の縮小または拡大を行うことにより、前記画像歪みを補正する請求項1記載の画像処理装置。
【請求項5】
前記加工処理部は、前記距離情報が最長距離から短くなるに伴い、前記パノラマ画像の縮小割合を大きくする請求項4記載の画像処理装置。
【請求項6】
前記加工処理部は、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を、所定の画像とする請求項5記載の画像処理装置。
【請求項7】
前記加工処理部は、前記縮小後のパノラマ画像から、前記パノラマ画像を縮小することによって生じた画像情報の無い領域を除いて、矩形状に画像の切り出しを行う請求項5記載の画像処理装置。
【請求項8】
前記加工処理部は、前記距離情報が最短距離から長くなるに伴い、前記パノラマ画像の拡大割合を大きくする請求項4記載の画像処理装置。
【請求項9】
画像表示を行う表示部を有し、
前記表示部に前記パノラマ画像と前記歪補正後のパノラマ画像を表示して、何れかのパノラマ画像を選択可能とする請求項1記載の画像処理装置。
【請求項10】
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する工程と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する工程と
を含む画像処理方法。
【請求項11】
複数枚の撮像画像から広画角のパノラマ画像を生成する画像処理をコンピュータで実行させるプログラムであって、
複数枚の撮像画像から画像の切り出しを行い、切り出した画像を繋ぎ合わせてパノラマ画像を生成する手順と、
被写体までの距離を該被写体における複数位置で計測して得た距離情報に基づいて前記パノラマ画像の加工を行い、前記被写体までの距離の違いによって生じた前記パノラマ画像における前記被写体の画像歪みを補正する手順と
を前記コンピュータで実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−199752(P2012−199752A)
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願番号】特願2011−62175(P2011−62175)
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年10月18日(2012.10.18)
【国際特許分類】
【出願日】平成23年3月22日(2011.3.22)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]