説明

撮像装置

【課題】 再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる技術を提供することを目的とする。
【解決手段】 時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、複数の画像を表示する表示部と、複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、画像処理部は、対象画像および合成画像の画像特徴量に基づいて、対象画像の合成画像に対する変位量を検出し、変位量に応じて対象画像を合成画像につなぎ合わせ、変位量の検出に失敗した場合、表示部に複数の画像とともに失敗を示す警告を表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
従来、デジタルカメラなどをパンさせながら複数の画像を撮像し、それらの画像を順次つなぎ合わせることにより、パノラマ画像を生成する。例えば、特許文献1には、動画のフレーム画像を用いて、パノラマ合成処理する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−244814号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、パンによる移動量が大きすぎて画像と画像とをつなぎ合わせることができない場合、再度最初から画像を撮像し直さなければならない。
【0005】
上記従来技術が有する問題に鑑み、本発明の目的は、再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の撮像装置は、時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、複数の画像を表示する表示部と、複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、画像処理部は、対象画像および合成画像の画像特徴量に基づいて、対象画像の合成画像に対する変位量を検出し、変位量に応じて対象画像を合成画像につなぎ合わせ、変位量の検出に失敗した場合、表示部に複数の画像とともに失敗を示す警告を表示する。
【0007】
また、画像処理部は、警告に基づいて、ユーザに対し、変位量が検出できる対象画像を撮像部に撮像せるように、撮像部の撮像方向の変更を指示してもよい。
【0008】
また、画像処理部は、変位量が検出されるまで、撮像部に対象画像を撮像させてもよい。
【0009】
また、画像処理部は、複数の画像および警告とともに、失敗までに生成された合成画像を表示部に表示してもよい。
【0010】
また、画像処理部は、変位量を検出した場合、表示部に、複数の画像とともに合成画像を表示してもよい。
【0011】
また、画像処理部は、合成画像のうち、最後につなぎ合わされた対象画像の画像領域を少なくとも含む一部分を表示部に表示する。
【発明の効果】
【0012】
本発明によれば、再度、最初から画像を撮像し直すことなく、確度高くパノラマ画像を生成することができる。
【図面の簡単な説明】
【0013】
【図1】一の実施形態のデジタルカメラの構成を示すブロック図
【図2】一の実施形態のデジタルカメラの画像処理の動作を示すフローチャート
【図3】パノラマモードにおけるモニタの表示の一例を示す図(その1)
【図4】パノラマモードにおけるモニタの表示の一例を示す図(その2)
【図5】パノラマモードにおけるモニタの表示の別例を示す図
【図6】パノラマモードにおけるモニタの表示の他の例を示す図
【発明を実施するための形態】
【0014】
図1は、本発明の一の実施形態のデジタルカメラの構成を示すブロック図である。
【0015】
本実施形態のデジタルカメラは、撮像光学系11、撮像素子12、AFE13、CPU14、メモリ15、モニタ16、記録インタフェース(I/F)17、操作部材19、レリーズ釦20、タッチパネル21、バスから構成される。CPU14、メモリ15、モニタ16、記録I/F17は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材19、レリーズ釦20、タッチパネル21は、それぞれCPU14に接続される。なお、本実施形態のデジタルカメラは、撮影モードの1機能として、被写界を分割撮像した複数の画像から1枚のパノラマ画像を生成するパノラマモードを有するものとする。
【0016】
撮像光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成される。撮像光学系11のレンズ位置は、レンズ駆動部(不図示)によって光軸方向に調整される。なお、簡単のため、図1では撮像光学系11を1枚のレンズとして図示する。
【0017】
撮像素子12は、撮像光学系11を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子12の出力はAFE13に入力される。なお、本実施形態の撮像素子12は、順次走査方式の固体撮像素子(CCD等)であっても、XYアドレス方式の固体撮像素子(CMOS等)であってもよい。
【0018】
また、撮像素子12の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子12の各受光素子には、赤色(R)、緑色(G)、青色(B)のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子12の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子12は、カラーの画像を取得できる。
【0019】
ここで、デジタルカメラの撮影モードにおいて、撮像素子12はレリーズ釦20の全押し操作に応答して記録画像(本画像)を撮像する。また、撮影モードでの撮像素子12は、撮影待機時にも所定の時間間隔で構図確認用の低解像度画像(スルー画像)を撮像する。このスルー画像のデータは、撮像素子12から間引き読み出しで出力される。スルー画像のデータは、モニタ16での画像表示や、CPU14による各種の演算処理などに使用される。また、撮像素子12は、撮影モードが動画モードやパノラマモードの場合、本画像として、所定のフレームレート(30fpsや60fpsなど)で動画を撮像するものとする。
【0020】
AFE13は、撮像素子12の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE13は、相関二重サンプリング、画像信号のゲインの調整、画像信号のA/D変換を行う。AFE13の出力は、CPU14に接続される。なお、本実施形態では、撮像素子12とAFE13とで撮像部を構成する。
【0021】
CPU14は、デジタルカメラの動作を統括的に制御するプロセッサである。CPU14は、制御プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知のオートフォーカス(AF)制御、自動露出(AE)演算、オートホワイトバランス演算などを行う。また、CPU14は、設定画面、撮像された本画像やスルー画像の表示処理なども行う。さらに、CPU14は、メモリ15に記憶された画像処理プログラムの実行により、AFE13から出力されるデジタル画像信号に対する画像処理を行う画像処理部22として動作する。
【0022】
画像処理部22は、AFE13から出力されるデジタル画像信号に対して、各種画像処理(例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など)を施す。また、本実施形態の画像処理部22は、後述するように、撮影モードが上記パノラマモードに設定された場合、公知のパノラマ合成処理に基づいて、動画撮像されるフレーム(対象画像)を、時系列順につなぎ合わせてパノラマ合成して、パノラマ画像(合成画像)を生成する。
【0023】
メモリ15は、デジタルカメラによって撮像された画像データや、CPU14によって実行される制御プログラムや画像処理プログラムなどを記憶する。メモリ15には、不揮発性の半導体メモリ等を用いることができる。
【0024】
モニタ16は、液晶モニタなどのモニタであり、CPU14の指示に応じて各種設定画面や画像を表示する。
【0025】
記録I/F17には、記憶媒体18を接続するためのコネクタが形成されている。そして、記録I/F17は、コネクタに接続された記憶媒体18に対してデータの書き込み/読み込みを実行する。上記の記憶媒体18は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体18の一例としてメモリカードを示す。
【0026】
操作部材19は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦等で構成される。そして、操作部材19はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材19は、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。
【0027】
レリーズ釦20は、半押し操作による撮像前のAF動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【0028】
タッチパネル21は、パネル表面に接触したスタイラス(または指先等)の位置を検出し、検出した位置情報をCPU14に出力することでユーザからの指示入力を受け付ける。なお、タッチパネル21の構成は、静電容量式または感圧式のいずれでもよい。本実施形態のタッチパネル21は、モニタ16と同形状の透明のパネルで構成され、モニタ16の表面全体に積層配置される。ユーザは、モニタ16に表示されたGUI形式の釦を視認しつつ、タッチパネル21を介してCPU14に指示入力する。
【0029】
次に、図2のフローチャートを参照しつつ、本実施形態のデジタルカメラによる画像処理の動作について説明する。なお、以下において、操作部材19を介して、ユーザにより撮影モードがパノラマモードに予め設定されているものとする。
【0030】
ユーザにより操作部材19のうちの電源釦が押されると、CPU14は、デジタルカメラに電源を投入し各部を初期化する。CPU14は、撮影モードで撮像待機時の場合、撮像素子12にスルー画像の撮像を開始させ、例えば、そのスルー画像をモニタ16の表示範囲30全体に表示する(図3a)。CPU14は、ユーザによるレリーズ釦20の全押し操作の撮像指示に応答して、撮像素子12にパノラマモードによる被写界の動画撮像を開始させる。同時に、ユーザは、デジタルカメラのパン動作を開始する。なお、本実施形態では、ユーザは、水平方向にデジタルカメラをパンするものとして説明するが、垂直方向などの場合も同様であり説明を省略する。
【0031】
また、CPU14は、パノラマモードの動画撮像を開始すると、モニタ16の表示を、図3aに示す表示から図3bに示す表示に切り替える。つまり、図3bに示すように、CPU14は、スルー画像に代えて、動画撮像された動画のフレームを、モニタ16の表示範囲30の右側に配置される表示領域40に縮小してリアルタイム表示する。一方、CPU14は、後述するパノラマ合成処理により順次生成されるパノラマ画像の一部を、表示範囲30の左側に配置された表示領域50にリアルタイム表示する。ただし、図3bに示すように、動画撮像開始時点では、パノラマ合成処理されたパノラマ画像がないことから、表示領域50には何も表示されない。
【0032】
ステップS101:CPU14は、AEF13を介して、撮像素子12から出力される1番目のフレームを読み込み、パノラマ合成処理の基準となる合成画像として設定する。そして、CPU14は、2番目のフレームを読み込み、上記合成画像につなぎ合わせられる対象画像として設定する。
【0033】
ステップS102:画像処理部22は、公知の画像処理により、対象画像および合成画像のエッジ量や色情報などの画像特徴量を抽出する。画像処理部22は、抽出した画像特徴量に基づいて、対象画像と合成画像との相関処理などにより、ユーザのデジタルカメラのパン動作により、合成画像に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部22は、移動量およびパン方向が検出できた場合、ステップS103(YES側)へ移行し、移動量およびパン方向が検出できなかった場合、ステップS106(NO側)へ移行する。
【0034】
ステップS103:画像処理部22は、ステップS102において検出された移動量およびパン方向に基づいて、対象画像によって新たに撮像された画像領域を合成画像につなぎ合わせるパノラマ合成処理を施す。
【0035】
ステップS104:画像処理部22は、求めたパン方向をモニタ16に矢印60で表示すると同時に、ステップS103においてパノラマ合成された合成画像を、表示領域50にパン方向とは逆の方向にスライドさせながらリアルタイム表示する(図4a)。ここで、図4aは、一例として、パノラマ合成処理開始直後のモニタ16の表示状態を示す。
【0036】
なお、対象画像が合成画像に対して上下にずれて、または斜めに撮像された画像の場合、CPU14は、その対象画像がパノラマ合成された合成画像を表示するにあたり、領域50からはみ出した画像領域をトリミングして表示することが好ましい。あるいは、CPU14は、はみ出した画像領域も表示するように、合成画像を縮小表示してもよい。
【0037】
ステップS105:CPU14は、ユーザによる再度レリーズ釦20の全押し操作の撮像終了指示を受け付けたか否かを判定する。CPU14は、撮像終了指示を受け付けた場合、パノラマモードの動画撮像を終了する。画像処理部22は、合成画像をパノラマ画像ファイルとして生成し、メモリ15または記録媒体18に記録する。CPU14は一連の処理を終了する。なお、本実施形態では、CPU14は、例えば、1番目のフレームの画像の縦幅で合成画像の縦サイズをトリミングして、パノラマ画像ファイルを生成するのが好ましい。また、ユーザがデジタルカメラを垂直方向にパンする場合、CPU14は、例えば、1番目のフレームの画像の横幅で合成画像の横サイズをトリミングするのが好ましい。
【0038】
一方、CPU14は、撮像終了指示を受け付けていない場合、ステップS101(NO側)へ移行し、次に撮像されたフレームを対象画像として読み込む。CPU14は、その対象画像に対して、ステップS101〜ステップS104の処理を行う。
【0039】
ステップS106:画像処理部22は、ユーザのよるデジタルカメラのパン動作の速度が速すぎて移動量が大きすぎたり、デジタルカメラの姿勢が大きく変化しすぎたりなど、対象画像の合成画像に対する移動量およびパン方向を検出できなかった場合、その検出失敗をユーザに伝える。すなわち、画像処理部22は、図4bに示すような警告表示をモニタ16に表示してユーザに伝える。例えば、画像処理部22は、移動量が検出可能で合成画像につなぎ合わされる対象画像を撮像させるために、ユーザに対してデジタルカメラのパンすべき方向を、矢印60に代えて矢印70で表示し指示する。また、画像処理部22は、記号71や文章72のような警告を、矢印70とともにモニタ16に表示してもよい。あるいは、画像処理部22は、警告表示の別例として、合成画像において対象画像がつなぎ合わされるべき領域を、シェーディングした領域73のように示してもよい。
【0040】
なお、CPU14は、ユーザがデジタルカメラを、例えば、パンさせず一定時間停止させてしまったり、矢印60とは異なる方向にパンさせてしまったりなどの場合にも、ユーザに上記警告表示することが好ましい。
【0041】
ステップS107:画像処理部22は、ステップS102において抽出した合成画像の画像特徴量を、例えば、CPU14の不図示の内部メモリなどに一時的に記憶する。なお、記憶される合成画像の画像特徴量は、合成画像のうち、対象画像がつなぎ合わされるべき側の端から、対象画像と同じ、または70〜80%程度の大きさの画像領域の画像特徴量だけでもよい。これにより、メモリ容量を小さくすることができ、回路規模の小型化を図ることができる。
【0042】
ステップS108:画像処理部22は、ユーザに表示領域40のフレームを参照させつつ、警報表示に基づいて、例えば、矢印70方向へパン動作させ、撮像素子12により撮像された次のフレーム(例えば、3番目のフレーム)を新たな対象画像として読み込む。
【0043】
ステップS109:画像処理部22は、ステップS108において読み込んだ対象画像の画像特徴量を抽出する。画像処理部22は、抽出した対象画像の画像特徴量と内部メモリ(不図示)に記憶された合成画像の画像特徴量とに基づいて、合成処理に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部22は、移動量およびパン方向が検出できた場合、ステップS110(YES側)へ移行する。一方、画像処理部22は、移動量およびパン方向が検出できなかった場合、ステップS108(NO側)へ移行する。画像処理部22は、合成処理に対する対象画像の移動量およびパン方向が検出されるまで、ステップS108〜ステップS109の処理を行う。
【0044】
ステップS110:画像処理部22は、図4bに示す警告表示を解除し、図4cに示す表示に切り替える。画像処理部22は、ステップS103へ移行して、ステップS108で新たに読み込んだ対象画像を合成画像につなぎ合わせるパノラマ合成処理を再開する。
【0045】
このように、本実施形態では、たとえ合成画像に対して大きくデジタルカメラがパンされたとしても、動画とそれまでにパノラマ合成された合成画像とをリアルタイム表示することにより、どこまでパノラマ合成が行われ、どこでパノラマ合成に失敗したかを容易に判別することができ、パノラマ合成に失敗したところまでデジタルカメラの撮像方向を容易に戻すことができる。これにより、最初から再度パノラマモードによる撮像を行うことなく、確度高くパノラマ画像を生成することができる。
《実施形態の補足事項》
(1)上記実施形態では、画像処理部22の処理を、CPU14においてソフトウエア的に実現する例を説明したが、ASICを用いてその処理をハードウエア的に実現してもよい。
【0046】
(2)上記実施形態では、画像処理部22が、対象画像と合成画像との画像領域全体の画像特徴量に基づいて、対象画像の移動量およびパン方向を検出したが、本発明はこれに限定されない。例えば、所定の幅の糊しろ部分を対象画像および合成画像の周囲にそれぞれ設定し、画像処理部22は、その糊しろ部分以外の画像領域内の画像特徴量に基づいて、対象画像の合成処理に対する移動量およびパン方向を検出してもよい。
【0047】
また、デジタルカメラが加速度センサや電子ジャイロなどを備え、画像処理部22が検出した移動量およびパン方向と加速度センサなどが検出した移動量およびパン方向とに基づいて、画像処理部22は、合成画像に対象画像をつなぎ合わせてもよい。これにより、より正確なパノラマ合成が可能となる。
【0048】
(3)上記実施形態では、ユーザがデジタルカメラのパンを開始することにより、CPU14は、モニタ16の表示範囲30のうち、右側の表示領域40に動画のフレームをリアルタイム表示し、左側の表示領域50にパノラマ合成処理された合成画像をスライド表示するとしたが、本発明はこれに限定されない。例えば、図5aに示すように、CPU14は、モニタ16の中央より上側の表示領域40’に動画のフレームをリアルタイム表示し、下側の表示領域50’に合成画像をパノラマ合成処理の進み具合に応じてリアルタイム表示してもよい。図5bは、合成画像に対する対象画像の移動量およびパン方向の検出に失敗した場合の警告表示例を示す。
【0049】
なお、パノラマモードによる撮像開始前に、CPU14は、操作部材19などを介して、ユーザから180度や360度などのパノラマ撮像する撮像範囲の指定を受け付け、その撮像範囲に応じた表示領域50’の大きさを設定してもよい。これにより、ユーザにとってどの範囲まで撮像が完了したかを容易に認識することができる。また、CPU14は、設定された撮像範囲まで撮像が完了した場合、レリーズ釦20が再度全押し操作されなくても、自動的にパノラマモードの撮像を終了してもよい。
【0050】
さらに、CPU14は、パノラマ合成処理が順調に行われている間は、図3aに示す表示範囲30に動画のフレームの全画面表示を行い、合成処理に対する対象画像の移動量およびパン方向の検出に失敗した場合、図4bや図5bに示す警告表示に切り替えてもよい。
【0051】
また、図6は、ユーザがデジタルカメラを垂直方向にパンさせて、タワーや高層ビルなどを撮像する場合のモニタ16の表示の一例を示す。
【0052】
(4)上記実施形態では、ステップS105において、CPU14は、ユーザによりレリーズ釦20の再度全押し操作された場合、パノラマモードによる撮像を終了するとしたが、本発明はこれに限定されず、例えば、パノラマモードによる撮像の間いつでも、ユーザは、レリーズ釦20の全押し操作することができ、CPU14は、その撮像終了の割り込みを受け付けられることが好ましい。
【0053】
(5)上記実施形態では、動画撮像してパノラマ合成するとしたが、本発明はこれに限定されず、連写や1枚ずつ静止画を撮像してパノラマ合成する場合にも適用することができる。
【0054】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【0055】
11…撮像光学系、12…撮像素子、13…AFE、14…CPU、15…メモリ、16…モニタ、17…記録I/F、18…記憶媒体、19…操作部材、20…レリーズ釦、21…タッチパネル、22…画像処理部

【特許請求の範囲】
【請求項1】
時系列に連続して被写界を撮像し複数の画像を生成する撮像部と、
前記複数の画像を表示する表示部と、
前記複数の画像それぞれを対象画像として時系列順につなぎ合わせて合成画像を生成する画像処理部と、を備え、
前記画像処理部は、前記対象画像および前記合成画像の画像特徴量に基づいて、前記対象画像の前記合成画像に対する変位量を検出し、前記変位量に応じて前記対象画像を前記合成画像につなぎ合わせ、前記変位量の検出に失敗した場合、前記表示部に前記複数の画像とともに前記失敗を示す警告を表示する
ことを特徴とする撮像装置。
【請求項2】
請求項1に記載の撮像装置において、
前記画像処理部は、前記警告に基づいて、ユーザに対し、前記変位量が検出できる対象画像を前記撮像部に撮像せるように、前記撮像部の撮像方向の変更を指示することを特徴とする撮像装置。
【請求項3】
請求項2に記載の撮像装置において、
前記画像処理部は、前記変位量が検出されるまで、前記撮像部に対象画像を撮像させることを特徴とする撮像装置。
【請求項4】
請求項1ないし請求項3のいずれか1項に記載の撮像装置において、
前記画像処理部は、前記複数の画像および前記警告とともに、前記失敗までに生成された前記合成画像を前記表示部に表示することを特徴とする撮像装置。
【請求項5】
請求項1ないし請求項4のいずれか1項に記載の撮像装置において、
前記画像処理部は、前記変位量を検出した場合、前記表示部に、前記複数の画像とともに前記合成画像を表示することを特徴とする撮像装置。
【請求項6】
請求項4または請求項5に記載の撮像装置において、
前記画像処理部は、前記合成画像のうち、最後につなぎ合わされた前記対象画像の画像領域を少なくとも含む一部分を前記表示部に表示することを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2012−238950(P2012−238950A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−105192(P2011−105192)
【出願日】平成23年5月10日(2011.5.10)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】