撮像装置、画像合成方法、及びプログラム
【課題】レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像可能とする。
【解決手段】CPU11は、ユーザがデジタルカメラ1を動かしている間に、所定の周期(時間間隔)で複数枚の画像を連写する。画像処理部8は、撮像された複数の画像を、一部が重複するように合成し、広角で撮像したような1枚の合成画像を生成する。撮影中は、画像表示部15にユーザが指定したアスペクト比の撮像範囲や、未撮像領域をリアルタイムで表示する。画像処理部8は、ユーザが指定したアスペクト比の広角画像となるように合成画像に対してトリミングや、リサイズなどの画像処理などを行う。
【解決手段】CPU11は、ユーザがデジタルカメラ1を動かしている間に、所定の周期(時間間隔)で複数枚の画像を連写する。画像処理部8は、撮像された複数の画像を、一部が重複するように合成し、広角で撮像したような1枚の合成画像を生成する。撮影中は、画像表示部15にユーザが指定したアスペクト比の撮像範囲や、未撮像領域をリアルタイムで表示する。画像処理部8は、ユーザが指定したアスペクト比の広角画像となるように合成画像に対してトリミングや、リサイズなどの画像処理などを行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出し、これらの特徴点が一致するように隣接する画像を結合合成してパノラマ画像を得ることが行われている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−282100号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術では、パノラマ撮像を行う際に、水平方向のサイズに規定がなく、360度の範囲であれば、ユーザが撮影したい画角範囲で撮影可能であった。このため、最終的に得られるパノラマ画像のアスペクト比は、規格外となり(いわゆる4:3や、16:9とはならず)、一般的な表示装置で鑑賞するにはよいが、それ以外の使い道がなく、例えば印刷する場合にも不便であった。言い換えると、従来技術では、ユーザが所望するアスペクト比の広角画像を得ることが難しいという問題があった。
【0005】
そこで本発明は、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、第1のアスペクト比を設定する設定手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【発明の効果】
【0007】
この発明によれば、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができるという利点が得られる。
【図面の簡単な説明】
【0008】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】通常の撮像モードを説明するための概念図である。
【図3】本第1実施形態によるデジタルカメラ1でのパノラマ撮像モードを説明するための概念図である。
【図4】本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。
【図5】本第1実施形態によるデジタルカメラ1の動作を説明するための概念図である。
【図6】本第1実施形態によるデジタルカメラ1での連写処理の動作を説明するためのフローチャートである。
【図7】本第1実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。
【図8】本第2実施形態によるデジタルカメラ1での動作を説明するためのフローチャートである。
【図9】本第2実施形態によるデジタルカメラ1の動作を説明するための概念図である。
【図10】本第2実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を、図面を参照して説明する。
【0010】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0011】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0012】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0013】
ユニット回路7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0014】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理、ユーザが指定したアスペクト比の広角画像となるように合成画像に対してトリミングや、リサイズなどの画像処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0015】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、ユーザがデジタルカメラ1を動かしている間に、CPU11は、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように(例えば、αブレンドを用いて)合成していき、広角で撮像したような1枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。
【0016】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データなどを保存しておく記録媒体である。
【0017】
画像表示部15は、アスペクト比が4:3のカラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ14や、メモリ・カード23から読み出され、伸張された記録画像を表示させる。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0018】
図2は、通常の撮像モードを説明するための概念図である。デジタルカメラ1で、通常の撮像モードで撮影する場合には、図2に示すように、当該デジタルカメラ1の撮像系の画角の画像30でしか撮影できない。
【0019】
図3は、本第1実施形態によるデジタルカメラ1でのパノラマ撮像モードを説明するための概念図である。ユーザは、所望する景色に対して、画角の長手方向を縦方向になるように、デジタルカメラ1を縦方向に構え、シャッタSWを押下(半押し→全押し)し、図3に示す矢印のように、水平方向(左端から右方向)に動かす。デジタルカメラ1では、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次画像を撮像しつつ、所定のタイミングで合成用画像を取り込み、前後の合成用画像同士を合成することで、所望する広角画像40、41を生成する。広角画像40は、アスペクト比が4:3の広角画像であり、広角画像41は、アスペクト比が16:9の広角画像である。
【0020】
本第1実施形態では、予めユーザが所望するアスペクト比を指定すれば、水平方向へどのくらい移動させればよいか(移動距離、撮影範囲)を、ユーザに容易に分かるように提示することで、所望するアスペクト比の広角画像を容易に撮像することができるようにする。なお、本第1実施形態で得られる広角画像は、アスペクト比が4:3の広角画像40、または、アスペクト比が16:9の広角画像であるが、いずれも縦方向の画素数を共通としている(例えば、4000画素)。このため、縦方向を共通の画素数とすることで、画像表示部15に全画面表示する際でも同じ比率で縮小処理すればよい。
【0021】
また、本第1実施形態では、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構えた状態で、水平方向に移動させて広角画像を撮影している。これは、縦方向の画素数を大きくとることで、所望するアスペクト比の広角画像を得るための移動量を可能な限り少なくし、ユーザの負担を軽減するためである。
【0022】
また、本第1実施形態では、最終的に、所望するアスペクト比の広角画像を生成する際に行わなければならない、リサイズや、クリッピングなどの画像処理を最小限とすることで、ハードウェアに対する負荷の低減化や、低消費電力化などを図っている。
【0023】
A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図4は、本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。図5は、本第1実施形態によるデジタルカメラ1の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する(ステップS10)。CPU11は、シャッタSWが半押しされると(ステップS12)、AF(オートフォーカス)処理を実行する(ステップS14)。
【0024】
ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構え、左上でシャッタSWを押下(半押し→全押し)し、シャッタSWを全押した後、デジタルカメラ1を水平方向に回転させるように移動させる(図3を参照)。デジタルカメラ1を縦方向に構えることで、図5に示すように、一度に撮影される画像は、3000×4000ドットのサイズとなる。この場合、縦が4000ドットとなるので、4:3のアスペクト比のパノラマ画像を生成するためには、横サイズが5332ドットとなる。すなわち、撮像サイズ50は、5332×4000ドットとなる。
【0025】
CPU11は、シャッタSWが全押しされると(ステップS16)、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、図5に示すように、1つの合成画像51を生成する(ステップS18)。該合成画像51は、5332×4000ドットのサイズとなる。なお、連写処理&合成処理の詳細については後述する。
【0026】
次に、CPU11は、連写終了であるか否かを判断する(ステップS20)。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。そして、連写が終了していない場合には(ステップS20のNO)、ステップS18に戻り、連写処理&合成処理を継続する。一方、連写が終了した場合には(ステップS20のYES)、設定されたアスペクト比が4:3であるか否かを判断する(ステップS22)。
【0027】
そして、アスペクト比が4:3に設定(指定)されている場合には(ステップS22のYES)、5332×4000ドットの合成画像51を、アスペクト比4:3、4000×3000ドットの広角画像52にリサイズ(アスペクト比固定で縮小)して保存する(ステップS24)。
【0028】
一方、アスペクト比が16:9に設定(指定)されている場合には(ステップS22のNO)、5332×4000ドットの合成画像51を、アスペクト比4:3、4000×3000ドットにリサイズした後、アスペクト比16:9、4000×2240の広角画像53にトリミング(切り抜き)して保存する(ステップS26)。したがって、この場合、アスペクト比4:3の広角画像52と、アスペクト比16:9の広角画像53とは、撮影角度(横方向の撮影範囲)が同じである。
【0029】
図6は、本第1実施形態によるデジタルカメラ1での連写処理の動作を説明するためのフローチャートである。なお、該連写処理&合成処理の実行中、CPU11は、CCD5などを制御し、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、所定の取り込み位置で撮像された画像が合成用画像として取り込まれ、それ以外の撮像画像は廃棄される。
【0030】
まず、CPU11は、デジタルカメラ1が一定距離動いたか否かを判断する(ステップS30)。CPU11は、所定の時間間隔で順次撮像している画像の重複領域を判定することにより、所定の取り込み位置で撮像された画像であるか否かを判断している。所定の取り込み位置とは、1つ前に取り込んだ合成用画像と所定の領域(例えば、1/3など)だけ重複した画像のことである。言い換えると、合成に必要とされる重複領域が含まれる画像のことである。
【0031】
つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ1が一定距離動いたことになる。これに対して、重複している領域が大きければ、まだ、所定の位置に到達しておらず、重複している領域が小さければ、所定の位置を通りすぎたことになる。
【0032】
そして、デジタルカメラ1が一定距離動いていない場合には(ステップS30のNO)、まだ、所定の位置に到達していないので、ステップS30を繰り返し実行する。一方、デジタルカメラ1が一定距離動いた場合には(ステップS30のYES)、そのときの撮像画像を取り込んで保存する(ステップS32)。
【0033】
次に、CPU11は、1つ前の合成用画像と今回取り込んだ合成用画像と一部が重複するように(例えば、αブレンドを用いて)合成して保存する(ステップS34)。その後、図4に示すメインルーチンに戻る。
【0034】
そして、予め設定された撮像サイズの終端に到達するまで、順次取り込まれる複数の合成用画像を順次合成することにより、1つの繋がった合成画像(パノラマ画像)が得られる。
【0035】
図7は、本第1実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。図7に示すように、パノラマ撮影時、画像表示部15には、予め設定された撮像範囲60が表示され、該撮像範囲60には、上記連写&合成処理のステップS34で逐次合成される合成画像(の縮小)が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。
【0036】
上述した第1実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。
【0037】
なお、上述した第1実施形態において、アスペクト比の指示、設定は、撮影に先立って行われたが、これに限らず、撮影終了後に指示するようにしてもよい(例えば、図4のステップS20とS22の間)。
【0038】
また、上述した第1実施形態において、図5に示すように、5332×4000ドットの合成画像51から、アスペクト比16:9、4000×2240の広角画像53をトリミング(切り抜き)する際に、合成画像51のどの部分をトリミングするかを、ユーザ操作により指定可能としてもよい。
【0039】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、撮影に先立ってアスペクト比の指示が行われると、該アスペクト比に対応した合成画像を撮影、作成後に、リサイズを行って所望するアスペクト比の広角画像を作成することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0040】
図8は、本第2実施形態によるデジタルカメラ1での動作を説明するためのフローチャートである。図9は、本第2実施形態によるデジタルカメラ1の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する(ステップS40)。CPU11は、アスペクト比に応じた撮像サイズを設定する(ステップS42)。
【0041】
アスペクト比が4:3の場合には、図9(a)に示すように、5332×4000ドットの撮像サイズ70とする。一度に撮影される画像は、デジタルカメラ1を縦方向に構えることで、3000×4000ドットのサイズとなる。また、アスペクト比が16:9の場合には、図9(b)に示すように、7111×4000ドットの撮像サイズ80とする。一度に撮影される画像は、アスペクト比が4:3の場合と同様に、デジタルカメラ1を縦方向に構えることで、3000×4000ドットのサイズとなる。
【0042】
次に、CPU11は、シャッタSWが半押しされると(ステップS44)、AF(オートフォーカス)処理を実行する(ステップS46)。
【0043】
ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構え、シャッタSWを押下(半押し→全押し)し、シャッタSWを全押した後、デジタルカメラ1を水平方向に移動させる(図3を参照)。
【0044】
CPU11は、シャッタSWが全押しされると(ステップS48)、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、1つの広角画像を生成する(ステップS50)。
【0045】
アスペクト比が4:3の場合には、図9(a)に示すように、5332×4000ドットの合成画像71となる。また、アスペクト比が16:9の場合には、図9(b)に示すように、7111×4000ドットの合成画像81となる。なお、連写処理&合成処理の詳細については、前述した第1実施形態と同様であるので省略する(図6を参照)。
【0046】
次に、CPU11は、連写終了であるか否かを判断する(ステップS52)。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。つまり、アスペクト比が4:3の場合には、5332×4000ドットの合成画像71が作成されると連写終了となり、アスペクト比が16:9の場合には、7111×4000ドットの合成画像81が作成されると連写終了となる。そして、連写が終了していない場合には(ステップS52のNO)、ステップS50に戻り、連写処理&合成処理を継続する。一方、連写が終了した場合には(ステップS52のYES)、設定されたアスペクト比が4:3であるか否かを判断する(ステップS54)。
【0047】
そして、アスペクト比が4:3に設定(指定)されている場合には(ステップS54のYES)、図9(a)に示すように、5332×4000ドットの合成画像71を、アスペクト比4:3、4000×3000ドットの広角画像72にリサイズ(アスペクト比固定で縮小)して保存する(ステップS56)。一方、アスペクト比が16:9に設定(指定)されている場合には(ステップS22のNO)、図9(b)に示すように、5332×4000ドットの合成画像81を、アスペクト比16:9、4000×2240の広角画像82にリサイズ(アスペクト比固定で縮小)して保存する(ステップS58)。したがって、この場合、アスペクト比16:9の広角画像53の方が、アスペクト比4:3の広角画像52に比べ、撮影角度(水平方向の撮影範囲)が広くなっている。
【0048】
図10(a)、(b)は、本第2実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。アスペクト比を4:3とした場合には、図10(a)に示すように、パノラマ撮影時、画像表示部15には、予め設定されたアスペクト比が4:3の撮像範囲90が表示される。該撮像範囲90には、上記連写&合成処理のステップS50で逐次合成される合成画像(の縮小)が逐次表示される。
【0049】
一方、アスペクト比を16:9とした場合には、図10(b)に示すように、パノラマ撮影時、画像表示部15には、予め設定されたアスペクト比が16:9の撮像サイズ91が表示される。該撮像サイズ91には、上記連写&合成処理のステップS50で逐次合成される合成画像(の縮小)が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。
【0050】
上述した第2実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。
【0051】
また、上述した第1、第2実施形態においては、所定の位置に到達したか否かを撮像される画像に基づいて判断するようにしたが、これに限らず、方位センサや加速度センサなどの情報を用いるようにしてもよい。
【0052】
なお、上述した第1、第2実施形態においては、所望するアスペクト比を入力・設定するようにしたが、さらに、最終的に得られる広角画像の画像サイズを指定するようにしてもよい。この場合、最終的な広角画像を作成する際に、指定されたアスペクト比、指定された画像サイズに合うように、リサイズ、トリミングを適宜行うようにする。
【0053】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【0054】
(付記1)
付記1に記載の発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、第1のアスペクト比を設定する設定手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【0055】
(付記2)
付記2に記載の発明は、前記設定手段は、前記第1のアスペクト比に加え、最終的に得られる広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像をリサイズすることを特徴とする付記1に記載の撮像装置である。
【0056】
(付記3)
付記3に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記1または2に記載の撮像装置である。
【0057】
(付記4)
付記4に記載の発明は、表示手段と、前記所定のアスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記1乃至3のいずれかに記載の撮像装置である。
【0058】
(付記5)
付記5に記載の発明は、撮像手段と、生成すべき広角画像のアスペクト比を設定する設定手段と、前記撮像手段により順次撮像する撮像制御手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【0059】
(付記6)
付記6に記載の発明は、前記設定手段は、前記アスペクト比に加え、合成すべき広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズとに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対して更にリサイズを行うことを特徴とする付記5に記載の撮像装置である。
【0060】
(付記7)
付記7に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記5または6に記載の撮像装置である。
【0061】
(付記8)
付記8に記載の発明は、表示手段と、前記アスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記5乃至7のいずれかに記載の撮像装置である。
【0062】
(付記9)
付記9に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、前記撮像手段により順次撮像させる撮像制御ステップと、第1のアスペクト比を設定する設定ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成ステップと、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記第1のアスペクト比の広角画像となるように、前記パノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。
【0063】
(付記10)
付記10に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、生成すべき広角画像のアスペクト比を設定する設定ステップと、前記撮像手段により順次撮像させる撮像制御ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、前記アスペクト比に基づいて、前記パノラマ生成ステップで生成されたパノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。
【0064】
(付記11)
付記11に記載の発明は、撮像手段を備える撮像装置のコンピュータを、前記撮像手段により順次撮像する撮像制御手段、第1のアスペクト比を設定する設定手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。
【0065】
(付記12)
付記12に記載の発明は、撮像手段を備える撮像装置のコンピュータを、生成すべき広角画像のアスペクト比を設定する設定手段、前記撮像手段により順次撮像する撮像制御手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。
【符号の説明】
【0066】
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15 画像表示部
16 キー入力部
17 カードI/F
18 メモリ・カード
【技術分野】
【0001】
本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、画像合成方法、及びプログラムに関する。
【背景技術】
【0002】
従来より、撮影した画像の特徴点を抽出してその座標を検出し、次に撮影した隣接する画像の同じ特徴点の座標を検出し、これらの特徴点が一致するように隣接する画像を結合合成してパノラマ画像を得ることが行われている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平11−282100号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記従来技術では、パノラマ撮像を行う際に、水平方向のサイズに規定がなく、360度の範囲であれば、ユーザが撮影したい画角範囲で撮影可能であった。このため、最終的に得られるパノラマ画像のアスペクト比は、規格外となり(いわゆる4:3や、16:9とはならず)、一般的な表示装置で鑑賞するにはよいが、それ以外の使い道がなく、例えば印刷する場合にも不便であった。言い換えると、従来技術では、ユーザが所望するアスペクト比の広角画像を得ることが難しいという問題があった。
【0005】
そこで本発明は、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる撮像装置、画像合成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、第1のアスペクト比を設定する設定手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【発明の効果】
【0007】
この発明によれば、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができるという利点が得られる。
【図面の簡単な説明】
【0008】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】通常の撮像モードを説明するための概念図である。
【図3】本第1実施形態によるデジタルカメラ1でのパノラマ撮像モードを説明するための概念図である。
【図4】本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。
【図5】本第1実施形態によるデジタルカメラ1の動作を説明するための概念図である。
【図6】本第1実施形態によるデジタルカメラ1での連写処理の動作を説明するためのフローチャートである。
【図7】本第1実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。
【図8】本第2実施形態によるデジタルカメラ1での動作を説明するためのフローチャートである。
【図9】本第2実施形態によるデジタルカメラ1の動作を説明するための概念図である。
【図10】本第2実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態を、図面を参照して説明する。
【0010】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0011】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0012】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0013】
ユニット回路7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0014】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理、ユーザが指定したアスペクト比の広角画像となるように合成画像に対してトリミングや、リサイズなどの画像処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0015】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、ユーザがデジタルカメラ1を動かしている間に、CPU11は、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように(例えば、αブレンドを用いて)合成していき、広角で撮像したような1枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。
【0016】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データなどを保存しておく記録媒体である。
【0017】
画像表示部15は、アスペクト比が4:3のカラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ14や、メモリ・カード23から読み出され、伸張された記録画像を表示させる。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0018】
図2は、通常の撮像モードを説明するための概念図である。デジタルカメラ1で、通常の撮像モードで撮影する場合には、図2に示すように、当該デジタルカメラ1の撮像系の画角の画像30でしか撮影できない。
【0019】
図3は、本第1実施形態によるデジタルカメラ1でのパノラマ撮像モードを説明するための概念図である。ユーザは、所望する景色に対して、画角の長手方向を縦方向になるように、デジタルカメラ1を縦方向に構え、シャッタSWを押下(半押し→全押し)し、図3に示す矢印のように、水平方向(左端から右方向)に動かす。デジタルカメラ1では、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次画像を撮像しつつ、所定のタイミングで合成用画像を取り込み、前後の合成用画像同士を合成することで、所望する広角画像40、41を生成する。広角画像40は、アスペクト比が4:3の広角画像であり、広角画像41は、アスペクト比が16:9の広角画像である。
【0020】
本第1実施形態では、予めユーザが所望するアスペクト比を指定すれば、水平方向へどのくらい移動させればよいか(移動距離、撮影範囲)を、ユーザに容易に分かるように提示することで、所望するアスペクト比の広角画像を容易に撮像することができるようにする。なお、本第1実施形態で得られる広角画像は、アスペクト比が4:3の広角画像40、または、アスペクト比が16:9の広角画像であるが、いずれも縦方向の画素数を共通としている(例えば、4000画素)。このため、縦方向を共通の画素数とすることで、画像表示部15に全画面表示する際でも同じ比率で縮小処理すればよい。
【0021】
また、本第1実施形態では、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構えた状態で、水平方向に移動させて広角画像を撮影している。これは、縦方向の画素数を大きくとることで、所望するアスペクト比の広角画像を得るための移動量を可能な限り少なくし、ユーザの負担を軽減するためである。
【0022】
また、本第1実施形態では、最終的に、所望するアスペクト比の広角画像を生成する際に行わなければならない、リサイズや、クリッピングなどの画像処理を最小限とすることで、ハードウェアに対する負荷の低減化や、低消費電力化などを図っている。
【0023】
A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図4は、本第1実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。図5は、本第1実施形態によるデジタルカメラ1の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する(ステップS10)。CPU11は、シャッタSWが半押しされると(ステップS12)、AF(オートフォーカス)処理を実行する(ステップS14)。
【0024】
ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構え、左上でシャッタSWを押下(半押し→全押し)し、シャッタSWを全押した後、デジタルカメラ1を水平方向に回転させるように移動させる(図3を参照)。デジタルカメラ1を縦方向に構えることで、図5に示すように、一度に撮影される画像は、3000×4000ドットのサイズとなる。この場合、縦が4000ドットとなるので、4:3のアスペクト比のパノラマ画像を生成するためには、横サイズが5332ドットとなる。すなわち、撮像サイズ50は、5332×4000ドットとなる。
【0025】
CPU11は、シャッタSWが全押しされると(ステップS16)、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、図5に示すように、1つの合成画像51を生成する(ステップS18)。該合成画像51は、5332×4000ドットのサイズとなる。なお、連写処理&合成処理の詳細については後述する。
【0026】
次に、CPU11は、連写終了であるか否かを判断する(ステップS20)。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。そして、連写が終了していない場合には(ステップS20のNO)、ステップS18に戻り、連写処理&合成処理を継続する。一方、連写が終了した場合には(ステップS20のYES)、設定されたアスペクト比が4:3であるか否かを判断する(ステップS22)。
【0027】
そして、アスペクト比が4:3に設定(指定)されている場合には(ステップS22のYES)、5332×4000ドットの合成画像51を、アスペクト比4:3、4000×3000ドットの広角画像52にリサイズ(アスペクト比固定で縮小)して保存する(ステップS24)。
【0028】
一方、アスペクト比が16:9に設定(指定)されている場合には(ステップS22のNO)、5332×4000ドットの合成画像51を、アスペクト比4:3、4000×3000ドットにリサイズした後、アスペクト比16:9、4000×2240の広角画像53にトリミング(切り抜き)して保存する(ステップS26)。したがって、この場合、アスペクト比4:3の広角画像52と、アスペクト比16:9の広角画像53とは、撮影角度(横方向の撮影範囲)が同じである。
【0029】
図6は、本第1実施形態によるデジタルカメラ1での連写処理の動作を説明するためのフローチャートである。なお、該連写処理&合成処理の実行中、CPU11は、CCD5などを制御し、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像している。該撮像画像は、全て合成用画像として取り込まれるわけでなく、所定の取り込み位置で撮像された画像が合成用画像として取り込まれ、それ以外の撮像画像は廃棄される。
【0030】
まず、CPU11は、デジタルカメラ1が一定距離動いたか否かを判断する(ステップS30)。CPU11は、所定の時間間隔で順次撮像している画像の重複領域を判定することにより、所定の取り込み位置で撮像された画像であるか否かを判断している。所定の取り込み位置とは、1つ前に取り込んだ合成用画像と所定の領域(例えば、1/3など)だけ重複した画像のことである。言い換えると、合成に必要とされる重複領域が含まれる画像のことである。
【0031】
つまり、合成用画像として取り込むべき画像であれば、所定の位置に到達したことになり、デジタルカメラ1が一定距離動いたことになる。これに対して、重複している領域が大きければ、まだ、所定の位置に到達しておらず、重複している領域が小さければ、所定の位置を通りすぎたことになる。
【0032】
そして、デジタルカメラ1が一定距離動いていない場合には(ステップS30のNO)、まだ、所定の位置に到達していないので、ステップS30を繰り返し実行する。一方、デジタルカメラ1が一定距離動いた場合には(ステップS30のYES)、そのときの撮像画像を取り込んで保存する(ステップS32)。
【0033】
次に、CPU11は、1つ前の合成用画像と今回取り込んだ合成用画像と一部が重複するように(例えば、αブレンドを用いて)合成して保存する(ステップS34)。その後、図4に示すメインルーチンに戻る。
【0034】
そして、予め設定された撮像サイズの終端に到達するまで、順次取り込まれる複数の合成用画像を順次合成することにより、1つの繋がった合成画像(パノラマ画像)が得られる。
【0035】
図7は、本第1実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。図7に示すように、パノラマ撮影時、画像表示部15には、予め設定された撮像範囲60が表示され、該撮像範囲60には、上記連写&合成処理のステップS34で逐次合成される合成画像(の縮小)が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。
【0036】
上述した第1実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。
【0037】
なお、上述した第1実施形態において、アスペクト比の指示、設定は、撮影に先立って行われたが、これに限らず、撮影終了後に指示するようにしてもよい(例えば、図4のステップS20とS22の間)。
【0038】
また、上述した第1実施形態において、図5に示すように、5332×4000ドットの合成画像51から、アスペクト比16:9、4000×2240の広角画像53をトリミング(切り抜き)する際に、合成画像51のどの部分をトリミングするかを、ユーザ操作により指定可能としてもよい。
【0039】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、撮影に先立ってアスペクト比の指示が行われると、該アスペクト比に対応した合成画像を撮影、作成後に、リサイズを行って所望するアスペクト比の広角画像を作成することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0040】
図8は、本第2実施形態によるデジタルカメラ1での動作を説明するためのフローチャートである。図9は、本第2実施形態によるデジタルカメラ1の動作を説明するための概念図である。まず、ユーザにより最終的に得られる広角画像のアスペクト比を入力または選択させ、そのアスペクト比を設定する(ステップS40)。CPU11は、アスペクト比に応じた撮像サイズを設定する(ステップS42)。
【0041】
アスペクト比が4:3の場合には、図9(a)に示すように、5332×4000ドットの撮像サイズ70とする。一度に撮影される画像は、デジタルカメラ1を縦方向に構えることで、3000×4000ドットのサイズとなる。また、アスペクト比が16:9の場合には、図9(b)に示すように、7111×4000ドットの撮像サイズ80とする。一度に撮影される画像は、アスペクト比が4:3の場合と同様に、デジタルカメラ1を縦方向に構えることで、3000×4000ドットのサイズとなる。
【0042】
次に、CPU11は、シャッタSWが半押しされると(ステップS44)、AF(オートフォーカス)処理を実行する(ステップS46)。
【0043】
ユーザは、所望する景色に対して、画角の長手方向が縦方向になるように、デジタルカメラ1を縦方向に構え、シャッタSWを押下(半押し→全押し)し、シャッタSWを全押した後、デジタルカメラ1を水平方向に移動させる(図3を参照)。
【0044】
CPU11は、シャッタSWが全押しされると(ステップS48)、所定の時間間隔(例えば、7fpsとか、10fpsなど)で順次撮像し、所定の位置に到達する度に撮像した画像を合成用画像として取り込むとともに、取り込んだ合成用画像を順次合成することで、1つの広角画像を生成する(ステップS50)。
【0045】
アスペクト比が4:3の場合には、図9(a)に示すように、5332×4000ドットの合成画像71となる。また、アスペクト比が16:9の場合には、図9(b)に示すように、7111×4000ドットの合成画像81となる。なお、連写処理&合成処理の詳細については、前述した第1実施形態と同様であるので省略する(図6を参照)。
【0046】
次に、CPU11は、連写終了であるか否かを判断する(ステップS52)。連写終了は、予め設定された撮像サイズの終端に到達したことを契機とする。つまり、アスペクト比が4:3の場合には、5332×4000ドットの合成画像71が作成されると連写終了となり、アスペクト比が16:9の場合には、7111×4000ドットの合成画像81が作成されると連写終了となる。そして、連写が終了していない場合には(ステップS52のNO)、ステップS50に戻り、連写処理&合成処理を継続する。一方、連写が終了した場合には(ステップS52のYES)、設定されたアスペクト比が4:3であるか否かを判断する(ステップS54)。
【0047】
そして、アスペクト比が4:3に設定(指定)されている場合には(ステップS54のYES)、図9(a)に示すように、5332×4000ドットの合成画像71を、アスペクト比4:3、4000×3000ドットの広角画像72にリサイズ(アスペクト比固定で縮小)して保存する(ステップS56)。一方、アスペクト比が16:9に設定(指定)されている場合には(ステップS22のNO)、図9(b)に示すように、5332×4000ドットの合成画像81を、アスペクト比16:9、4000×2240の広角画像82にリサイズ(アスペクト比固定で縮小)して保存する(ステップS58)。したがって、この場合、アスペクト比16:9の広角画像53の方が、アスペクト比4:3の広角画像52に比べ、撮影角度(水平方向の撮影範囲)が広くなっている。
【0048】
図10(a)、(b)は、本第2実施形態による、パノラマ撮影時のデジタルカメラの表示例を示す模式図である。アスペクト比を4:3とした場合には、図10(a)に示すように、パノラマ撮影時、画像表示部15には、予め設定されたアスペクト比が4:3の撮像範囲90が表示される。該撮像範囲90には、上記連写&合成処理のステップS50で逐次合成される合成画像(の縮小)が逐次表示される。
【0049】
一方、アスペクト比を16:9とした場合には、図10(b)に示すように、パノラマ撮影時、画像表示部15には、予め設定されたアスペクト比が16:9の撮像サイズ91が表示される。該撮像サイズ91には、上記連写&合成処理のステップS50で逐次合成される合成画像(の縮小)が逐次表示される。これにより、ユーザは、撮影中に、どのくらい撮像したのか、どのくらい撮像しなければならないのかを知ることができる。
【0050】
上述した第2実施形態によれば、レンズ交換を行うことなく、容易に、かつ効率的に、所望するアスペクト比の広角画像を撮像することができる。
【0051】
また、上述した第1、第2実施形態においては、所定の位置に到達したか否かを撮像される画像に基づいて判断するようにしたが、これに限らず、方位センサや加速度センサなどの情報を用いるようにしてもよい。
【0052】
なお、上述した第1、第2実施形態においては、所望するアスペクト比を入力・設定するようにしたが、さらに、最終的に得られる広角画像の画像サイズを指定するようにしてもよい。この場合、最終的な広角画像を作成する際に、指定されたアスペクト比、指定された画像サイズに合うように、リサイズ、トリミングを適宜行うようにする。
【0053】
以上、この発明のいくつかの実施形態について説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の特許請求の範囲に記載された発明を付記する。
【0054】
(付記1)
付記1に記載の発明は、撮像手段と、前記撮像手段により順次撮像する撮像制御手段と、第1のアスペクト比を設定する設定手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【0055】
(付記2)
付記2に記載の発明は、前記設定手段は、前記第1のアスペクト比に加え、最終的に得られる広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像をリサイズすることを特徴とする付記1に記載の撮像装置である。
【0056】
(付記3)
付記3に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記1または2に記載の撮像装置である。
【0057】
(付記4)
付記4に記載の発明は、表示手段と、前記所定のアスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記1乃至3のいずれかに記載の撮像装置である。
【0058】
(付記5)
付記5に記載の発明は、撮像手段と、生成すべき広角画像のアスペクト比を設定する設定手段と、前記撮像手段により順次撮像する撮像制御手段と、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段とを備えることを特徴とする撮像装置である。
【0059】
(付記6)
付記6に記載の発明は、前記設定手段は、前記アスペクト比に加え、合成すべき広角画像のサイズを設定し、前記画像処理手段は更に、前記設定手段によって設定されたサイズとに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対して更にリサイズを行うことを特徴とする付記5に記載の撮像装置である。
【0060】
(付記7)
付記7に記載の発明は、前記撮像制御手段は、前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像することを特徴とする付記5または6に記載の撮像装置である。
【0061】
(付記8)
付記8に記載の発明は、表示手段と、前記アスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段とを更に備えることを特徴とする付記5乃至7のいずれかに記載の撮像装置である。
【0062】
(付記9)
付記9に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、前記撮像手段により順次撮像させる撮像制御ステップと、第1のアスペクト比を設定する設定ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成ステップと、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記第1のアスペクト比の広角画像となるように、前記パノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。
【0063】
(付記10)
付記10に記載の発明は、画像を撮像する撮像手段を備える撮像装置での画像合成方法において、生成すべき広角画像のアスペクト比を設定する設定ステップと、前記撮像手段により順次撮像させる撮像制御ステップと、前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、前記アスペクト比に基づいて、前記パノラマ生成ステップで生成されたパノラマ画像に対してトリミングを行う画像処理ステップとを含むことを特徴とする画像合成方法である。
【0064】
(付記11)
付記11に記載の発明は、撮像手段を備える撮像装置のコンピュータを、前記撮像手段により順次撮像する撮像制御手段、第1のアスペクト比を設定する設定手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段、前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。
【0065】
(付記12)
付記12に記載の発明は、撮像手段を備える撮像装置のコンピュータを、生成すべき広角画像のアスペクト比を設定する設定手段、前記撮像手段により順次撮像する撮像制御手段、前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段、前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段として機能させることを特徴とするプログラムである。
【符号の説明】
【0066】
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15 画像表示部
16 キー入力部
17 カードI/F
18 メモリ・カード
【特許請求の範囲】
【請求項1】
撮像手段と、
前記撮像手段により順次撮像する撮像制御手段と、
第1のアスペクト比を設定する設定手段と、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記設定手段は、前記第1のアスペクト比に加え、最終的に得られる広角画像のサイズを設定し、
前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像をリサイズする
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像制御手段は、
前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像する
ことを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
表示手段と、
前記所定のアスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段と
を更に備えることを特徴とする請求項1乃至3のいずれかに記載の撮像装置。
【請求項5】
撮像手段と、
生成すべき広角画像のアスペクト比を設定する設定手段と、
前記撮像手段により順次撮像する撮像制御手段と、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、
前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段と
を備えることを特徴とする撮像装置。
【請求項6】
前記設定手段は、前記アスペクト比に加え、合成すべき広角画像のサイズを設定し、
前記画像処理手段は更に、前記設定手段によって設定されたサイズとに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対して更にリサイズを行う
ことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記撮像制御手段は、
前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像する
ことを特徴とする請求項5または6に記載の撮像装置。
【請求項8】
表示手段と、
前記アスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段と
を更に備えることを特徴とする請求項5乃至7のいずれかに記載の撮像装置。
【請求項9】
画像を撮像する撮像手段を備える撮像装置での画像合成方法において、
前記撮像手段により順次撮像させる撮像制御ステップと、
第1のアスペクト比を設定する設定ステップと、
前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成ステップと、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記第1のアスペクト比の広角画像となるように、前記パノラマ画像に対してトリミングを行う画像処理ステップと
を含むことを特徴とする画像合成方法。
【請求項10】
画像を撮像する撮像手段を備える撮像装置での画像合成方法において、
生成すべき広角画像のアスペクト比を設定する設定ステップと、
前記撮像手段により順次撮像させる撮像制御ステップと、
前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、
前記アスペクト比に基づいて、前記パノラマ生成ステップで生成されたパノラマ画像に対してトリミングを行う画像処理ステップと
を含むことを特徴とする画像合成方法。
【請求項11】
撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により順次撮像する撮像制御手段、
第1のアスペクト比を設定する設定手段、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段
として機能させることを特徴とするプログラム。
【請求項12】
撮像手段を備える撮像装置のコンピュータを、
生成すべき広角画像のアスペクト比を設定する設定手段、
前記撮像手段により順次撮像する撮像制御手段、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段、
前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段
として機能させることを特徴とするプログラム。
【請求項1】
撮像手段と、
前記撮像手段により順次撮像する撮像制御手段と、
第1のアスペクト比を設定する設定手段と、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段と、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記設定手段は、前記第1のアスペクト比に加え、最終的に得られる広角画像のサイズを設定し、
前記画像処理手段は更に、前記設定手段によって設定されたサイズに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像をリサイズする
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記撮像制御手段は、
前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像する
ことを特徴とする請求項1または2に記載の撮像装置。
【請求項4】
表示手段と、
前記所定のアスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段と
を更に備えることを特徴とする請求項1乃至3のいずれかに記載の撮像装置。
【請求項5】
撮像手段と、
生成すべき広角画像のアスペクト比を設定する設定手段と、
前記撮像手段により順次撮像する撮像制御手段と、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段と、
前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段と
を備えることを特徴とする撮像装置。
【請求項6】
前記設定手段は、前記アスペクト比に加え、合成すべき広角画像のサイズを設定し、
前記画像処理手段は更に、前記設定手段によって設定されたサイズとに基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対して更にリサイズを行う
ことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記撮像制御手段は、
前記撮像手段の画素配列の長手方向を撮像画角の縦方向とした状態でユーザによって当該撮像装置が水平方向に移動させられている過程で順次撮像する
ことを特徴とする請求項5または6に記載の撮像装置。
【請求項8】
表示手段と、
前記アスペクト比のパノラマ画像に対応する撮像範囲と、該撮像範囲における未撮像領域とを、前記表示手段に表示する表示制御手段と
を更に備えることを特徴とする請求項5乃至7のいずれかに記載の撮像装置。
【請求項9】
画像を撮像する撮像手段を備える撮像装置での画像合成方法において、
前記撮像手段により順次撮像させる撮像制御ステップと、
第1のアスペクト比を設定する設定ステップと、
前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成ステップと、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記第1のアスペクト比の広角画像となるように、前記パノラマ画像に対してトリミングを行う画像処理ステップと
を含むことを特徴とする画像合成方法。
【請求項10】
画像を撮像する撮像手段を備える撮像装置での画像合成方法において、
生成すべき広角画像のアスペクト比を設定する設定ステップと、
前記撮像手段により順次撮像させる撮像制御ステップと、
前記撮像制御ステップでの撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成ステップと、
前記アスペクト比に基づいて、前記パノラマ生成ステップで生成されたパノラマ画像に対してトリミングを行う画像処理ステップと
を含むことを特徴とする画像合成方法。
【請求項11】
撮像手段を備える撮像装置のコンピュータを、
前記撮像手段により順次撮像する撮像制御手段、
第1のアスペクト比を設定する設定手段、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成して所定のアスペクト比のパノラマ画像を生成するパノラマ生成手段、
前記所定のアスペクト比が前記第1のアスペクト比と異なる場合は、前記設定手段によって設定された第1のアスペクト比の広角画像となるように、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段
として機能させることを特徴とするプログラム。
【請求項12】
撮像手段を備える撮像装置のコンピュータを、
生成すべき広角画像のアスペクト比を設定する設定手段、
前記撮像手段により順次撮像する撮像制御手段、
前記撮像制御手段による撮像制御に従って前記撮像手段によって順次撮像された複数の画像を合成してパノラマ画像を生成するパノラマ生成手段、
前記設定手段によって設定されたアスペクト比に基づいて、前記パノラマ生成手段によって生成されたパノラマ画像に対してトリミングを行う画像処理手段
として機能させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2012−222541(P2012−222541A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−85248(P2011−85248)
【出願日】平成23年4月7日(2011.4.7)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月7日(2011.4.7)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]