撮像装置、及びプログラム
【課題】容易に広画角の画像を得ることができるようにする。
【解決手段】CPU11は、ユーザがデジタルカメラ1の撮像方向を所望する景色を網羅するように動かしている間に、CCD(撮像素子)5により、所定の周期(時間間隔)で複数枚の画像を連写し、画像処理部8により、撮像した複数の画像の縮小画像を、一部が重複するように合成し、該合成した縮小画像を画像表示部15にリアルタイムで表示する。このとき、CPU11は、合成に用いた縮小画像の元画像(高画質画像)を保存しておき、撮像が終了すると、上記保存しておいた元画像(高画質画像)を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。
【解決手段】CPU11は、ユーザがデジタルカメラ1の撮像方向を所望する景色を網羅するように動かしている間に、CCD(撮像素子)5により、所定の周期(時間間隔)で複数枚の画像を連写し、画像処理部8により、撮像した複数の画像の縮小画像を、一部が重複するように合成し、該合成した縮小画像を画像表示部15にリアルタイムで表示する。このとき、CPU11は、合成に用いた縮小画像の元画像(高画質画像)を保存しておき、撮像が終了すると、上記保存しておいた元画像(高画質画像)を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。
【0003】
そして、このような撮像画角の限界の問題に対しては、撮像装置の中には、広角撮像用のコンバージョンレンズなどを、既存のレンズ前に装着したり(例えば、特許文献1、2、3参照)、複数のレンズを予め備え、撮像目的に応じてレンズを切り替えることで対処していた(例えば、特許文献4参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−191897号公報
【特許文献2】特開2005−027142号公報
【特許文献3】特開2005−057548号公報
【特許文献4】特開2007−081473号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来技術では、広角撮像を行うために、いちいち広角撮像用のコンバージョンレンズを装着したり、撮像目的に応じてレンズを切り替えたりしなくてはならず、操作性や、コストの面で問題があった。また、これら広角撮像用のコンバージョンレンズや、切り替え可能なレンズを用いたとしても、撮影者が希望する広角画像を得ることは難しいという問題があった。
【0006】
そこで本発明は、容易に広画角の画像を得ることができる撮像装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的達成のため、請求項1記載の発明は、表示手段と、第1の画角で撮像する撮像手段と、前記撮像手段により複数回の撮像を行う撮像制御手段と、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成手段と、前記生成手段によって生成される合成画像を前記表示手段に表示する表示制御手段とを備えることを特徴とする撮像装置である。
【0008】
また、好ましい態様として、例えば請求項2記載のように、請求項1に記載の撮像装置において、前記撮像制御手段による複数回の撮像における撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第1の判断手段と、前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第1の報知手段とを更に備えることを特徴とする。
【0009】
また、好ましい態様として、例えば請求項3記載のように、請求項2に記載の撮像装置において、前記第1の報知手段は、前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする。
【0010】
また、好ましい態様として、例えば請求項4記載のように、請求項2または3に記載の撮像装置において、前前記撮像制御手段による複数回の撮像によって順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする。
【0011】
また、好ましい態様として、例えば請求項5記載のように、請求項2または3に記載の撮像装置において、前記第1の判断手段は、前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする。
【0012】
また、好ましい態様として、例えば請求項6記載のように、請求項1乃至5のいずれかに記載の撮像装置において、前記撮像制御手段による複数回の撮像の撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第2の判断手段と、前記第2の判断手段によって処理領域外であると判断された場合に、その旨を報知する第2の報知手段とを更に備えることを特徴とする。
【0013】
また、好ましい態様として、例えば請求項7記載のように、請求項6に記載の撮像装置において、前記第2の報知手段は、前記第2の判断手段によって処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする。
【0014】
また、好ましい態様として、例えば請求項8記載のように、請求項6または7に記載の撮像装置において、前記第2の判断手段は、前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする。
【0015】
また、好ましい態様として、例えば請求項9記載のように、請求項1乃至8のいずれかに記載の撮像装置において、前記生成手段は、前記撮像制御手段による複数回の撮像によって順次撮像された複数の画像を順次合成して前記第1の画角よりも広い第2の画角の合成画像を生成し、前記表示制御手段は、前記生成手段によって順次合成される、前記第2の画角の合成画像を前記表示手段に表示することを特徴とする。
【0016】
また、好ましい態様として、例えば請求項10記載のように、請求項1乃至9のいずれかに記載の撮像装置において、前記生成手段によって生成される合成画像から直前に合成された画像を中心とする所定領域をトリミングするトリミング手段を更に備え、前記表示制御手段は、前記トリミング手段によってトリミングされた前記直前に合成された画像を中心とする所定領域の画像を、前記表示手段の画面全体に表示することを特徴とする。
【0017】
また、好ましい態様として、例えば請求項11記載のように、請求項1乃至10のいずれかに記載の撮像装置において、前記表示制御手段は、更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする。
【0018】
また、好ましい態様として、例えば請求項12記載のように、請求項11に記載の撮像装置において、前記表示制御手段は、前記生成手段により第2の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする。
【0019】
また、好ましい態様として、例えば請求項13記載のように、請求項1乃至12のいずれかに記載の撮像装置において、前記撮像制御手段は、所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする。
【0020】
また、上記目的達成のため、請求項14記載の発明は、第1の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、前記撮像手段により複数回の撮像を行う撮像制御機能、前記撮像制御機能による複数回の撮像によって撮像された複数の画像を合成して前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成機能、前記第2の画角の合成画像を前記表示手段に表示する表示制御機能を実行させることを特徴とするプログラムである。
【発明の効果】
【0021】
この発明によれば、容易に広画角の画像を得ることができるという利点が得られる。
【図面の簡単な説明】
【0022】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラ1の広角撮像モードを説明するための概念図である。
【図3】本第1実施形態によるデジタルカメラ1における、レンズの画角と広角撮像モードで得られる合成画像との関係を示す概念図である。
【図4】本第1実施形態によるデジタルカメラ1の広角撮像モードにおけるユーザ操作を説明するための模式図である。
【図5】本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図6】本第1実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。
【図7】本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図8】本第2実施形態によるデジタルカメラの画像表示部の表示例を示す模式図である。
【図9】本第2実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図10】本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図11】本第3実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図12】本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図13】本第4実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図14】本第4実施形態の変形例を示す模式図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態を、図面を参照して説明する。
【0024】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing
Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0025】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0026】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0027】
ユニット回路7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0028】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0029】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、CPU11は、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように(例えば、αブレンドを用いて)合成していき、広角で撮像したような1枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。
【0030】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データなどを保存しておく記録媒体である。
【0031】
画像表示部15は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ14や、メモリ・カード23から読み出され、伸張された記録画像を表示させる。また、本第1実施形態では、広角撮像モードにおいて連写される複数の画像を順次合成した合成画像を表示する。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0032】
図2は、本第1実施形態によるデジタルカメラ1の広角撮像モードを説明するための概念図である。例えば、デジタルカメラ1で、図2に示すような景色を撮像する場合を想定する。撮像しようとする景色は、当該デジタルカメラ1の撮像系の画角Sに比べ、より広い画角を有する。したがって、一度の撮像では、所望する景色を全て撮像することができない。
【0033】
そこで、本第1実施形態では、ユーザがデジタルカメラ1の撮像方向を所望する景色を網羅するように動かしている間に、所定の時間、あるいは所定の撮像枚数分の間、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように合成することで、容易に広画角の画像を得ることができる広角撮像モードを提供する。
【0034】
なお、以下の説明では、撮像範囲や、撮像画角などを明確にするために、図2の景色を図3に示すように図式化して説明する。図3において、画角S1が最終的に生成する画像のサイズ(画角)であり、その外側は、撮像されたとしても最終的な画像としては残さない領域外とする。
【0035】
本第1実施形態では、メモリ(DRAM12)上に画像書き込み用の配列を確保する。これを便宜上、本第1実施形態では、キャンバスと呼ぶ。本第1実施形態では、広角撮像モードにおいて連写した最初の撮像画像を基準画像(図3の画角Sの画像に相当)とし、該基準画像の縦横を、例えば、それぞれ2倍の大きさとし(図3の撮像領域S1)、キャンバスの中心に基準画像を貼り付ける。なお、キャンバスの大きさは、縦横2倍以外でもよい。そして、撮像した複数の画像を、基準画像と一部が重複するように位置合わせして合成し、キャンバスに上書きしていく。位置合わせの方法としては、例えば、ブロックマッチングなどの手法が考えられる。また、上書きをする場合には、投射変換などを行い、αブレンドなどの手法を用いて重ね合わせを行う方法が考えられる。
【0036】
図4は、本第1実施形態によるデジタルカメラ1の広角撮像モードにおけるユーザ操作を説明するための模式図である。ユーザは、所望する景色に対して、例えば、中央部でシャッタSWを押下(半押し→全押し)した状態で、矢印で示すように円を描くようにデジタルカメラ1を動かす。しかしながら、ユーザにとっては、どのようにデジタルカメラ1を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。
【0037】
そこで、本第1実施形態では、ユーザによりシャッタSWが押下(半押し→全押し)されると、上述したように、所定の時間、あるいは所定の撮像枚数分の間、所定の周期(時間間隔)で複数枚の画像を連写しながら、撮像する毎に、リアルタイムで縮小画像(低解像度)を生成し、基準画像(または合成画像)と一部が重複するように合成し、該合成画像を画像表示部15に表示する。このとき、合成に用いた縮小画像の元画像(高画質画像)を保存しておく。
【0038】
そして、所定の時間、あるいは所定の撮像枚数分の撮像が終了すると、縮小画像を用いて行った合成と同様に、上記保存しておいた元画像(高画質画像)を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。連写中、画像合成した縮小画像を画像表示部15に表示するようにしたので、ユーザは、どの方向にデジタルカメラを向けたらよいかを容易に確認することが可能となっている。
【0039】
A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図5は、本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図6(a)、(b)は、本第1実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。
【0040】
まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS10)、シャッタSWが半押しされない場合には、ステップS10を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS12)、シャッタSWが全押しされたか否かを判断する(ステップS14)。シャッタSWが全押しされない場合には、ステップS10、S12を繰り返し実行する。
【0041】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS16)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS18)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、該縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断する(ステップS20)。
【0042】
そして、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS22)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS24)。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。図6(a)に示す例では、現フレームの縮小画像31の中心位置が処理領域40内にあるので、現フレームの縮小画像31と基準画像30との一部が重複するように合成し、キャンバス40に上書きする。そして、該合成画像32を画像表示部15に表示する(ステップS26)。
【0043】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS28)。そして、必要画像全てを取得していない場合には、ステップS16に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、合成画像を画像表示部15に表示することになる。
【0044】
一方、現フレームの縮小画像の中心位置が処理領域内にない場合には、ステップS16に戻り、次の撮像画像に対して同様の処理を繰り返す。例えば、図6(b)に示すように、現フレームの縮小画像31の中心位置が処理領域40内にない場合には、画像合成は行われない。
【0045】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS30)。
【0046】
上述した第1実施形態によれば、連写中に、撮像する度に、リアルタイムで、画像合成した縮小画像を画像表示部15に表示するようにしたので、ユーザは、まだ撮像されていない方向、あるいは既に撮像された方向を容易に認識することができる。この結果、ユーザは、次にどこにデジタルカメラを向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。
【0047】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、処理領域外(キャンバス外)を撮像している場合や、デジタルカメラの移動(撮像方向の変化)が速すぎる場合などに、ユーザに対して、その旨を報知することで、デジタルカメラを、どの程度の速度で移動さればよいか、どの方向に向けたらよいかを知らせることを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0048】
図7は、本第2実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。また、図8、及び図9は、本第2実施形態によるデジタルカメラ1の画像表示部15の表示例を示す模式図である。まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS30)、シャッタSWが半押しされない場合には、ステップS30を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS32)、シャッタSWが全押しされたか否かを判断する(ステップS34)。シャッタSWが全押しされない場合には、ステップS30、S32を繰り返し実行する。
【0049】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS36)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS38)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置、直前に撮像した画像(縮小画像)の中心位置(座標)との距離などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断する(ステップS40)。
【0050】
そして、縮小画像の中心位置が処理領域内にない場合には、画像表示部15に領域超過マークを表示する(ステップS42)。例えば、図8(a)に示すように、現フレームの縮小画像31の中心が、処理領域であるキャンバス40の外に出てしまった場合には、図8(b)に示すように、処理領域内に戻すように、領域超過マークとして、移動した方向とは逆方向を示す矢印50を画像表示部15に表示する。これにより、ユーザは、デジタルカメラ1の撮像方向が上に行き過ぎたことが分かるので、矢印50の方向にデジタルカメラ1を移動させることで、撮像される画角を処理領域内に戻すことが可能となる。その後、ステップS36に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。
【0051】
一方、縮小画像の中心位置が処理領域内にある場合には、前フレームの縮小画像の中心位置と現フレームの縮小画像の中心位置との距離が所定の閾値より小さいか否かを判断する(ステップS44)。そして、上記距離が所定の閾値以上である場合には、画像表示部15にスピード超過マークを表示する(ステップS46)。その後、ステップS36に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。
【0052】
本発明では、位置合わせをブロックマッチングなどの方法により実現しているが、デジタルカメラ1の移動速度が大きいと、位置合わせ用の2つの画像(前フレームの縮小画像と現フレームの縮小画像)の中で同一のものが写っている領域の面積が小さくなり、位置合わせが不正確になってしまう。そのため、デジタルカメラ1の移動速度を、ある一定速度以下に抑える必要がある。そこで、ユーザに明示的にデジタルカメラ1の移動速度(撮像方向の変化速度)を知らせるようにしている。
【0053】
例えば、図9(a)に示すように、前フレームの縮小画像31aの中心位置と現フレームの縮小画像31bの中心位置との距離が所定の閾値以上である場合には、双方の縮小画像との重なる面積が小さくなってしまい、位置合わせが不正確になる可能性が高いので、図9(b)に示すように、画像表示部15にスピード超過マーク60を表示する。
【0054】
スピード超過マーク60としては、図9(c)に示すように、画像の単位時間当たりの移動距離の大きさに応じて、メータの針の位置、及びメータの色を変化させるタコメータ状のマーク61や、画像の単位時間当たりの移動距離の大きさに応じて、円弧状の面積、及び円弧の色を変化させるようなマーク62などが考えられる。あるいは、画像の単位時間当たりの移動距離の大きさに応じて、長さや色を変化させるような棒グラフであってもよい(図示略)。
【0055】
一方、現フレームの縮小画像が処理領域内で、かつ、移動距離も所定の閾値より小さい場合には、画像を合成する上で十分に正確な位置合わせを行うことができるので、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS48)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS50)。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。そして、該合成画像を画像表示部15に表示する(ステップS52)。
【0056】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS54)。そして、必要画像全てを取得していない場合には、ステップS36に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、合成画像を画像表示部15に表示することになる。
【0057】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS56)。
【0058】
上述した第2実施形態によれば、撮像する度に、リアルタイムで、ユーザに対して、処理領域外を撮像している場合や、デジタルカメラ1の移動(撮像方向の変化)が速すぎる場合などに、その旨を報知するようにしたので、ユーザは、デジタルカメラ1を、どの程度の速度で移動さればよいか、どの方向に向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。
【0059】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、連写される撮像画像(の縮小画像)を単に合成して表示するのではなく、現フレームの縮小画像が画像表示部15の中心に位置するように、合成画像から所定の範囲をトリミングして画像表示部15に表示することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0060】
図10は、本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS60)、シャッタSWが半押しされない場合には、ステップS60を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS62)、シャッタSWが全押しされたか否かを判断する(ステップS64)。シャッタSWが全押しされない場合には、ステップS60、S62を繰り返し実行する。
【0061】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS66)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS68)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断し(ステップS70)、縮小画像の中心位置が処理領域にない場合には、ステップS66に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。
【0062】
一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS72)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS74)。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして合成し、キャンバスに上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバスの中央部に上書きする)。
【0063】
次に、現フレームの縮小画像を中心として画像表示部15の表示サイズで合成画像をトリミングし(ステップS76)、該トリミングした合成画像を画像表示部15に表示する(ステップS78)。次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS80)。
【0064】
そして、必要画像全てを取得していない場合には、ステップS66に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、現フレームの縮小画像を中心として画像表示部15の表示サイズで合成画像をトリミングし、該トリミングした合成画像を画像表示部15に表示することになる。
【0065】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS82)。
【0066】
図11は、本第3実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。まず、1枚目の撮像画像である基準画像30が取得された後、2枚目の撮像画像(縮小画像)31が取得される。2枚目の縮小画像31の中心位置が画像取得位置にあったとすると、該2枚目の縮小画像31は、1枚目の基準画像30と一部を重ね合わせて合成される。次いで、現フレームの縮小画像31を中心として画像表示部15の表示サイズで合成画像32がトリミングされ、該トリミングした合成画像32aが画像表示部15に表示される。
【0067】
上述した第3実施形態によれば、撮像画像が順次合成される度に、画像表示部15には、現フレームの縮小画像が画像表示部15の中央に位置するように表示される。すなわち、画像表示部15を見ながら撮像を行っているユーザは、リアルタイムでデジタルカメラが向いている方向を中心とした画像を見ることができ、まだ撮像されていないブランク部分を埋めるためには、次にどの方向にデジタルカメラを向ければよいかを直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。
【0068】
なお、上記一連の処理においては、基準画像が画像表示部15の画面上を移動してしまうので、ユーザに合成画像のどの部分が基準画像であるかを分からせるために、所定の色の枠で囲むようにしてもよい。
【0069】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
本第4実施形態では、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを提示することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0070】
図12は、本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図13(a)〜(e)は、本第4実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【0071】
まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS90)、シャッタSWが半押しされない場合には、ステップS90を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS92)、シャッタSWが全押しされたか否かを判断する(ステップS94)。シャッタSWが全押しされない場合には、ステップS90、S92を繰り返し実行する。
【0072】
一方、シャッタSWが全押しされると、例えば、図13(a)に示すように、画像表示部15の右下に渦巻き状のガイド70を表示する(ステップS96)。次に、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS98)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS100)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。
【0073】
次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断し(ステップS102)、縮小画像の中心位置が処理領域にない場合には、ステップS96に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。
【0074】
一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS104)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS106)。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。次に、合成画像を画像表示部15に表示する(ステップS108)。
【0075】
次に、現フレームの縮小画像が合成された部分が取得済みであることを示すべく、該合成された部分に対応するガイド70の一部の色(図示の例では線種の違いで示した)を変更し、画像表示部15に表示されているガイド70を更新する(ステップS110)。例えば、図13(b)には、1枚目の基準画像30の撮像後における、画像表示部15の表示例を示している。このとき、ガイド70において、渦巻き状の中心から1枚目の基準画像の位置に相当する箇所の色が変化している(図示の例では、ガイド70の線種が変化)。ユーザは、該ガイド70を見て、渦巻きに沿ってデジタルカメラ1を動かせばよい。
【0076】
そして、2枚目の縮小画像の合成後には、図13(c)に示すように、ガイド70において、渦巻き状の中心から2枚目の撮像画像の位置に相当する箇所までの色(図示の例では、ガイド70の線種)が変化している。ユーザは、該ガイド70を見て、さらに、渦巻きに沿ってデジタルカメラ1を動かせばよい。
【0077】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS112)。そして、必要画像全てを取得していない場合には、ステップS96に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、縮小画像が順次合成される度に、該合成される縮小画像の位置に対応するガイド70の一部の色が変化することになる。つまり、縮小画像が順次合成される度に、図13(d)の状態となり、最終的には、図13(e)に示すように、ガイド70の全体が変化し、画面全体の合成画像を取得したことが示されることになる。
【0078】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS114)。
【0079】
図14(a)〜(c)は、本第4実施形態の変形例を示す模式図である。上述した本第4実施形態では、ガイド70を渦巻き状とし、画像表示部15の右隅に表示するようにしたが、これに限らず、例えば、図14(a)に示すように、ガイド71を画像表示部15の画面全体に合成画像と重ねて表示したり、図14(b)に示すように、ガイド72を画面の左上から蛇行させたZ字形状にしてもよい。図14(b)の場合、1枚目の基準画像は、ガイド72の始点である左上隅となる。また、図14(c)に示すように、撮像すべき位置に円形状のガイド73を配置し、撮像されると、色を変更することで、撮像済みであるか未撮像であるかを分かるようにしてもよい。すなわち、ガイド70は、基準画像に対して何倍の画角(面積)の合成画像を生成するかに応じた形状を有するものであれば如何なるものでもよい。
【0080】
上述した第4実施形態によれば、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを表示するようにしたので、画像表示部15を見ながら撮像を行っているユーザは、次にどのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを、直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。
【0081】
また、上述した第1実施形態から第4実施形態は、それぞれ組合わせ可能であり、例えば、第2実施形態による領域超過マークや、スピード超過マークの表示処理に、第3実施形態によるトリミング処理、または/及び第4実施形態によるガイド表示を加えるようにしてもよい。また、例えば、上述した第1実施形態から第4実施形態にあっては、デジタルカメラの移動を検出する加速度センサを更に備え、連写によって順次得られる撮像画像の重ね合わせの際には、この加速度センサによって検出された移動を考慮して重ね合わせ用の画像位置を計算するようにしてもよい。
【0082】
なお、上述した第1実施形態から第4実施形態では、撮像装置としてデジタルカメラについて説明したが、これに限らず、撮像機能を有する電子機器であれば、例えば、携帯電話などにも適用可能である。
【符号の説明】
【0083】
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15 画像表示部
16 キー入力部
17 カードI/F
18 メモリ・カード
【技術分野】
【0001】
本発明は、デジタルカメラや撮像機能を有する携帯電話などの撮像装置、及びプログラムに関する。
【背景技術】
【0002】
デジタルカメラや、撮像機能を有する携帯電話などにおいては、撮像画角の限界はレンズの焦点距離、撮像素子のサイズなど、装置本体が備えるハードスペックに依存している。
【0003】
そして、このような撮像画角の限界の問題に対しては、撮像装置の中には、広角撮像用のコンバージョンレンズなどを、既存のレンズ前に装着したり(例えば、特許文献1、2、3参照)、複数のレンズを予め備え、撮像目的に応じてレンズを切り替えることで対処していた(例えば、特許文献4参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−191897号公報
【特許文献2】特開2005−027142号公報
【特許文献3】特開2005−057548号公報
【特許文献4】特開2007−081473号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来技術では、広角撮像を行うために、いちいち広角撮像用のコンバージョンレンズを装着したり、撮像目的に応じてレンズを切り替えたりしなくてはならず、操作性や、コストの面で問題があった。また、これら広角撮像用のコンバージョンレンズや、切り替え可能なレンズを用いたとしても、撮影者が希望する広角画像を得ることは難しいという問題があった。
【0006】
そこで本発明は、容易に広画角の画像を得ることができる撮像装置、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的達成のため、請求項1記載の発明は、表示手段と、第1の画角で撮像する撮像手段と、前記撮像手段により複数回の撮像を行う撮像制御手段と、前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成手段と、前記生成手段によって生成される合成画像を前記表示手段に表示する表示制御手段とを備えることを特徴とする撮像装置である。
【0008】
また、好ましい態様として、例えば請求項2記載のように、請求項1に記載の撮像装置において、前記撮像制御手段による複数回の撮像における撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第1の判断手段と、前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第1の報知手段とを更に備えることを特徴とする。
【0009】
また、好ましい態様として、例えば請求項3記載のように、請求項2に記載の撮像装置において、前記第1の報知手段は、前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする。
【0010】
また、好ましい態様として、例えば請求項4記載のように、請求項2または3に記載の撮像装置において、前前記撮像制御手段による複数回の撮像によって順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする。
【0011】
また、好ましい態様として、例えば請求項5記載のように、請求項2または3に記載の撮像装置において、前記第1の判断手段は、前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする。
【0012】
また、好ましい態様として、例えば請求項6記載のように、請求項1乃至5のいずれかに記載の撮像装置において、前記撮像制御手段による複数回の撮像の撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第2の判断手段と、前記第2の判断手段によって処理領域外であると判断された場合に、その旨を報知する第2の報知手段とを更に備えることを特徴とする。
【0013】
また、好ましい態様として、例えば請求項7記載のように、請求項6に記載の撮像装置において、前記第2の報知手段は、前記第2の判断手段によって処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする。
【0014】
また、好ましい態様として、例えば請求項8記載のように、請求項6または7に記載の撮像装置において、前記第2の判断手段は、前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする。
【0015】
また、好ましい態様として、例えば請求項9記載のように、請求項1乃至8のいずれかに記載の撮像装置において、前記生成手段は、前記撮像制御手段による複数回の撮像によって順次撮像された複数の画像を順次合成して前記第1の画角よりも広い第2の画角の合成画像を生成し、前記表示制御手段は、前記生成手段によって順次合成される、前記第2の画角の合成画像を前記表示手段に表示することを特徴とする。
【0016】
また、好ましい態様として、例えば請求項10記載のように、請求項1乃至9のいずれかに記載の撮像装置において、前記生成手段によって生成される合成画像から直前に合成された画像を中心とする所定領域をトリミングするトリミング手段を更に備え、前記表示制御手段は、前記トリミング手段によってトリミングされた前記直前に合成された画像を中心とする所定領域の画像を、前記表示手段の画面全体に表示することを特徴とする。
【0017】
また、好ましい態様として、例えば請求項11記載のように、請求項1乃至10のいずれかに記載の撮像装置において、前記表示制御手段は、更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする。
【0018】
また、好ましい態様として、例えば請求項12記載のように、請求項11に記載の撮像装置において、前記表示制御手段は、前記生成手段により第2の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする。
【0019】
また、好ましい態様として、例えば請求項13記載のように、請求項1乃至12のいずれかに記載の撮像装置において、前記撮像制御手段は、所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする。
【0020】
また、上記目的達成のため、請求項14記載の発明は、第1の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、前記撮像手段により複数回の撮像を行う撮像制御機能、前記撮像制御機能による複数回の撮像によって撮像された複数の画像を合成して前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成機能、前記第2の画角の合成画像を前記表示手段に表示する表示制御機能を実行させることを特徴とするプログラムである。
【発明の効果】
【0021】
この発明によれば、容易に広画角の画像を得ることができるという利点が得られる。
【図面の簡単な説明】
【0022】
【図1】本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。
【図2】本第1実施形態によるデジタルカメラ1の広角撮像モードを説明するための概念図である。
【図3】本第1実施形態によるデジタルカメラ1における、レンズの画角と広角撮像モードで得られる合成画像との関係を示す概念図である。
【図4】本第1実施形態によるデジタルカメラ1の広角撮像モードにおけるユーザ操作を説明するための模式図である。
【図5】本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図6】本第1実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。
【図7】本第2実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図8】本第2実施形態によるデジタルカメラの画像表示部の表示例を示す模式図である。
【図9】本第2実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図10】本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図11】本第3実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図12】本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。
【図13】本第4実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【図14】本第4実施形態の変形例を示す模式図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施の形態を、図面を参照して説明する。
【0024】
A.第1実施形態
A−1.第1実施形態の構成
図1は、本発明の第1実施形態によるデジタルカメラの構成を示すブロック図である。図において、デジタルカメラ1は、撮像レンズ2、レンズ駆動部3、絞り兼用シャッタ4、CCD5、TG(Timing
Generator)6、ユニット回路7、画像処理部8、CPU11、DRAM12、メモリ13、フラッシュメモリ14、画像表示部15、キー入力部16、カードI/F17、及びメモリ・カード18を備えている。
【0025】
撮像レンズ2は、フォーカスレンズ、ズームレンズなどを含み、レンズ駆動部3が接続されている。レンズ駆動部3は、撮像レンズ2を構成するフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、CPU11からの制御信号に従ってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。
【0026】
絞り4は、図示しない駆動回路を含み、駆動回路はCPU11から送られてくる制御信号に従って絞り4を動作させる。該絞り4は、撮像レンズ2から入ってくる光の量を制御する。CCD(撮像素子)5は、撮像レンズ2、絞り4を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路7に出力する。また、CCD5は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0027】
ユニット回路7は、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated
Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic
Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されている。CCD5の撮像信号は、ユニット回路7を経てデジタル信号として画像処理部8に送られる。なお、ユニット回路7は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0028】
画像処理部8は、ユニット回路7から送られてきた画像データの画像処理(画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等)、画像データの圧縮・伸張(例えば、JPEG形式やM−JPEG形式又はMPEG形式の圧縮・伸張)の処理、複数の撮像画像を合成する処理などを行う。なお、画像処理部8は、TG6によって生成された所定周波数のタイミング信号に従って駆動される。
【0029】
CPU11は、デジタルカメラ1の各部を制御するワンチップマイコンである。特に、本第1実施形態では、CPU11は、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように(例えば、αブレンドを用いて)合成していき、広角で撮像したような1枚の合成画像を生成すべく各部を制御する。なお、画像合成の詳細については後述する。
【0030】
DRAM12は、CCD5によって撮像された後、CPU11に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU11のワーキングメモリとして使用される。メモリ13は、CPU11によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、CPU11は、このプログラムに従って処理を行う。フラッシュメモリ14や、メモリ・カード18は、CCD5によって撮像された画像データなどを保存しておく記録媒体である。
【0031】
画像表示部15は、カラーLCDとその駆動回路を含み、撮像待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ14や、メモリ・カード23から読み出され、伸張された記録画像を表示させる。また、本第1実施形態では、広角撮像モードにおいて連写される複数の画像を順次合成した合成画像を表示する。キー入力部16は、シャッタSW、ズームSW、モードキー、SETキー、十字キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU11に出力する。カードI/F17には、デジタルカメラ1本体の図示しないカードスロットを介してメモリ・カード18が着脱自在に装着されている。
【0032】
図2は、本第1実施形態によるデジタルカメラ1の広角撮像モードを説明するための概念図である。例えば、デジタルカメラ1で、図2に示すような景色を撮像する場合を想定する。撮像しようとする景色は、当該デジタルカメラ1の撮像系の画角Sに比べ、より広い画角を有する。したがって、一度の撮像では、所望する景色を全て撮像することができない。
【0033】
そこで、本第1実施形態では、ユーザがデジタルカメラ1の撮像方向を所望する景色を網羅するように動かしている間に、所定の時間、あるいは所定の撮像枚数分の間、所定の周期(時間間隔)で複数枚の画像を連写し、撮像した複数の画像を、一部が重複するように合成することで、容易に広画角の画像を得ることができる広角撮像モードを提供する。
【0034】
なお、以下の説明では、撮像範囲や、撮像画角などを明確にするために、図2の景色を図3に示すように図式化して説明する。図3において、画角S1が最終的に生成する画像のサイズ(画角)であり、その外側は、撮像されたとしても最終的な画像としては残さない領域外とする。
【0035】
本第1実施形態では、メモリ(DRAM12)上に画像書き込み用の配列を確保する。これを便宜上、本第1実施形態では、キャンバスと呼ぶ。本第1実施形態では、広角撮像モードにおいて連写した最初の撮像画像を基準画像(図3の画角Sの画像に相当)とし、該基準画像の縦横を、例えば、それぞれ2倍の大きさとし(図3の撮像領域S1)、キャンバスの中心に基準画像を貼り付ける。なお、キャンバスの大きさは、縦横2倍以外でもよい。そして、撮像した複数の画像を、基準画像と一部が重複するように位置合わせして合成し、キャンバスに上書きしていく。位置合わせの方法としては、例えば、ブロックマッチングなどの手法が考えられる。また、上書きをする場合には、投射変換などを行い、αブレンドなどの手法を用いて重ね合わせを行う方法が考えられる。
【0036】
図4は、本第1実施形態によるデジタルカメラ1の広角撮像モードにおけるユーザ操作を説明するための模式図である。ユーザは、所望する景色に対して、例えば、中央部でシャッタSWを押下(半押し→全押し)した状態で、矢印で示すように円を描くようにデジタルカメラ1を動かす。しかしながら、ユーザにとっては、どのようにデジタルカメラ1を動かしたらよいか、あるいは必要とされる画像が確実に得られているのかが分かりにくい。
【0037】
そこで、本第1実施形態では、ユーザによりシャッタSWが押下(半押し→全押し)されると、上述したように、所定の時間、あるいは所定の撮像枚数分の間、所定の周期(時間間隔)で複数枚の画像を連写しながら、撮像する毎に、リアルタイムで縮小画像(低解像度)を生成し、基準画像(または合成画像)と一部が重複するように合成し、該合成画像を画像表示部15に表示する。このとき、合成に用いた縮小画像の元画像(高画質画像)を保存しておく。
【0038】
そして、所定の時間、あるいは所定の撮像枚数分の撮像が終了すると、縮小画像を用いて行った合成と同様に、上記保存しておいた元画像(高画質画像)を用いて、一部が重複するように合成し、最終的に、一度の撮像では得られない広画角の画像を生成する。連写中、画像合成した縮小画像を画像表示部15に表示するようにしたので、ユーザは、どの方向にデジタルカメラを向けたらよいかを容易に確認することが可能となっている。
【0039】
A−2.第1実施形態の動作
次に、上述した第1実施形態の動作について説明する。
図5は、本第1実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図6(a)、(b)は、本第1実施形態によるデジタルカメラの広角撮像モードにおける画像合成を説明するための模式図である。
【0040】
まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS10)、シャッタSWが半押しされない場合には、ステップS10を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS12)、シャッタSWが全押しされたか否かを判断する(ステップS14)。シャッタSWが全押しされない場合には、ステップS10、S12を繰り返し実行する。
【0041】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS16)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS18)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、該縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断する(ステップS20)。
【0042】
そして、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS22)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS24)。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。図6(a)に示す例では、現フレームの縮小画像31の中心位置が処理領域40内にあるので、現フレームの縮小画像31と基準画像30との一部が重複するように合成し、キャンバス40に上書きする。そして、該合成画像32を画像表示部15に表示する(ステップS26)。
【0043】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS28)。そして、必要画像全てを取得していない場合には、ステップS16に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、合成画像を画像表示部15に表示することになる。
【0044】
一方、現フレームの縮小画像の中心位置が処理領域内にない場合には、ステップS16に戻り、次の撮像画像に対して同様の処理を繰り返す。例えば、図6(b)に示すように、現フレームの縮小画像31の中心位置が処理領域40内にない場合には、画像合成は行われない。
【0045】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS30)。
【0046】
上述した第1実施形態によれば、連写中に、撮像する度に、リアルタイムで、画像合成した縮小画像を画像表示部15に表示するようにしたので、ユーザは、まだ撮像されていない方向、あるいは既に撮像された方向を容易に認識することができる。この結果、ユーザは、次にどこにデジタルカメラを向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。
【0047】
B.第2実施形態
次に、本発明の第2実施形態について説明する。
本第2実施形態では、処理領域外(キャンバス外)を撮像している場合や、デジタルカメラの移動(撮像方向の変化)が速すぎる場合などに、ユーザに対して、その旨を報知することで、デジタルカメラを、どの程度の速度で移動さればよいか、どの方向に向けたらよいかを知らせることを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0048】
図7は、本第2実施形態によるデジタルカメラ1の動作を説明するためのフローチャートである。また、図8、及び図9は、本第2実施形態によるデジタルカメラ1の画像表示部15の表示例を示す模式図である。まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS30)、シャッタSWが半押しされない場合には、ステップS30を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS32)、シャッタSWが全押しされたか否かを判断する(ステップS34)。シャッタSWが全押しされない場合には、ステップS30、S32を繰り返し実行する。
【0049】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS36)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS38)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置、直前に撮像した画像(縮小画像)の中心位置(座標)との距離などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断する(ステップS40)。
【0050】
そして、縮小画像の中心位置が処理領域内にない場合には、画像表示部15に領域超過マークを表示する(ステップS42)。例えば、図8(a)に示すように、現フレームの縮小画像31の中心が、処理領域であるキャンバス40の外に出てしまった場合には、図8(b)に示すように、処理領域内に戻すように、領域超過マークとして、移動した方向とは逆方向を示す矢印50を画像表示部15に表示する。これにより、ユーザは、デジタルカメラ1の撮像方向が上に行き過ぎたことが分かるので、矢印50の方向にデジタルカメラ1を移動させることで、撮像される画角を処理領域内に戻すことが可能となる。その後、ステップS36に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。
【0051】
一方、縮小画像の中心位置が処理領域内にある場合には、前フレームの縮小画像の中心位置と現フレームの縮小画像の中心位置との距離が所定の閾値より小さいか否かを判断する(ステップS44)。そして、上記距離が所定の閾値以上である場合には、画像表示部15にスピード超過マークを表示する(ステップS46)。その後、ステップS36に戻り、次フレームの撮像画像に対して上述した処理を行う。つまり、この場合、画像合成は行われない。
【0052】
本発明では、位置合わせをブロックマッチングなどの方法により実現しているが、デジタルカメラ1の移動速度が大きいと、位置合わせ用の2つの画像(前フレームの縮小画像と現フレームの縮小画像)の中で同一のものが写っている領域の面積が小さくなり、位置合わせが不正確になってしまう。そのため、デジタルカメラ1の移動速度を、ある一定速度以下に抑える必要がある。そこで、ユーザに明示的にデジタルカメラ1の移動速度(撮像方向の変化速度)を知らせるようにしている。
【0053】
例えば、図9(a)に示すように、前フレームの縮小画像31aの中心位置と現フレームの縮小画像31bの中心位置との距離が所定の閾値以上である場合には、双方の縮小画像との重なる面積が小さくなってしまい、位置合わせが不正確になる可能性が高いので、図9(b)に示すように、画像表示部15にスピード超過マーク60を表示する。
【0054】
スピード超過マーク60としては、図9(c)に示すように、画像の単位時間当たりの移動距離の大きさに応じて、メータの針の位置、及びメータの色を変化させるタコメータ状のマーク61や、画像の単位時間当たりの移動距離の大きさに応じて、円弧状の面積、及び円弧の色を変化させるようなマーク62などが考えられる。あるいは、画像の単位時間当たりの移動距離の大きさに応じて、長さや色を変化させるような棒グラフであってもよい(図示略)。
【0055】
一方、現フレームの縮小画像が処理領域内で、かつ、移動距離も所定の閾値より小さい場合には、画像を合成する上で十分に正確な位置合わせを行うことができるので、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS48)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS50)。つまり、現フレームの縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。そして、該合成画像を画像表示部15に表示する(ステップS52)。
【0056】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS54)。そして、必要画像全てを取得していない場合には、ステップS36に戻り、次フレームの撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、合成画像を画像表示部15に表示することになる。
【0057】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS56)。
【0058】
上述した第2実施形態によれば、撮像する度に、リアルタイムで、ユーザに対して、処理領域外を撮像している場合や、デジタルカメラ1の移動(撮像方向の変化)が速すぎる場合などに、その旨を報知するようにしたので、ユーザは、デジタルカメラ1を、どの程度の速度で移動さればよいか、どの方向に向けたらよいかが分かるので、容易に、かつ効率的に広画角の画像を得ることができる。
【0059】
C.第3実施形態
次に、本発明の第3実施形態について説明する。
本第3実施形態では、連写される撮像画像(の縮小画像)を単に合成して表示するのではなく、現フレームの縮小画像が画像表示部15の中心に位置するように、合成画像から所定の範囲をトリミングして画像表示部15に表示することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0060】
図10は、本第3実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS60)、シャッタSWが半押しされない場合には、ステップS60を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS62)、シャッタSWが全押しされたか否かを判断する(ステップS64)。シャッタSWが全押しされない場合には、ステップS60、S62を繰り返し実行する。
【0061】
一方、シャッタSWが全押しされると、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS66)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS68)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断し(ステップS70)、縮小画像の中心位置が処理領域にない場合には、ステップS66に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。
【0062】
一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS72)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS74)。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして合成し、キャンバスに上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバスの中央部に上書きする)。
【0063】
次に、現フレームの縮小画像を中心として画像表示部15の表示サイズで合成画像をトリミングし(ステップS76)、該トリミングした合成画像を画像表示部15に表示する(ステップS78)。次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS80)。
【0064】
そして、必要画像全てを取得していない場合には、ステップS66に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、撮像する度に、撮像画像の中心位置が処理領域内にあれば、基準画像(または合成画像)に順次合成していき、その都度、現フレームの縮小画像を中心として画像表示部15の表示サイズで合成画像をトリミングし、該トリミングした合成画像を画像表示部15に表示することになる。
【0065】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように位置合わせして合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS82)。
【0066】
図11は、本第3実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。まず、1枚目の撮像画像である基準画像30が取得された後、2枚目の撮像画像(縮小画像)31が取得される。2枚目の縮小画像31の中心位置が画像取得位置にあったとすると、該2枚目の縮小画像31は、1枚目の基準画像30と一部を重ね合わせて合成される。次いで、現フレームの縮小画像31を中心として画像表示部15の表示サイズで合成画像32がトリミングされ、該トリミングした合成画像32aが画像表示部15に表示される。
【0067】
上述した第3実施形態によれば、撮像画像が順次合成される度に、画像表示部15には、現フレームの縮小画像が画像表示部15の中央に位置するように表示される。すなわち、画像表示部15を見ながら撮像を行っているユーザは、リアルタイムでデジタルカメラが向いている方向を中心とした画像を見ることができ、まだ撮像されていないブランク部分を埋めるためには、次にどの方向にデジタルカメラを向ければよいかを直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。
【0068】
なお、上記一連の処理においては、基準画像が画像表示部15の画面上を移動してしまうので、ユーザに合成画像のどの部分が基準画像であるかを分からせるために、所定の色の枠で囲むようにしてもよい。
【0069】
D.第4実施形態
次に、本発明の第4実施形態について説明する。
本第4実施形態では、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを提示することを特徴としている。なお、デジタルカメラ1の構成は、図1と同様であるので説明を省略する。
【0070】
図12は、本第4実施形態によるデジタルカメラの動作を説明するためのフローチャートである。また、図13(a)〜(e)は、本第4実施形態によるデジタルカメラの動作、及び画像表示部の表示例を示す模式図である。
【0071】
まず、CPU11は、シャッタSWが半押しされたか否かを判断し(ステップS90)、シャッタSWが半押しされない場合には、ステップS90を繰り返し実行する。一方、シャッタSWが半押しされると、AF(オートフォーカス)処理を実行し(ステップS92)、シャッタSWが全押しされたか否かを判断する(ステップS94)。シャッタSWが全押しされない場合には、ステップS90、S92を繰り返し実行する。
【0072】
一方、シャッタSWが全押しされると、例えば、図13(a)に示すように、画像表示部15の右下に渦巻き状のガイド70を表示する(ステップS96)。次に、撮像画像を取り込み、縮小(間引き)処理を実行し、縮小画像を生成する(ステップS98)。次に、縮小画像を用いて、重ね合わせ用画像位置を計算する(ステップS100)。重ね合わせ用画像位置の計算とは、例えば、縮小画像の中心位置(座標)を算出するとともに、既に基準画像(または合成画像)がある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして、現フレームの縮小画像のキャンバス内における位置などを算出することを意味する。
【0073】
次に、上記縮小画像の中心位置、及びキャンバス内における位置に基づいて、縮小画像の中心位置が処理領域(キャンバス内)にあるか否かを判断し(ステップS102)、縮小画像の中心位置が処理領域にない場合には、ステップS96に戻り、次フレームの撮像画像に対して上述した処理を行う。この場合、画像合成は行われない。
【0074】
一方、縮小画像の中心位置が処理領域内にある場合には、取り込んだ撮像画像(高解像度)を有効画像として保存し(ステップS104)、縮小画像を未取得部分であるブランク部分に上書きする(ステップS106)。つまり、縮小画像の中心位置が処理領域内にある場合には、現フレームの縮小画像と基準画像(または合成画像)との一部が重複するように位置合わせして合成し、キャンバス40に上書きする(最初の1枚目の撮像画像の場合には基準画像としてキャンバス40の中央部に上書きする)。次に、合成画像を画像表示部15に表示する(ステップS108)。
【0075】
次に、現フレームの縮小画像が合成された部分が取得済みであることを示すべく、該合成された部分に対応するガイド70の一部の色(図示の例では線種の違いで示した)を変更し、画像表示部15に表示されているガイド70を更新する(ステップS110)。例えば、図13(b)には、1枚目の基準画像30の撮像後における、画像表示部15の表示例を示している。このとき、ガイド70において、渦巻き状の中心から1枚目の基準画像の位置に相当する箇所の色が変化している(図示の例では、ガイド70の線種が変化)。ユーザは、該ガイド70を見て、渦巻きに沿ってデジタルカメラ1を動かせばよい。
【0076】
そして、2枚目の縮小画像の合成後には、図13(c)に示すように、ガイド70において、渦巻き状の中心から2枚目の撮像画像の位置に相当する箇所までの色(図示の例では、ガイド70の線種)が変化している。ユーザは、該ガイド70を見て、さらに、渦巻きに沿ってデジタルカメラ1を動かせばよい。
【0077】
次に、必要画像全てを取得したか否か(例えば、所定の時間、あるいは所定の撮像枚数分の画像を取得したか否か)を判断する(ステップS112)。そして、必要画像全てを取得していない場合には、ステップS96に戻り、次の撮像画像に対して同様の処理を繰り返す。この結果、縮小画像が順次合成される度に、該合成される縮小画像の位置に対応するガイド70の一部の色が変化することになる。つまり、縮小画像が順次合成される度に、図13(d)の状態となり、最終的には、図13(e)に示すように、ガイド70の全体が変化し、画面全体の合成画像を取得したことが示されることになる。
【0078】
そして、必要画像全てを取得すると、合成に用いた縮小画像の元画像であって保存した有効画像を、縮小画像を用いて行った合成と同様に、一部が重複するように合成し、最終的に、図2に示すような広画角の画像を生成する(ステップS114)。
【0079】
図14(a)〜(c)は、本第4実施形態の変形例を示す模式図である。上述した本第4実施形態では、ガイド70を渦巻き状とし、画像表示部15の右隅に表示するようにしたが、これに限らず、例えば、図14(a)に示すように、ガイド71を画像表示部15の画面全体に合成画像と重ねて表示したり、図14(b)に示すように、ガイド72を画面の左上から蛇行させたZ字形状にしてもよい。図14(b)の場合、1枚目の基準画像は、ガイド72の始点である左上隅となる。また、図14(c)に示すように、撮像すべき位置に円形状のガイド73を配置し、撮像されると、色を変更することで、撮像済みであるか未撮像であるかを分かるようにしてもよい。すなわち、ガイド70は、基準画像に対して何倍の画角(面積)の合成画像を生成するかに応じた形状を有するものであれば如何なるものでもよい。
【0080】
上述した第4実施形態によれば、連写中に、ユーザに対して、まだ撮像されていない方向、あるいは既に撮像された方向を明示しつつ、どのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを誘導するためのガイドを表示するようにしたので、画像表示部15を見ながら撮像を行っているユーザは、次にどのようにデジタルカメラを移動させればよいか、あるいはどの方向にデジタルカメラを向ければよいかを、直感的に、かつ容易に認識することができる。この結果、容易に、かつ効率的に広画角の画像を得ることができる。
【0081】
また、上述した第1実施形態から第4実施形態は、それぞれ組合わせ可能であり、例えば、第2実施形態による領域超過マークや、スピード超過マークの表示処理に、第3実施形態によるトリミング処理、または/及び第4実施形態によるガイド表示を加えるようにしてもよい。また、例えば、上述した第1実施形態から第4実施形態にあっては、デジタルカメラの移動を検出する加速度センサを更に備え、連写によって順次得られる撮像画像の重ね合わせの際には、この加速度センサによって検出された移動を考慮して重ね合わせ用の画像位置を計算するようにしてもよい。
【0082】
なお、上述した第1実施形態から第4実施形態では、撮像装置としてデジタルカメラについて説明したが、これに限らず、撮像機能を有する電子機器であれば、例えば、携帯電話などにも適用可能である。
【符号の説明】
【0083】
1 デジタルカメラ
2 撮像レンズ
3 レンズ駆動部
4 絞り兼用シャッタ
5 CCD
6 TG
7 ユニット回路
8 画像処理部
11 CPU
12 DRAM
13 メモリ
14 フラッシュメモリ
15 画像表示部
16 キー入力部
17 カードI/F
18 メモリ・カード
【特許請求の範囲】
【請求項1】
表示手段と、
第1の画角で撮像する撮像手段と、
前記撮像手段により複数回の撮像を行う撮像制御手段と、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成手段と、
前記生成手段によって生成される合成画像を前記表示手段に表示する表示制御手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記撮像制御手段による複数回の撮像における撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第1の判断手段と、
前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第1の報知手段と
を更に備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第1の報知手段は、
前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記第1の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項2または3に記載の撮像装置。
【請求項5】
前記第1の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項2または3に記載の撮像装置。
【請求項6】
前記撮像制御手段による複数回の撮像の撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第2の判断手段と、
前記第2の判断手段によって処理領域外であると判断された場合に、その旨を報知する第2の報知手段と
を更に備えることを特徴とする請求項1乃至5のいずれかに記載の撮像装置。
【請求項7】
前記第2の報知手段は、
前記第2の判断手段によって処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記第2の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする請求項6または7に記載の撮像装置。
【請求項9】
前記生成手段は、前記撮像制御手段による複数回の撮像によって順次撮像された複数の画像を順次合成して前記第1の画角よりも広い第2の画角の合成画像を生成し、
前記表示制御手段は、
前記生成手段によって順次合成される、前記第2の画角の合成画像を前記表示手段に表示することを特徴とする請求項1乃至8のいずれかに記載の撮像装置。
【請求項10】
前記生成手段によって生成される合成画像から直前に合成された画像を中心とする所定領域をトリミングするトリミング手段を更に備え、
前記表示制御手段は、
前記トリミング手段によってトリミングされた前記直前に合成された画像を中心とする所定領域の画像を、前記表示手段の画面全体に表示することを特徴とする請求項1乃至9のいずれかに記載の撮像装置。
【請求項11】
前記表示制御手段は、
更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする請求項1乃至10のいずれかに記載の撮像装置。
【請求項12】
前記表示制御手段は、
前記生成手段により第2の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記撮像制御手段は、
所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする請求項1乃至12のいずれかに記載の撮像装置。
【請求項14】
第1の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、
前記撮像手段により複数回の撮像を行う撮像制御機能、
前記撮像制御機能による複数回の撮像によって撮像された複数の画像を合成して前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成機能、
前記第2の画角の合成画像を前記表示手段に表示する表示制御機能
を実行させることを特徴とするプログラム。
【請求項1】
表示手段と、
第1の画角で撮像する撮像手段と、
前記撮像手段により複数回の撮像を行う撮像制御手段と、
前記撮像制御手段による複数回の撮像によって得られた複数の画像を合成することにより前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成手段と、
前記生成手段によって生成される合成画像を前記表示手段に表示する表示制御手段と
を備えることを特徴とする撮像装置。
【請求項2】
前記撮像制御手段による複数回の撮像における撮像動作間で、撮像された画像の撮像方向が大きく変化したか否かを判断する第1の判断手段と、
前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、その旨を報知する第1の報知手段と
を更に備えることを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第1の報知手段は、
前記第1の判断手段によって前記撮像方向が大きく変化したと判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記第1の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像の中心座標の変化に基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項2または3に記載の撮像装置。
【請求項5】
前記第1の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域が所定の面積以下か否かに基づいて、前記撮像方向が大きく変化したか否かを判断することを特徴とする請求項2または3に記載の撮像装置。
【請求項6】
前記撮像制御手段による複数回の撮像の撮像動作間で、撮像された画像の撮像方向が前記生成手段による画像合成の処理領域外であるか否かを判断する第2の判断手段と、
前記第2の判断手段によって処理領域外であると判断された場合に、その旨を報知する第2の報知手段と
を更に備えることを特徴とする請求項1乃至5のいずれかに記載の撮像装置。
【請求項7】
前記第2の報知手段は、
前記第2の判断手段によって処理領域外であると判断された場合に、前記表示手段にその旨を表示することを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記第2の判断手段は、
前記撮像制御手段による複数回の撮像によって順次撮像される画像間で、直前に撮像された画像と同一の領域があるか否かに基づいて、前記処理領域外であるか否かを判断することを特徴とする請求項6または7に記載の撮像装置。
【請求項9】
前記生成手段は、前記撮像制御手段による複数回の撮像によって順次撮像された複数の画像を順次合成して前記第1の画角よりも広い第2の画角の合成画像を生成し、
前記表示制御手段は、
前記生成手段によって順次合成される、前記第2の画角の合成画像を前記表示手段に表示することを特徴とする請求項1乃至8のいずれかに記載の撮像装置。
【請求項10】
前記生成手段によって生成される合成画像から直前に合成された画像を中心とする所定領域をトリミングするトリミング手段を更に備え、
前記表示制御手段は、
前記トリミング手段によってトリミングされた前記直前に合成された画像を中心とする所定領域の画像を、前記表示手段の画面全体に表示することを特徴とする請求項1乃至9のいずれかに記載の撮像装置。
【請求項11】
前記表示制御手段は、
更に、前記撮像手段により撮像すべき方向を示す方向情報を、前記表示手段に表示することを特徴とする請求項1乃至10のいずれかに記載の撮像装置。
【請求項12】
前記表示制御手段は、
前記生成手段により第2の画角の合成画像を生成する上で、既に撮像された画像の位置と、まだ撮像されていない画像の位置とを示す位置情報を、前記表示手段に表示することを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記撮像制御手段は、
所定の周期で連続して複数回の撮像を行うように前記撮像手段を制御することを特徴とする請求項1乃至12のいずれかに記載の撮像装置。
【請求項14】
第1の画角で撮像する撮像手段と表示手段とを備える撮像装置のコンピュータに、
前記撮像手段により複数回の撮像を行う撮像制御機能、
前記撮像制御機能による複数回の撮像によって撮像された複数の画像を合成して前記第1の画角よりも広い第2の画角で撮像された画像を再現した合成画像を生成する生成機能、
前記第2の画角の合成画像を前記表示手段に表示する表示制御機能
を実行させることを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−199565(P2011−199565A)
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願番号】特願2010−63763(P2010−63763)
【出願日】平成22年3月19日(2010.3.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
【公開日】平成23年10月6日(2011.10.6)
【国際特許分類】
【出願日】平成22年3月19日(2010.3.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】
[ Back to top ]