撮像装置
【課題】高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現する。
【解決手段】撮影方向を順次変化させて画像を撮像する撮像手段１１を有し、連結された回転軸３８を回転中心として撮影方向が順次変化するように回転可能な第１の筐体３１と、撮像された画像を順次貼り合わせることにより全体画像を生成する全体画像生成手段４２と、生成された全体画像を表示する表示手段４３と、上記回転軸３８を回転させるための駆動手段５１と、撮像開始並びに撮像終了の各タイミングを指定するための指定手段２２と、バッテリー４４と、上記回転軸３８を介して上記第１の筐体３１に連結され、ユーザの片手で把持可能な第２の筐体３２とを備え、上記第２の筐体３２は、上記全体画像生成手段４２と、上記表示手段４３と、上記駆動手段５１と、上記指定手段２２と、上記バッテリー４４とのうち何れか１つ以上が設けられる。
【解決手段】撮影方向を順次変化させて画像を撮像する撮像手段１１を有し、連結された回転軸３８を回転中心として撮影方向が順次変化するように回転可能な第１の筐体３１と、撮像された画像を順次貼り合わせることにより全体画像を生成する全体画像生成手段４２と、生成された全体画像を表示する表示手段４３と、上記回転軸３８を回転させるための駆動手段５１と、撮像開始並びに撮像終了の各タイミングを指定するための指定手段２２と、バッテリー４４と、上記回転軸３８を介して上記第１の筐体３１に連結され、ユーザの片手で把持可能な第２の筐体３２とを備え、上記第２の筐体３２は、上記全体画像生成手段４２と、上記表示手段４３と、上記駆動手段５１と、上記指定手段２２と、上記バッテリー４４とのうち何れか１つ以上が設けられる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影方向を順次変化させて撮像することにより複数の画像領域が貼りわされたパノラマ状の全体画像を生成する撮像装置に関する。
【背景技術】
【０００２】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、1回の撮影での撮影範囲はレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を越えた広範囲の撮影ができなかった。
【０００３】
このため、パノラマ状の画像を撮影するカメラシステムが近年において提案されている。このカメラシステムは、広い視野を複数のレンズで一度に撮影する多眼式と、単眼レンズを用いて撮影方向を順にシフトさせつつ個々の単位画像に分けて連続撮影する単眼式に分類される。
【０００４】
多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価になるという欠点がある。
【０００５】
これに対し、単眼式のカメラシステム（例えば、特許文献１参照）は、比較的安価であるが、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要があるからである。また重なり合う単位画像からパノラマ状の全体画像を取得すべく、各単位画像の中心からの距離に関するボロノイ分割法を用いることにより、得られた境界線に基づいて最適な単位画像を選択する方法が提案されている。更には、相互に重複する画像領域における画素値の平均を用いることにより隣接する単位画像を滑らかにつなぐ方法、或いはメディアンフィルターを用いることにより、最適な単位画像を選択する方法も提案されている。
【０００６】
ところで、この単眼式のカメラシステムは、連続撮影の結果取得される単位画像の境界付近に動被写体が写し出されている場合に、ズレ等の不連続部分が生じる結果、最終的に生成される全体画像において破綻をきたすという問題点もある。
【０００７】
この問題を軽減するには、できるだけ多くの枚数を出来るだけ短時間で撮影すればよい。なお、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、単眼レンズと撮像素子を有するカメラモジュールにおける水平方向又は垂直方向の旋回速度を上げなければならない。しかしながら、当該旋回速度を上げるにつれて撮影中にブレが生じてしまうという問題点が生じる。このブレを抑制するためには、撮影動作に同期させて、高い精度でカメラモジュールを静止させるか、手ブレ補正機構を用いた制御を実行する必要があるが、システム全体のコストが割高になるという問題点も生じる。
【０００８】
例えば、特許文献２において提案されているパノラマ電子スチルカメラでは、撮像素子から、画像信号を読み出す動作に連動してカメラを回動させる手段を備えるが、撮影間隔を短くするためには、カメラの旋回と停止を高速かつ正確に繰り返すハードウェアが必要になり、システム全体のコストを抑え込むことができない。
【０００９】
また、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、シャッタ速度を速くする必要があるが、従来におけるパノラマ電子スチルカメラにおいて、シャッタ速度を速くすると、得られる画像全体が暗くなり、またノイズも増加するため、良質の画像を生成することができない。
【００１０】
またパノラマ画像を撮影する目的の下、単眼レンズを用いて広い撮影範囲を複数の単位画像に分けて撮像する撮影装置は、従来から提案されている。しかしながら、この従来の撮影装置では、コンスーマ用のデジタルカメラの商品性を維持しつつ、高品質なパノラマ撮影機能を低コストで実現することができなかった。
【００１１】
例えば特許文献２の図２には、パノラマ画像を撮影する機能を備えたカメラと、そのカメラの撮像部を取り付けるための回転アダプタが開示されている。この回転アダプタは、撮像部を回転させるための駆動源としての役割を担うものであるが、実際にこれらを使用する際にいくつかの問題点がある。
【００１２】
第１の問題点は、その従来のカメラにおける質量のバランスがあまり考慮されていない点である。従来のカメラは、撮像部を回転動作させる機能をアダプタに担わせ、これを実装するため、カメラ本体そのものを回転動作させることになる。理想的には、レンズや撮像センサ等の一部の部品のみを回転動作させればよいが、従来のカメラでは、バッテリー等の重い部品が搭載されたカメラ本体そのものを回転動作させなければならず、モータや回転動作を支える各種部品のコストが高くなってしまう。また、カメラ本体を手で支えて撮影する場合、把持する部分が軽く、回転部分が重いので、質量のバランスが悪く持ち辛い。
【００１３】
第２の問題点は、その従来のカメラに対するボタン操作や表示画面の視認が困難になるという点である。即ち、回転動作するカメラ本体側にシャッタボタンを含む各種ボタンや表示部が備わっている。このようなカメラにおける撮像部の回動中にボタン操作をすることは、得られる画像のブレの原因になり撮影そのものが失敗してしまう虞がある。通常、レリーズを用いてブレを回避することも可能であるが、コンスーマのデジタルカメラでレリーズを用いることは一般的ではない。
【００１４】
また、表示部も撮像部の回転動作に伴って回転することになるため、ユーザはかかる表示部を常に追いながら状況の視確認をしなければならず、扱いづらい。
【００１５】
その他にも、パノラマ撮影時しか用いない使用頻度の少ない回転アダプタを持ち運ぶのは面倒であるし、カメラ本体に回転アダプタを常時装着したままでは、カメラシステム全体のコンパクト化を実現することができず、可搬性が悪いものになってしまう。
【００１６】
このため、パノラマ撮像時に使用する回転アダプタは、結果的に殆ど用いられることはなかった。
【００１７】
他の従来例としては、例えば特許文献３に示すように、固定した台にターンテーブルを備えて３６０°回転させながら撮影を実行し、パノラマ画像を作成する装置が開示されている。この装置は、パノラマ撮影に特化している。この装置は、３６０°の視野を連続的に撮影するためにカメラと後段の処理部とを接続するためのフォトカプラが使用されており、また回転角度を測定するための回転角度センサが使用されており、大がかりな構成になっている。
【００１８】
しかしながら、一般的なコンスーマのカメラにパノラマ撮影機能を付加するためにこれだけの構成を備えるとコストが増大してしまう。また、これら従来の装置は、三脚に設置し、外部のコンピュータに接続して使用する形態になっているため、コンスーマのカメラに対して一般的に要求される可搬性に乏しい。特に、通常の写真を撮影することが主目的のカメラに対して、この従来例の装置の如く大がかりな構成を持たせることは現実的ではない。
【００１９】
さらに、回転あるいは移動しながら連続撮影を行い複数の撮影画像を得て、上記撮影画像をつなぎ合わせることでパノラマ画像を得る場合、結果画像であるパノラマ画像には、カメラの回転あるいは移動方向と同じ方向のブレが生じてしまうという問題があった。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開平１１−４６３１７号公報
【特許文献２】特開平６−２２５２０２号公報
【特許文献３】特許第３３４８２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
そこで、本発明は、上述した問題点を解決するために案出されたものであり、その目的とするところは、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現し得る撮像装置を提供することにある。
【００２２】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２３】
本発明は、撮像手段の撮影方向が順次変化するように回転可能な第１の筐体に加え、単位画像を順次貼り合わせることにより撮影範囲全体を表す全体画像を生成する全体画像生成手段、生成した全体画像を表示する表示手段、第１の筐体を回転させる駆動手段、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段、各構成要素を動作させるためのバッテリーのうち何れか１つ以上が設けられるユーザの片手で把持可能な第２の筐体により構成される。
【００２４】
即ち、本発明を適用した撮像装置は、撮影方向を順次変化させて撮影範囲全体の一部を構成する画像を撮像する撮像手段を少なくとも有し、連結された回転軸を回転中心として上記撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、上記撮像手段により撮像された画像を順次貼り合わせることにより、上記撮影範囲全体を表す全体画像を生成する全体画像生成手段と、上記全体画像生成手段により生成された全体画像を表示する表示手段と、上記回転軸を回転させるための駆動手段と、上記撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、上記各構成要素を動作させるためのバッテリーと、上記回転軸を介して上記第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、上記第２の筐体は、上記全体画像生成手段と、上記表示手段と、上記駆動手段と、上記指定手段と、上記バッテリーとのうち何れか１つ以上が設けられることを特徴とする。
【発明の効果】
【００２５】
本発明では、撮像手段の撮影方向が順次変化するように回転可能な第１の筐体に加え、画像を順次貼り合わせることにより撮影範囲全体を表す全体画像を生成する全体画像生成手段、生成した全体画像を表示する表示手段、第１の筐体を回転させる駆動手段、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段、各構成要素を動作させるためのバッテリーのうち何れか１つ以上が設けられるユーザの片手で把持可能な第２の筐体により構成される。
【００２６】
これにより、撮影に最低限必要な部品を第１の筐体内部に実装することができ、回転部分の質量が軽くなるため、第１の筐体を支える部品やこれを回転駆動させるモータのコストを下げることができる。したがって、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用したパノラマ画像の撮像装置の構成につき説明するための図である。
【図２】撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、パノラマ状の全体画像を合成する例につき説明するための図である。
【図３】スリット状の画像領域を切り出す方法につき説明するための図である。
【図４】方式Ａ，Ｂの撮影時間に対する画素値の読み出し時間の関係を示す図である。
【図５】方式Ｂにおいてスリット状の画像領域を互いに重複領域が生じるように切り出す場合につき説明するための図である。
【図６】本発明を適用した撮像装置において方式Ｂに基づき撮影する手順を示すフローチャートである。
【図７】各種撮影パラメータの計算手順を示すフローチャートである。
【図８】パノラマ撮影処理手順を更に詳細に示すフローチャートである。
【図９】マッチング処理手順を更に詳細に示すフローチャートである。
【図１０】変位方向に対して直交する方向を平均化する方法につき説明するための図である。
【図１１】キャンバス画像の正規化につき説明するための図である。
【図１２】正規化された画像のフィルタリング処理につき説明するための図である。
【図１３】モニタ部における表示方法につき説明するための図である。
【図１４】方式Ａと方式Ｂを組み合わせて撮像を実行する例につき説明するための図である。
【図１５】第１の筐体と第２の筐体を有するパノラマ画像の撮像装置の外観につき説明するための図である。
【図１６】本発明を適用した撮像装置の他の構成につき説明するための図である。
【図１７】フォトインターラプタにより第１の筐体の回転を制御する方法につき説明するための図である。
【図１８】シャッタボタンを押圧することにより第１の筐体を徐々に回転させる例につき説明するための図である。
【図１９】撮像装置による撮影工程を示すフローチャートである。
【図２０】連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子につき示す図である。
【図２１】撮像装置により水平方向にパニングしながら撮影して切り出された画像領域の各単位画像を示す図である
【図２２】図２１に示した各単位画像をつなぎ合わせて合成したパノラマ画像を示す図である
【図２３】フィルタ処理前の画像を示す図である。
【図２４】フィルタの構成例を模式的に示す図である
【図２５】フィルタ処理済みの画像を示す図である。
【図２６】撮像装置による撮影工程を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００２９】
本発明は、例えば図１に示すような撮像装置１に適用される。この撮像装置１は、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光する図示しないシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１１とを有している。
【００３０】
また、この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化した撮像信号Ｃ２としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するメモリ１７とを備えている。
【００３１】
この撮像装置１は、ＤＳＰ１５から供給される画像データをデジタル／アナログ変換処理して出力するＤ／Ａ変換部１８と、このＤ／Ａ変換部１８からの画像データをビデオ信号に変換するビデオエンコーダ部１９と、ビデオエンコーダ部１９に接続されてなり、上述のビデオ信号に基づく画像をユーザに表示するためのモニタ部２０とを備え、またこの撮像装置１は、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、内部バス１４に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵ２１から内部バス１４を介して送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＤＳＰ１５に至るまでの信号処理系を制御するタイミングジェネレータ２３と、内部バス１４にそれぞれ接続されてなるモータ２４並びに露出計２６とを備えている。
【００３２】
撮像部１０は、ＣＰＵ２１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
【００３３】
ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
【００３４】
ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これをＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。
【００３５】
ＤＳＰ１５は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。図示しない信号処理用プロセッサは、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。この図示しない画像用ＲＡＭにおいて画像処理された画像は、コーデック処理部１６とＤ／Ａ変換部１８の何れか、或いは双方へ送信される。
【００３６】
コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。
【００３７】
メモリ１７は、例えば半導体メモリ,磁気記録媒体,光磁気記録媒体等で構成され、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
【００３８】
モニタ部２０は、Ｄ／Ａ変換部１８においてアナログ信号に変換され、さらにビデオエンコーダ部１９においてビデオ信号に変換された画像を表示する。このモニタ部２０は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
【００３９】
ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１や露出計２６から送信される明るさに関する情報に基づいて、動作信号を生成し、これを内部バス１４を介して撮像部１０へ送信する。
【００４０】
操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。
【００４１】
モータ２４は、例えばステッピングモータ等のように、撮像部１０を旋回させるための駆動源として構成される。このモータ２４は、ＣＰＵ２１からの動作信号に応じて回転する。これにより、撮像部１０の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００４２】
露出計２６は、撮像部１０により撮像される対象の明るさを識別するためのセンサであり、この識別した明るさに関する情報をＣＰＵ２１へ送信する。
【００４３】
上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後、Ｄ／Ａ変換部１８によりデジタル／アナログ変換処理されてモニタ部２０において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。
【００４４】
次に、本発明を適用した撮像装置１における具体的な撮影方法につき説明をする。
【００４５】
この撮像装置１では、撮影方向を水平方向へ連続的にシフトさせることにより、図２(a)に示すようにスリット状の画像を短い撮影間隔で多数撮影する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図２(b)に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。即ち、幅の狭いスリット状の画像を接合することにより、視差やレンズ歪等が原因となる画像の不連続が生じるのを軽減できる。また、短時間でこれらの幅の狭いスリット状画像を撮影することにより、動被写体による画像の不連続が生じるのを軽減できる。
【００４６】
図３は、このスリット状の画像領域を切り出す方法につき示している。レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像をＣＭＯＳイメージセンサ１１における撮像面上に結像させる。ちなみに撮像装置１では、結像された被写体像のうち図３(a)に示すように全ての領域の画素値を読み出し、これをＤＳＰ１５まで転送する方式Ａと、図３(b)に示すように一部のスリット状の領域を選択し、当該領域の画素値のみを効率よく読み出してこれをＤＳＰ１５まで転送する方式Ｂの２通りの方法で画像領域を切り出す。方式Ｂは、方式Ａと比較して読み出す画像領域の面積が少なく、転送量そのものを小さくすることができる。
【００４７】
図４は、これら方式Ａ，Ｂにおける撮影時間に対する画素値の読み出し時間の関係を示している。即ち、転送量が少ないほど読み出し時間を短くすることができるため、単位時間あたりの撮影回数を増加させることが示されている。即ち、動被写体を撮影する際における不連続部分を抑える場合には、撮影間隔の短い方式Ｂを採用することにより、これを実現することができる。ちなみに、方式A、Bどちらを採用して撮影範囲は同じであり総撮影面積は同じとなる。つまり、画像データのサイズは同じなので総転送量は同じである。
【００４８】
特にこの方式Ｂでは、方式Ａと比較して転送量を小さく抑えることができる。このため、画像領域が切り出された時点で次の単位画像の撮像を行うことにより、撮影時間間隔をいきおい短くすることができる。その結果、連続するスリットの継ぎ目部分にまたがる動被写体の撮影時間の差による位置のずれを極力最小に抑えることができる。しかも、方式Ａ、方式Ｂともに総撮影面積は同じなので、画像の転送量自体は等しく、撮像装置１を含めたハードウェア全体のコストは両者間において変わらない。
【００４９】
なお本発明では、さらにこの方式Ｂにおいて、スリット状の画像領域を図５に示すように、互いに重複領域が生じるように切り出す。仮に画像領域のスリット幅を４倍にすることにより、重複領域において重なり合う画像領域は、図５に示すように４枚となる。かかる場合において重ね合わせ枚数Ｌは４となる。次に、このような重複領域が生じた画像領域を互いに重ね合わせることにより、パノラマ状の全体画像を構成してゆく。即ち、シャッタ速度を高速化することにより、低い感度による撮影が余儀なく実行されることになるが、これら重複画像領域を重ね合わせることにより、各画像領域のノイズ成分を平均化することができる。例えば、１／４の感度で撮影された画像領域を４枚重ね合わせることにより１倍の感度相当で撮影した画像が得られ、ノイズ成分の目立たない良質な全体画像を作り出すことが可能となる。
【００５０】
このように、本発明を適用した、撮像装置１では、所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出された画像領域を順次重ね合わせる。この画像領域を重ね合わせることによって生じる重複領域を、画質を向上させるために用いることができる。即ち、シャッタ速度を高速化することにより、得られる画像全体が暗くなり、またノイズも増加する場合であっても、重複領域を作り出すことで良質の画像を生成することができる。
【００５１】
ちなみに、本発明では、この重ね合わせ枚数Ｌは、生成すべき全体画像の各画像位置につき平均して２以上の画像領域を重複させることを構成要件（好適には重なり枚数が2以上である）としてもよい。これにより、各画像位置につき少なくとも２枚以上の画像領域が重なって形成されることになり、最終的に生成される全体画像につき全ての画像位置でノイズの軽減が図られ、画質の改善がなされていることになる。
【００５２】
次に、本発明を適用した撮像装置１において方式Ｂに基づき撮影する手順につき説明をする。
【００５３】
この方式Ｂでは、図６に示すように、先ずステップＳ１において各種撮影パラメータを計算する。このステップＳ１では、露出計２６により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００５４】
図７は、このステップＳ１における動作手順を更に詳細に示したフローチャートである。ステップＳ１に移行して撮影パラメータを計算する場合には、先ずこの図７に示すステップＳ１１において、撮影される対象の明るさＩを露出計２６を介して計測する。この明るさＩに関する情報は、ＣＰＵ２１へ送信されることになる。
【００５５】
次にステップＳ１２に移行し、ＣＰＵ２１は、操作部２２から送られる操作信号Ｄ１を受け取る。この操作信号Ｄ１には、操作部２２を介してユーザより入力された絞り値Ａ、露出時間Ｓ、重ね合わせ枚数Ｌ、モータ２４の回転角速度Ｍ等の各種パラメータが含められる。ちなみにこの撮像装置１において、ユーザは、各撮影パラメータの値を撮影の意図に合わせて具体的な数値で指定してもよいし、またいくつかの撮影パラメータの値を変数として、ＣＰＵ２１自身にその決定を委ねることもできる。
【００５６】
次にステップＳ１３に移行し、ステップＳ１２においてユーザにより具体的に指定されなかった撮影パラメータが存在する場合には、これを計算により求める。各撮影パラメータは、互いに数式で関連付けることができ、ステップＳ１２においてユーザにより指定されなかった撮影パラメータを計算することができる。
【００５７】
モータの回転角速度Ｍと、露出時間Ｓとの関係は、以下のように表すことができる。
【００５８】
Ｍ∝１／Ｓ（∝は、比例関係を表す） ・・・・・・・・・・・（１）
この（１）式に基づくことにより、露出時間Ｓに対して単調減少する角速度で、ひいては露出時間Ｓに反比例する角速度で撮影方向を変更させることができる。
【００５９】
また、上述した露出計２６により計測された明るさＩに対する、露出時間Ｓ、絞り値Ａ、重ね合わせ枚数Ｌの関係は、以下のように表すことができる。
【００６０】
Ｉ∝１／Ｓ・１／Ａ２・１／Ｌ・・・・・・・・・・・（２）
また、スリット状の画像領域Ｗと重ね合わせ枚数Ｌとの関係は、以下のように表すことができる。
【００６１】
Ｗ∝Ｌ・・・・・・・・・・・（３）
これら比例関係（１）,（２）,（３）における各比例定数は、ハードウェアの特性に基づいて決定される。
【００６２】
なお、ユーザにより指定されなかった撮影パラメータを計算する際に、上記比例関係（１）,（２）,（３）において変数が２以上存在する場合には、これを求めることができない場合もある。かかる場合には、ユーザによって予め設定された撮影の意図をより反映させるような形でこれら変数を最適化すればよい。
【００６３】
このステップＳ１３において、上記撮影パラメータを計算により求める例につき説明をする。なお下式において用いられているｋ１,ｋ２,ｋ３は、ハードウェアの特性に合わせた比例定数である。
【００６４】
例えば、ユーザによって撮影パラメータの回転角速度Ｍと絞り値Ａが与えられていた場合には、先ず露出時間Ｓを以下の（４）式により求める。
【００６５】
Ｓ＝ｋ１／Ｍ ・・・・・・・・（４）
次に重ね合わせ枚数Ｌを以下の（５）式に基づいて求める。
【００６６】
Ｌ＝ｋ２／Ｓ／Ａ２／Ｉ・・・・・・・・・（５）
そしてスリット状の画像の幅Ｗを以下の（６）式に基づいて求める。
【００６７】
Ｗ＝ｋ３Ｌ・・・・・・・・・（６）
次にステップＳ１４へ移行し、求めた各撮影パラメータにつき、撮影素子の能力や撮像装置１全体を含めたハードウェアの制約を満たすかどうか確認する。その結果、求めた各撮影パラメータが、ハードウェアの制約を満たす場合には、ステップＳ１５へ移行する。これに対して、求めた各撮影パラメータが、ハードウェアの制約を満たさない場合には、ステップＳ１６へ移行する。
【００６８】
ステップＳ１５に移行した場合には、ユーザが設定した撮影パラメータの値が良好であることを通知する。これに対して、ステップＳ１６に移行した場合には、撮影パラメータの値が不適当であることを通知し、絞り値Ａ並びに回転角速度Ｍの値を再設定するようにユーザに要求する。かかる要求を受けたユーザにより撮影パラメータが再び設定されることにより、ハードウェアの制約に適合した最適な設定がなされることになる。
【００６９】
このような図７に示されるステップＳ１の詳細を実行した後、図６に示されるステップＳ２へ移行し、操作部２２におけるシャッタボタン２２１が押圧入力操作に基づく操作信号Ｄ１が生成されたか否か識別する。その結果、かかる操作信号Ｄ１の生成を識別することができた場合には、ステップＳ３へ移行する。これに対して、かかる操作信号Ｄ１の生成を識別することができなかった場合には、再びステップＳ１へ戻り、上述した処理を繰り返し実行する。
【００７０】
ステップＳ３に移行した場合には、モータ２４を駆動させることにより撮像部１０を旋回させる。モータの回転角速度Ｍは、ステップＳ１において決定した値を採用する。以下の手順においては、撮像部１０の撮影方向を水平方向へ変更させる例につき説明する。
【００７１】
次にステップＳ４へ移行し、パノラマ撮影処理を実行する。
【００７２】
図８は、このステップＳ４におけるパノラマ撮影処理手順を更に詳細に示したフローチャートである。撮像部１０は、この図８に示すステップＳ２１において、画像の撮像を実行する。この撮像においては、ステップＳ１において決定した撮影パラメータを使用する。なお、この撮影パラメータは、ステップＳ２１を実行する都度、ステップＳ１と同様の処理を実行することにより、これを順次更新するようにしてもよい。このステップＳ２１において撮像された被写体像がＣＭＯＳイメージセンサ１１において電気信号に変換され、また一部のスリット状の画像領域が選択され、当該画像領域の画素値が読み出されて撮像信号Ｃ１となる。またこの撮像信号Ｃ１は上述の如く順次撮像信号Ｃ２に変換され、ＤＳＰ１５における図示しない画像用ＲＡＭに格納された後、ステップＳ２２へ移行する。
【００７３】
ステップＳ２２では、新たに取得した画像領域と、先に撮像した画像領域との相対変位を計算するマッチング処理を行う。
【００７４】
図９は、このステップＳ２２におけるマッチング処理手順を更に詳細に示したフローチャートである。
【００７５】
先ずＤＳＰ１５は、ＣＰＵ２１による制御の下、図９に示すステップＳ３１では、新たに取得した画像領域の黒レベル補償処理やガンマ補正処理等の前処理を実行する。
【００７６】
ステップＳ３２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。モータの角速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このステップＳ３２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、水平方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、水平方向に対する直交する方向として、垂直方向を平均化する。このフィルタリング処理は、図１０に示すように、Ｆ１に示すような画像領域を新たに取得した場合に、先ず画像領域Ｆ１を複数の行に分割し、列毎にそれぞれ平均化する。図１０に示す例では、行方向に配列される５画素分を１グループとして平均化した場合、Ｆ２に示すような一次元の画像列Ｐａ１,Ｐａ２,Ｐａ３が得られる。この画像列を以後のマッチング処理において使用する。
【００７７】
ステップＳ３３へ移行した場合には、上記画像領域Ｆ１より以前に撮像して得られた画像領域における正規化を行う。この撮影済みの画像領域は、多数の画素を記憶する比較的大きな記憶領域に順次重ねて記憶されている。この記憶領域に重ね合わせて生成された画像領域を以後キャンバス画像という。キャンバス画像を構成する各画素は、通常の画像のようにＲ,Ｇ,Ｂの３原色成分に加え、重ね合わせ枚数Ｌを合わせた４つの要素で定義することができる。新たに画像が撮像されるにつれて、重ね合わせ枚数Ｌを１ずつ増加させてゆく。このステップＳ３３における正規化処理では、図１１に示すように（Ｒ／Ｌ、Ｇ／Ｌ、Ｂ／Ｌ）を計算すればよく、これによって通常のＲ,Ｇ,Ｂの３要素で構成される画像を得ることができる。このように生成する全体画像の各画素を分母データと分子データとにより構成し、また互いに重なり合う画像領域における同一画素位置を構成する画素値の合計を分子データとし、また当該同一画素位置における画像領域の重ね合わせ枚数を分母データとすることにより、各画像領域の画素値を平均化してノイズの少ない全体画像を作成することが可能となる。
【００７８】
次にステップＳ３４へ移行し、ステップＳ３２におけるフィルタリング処理並びにリサンプリング処理を、ステップＳ３３において正規化された画像につき適用する。図１２は、この正規化された画像を、ステップＳ３２におけるフィルタリング処理に応じた画素数からなるグループに分割する。そして変位方向に対して直交する方向としての垂直方向を平均化するフィルタリング処理を施す。そして、上述したキャンバスの画像に対応する一次元の画像列Ｐｂ１,Ｐｂ２,Ｐｂ３を生成する。ちなみに、これら画像列Ｐｂ１,Ｐｂ２,Ｐｂ３は、それぞれ画像列Ｐａ１,Ｐａ２,Ｐａ３に対応することになる。
【００７９】
次にステップＳ３５へ移行し、ステップＳ３２により得られた画像列Ｐａ１,Ｐａ２,Ｐａ３と、ステップＳ３４により得られた画像列Ｐｂ１,Ｐｂ２,Ｐｂ３を互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。マッチングさせる画像列は、ステップＳ３２とステップＳ３４においてそれぞれフィルタリング処理が施されているため、ノイズの影響のない高精度なマッチングを実現することができる。このパターンマッチングは、例えば画像列Ｐａ１に対応する画像列Ｐｂ１を互いにずらしながら相関値を求め、その値が最大となる位置が、両画像列が最も相関する位置（以下、最大相関位置という。）として特定する。これを全ての画像列につき実行する。
【００８０】
これらステップＳ３５におけるマッチング処理を終了させた後、図９におけるステップＳ２３の重ね合わせ処理を実行する。この重ね合わせ処理では、ステップＳ２２において求められた最大相関位置に、上記新たに撮像して得られた画像領域Ｆ１を合わせるための補正を実行する。そして、当該画像領域Ｆ１は、キャンバス画像上に画素毎に足し合わせる処理を実行する。また、キャンバス画像上の各画素における重ね合わせ枚数Ｌには、足し合わせ処理を実行する毎に１を加算する。これにより、パノラマ状の全体画像を構成する各画素値を複数の画像領域の画素値の合計から計算することができるため、ランダムノイズが軽減されたＳ／Ｎ比のよい全体画像を得ることが可能となり、ひいては、見た目の自然な良質の全体画像を作り出すことができる。
【００８１】
次にステップＳ２４へ移行し、生成したキャンバス画像を上記全体画像としてモニタ部２０へ表示する。即ち、このステップＳ２４では、キャンバス画像の表示に必要な画像領域につき、ステップＳ３３と同様に正規化し、これをモニタ部２０へ表示することになる。図１３は、モニタ部２０の表示画面上に、上述したキャンバス画像を表示する例を示している。撮影開始時において、表示画面上には全く画像が表示されていないのに対し、ｋ秒後には、生成されたキャンバス画像が表示画面の左端から表示される。また２ｋ秒後には新たに画像領域が付け足されたキャンバス画像が順次右側へ接合され、さらに３ｋ秒後には、更なる画像領域が重ね合わされたキャンバス画像が表示される。ちなみに、この３ｋ秒後の表示処理では、生成されたキャンバス画像としての全体画像が画面のサイズを超えてしまうため、新たに重ね合わされた画像領域が優先的に表示される形でこれをスクロールさせる。４ｋ秒の表示処理も同様に、生成された全体画像が画面のサイズを超えてしまうため、新たに重ね合わされた画像領域が優先的に表示される形でこれをスクロールさせる。
【００８２】
このように新たに撮像されて生成された画像領域を優先的に表示させることにより、ユーザは、撮影中であっても、モニタ部２０を介して生成された画像領域をリアルタイムに確認することができる。
【００８３】
ステップＳ２４における表示処理を終了させた後、ステップＳ２５へ移行し、操作部２２におけるシャッタボタン２２１の押圧入力が継続しているか否か、操作信号Ｄ１を介して識別する。その結果、未だ当該押圧入力操作が継続している場合には、ステップＳ２１へ戻り、被写体の撮像を繰り返す。これに対して、シャッタボタン２２１の押圧入力が終了しているものと識別した場合には、図８に示すステップＳ４の処理を終了させ、図６に示すステップＳ５へ移行する。
【００８４】
ステップＳ５では、モータ２４の駆動を停止させることにより、撮像部１０の旋回を停止させる。
【００８５】
また次にステップＳ６に移行した場合において、方式Ａに基づき、ＣＭＯＳイメージセンサ１１における撮像面上に結像された全ての被写体の領域を読み出した場合には、当該領域の画像を上述の如く生成したキャンバス画像に接合させる処理を実行する。このステップＳ６が設けられることは、必ずしも必須とはならないが、特に図１４に示すような被写体を撮影する場合において好適である。図１４は、大きな木の下にいる人物を撮影する例を示しているが、このステップＳ６を含む本実施の形態を適用することにより、風で揺れる木の葉の部分を動被写体撮影に好適な方式Ｂに基づき撮影を実行し、人物の部分を通常の撮影方法としての方式Ａに基づき撮影を実行する。
【００８６】
最後にステップＳ７へ移行し、取得した画像データをコーデック処理部１６において符号化し、これをメモリ１７へ書き込むことで処理を終了させる。
【００８７】
このように、本発明を適用した撮像装置１では、上述の如く切り出した画像領域間を重複させることによる画質を向上を実現することができることに加え、さらにカメラの旋回と停止を高速かつ正確に繰り返すハードウェアも必要なくなり、システム全体のコストを抑え込むことができる。
【００８８】
なお、上述した実施の形態では、撮影方向を水平方向へ移動させる場合を例に挙げて説明をしたが、かかる場合に限定されるものではなく、撮影方向を垂直方向へ移動させる場合においても本発明を同様に適用することができる。
【００８９】
また、撮像部１０における撮像が実行される度に、上記画像領域の重ね合わせを行い、さらに重ね合わせ終了後の当該画像領域を廃棄するようにしてもよい。これにより、処理に必要なメモリの容量を小さくすることができるため、ハードウェアの実現コストを低くすることができ、リアルタイム処理により適したシステムを構築することも可能となる。
【００９０】
なお本発明は、さらに以下に説明する撮像装置３に適用してもよい。この撮像装置３において上述した撮像装置１と同一の構成、要素については、図１の説明を引用することにより、ここでの説明を省略する。
【００９１】
この撮像装置３は、例えば図１５に示すように、レンズ部１０ａを含む撮像部１０を介して被写体を撮像し、連結された回転軸を回転中心として図１５中の矢印Ａ方向へ回転可能な第１の筐体３１と、第１の筐体の下側に配設され、ユーザの片手で把持可能な第２の筐体３２とを備えている。ちなみに、この第２の筐体３２には、シャッタボタン２２１と、撮像した画像をユーザ自身が視認するための表示部４３とが配設されている。
【００９２】
図１６(a)、(b)は、この撮像装置３の内部構成を示している。この第１の筐体３１は、レンズ部１０ａと、ＣＭＯＳイメージセンサ１１と、少なくともＣＤＳ回路１２並びにＡ／Ｄ変換部１３を有する第１の電子回路４１とを備えている。
【００９３】
また、第２の筐体３２は、回転軸３８を介して第１の筐体３１に連結されてなり、この回転軸３８を回転させるためのモータ５１と、この回転軸３８の回転角を制御するためのフォトインターラプタ５２並びに遮蔽板５３と、この回転軸３８の回転動作に対して物理的な制限を加えるためのストッパー５４と、第２の筐体３２の上面に設けられた連結穴に挿設されてなり、上記回転軸３８を支持することにより円滑な回転動作を実現するためのベアリング５５と、撮像装置３の各構成要素を制御するための第２の電子回路４２と、各構成要素を動作させるためのバッテリー４４とを備えている。
【００９４】
第２の電子回路４２は、図１６(b)に示すように、ＤＳＰ１５と、メモリ１７と、ＣＰＵ２１と、操作部２２と、シャッタボタン２２１と、表示部４３と、モータやフォトインターラプタ、または外部機器との間で画像データを送受信するためのインターフェース４７とを備え、また第１の電子回路４１との間で電気的な信号を送受信するための配線５６が接続されている。
【００９５】
ちなみに、この第２の筐体３２は、上述した各構成要素に加えて、一般撮影モードと、パノラマ撮影モードとを切り換えるためのボタンや、一般的なデジタルカメラが有する各種ボタンが配設されている。
【００９６】
モータ５１は、供給された駆動パルスに応じた角速度で回転軸３８を回転させるステッピングモータ等で構成される。このモータ５１により回転させられる回転軸３８の一端側には第１の筐体３１が連結され、その中間にはストッパー５４が固着される。またこの回転軸３８の他端側には遮蔽板５３が固着されている。即ち、このモータ５１に基づく回転軸３８の回転動作に応じて第１の筐体３１が回転するとともに、遮蔽板５３並びにストッパー５４も同様に回転することになる。ちなみに、このモータ５１による回転軸３８の回転角度における相対的な変位は、モータ５１に与えるパルス数で検出することができる。
【００９７】
表示部４３は、Ｄ／Ａ変換部１８,ビデオエンコーダ部１９,モニタ部２０に準ずる構成を全て含み、第２の筐体３２側面に設けた液晶表示素子を介して生成した画像を表示する。この表示部４３は、回転軸３８により回転させられる第１の筐体３１と離間して設けられているため、回転軸３８の回転に支配されることなく、視認性を向上させることができる。
【００９８】
フォトインターラプタ５２は、発光体５２ａと受光体５２ｂとが上下に亘って設けられてなる。この受光体５２ｂは、発光体５２ａからの光信号を受光し続けることになるが、回転軸３８の回転に応じて遮蔽板５３がフォトインターラプタ５２付近まで回転されてきた場合には、かかる光信号が遮蔽板５３により遮蔽されることになる。即ち、この受光体５２ｂが受光する光信号の遮蔽状況から、回転軸３８の回転状況を識別することが可能となる。
【００９９】
なお、回転軸３８が可動範囲を超えて回転した場合には、この遮蔽板５３が光信号を遮蔽し、当該遮蔽に応じてモータ５１が停止するように構成としてもよい。この図１７は、フォトインターラプタ５２並びに遮蔽板５３を図１６中のＢ方向から捉えたものである。この図１７に示すように、可動範囲内においては、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることがないため、モータ５１が停止することなく、回転軸３８を自在に回転させることができる。これに対して、可動範囲を超えた場合には、遮蔽板５３が受光体５２により受光される光信号を遮ることになり、モータ５１が停止することになる。なお、この可動範囲を超えた場合には、さらにストッパー５４を介して第１の筐体３１の回転動作を物理的に抑え込むようにしてもよい。
【０１００】
このように、第２の筐体３２に対する第１の筐体３１の回転範囲を制限する仕組みを導入することにより、第１の筐体３１から第２の筐体３２へのデータの伝送を、フォトカプラを用いた特殊なジョイント部品を使用することなく、通常の可動部分で用いられるようなフレキシブルな配線素材を用いて実現することができる。
【０１０１】
上述の構成からなる撮像装置３を用いるユーザは、第２の筐体３２を把持しつつ、撮影を行う。かかる場合において第２の筐体３２外部に設けられたシャッタボタン２２１を押圧することにより、上述した撮影開始のタイミング、撮影終了のタイミングを指定することができる。第２の筐体３２を片手で把持するユーザの指先に当たる箇所に、このシャッタボタン２２１を設けることにより、指先の小さな動きで撮影の開始及び終了を支持することができる。
【０１０２】
従って、このような第２の筐体３２を片手で把持し、シャッタボタン２２１を押圧することにより、図１８(a)に示す状態から、第１の筐体３１が徐々に回転し、図１８(b)に示すように撮像部１０の撮影方向が変化する。また、このシャッタボタン２２１を更に押圧し続けることにより、図１８(c)に示すように、第１の筐体３１が更に回転する結果、撮像部１０の撮影方向がさらに変化することになる。即ち、この第１の筐体３１は、連結された回転軸３８を回転中心として撮像部１０の撮影方向が順次変化するように回転可能となるように構成されてなる。
【０１０３】
ちなみに、この図１８(c)に示す状態においてこのシャッタボタン２２１を押し続けた場合に、上述したフォトインターラプタ５２により、モータ５１の回転を抑制させた上で、この第１の筐体３１を更に反対方向へ向かって回転させるようにしてもよい。
【０１０４】
ちなみに、この第２の筐体３２には、バッテリー４４やモータ５１等の質量の大きい部品や、多くの回路より構成される第２の電子回路４２が搭載されるのに対し、第１の筐体３１には、撮影に必要なレンズ部１０ａや、ＣＭＯＳイメージセンサ１１、第１の電子回路４１等のように比較的質量の小さい部品が搭載されている。即ち、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされている。これにより、第１の筐体３１を回転させる回転軸３８やベアリング５５等の部品、更にはモータ５１等への機械的負荷を軽減させ、製品全体のコストを低く抑え込むことが可能となり、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することも可能となる。
【０１０５】
図１９は、撮像装置３による撮影工程を示すフローチャートである。
【０１０６】
撮像装置３は、ハードウェアの診断や初期化を行った後、ステップＳ６１へ移行する。
【０１０７】
ステップＳ６１では、通常のカメラと同様に、自動露出機能等の補助を利用しつつ、絞り量や露出等をユーザ自身が調整する。その結果、各種撮影パラメータが決定される。
次にステップＳ６２へ移行し、シャッタボタン２２１の押圧を調べ、撮影開始タイミングを識別する。シャッタボタン２２１が押圧されていればそのままステップＳ６３へ移行し、押圧されていなければステップＳ６１へ戻る。
【０１０８】
ステップＳ６３へ移行した場合には、撮像部１０により撮像を行う。撮像により取得されたデータは、ＣＤＳ回路１２、Ａ／Ｄ変換部１３を経て、ＤＳＰ１５へ転送される。
【０１０９】
ステップＳ６４では、ＤＳＰ１５が画像処理を実行することによりパノラマ状の全体画像を合成する。図２０は、連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子を示している。ここで、連続して撮影された各単位画像は、互いに重複領域が生じるように撮影されているものとする。この重複領域については、従来より知られている合成方法に基づいてつなぎ合わせることにより、図２０に示すような全体画像を合成することができる。ちなみに、この合成方法として、例えば、アルファブレンディング等の合成技法を用いるようにしてもよい。
【０１１０】
次にステップＳ６５へ移行し、第１の筐体３１を第２の筐体３２に対して回転させることにより、撮像部１０による撮影方向を僅かに変化させる。この第１の筐体３１の回転量は、少なくとも連続して撮影された各単位画像間において互いに重複領域が生じるように調整される。この回転量は、撮像装置３の設計時において幾何学的な計算により予め求めておくこともできる。また、撮影時における撮像装置３全体の揺れ量を検出するための機能を実装しておくことにより、第１の筐体３１の回転量を動的に微調整するようしてもよい。
【０１１１】
なお、このステップＳ６５において、モータ５１の回転量をできるだけ小さく設定しておき、かつ単位時間当たりの撮影枚数を増加させて連続撮影を実行することにより、視差による歪みや動被写体を撮影することによる画像の不連続さを解消することができ、高画質な全体画像を合成することが可能となる。このような撮影を行うためには、モータ５１の断続的かつ高精度の制御が必要となるが、上述の如く、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされているため、これらを低コストで実現することが可能となる。
【０１１２】
ステップＳ６６では、再びシャッタボタン２２１の押圧を調べ、撮影終了のタイミングを識別する。このステップＳ６６においてシャッタボタン２２１の押圧が確認できた場合には、撮影を継続させるべくステップＳ６３へ戻る。これに対し、このステップＳ６６においてシャッタボタン２２１の押圧が確認できなかった場合には、撮影の終了動作へ移行すべくステップＳ６７へ移行する。
【０１１３】
ステップＳ６７では、撮影終了時の処理として、合成したパノラマ状の全体画像をメモリ１７へ格納する。
【０１１４】
このように、第１の筐体３１と離間した第２の筐体３２にシャッタボタン２２１を搭載することにより、指先の小さな操作だけで撮影の開始、終了を指示することができる。また、第２の筐体３２に表示部４３を備えることにより、得られた画像の視認性を向上させることができる。
【０１１５】
また、実際に回転する第１の筐体３１内部にレンズ部１０ａやＣＭＯＳイメージセンサ１１等のように撮影に最低限必要な部品を少なくとも実装することにより、回転部分の質量が軽くなるため、この第１の筐体３１における回転部分を支える部品やこれを回転駆動させるモータ５１のコストを下げることができる。またモータ５１等の駆動源となる部品をユーザにより把持される第２の筐体３２内に実装することにより、モータ５１の回転に伴う振動による影響を極力抑えることもできる。
【０１１６】
またフォトインターラプタ５２を用いて、第１の筐体３１の回転範囲を制限することにより、回転部分とホールド部分間のデータ転送を通常の安価なフレキシブルな配線素材を用いて実現することができる。
【０１１７】
なお、この撮像装置３において、上述した撮像装置１の動作を全て行わせるようにしてもよい。これにより、上述した撮像装置３自体の効果に加えて、切り出したスリット状の画像領域間を重複させることによる画質の向上、システム全体のコスト低減等の撮像装置１の効果を相乗的に奏するような撮影システムを構築することも可能となる。
【０１１８】
また、本発明を適用した撮像装置３は、上述した実施の形態に限定されるものではなく、ＤＳＰ１５、ＣＰＵ２１、表示部４３、モータ５１、操作部２２（シャッタボタン２２１）、バッテリー４４のうち、何れか１つ以上が第２の筐体３２内に設けられていればよい。
【０１１９】
ところで、実際の撮影では、例えば、次の第１のステップ〜第３のステップの一連の処理を、自動で機械が繰り返し行うことになる。
【０１２０】
第１のステップ：カメラがブレない（動かない）ように、モータを停止させ、カメラを固定させる。
【０１２１】
第２のステップ：撮影を行う。
【０１２２】
第３のステップ：モータにより、カメラの向きを変える。
【０１２３】
この場合、これら３つのステップを着実に行うことは、厳密に言えば、難しい。すなわち、カメラはある質量を持っており、このカメラをモータにより回転させた場合、慣性の法則より、すぐにカメラの回転を停止することは不可能である。つまり、上記第３のステップの直後、第１のステップの状態にすることはできない。そのため、カメラが微小なブレを生じている状態で、第２のステップを行うことになる。従って、第２のステップで得られた画像は微小なブレを有する画像となってしまう。このブレは、慣性の法則に由来するものであり、第３のステップでモータが動かそうとしている向きと同じ向きのブレである。このカメラが移動する方向と同じ方向のブレが、撮影画像中に生じてしまうという問題は以下のように解決することができる。
【０１２４】
すなわち、この撮像装置３では、上述のように連続して撮影された各単位画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する場合に生じる画像のブレを目立たなくするために、切り出された画像領域の画像すなわち各単位画像あるいは生成した全体画像に対して異方性のフィルタ処理を施す。
【０１２５】
例えば、この実施の形態における撮像装置３により水平方向にパニングしながら撮影して、図２１に示すように、切り出された画像領域の画像すなわち各単位画像Ａ１，Ａ２，・・・Ａ１５を得て、各単位画像Ａ１〜Ａ１５に対応する画像ａ１〜ａ１５からなる図２２に示すようなパノラマ画像を生成する場合、水平方向に対して、微小なボケを生じるので、水平方向に対してのみ高域成分を強調するフィルタ処理を施す。
【０１２６】
具体的な例を、図２３に示す。図２３は、撮影画像デ−タ（スリット状の画像）の例である。図２３中の矢印Ａは、撮像装置３の回転方向を示している。ここでは、ボケについて分かりやすく説明するために、正方形の物体を撮影したと仮定している。すなわち、４６は、正方形の物体の投影像である。投影像４６は、矢印Ａの方向のボケを生じている。つまり、投影像４６の４つの辺（エッジ）４６１〜４６４のうち、上辺４６１と下辺４６３は、鮮明（シャープ）な辺（エッジ）として写っているが、右辺４６２と左辺４６４はボケた辺（エッジ）となっている。
【０１２７】
そこで、矢印Ａの方向（この場合では、横方向）に高域を強調するフィルタ処理を行う。高域を強調するフィルタの例としては、例えば、図２４に示すように、（−１／３）×（注目画素の左隣の画素値）＋（５／３）×（注目画素の値）＋（−１／３）×（注目画素の右隣の画素値）を計算すれば良い。
【０１２８】
これにより、例えば、図２３に示す画像デ−タは、図２５に示す画像データとなり、上辺４６１と下辺４６３にそれぞれ対応する上辺４７１と下辺４７３は図２３と同様に鮮明であり、かつ、右辺４６２と左辺４６４にそれぞれ対応する右辺４７２と左辺４７４も鮮明となる。
【０１２９】
このことを踏まえて、この実施の形態における撮像装置３では、図２６のフローチャートに示す処理を行ってパノラマ画像を生成する。
【０１３０】
すなわち、先ずステップＳ７１において、ユーザが通常撮影モードか、あるいは、パノラマ撮影モードかの設定（即ちモード設定）をする。そして、ステップＳ２に進む。
【０１３１】
ステップＳ７２では、ユーザがレリーズボタン（シャッターボタン）を押すまで待機する。そして、レリーズボタンが押されたら、ステップＳ７３に進む。
【０１３２】
ステップＳ７３では、ステップＳ７１において設定されたモードの判定を行う。即ち、通常撮影モードと判定された場合は、ステップＳ７４に進む。パノラマ撮影モードと判定された場合は、ステップＳ７５に進む。
【０１３３】
ステップＳ７４では、次の処理が行われる。すなわち、ＣＭＯＳイメージセンサ１１は図示しないドライバにより駆動され、１フレ−ム分の画像信号がシリアルなデ−タとして出力される。この出力信号はＡ／Ｄ変換器１３によりデジタル信号に変換された後、ＤＳＰ１５に順次送られる。ＤＳＰ１５では、信号中の各色成分の分離、ゲインコントロ−ル、ガンマ補正、色バランスの調整、信号成分のマトリクス演算等が行なわれ、処理された映像信号はメモリ１７に記録される。
【０１３４】
また、ステップＳ７５では、次の処理が行われる。すなわち、ＣＭＯＳイメージセンサ１１はドライバにより駆動され、１フレ−ム分の画像信号がシリアルなデ−タとして出力される。この出力信号はＡ／Ｄ変換器１３によりデジタル信号に変換された後、ＤＳＰ１５に順次送られる。ＤＳＰ１５はＡ／Ｄ変換器１３からの信号の一部分のみ（スリット状の矩形領域）を取り出し、その部分に対して、信号中の各色成分の分離、ゲインコントロ−ル、ガンマ補正、色バランスの調整、信号成分のマトリクス演算等が行なわれ、処理されたスリット状の映像信号はメモリ１７に記録される。なお、この時、ＣＰＵ２１はこの書き込み動作に連動してモータ２４に制御信号として回転信号を送る。モータ２４はこの回転信号に同期して一定の割合だけ撮像装置３の第１の筐体３１をパンニングさせる。ステップＳ７５の後、ステップＳ７６に進む。
【０１３５】
ステップＳ７６では、メモリ１７内にスリット状の画像データが格納されているので、ＣＰＵ２１は、フメモリ１７内に格納されたこれらスリット状の画像を、再度、ＤＳＰ１５に転送する。そして、ステップＳ７７に進む。
【０１３６】
ステップＳ７７において、ＤＳＰ１５は、これら各画像に対して、回転方向と同じ方向の高域強調フィルタをかける。ステップＳ７の後、ステップＳ８に進む。
【０１３７】
ステップＳ７８において、ＤＳＰ１５は、これら画像をつなぎ合わせて、１枚のパノラマ画像を生成する。そして、ＣＰＵ２１は、生成されたパノラマ画像を所定の形式でメモリ１７に書き込む。ステップＳ７８の後、この一連の処理は終了する。終了時には、メモリ１７にパノラマ画像データが書き込まれている。
【０１３８】
なお、撮影画像デ−タ（スリット状の画像）に対して高域強調フィルタ処理を行う代わりに、つなぎ合わせた後のパノラマ画像をメモリ１７から読み出してＤＳＰ１５により高域強調フィルタ処理を施すようにしてもよい。
【０１３９】
このようにして、パノラマ撮影モードにて撮影した場合には、ボケのないパノラマ画像を作成して、そのデータをメモリ１７に格納することができる。
【０１４０】
このように、複数枚の画像を向き（あるいは位置）を変えながら撮影する際に、その向き（第１の方向と呼ぶことにする。即ち、第１の方向とは、連続撮影中における回転方向、あるいは、移動方向のことである。）に対して生じるブレを補償するために、第１の向きに対して高域を強調するフィルタをかける。これにより、ブレのない（目立たない）画像を復元することができる。また、高域を強調する方向は、第１の方向に対してのみであり、第１の方向に直交する方向（第２の方向と呼ぶことにする。）には高域強調フィルタをかけない。撮影画像は、第２の方向に対してはブレのない画像であり、第２の方向に高域強調を行うと、不自然な画像（例えば、エッジ部分でのオーバーシュート、アンダーシュートのある画像。あるいは、ノイズの増加した画像）となってしまうが、本発明においては、第１の方向のみに高域強調フィルタをかけているので、そのような不具合も起きない。
【符号の説明】
【０１４１】
１，３ 撮像装置、１０ 撮像部、１１ ＣＭＯＳイメージセンサ、１２ ＣＤＳ回路、１３ Ａ／Ｄ変換部、１４ 内部バス、１５ ＤＳＰ、１６ コーデック処理部、１７ メモリ、１８ Ｄ／Ａ変換部、１９ ビデオエンコーダ部、２０ モニタ部、２１ ＣＰＵ、２２ 操作部、２３ タイミングジェネレータ、２４ モータ、２６ 露出計、３１ 第１の筐体、３２ 第２の筐体、３８ 回転軸、４１ 第１の電子回路、４２ 第２の電子回路、４３ 表示部、４４ バッテリー、５１ モータ、２２１ シャッタボタン
【技術分野】
【０００１】
本発明は、撮影方向を順次変化させて撮像することにより複数の画像領域が貼りわされたパノラマ状の全体画像を生成する撮像装置に関する。
【背景技術】
【０００２】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、1回の撮影での撮影範囲はレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を越えた広範囲の撮影ができなかった。
【０００３】
このため、パノラマ状の画像を撮影するカメラシステムが近年において提案されている。このカメラシステムは、広い視野を複数のレンズで一度に撮影する多眼式と、単眼レンズを用いて撮影方向を順にシフトさせつつ個々の単位画像に分けて連続撮影する単眼式に分類される。
【０００４】
多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価になるという欠点がある。
【０００５】
これに対し、単眼式のカメラシステム（例えば、特許文献１参照）は、比較的安価であるが、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要があるからである。また重なり合う単位画像からパノラマ状の全体画像を取得すべく、各単位画像の中心からの距離に関するボロノイ分割法を用いることにより、得られた境界線に基づいて最適な単位画像を選択する方法が提案されている。更には、相互に重複する画像領域における画素値の平均を用いることにより隣接する単位画像を滑らかにつなぐ方法、或いはメディアンフィルターを用いることにより、最適な単位画像を選択する方法も提案されている。
【０００６】
ところで、この単眼式のカメラシステムは、連続撮影の結果取得される単位画像の境界付近に動被写体が写し出されている場合に、ズレ等の不連続部分が生じる結果、最終的に生成される全体画像において破綻をきたすという問題点もある。
【０００７】
この問題を軽減するには、できるだけ多くの枚数を出来るだけ短時間で撮影すればよい。なお、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、単眼レンズと撮像素子を有するカメラモジュールにおける水平方向又は垂直方向の旋回速度を上げなければならない。しかしながら、当該旋回速度を上げるにつれて撮影中にブレが生じてしまうという問題点が生じる。このブレを抑制するためには、撮影動作に同期させて、高い精度でカメラモジュールを静止させるか、手ブレ補正機構を用いた制御を実行する必要があるが、システム全体のコストが割高になるという問題点も生じる。
【０００８】
例えば、特許文献２において提案されているパノラマ電子スチルカメラでは、撮像素子から、画像信号を読み出す動作に連動してカメラを回動させる手段を備えるが、撮影間隔を短くするためには、カメラの旋回と停止を高速かつ正確に繰り返すハードウェアが必要になり、システム全体のコストを抑え込むことができない。
【０００９】
また、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、シャッタ速度を速くする必要があるが、従来におけるパノラマ電子スチルカメラにおいて、シャッタ速度を速くすると、得られる画像全体が暗くなり、またノイズも増加するため、良質の画像を生成することができない。
【００１０】
またパノラマ画像を撮影する目的の下、単眼レンズを用いて広い撮影範囲を複数の単位画像に分けて撮像する撮影装置は、従来から提案されている。しかしながら、この従来の撮影装置では、コンスーマ用のデジタルカメラの商品性を維持しつつ、高品質なパノラマ撮影機能を低コストで実現することができなかった。
【００１１】
例えば特許文献２の図２には、パノラマ画像を撮影する機能を備えたカメラと、そのカメラの撮像部を取り付けるための回転アダプタが開示されている。この回転アダプタは、撮像部を回転させるための駆動源としての役割を担うものであるが、実際にこれらを使用する際にいくつかの問題点がある。
【００１２】
第１の問題点は、その従来のカメラにおける質量のバランスがあまり考慮されていない点である。従来のカメラは、撮像部を回転動作させる機能をアダプタに担わせ、これを実装するため、カメラ本体そのものを回転動作させることになる。理想的には、レンズや撮像センサ等の一部の部品のみを回転動作させればよいが、従来のカメラでは、バッテリー等の重い部品が搭載されたカメラ本体そのものを回転動作させなければならず、モータや回転動作を支える各種部品のコストが高くなってしまう。また、カメラ本体を手で支えて撮影する場合、把持する部分が軽く、回転部分が重いので、質量のバランスが悪く持ち辛い。
【００１３】
第２の問題点は、その従来のカメラに対するボタン操作や表示画面の視認が困難になるという点である。即ち、回転動作するカメラ本体側にシャッタボタンを含む各種ボタンや表示部が備わっている。このようなカメラにおける撮像部の回動中にボタン操作をすることは、得られる画像のブレの原因になり撮影そのものが失敗してしまう虞がある。通常、レリーズを用いてブレを回避することも可能であるが、コンスーマのデジタルカメラでレリーズを用いることは一般的ではない。
【００１４】
また、表示部も撮像部の回転動作に伴って回転することになるため、ユーザはかかる表示部を常に追いながら状況の視確認をしなければならず、扱いづらい。
【００１５】
その他にも、パノラマ撮影時しか用いない使用頻度の少ない回転アダプタを持ち運ぶのは面倒であるし、カメラ本体に回転アダプタを常時装着したままでは、カメラシステム全体のコンパクト化を実現することができず、可搬性が悪いものになってしまう。
【００１６】
このため、パノラマ撮像時に使用する回転アダプタは、結果的に殆ど用いられることはなかった。
【００１７】
他の従来例としては、例えば特許文献３に示すように、固定した台にターンテーブルを備えて３６０°回転させながら撮影を実行し、パノラマ画像を作成する装置が開示されている。この装置は、パノラマ撮影に特化している。この装置は、３６０°の視野を連続的に撮影するためにカメラと後段の処理部とを接続するためのフォトカプラが使用されており、また回転角度を測定するための回転角度センサが使用されており、大がかりな構成になっている。
【００１８】
しかしながら、一般的なコンスーマのカメラにパノラマ撮影機能を付加するためにこれだけの構成を備えるとコストが増大してしまう。また、これら従来の装置は、三脚に設置し、外部のコンピュータに接続して使用する形態になっているため、コンスーマのカメラに対して一般的に要求される可搬性に乏しい。特に、通常の写真を撮影することが主目的のカメラに対して、この従来例の装置の如く大がかりな構成を持たせることは現実的ではない。
【００１９】
さらに、回転あるいは移動しながら連続撮影を行い複数の撮影画像を得て、上記撮影画像をつなぎ合わせることでパノラマ画像を得る場合、結果画像であるパノラマ画像には、カメラの回転あるいは移動方向と同じ方向のブレが生じてしまうという問題があった。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開平１１−４６３１７号公報
【特許文献２】特開平６−２２５２０２号公報
【特許文献３】特許第３３４８２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
そこで、本発明は、上述した問題点を解決するために案出されたものであり、その目的とするところは、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現し得る撮像装置を提供することにある。
【００２２】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００２３】
本発明は、撮像手段の撮影方向が順次変化するように回転可能な第１の筐体に加え、単位画像を順次貼り合わせることにより撮影範囲全体を表す全体画像を生成する全体画像生成手段、生成した全体画像を表示する表示手段、第１の筐体を回転させる駆動手段、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段、各構成要素を動作させるためのバッテリーのうち何れか１つ以上が設けられるユーザの片手で把持可能な第２の筐体により構成される。
【００２４】
即ち、本発明を適用した撮像装置は、撮影方向を順次変化させて撮影範囲全体の一部を構成する画像を撮像する撮像手段を少なくとも有し、連結された回転軸を回転中心として上記撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、上記撮像手段により撮像された画像を順次貼り合わせることにより、上記撮影範囲全体を表す全体画像を生成する全体画像生成手段と、上記全体画像生成手段により生成された全体画像を表示する表示手段と、上記回転軸を回転させるための駆動手段と、上記撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、上記各構成要素を動作させるためのバッテリーと、上記回転軸を介して上記第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、上記第２の筐体は、上記全体画像生成手段と、上記表示手段と、上記駆動手段と、上記指定手段と、上記バッテリーとのうち何れか１つ以上が設けられることを特徴とする。
【発明の効果】
【００２５】
本発明では、撮像手段の撮影方向が順次変化するように回転可能な第１の筐体に加え、画像を順次貼り合わせることにより撮影範囲全体を表す全体画像を生成する全体画像生成手段、生成した全体画像を表示する表示手段、第１の筐体を回転させる駆動手段、撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段、各構成要素を動作させるためのバッテリーのうち何れか１つ以上が設けられるユーザの片手で把持可能な第２の筐体により構成される。
【００２６】
これにより、撮影に最低限必要な部品を第１の筐体内部に実装することができ、回転部分の質量が軽くなるため、第１の筐体を支える部品やこれを回転駆動させるモータのコストを下げることができる。したがって、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用したパノラマ画像の撮像装置の構成につき説明するための図である。
【図２】撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、パノラマ状の全体画像を合成する例につき説明するための図である。
【図３】スリット状の画像領域を切り出す方法につき説明するための図である。
【図４】方式Ａ，Ｂの撮影時間に対する画素値の読み出し時間の関係を示す図である。
【図５】方式Ｂにおいてスリット状の画像領域を互いに重複領域が生じるように切り出す場合につき説明するための図である。
【図６】本発明を適用した撮像装置において方式Ｂに基づき撮影する手順を示すフローチャートである。
【図７】各種撮影パラメータの計算手順を示すフローチャートである。
【図８】パノラマ撮影処理手順を更に詳細に示すフローチャートである。
【図９】マッチング処理手順を更に詳細に示すフローチャートである。
【図１０】変位方向に対して直交する方向を平均化する方法につき説明するための図である。
【図１１】キャンバス画像の正規化につき説明するための図である。
【図１２】正規化された画像のフィルタリング処理につき説明するための図である。
【図１３】モニタ部における表示方法につき説明するための図である。
【図１４】方式Ａと方式Ｂを組み合わせて撮像を実行する例につき説明するための図である。
【図１５】第１の筐体と第２の筐体を有するパノラマ画像の撮像装置の外観につき説明するための図である。
【図１６】本発明を適用した撮像装置の他の構成につき説明するための図である。
【図１７】フォトインターラプタにより第１の筐体の回転を制御する方法につき説明するための図である。
【図１８】シャッタボタンを押圧することにより第１の筐体を徐々に回転させる例につき説明するための図である。
【図１９】撮像装置による撮影工程を示すフローチャートである。
【図２０】連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子につき示す図である。
【図２１】撮像装置により水平方向にパニングしながら撮影して切り出された画像領域の各単位画像を示す図である
【図２２】図２１に示した各単位画像をつなぎ合わせて合成したパノラマ画像を示す図である
【図２３】フィルタ処理前の画像を示す図である。
【図２４】フィルタの構成例を模式的に示す図である
【図２５】フィルタ処理済みの画像を示す図である。
【図２６】撮像装置による撮影工程を示すフローチャートである。
【発明を実施するための形態】
【００２８】
以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。
【００２９】
本発明は、例えば図１に示すような撮像装置１に適用される。この撮像装置１は、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光する図示しないシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１１とを有している。
【００３０】
また、この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化した撮像信号Ｃ２としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するメモリ１７とを備えている。
【００３１】
この撮像装置１は、ＤＳＰ１５から供給される画像データをデジタル／アナログ変換処理して出力するＤ／Ａ変換部１８と、このＤ／Ａ変換部１８からの画像データをビデオ信号に変換するビデオエンコーダ部１９と、ビデオエンコーダ部１９に接続されてなり、上述のビデオ信号に基づく画像をユーザに表示するためのモニタ部２０とを備え、またこの撮像装置１は、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、内部バス１４に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵ２１から内部バス１４を介して送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＤＳＰ１５に至るまでの信号処理系を制御するタイミングジェネレータ２３と、内部バス１４にそれぞれ接続されてなるモータ２４並びに露出計２６とを備えている。
【００３２】
撮像部１０は、ＣＰＵ２１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
【００３３】
ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
【００３４】
ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これをＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。
【００３５】
ＤＳＰ１５は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。図示しない信号処理用プロセッサは、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。この図示しない画像用ＲＡＭにおいて画像処理された画像は、コーデック処理部１６とＤ／Ａ変換部１８の何れか、或いは双方へ送信される。
【００３６】
コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。
【００３７】
メモリ１７は、例えば半導体メモリ,磁気記録媒体,光磁気記録媒体等で構成され、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
【００３８】
モニタ部２０は、Ｄ／Ａ変換部１８においてアナログ信号に変換され、さらにビデオエンコーダ部１９においてビデオ信号に変換された画像を表示する。このモニタ部２０は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
【００３９】
ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１や露出計２６から送信される明るさに関する情報に基づいて、動作信号を生成し、これを内部バス１４を介して撮像部１０へ送信する。
【００４０】
操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。
【００４１】
モータ２４は、例えばステッピングモータ等のように、撮像部１０を旋回させるための駆動源として構成される。このモータ２４は、ＣＰＵ２１からの動作信号に応じて回転する。これにより、撮像部１０の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００４２】
露出計２６は、撮像部１０により撮像される対象の明るさを識別するためのセンサであり、この識別した明るさに関する情報をＣＰＵ２１へ送信する。
【００４３】
上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後、Ｄ／Ａ変換部１８によりデジタル／アナログ変換処理されてモニタ部２０において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。
【００４４】
次に、本発明を適用した撮像装置１における具体的な撮影方法につき説明をする。
【００４５】
この撮像装置１では、撮影方向を水平方向へ連続的にシフトさせることにより、図２(a)に示すようにスリット状の画像を短い撮影間隔で多数撮影する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図２(b)に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。即ち、幅の狭いスリット状の画像を接合することにより、視差やレンズ歪等が原因となる画像の不連続が生じるのを軽減できる。また、短時間でこれらの幅の狭いスリット状画像を撮影することにより、動被写体による画像の不連続が生じるのを軽減できる。
【００４６】
図３は、このスリット状の画像領域を切り出す方法につき示している。レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像をＣＭＯＳイメージセンサ１１における撮像面上に結像させる。ちなみに撮像装置１では、結像された被写体像のうち図３(a)に示すように全ての領域の画素値を読み出し、これをＤＳＰ１５まで転送する方式Ａと、図３(b)に示すように一部のスリット状の領域を選択し、当該領域の画素値のみを効率よく読み出してこれをＤＳＰ１５まで転送する方式Ｂの２通りの方法で画像領域を切り出す。方式Ｂは、方式Ａと比較して読み出す画像領域の面積が少なく、転送量そのものを小さくすることができる。
【００４７】
図４は、これら方式Ａ，Ｂにおける撮影時間に対する画素値の読み出し時間の関係を示している。即ち、転送量が少ないほど読み出し時間を短くすることができるため、単位時間あたりの撮影回数を増加させることが示されている。即ち、動被写体を撮影する際における不連続部分を抑える場合には、撮影間隔の短い方式Ｂを採用することにより、これを実現することができる。ちなみに、方式A、Bどちらを採用して撮影範囲は同じであり総撮影面積は同じとなる。つまり、画像データのサイズは同じなので総転送量は同じである。
【００４８】
特にこの方式Ｂでは、方式Ａと比較して転送量を小さく抑えることができる。このため、画像領域が切り出された時点で次の単位画像の撮像を行うことにより、撮影時間間隔をいきおい短くすることができる。その結果、連続するスリットの継ぎ目部分にまたがる動被写体の撮影時間の差による位置のずれを極力最小に抑えることができる。しかも、方式Ａ、方式Ｂともに総撮影面積は同じなので、画像の転送量自体は等しく、撮像装置１を含めたハードウェア全体のコストは両者間において変わらない。
【００４９】
なお本発明では、さらにこの方式Ｂにおいて、スリット状の画像領域を図５に示すように、互いに重複領域が生じるように切り出す。仮に画像領域のスリット幅を４倍にすることにより、重複領域において重なり合う画像領域は、図５に示すように４枚となる。かかる場合において重ね合わせ枚数Ｌは４となる。次に、このような重複領域が生じた画像領域を互いに重ね合わせることにより、パノラマ状の全体画像を構成してゆく。即ち、シャッタ速度を高速化することにより、低い感度による撮影が余儀なく実行されることになるが、これら重複画像領域を重ね合わせることにより、各画像領域のノイズ成分を平均化することができる。例えば、１／４の感度で撮影された画像領域を４枚重ね合わせることにより１倍の感度相当で撮影した画像が得られ、ノイズ成分の目立たない良質な全体画像を作り出すことが可能となる。
【００５０】
このように、本発明を適用した、撮像装置１では、所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出された画像領域を順次重ね合わせる。この画像領域を重ね合わせることによって生じる重複領域を、画質を向上させるために用いることができる。即ち、シャッタ速度を高速化することにより、得られる画像全体が暗くなり、またノイズも増加する場合であっても、重複領域を作り出すことで良質の画像を生成することができる。
【００５１】
ちなみに、本発明では、この重ね合わせ枚数Ｌは、生成すべき全体画像の各画像位置につき平均して２以上の画像領域を重複させることを構成要件（好適には重なり枚数が2以上である）としてもよい。これにより、各画像位置につき少なくとも２枚以上の画像領域が重なって形成されることになり、最終的に生成される全体画像につき全ての画像位置でノイズの軽減が図られ、画質の改善がなされていることになる。
【００５２】
次に、本発明を適用した撮像装置１において方式Ｂに基づき撮影する手順につき説明をする。
【００５３】
この方式Ｂでは、図６に示すように、先ずステップＳ１において各種撮影パラメータを計算する。このステップＳ１では、露出計２６により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００５４】
図７は、このステップＳ１における動作手順を更に詳細に示したフローチャートである。ステップＳ１に移行して撮影パラメータを計算する場合には、先ずこの図７に示すステップＳ１１において、撮影される対象の明るさＩを露出計２６を介して計測する。この明るさＩに関する情報は、ＣＰＵ２１へ送信されることになる。
【００５５】
次にステップＳ１２に移行し、ＣＰＵ２１は、操作部２２から送られる操作信号Ｄ１を受け取る。この操作信号Ｄ１には、操作部２２を介してユーザより入力された絞り値Ａ、露出時間Ｓ、重ね合わせ枚数Ｌ、モータ２４の回転角速度Ｍ等の各種パラメータが含められる。ちなみにこの撮像装置１において、ユーザは、各撮影パラメータの値を撮影の意図に合わせて具体的な数値で指定してもよいし、またいくつかの撮影パラメータの値を変数として、ＣＰＵ２１自身にその決定を委ねることもできる。
【００５６】
次にステップＳ１３に移行し、ステップＳ１２においてユーザにより具体的に指定されなかった撮影パラメータが存在する場合には、これを計算により求める。各撮影パラメータは、互いに数式で関連付けることができ、ステップＳ１２においてユーザにより指定されなかった撮影パラメータを計算することができる。
【００５７】
モータの回転角速度Ｍと、露出時間Ｓとの関係は、以下のように表すことができる。
【００５８】
Ｍ∝１／Ｓ（∝は、比例関係を表す） ・・・・・・・・・・・（１）
この（１）式に基づくことにより、露出時間Ｓに対して単調減少する角速度で、ひいては露出時間Ｓに反比例する角速度で撮影方向を変更させることができる。
【００５９】
また、上述した露出計２６により計測された明るさＩに対する、露出時間Ｓ、絞り値Ａ、重ね合わせ枚数Ｌの関係は、以下のように表すことができる。
【００６０】
Ｉ∝１／Ｓ・１／Ａ２・１／Ｌ・・・・・・・・・・・（２）
また、スリット状の画像領域Ｗと重ね合わせ枚数Ｌとの関係は、以下のように表すことができる。
【００６１】
Ｗ∝Ｌ・・・・・・・・・・・（３）
これら比例関係（１）,（２）,（３）における各比例定数は、ハードウェアの特性に基づいて決定される。
【００６２】
なお、ユーザにより指定されなかった撮影パラメータを計算する際に、上記比例関係（１）,（２）,（３）において変数が２以上存在する場合には、これを求めることができない場合もある。かかる場合には、ユーザによって予め設定された撮影の意図をより反映させるような形でこれら変数を最適化すればよい。
【００６３】
このステップＳ１３において、上記撮影パラメータを計算により求める例につき説明をする。なお下式において用いられているｋ１,ｋ２,ｋ３は、ハードウェアの特性に合わせた比例定数である。
【００６４】
例えば、ユーザによって撮影パラメータの回転角速度Ｍと絞り値Ａが与えられていた場合には、先ず露出時間Ｓを以下の（４）式により求める。
【００６５】
Ｓ＝ｋ１／Ｍ ・・・・・・・・（４）
次に重ね合わせ枚数Ｌを以下の（５）式に基づいて求める。
【００６６】
Ｌ＝ｋ２／Ｓ／Ａ２／Ｉ・・・・・・・・・（５）
そしてスリット状の画像の幅Ｗを以下の（６）式に基づいて求める。
【００６７】
Ｗ＝ｋ３Ｌ・・・・・・・・・（６）
次にステップＳ１４へ移行し、求めた各撮影パラメータにつき、撮影素子の能力や撮像装置１全体を含めたハードウェアの制約を満たすかどうか確認する。その結果、求めた各撮影パラメータが、ハードウェアの制約を満たす場合には、ステップＳ１５へ移行する。これに対して、求めた各撮影パラメータが、ハードウェアの制約を満たさない場合には、ステップＳ１６へ移行する。
【００６８】
ステップＳ１５に移行した場合には、ユーザが設定した撮影パラメータの値が良好であることを通知する。これに対して、ステップＳ１６に移行した場合には、撮影パラメータの値が不適当であることを通知し、絞り値Ａ並びに回転角速度Ｍの値を再設定するようにユーザに要求する。かかる要求を受けたユーザにより撮影パラメータが再び設定されることにより、ハードウェアの制約に適合した最適な設定がなされることになる。
【００６９】
このような図７に示されるステップＳ１の詳細を実行した後、図６に示されるステップＳ２へ移行し、操作部２２におけるシャッタボタン２２１が押圧入力操作に基づく操作信号Ｄ１が生成されたか否か識別する。その結果、かかる操作信号Ｄ１の生成を識別することができた場合には、ステップＳ３へ移行する。これに対して、かかる操作信号Ｄ１の生成を識別することができなかった場合には、再びステップＳ１へ戻り、上述した処理を繰り返し実行する。
【００７０】
ステップＳ３に移行した場合には、モータ２４を駆動させることにより撮像部１０を旋回させる。モータの回転角速度Ｍは、ステップＳ１において決定した値を採用する。以下の手順においては、撮像部１０の撮影方向を水平方向へ変更させる例につき説明する。
【００７１】
次にステップＳ４へ移行し、パノラマ撮影処理を実行する。
【００７２】
図８は、このステップＳ４におけるパノラマ撮影処理手順を更に詳細に示したフローチャートである。撮像部１０は、この図８に示すステップＳ２１において、画像の撮像を実行する。この撮像においては、ステップＳ１において決定した撮影パラメータを使用する。なお、この撮影パラメータは、ステップＳ２１を実行する都度、ステップＳ１と同様の処理を実行することにより、これを順次更新するようにしてもよい。このステップＳ２１において撮像された被写体像がＣＭＯＳイメージセンサ１１において電気信号に変換され、また一部のスリット状の画像領域が選択され、当該画像領域の画素値が読み出されて撮像信号Ｃ１となる。またこの撮像信号Ｃ１は上述の如く順次撮像信号Ｃ２に変換され、ＤＳＰ１５における図示しない画像用ＲＡＭに格納された後、ステップＳ２２へ移行する。
【００７３】
ステップＳ２２では、新たに取得した画像領域と、先に撮像した画像領域との相対変位を計算するマッチング処理を行う。
【００７４】
図９は、このステップＳ２２におけるマッチング処理手順を更に詳細に示したフローチャートである。
【００７５】
先ずＤＳＰ１５は、ＣＰＵ２１による制御の下、図９に示すステップＳ３１では、新たに取得した画像領域の黒レベル補償処理やガンマ補正処理等の前処理を実行する。
【００７６】
ステップＳ３２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。モータの角速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このステップＳ３２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、水平方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、水平方向に対する直交する方向として、垂直方向を平均化する。このフィルタリング処理は、図１０に示すように、Ｆ１に示すような画像領域を新たに取得した場合に、先ず画像領域Ｆ１を複数の行に分割し、列毎にそれぞれ平均化する。図１０に示す例では、行方向に配列される５画素分を１グループとして平均化した場合、Ｆ２に示すような一次元の画像列Ｐａ１,Ｐａ２,Ｐａ３が得られる。この画像列を以後のマッチング処理において使用する。
【００７７】
ステップＳ３３へ移行した場合には、上記画像領域Ｆ１より以前に撮像して得られた画像領域における正規化を行う。この撮影済みの画像領域は、多数の画素を記憶する比較的大きな記憶領域に順次重ねて記憶されている。この記憶領域に重ね合わせて生成された画像領域を以後キャンバス画像という。キャンバス画像を構成する各画素は、通常の画像のようにＲ,Ｇ,Ｂの３原色成分に加え、重ね合わせ枚数Ｌを合わせた４つの要素で定義することができる。新たに画像が撮像されるにつれて、重ね合わせ枚数Ｌを１ずつ増加させてゆく。このステップＳ３３における正規化処理では、図１１に示すように（Ｒ／Ｌ、Ｇ／Ｌ、Ｂ／Ｌ）を計算すればよく、これによって通常のＲ,Ｇ,Ｂの３要素で構成される画像を得ることができる。このように生成する全体画像の各画素を分母データと分子データとにより構成し、また互いに重なり合う画像領域における同一画素位置を構成する画素値の合計を分子データとし、また当該同一画素位置における画像領域の重ね合わせ枚数を分母データとすることにより、各画像領域の画素値を平均化してノイズの少ない全体画像を作成することが可能となる。
【００７８】
次にステップＳ３４へ移行し、ステップＳ３２におけるフィルタリング処理並びにリサンプリング処理を、ステップＳ３３において正規化された画像につき適用する。図１２は、この正規化された画像を、ステップＳ３２におけるフィルタリング処理に応じた画素数からなるグループに分割する。そして変位方向に対して直交する方向としての垂直方向を平均化するフィルタリング処理を施す。そして、上述したキャンバスの画像に対応する一次元の画像列Ｐｂ１,Ｐｂ２,Ｐｂ３を生成する。ちなみに、これら画像列Ｐｂ１,Ｐｂ２,Ｐｂ３は、それぞれ画像列Ｐａ１,Ｐａ２,Ｐａ３に対応することになる。
【００７９】
次にステップＳ３５へ移行し、ステップＳ３２により得られた画像列Ｐａ１,Ｐａ２,Ｐａ３と、ステップＳ３４により得られた画像列Ｐｂ１,Ｐｂ２,Ｐｂ３を互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。マッチングさせる画像列は、ステップＳ３２とステップＳ３４においてそれぞれフィルタリング処理が施されているため、ノイズの影響のない高精度なマッチングを実現することができる。このパターンマッチングは、例えば画像列Ｐａ１に対応する画像列Ｐｂ１を互いにずらしながら相関値を求め、その値が最大となる位置が、両画像列が最も相関する位置（以下、最大相関位置という。）として特定する。これを全ての画像列につき実行する。
【００８０】
これらステップＳ３５におけるマッチング処理を終了させた後、図９におけるステップＳ２３の重ね合わせ処理を実行する。この重ね合わせ処理では、ステップＳ２２において求められた最大相関位置に、上記新たに撮像して得られた画像領域Ｆ１を合わせるための補正を実行する。そして、当該画像領域Ｆ１は、キャンバス画像上に画素毎に足し合わせる処理を実行する。また、キャンバス画像上の各画素における重ね合わせ枚数Ｌには、足し合わせ処理を実行する毎に１を加算する。これにより、パノラマ状の全体画像を構成する各画素値を複数の画像領域の画素値の合計から計算することができるため、ランダムノイズが軽減されたＳ／Ｎ比のよい全体画像を得ることが可能となり、ひいては、見た目の自然な良質の全体画像を作り出すことができる。
【００８１】
次にステップＳ２４へ移行し、生成したキャンバス画像を上記全体画像としてモニタ部２０へ表示する。即ち、このステップＳ２４では、キャンバス画像の表示に必要な画像領域につき、ステップＳ３３と同様に正規化し、これをモニタ部２０へ表示することになる。図１３は、モニタ部２０の表示画面上に、上述したキャンバス画像を表示する例を示している。撮影開始時において、表示画面上には全く画像が表示されていないのに対し、ｋ秒後には、生成されたキャンバス画像が表示画面の左端から表示される。また２ｋ秒後には新たに画像領域が付け足されたキャンバス画像が順次右側へ接合され、さらに３ｋ秒後には、更なる画像領域が重ね合わされたキャンバス画像が表示される。ちなみに、この３ｋ秒後の表示処理では、生成されたキャンバス画像としての全体画像が画面のサイズを超えてしまうため、新たに重ね合わされた画像領域が優先的に表示される形でこれをスクロールさせる。４ｋ秒の表示処理も同様に、生成された全体画像が画面のサイズを超えてしまうため、新たに重ね合わされた画像領域が優先的に表示される形でこれをスクロールさせる。
【００８２】
このように新たに撮像されて生成された画像領域を優先的に表示させることにより、ユーザは、撮影中であっても、モニタ部２０を介して生成された画像領域をリアルタイムに確認することができる。
【００８３】
ステップＳ２４における表示処理を終了させた後、ステップＳ２５へ移行し、操作部２２におけるシャッタボタン２２１の押圧入力が継続しているか否か、操作信号Ｄ１を介して識別する。その結果、未だ当該押圧入力操作が継続している場合には、ステップＳ２１へ戻り、被写体の撮像を繰り返す。これに対して、シャッタボタン２２１の押圧入力が終了しているものと識別した場合には、図８に示すステップＳ４の処理を終了させ、図６に示すステップＳ５へ移行する。
【００８４】
ステップＳ５では、モータ２４の駆動を停止させることにより、撮像部１０の旋回を停止させる。
【００８５】
また次にステップＳ６に移行した場合において、方式Ａに基づき、ＣＭＯＳイメージセンサ１１における撮像面上に結像された全ての被写体の領域を読み出した場合には、当該領域の画像を上述の如く生成したキャンバス画像に接合させる処理を実行する。このステップＳ６が設けられることは、必ずしも必須とはならないが、特に図１４に示すような被写体を撮影する場合において好適である。図１４は、大きな木の下にいる人物を撮影する例を示しているが、このステップＳ６を含む本実施の形態を適用することにより、風で揺れる木の葉の部分を動被写体撮影に好適な方式Ｂに基づき撮影を実行し、人物の部分を通常の撮影方法としての方式Ａに基づき撮影を実行する。
【００８６】
最後にステップＳ７へ移行し、取得した画像データをコーデック処理部１６において符号化し、これをメモリ１７へ書き込むことで処理を終了させる。
【００８７】
このように、本発明を適用した撮像装置１では、上述の如く切り出した画像領域間を重複させることによる画質を向上を実現することができることに加え、さらにカメラの旋回と停止を高速かつ正確に繰り返すハードウェアも必要なくなり、システム全体のコストを抑え込むことができる。
【００８８】
なお、上述した実施の形態では、撮影方向を水平方向へ移動させる場合を例に挙げて説明をしたが、かかる場合に限定されるものではなく、撮影方向を垂直方向へ移動させる場合においても本発明を同様に適用することができる。
【００８９】
また、撮像部１０における撮像が実行される度に、上記画像領域の重ね合わせを行い、さらに重ね合わせ終了後の当該画像領域を廃棄するようにしてもよい。これにより、処理に必要なメモリの容量を小さくすることができるため、ハードウェアの実現コストを低くすることができ、リアルタイム処理により適したシステムを構築することも可能となる。
【００９０】
なお本発明は、さらに以下に説明する撮像装置３に適用してもよい。この撮像装置３において上述した撮像装置１と同一の構成、要素については、図１の説明を引用することにより、ここでの説明を省略する。
【００９１】
この撮像装置３は、例えば図１５に示すように、レンズ部１０ａを含む撮像部１０を介して被写体を撮像し、連結された回転軸を回転中心として図１５中の矢印Ａ方向へ回転可能な第１の筐体３１と、第１の筐体の下側に配設され、ユーザの片手で把持可能な第２の筐体３２とを備えている。ちなみに、この第２の筐体３２には、シャッタボタン２２１と、撮像した画像をユーザ自身が視認するための表示部４３とが配設されている。
【００９２】
図１６(a)、(b)は、この撮像装置３の内部構成を示している。この第１の筐体３１は、レンズ部１０ａと、ＣＭＯＳイメージセンサ１１と、少なくともＣＤＳ回路１２並びにＡ／Ｄ変換部１３を有する第１の電子回路４１とを備えている。
【００９３】
また、第２の筐体３２は、回転軸３８を介して第１の筐体３１に連結されてなり、この回転軸３８を回転させるためのモータ５１と、この回転軸３８の回転角を制御するためのフォトインターラプタ５２並びに遮蔽板５３と、この回転軸３８の回転動作に対して物理的な制限を加えるためのストッパー５４と、第２の筐体３２の上面に設けられた連結穴に挿設されてなり、上記回転軸３８を支持することにより円滑な回転動作を実現するためのベアリング５５と、撮像装置３の各構成要素を制御するための第２の電子回路４２と、各構成要素を動作させるためのバッテリー４４とを備えている。
【００９４】
第２の電子回路４２は、図１６(b)に示すように、ＤＳＰ１５と、メモリ１７と、ＣＰＵ２１と、操作部２２と、シャッタボタン２２１と、表示部４３と、モータやフォトインターラプタ、または外部機器との間で画像データを送受信するためのインターフェース４７とを備え、また第１の電子回路４１との間で電気的な信号を送受信するための配線５６が接続されている。
【００９５】
ちなみに、この第２の筐体３２は、上述した各構成要素に加えて、一般撮影モードと、パノラマ撮影モードとを切り換えるためのボタンや、一般的なデジタルカメラが有する各種ボタンが配設されている。
【００９６】
モータ５１は、供給された駆動パルスに応じた角速度で回転軸３８を回転させるステッピングモータ等で構成される。このモータ５１により回転させられる回転軸３８の一端側には第１の筐体３１が連結され、その中間にはストッパー５４が固着される。またこの回転軸３８の他端側には遮蔽板５３が固着されている。即ち、このモータ５１に基づく回転軸３８の回転動作に応じて第１の筐体３１が回転するとともに、遮蔽板５３並びにストッパー５４も同様に回転することになる。ちなみに、このモータ５１による回転軸３８の回転角度における相対的な変位は、モータ５１に与えるパルス数で検出することができる。
【００９７】
表示部４３は、Ｄ／Ａ変換部１８,ビデオエンコーダ部１９,モニタ部２０に準ずる構成を全て含み、第２の筐体３２側面に設けた液晶表示素子を介して生成した画像を表示する。この表示部４３は、回転軸３８により回転させられる第１の筐体３１と離間して設けられているため、回転軸３８の回転に支配されることなく、視認性を向上させることができる。
【００９８】
フォトインターラプタ５２は、発光体５２ａと受光体５２ｂとが上下に亘って設けられてなる。この受光体５２ｂは、発光体５２ａからの光信号を受光し続けることになるが、回転軸３８の回転に応じて遮蔽板５３がフォトインターラプタ５２付近まで回転されてきた場合には、かかる光信号が遮蔽板５３により遮蔽されることになる。即ち、この受光体５２ｂが受光する光信号の遮蔽状況から、回転軸３８の回転状況を識別することが可能となる。
【００９９】
なお、回転軸３８が可動範囲を超えて回転した場合には、この遮蔽板５３が光信号を遮蔽し、当該遮蔽に応じてモータ５１が停止するように構成としてもよい。この図１７は、フォトインターラプタ５２並びに遮蔽板５３を図１６中のＢ方向から捉えたものである。この図１７に示すように、可動範囲内においては、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることがないため、モータ５１が停止することなく、回転軸３８を自在に回転させることができる。これに対して、可動範囲を超えた場合には、遮蔽板５３が受光体５２により受光される光信号を遮ることになり、モータ５１が停止することになる。なお、この可動範囲を超えた場合には、さらにストッパー５４を介して第１の筐体３１の回転動作を物理的に抑え込むようにしてもよい。
【０１００】
このように、第２の筐体３２に対する第１の筐体３１の回転範囲を制限する仕組みを導入することにより、第１の筐体３１から第２の筐体３２へのデータの伝送を、フォトカプラを用いた特殊なジョイント部品を使用することなく、通常の可動部分で用いられるようなフレキシブルな配線素材を用いて実現することができる。
【０１０１】
上述の構成からなる撮像装置３を用いるユーザは、第２の筐体３２を把持しつつ、撮影を行う。かかる場合において第２の筐体３２外部に設けられたシャッタボタン２２１を押圧することにより、上述した撮影開始のタイミング、撮影終了のタイミングを指定することができる。第２の筐体３２を片手で把持するユーザの指先に当たる箇所に、このシャッタボタン２２１を設けることにより、指先の小さな動きで撮影の開始及び終了を支持することができる。
【０１０２】
従って、このような第２の筐体３２を片手で把持し、シャッタボタン２２１を押圧することにより、図１８(a)に示す状態から、第１の筐体３１が徐々に回転し、図１８(b)に示すように撮像部１０の撮影方向が変化する。また、このシャッタボタン２２１を更に押圧し続けることにより、図１８(c)に示すように、第１の筐体３１が更に回転する結果、撮像部１０の撮影方向がさらに変化することになる。即ち、この第１の筐体３１は、連結された回転軸３８を回転中心として撮像部１０の撮影方向が順次変化するように回転可能となるように構成されてなる。
【０１０３】
ちなみに、この図１８(c)に示す状態においてこのシャッタボタン２２１を押し続けた場合に、上述したフォトインターラプタ５２により、モータ５１の回転を抑制させた上で、この第１の筐体３１を更に反対方向へ向かって回転させるようにしてもよい。
【０１０４】
ちなみに、この第２の筐体３２には、バッテリー４４やモータ５１等の質量の大きい部品や、多くの回路より構成される第２の電子回路４２が搭載されるのに対し、第１の筐体３１には、撮影に必要なレンズ部１０ａや、ＣＭＯＳイメージセンサ１１、第１の電子回路４１等のように比較的質量の小さい部品が搭載されている。即ち、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされている。これにより、第１の筐体３１を回転させる回転軸３８やベアリング５５等の部品、更にはモータ５１等への機械的負荷を軽減させ、製品全体のコストを低く抑え込むことが可能となり、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することも可能となる。
【０１０５】
図１９は、撮像装置３による撮影工程を示すフローチャートである。
【０１０６】
撮像装置３は、ハードウェアの診断や初期化を行った後、ステップＳ６１へ移行する。
【０１０７】
ステップＳ６１では、通常のカメラと同様に、自動露出機能等の補助を利用しつつ、絞り量や露出等をユーザ自身が調整する。その結果、各種撮影パラメータが決定される。
次にステップＳ６２へ移行し、シャッタボタン２２１の押圧を調べ、撮影開始タイミングを識別する。シャッタボタン２２１が押圧されていればそのままステップＳ６３へ移行し、押圧されていなければステップＳ６１へ戻る。
【０１０８】
ステップＳ６３へ移行した場合には、撮像部１０により撮像を行う。撮像により取得されたデータは、ＣＤＳ回路１２、Ａ／Ｄ変換部１３を経て、ＤＳＰ１５へ転送される。
【０１０９】
ステップＳ６４では、ＤＳＰ１５が画像処理を実行することによりパノラマ状の全体画像を合成する。図２０は、連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子を示している。ここで、連続して撮影された各単位画像は、互いに重複領域が生じるように撮影されているものとする。この重複領域については、従来より知られている合成方法に基づいてつなぎ合わせることにより、図２０に示すような全体画像を合成することができる。ちなみに、この合成方法として、例えば、アルファブレンディング等の合成技法を用いるようにしてもよい。
【０１１０】
次にステップＳ６５へ移行し、第１の筐体３１を第２の筐体３２に対して回転させることにより、撮像部１０による撮影方向を僅かに変化させる。この第１の筐体３１の回転量は、少なくとも連続して撮影された各単位画像間において互いに重複領域が生じるように調整される。この回転量は、撮像装置３の設計時において幾何学的な計算により予め求めておくこともできる。また、撮影時における撮像装置３全体の揺れ量を検出するための機能を実装しておくことにより、第１の筐体３１の回転量を動的に微調整するようしてもよい。
【０１１１】
なお、このステップＳ６５において、モータ５１の回転量をできるだけ小さく設定しておき、かつ単位時間当たりの撮影枚数を増加させて連続撮影を実行することにより、視差による歪みや動被写体を撮影することによる画像の不連続さを解消することができ、高画質な全体画像を合成することが可能となる。このような撮影を行うためには、モータ５１の断続的かつ高精度の制御が必要となるが、上述の如く、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされているため、これらを低コストで実現することが可能となる。
【０１１２】
ステップＳ６６では、再びシャッタボタン２２１の押圧を調べ、撮影終了のタイミングを識別する。このステップＳ６６においてシャッタボタン２２１の押圧が確認できた場合には、撮影を継続させるべくステップＳ６３へ戻る。これに対し、このステップＳ６６においてシャッタボタン２２１の押圧が確認できなかった場合には、撮影の終了動作へ移行すべくステップＳ６７へ移行する。
【０１１３】
ステップＳ６７では、撮影終了時の処理として、合成したパノラマ状の全体画像をメモリ１７へ格納する。
【０１１４】
このように、第１の筐体３１と離間した第２の筐体３２にシャッタボタン２２１を搭載することにより、指先の小さな操作だけで撮影の開始、終了を指示することができる。また、第２の筐体３２に表示部４３を備えることにより、得られた画像の視認性を向上させることができる。
【０１１５】
また、実際に回転する第１の筐体３１内部にレンズ部１０ａやＣＭＯＳイメージセンサ１１等のように撮影に最低限必要な部品を少なくとも実装することにより、回転部分の質量が軽くなるため、この第１の筐体３１における回転部分を支える部品やこれを回転駆動させるモータ５１のコストを下げることができる。またモータ５１等の駆動源となる部品をユーザにより把持される第２の筐体３２内に実装することにより、モータ５１の回転に伴う振動による影響を極力抑えることもできる。
【０１１６】
またフォトインターラプタ５２を用いて、第１の筐体３１の回転範囲を制限することにより、回転部分とホールド部分間のデータ転送を通常の安価なフレキシブルな配線素材を用いて実現することができる。
【０１１７】
なお、この撮像装置３において、上述した撮像装置１の動作を全て行わせるようにしてもよい。これにより、上述した撮像装置３自体の効果に加えて、切り出したスリット状の画像領域間を重複させることによる画質の向上、システム全体のコスト低減等の撮像装置１の効果を相乗的に奏するような撮影システムを構築することも可能となる。
【０１１８】
また、本発明を適用した撮像装置３は、上述した実施の形態に限定されるものではなく、ＤＳＰ１５、ＣＰＵ２１、表示部４３、モータ５１、操作部２２（シャッタボタン２２１）、バッテリー４４のうち、何れか１つ以上が第２の筐体３２内に設けられていればよい。
【０１１９】
ところで、実際の撮影では、例えば、次の第１のステップ〜第３のステップの一連の処理を、自動で機械が繰り返し行うことになる。
【０１２０】
第１のステップ：カメラがブレない（動かない）ように、モータを停止させ、カメラを固定させる。
【０１２１】
第２のステップ：撮影を行う。
【０１２２】
第３のステップ：モータにより、カメラの向きを変える。
【０１２３】
この場合、これら３つのステップを着実に行うことは、厳密に言えば、難しい。すなわち、カメラはある質量を持っており、このカメラをモータにより回転させた場合、慣性の法則より、すぐにカメラの回転を停止することは不可能である。つまり、上記第３のステップの直後、第１のステップの状態にすることはできない。そのため、カメラが微小なブレを生じている状態で、第２のステップを行うことになる。従って、第２のステップで得られた画像は微小なブレを有する画像となってしまう。このブレは、慣性の法則に由来するものであり、第３のステップでモータが動かそうとしている向きと同じ向きのブレである。このカメラが移動する方向と同じ方向のブレが、撮影画像中に生じてしまうという問題は以下のように解決することができる。
【０１２４】
すなわち、この撮像装置３では、上述のように連続して撮影された各単位画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する場合に生じる画像のブレを目立たなくするために、切り出された画像領域の画像すなわち各単位画像あるいは生成した全体画像に対して異方性のフィルタ処理を施す。
【０１２５】
例えば、この実施の形態における撮像装置３により水平方向にパニングしながら撮影して、図２１に示すように、切り出された画像領域の画像すなわち各単位画像Ａ１，Ａ２，・・・Ａ１５を得て、各単位画像Ａ１〜Ａ１５に対応する画像ａ１〜ａ１５からなる図２２に示すようなパノラマ画像を生成する場合、水平方向に対して、微小なボケを生じるので、水平方向に対してのみ高域成分を強調するフィルタ処理を施す。
【０１２６】
具体的な例を、図２３に示す。図２３は、撮影画像デ−タ（スリット状の画像）の例である。図２３中の矢印Ａは、撮像装置３の回転方向を示している。ここでは、ボケについて分かりやすく説明するために、正方形の物体を撮影したと仮定している。すなわち、４６は、正方形の物体の投影像である。投影像４６は、矢印Ａの方向のボケを生じている。つまり、投影像４６の４つの辺（エッジ）４６１〜４６４のうち、上辺４６１と下辺４６３は、鮮明（シャープ）な辺（エッジ）として写っているが、右辺４６２と左辺４６４はボケた辺（エッジ）となっている。
【０１２７】
そこで、矢印Ａの方向（この場合では、横方向）に高域を強調するフィルタ処理を行う。高域を強調するフィルタの例としては、例えば、図２４に示すように、（−１／３）×（注目画素の左隣の画素値）＋（５／３）×（注目画素の値）＋（−１／３）×（注目画素の右隣の画素値）を計算すれば良い。
【０１２８】
これにより、例えば、図２３に示す画像デ−タは、図２５に示す画像データとなり、上辺４６１と下辺４６３にそれぞれ対応する上辺４７１と下辺４７３は図２３と同様に鮮明であり、かつ、右辺４６２と左辺４６４にそれぞれ対応する右辺４７２と左辺４７４も鮮明となる。
【０１２９】
このことを踏まえて、この実施の形態における撮像装置３では、図２６のフローチャートに示す処理を行ってパノラマ画像を生成する。
【０１３０】
すなわち、先ずステップＳ７１において、ユーザが通常撮影モードか、あるいは、パノラマ撮影モードかの設定（即ちモード設定）をする。そして、ステップＳ２に進む。
【０１３１】
ステップＳ７２では、ユーザがレリーズボタン（シャッターボタン）を押すまで待機する。そして、レリーズボタンが押されたら、ステップＳ７３に進む。
【０１３２】
ステップＳ７３では、ステップＳ７１において設定されたモードの判定を行う。即ち、通常撮影モードと判定された場合は、ステップＳ７４に進む。パノラマ撮影モードと判定された場合は、ステップＳ７５に進む。
【０１３３】
ステップＳ７４では、次の処理が行われる。すなわち、ＣＭＯＳイメージセンサ１１は図示しないドライバにより駆動され、１フレ−ム分の画像信号がシリアルなデ−タとして出力される。この出力信号はＡ／Ｄ変換器１３によりデジタル信号に変換された後、ＤＳＰ１５に順次送られる。ＤＳＰ１５では、信号中の各色成分の分離、ゲインコントロ−ル、ガンマ補正、色バランスの調整、信号成分のマトリクス演算等が行なわれ、処理された映像信号はメモリ１７に記録される。
【０１３４】
また、ステップＳ７５では、次の処理が行われる。すなわち、ＣＭＯＳイメージセンサ１１はドライバにより駆動され、１フレ−ム分の画像信号がシリアルなデ−タとして出力される。この出力信号はＡ／Ｄ変換器１３によりデジタル信号に変換された後、ＤＳＰ１５に順次送られる。ＤＳＰ１５はＡ／Ｄ変換器１３からの信号の一部分のみ（スリット状の矩形領域）を取り出し、その部分に対して、信号中の各色成分の分離、ゲインコントロ−ル、ガンマ補正、色バランスの調整、信号成分のマトリクス演算等が行なわれ、処理されたスリット状の映像信号はメモリ１７に記録される。なお、この時、ＣＰＵ２１はこの書き込み動作に連動してモータ２４に制御信号として回転信号を送る。モータ２４はこの回転信号に同期して一定の割合だけ撮像装置３の第１の筐体３１をパンニングさせる。ステップＳ７５の後、ステップＳ７６に進む。
【０１３５】
ステップＳ７６では、メモリ１７内にスリット状の画像データが格納されているので、ＣＰＵ２１は、フメモリ１７内に格納されたこれらスリット状の画像を、再度、ＤＳＰ１５に転送する。そして、ステップＳ７７に進む。
【０１３６】
ステップＳ７７において、ＤＳＰ１５は、これら各画像に対して、回転方向と同じ方向の高域強調フィルタをかける。ステップＳ７の後、ステップＳ８に進む。
【０１３７】
ステップＳ７８において、ＤＳＰ１５は、これら画像をつなぎ合わせて、１枚のパノラマ画像を生成する。そして、ＣＰＵ２１は、生成されたパノラマ画像を所定の形式でメモリ１７に書き込む。ステップＳ７８の後、この一連の処理は終了する。終了時には、メモリ１７にパノラマ画像データが書き込まれている。
【０１３８】
なお、撮影画像デ−タ（スリット状の画像）に対して高域強調フィルタ処理を行う代わりに、つなぎ合わせた後のパノラマ画像をメモリ１７から読み出してＤＳＰ１５により高域強調フィルタ処理を施すようにしてもよい。
【０１３９】
このようにして、パノラマ撮影モードにて撮影した場合には、ボケのないパノラマ画像を作成して、そのデータをメモリ１７に格納することができる。
【０１４０】
このように、複数枚の画像を向き（あるいは位置）を変えながら撮影する際に、その向き（第１の方向と呼ぶことにする。即ち、第１の方向とは、連続撮影中における回転方向、あるいは、移動方向のことである。）に対して生じるブレを補償するために、第１の向きに対して高域を強調するフィルタをかける。これにより、ブレのない（目立たない）画像を復元することができる。また、高域を強調する方向は、第１の方向に対してのみであり、第１の方向に直交する方向（第２の方向と呼ぶことにする。）には高域強調フィルタをかけない。撮影画像は、第２の方向に対してはブレのない画像であり、第２の方向に高域強調を行うと、不自然な画像（例えば、エッジ部分でのオーバーシュート、アンダーシュートのある画像。あるいは、ノイズの増加した画像）となってしまうが、本発明においては、第１の方向のみに高域強調フィルタをかけているので、そのような不具合も起きない。
【符号の説明】
【０１４１】
１，３ 撮像装置、１０ 撮像部、１１ ＣＭＯＳイメージセンサ、１２ ＣＤＳ回路、１３ Ａ／Ｄ変換部、１４ 内部バス、１５ ＤＳＰ、１６ コーデック処理部、１７ メモリ、１８ Ｄ／Ａ変換部、１９ ビデオエンコーダ部、２０ モニタ部、２１ ＣＰＵ、２２ 操作部、２３ タイミングジェネレータ、２４ モータ、２６ 露出計、３１ 第１の筐体、３２ 第２の筐体、３８ 回転軸、４１ 第１の電子回路、４２ 第２の電子回路、４３ 表示部、４４ バッテリー、５１ モータ、２２１ シャッタボタン
【特許請求の範囲】
【請求項１】
撮影方向を順次変化させて撮影範囲全体の一部を撮像する撮像手段を少なくとも有し、連結された回転軸を回転中心として上記撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、
上記撮像手段により撮像された画像を順次貼り合わせることにより、上記撮影範囲全体を表す全体画像を生成する全体画像生成手段と、
上記全体画像生成手段により生成された全体画像を表示する表示手段と、
上記回転軸を回転させるための駆動手段と、
上記撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、
上記各構成要素を動作させるためのバッテリーと、
上記回転軸を介して上記第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、
上記第２の筐体は、上記全体画像生成手段と、上記表示手段と、上記駆動手段と、上記指定手段と、上記バッテリーとのうち何れか１つ以上が設けられること
を特徴とする撮像装置。
【請求項２】
上記駆動手段は、上記回転軸の回転角を所定内に制限するための制御機構がさらに設けられていること
を特徴とする請求項１記載の撮像装置。
【請求項１】
撮影方向を順次変化させて撮影範囲全体の一部を撮像する撮像手段を少なくとも有し、連結された回転軸を回転中心として上記撮像手段の撮影方向が順次変化するように回転可能な第１の筐体と、
上記撮像手段により撮像された画像を順次貼り合わせることにより、上記撮影範囲全体を表す全体画像を生成する全体画像生成手段と、
上記全体画像生成手段により生成された全体画像を表示する表示手段と、
上記回転軸を回転させるための駆動手段と、
上記撮像手段における撮像開始並びに撮像終了の各タイミングを指定するための指定手段と、
上記各構成要素を動作させるためのバッテリーと、
上記回転軸を介して上記第１の筐体に連結され、ユーザの片手で把持可能な第２の筐体とを備え、
上記第２の筐体は、上記全体画像生成手段と、上記表示手段と、上記駆動手段と、上記指定手段と、上記バッテリーとのうち何れか１つ以上が設けられること
を特徴とする撮像装置。
【請求項２】
上記駆動手段は、上記回転軸の回転角を所定内に制限するための制御機構がさらに設けられていること
を特徴とする請求項１記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２００９−２３２４７１（Ｐ２００９−２３２４７１Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００９−１３１７６４（Ｐ２００９−１３１７６４）
【出願日】平成２１年６月１日（２００９．６．１）
【分割の表示】特願２００５−２１８９３（Ｐ２００５−２１８９３）の分割
【原出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２１年６月１日（２００９．６．１）
【分割の表示】特願２００５−２１８９３（Ｐ２００５−２１８９３）の分割
【原出願日】平成１７年１月２８日（２００５．１．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]