再生制御装置及び再生制御方法並びにプログラム
【課題】効率よくパノラマ画像を連続して鑑賞するのに適した再生制御装置及び再生制御方法並びにプログラムを提供する。
【解決手段】撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出し、撮影開始から撮影終了までの撮像方向に基づいて、パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定する。
【解決手段】撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出し、撮影開始から撮影終了までの撮像方向に基づいて、パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像を連続して鑑賞するのに適した再生制御装置及び再生制御方法並びにプログラムに関する。
【背景技術】
【０００２】
従来広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光をＣＣＤ（Charge Coupled Device）等の個体撮像素子により画像信号に変換し、この画像信号を記録媒体に記録し、記録した画像信号を再生することができる。また、多くの電子スチルカメラは、撮像した静止画像を表示するモニタを備え、記録した静止画像のうち特定のものを選択して表示する。このような電子スチルカメラは、１回の撮影での撮影範囲がレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を超えた広範囲の撮影ができないため、近年パノラマ状の画像を撮影する種々のカメラシステムが提案されている。
【０００３】
例えば、このカメラシステムは、大別すると広い視野を複数レンズで一度に撮影する多眼式と、単眼レンズを用いて撮像方向を順にシフトさせつつ個々の画像に分けて連続撮影する単眼式とに分類される。多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価となる欠点がある。
【０００４】
これに対して単眼式のカメラシステムは、比較的安価にパノラマ画像を撮影することができ、撮像方向をシフトさせつつ撮影する方法としていくつかの方法が提案されている。例えば、手で撮像系を一定の速度でシフト又は回転させる方法（例えば、特許文献１参照。）や、手で撮像系をシフト又は回転させる動作と静止とを繰り返す方法（例えば、特許文献２参照。）や、ステッピングモータ等を用いて撮像系のシフトや回転、静止をする方法（例えば、特許文献３参照）がある。
【０００５】
また、以上のような撮影方法で撮影されたパノラマ画像の鑑賞方法として、横長のプリント方法（例えば、特許文献４参照）やテレビモニタ等によるスクロール再生（例えば、特許文献５参照）が提案されている。例えば、テレビモニタにパノラマ画像を表示させる場合には、パノラマ画像の全体を表示させようとすると、画面内の一部領域が横長に小さく表示されるため、細部を確認するのが困難である。また、複数枚のパノラマ画像を自動的に切り換えて表示させたい場合には、各パノラマ画像が横長に小さく表示されるため、細部を確認するのが困難である。そこで、複数枚のパノラマ画像を連続してテレビモニタで閲覧する際等に各パノラマ画像をスクロール再生させることで、パノラマ画像全体を細部に亘って鑑賞することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−８８７５４号公報
【特許文献２】特開平１１−８８８１１号公報
【特許文献３】特開２００５−３３３３９６号公報
【特許文献４】特開平７−２１２６９３号公報
【特許文献５】特開２００２−７７８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至特許文献３に記載された方法では、撮影時刻の異なる画像を合成するため、パノラマ合成画の画面内に時間差が生じてしまう。したがって、１つの撮影時刻をパノラマ合成画に関連付けて記録しても、正確にパノラマ撮影に要した時刻を記録したことにならず、パノラマ合成画内における撮影時刻の推移及び方向がわからないという問題が生じる。
【０００８】
また、従来の方法では、スクロール再生の決定が一意の方法のみであるため、効率良くパノラマ画像を連続して鑑賞するのには適していない。
【０００９】
本発明は、上記従来の課題を解決するものであり、効率よくパノラマ画像を連続して鑑賞するのに適した再生制御装置及び再生制御方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
すなわち、本発明に係る再生制御装置は、撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読出し部と、上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定部とを備える。
【００１１】
また、本発明に係る再生制御方法及びプログラムは、撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程とを有する。
【発明の効果】
【００１２】
本発明によれば、複数のパノラマ画像をスクロール再生する際に、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に係る撮像装置の構成例を示すブロック図である。
【図２】トリミング処理の一例を説明するための模式図である。
【図３】（ａ）撮影開始時の被写体、（ｂ）撮影終了直前の被写体をそれぞれ再生する際の撮像方向を説明するための模式図である。
【図４】本実施の形態に係る撮像装置の構成例を示すブロック図である。
【図５】パノラマ画像を合成する処理手順を説明するためのフローチャートである。
【図６】本実施の形態に係る再生制御装置の構成例を示すブロック図である。
【図７】パノラマ画像のスクロール方法の一例を説明するためのフローチャートである。
【図８】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図９】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１０】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１１】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１２】パノラマ画像をスクロールする速度の一例を説明するための模式図である。
【図１３】パノラマ画像のスクロール方法を説明するための模式図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明を適用した具体的な実施形態について説明する。図１に示すように、撮像装置１は、レンズ系１０、撮像素子１１、画像用ＲＡＭ１２、撮像方向検出部１３、パノラマ合成部１４、時計部１５及び記録媒体１６を備える。また、撮像装置１は、図示しないが、例えばステッピングモータ等のように、撮像部を旋回させるための駆動源を備えている。
【００１５】
撮像素子１１は、例えばＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像素子１１では、レンズ系１０を介して照射された被写体画像が電気信号に変換される。また、撮像素子１１は、図示しない所定の信号処理回路を有し、電気信号に変換した被写体画像をさらにディジタル画像データに変換して画像用ＲＡＭ１２に出力する。
【００１６】
画像用ＲＡＭ１２には、撮像素子１１から出力された画像データが供給される。画像用ＲＡＭ１２は、複数毎の画像データを格納し、この格納した画像データを撮像方向検出部１３及びパノラマ合成部１４に供給する。
【００１７】
撮像方向検出部１３には、画像用ＲＡＭ１２から画像データが供給される。撮像方向検出部１３は、パノラマ合成処理を行うためのデータとして、連続する複数の画像データ間の撮像方向と移動量、すなわち、個々の画像データ間の移動ベクトルを検出する。そして、撮像方向検出部１３は、検出した移動ベクトルをパノラマ合成部１４に供給する。撮像方向検出部１３は、例えば時系列的に隣接するフィールド間の画像データを比較することで移動ベクトルを検出する。
【００１８】
撮像方向検出部１３は、画像データ間の移動量の大きさを検出する際に、撮影開始から撮影終了までの撮像方向を１つの撮像方向として検出するために、移動量を平均化する。また、撮像方向検出部１３は、画像データ間の移動量を平均化する際に、移動量が所定量以上のものを除外してから移動量を平均化するようにしてもよい。また、撮像方向検出部１３は、画像データ間の移動量を画像データ毎に累積する。撮像方向検出部１３は、画像データ間の移動量を累積する際に、移動量が所定の閾値以上のものを除外するようにしてもよい。
【００１９】
撮像方向検出部１３は、検出した移動ベクトルに基づいてパノラマ撮影の撮影開始から撮影終了までの撮像方向を検出する。そして、撮像方向検出部１３は、検出した撮像方向を、いくつかの方向にコード化する。すなわち、撮像方向検出部１３は、撮像方向をいくつかの方向に方向分けする。例えば、撮像方向検出部１３は、検出した撮像方向を上下左右の４値にコード化する。このように、撮像方向検出部１３は、検出した撮像方向をコード化することで、記録媒体１６に供給するデータ量を削減することが可能となる。
【００２０】
そして、撮像方向検出部１３は、パノラマ合成部１４で合成されるパノラマ画像に関連付けて、コード化したパノラマ撮影の撮影開始から撮影終了までの撮像方向を１つの撮像方向として記録媒体１６に供給する。
【００２１】
このように、撮像方向検出部１３は、パノラマ画像の合成用途及び撮像方向の検出用途として用いることができる。したがって、撮像装置１においては、パノラマ画像の合成とパノラマ画像に関連付けられた撮像方向と撮影時間情報を記録する装置を安価で作成することが可能となる。
【００２２】
パノラマ合成部１４には、画像用ＲＡＭ１２から画像データが供給される。また、パノラマ合成部１４には、撮像方向検出部１３からパノラマ合成処理を行うためのデータとして画像データ間の移動ベクトルが供給される。パノラマ合成部１４は、撮像方向検出部１３から供給された移動ベクトルと画像用ＲＡＭ１２から供給された複数の画像データに基づいてパノラマ画像を合成する。
【００２３】
例えば、パノラマ合成部１４は、撮像素子の撮像面に得られた画像の一部から所定幅の読み出し範囲にある部分画像をお互いの重複範囲が互いに重ね合うように接合して合成画像を生成する（例えば、特許文献３参照）。パノラマ合成部１４は、合成したパノラマ画像を記録媒体１６に供給する。
【００２４】
また、パノラマ合成部１４は、複数枚の画像データからなるパノラマ画像に対してトリミング処理を行う。このトリミング処理とは、画像データの一部分の画像領域、例えば中央付近の領域画像を切り出す抽出処理である。パノラマ合成部１４は、例えば図２に示す画像データ２０、画像データ２１、画像データ２２に対してトリミング処理を行うことで、画像データの必要部分を抽出して良好なパノラマ画像を合成する。
【００２５】
パノラマ合成部１４は、例えば図２（ａ）の領域２３に示すように、矩形状のパノラマ画像として抜き出すようにトリミング処理を施す。また、パノラマ合成部１４は、連続する画像データに傾きがある場合、つまり、ユーザが撮像装置１を水平に保たずに、撮像装置１を傾けて撮影をした場合には、図２（ｂ）の領域２４に示すように、斜め方向にトリミング処理を施してもよい。
【００２６】
時計部１５は、撮影開始から撮影終了までの撮影時間情報を検出する計時手段を構成する。時計部１５は、例えばパノラマ撮影の撮影開始時刻及び撮影終了時刻を検出する。そして、時計部１５は、検出した撮影開始時刻及び撮影終了時刻をパノラマ合成部１４で合成されるパノラマ画像に関連付けて記録媒体１６に供給する。なお、時計部１５では、撮影時間情報として、例えば撮影画像毎の時刻をそれぞれ検出してもよいし、ある撮影時刻と撮影時刻との間の長さを検出するようにしてもよい。
【００２７】
記録媒体１６は、ディジタル信号を記録可能な記録媒体であり、例えば、ハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープを用いることができる。記録媒体１６では、パノラマ合成部１４で合成されたパノラマ画像と、撮像方向検出部１３で検出されたパノラマ撮影の撮影開始から撮影終了までの撮像方向と、時計部１５で検出した撮影開始時刻及び撮影終了時刻が供給される。そして、記録媒体１６は、１つの撮像方向として撮影開始から撮影終了までの撮像方向と、パノラマ撮影の撮影開始時刻及び撮影終了時刻とをパノラマ画像に関連付けて記録する。つまり、記録媒体１６は、撮像方向として、合成したパノラマ画像に対して１つの撮像方向を記録する。
【００２８】
このように、記録媒体１６では、撮影開始時刻及び撮影終了時刻とともに撮影開始から撮影終了までの１つの撮像方向をパノラマ画像に関連付けて記録することで、パノラマ撮影の撮影時刻を正確に知ることができる。つまり、撮像装置１では、パノラマ撮影の撮像方向を撮影開始時刻及び撮影終了時刻とともに記録媒体１６に記録することで、より正確な時刻を知ることが可能となる。したがって、撮像装置１は、視聴者が例えば図３（ｂ）に示すように、画面内に時間差を有するパノラマ画像２６をＴＶモニタ等でスクロール再生する際に、閲覧したい画像を短時間で効率よく閲覧することを可能とする。
【００２９】
つまり、撮像装置１によれば、パノラマ撮影の撮影開始時刻、撮影終了時刻、及び撮像方向に基づいてスクロール再生の方向や開始点を適宜変えることで、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。例えば、撮影開始時点でユーザが図３（ａ）に示すようなパノラマ画像２５を撮影したい場合に、図３（ｂ）に示すように撮影終了直前に撮影したくなかった予期しない物体２７が撮影されてしまったとする。この場合、撮像装置１によれば、スクロール再生の方向や開始点を適宜変えることで、パノラマ画像２６が予期しない物体２７からスクロール再生されてしまうことを防止することができる。つまり、撮像装置１では、パノラマ画像２６を容易に図３（ｂ）の矢印で示す撮像方向に沿ってスクロール再生することが可能となる。
【００３０】
また、記録媒体１６では、パノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報がＥＸＩＦ（Exchangeable Image File Format）規格のユーザ領域に記録される。ＥＸＩＦ規格においては、付帯情報として撮影条件以外にユーザ領域が設けられており、ユーザ又は機器で独自定義の情報を記録することができる。なお、撮像装置１においては、ユーザ領域以外の領域、すなわち未定義領域に新たな定義を与える形でパノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報を記録するようにしてもよい。
【００３１】
また、記録媒体１６には、例えば時計部１５で検出した撮影開始時刻ととともに撮影時間を記録して、撮影終了時刻を記録しないようにしてもよい。さらに、記録媒体１６には、撮影画像毎の時刻又は撮影画像間の平均時間をパノラマ合成部１４でのパノラマ合成に用いられた画像データの撮影枚数とともに記録してもよい。さらにまた、記録媒体１６には、パノラマ合成部１４でのパノラマ画像の合成に用いられた画像データの撮影時刻を全て記録するようにしてもよい。また、記録媒体１６には、撮像装置１が静止した状態で撮影された画像データを記録するようにしてもよい。また、記録媒体１６には、画像データに含まれる被写体の特徴検出により被写体の座標情報を検出し、この座標情報をパノラマ画像に関連付けて記録するようにしてもよい。例えば、記録媒体１６には、パノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報とともに、図示しない顔検出部により検出した被写体の顔画像に基づく顔座標をパノラマ画像に関連付けて記録する。
【００３２】
続いて、撮像装置１の他の実施形態について図４を用いて説明する。なお、図１に示す構成と同一のものについては、同一の符号を付して説明するものとする。
【００３３】
光軸可変素子２８は、例えばシフトレンズ方式又はミラーブロック方式のものが用いられ、ドライバ３５によって制御される。レンズ系１０は、アイリス、フォーカス、ズーム等の光学系の調節を行う。レンズ系１０で行われる調節は、レンズ系駆動回路３６によってそれぞれ制御される。例えば、パノラマ画像の撮影時には、少なくとも撮像素子１１の電子シャッタが開いている間、撮像装置１の移動を打ち消す方向に光軸が変化する。また、電子シャッタが閉じている間、撮像装置１の動きの略中心付近に光軸が戻るように制御される。これらの制御は、後に詳述するシステムコントローラ４２の制御に基づいて自動で行われる。なお、光学系の調節は、自動で行うことも可能である。撮像装置１では、このような制御に基づいて、レンズ系駆動回路３６から制御情報が出力され、システムコントローラ４２及び記録媒体３０に供給される。制御情報としては、例えばアイリス、フォーカス、ズームのそれぞれの値がレンズ系駆動回路３６から出力される。
【００３４】
撮像素子１１には、光軸可変素子２８、レンズ系１０を介して被写体画像が照射される。撮像素子１１としては、例えばＣＣＤやＣＭＯＳセンサが用いられる。撮像素子１１は、照射された被写体画像を電気信号に変換する。撮像素子１１は、図示しない所定の信号処理回路を有し、変換した電気信号をさらにディジタル画像データに変換してスイッチ３２のＲＥＣ端子及び圧縮回路２９に出力する。
【００３５】
圧縮回路２９には、撮像素子１１からの出力が供給される。また、圧縮回路２９には、動き検出回路３８が結合される。さらに、圧縮回路２９には、パノラマ合成部１４から合成画像情報が供給される。圧縮回路２９は、撮像素子１１から出力されたディジタル画像データやパノラマ合成部１４から出力された合成画像情報に対して圧縮処理を施して圧縮画像データを生成し、生成した圧縮画像データを記録媒体３０に供給する。
【００３６】
動き検出回路３８は、時系列的に隣接するフィールド間の画像データを比較することで移動ベクトルを求め、この求めた移動ベクトルに基づいて画像データの動き検出を行う。動き検出回路３８からの出力は、圧縮回路２９及び混合回路３７に供給される。撮像装置１においては、動き検出回路３８をパノラマ画像の合成用途及び撮像方向の検出用途として用いることができるため、撮像方向を検出するための回路、すなわち撮像方向検出部１３を小規模かつ効率的に作成することが可能となる。
【００３７】
混合回路３７は、後に詳述する積分回路４０から供給される動き情報と、動き検出回路３８からの出力とを混合し、この混合結果をドライバ３５及び記録媒体３０に供給する。
【００３８】
記録媒体３０は、ディジタル信号を記録可能な記録媒体であり、例えば、ハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープを用いることができる。記録媒体３０には、圧縮回路２９からの圧縮画像データと、レンズ系駆動回路３６からの制御情報と、混合回路３７からの混合結果とが供給される。また、記録媒体３０には、撮像方向検出部１３からの撮像方向情報と、時計部１５からの時刻情報が供給される。
【００３９】
記録媒体３０は、圧縮画像データ毎に供給された制御情報と混合結果とをサブコードデータとして記録する。記録媒体３０で読み出された圧縮画像データ及びサブコードデータは、伸長回路３１に供給される。なお、記録媒体３０には、図１で示す画像用ＲＡＭ１２及び記録媒体１６が含まれる構成としてもよい。
【００４０】
伸長回路３１には、記録媒体３０で読み出された圧縮画像データ及びサブコードデータが供給される。伸長回路３１では、記録媒体３０での記録時に圧縮画像データに対して施された圧縮符号化が解かれる。伸長回路３１は、圧縮符号化が解かれた画像データを再生画像データとしてパノラマ合成部１４に供給する。
【００４１】
パノラマ合成部１４には、伸長回路３１からの再生画像データと、記録媒体３０からのレンズ系駆動回路３６でのレンズ制御情報と、混合回路３７での混合結果のサブコードデータとが供給される。パノラマ合成部１４は、パノラマ画像を合成し、合成したパノラマ画像をスイッチ３２のＰＢ端子と圧縮回路２９とに供給する。
【００４２】
撮像方向検出部１３には、記録媒体３０から複数の動き検出の混合結果情報が供給される。撮像方向検出部１３は、供給された複数の動き検出の混合結果情報に基づいてパノラマ撮影の撮影開始から撮影終了までの撮像方向を検出する。撮像方向検出部１３は、検出した撮影開始から撮影終了までの撮像方向の情報をパノラマ合成部１４で合成される合成画像情報に関連付けて記録媒体１６に供給する。
【００４３】
時計部１５は、撮影時間情報として撮影開始時及び撮影終了時の時刻情報を検出し、検出した時刻情報をパノラマ合成部１４で合成されるパノラマ画像に関連付けて記録媒体１６に供給する。
【００４４】
スイッチ３２では、撮影時に端子ＲＥＣを選択することによって、撮像素子１１で撮影中の画像をビューファインダ３３に対して表示させる。また、スイッチ３２は、撮像素子１１で撮影中の画像をビデオ出力端子３４に対して導出させ、外部のビデオモニタ等で表示させる。パノラマ画像の合成時及びパノラマ画像の再生時には、スイッチ３２においてＰＢ端子が選択され、再生画像データがビデオ出力端子３４に対して導出されると同時に再生画像データがビューファインダ３３に供給される。スイッチ３２では、パノラマ画像の合成時及びパノラマ画像の再生時にＰＢ端子を選択することによって、記録媒体３０から供給される再生画像をビューファインダ３３に表示させる。なお、パノラマ画像の再生時には、パノラマ合成部１４での処理は行わないものとする。
【００４５】
角加速度センサ３９は、例えばジャイロセンサからなり、撮像方向の変化を検出するためのセンサである。角加速度センサ３９には、例えば撮像装置１に搭載されている、いわゆる手ぶれ防止機能のためのセンサを用いることができる。このように角加速度センサ３９の出力を用いることで、ユーザは、動き検出回路３８で移動ベクトルが正しく得られない場合でも、撮影画像の相対的な位置を知ることができる。
【００４６】
積分回路４０は、角加速度センサ３９からの出力を積分して動き情報を得る。この積分回路４０では、角加速度センサ３９による角加速度の検出結果を平均化することで、平均的な動きが生成される。すなわち、積分回路４０は、細かい動きを抑えて動き情報を生成する。積分回路４０は、生成した動き情報を混合回路３７に出力する。
【００４７】
キー入力部４１には、撮像装置１の種々の設定を行うスイッチとともに、パノラマ撮影のＯＮ／ＯＦＦを切り替えるためのスイッチが設けられている。これら各種設定キーによる設定情報がキー入力部４１からシステムコントローラ４２に供給され、例えばＲＡＭに記憶される。撮影者は、例えばキー入力部４１に設けられたパノラマ撮影ＯＮ／ＯＦＦの設定スイッチをＯＮとして、パノラマ撮影を開始する。そして、撮影者は、レンズ系１０を被写体になぞるように向けて撮影することで、合成したパノラマ画像とともに撮影開始時刻及び撮影終了時刻と、撮影開始から撮影終了までの撮像方向に関する情報を記録することができる。
【００４８】
システムコントローラ４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成され、撮像装置１の動作を制御する。システムコントローラ４２は、例えばキー入力部４１から供給された各種設定キーによる設定情報に基づいて動作を制御する。また、システムコントローラ４２は、図示しない所定の時間を設定するためのタイマを有する。また、システムコントローラ４２は、画像間の移動ベクトルに基づいて画像間の移動方向が一定となるような指示をビューファインダ３３の液晶画面内に表示させるようにしてもよい。この指示は、例えば図示しない発音装置を設け、音によって通知するようにしてもよい。
【００４９】
続いて、図１に示す構成を用いた場合のパノラマ画像を合成する処理手順について、図５に示すフローチャートを参照しながら説明する。なお、図４に示すシステムコントローラ４２が、図１における各部の動作を制御するものとして以下説明する。
【００５０】
撮像装置１は、ハードウェアの診断や初期化を行った後、ステップＳ１において、各種撮影パラメータ処理を行う。撮像装置１では、例えば図示しない露出計により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００５１】
ステップＳ２において、システムコントローラ４２は、シャッタボタンが指圧されたかどうかを判断する。つまり、システムコントローラ４２は、シャッタボタンの押圧入力操作に基づく操作信号が生成されたか否かに基づいて、撮影開始のタイミングを識別する。具体的に、システムコントローラ４２が操作信号の生成を識別できた場合（真）には、ステップＳ３の処理に進む。また、システムコントローラ４２が操作信号の生成を識別できなかった場合（偽）には、再びステップＳ１の処理を実行する。
【００５２】
ステップＳ３において、記録媒体１６は、時計部１５から撮影開始時刻を取得する。
【００５３】
ステップＳ４において、撮像装置１では複数回画像を撮影する。例えば、システムコントローラ４２は、ステップＳ１で取得したパラメータを用いてレンズ系１０の絞り系駆動部を調整するとともに撮像素子１１で画像の撮像を実行する。撮像素子１１では、撮像された被写体像が電気信号、例えば撮像信号Ｃ１に変換され、この撮像信号Ｃ１が画像用ＲＡＭ１２に供給される。
【００５４】
ステップＳ５において、撮像方向検出部１３は、移動ベクトルを検出する。具体的に、撮像方向検出部１３は、画像用ＲＡＭ１２に格納された撮像信号Ｃ１と、その前の撮影で抽出された撮像信号からなる合成画像との相対変位を計算して撮影画像間の移動方向及び移動量、すなわち移動ベクトルを検出する。
【００５５】
ステップＳ６において、パノラマ合成部１４は、パノラマ合成処理を実行する。具体的にパノラマ合成部１４は、ステップＳ５で検出された移動ベクトルに基づいて、ステップＳ４で画像用ＲＡＭ１２に格納された撮像信号Ｃ１を順次重ね合わせてパノラマ画像を合成する。
【００５６】
ステップＳ７において、システムコントローラ４２は、シャッタボタンが押し下げ中か否かを判断する。具体的には、システムコントローラ４２は、キー入力部４１における操作信号に基づいて撮影終了のタイミングを識別する。システムコントローラ４２は、押圧操作が継続していると判断した場合（真）には、撮影を継続させるためにステップＳ４の処理に戻り、被写体の撮影を繰り返す。また、システムコントローラ４２は、押圧操作が終了していると判断した場合（偽）には、撮影の終了動作を実行するためにステップＳ８の処理に進む。
【００５７】
ステップＳ８において、記録媒体１６は、時計部１５から撮影終了時刻を取得する。
【００５８】
ステップＳ９において、パノラマ合成部１４は、ステップＳ６で得られたパノラマ画像に対してトリミング処理を実行する。
【００５９】
ステップＳ１０において、撮像方向検出部１３は、ステップＳ５で得られた複数の移動ベクトルに基づいて撮影開始から撮影終了までの撮像方向を検出する。つまり、撮像方向検出部１３は、複数の移動ベクトルに基づいて撮影開始から撮影終了までの１つの撮像方向を検出する。
【００６０】
ステップＳ１１において、記録媒体１６は、ステップＳ９で得られたパノラマ画像と、ステップＳ１０で得られた撮影開始から撮影終了までの撮像方向の情報と、ステップＳ３で得られた撮影開始時刻と、ステップＳ８で得られた撮影終了時刻とを関連付けて記録する。
【００６１】
以上のように、本実施の形態に係る撮像装置１によれば、画面内に時間差を有するパノラマ合成画像に対して撮影開始から撮影終了までの撮像方向及び撮影時刻を関連付けて記録することができる。したがって、本実施の形態に係る撮像装置１によれば、複数のパノラマ画像をスクロール再生する際に、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【００６２】
また、本実施の形態に係る撮像装置１によれば、撮影開始時点では撮影したくなかった物体や人が撮影終了直前に撮影されてしまった場合に、予期しない物体や人が記録された画像からスクロール再生がされてしまうことを防止することができる。つまり、撮像装置１は、視聴者が例えば記録媒体１６に記録したパノラマ画像をＴＶモニタ等でスクロール再生する際に、閲覧したい画像を短時間で効率よく閲覧することを可能とする。
【００６３】
また、本実施の形態に係る撮像装置１によれば、予期しない物体や人が記録されてまった画像データを効率よく削除したい場合に、撮像方向とは逆の方向からスクロール再生を開始することで、予期しない部分の画像データを効率よく削除することが可能となる。
【００６４】
なお、図５に示すフローチャートでは、撮影しながらパノラマ画像を合成する、いわゆるリアルタイムで合成する処理例について説明したが、この例に限定されるものではない。例えば、パノラマ合成部１４は、撮影開始から撮影終了までの画像データが記録媒体１６に格納された後にパノラマ画像を合成するようにしてもよい。
【００６５】
続いて、本実施の形態に係るパノラマ画像を再生する際のスクロール制御を行う再生制御装置の一例について説明する。図６に示すように、再生制御装置５０は、記録媒体５１と、圧縮解凍回路５２と、ＲＡＭ５３と、切り出し回路５４と、制御マイコン５５と、表示用ドライバ５６と、表示部５７とを備える。
【００６６】
記録媒体５１は、ディジタル信号を記録可能な記録媒体であり、例えばハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープ等を用いることができる。記録媒体５１には、例えばＪＰＥＧ等のフォーマットで圧縮されたパノラマ画像とともに、パノラマ撮影に関する撮影情報がパノラマ画像に関連付けられて記録される。
【００６７】
パノラマ撮影に関する撮影情報としては、例えば、パノラマ撮影の撮影開始から撮影終了までの撮像方向、特徴検出により検出された被写体の座標情報、パノラマ撮影の撮影時間情報等が記録される。パノラマ撮影の撮影開始から撮影終了までの撮像方向としては、例えば、上下左右の方向を示す４値化された情報が記録媒体５１に記録される。特徴検出により検出された被写体の座標情報としては、例えば、顔検出により検出された被写体の顔画像に基づく顔座標、具体的には、被写体の両目の位置、鼻の位置、口の位置や両目及び鼻のように複数の器官の位置の情報が記録媒体５１に記録される。なお、被写体は、目、鼻、口など顔の特徴となる情報を有する被写体であれば人物に限定されず、例えば、犬や猫などの動物であってもよい。撮影時間情報としては、例えば、パノラマ撮影の撮影開始時刻や撮影終了時刻が記録媒体５１に記録される。これらの撮影情報は、記録媒体５１においてＥＸＩＦ規格のユーザ領域に記録される。記録媒体５１は、パノラマ画像を圧縮解凍回路５２に供給し、パノラマ画像に関連付けられた撮影情報を制御マイコン５５に出力する。
【００６８】
圧縮解凍回路５２には、記録媒体５１から、例えば、ＪＰＥＧ等のフォーマットで圧縮されたパノラマ合成画像が供給される。圧縮解凍回路５２は、記録媒体５１から供給されたパノラマ合成画像に対して圧縮解凍処理を行い、圧縮解凍処理により解凍したパノラマ画像のデータをＲＡＭ５３に供給する。
【００６９】
ＲＡＭ５３には、圧縮解凍回路５２から圧縮解凍処理後のパノラマ画像のデータが供給される。ＲＡＭ５３は、制御マイコン５５からの指示に基づいて、圧縮解凍回路５２から供給されたパノラマ画像のデータの一部を切り出し回路５４に供給する。
【００７０】
切り出し回路５４は、ＲＡＭ５３から供給されたパノラマ画像のデータに対して所望のサイズに拡大又は縮小する処理を行い、表示部５７に表示するための画像データとする。切り出し回路５４は、生成した画像データを表示用ドライバ５６に供給する。
【００７１】
制御マイコン５５は、記録媒体５１、圧縮解凍回路５２、ＲＡＭ５３、切り出し回路５４、表示用ドライバ５６、及び表示部５７に接続されており、これらの動作を制御する。制御マイコン５５には、記録媒体５１に記録されたパノラマ画像データに関連付けられた撮影情報が供給される。そして、制御マイコン５５は、パノラマ画像データの切り出し領域と、拡大又は縮小する倍率に関する情報とを切り出し回路５４に供給する。
【００７２】
例えば、制御マイコン５５は、切り出し領域に関する情報として、左右又は上下に切り出し座標をシフトさせながら表示部５７にスクロール表示するための指示値を切り出し回路５４に供給する。このように、制御マイコン５５は、後に詳述するように、パノラマ画像に関連付けられた撮影開始から撮影終了までの撮像方向や被写体の座標情報に基づいて、パノラマ画像を再生する際のスクロール方向を決定する。また、制御マイコン５５は、パノラマ画像に関連付けられた撮像方向や被写体の座標情報に基づいて、パノラマ画像をスクロール再生する際のスクロール開始点を決定する。さらに、制御マイコン５５は、被写体の座標情報に基づいて、パノラマ画像を再生する際のスクロール速度を決定する。
【００７３】
すなわち、再生制御装置５０は、パノラマ画像に関連付けられた撮影情報に基づいてパノラマ画像を再生する際のスクロール方向、スクロール開始点、スクロール速度を決定する。したがって、再生制御装置５０は、複数のパノラマ画像を連続してスクロール再生する際に、視聴者が効率よくパノラマ画像を鑑賞することを可能とする。
【００７４】
なお、制御マイコン５５は、被写体の座標情報がパノラマ画像に関連付けて記録媒体５１に記録されていない場合には、この座標情報を検出する処理を行う。例えば、制御マイコン５５は、パノラマ画像から顔画像における基準位置として両目の位置を検出し、検出した両目の位置に基づいて正規化を行い、正規化された顔画像の特徴量として輝度を抽出する。そして、制御マイコン５５は、抽出した顔画像の各部における輝度の値と予め記録されている判定用の情報とに基づいて種々の判定処理を行う。例えば、制御マイコン５５は、大人／子供の判定処理、笑顔／非笑顔の判定処理、登録／非登録の顔であるかの判定処理等を行う。なお、上述した例では、基準位置として両目の位置を用いることとしたが、顔に含まれる両目以外の他の器官を用いるようにしてもよい。例えば、顔に含まれる鼻の位置や、両目及び鼻のように複数の器官の位置を用いることができる。
【００７５】
表示用ドライバ５６には、表示部５７に表示するパノラマ画像のデータの一部が切り出し回路５４から供給される。表示用ドライバ５６は、切り出し回路５４から供給された画像データを表示部５７に供給する。
【００７６】
表示部５７は、例えばＬＣＤで構成され、表示用ドライバ５６から供給された画像データを表示する。
【００７７】
続いて、図６に示す再生制御装置５０による再生制御方法の一例について、図７に示すフローチャートを参照しながら説明する。
【００７８】
再生制御装置５０においては、ハードウェアの診断や初期化を行った後に、ステップＳ２０では、制御マイコン５５は、再生するパノラマ画像を選択する。
【００７９】
ステップＳ２１では、制御マイコン５５は、図示しない操作部における再生ボタンが押圧されたか否かを判定する。すなわち、制御マイコン５５は、再生ボタンの押圧入力操作に基づく操作信号が生成されたか否かに基づいて、再生開始タイミングを識別する。制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２１：真）には、ステップＳ２２の処理に移行する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２１：偽）には、再びステップＳ２０の処理を実行する。
【００８０】
ステップＳ２２では、制御マイコン５５は、選択されたパノラマ画像の読み込み動作を実行する。具体的には、制御マイコン５５は、記録媒体５１に記録されている圧縮されたパノラマ画像の中から、ステップＳ２０で選択されたパノラマ画像を圧縮解凍回路５２により解凍する。そして、制御マイコン５５は、圧縮解凍回路５２により解凍したパノラマ画像をＲＡＭ５３に保存する。
【００８１】
ステップＳ２３では、制御マイコン５５は、パノラマ画像を再生する際のスクロール方向を選択する。具体的に、制御マイコン５５は、ステップＳ２２でＲＡＭ５３に対して読み込み動作を行ったパノラマ画像に関連付けられた撮像方向に関する情報や被写体の座標情報に基づいて、パノラマ画像のスクロール方向を決定する。
【００８２】
スクロール方向を決定する方法の一例として、図８乃至図１０に示すように、パノラマ画像をその長手方向に再生する場合について説明する。
【００８３】
まず、パノラマ撮影の撮影開始から撮影終了までの撮像方向がパノラマ画像に関連付けられている場合には、その撮像方向と同じ方向を再生する際のスクロール方向とする。例えば、制御マイコン５５は、図８に示すパノラマ画像６０においては、撮影方向６１の矢印で示すように、撮影開始が左方であり撮影終了が右方であることを示す情報が関連付けられているため、撮影方向６１と同一方向を再生方向６２として決定する。すなわち、制御マイコン５５は、撮影方向６１と同一方向をスクロール方向として決定する。
【００８４】
また、被写体の座標情報として顔座標がパノラマ画像に関連付けられている場合や、顔座標が予め検出されている場合には、顔座標が左右の端に近い方の端から遠い方の端への方向をスクロール方向とする。すなわち、制御マイコン５５は、被写体の顔座標の位置に近いパノラマ画像の長手方向の一端から他端へとパノラマ画像をスクロール再生させる。例えば、制御マイコン５５は、図９に示すパノラマ画像６０においては、顔座標６４の位置から近い右端から左端への方向を再生方向６５として決定する。
【００８５】
さらに、顔座標及び撮影開始から撮影終了までの撮像方向がパノラマ画像に関連付けられている場合には、顔座標に基づいてスクロール再生の方向を決定する。すなわち、制御マイコン５５は、撮像方向に関する情報よりも顔座標に関する情報を優先させて、スクロール再生の方向を決定する。例えば、制御マイコン５５は、図１０に示すパノラマ画像６０においては、撮影方向６７及び顔座標６８が関連付けられているため、顔座標６８の位置に近いパノラマ画像６０の一端から他端への方向を再生方向６９とする。すなわち、制御マイコン５５は、撮影方向６７ではなく顔座標６８を優先してスクロール方向を決定する。
【００８６】
さらにまた、制御マイコン５５は、複数の顔座標がパノラマ画像に関連付けられており、顔座標に関する重み情報が記録されている場合には、複数の顔座標のうち最も重みの高い顔座標に基づいてスクロール方向を決定する。例えば、制御マイコン５５は、最も重みの高い顔座標、すなわち、優先させる顔座標の中心位置に近いパノラマ画像の長手方向の一端から他端への方向を再生方向とする。顔座標の優先基準としては、例えば、大人と子供との場合は子供、笑顔と非笑顔との場合には笑顔、予め登録されていない顔と登録されている顔との場合には、登録されている顔を優先させることができる。なお、制御マイコン５５は、例えば、複数存在する顔座標の中心から遠い近いパノラマ画像の一端から他端への方向をスクロール方向としてもよい。
【００８７】
また、制御マイコン５５は、パノラマ撮影の撮影時間情報がパノラマ画像６０に関連付けられている場合には、撮像方向及び撮影時間情報に基づいてスクロール方向を決定するようにしてもよい。例えば、制御マイコン５５は、撮影時刻の早い画像から遅い画像の方向をスクロール方向として決定する。
【００８８】
なお、制御マイコン５５は、設定に応じて、例えば、図８の撮影方向６１、図９の再生方向６５、図１０の再生方向６９とは反対方向を再生方向として決定してもよく、また、撮影時刻の遅い画像から早い画像の方向をスクロール方向として決定してもよい。
【００８９】
ステップＳ２４では、制御マイコン５５は、パノラマ画像の全体の中から、再生の初期に表示するエリアの切り出しを行うための初期表示エリアの計算を行う。例えば、図１１に示すように、制御マイコン５５は、ステップＳ２２で読み込み動作を行ったパノラマ画像６０に関連付けられた顔座標７２やパノラマ撮影時の顔検出により得られる顔座標に基づいてスクロール開始点、すなわち、表示エリア７１を決定する。この表示エリア７１の画像が、表示画像７３として表示部５７に表示される。
【００９０】
具体的に、図８に示すパノラマ画像６０においては、左方から右方に撮影されたという撮影方向６１が関連付けられているため、制御マイコン５５は、スクロール再生の開始点を左端の画とする。すなわち、制御マイコン５５は、再生開始画６３をスクロール再生の初期表示エリアとして決定する。なお、制御マイコン５５は、設定に応じて撮影方向６１の終端のエリアを再生開始画としてもよい。
【００９１】
また、制御マイコン５５は、顔座標がパノラマ画像に関連付けられている場合や、顔座標を予め検出している場合には、顔座標の位置から近いパノラマ画像の長手方向の一端をスクロール開始点としてもよい。例えば、制御マイコン５５は、図９に示すパノラマ画像においては、顔座標６４の位置が長手方向の右端に近いため、この右端を再生開始画６６として決定する。なお、制御マイコン５５は、設定に応じて顔座標６４の位置が左右の端に遠い方の一端を再生開始画６６として決定するようにしてもよい。
【００９２】
さらに、制御マイコン５５は、顔座標及び撮像方向の情報がパノラマ画像に関連付けられている場合には、顔座標に基づいてスクロール開始点を決定する。すなわち、制御マイコン５５は、顔座標情報を撮像方向よりも優先させて再生開始画を決定する。例えば、図１０に示すパノラマ画像６０においては、撮影方向６７及び顔座標６８が存在するため、顔座標６８の位置に近いパノラマ画像６０の長手方向の一端を再生開始画７０とする。なお、制御マイコン５５は、設定に応じて顔座標６８の位置から遠い方の一端を再生開始画としてもよい。
【００９３】
さらにまた、制御マイコン５５は、複数の顔座標がパノラマ画像に関連付けられており、顔座標に関する重み情報が記録されている場合には、複数の顔座標のうち最も重みの高い顔座標に基づいてスクロール開始点を決定する。例えば、制御マイコン５５は、最も重みの高い顔座標、すなわち、優先させる顔座標に近いパノラマ画像の長手方向の一端をスクロール開始点とする。顔座標の優先基準としては、例えば上述したように、大人と子供との場合は子供、笑顔と非笑顔との場合には笑顔、予め登録されていない顔と登録されている顔との場合には、登録されている顔を優先させる。なお、制御マイコン５５は、例えば、複数存在する顔座標の中心から遠いパノラマ画像の長手方向の一端をスクロール開始点としてもよい。
【００９４】
ステップＳ２５では、制御マイコン５５は、再生停止ボタンが押圧されたか否かを判定することで、スクロール再生の再生停止タイミングを識別する。すなわち、制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２５：真）には、パノラマ再生を停止して、処理を終了する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２５：偽）には、ステップＳ７の処理に移行する。
【００９５】
ステップＳ２６では、制御マイコン５５は、操作部における次の画像へスキップさせるためのボタンが押圧されたか否かを判定することで、次のパノラマ画像の表示にスキップするタイミングを識別する。すなわち、制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２６：真）には、ステップＳ２７の動作に移行する。制御マイコン５５は、現在表示中のパノラマ画像の再生を停止して、次の画像の読み込み動作に移行する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２６：偽）には、ステップＳ２８の動作に移行する。つまり、制御マイコン５５は、現在選択中のパノラマ画像の表示へ移行する。
【００９６】
ステップＳ２７では、制御マイコン５５は、現在選択中のパノラマ画像の次のパノラマ画像の読み出し操作を行う。次のパノラマ画像とは、パノラマ画像に関連付けられたファイル番号がある場合、現在選択中のパノラマ画像のファイル番号よりも１つファイル番号が大きいパノラマ画像等を意味する。ファイル番号よりも１つファイル番号が大きいファイル番号のパノラマ画像が存在しない場合には、２つファイル番号が大きいパノラマ画像を意味する。また、１つファイル番号が大きいパノラマ画像及び２つファイル番号が大きいパノラマ画像が存在しない場合には、３つ以上の番号についても同様な選択を行うものとする。このような選択動作を行う中で、選択できるファイル番号の最大番号になった場合には、次の画像の候補として最も小さいファイル番号のパノラマ画像を選択する。ステップＳ２７では、制御マイコン５５は、ステップＳ２２と同様に、記録媒体５１に保存されている圧縮されたパノラマ画像から、前回選択されていた次のパノラマ画像の解凍を圧縮解凍回路５２で行う。また、制御マイコン５５は、圧縮解凍回路５２により解凍されたパノラマ画像をＲＡＭ５３に保存する。
【００９７】
ステップＳ２８では、パノラマ画像の切り出し画像を表示する。制御マイコン５５は、切り出しエリアのパノラマ画像の一部をＲＡＭ５３から切り出し回路５４に読み込ませる。そして、切り出し回路５４は、表示部５７において最適なサイズにパノラマ画像を拡大又は縮小させる。表示部５７において最適なサイズとは、例えば、ハイビジョン再生を行う場合には、１９２０×１０８０といった定型フォーマットサイズを意味する。切り出し回路５４で定型サイズ化されたパノラマ画像は、表示用ドライバ５６でＤ／Ａ変換等を行い、表示部５７にパノラマ画像の一部を表示する。なお、ステップＳ２８では、１枚目の表示においては、ステップＳ２４で計算されたパノラマ切り出しエリアを元にするが、２枚目以降の表示においては、ステップＳ２９で計算されたエリアを元にする。
【００９８】
ステップＳ２９では、切りだし画像をシフトさせる。すなわち、制御マイコン５５は、切り出し画像のシフト量やシフトのタイミングを制御することで、現在選択されている切り出しエリアに対して、ステップＳ２３で選択された上下左右のいずれかの方向に切り出し画像をシフトさせる。
【００９９】
制御マイコン５５は、選択中の座標に顔座標が含まれる場合には、通常よりも表示エリアのシフト量を少なくする。例えば、図１２に示すように、選択中の座標に顔座標７４が含まれる場合には、制御マイコン５５は、顔座標７４が表示エリア７５に含まれる間のシフトのタイミングを遅くして、ゆっくりとしたスクロール表示を行うようにしてもよい。このように、制御マイコン５５は、視聴者が閲覧したい画像が表示されているときのスクロール速度を遅くすることで、効率の良い閲覧を可能とする。
【０１００】
また、制御マイコン５５は、スクロール速度の制御方法として、種々の方法を適用することが可能である。例えば、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を遅くし、画面の中心を通過すると段階的にスクロール速度を速くするようにしてもよい。さらに、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を遅くするとともに顔座標の部分を段階的に拡大表示させ、かつ、画面の中心を通過すると段階的にスクロール速度を速くするとともに顔座標の部分を段階的に縮小表示させるようにしてもよい。また、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を速くするとともに顔座標の部分を段階的に拡大表示させ、かつ、画面の中心を通過すると、段階的にスクロール速度を遅くするとともに顔座標の部分を段階的に縮小表示させるようにしてもよい。
【０１０１】
続いて、ステップＳ３０では、パノラマ画像の端の検出を行う。具体的には、制御マイコン５５は、ステップＳ２９で切り出し座標のシフトを行った後、表示エリアがパノラマ画像の上下左右の端まで到達したかどうかの検出を行う。例えば、制御マイコン５５は、図１３に示すパノラマ画像６０において、表示エリア７６が端まで到達している場合（ステップＳ３０：真）には、ステップＳ２７に進み、次のパノラマ画像の読み込み動作に移行する。また、制御マイコン５５は、表示エリアが端まで到達していない場合（ステップＳ３０：偽）には、ステップＳ２５の処理、すなわち、再生停止ボタンの押圧検出動作に移行する。
【０１０２】
このように、再生制御装置５０によれば、複数のパノラマ画像を連続スクロール再生する際に、ユーザが閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【０１０３】
具体的には、撮影開始時点でユーザが図３（ａ）に示すようなパノラマ画像２５を撮影したい場合に、図３（ｂ）に示すように撮影終了直前に撮影したくなかった予期しない物体２７が撮影されてしまったとする。この場合、再生制御装置５０によれば、スクロール再生の方向やスクロール開始点を適宜変えることで、パノラマ画像２６が予期しない物体２７からスクロール再生されてしまうのを防止することができる。
【０１０４】
また、再生制御装置５０によれば、予期しない物体や人が記録されてしまった画像を効率よく削除したい場合には、撮像方向とは逆方向からスクロール再生を開始することで、効率良く失敗画像を削除することが可能となる。このように、失敗画像を削除する際には、パノラマ画像全体を削除するようにしてもよいし、ユーザにより指定された部分の画像を削除することも可能である。
【０１０５】
また、再生制御装置５０によれば、顔等のユーザがより注視したいと思われる画像を再生する際のスクロール速度を遅くすることで、ユーザにとってストレスの少ない閲覧が可能となる。
【０１０６】
また、本実施の形態において説明した一連の処理は、ハードウェア又はソフトウェア或いは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０７】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいは、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ，ＭＯディスク，ＤＶＤ、磁気ディスク、半導体メモリ等のリムーバブル記録媒体に、一時的又は永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【符号の説明】
【０１０９】
１０ レンズ系、１１ 撮像素子、１２ 画像用ＲＡＭ、１３ 撮像方向検出部、１４ パノラマ合成部、１５ 時計部、１６ 記録媒体、２８ 光軸可変素子、２９ 圧縮回路、３０ 記録媒体、３１ 伸長回路、３２ スイッチ、３３ ビューファインダ、３４ ビデオ出力端子、３５ ドライバ、３６ レンズ系駆動回路、３７ 混合回路、３８ 動き検出回路、３９ 角加速度センサ、４０ 積分回路、４１ キー入力部、４２ システムコントローラ、５０ 再生制御装置、５１ 記録媒体、５２ 圧縮解凍回路、５３ ＲＡＭ、５４ 切り出し回路、５５ 制御マイコン、５６ 表示用ドライバ、５７ 表示部
【技術分野】
【０００１】
本発明は、パノラマ画像を連続して鑑賞するのに適した再生制御装置及び再生制御方法並びにプログラムに関する。
【背景技術】
【０００２】
従来広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光をＣＣＤ（Charge Coupled Device）等の個体撮像素子により画像信号に変換し、この画像信号を記録媒体に記録し、記録した画像信号を再生することができる。また、多くの電子スチルカメラは、撮像した静止画像を表示するモニタを備え、記録した静止画像のうち特定のものを選択して表示する。このような電子スチルカメラは、１回の撮影での撮影範囲がレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を超えた広範囲の撮影ができないため、近年パノラマ状の画像を撮影する種々のカメラシステムが提案されている。
【０００３】
例えば、このカメラシステムは、大別すると広い視野を複数レンズで一度に撮影する多眼式と、単眼レンズを用いて撮像方向を順にシフトさせつつ個々の画像に分けて連続撮影する単眼式とに分類される。多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価となる欠点がある。
【０００４】
これに対して単眼式のカメラシステムは、比較的安価にパノラマ画像を撮影することができ、撮像方向をシフトさせつつ撮影する方法としていくつかの方法が提案されている。例えば、手で撮像系を一定の速度でシフト又は回転させる方法（例えば、特許文献１参照。）や、手で撮像系をシフト又は回転させる動作と静止とを繰り返す方法（例えば、特許文献２参照。）や、ステッピングモータ等を用いて撮像系のシフトや回転、静止をする方法（例えば、特許文献３参照）がある。
【０００５】
また、以上のような撮影方法で撮影されたパノラマ画像の鑑賞方法として、横長のプリント方法（例えば、特許文献４参照）やテレビモニタ等によるスクロール再生（例えば、特許文献５参照）が提案されている。例えば、テレビモニタにパノラマ画像を表示させる場合には、パノラマ画像の全体を表示させようとすると、画面内の一部領域が横長に小さく表示されるため、細部を確認するのが困難である。また、複数枚のパノラマ画像を自動的に切り換えて表示させたい場合には、各パノラマ画像が横長に小さく表示されるため、細部を確認するのが困難である。そこで、複数枚のパノラマ画像を連続してテレビモニタで閲覧する際等に各パノラマ画像をスクロール再生させることで、パノラマ画像全体を細部に亘って鑑賞することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−８８７５４号公報
【特許文献２】特開平１１−８８８１１号公報
【特許文献３】特開２００５−３３３３９６号公報
【特許文献４】特開平７−２１２６９３号公報
【特許文献５】特開２００２−７７８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至特許文献３に記載された方法では、撮影時刻の異なる画像を合成するため、パノラマ合成画の画面内に時間差が生じてしまう。したがって、１つの撮影時刻をパノラマ合成画に関連付けて記録しても、正確にパノラマ撮影に要した時刻を記録したことにならず、パノラマ合成画内における撮影時刻の推移及び方向がわからないという問題が生じる。
【０００８】
また、従来の方法では、スクロール再生の決定が一意の方法のみであるため、効率良くパノラマ画像を連続して鑑賞するのには適していない。
【０００９】
本発明は、上記従来の課題を解決するものであり、効率よくパノラマ画像を連続して鑑賞するのに適した再生制御装置及び再生制御方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
すなわち、本発明に係る再生制御装置は、撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読出し部と、上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定部とを備える。
【００１１】
また、本発明に係る再生制御方法及びプログラムは、撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程とを有する。
【発明の効果】
【００１２】
本発明によれば、複数のパノラマ画像をスクロール再生する際に、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に係る撮像装置の構成例を示すブロック図である。
【図２】トリミング処理の一例を説明するための模式図である。
【図３】（ａ）撮影開始時の被写体、（ｂ）撮影終了直前の被写体をそれぞれ再生する際の撮像方向を説明するための模式図である。
【図４】本実施の形態に係る撮像装置の構成例を示すブロック図である。
【図５】パノラマ画像を合成する処理手順を説明するためのフローチャートである。
【図６】本実施の形態に係る再生制御装置の構成例を示すブロック図である。
【図７】パノラマ画像のスクロール方法の一例を説明するためのフローチャートである。
【図８】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図９】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１０】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１１】パノラマ画像のスクロール方法の一例を説明するための模式図である。
【図１２】パノラマ画像をスクロールする速度の一例を説明するための模式図である。
【図１３】パノラマ画像のスクロール方法を説明するための模式図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、本発明を適用した具体的な実施形態について説明する。図１に示すように、撮像装置１は、レンズ系１０、撮像素子１１、画像用ＲＡＭ１２、撮像方向検出部１３、パノラマ合成部１４、時計部１５及び記録媒体１６を備える。また、撮像装置１は、図示しないが、例えばステッピングモータ等のように、撮像部を旋回させるための駆動源を備えている。
【００１５】
撮像素子１１は、例えばＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。撮像素子１１では、レンズ系１０を介して照射された被写体画像が電気信号に変換される。また、撮像素子１１は、図示しない所定の信号処理回路を有し、電気信号に変換した被写体画像をさらにディジタル画像データに変換して画像用ＲＡＭ１２に出力する。
【００１６】
画像用ＲＡＭ１２には、撮像素子１１から出力された画像データが供給される。画像用ＲＡＭ１２は、複数毎の画像データを格納し、この格納した画像データを撮像方向検出部１３及びパノラマ合成部１４に供給する。
【００１７】
撮像方向検出部１３には、画像用ＲＡＭ１２から画像データが供給される。撮像方向検出部１３は、パノラマ合成処理を行うためのデータとして、連続する複数の画像データ間の撮像方向と移動量、すなわち、個々の画像データ間の移動ベクトルを検出する。そして、撮像方向検出部１３は、検出した移動ベクトルをパノラマ合成部１４に供給する。撮像方向検出部１３は、例えば時系列的に隣接するフィールド間の画像データを比較することで移動ベクトルを検出する。
【００１８】
撮像方向検出部１３は、画像データ間の移動量の大きさを検出する際に、撮影開始から撮影終了までの撮像方向を１つの撮像方向として検出するために、移動量を平均化する。また、撮像方向検出部１３は、画像データ間の移動量を平均化する際に、移動量が所定量以上のものを除外してから移動量を平均化するようにしてもよい。また、撮像方向検出部１３は、画像データ間の移動量を画像データ毎に累積する。撮像方向検出部１３は、画像データ間の移動量を累積する際に、移動量が所定の閾値以上のものを除外するようにしてもよい。
【００１９】
撮像方向検出部１３は、検出した移動ベクトルに基づいてパノラマ撮影の撮影開始から撮影終了までの撮像方向を検出する。そして、撮像方向検出部１３は、検出した撮像方向を、いくつかの方向にコード化する。すなわち、撮像方向検出部１３は、撮像方向をいくつかの方向に方向分けする。例えば、撮像方向検出部１３は、検出した撮像方向を上下左右の４値にコード化する。このように、撮像方向検出部１３は、検出した撮像方向をコード化することで、記録媒体１６に供給するデータ量を削減することが可能となる。
【００２０】
そして、撮像方向検出部１３は、パノラマ合成部１４で合成されるパノラマ画像に関連付けて、コード化したパノラマ撮影の撮影開始から撮影終了までの撮像方向を１つの撮像方向として記録媒体１６に供給する。
【００２１】
このように、撮像方向検出部１３は、パノラマ画像の合成用途及び撮像方向の検出用途として用いることができる。したがって、撮像装置１においては、パノラマ画像の合成とパノラマ画像に関連付けられた撮像方向と撮影時間情報を記録する装置を安価で作成することが可能となる。
【００２２】
パノラマ合成部１４には、画像用ＲＡＭ１２から画像データが供給される。また、パノラマ合成部１４には、撮像方向検出部１３からパノラマ合成処理を行うためのデータとして画像データ間の移動ベクトルが供給される。パノラマ合成部１４は、撮像方向検出部１３から供給された移動ベクトルと画像用ＲＡＭ１２から供給された複数の画像データに基づいてパノラマ画像を合成する。
【００２３】
例えば、パノラマ合成部１４は、撮像素子の撮像面に得られた画像の一部から所定幅の読み出し範囲にある部分画像をお互いの重複範囲が互いに重ね合うように接合して合成画像を生成する（例えば、特許文献３参照）。パノラマ合成部１４は、合成したパノラマ画像を記録媒体１６に供給する。
【００２４】
また、パノラマ合成部１４は、複数枚の画像データからなるパノラマ画像に対してトリミング処理を行う。このトリミング処理とは、画像データの一部分の画像領域、例えば中央付近の領域画像を切り出す抽出処理である。パノラマ合成部１４は、例えば図２に示す画像データ２０、画像データ２１、画像データ２２に対してトリミング処理を行うことで、画像データの必要部分を抽出して良好なパノラマ画像を合成する。
【００２５】
パノラマ合成部１４は、例えば図２（ａ）の領域２３に示すように、矩形状のパノラマ画像として抜き出すようにトリミング処理を施す。また、パノラマ合成部１４は、連続する画像データに傾きがある場合、つまり、ユーザが撮像装置１を水平に保たずに、撮像装置１を傾けて撮影をした場合には、図２（ｂ）の領域２４に示すように、斜め方向にトリミング処理を施してもよい。
【００２６】
時計部１５は、撮影開始から撮影終了までの撮影時間情報を検出する計時手段を構成する。時計部１５は、例えばパノラマ撮影の撮影開始時刻及び撮影終了時刻を検出する。そして、時計部１５は、検出した撮影開始時刻及び撮影終了時刻をパノラマ合成部１４で合成されるパノラマ画像に関連付けて記録媒体１６に供給する。なお、時計部１５では、撮影時間情報として、例えば撮影画像毎の時刻をそれぞれ検出してもよいし、ある撮影時刻と撮影時刻との間の長さを検出するようにしてもよい。
【００２７】
記録媒体１６は、ディジタル信号を記録可能な記録媒体であり、例えば、ハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープを用いることができる。記録媒体１６では、パノラマ合成部１４で合成されたパノラマ画像と、撮像方向検出部１３で検出されたパノラマ撮影の撮影開始から撮影終了までの撮像方向と、時計部１５で検出した撮影開始時刻及び撮影終了時刻が供給される。そして、記録媒体１６は、１つの撮像方向として撮影開始から撮影終了までの撮像方向と、パノラマ撮影の撮影開始時刻及び撮影終了時刻とをパノラマ画像に関連付けて記録する。つまり、記録媒体１６は、撮像方向として、合成したパノラマ画像に対して１つの撮像方向を記録する。
【００２８】
このように、記録媒体１６では、撮影開始時刻及び撮影終了時刻とともに撮影開始から撮影終了までの１つの撮像方向をパノラマ画像に関連付けて記録することで、パノラマ撮影の撮影時刻を正確に知ることができる。つまり、撮像装置１では、パノラマ撮影の撮像方向を撮影開始時刻及び撮影終了時刻とともに記録媒体１６に記録することで、より正確な時刻を知ることが可能となる。したがって、撮像装置１は、視聴者が例えば図３（ｂ）に示すように、画面内に時間差を有するパノラマ画像２６をＴＶモニタ等でスクロール再生する際に、閲覧したい画像を短時間で効率よく閲覧することを可能とする。
【００２９】
つまり、撮像装置１によれば、パノラマ撮影の撮影開始時刻、撮影終了時刻、及び撮像方向に基づいてスクロール再生の方向や開始点を適宜変えることで、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。例えば、撮影開始時点でユーザが図３（ａ）に示すようなパノラマ画像２５を撮影したい場合に、図３（ｂ）に示すように撮影終了直前に撮影したくなかった予期しない物体２７が撮影されてしまったとする。この場合、撮像装置１によれば、スクロール再生の方向や開始点を適宜変えることで、パノラマ画像２６が予期しない物体２７からスクロール再生されてしまうことを防止することができる。つまり、撮像装置１では、パノラマ画像２６を容易に図３（ｂ）の矢印で示す撮像方向に沿ってスクロール再生することが可能となる。
【００３０】
また、記録媒体１６では、パノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報がＥＸＩＦ（Exchangeable Image File Format）規格のユーザ領域に記録される。ＥＸＩＦ規格においては、付帯情報として撮影条件以外にユーザ領域が設けられており、ユーザ又は機器で独自定義の情報を記録することができる。なお、撮像装置１においては、ユーザ領域以外の領域、すなわち未定義領域に新たな定義を与える形でパノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報を記録するようにしてもよい。
【００３１】
また、記録媒体１６には、例えば時計部１５で検出した撮影開始時刻ととともに撮影時間を記録して、撮影終了時刻を記録しないようにしてもよい。さらに、記録媒体１６には、撮影画像毎の時刻又は撮影画像間の平均時間をパノラマ合成部１４でのパノラマ合成に用いられた画像データの撮影枚数とともに記録してもよい。さらにまた、記録媒体１６には、パノラマ合成部１４でのパノラマ画像の合成に用いられた画像データの撮影時刻を全て記録するようにしてもよい。また、記録媒体１６には、撮像装置１が静止した状態で撮影された画像データを記録するようにしてもよい。また、記録媒体１６には、画像データに含まれる被写体の特徴検出により被写体の座標情報を検出し、この座標情報をパノラマ画像に関連付けて記録するようにしてもよい。例えば、記録媒体１６には、パノラマ撮影の撮影開始時刻、撮影終了時刻、撮像方向に関する情報とともに、図示しない顔検出部により検出した被写体の顔画像に基づく顔座標をパノラマ画像に関連付けて記録する。
【００３２】
続いて、撮像装置１の他の実施形態について図４を用いて説明する。なお、図１に示す構成と同一のものについては、同一の符号を付して説明するものとする。
【００３３】
光軸可変素子２８は、例えばシフトレンズ方式又はミラーブロック方式のものが用いられ、ドライバ３５によって制御される。レンズ系１０は、アイリス、フォーカス、ズーム等の光学系の調節を行う。レンズ系１０で行われる調節は、レンズ系駆動回路３６によってそれぞれ制御される。例えば、パノラマ画像の撮影時には、少なくとも撮像素子１１の電子シャッタが開いている間、撮像装置１の移動を打ち消す方向に光軸が変化する。また、電子シャッタが閉じている間、撮像装置１の動きの略中心付近に光軸が戻るように制御される。これらの制御は、後に詳述するシステムコントローラ４２の制御に基づいて自動で行われる。なお、光学系の調節は、自動で行うことも可能である。撮像装置１では、このような制御に基づいて、レンズ系駆動回路３６から制御情報が出力され、システムコントローラ４２及び記録媒体３０に供給される。制御情報としては、例えばアイリス、フォーカス、ズームのそれぞれの値がレンズ系駆動回路３６から出力される。
【００３４】
撮像素子１１には、光軸可変素子２８、レンズ系１０を介して被写体画像が照射される。撮像素子１１としては、例えばＣＣＤやＣＭＯＳセンサが用いられる。撮像素子１１は、照射された被写体画像を電気信号に変換する。撮像素子１１は、図示しない所定の信号処理回路を有し、変換した電気信号をさらにディジタル画像データに変換してスイッチ３２のＲＥＣ端子及び圧縮回路２９に出力する。
【００３５】
圧縮回路２９には、撮像素子１１からの出力が供給される。また、圧縮回路２９には、動き検出回路３８が結合される。さらに、圧縮回路２９には、パノラマ合成部１４から合成画像情報が供給される。圧縮回路２９は、撮像素子１１から出力されたディジタル画像データやパノラマ合成部１４から出力された合成画像情報に対して圧縮処理を施して圧縮画像データを生成し、生成した圧縮画像データを記録媒体３０に供給する。
【００３６】
動き検出回路３８は、時系列的に隣接するフィールド間の画像データを比較することで移動ベクトルを求め、この求めた移動ベクトルに基づいて画像データの動き検出を行う。動き検出回路３８からの出力は、圧縮回路２９及び混合回路３７に供給される。撮像装置１においては、動き検出回路３８をパノラマ画像の合成用途及び撮像方向の検出用途として用いることができるため、撮像方向を検出するための回路、すなわち撮像方向検出部１３を小規模かつ効率的に作成することが可能となる。
【００３７】
混合回路３７は、後に詳述する積分回路４０から供給される動き情報と、動き検出回路３８からの出力とを混合し、この混合結果をドライバ３５及び記録媒体３０に供給する。
【００３８】
記録媒体３０は、ディジタル信号を記録可能な記録媒体であり、例えば、ハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープを用いることができる。記録媒体３０には、圧縮回路２９からの圧縮画像データと、レンズ系駆動回路３６からの制御情報と、混合回路３７からの混合結果とが供給される。また、記録媒体３０には、撮像方向検出部１３からの撮像方向情報と、時計部１５からの時刻情報が供給される。
【００３９】
記録媒体３０は、圧縮画像データ毎に供給された制御情報と混合結果とをサブコードデータとして記録する。記録媒体３０で読み出された圧縮画像データ及びサブコードデータは、伸長回路３１に供給される。なお、記録媒体３０には、図１で示す画像用ＲＡＭ１２及び記録媒体１６が含まれる構成としてもよい。
【００４０】
伸長回路３１には、記録媒体３０で読み出された圧縮画像データ及びサブコードデータが供給される。伸長回路３１では、記録媒体３０での記録時に圧縮画像データに対して施された圧縮符号化が解かれる。伸長回路３１は、圧縮符号化が解かれた画像データを再生画像データとしてパノラマ合成部１４に供給する。
【００４１】
パノラマ合成部１４には、伸長回路３１からの再生画像データと、記録媒体３０からのレンズ系駆動回路３６でのレンズ制御情報と、混合回路３７での混合結果のサブコードデータとが供給される。パノラマ合成部１４は、パノラマ画像を合成し、合成したパノラマ画像をスイッチ３２のＰＢ端子と圧縮回路２９とに供給する。
【００４２】
撮像方向検出部１３には、記録媒体３０から複数の動き検出の混合結果情報が供給される。撮像方向検出部１３は、供給された複数の動き検出の混合結果情報に基づいてパノラマ撮影の撮影開始から撮影終了までの撮像方向を検出する。撮像方向検出部１３は、検出した撮影開始から撮影終了までの撮像方向の情報をパノラマ合成部１４で合成される合成画像情報に関連付けて記録媒体１６に供給する。
【００４３】
時計部１５は、撮影時間情報として撮影開始時及び撮影終了時の時刻情報を検出し、検出した時刻情報をパノラマ合成部１４で合成されるパノラマ画像に関連付けて記録媒体１６に供給する。
【００４４】
スイッチ３２では、撮影時に端子ＲＥＣを選択することによって、撮像素子１１で撮影中の画像をビューファインダ３３に対して表示させる。また、スイッチ３２は、撮像素子１１で撮影中の画像をビデオ出力端子３４に対して導出させ、外部のビデオモニタ等で表示させる。パノラマ画像の合成時及びパノラマ画像の再生時には、スイッチ３２においてＰＢ端子が選択され、再生画像データがビデオ出力端子３４に対して導出されると同時に再生画像データがビューファインダ３３に供給される。スイッチ３２では、パノラマ画像の合成時及びパノラマ画像の再生時にＰＢ端子を選択することによって、記録媒体３０から供給される再生画像をビューファインダ３３に表示させる。なお、パノラマ画像の再生時には、パノラマ合成部１４での処理は行わないものとする。
【００４５】
角加速度センサ３９は、例えばジャイロセンサからなり、撮像方向の変化を検出するためのセンサである。角加速度センサ３９には、例えば撮像装置１に搭載されている、いわゆる手ぶれ防止機能のためのセンサを用いることができる。このように角加速度センサ３９の出力を用いることで、ユーザは、動き検出回路３８で移動ベクトルが正しく得られない場合でも、撮影画像の相対的な位置を知ることができる。
【００４６】
積分回路４０は、角加速度センサ３９からの出力を積分して動き情報を得る。この積分回路４０では、角加速度センサ３９による角加速度の検出結果を平均化することで、平均的な動きが生成される。すなわち、積分回路４０は、細かい動きを抑えて動き情報を生成する。積分回路４０は、生成した動き情報を混合回路３７に出力する。
【００４７】
キー入力部４１には、撮像装置１の種々の設定を行うスイッチとともに、パノラマ撮影のＯＮ／ＯＦＦを切り替えるためのスイッチが設けられている。これら各種設定キーによる設定情報がキー入力部４１からシステムコントローラ４２に供給され、例えばＲＡＭに記憶される。撮影者は、例えばキー入力部４１に設けられたパノラマ撮影ＯＮ／ＯＦＦの設定スイッチをＯＮとして、パノラマ撮影を開始する。そして、撮影者は、レンズ系１０を被写体になぞるように向けて撮影することで、合成したパノラマ画像とともに撮影開始時刻及び撮影終了時刻と、撮影開始から撮影終了までの撮像方向に関する情報を記録することができる。
【００４８】
システムコントローラ４２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成され、撮像装置１の動作を制御する。システムコントローラ４２は、例えばキー入力部４１から供給された各種設定キーによる設定情報に基づいて動作を制御する。また、システムコントローラ４２は、図示しない所定の時間を設定するためのタイマを有する。また、システムコントローラ４２は、画像間の移動ベクトルに基づいて画像間の移動方向が一定となるような指示をビューファインダ３３の液晶画面内に表示させるようにしてもよい。この指示は、例えば図示しない発音装置を設け、音によって通知するようにしてもよい。
【００４９】
続いて、図１に示す構成を用いた場合のパノラマ画像を合成する処理手順について、図５に示すフローチャートを参照しながら説明する。なお、図４に示すシステムコントローラ４２が、図１における各部の動作を制御するものとして以下説明する。
【００５０】
撮像装置１は、ハードウェアの診断や初期化を行った後、ステップＳ１において、各種撮影パラメータ処理を行う。撮像装置１では、例えば図示しない露出計により識別された明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００５１】
ステップＳ２において、システムコントローラ４２は、シャッタボタンが指圧されたかどうかを判断する。つまり、システムコントローラ４２は、シャッタボタンの押圧入力操作に基づく操作信号が生成されたか否かに基づいて、撮影開始のタイミングを識別する。具体的に、システムコントローラ４２が操作信号の生成を識別できた場合（真）には、ステップＳ３の処理に進む。また、システムコントローラ４２が操作信号の生成を識別できなかった場合（偽）には、再びステップＳ１の処理を実行する。
【００５２】
ステップＳ３において、記録媒体１６は、時計部１５から撮影開始時刻を取得する。
【００５３】
ステップＳ４において、撮像装置１では複数回画像を撮影する。例えば、システムコントローラ４２は、ステップＳ１で取得したパラメータを用いてレンズ系１０の絞り系駆動部を調整するとともに撮像素子１１で画像の撮像を実行する。撮像素子１１では、撮像された被写体像が電気信号、例えば撮像信号Ｃ１に変換され、この撮像信号Ｃ１が画像用ＲＡＭ１２に供給される。
【００５４】
ステップＳ５において、撮像方向検出部１３は、移動ベクトルを検出する。具体的に、撮像方向検出部１３は、画像用ＲＡＭ１２に格納された撮像信号Ｃ１と、その前の撮影で抽出された撮像信号からなる合成画像との相対変位を計算して撮影画像間の移動方向及び移動量、すなわち移動ベクトルを検出する。
【００５５】
ステップＳ６において、パノラマ合成部１４は、パノラマ合成処理を実行する。具体的にパノラマ合成部１４は、ステップＳ５で検出された移動ベクトルに基づいて、ステップＳ４で画像用ＲＡＭ１２に格納された撮像信号Ｃ１を順次重ね合わせてパノラマ画像を合成する。
【００５６】
ステップＳ７において、システムコントローラ４２は、シャッタボタンが押し下げ中か否かを判断する。具体的には、システムコントローラ４２は、キー入力部４１における操作信号に基づいて撮影終了のタイミングを識別する。システムコントローラ４２は、押圧操作が継続していると判断した場合（真）には、撮影を継続させるためにステップＳ４の処理に戻り、被写体の撮影を繰り返す。また、システムコントローラ４２は、押圧操作が終了していると判断した場合（偽）には、撮影の終了動作を実行するためにステップＳ８の処理に進む。
【００５７】
ステップＳ８において、記録媒体１６は、時計部１５から撮影終了時刻を取得する。
【００５８】
ステップＳ９において、パノラマ合成部１４は、ステップＳ６で得られたパノラマ画像に対してトリミング処理を実行する。
【００５９】
ステップＳ１０において、撮像方向検出部１３は、ステップＳ５で得られた複数の移動ベクトルに基づいて撮影開始から撮影終了までの撮像方向を検出する。つまり、撮像方向検出部１３は、複数の移動ベクトルに基づいて撮影開始から撮影終了までの１つの撮像方向を検出する。
【００６０】
ステップＳ１１において、記録媒体１６は、ステップＳ９で得られたパノラマ画像と、ステップＳ１０で得られた撮影開始から撮影終了までの撮像方向の情報と、ステップＳ３で得られた撮影開始時刻と、ステップＳ８で得られた撮影終了時刻とを関連付けて記録する。
【００６１】
以上のように、本実施の形態に係る撮像装置１によれば、画面内に時間差を有するパノラマ合成画像に対して撮影開始から撮影終了までの撮像方向及び撮影時刻を関連付けて記録することができる。したがって、本実施の形態に係る撮像装置１によれば、複数のパノラマ画像をスクロール再生する際に、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【００６２】
また、本実施の形態に係る撮像装置１によれば、撮影開始時点では撮影したくなかった物体や人が撮影終了直前に撮影されてしまった場合に、予期しない物体や人が記録された画像からスクロール再生がされてしまうことを防止することができる。つまり、撮像装置１は、視聴者が例えば記録媒体１６に記録したパノラマ画像をＴＶモニタ等でスクロール再生する際に、閲覧したい画像を短時間で効率よく閲覧することを可能とする。
【００６３】
また、本実施の形態に係る撮像装置１によれば、予期しない物体や人が記録されてまった画像データを効率よく削除したい場合に、撮像方向とは逆の方向からスクロール再生を開始することで、予期しない部分の画像データを効率よく削除することが可能となる。
【００６４】
なお、図５に示すフローチャートでは、撮影しながらパノラマ画像を合成する、いわゆるリアルタイムで合成する処理例について説明したが、この例に限定されるものではない。例えば、パノラマ合成部１４は、撮影開始から撮影終了までの画像データが記録媒体１６に格納された後にパノラマ画像を合成するようにしてもよい。
【００６５】
続いて、本実施の形態に係るパノラマ画像を再生する際のスクロール制御を行う再生制御装置の一例について説明する。図６に示すように、再生制御装置５０は、記録媒体５１と、圧縮解凍回路５２と、ＲＡＭ５３と、切り出し回路５４と、制御マイコン５５と、表示用ドライバ５６と、表示部５７とを備える。
【００６６】
記録媒体５１は、ディジタル信号を記録可能な記録媒体であり、例えばハードディスク、光磁気ディスク、ＤＶＤ、ＭＤ（商標）、半導体メモリ、磁気テープ等を用いることができる。記録媒体５１には、例えばＪＰＥＧ等のフォーマットで圧縮されたパノラマ画像とともに、パノラマ撮影に関する撮影情報がパノラマ画像に関連付けられて記録される。
【００６７】
パノラマ撮影に関する撮影情報としては、例えば、パノラマ撮影の撮影開始から撮影終了までの撮像方向、特徴検出により検出された被写体の座標情報、パノラマ撮影の撮影時間情報等が記録される。パノラマ撮影の撮影開始から撮影終了までの撮像方向としては、例えば、上下左右の方向を示す４値化された情報が記録媒体５１に記録される。特徴検出により検出された被写体の座標情報としては、例えば、顔検出により検出された被写体の顔画像に基づく顔座標、具体的には、被写体の両目の位置、鼻の位置、口の位置や両目及び鼻のように複数の器官の位置の情報が記録媒体５１に記録される。なお、被写体は、目、鼻、口など顔の特徴となる情報を有する被写体であれば人物に限定されず、例えば、犬や猫などの動物であってもよい。撮影時間情報としては、例えば、パノラマ撮影の撮影開始時刻や撮影終了時刻が記録媒体５１に記録される。これらの撮影情報は、記録媒体５１においてＥＸＩＦ規格のユーザ領域に記録される。記録媒体５１は、パノラマ画像を圧縮解凍回路５２に供給し、パノラマ画像に関連付けられた撮影情報を制御マイコン５５に出力する。
【００６８】
圧縮解凍回路５２には、記録媒体５１から、例えば、ＪＰＥＧ等のフォーマットで圧縮されたパノラマ合成画像が供給される。圧縮解凍回路５２は、記録媒体５１から供給されたパノラマ合成画像に対して圧縮解凍処理を行い、圧縮解凍処理により解凍したパノラマ画像のデータをＲＡＭ５３に供給する。
【００６９】
ＲＡＭ５３には、圧縮解凍回路５２から圧縮解凍処理後のパノラマ画像のデータが供給される。ＲＡＭ５３は、制御マイコン５５からの指示に基づいて、圧縮解凍回路５２から供給されたパノラマ画像のデータの一部を切り出し回路５４に供給する。
【００７０】
切り出し回路５４は、ＲＡＭ５３から供給されたパノラマ画像のデータに対して所望のサイズに拡大又は縮小する処理を行い、表示部５７に表示するための画像データとする。切り出し回路５４は、生成した画像データを表示用ドライバ５６に供給する。
【００７１】
制御マイコン５５は、記録媒体５１、圧縮解凍回路５２、ＲＡＭ５３、切り出し回路５４、表示用ドライバ５６、及び表示部５７に接続されており、これらの動作を制御する。制御マイコン５５には、記録媒体５１に記録されたパノラマ画像データに関連付けられた撮影情報が供給される。そして、制御マイコン５５は、パノラマ画像データの切り出し領域と、拡大又は縮小する倍率に関する情報とを切り出し回路５４に供給する。
【００７２】
例えば、制御マイコン５５は、切り出し領域に関する情報として、左右又は上下に切り出し座標をシフトさせながら表示部５７にスクロール表示するための指示値を切り出し回路５４に供給する。このように、制御マイコン５５は、後に詳述するように、パノラマ画像に関連付けられた撮影開始から撮影終了までの撮像方向や被写体の座標情報に基づいて、パノラマ画像を再生する際のスクロール方向を決定する。また、制御マイコン５５は、パノラマ画像に関連付けられた撮像方向や被写体の座標情報に基づいて、パノラマ画像をスクロール再生する際のスクロール開始点を決定する。さらに、制御マイコン５５は、被写体の座標情報に基づいて、パノラマ画像を再生する際のスクロール速度を決定する。
【００７３】
すなわち、再生制御装置５０は、パノラマ画像に関連付けられた撮影情報に基づいてパノラマ画像を再生する際のスクロール方向、スクロール開始点、スクロール速度を決定する。したがって、再生制御装置５０は、複数のパノラマ画像を連続してスクロール再生する際に、視聴者が効率よくパノラマ画像を鑑賞することを可能とする。
【００７４】
なお、制御マイコン５５は、被写体の座標情報がパノラマ画像に関連付けて記録媒体５１に記録されていない場合には、この座標情報を検出する処理を行う。例えば、制御マイコン５５は、パノラマ画像から顔画像における基準位置として両目の位置を検出し、検出した両目の位置に基づいて正規化を行い、正規化された顔画像の特徴量として輝度を抽出する。そして、制御マイコン５５は、抽出した顔画像の各部における輝度の値と予め記録されている判定用の情報とに基づいて種々の判定処理を行う。例えば、制御マイコン５５は、大人／子供の判定処理、笑顔／非笑顔の判定処理、登録／非登録の顔であるかの判定処理等を行う。なお、上述した例では、基準位置として両目の位置を用いることとしたが、顔に含まれる両目以外の他の器官を用いるようにしてもよい。例えば、顔に含まれる鼻の位置や、両目及び鼻のように複数の器官の位置を用いることができる。
【００７５】
表示用ドライバ５６には、表示部５７に表示するパノラマ画像のデータの一部が切り出し回路５４から供給される。表示用ドライバ５６は、切り出し回路５４から供給された画像データを表示部５７に供給する。
【００７６】
表示部５７は、例えばＬＣＤで構成され、表示用ドライバ５６から供給された画像データを表示する。
【００７７】
続いて、図６に示す再生制御装置５０による再生制御方法の一例について、図７に示すフローチャートを参照しながら説明する。
【００７８】
再生制御装置５０においては、ハードウェアの診断や初期化を行った後に、ステップＳ２０では、制御マイコン５５は、再生するパノラマ画像を選択する。
【００７９】
ステップＳ２１では、制御マイコン５５は、図示しない操作部における再生ボタンが押圧されたか否かを判定する。すなわち、制御マイコン５５は、再生ボタンの押圧入力操作に基づく操作信号が生成されたか否かに基づいて、再生開始タイミングを識別する。制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２１：真）には、ステップＳ２２の処理に移行する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２１：偽）には、再びステップＳ２０の処理を実行する。
【００８０】
ステップＳ２２では、制御マイコン５５は、選択されたパノラマ画像の読み込み動作を実行する。具体的には、制御マイコン５５は、記録媒体５１に記録されている圧縮されたパノラマ画像の中から、ステップＳ２０で選択されたパノラマ画像を圧縮解凍回路５２により解凍する。そして、制御マイコン５５は、圧縮解凍回路５２により解凍したパノラマ画像をＲＡＭ５３に保存する。
【００８１】
ステップＳ２３では、制御マイコン５５は、パノラマ画像を再生する際のスクロール方向を選択する。具体的に、制御マイコン５５は、ステップＳ２２でＲＡＭ５３に対して読み込み動作を行ったパノラマ画像に関連付けられた撮像方向に関する情報や被写体の座標情報に基づいて、パノラマ画像のスクロール方向を決定する。
【００８２】
スクロール方向を決定する方法の一例として、図８乃至図１０に示すように、パノラマ画像をその長手方向に再生する場合について説明する。
【００８３】
まず、パノラマ撮影の撮影開始から撮影終了までの撮像方向がパノラマ画像に関連付けられている場合には、その撮像方向と同じ方向を再生する際のスクロール方向とする。例えば、制御マイコン５５は、図８に示すパノラマ画像６０においては、撮影方向６１の矢印で示すように、撮影開始が左方であり撮影終了が右方であることを示す情報が関連付けられているため、撮影方向６１と同一方向を再生方向６２として決定する。すなわち、制御マイコン５５は、撮影方向６１と同一方向をスクロール方向として決定する。
【００８４】
また、被写体の座標情報として顔座標がパノラマ画像に関連付けられている場合や、顔座標が予め検出されている場合には、顔座標が左右の端に近い方の端から遠い方の端への方向をスクロール方向とする。すなわち、制御マイコン５５は、被写体の顔座標の位置に近いパノラマ画像の長手方向の一端から他端へとパノラマ画像をスクロール再生させる。例えば、制御マイコン５５は、図９に示すパノラマ画像６０においては、顔座標６４の位置から近い右端から左端への方向を再生方向６５として決定する。
【００８５】
さらに、顔座標及び撮影開始から撮影終了までの撮像方向がパノラマ画像に関連付けられている場合には、顔座標に基づいてスクロール再生の方向を決定する。すなわち、制御マイコン５５は、撮像方向に関する情報よりも顔座標に関する情報を優先させて、スクロール再生の方向を決定する。例えば、制御マイコン５５は、図１０に示すパノラマ画像６０においては、撮影方向６７及び顔座標６８が関連付けられているため、顔座標６８の位置に近いパノラマ画像６０の一端から他端への方向を再生方向６９とする。すなわち、制御マイコン５５は、撮影方向６７ではなく顔座標６８を優先してスクロール方向を決定する。
【００８６】
さらにまた、制御マイコン５５は、複数の顔座標がパノラマ画像に関連付けられており、顔座標に関する重み情報が記録されている場合には、複数の顔座標のうち最も重みの高い顔座標に基づいてスクロール方向を決定する。例えば、制御マイコン５５は、最も重みの高い顔座標、すなわち、優先させる顔座標の中心位置に近いパノラマ画像の長手方向の一端から他端への方向を再生方向とする。顔座標の優先基準としては、例えば、大人と子供との場合は子供、笑顔と非笑顔との場合には笑顔、予め登録されていない顔と登録されている顔との場合には、登録されている顔を優先させることができる。なお、制御マイコン５５は、例えば、複数存在する顔座標の中心から遠い近いパノラマ画像の一端から他端への方向をスクロール方向としてもよい。
【００８７】
また、制御マイコン５５は、パノラマ撮影の撮影時間情報がパノラマ画像６０に関連付けられている場合には、撮像方向及び撮影時間情報に基づいてスクロール方向を決定するようにしてもよい。例えば、制御マイコン５５は、撮影時刻の早い画像から遅い画像の方向をスクロール方向として決定する。
【００８８】
なお、制御マイコン５５は、設定に応じて、例えば、図８の撮影方向６１、図９の再生方向６５、図１０の再生方向６９とは反対方向を再生方向として決定してもよく、また、撮影時刻の遅い画像から早い画像の方向をスクロール方向として決定してもよい。
【００８９】
ステップＳ２４では、制御マイコン５５は、パノラマ画像の全体の中から、再生の初期に表示するエリアの切り出しを行うための初期表示エリアの計算を行う。例えば、図１１に示すように、制御マイコン５５は、ステップＳ２２で読み込み動作を行ったパノラマ画像６０に関連付けられた顔座標７２やパノラマ撮影時の顔検出により得られる顔座標に基づいてスクロール開始点、すなわち、表示エリア７１を決定する。この表示エリア７１の画像が、表示画像７３として表示部５７に表示される。
【００９０】
具体的に、図８に示すパノラマ画像６０においては、左方から右方に撮影されたという撮影方向６１が関連付けられているため、制御マイコン５５は、スクロール再生の開始点を左端の画とする。すなわち、制御マイコン５５は、再生開始画６３をスクロール再生の初期表示エリアとして決定する。なお、制御マイコン５５は、設定に応じて撮影方向６１の終端のエリアを再生開始画としてもよい。
【００９１】
また、制御マイコン５５は、顔座標がパノラマ画像に関連付けられている場合や、顔座標を予め検出している場合には、顔座標の位置から近いパノラマ画像の長手方向の一端をスクロール開始点としてもよい。例えば、制御マイコン５５は、図９に示すパノラマ画像においては、顔座標６４の位置が長手方向の右端に近いため、この右端を再生開始画６６として決定する。なお、制御マイコン５５は、設定に応じて顔座標６４の位置が左右の端に遠い方の一端を再生開始画６６として決定するようにしてもよい。
【００９２】
さらに、制御マイコン５５は、顔座標及び撮像方向の情報がパノラマ画像に関連付けられている場合には、顔座標に基づいてスクロール開始点を決定する。すなわち、制御マイコン５５は、顔座標情報を撮像方向よりも優先させて再生開始画を決定する。例えば、図１０に示すパノラマ画像６０においては、撮影方向６７及び顔座標６８が存在するため、顔座標６８の位置に近いパノラマ画像６０の長手方向の一端を再生開始画７０とする。なお、制御マイコン５５は、設定に応じて顔座標６８の位置から遠い方の一端を再生開始画としてもよい。
【００９３】
さらにまた、制御マイコン５５は、複数の顔座標がパノラマ画像に関連付けられており、顔座標に関する重み情報が記録されている場合には、複数の顔座標のうち最も重みの高い顔座標に基づいてスクロール開始点を決定する。例えば、制御マイコン５５は、最も重みの高い顔座標、すなわち、優先させる顔座標に近いパノラマ画像の長手方向の一端をスクロール開始点とする。顔座標の優先基準としては、例えば上述したように、大人と子供との場合は子供、笑顔と非笑顔との場合には笑顔、予め登録されていない顔と登録されている顔との場合には、登録されている顔を優先させる。なお、制御マイコン５５は、例えば、複数存在する顔座標の中心から遠いパノラマ画像の長手方向の一端をスクロール開始点としてもよい。
【００９４】
ステップＳ２５では、制御マイコン５５は、再生停止ボタンが押圧されたか否かを判定することで、スクロール再生の再生停止タイミングを識別する。すなわち、制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２５：真）には、パノラマ再生を停止して、処理を終了する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２５：偽）には、ステップＳ７の処理に移行する。
【００９５】
ステップＳ２６では、制御マイコン５５は、操作部における次の画像へスキップさせるためのボタンが押圧されたか否かを判定することで、次のパノラマ画像の表示にスキップするタイミングを識別する。すなわち、制御マイコン５５は、操作信号の生成を識別することができた場合（ステップＳ２６：真）には、ステップＳ２７の動作に移行する。制御マイコン５５は、現在表示中のパノラマ画像の再生を停止して、次の画像の読み込み動作に移行する。また、制御マイコン５５は、操作信号の生成を識別することができなかった場合（ステップＳ２６：偽）には、ステップＳ２８の動作に移行する。つまり、制御マイコン５５は、現在選択中のパノラマ画像の表示へ移行する。
【００９６】
ステップＳ２７では、制御マイコン５５は、現在選択中のパノラマ画像の次のパノラマ画像の読み出し操作を行う。次のパノラマ画像とは、パノラマ画像に関連付けられたファイル番号がある場合、現在選択中のパノラマ画像のファイル番号よりも１つファイル番号が大きいパノラマ画像等を意味する。ファイル番号よりも１つファイル番号が大きいファイル番号のパノラマ画像が存在しない場合には、２つファイル番号が大きいパノラマ画像を意味する。また、１つファイル番号が大きいパノラマ画像及び２つファイル番号が大きいパノラマ画像が存在しない場合には、３つ以上の番号についても同様な選択を行うものとする。このような選択動作を行う中で、選択できるファイル番号の最大番号になった場合には、次の画像の候補として最も小さいファイル番号のパノラマ画像を選択する。ステップＳ２７では、制御マイコン５５は、ステップＳ２２と同様に、記録媒体５１に保存されている圧縮されたパノラマ画像から、前回選択されていた次のパノラマ画像の解凍を圧縮解凍回路５２で行う。また、制御マイコン５５は、圧縮解凍回路５２により解凍されたパノラマ画像をＲＡＭ５３に保存する。
【００９７】
ステップＳ２８では、パノラマ画像の切り出し画像を表示する。制御マイコン５５は、切り出しエリアのパノラマ画像の一部をＲＡＭ５３から切り出し回路５４に読み込ませる。そして、切り出し回路５４は、表示部５７において最適なサイズにパノラマ画像を拡大又は縮小させる。表示部５７において最適なサイズとは、例えば、ハイビジョン再生を行う場合には、１９２０×１０８０といった定型フォーマットサイズを意味する。切り出し回路５４で定型サイズ化されたパノラマ画像は、表示用ドライバ５６でＤ／Ａ変換等を行い、表示部５７にパノラマ画像の一部を表示する。なお、ステップＳ２８では、１枚目の表示においては、ステップＳ２４で計算されたパノラマ切り出しエリアを元にするが、２枚目以降の表示においては、ステップＳ２９で計算されたエリアを元にする。
【００９８】
ステップＳ２９では、切りだし画像をシフトさせる。すなわち、制御マイコン５５は、切り出し画像のシフト量やシフトのタイミングを制御することで、現在選択されている切り出しエリアに対して、ステップＳ２３で選択された上下左右のいずれかの方向に切り出し画像をシフトさせる。
【００９９】
制御マイコン５５は、選択中の座標に顔座標が含まれる場合には、通常よりも表示エリアのシフト量を少なくする。例えば、図１２に示すように、選択中の座標に顔座標７４が含まれる場合には、制御マイコン５５は、顔座標７４が表示エリア７５に含まれる間のシフトのタイミングを遅くして、ゆっくりとしたスクロール表示を行うようにしてもよい。このように、制御マイコン５５は、視聴者が閲覧したい画像が表示されているときのスクロール速度を遅くすることで、効率の良い閲覧を可能とする。
【０１００】
また、制御マイコン５５は、スクロール速度の制御方法として、種々の方法を適用することが可能である。例えば、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を遅くし、画面の中心を通過すると段階的にスクロール速度を速くするようにしてもよい。さらに、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を遅くするとともに顔座標の部分を段階的に拡大表示させ、かつ、画面の中心を通過すると段階的にスクロール速度を速くするとともに顔座標の部分を段階的に縮小表示させるようにしてもよい。また、制御マイコン５５は、表示部５７に顔座標が表示されている間、画面の中心まで段階的にスクロール速度を速くするとともに顔座標の部分を段階的に拡大表示させ、かつ、画面の中心を通過すると、段階的にスクロール速度を遅くするとともに顔座標の部分を段階的に縮小表示させるようにしてもよい。
【０１０１】
続いて、ステップＳ３０では、パノラマ画像の端の検出を行う。具体的には、制御マイコン５５は、ステップＳ２９で切り出し座標のシフトを行った後、表示エリアがパノラマ画像の上下左右の端まで到達したかどうかの検出を行う。例えば、制御マイコン５５は、図１３に示すパノラマ画像６０において、表示エリア７６が端まで到達している場合（ステップＳ３０：真）には、ステップＳ２７に進み、次のパノラマ画像の読み込み動作に移行する。また、制御マイコン５５は、表示エリアが端まで到達していない場合（ステップＳ３０：偽）には、ステップＳ２５の処理、すなわち、再生停止ボタンの押圧検出動作に移行する。
【０１０２】
このように、再生制御装置５０によれば、複数のパノラマ画像を連続スクロール再生する際に、ユーザが閲覧したい画像を短時間で効率よく閲覧することが可能となる。
【０１０３】
具体的には、撮影開始時点でユーザが図３（ａ）に示すようなパノラマ画像２５を撮影したい場合に、図３（ｂ）に示すように撮影終了直前に撮影したくなかった予期しない物体２７が撮影されてしまったとする。この場合、再生制御装置５０によれば、スクロール再生の方向やスクロール開始点を適宜変えることで、パノラマ画像２６が予期しない物体２７からスクロール再生されてしまうのを防止することができる。
【０１０４】
また、再生制御装置５０によれば、予期しない物体や人が記録されてしまった画像を効率よく削除したい場合には、撮像方向とは逆方向からスクロール再生を開始することで、効率良く失敗画像を削除することが可能となる。このように、失敗画像を削除する際には、パノラマ画像全体を削除するようにしてもよいし、ユーザにより指定された部分の画像を削除することも可能である。
【０１０５】
また、再生制御装置５０によれば、顔等のユーザがより注視したいと思われる画像を再生する際のスクロール速度を遅くすることで、ユーザにとってストレスの少ない閲覧が可能となる。
【０１０６】
また、本実施の形態において説明した一連の処理は、ハードウェア又はソフトウェア或いは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１０７】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいは、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ，ＭＯディスク，ＤＶＤ、磁気ディスク、半導体メモリ等のリムーバブル記録媒体に、一時的又は永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１０８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【符号の説明】
【０１０９】
１０ レンズ系、１１ 撮像素子、１２ 画像用ＲＡＭ、１３ 撮像方向検出部、１４ パノラマ合成部、１５ 時計部、１６ 記録媒体、２８ 光軸可変素子、２９ 圧縮回路、３０ 記録媒体、３１ 伸長回路、３２ スイッチ、３３ ビューファインダ、３４ ビデオ出力端子、３５ ドライバ、３６ レンズ系駆動回路、３７ 混合回路、３８ 動き検出回路、３９ 角加速度センサ、４０ 積分回路、４１ キー入力部、４２ システムコントローラ、５０ 再生制御装置、５１ 記録媒体、５２ 圧縮解凍回路、５３ ＲＡＭ、５４ 切り出し回路、５５ 制御マイコン、５６ 表示用ドライバ、５７ 表示部
【特許請求の範囲】
【請求項１】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読出し部と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定部と
を備える再生制御装置。
【請求項２】
上記スクロール方向決定部は、上記撮影開始から撮影終了までの撮像方向と、上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標とに基づいて、上記スクロール方向を決定し、
上記撮像方向と、上記顔座標とが上記パノラマ画像に関連付けられている場合には、上記撮像方向よりも上記顔座標を優先させて、上記スクロール方向を決定する請求項１記載の再生制御装置。
【請求項３】
上記スクロール方向決定部は、上記顔座標が上記パノラマ画像に複数関連付けられており、かつ、上記顔座標に関する重み情報が記録されている場合には、上記複数の顔座標のうち最も重みの高い座標に基づいて、上記スクロール方向を決定する請求項２記載の再生制御装置。
【請求項４】
上記スクロール方向決定部は、上記パノラマ画像において、上記複数の顔座標のうち最も重みの高い座標の中心位置に近い該パノラマ画像の長手方向の一端から他端への方向を上記スクロール方向として決定する請求項３記載の再生制御装置。
【請求項５】
上記撮像方向と、上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標とに基づいて、上記パノラマ画像を再生する際のスクロール開始点を決定するスクロール開始点決定部を備え、
上記スクロール開始点決定部は、上記撮像方向と、上記顔座標とが上記パノラマ画像に関連付けられている場合には、上記顔座標に基づいて上記スクロール開始点を決定する請求項１乃至４のうちいずれか１項記載の再生制御装置。
【請求項６】
上記スクロール開始点決定部は、上記顔座標が上記パノラマ画像に複数関連付けられており、かつ、上記顔座標に関する重み情報が記録されている場合には、上記複数の顔座標のうち最も重みの高い座標に基づいて、上記スクロール開始点を決定する請求項１乃至５のうちいずれか１項記載の再生制御装置。
【請求項７】
上記スクロール開始点決定部は、上記パノラマ画像において、上記複数の顔座標のうち最も重みの高い座標の中心位置に近い該パノラマ画像の長手方向の一端を上記スクロール開始点として決定する請求項６記載の再生制御装置。
【請求項８】
上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標に基づいて、上記パノラマ画像を再生する際のスクロール速度を決定するスクロール速度決定部を備える請求項１乃至７のうちいずれか１項記載の再生制御装置。
【請求項９】
上記パノラマ画像に関連付けて、上記パノラマ画像の撮影開始から撮影終了までの撮像方向と、上記顔座標とを記録する記録部を備える請求項１乃至８のうちいずれか１項記載の再生制御装置。
【請求項１０】
複数の上記画像データと、上記画像データ間の移動ベクトルとに基づいて上記パノラマ画像を合成する合成部を備える請求項１記載の再生制御装置。
【請求項１１】
上記画像データ間の移動ベクトルを検出する撮像方向検出部を備え、
上記撮像方向検出部は、上記画像データ間の移動量を画像データ毎に累積する請求項１０記載の再生制御装置。
【請求項１２】
上記撮像方向検出部は、上記画像データ間の移動量の大きさを検出する際に、上記撮影開始から撮影終了までの撮像方向を１つの撮像方向として検出する請求項１１記載の再生制御装置。
【請求項１３】
上記撮像方向検出部は、上記画像データ間の移動量を平均化する請求項１１記載の再生制御装置。
【請求項１４】
上記撮像方向検出部は、上記撮影開始から撮影終了までの撮像方向をコード化する請求項１１記載の再生制御装置。
【請求項１５】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程と
を有する再生制御方法。
【請求項１６】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程と
をコンピュータに実行させるためのプログラム。
【請求項１】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読出し部と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定部と
を備える再生制御装置。
【請求項２】
上記スクロール方向決定部は、上記撮影開始から撮影終了までの撮像方向と、上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標とに基づいて、上記スクロール方向を決定し、
上記撮像方向と、上記顔座標とが上記パノラマ画像に関連付けられている場合には、上記撮像方向よりも上記顔座標を優先させて、上記スクロール方向を決定する請求項１記載の再生制御装置。
【請求項３】
上記スクロール方向決定部は、上記顔座標が上記パノラマ画像に複数関連付けられており、かつ、上記顔座標に関する重み情報が記録されている場合には、上記複数の顔座標のうち最も重みの高い座標に基づいて、上記スクロール方向を決定する請求項２記載の再生制御装置。
【請求項４】
上記スクロール方向決定部は、上記パノラマ画像において、上記複数の顔座標のうち最も重みの高い座標の中心位置に近い該パノラマ画像の長手方向の一端から他端への方向を上記スクロール方向として決定する請求項３記載の再生制御装置。
【請求項５】
上記撮像方向と、上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標とに基づいて、上記パノラマ画像を再生する際のスクロール開始点を決定するスクロール開始点決定部を備え、
上記スクロール開始点決定部は、上記撮像方向と、上記顔座標とが上記パノラマ画像に関連付けられている場合には、上記顔座標に基づいて上記スクロール開始点を決定する請求項１乃至４のうちいずれか１項記載の再生制御装置。
【請求項６】
上記スクロール開始点決定部は、上記顔座標が上記パノラマ画像に複数関連付けられており、かつ、上記顔座標に関する重み情報が記録されている場合には、上記複数の顔座標のうち最も重みの高い座標に基づいて、上記スクロール開始点を決定する請求項１乃至５のうちいずれか１項記載の再生制御装置。
【請求項７】
上記スクロール開始点決定部は、上記パノラマ画像において、上記複数の顔座標のうち最も重みの高い座標の中心位置に近い該パノラマ画像の長手方向の一端を上記スクロール開始点として決定する請求項６記載の再生制御装置。
【請求項８】
上記パノラマ画像における特徴検出により検出された被写体の顔画像に基づく顔座標に基づいて、上記パノラマ画像を再生する際のスクロール速度を決定するスクロール速度決定部を備える請求項１乃至７のうちいずれか１項記載の再生制御装置。
【請求項９】
上記パノラマ画像に関連付けて、上記パノラマ画像の撮影開始から撮影終了までの撮像方向と、上記顔座標とを記録する記録部を備える請求項１乃至８のうちいずれか１項記載の再生制御装置。
【請求項１０】
複数の上記画像データと、上記画像データ間の移動ベクトルとに基づいて上記パノラマ画像を合成する合成部を備える請求項１記載の再生制御装置。
【請求項１１】
上記画像データ間の移動ベクトルを検出する撮像方向検出部を備え、
上記撮像方向検出部は、上記画像データ間の移動量を画像データ毎に累積する請求項１０記載の再生制御装置。
【請求項１２】
上記撮像方向検出部は、上記画像データ間の移動量の大きさを検出する際に、上記撮影開始から撮影終了までの撮像方向を１つの撮像方向として検出する請求項１１記載の再生制御装置。
【請求項１３】
上記撮像方向検出部は、上記画像データ間の移動量を平均化する請求項１１記載の再生制御装置。
【請求項１４】
上記撮像方向検出部は、上記撮影開始から撮影終了までの撮像方向をコード化する請求項１１記載の再生制御装置。
【請求項１５】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程と
を有する再生制御方法。
【請求項１６】
撮影開始から撮影終了までに複数回撮影した複数の画像データ間の移動量に基づき合成されるパノラマ画像に関連付けて記録された、上記パノラマ画像の撮影開始から撮影終了までの撮像方向を読み出す読み出し工程と、
上記撮影開始から撮影終了までの撮像方向に基づいて、上記パノラマ画像を再生する際のスクロール方向を決定するスクロール方向決定工程と
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２１７３９４（Ｐ２０１１−２１７３９４Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１１−１３３３６１（Ｐ２０１１−１３３３６１）
【出願日】平成２３年６月１５日（２０１１．６．１５）
【分割の表示】特願２００９−１８２５９５（Ｐ２００９−１８２５９５）の分割
【原出願日】平成２０年５月２０日（２００８．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２３年６月１５日（２０１１．６．１５）
【分割の表示】特願２００９−１８２５９５（Ｐ２００９−１８２５９５）の分割
【原出願日】平成２０年５月２０日（２００８．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]