情報処理装置、プリントシステムおよび画像合成方法
【課題】動画像データから見栄えのよい１枚のプリントデータを得る。
【解決手段】ＣＰＵ３１は、付属情報に含まれるカメラ光軸の動き経路に基づき、プリント範囲内におけるフレーム画像の配置順路を決定する。そして、決定された配置順路に沿って配置すべきフレーム画像を選択し、選択したフレーム画像を配置順路に沿って配置する。ここで、選択された各フレーム画像に対応する付属情報のズーム倍率に従って、選択された各フレーム画像のサイズを変更してもよい。また、選択された各フレーム画像に対応する傾き動き情報に従って、選択された各フレーム画像の傾きを補正してもよい。
【解決手段】ＣＰＵ３１は、付属情報に含まれるカメラ光軸の動き経路に基づき、プリント範囲内におけるフレーム画像の配置順路を決定する。そして、決定された配置順路に沿って配置すべきフレーム画像を選択し、選択したフレーム画像を配置順路に沿って配置する。ここで、選択された各フレーム画像に対応する付属情報のズーム倍率に従って、選択された各フレーム画像のサイズを変更してもよい。また、選択された各フレーム画像に対応する傾き動き情報に従って、選択された各フレーム画像の傾きを補正してもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像データから１枚のプリントデータを作成する技術に関する。
【背景技術】
【０００２】
従来、動画像データから１つの静止画像を作成する技術が様々開発されている。例えば特許文献１によると、動画像中のプリント対象画像とこのプリント対象画像に対し１秒前及び１秒後の参照画像との各データをフレームメモリにコマ単位で取り込む。プリント対象画像データと参照画像データとに対して、マッチング処理部で局所的マッチング処理を行い、プリント対象画像を静止領域と動領域とに分ける。静止領域加重平均部により、静止領域に対してプリント対象画像と参照画像との同じ位置にある画素データを加重平均する。動領域平滑化処理部により、動領域に対してプリント対象画像の画像データを用いて平滑化処理を行う。これらの処理を行った静止領域及び動領域の画像データを画像合成部で合成する。
【０００３】
また特許文献２によると、撮影カットごとに角度検出手段の検出角度を対応付けて撮影角度記憶手段に記憶し、プリント時には、複数の撮影カットからなるパノラマ撮影画像データを撮影角度記憶手段に記憶されている撮影角度情報から特定しパノラマ撮影と特定した複数の撮影カットのデータを出力する際に隣接する撮影カットのつなぎ撮り部分の合成処理を撮影データ読出手段が構成して出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−８３０３３号公報
【特許文献２】特開平１１−３３１６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、被写体の大きさ、動き方向、傾きが異なるような画像同士を合成すると、見た者に違和感を与える可能性がある（図１０参照）。また、合成した撮影カットがプリントしたい範囲を満遍なくカバーしておらず、画像の存在しない部分が多くなってしまい、見栄えがよくないことがある（図１１参照）。本発明はこのような問題点に鑑みてなされたもので、動画像データから見栄えのよい１枚のプリントデータを得ることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部とを備えるカメラシステムにおいて、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、少なくとも動画像の各フレームの撮影時における状態情報を含む付属情報を動画像の各フレームに対応づけて記憶する付属情報記憶部と、を備えた。
【０００７】
この発明によると、動画像の各フレームには、撮影時における状態情報を含む付属情報が対応づけられる。これにより、後述のプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。
【０００８】
ここで、状態情報検出部の検出する状態情報は、カメラ本体の上下左右の動き方向及び動き量、カメラ本体の傾き方向及び傾き量又は被写体像のズーム倍率を含む。
【０００９】
付属情報は、フレームと所望の静止画像との関連づけを規定する情報をさらに含んでいてもよい。
【００１０】
こうすれば、例えば、フレームに関連づけた静止画像を、該フレームの近傍に配置することで、不自然な空白が発生するのを防げる。
【００１１】
状態情報検出部は雲台に設けられていることが好ましい。
【００１２】
状態情報検出部はカメラ本体に設けてもよいが、地面に設置される雲台に設ける方が、状態情報の検出精度が向上し好ましい。
【００１３】
また、上記課題を解決するため、本発明に係るプリントシステムは、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、状態情報に基づいて所定のプリント範囲内におけるフレームの配置位置を決定する決定部と、決定部の決定した配置位置にフレームを配置して１枚のプリント画像に合成する合成部と、合成部の合成したプリント画像をプリントするプリンタと、を備える。
【００１４】
ここで、状態情報はカメラ本体の上下左右の動き方向及び動き量を含んでおり、決定部はカメラ本体の上下左右の動き方向及び動き量に基づいてフレームの配列順路を決定し、合成部は配列順路に沿って各フレームを配列する。
【００１５】
カメラの動きに沿ってフレームを配置することで、撮影時の状態にあわせた、臨場感あふれる１枚のプリント画像を作成することができる。
【００１６】
合成部は配列順路に沿って配列されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して配列するとよい。
【００１７】
こうすると、重複部分の多い画像同士を重ね合わせるという無駄を防げる。
【００１８】
状態情報はカメラ本体の傾き方向及び傾き量を含み、合成部はカメラ本体の傾き方向及び傾き量に基づいて配置されたフレームの傾きを補正する。
【００１９】
こうすると、カメラの傾きによって生じた被写体の傾きを補正できる。
【００２０】
状態情報は被写体像のズーム倍率を含み、合成部は被写体像のズーム倍率に基づき、配置された各フレームの被写体像の倍率が統一されるよう各フレームを拡縮するとよい。
【００２１】
付属情報はフレームと所望の静止画像との関連づけを規定する関連情報をさらに含み、合成部は配置されたフレームの近傍に、関連情報によってフレームと関連づけられた静止画像を配置して合成するとよい。
【００２２】
こうすることで、プリント画像に不自然な空白が発生するのを防げる。
【発明の効果】
【００２３】
本発明に係るカメラシステムは、動画像の各フレームに、撮影時における状態情報を含む付属情報を対応づける。これにより、本発明に係るプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係るカメラシステムの外観斜視図
【図２】カメラシステムのブロック図
【図３】本発明に係るプリンタのブロック図
【図４】プリント動作の流れを示すフローチャート
【図５】フレーム画像の配置順路の一例を示す図
【図６】重複面積の大きさにしたがって選択されるフレーム画像の一例を示す図
【図７】配置順路に沿ってフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図８】ズーム倍率に従って拡縮されたフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図９】傾き動き情報に従って傾きが補正されたフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図１０】複数のフレーム画像を合成した従来例を示す図
【図１１】複数のフレーム画像を合成した他の従来例を示す図
【発明を実施するための形態】
【００２５】
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
【００２６】
図１に示すように、本発明に係るカメラシステムは、カメラ１００が雲台付きの三脚１４０に固定されることで構成される。ユーザは被写体の方向にカメラ１００を大まかに向けて雲台２００付きの三脚１４０をセットし、その後、三脚１４０に設けられたレバー１４０ａを上下左右に動かすか、水平方向に回動させることで、被写体を追従した撮影が可能である。
【００２７】
図２はカメラ１００のブロック図である。カメラ１００は、ＣＰＵ１０、撮像レンズ１１、撮像レンズ１１を駆動する駆動ユニット１２、駆動ユニット１２にズームデマンドやフォーカスデマンド等の指令を送るレンズコントローラ１３、ＣＣＤなどの固体撮像素子（以下ＣＣＤで代表して表す）１４、ＣＣＤ１４の出力した画像信号の内蔵メモリ１６あるいはメモリカード１７への記憶を制御するメモリコントローラ１５、撮影された画像データを圧縮する圧縮部１８、撮影モードの設定、撮影の開始・終了の手動指示を受ける操作部１９、雲台２００との通信を行う通信部２０などを備えている。
【００２８】
撮像レンズ１１には、例えば光学２倍ズームレンズが用いられ、操作部１９から指定されるズーム倍率変更操作に応じて駆動ユニット１２が撮像レンズ１１を望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズ１１の倍率は上記に限定されない。
【００２９】
記録装置制御手段としてのメモリコントローラ１５は、ＣＰＵ１０から命令を受けてデジタルカメラ１００に装着されたメモリカード１７を制御し、圧縮部１８によりＪＰＥＧ圧縮方式で圧縮された「ＪＰＥＧ画像データ」や、Ｒ，Ｇ，Ｂ信号からなる非圧縮の「ＲＧＢ画像データ」や、Ｙ，Ｃ信号からなる非圧縮の「ＹＣ画像データ」をメモリ１６に記録（書込み）することができる。これらのデータ形式は静止画撮影モードの場合に用いられる。また、動画撮影モードの場合には、撮影された動画データを構成する各フレーム（コマ）の画像データは圧縮部１８によって圧縮され、動画データは独立したＪＰＥＧ画像を羅列したモーションＪＰＥＧ形式としてメモリ１６に記録される。なお、画像データの圧縮形式は、ＪＰＥＧに限られるものではない。
【００３０】
メモリ１６の画像データは、必要に応じて電子ズーム回路５に加えられる。電子ズーム回路５は、操作部１９から指定された電子ズーム倍率に基づいて画像の拡大／縮小処理を行う。すなわち、画像データの一部を切り出し、その切り出し範囲を拡大／縮小することにより、画像の拡大／縮小処理を行なう。そして、その拡大／縮小後の画像データをメモリ１６に出力する。切り出し範囲は十字ボタンなどの操作部１９の操作で画像上の任意の位置に設定でき、これにより画像データの所望の範囲を拡大／縮小できる。
【００３１】
雲台２００は、カメラ１００の動きを検出して、検出した動きを動き情報として通信部２２経由でカメラ１００に送る動き検出回路２１を有している。
【００３２】
動き検出回路２１は、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部２１ａ、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部２１ｂ、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部２１ｃを備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報を含む。
【００３３】
なお、動き検出回路２１は、カメラ１００自身に設けてもよい。ただし、正確な動き情報を得るには、手で持つカメラ１００よりも、地面に置く雲台２００付きの三脚１４０に動き検出回路２１を設ける方が好ましいといえる。
【００３４】
ＣＰＵ１０は、動画データを構成する各フレームが撮影された時点で得られた、あるいはその時点で指定されている動き情報、レンズ１１の光軸の位置、電子ズーム倍率もしくは光学ズーム倍率（これらをまとめてズーム倍率と称す）を、その時点で撮影された各フレーム画像と対応づけてメモリカード１７に記憶する。
【００３５】
図３は本発明に係るプリンタ３００の構成を示すブロック図である。同図に示すように、このプリンタ３００は、主として記録メディア挿入口３３、メディアインターフェース３２、メモリ３４、システムメモリ３６、タッチパネルモニタ３９、入力コントローラ３７、表示コントローラ３８、ＣＰＵ３１、プリントエンジン３５、バス３０から構成されている。
【００３６】
このプリンタ３００は、カメラ１００において使用されているメモリカード１７が挿入される記録メディア挿入口３３を有し、この記録メディア挿入口３３に挿入された記録メディアから動画データを取り込むことができるようになっている。
【００３７】
メモリカード１７が記録メディア挿入口３３に挿入された後、メモリカード１７に記録されている動画画像ファイルがメディアインターフェース３２、バス３０を介してＣＰＵ３１の指示に従い、必要箇所に送られる。メモリ３４は表示画像データやプリント画像データを生成するために一時的に画像データを記憶しておくところである。システムメモリ３６はＲＯＭ等からなり、システムファイルを保存しておく媒体である。タッチパネルモニタ３９は操作部及び表示画面を有しており、表示コントローラ３８によって表示がされるようになっている。タッチパネルモニタ３９の操作部を操作すると入力コントローラ３７が作動して入力が実行される。ＣＰＵ３１は種々の制御を行うほか、モーションＪＰＥＧ形式で圧縮して記録されていた画像データを伸長したりする。プリントエンジン３５はプリンタによるプリントの駆動を制御する。
【００３８】
なお、本形態は、デジタルカメラで撮影されてモーションＪＰＥＧの形式で動画が記録されている場合であるので、タッチパネルモニタ３９上で、静止画を紙芝居のような状態切り替えることで動画を再生できる。
【００３９】
以下、図４のフローチャートに従い、本発明に係るプリンタ３００のプリント動作の流れを説明する。
【００４０】
まず、Ｓ１では、ＣＰＵ３１は、メディア挿入口３３に挿入されたメモリカード１７から、動画データおよび付属情報をメモリ３４に読み出す。
【００４１】
Ｓ２では、ＣＰＵ３１は、付属情報に含まれるカメラ光軸の動き経路に基づき、プリント範囲内におけるフレーム画像の配置順路を決定する。一例として、この配置順路は、プリント範囲の所定位置に存在する配置順路の始点P0および終点P1にカメラ光軸の動き経路の始点および終点が配置されるよう適宜カメラ光軸の動き経路を拡縮することで決定することができる。
【００４２】
図５はプリント範囲内における配置順路の一例を示す。この図に示すように、配置順路は、プリント範囲の外周縁Ｘの内部を通過するように配置される。ただし、フレーム画像の配置順路の決定の仕方は任意であり、特定の被写体像の光点が描いた軌跡に基づいて決定してもよいし、ユーザがタッチパネルモニタ３９の操作によって任意に指定してもよい
。
【００４３】
Ｓ３では、Ｓ２で決定された配置順路に沿って配置すべきフレーム画像を選択し、選択したフレーム画像を配置順路に沿って配置する。配置する画像の選択の仕方は任意である。例えば、所定時間を隔てたフレーム画像ごとに配置したりしてもよい。あるいは、図６に示すように、あるフレーム画像Ｆ１の撮影時刻に近接する撮影時刻に撮影された複数のフレーム画像Ｆ２〜Ｆ４のうち、Ｆ１と最も重複面積が小さいフレーム画像Ｆ４を配置するとよい。
【００４４】
Ｓ４では、配置順路に沿って配置された複数のフレーム画像を１枚のプリント用画像に合成する（図７を参照）。
【００４５】
Ｓ５では、プリントエンジン３５は、合成されたプリント用画像に従って図示しないプリンタを駆動し、プリント用画像をプリントする。
【００４６】
なお、Ｓ４において合成されたプリント用画像において、プリント範囲内の空白が所定量を超える場合（例えばプリント範囲に対する空白の比率が５０％を超える場合）、所定の背景色や背景画像、あるいは予めフレーム画像と関連づけられた静止画をフレームの近傍に配置して合成することで空白部分を埋めてもよい。フレーム画像と静止画の関連づけはカメラ１００で行うことができ、例えば、本出願人による特開２００３−１５８６５３号公報に示されるように、動画撮影モード中に連写された静止画のいずれかを、撮影された動画と関連づけることができる。動画と静止画との関連を示す情報も付属情報に含まれる。空白部分をなるべく埋めることで、プリント画像の見栄えをさらによくできる。
【００４７】
また、選択された各フレーム画像に対応する付属情報のズーム倍率に従って、選択された各フレーム画像のサイズを変更してもよい。図８は、ズーム倍率と反比例するように各フレーム画像のサイズを拡縮した状態を示す。こうすれば、低倍率で撮影されたコマ、即ち広角側のコマを大きく、逆に高倍率で撮影されたコマ、即ち近接側のコマを小さくでき、両者を合成しても大きさが相対的に統一され、見栄えのよいプリントを得ることができる。
【００４８】
あるいは、選択された各フレーム画像に対応する傾き動き情報に従って、選択された各フレーム画像の傾きを補正してもよい。図９は、傾き動き情報に従って各フレーム画像の傾きが相殺されるように補正した状態を示す。こうすれば、傾いて撮影されたフレーム画像を傾きが補正された状態で合成でき、見栄えのよいプリントを得ることができる。
【００４９】
いずれにせよ、本発明によれば、動画を構成する複数のフレーム画像を１つのプリント画像に統一的に違和感なく合成することができ、広い視野の見栄えのよいプリントを得ることができる。
【符号の説明】
【００５０】
１００：カメラ、２００：雲台、３００：プリンタ、２１：動き検出部
【技術分野】
【０００１】
本発明は動画像データから１枚のプリントデータを作成する技術に関する。
【背景技術】
【０００２】
従来、動画像データから１つの静止画像を作成する技術が様々開発されている。例えば特許文献１によると、動画像中のプリント対象画像とこのプリント対象画像に対し１秒前及び１秒後の参照画像との各データをフレームメモリにコマ単位で取り込む。プリント対象画像データと参照画像データとに対して、マッチング処理部で局所的マッチング処理を行い、プリント対象画像を静止領域と動領域とに分ける。静止領域加重平均部により、静止領域に対してプリント対象画像と参照画像との同じ位置にある画素データを加重平均する。動領域平滑化処理部により、動領域に対してプリント対象画像の画像データを用いて平滑化処理を行う。これらの処理を行った静止領域及び動領域の画像データを画像合成部で合成する。
【０００３】
また特許文献２によると、撮影カットごとに角度検出手段の検出角度を対応付けて撮影角度記憶手段に記憶し、プリント時には、複数の撮影カットからなるパノラマ撮影画像データを撮影角度記憶手段に記憶されている撮影角度情報から特定しパノラマ撮影と特定した複数の撮影カットのデータを出力する際に隣接する撮影カットのつなぎ撮り部分の合成処理を撮影データ読出手段が構成して出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−８３０３３号公報
【特許文献２】特開平１１−３３１６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、被写体の大きさ、動き方向、傾きが異なるような画像同士を合成すると、見た者に違和感を与える可能性がある（図１０参照）。また、合成した撮影カットがプリントしたい範囲を満遍なくカバーしておらず、画像の存在しない部分が多くなってしまい、見栄えがよくないことがある（図１１参照）。本発明はこのような問題点に鑑みてなされたもので、動画像データから見栄えのよい１枚のプリントデータを得ることのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部とを備えるカメラシステムにおいて、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、少なくとも動画像の各フレームの撮影時における状態情報を含む付属情報を動画像の各フレームに対応づけて記憶する付属情報記憶部と、を備えた。
【０００７】
この発明によると、動画像の各フレームには、撮影時における状態情報を含む付属情報が対応づけられる。これにより、後述のプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。
【０００８】
ここで、状態情報検出部の検出する状態情報は、カメラ本体の上下左右の動き方向及び動き量、カメラ本体の傾き方向及び傾き量又は被写体像のズーム倍率を含む。
【０００９】
付属情報は、フレームと所望の静止画像との関連づけを規定する情報をさらに含んでいてもよい。
【００１０】
こうすれば、例えば、フレームに関連づけた静止画像を、該フレームの近傍に配置することで、不自然な空白が発生するのを防げる。
【００１１】
状態情報検出部は雲台に設けられていることが好ましい。
【００１２】
状態情報検出部はカメラ本体に設けてもよいが、地面に設置される雲台に設ける方が、状態情報の検出精度が向上し好ましい。
【００１３】
また、上記課題を解決するため、本発明に係るプリントシステムは、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、状態情報に基づいて所定のプリント範囲内におけるフレームの配置位置を決定する決定部と、決定部の決定した配置位置にフレームを配置して１枚のプリント画像に合成する合成部と、合成部の合成したプリント画像をプリントするプリンタと、を備える。
【００１４】
ここで、状態情報はカメラ本体の上下左右の動き方向及び動き量を含んでおり、決定部はカメラ本体の上下左右の動き方向及び動き量に基づいてフレームの配列順路を決定し、合成部は配列順路に沿って各フレームを配列する。
【００１５】
カメラの動きに沿ってフレームを配置することで、撮影時の状態にあわせた、臨場感あふれる１枚のプリント画像を作成することができる。
【００１６】
合成部は配列順路に沿って配列されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して配列するとよい。
【００１７】
こうすると、重複部分の多い画像同士を重ね合わせるという無駄を防げる。
【００１８】
状態情報はカメラ本体の傾き方向及び傾き量を含み、合成部はカメラ本体の傾き方向及び傾き量に基づいて配置されたフレームの傾きを補正する。
【００１９】
こうすると、カメラの傾きによって生じた被写体の傾きを補正できる。
【００２０】
状態情報は被写体像のズーム倍率を含み、合成部は被写体像のズーム倍率に基づき、配置された各フレームの被写体像の倍率が統一されるよう各フレームを拡縮するとよい。
【００２１】
付属情報はフレームと所望の静止画像との関連づけを規定する関連情報をさらに含み、合成部は配置されたフレームの近傍に、関連情報によってフレームと関連づけられた静止画像を配置して合成するとよい。
【００２２】
こうすることで、プリント画像に不自然な空白が発生するのを防げる。
【発明の効果】
【００２３】
本発明に係るカメラシステムは、動画像の各フレームに、撮影時における状態情報を含む付属情報を対応づける。これにより、本発明に係るプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係るカメラシステムの外観斜視図
【図２】カメラシステムのブロック図
【図３】本発明に係るプリンタのブロック図
【図４】プリント動作の流れを示すフローチャート
【図５】フレーム画像の配置順路の一例を示す図
【図６】重複面積の大きさにしたがって選択されるフレーム画像の一例を示す図
【図７】配置順路に沿ってフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図８】ズーム倍率に従って拡縮されたフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図９】傾き動き情報に従って傾きが補正されたフレーム画像が配置されることで得られたプリント画像の一例を示す図
【図１０】複数のフレーム画像を合成した従来例を示す図
【図１１】複数のフレーム画像を合成した他の従来例を示す図
【発明を実施するための形態】
【００２５】
以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。
【００２６】
図１に示すように、本発明に係るカメラシステムは、カメラ１００が雲台付きの三脚１４０に固定されることで構成される。ユーザは被写体の方向にカメラ１００を大まかに向けて雲台２００付きの三脚１４０をセットし、その後、三脚１４０に設けられたレバー１４０ａを上下左右に動かすか、水平方向に回動させることで、被写体を追従した撮影が可能である。
【００２７】
図２はカメラ１００のブロック図である。カメラ１００は、ＣＰＵ１０、撮像レンズ１１、撮像レンズ１１を駆動する駆動ユニット１２、駆動ユニット１２にズームデマンドやフォーカスデマンド等の指令を送るレンズコントローラ１３、ＣＣＤなどの固体撮像素子（以下ＣＣＤで代表して表す）１４、ＣＣＤ１４の出力した画像信号の内蔵メモリ１６あるいはメモリカード１７への記憶を制御するメモリコントローラ１５、撮影された画像データを圧縮する圧縮部１８、撮影モードの設定、撮影の開始・終了の手動指示を受ける操作部１９、雲台２００との通信を行う通信部２０などを備えている。
【００２８】
撮像レンズ１１には、例えば光学２倍ズームレンズが用いられ、操作部１９から指定されるズーム倍率変更操作に応じて駆動ユニット１２が撮像レンズ１１を望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズ１１の倍率は上記に限定されない。
【００２９】
記録装置制御手段としてのメモリコントローラ１５は、ＣＰＵ１０から命令を受けてデジタルカメラ１００に装着されたメモリカード１７を制御し、圧縮部１８によりＪＰＥＧ圧縮方式で圧縮された「ＪＰＥＧ画像データ」や、Ｒ，Ｇ，Ｂ信号からなる非圧縮の「ＲＧＢ画像データ」や、Ｙ，Ｃ信号からなる非圧縮の「ＹＣ画像データ」をメモリ１６に記録（書込み）することができる。これらのデータ形式は静止画撮影モードの場合に用いられる。また、動画撮影モードの場合には、撮影された動画データを構成する各フレーム（コマ）の画像データは圧縮部１８によって圧縮され、動画データは独立したＪＰＥＧ画像を羅列したモーションＪＰＥＧ形式としてメモリ１６に記録される。なお、画像データの圧縮形式は、ＪＰＥＧに限られるものではない。
【００３０】
メモリ１６の画像データは、必要に応じて電子ズーム回路５に加えられる。電子ズーム回路５は、操作部１９から指定された電子ズーム倍率に基づいて画像の拡大／縮小処理を行う。すなわち、画像データの一部を切り出し、その切り出し範囲を拡大／縮小することにより、画像の拡大／縮小処理を行なう。そして、その拡大／縮小後の画像データをメモリ１６に出力する。切り出し範囲は十字ボタンなどの操作部１９の操作で画像上の任意の位置に設定でき、これにより画像データの所望の範囲を拡大／縮小できる。
【００３１】
雲台２００は、カメラ１００の動きを検出して、検出した動きを動き情報として通信部２２経由でカメラ１００に送る動き検出回路２１を有している。
【００３２】
動き検出回路２１は、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部２１ａ、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部２１ｂ、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部２１ｃを備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報を含む。
【００３３】
なお、動き検出回路２１は、カメラ１００自身に設けてもよい。ただし、正確な動き情報を得るには、手で持つカメラ１００よりも、地面に置く雲台２００付きの三脚１４０に動き検出回路２１を設ける方が好ましいといえる。
【００３４】
ＣＰＵ１０は、動画データを構成する各フレームが撮影された時点で得られた、あるいはその時点で指定されている動き情報、レンズ１１の光軸の位置、電子ズーム倍率もしくは光学ズーム倍率（これらをまとめてズーム倍率と称す）を、その時点で撮影された各フレーム画像と対応づけてメモリカード１７に記憶する。
【００３５】
図３は本発明に係るプリンタ３００の構成を示すブロック図である。同図に示すように、このプリンタ３００は、主として記録メディア挿入口３３、メディアインターフェース３２、メモリ３４、システムメモリ３６、タッチパネルモニタ３９、入力コントローラ３７、表示コントローラ３８、ＣＰＵ３１、プリントエンジン３５、バス３０から構成されている。
【００３６】
このプリンタ３００は、カメラ１００において使用されているメモリカード１７が挿入される記録メディア挿入口３３を有し、この記録メディア挿入口３３に挿入された記録メディアから動画データを取り込むことができるようになっている。
【００３７】
メモリカード１７が記録メディア挿入口３３に挿入された後、メモリカード１７に記録されている動画画像ファイルがメディアインターフェース３２、バス３０を介してＣＰＵ３１の指示に従い、必要箇所に送られる。メモリ３４は表示画像データやプリント画像データを生成するために一時的に画像データを記憶しておくところである。システムメモリ３６はＲＯＭ等からなり、システムファイルを保存しておく媒体である。タッチパネルモニタ３９は操作部及び表示画面を有しており、表示コントローラ３８によって表示がされるようになっている。タッチパネルモニタ３９の操作部を操作すると入力コントローラ３７が作動して入力が実行される。ＣＰＵ３１は種々の制御を行うほか、モーションＪＰＥＧ形式で圧縮して記録されていた画像データを伸長したりする。プリントエンジン３５はプリンタによるプリントの駆動を制御する。
【００３８】
なお、本形態は、デジタルカメラで撮影されてモーションＪＰＥＧの形式で動画が記録されている場合であるので、タッチパネルモニタ３９上で、静止画を紙芝居のような状態切り替えることで動画を再生できる。
【００３９】
以下、図４のフローチャートに従い、本発明に係るプリンタ３００のプリント動作の流れを説明する。
【００４０】
まず、Ｓ１では、ＣＰＵ３１は、メディア挿入口３３に挿入されたメモリカード１７から、動画データおよび付属情報をメモリ３４に読み出す。
【００４１】
Ｓ２では、ＣＰＵ３１は、付属情報に含まれるカメラ光軸の動き経路に基づき、プリント範囲内におけるフレーム画像の配置順路を決定する。一例として、この配置順路は、プリント範囲の所定位置に存在する配置順路の始点P0および終点P1にカメラ光軸の動き経路の始点および終点が配置されるよう適宜カメラ光軸の動き経路を拡縮することで決定することができる。
【００４２】
図５はプリント範囲内における配置順路の一例を示す。この図に示すように、配置順路は、プリント範囲の外周縁Ｘの内部を通過するように配置される。ただし、フレーム画像の配置順路の決定の仕方は任意であり、特定の被写体像の光点が描いた軌跡に基づいて決定してもよいし、ユーザがタッチパネルモニタ３９の操作によって任意に指定してもよい
。
【００４３】
Ｓ３では、Ｓ２で決定された配置順路に沿って配置すべきフレーム画像を選択し、選択したフレーム画像を配置順路に沿って配置する。配置する画像の選択の仕方は任意である。例えば、所定時間を隔てたフレーム画像ごとに配置したりしてもよい。あるいは、図６に示すように、あるフレーム画像Ｆ１の撮影時刻に近接する撮影時刻に撮影された複数のフレーム画像Ｆ２〜Ｆ４のうち、Ｆ１と最も重複面積が小さいフレーム画像Ｆ４を配置するとよい。
【００４４】
Ｓ４では、配置順路に沿って配置された複数のフレーム画像を１枚のプリント用画像に合成する（図７を参照）。
【００４５】
Ｓ５では、プリントエンジン３５は、合成されたプリント用画像に従って図示しないプリンタを駆動し、プリント用画像をプリントする。
【００４６】
なお、Ｓ４において合成されたプリント用画像において、プリント範囲内の空白が所定量を超える場合（例えばプリント範囲に対する空白の比率が５０％を超える場合）、所定の背景色や背景画像、あるいは予めフレーム画像と関連づけられた静止画をフレームの近傍に配置して合成することで空白部分を埋めてもよい。フレーム画像と静止画の関連づけはカメラ１００で行うことができ、例えば、本出願人による特開２００３−１５８６５３号公報に示されるように、動画撮影モード中に連写された静止画のいずれかを、撮影された動画と関連づけることができる。動画と静止画との関連を示す情報も付属情報に含まれる。空白部分をなるべく埋めることで、プリント画像の見栄えをさらによくできる。
【００４７】
また、選択された各フレーム画像に対応する付属情報のズーム倍率に従って、選択された各フレーム画像のサイズを変更してもよい。図８は、ズーム倍率と反比例するように各フレーム画像のサイズを拡縮した状態を示す。こうすれば、低倍率で撮影されたコマ、即ち広角側のコマを大きく、逆に高倍率で撮影されたコマ、即ち近接側のコマを小さくでき、両者を合成しても大きさが相対的に統一され、見栄えのよいプリントを得ることができる。
【００４８】
あるいは、選択された各フレーム画像に対応する傾き動き情報に従って、選択された各フレーム画像の傾きを補正してもよい。図９は、傾き動き情報に従って各フレーム画像の傾きが相殺されるように補正した状態を示す。こうすれば、傾いて撮影されたフレーム画像を傾きが補正された状態で合成でき、見栄えのよいプリントを得ることができる。
【００４９】
いずれにせよ、本発明によれば、動画を構成する複数のフレーム画像を１つのプリント画像に統一的に違和感なく合成することができ、広い視野の見栄えのよいプリントを得ることができる。
【符号の説明】
【００５０】
１００：カメラ、２００：雲台、３００：プリンタ、２１：動き検出部
【特許請求の範囲】
【請求項１】
動画像の各フレームの撮影時におけるデジタルカメラの光軸の動き経路、上下左右の動き方向及び動き量を含むデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、
前記状態情報に基づいて所定の範囲内におけるフレームの配置順路を決定する決定部と、
前記決定部の決定した配置順路に沿って前記フレームを配置し、前記配置順路に沿って配置されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して１枚の画像に合成する合成部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置と、
前記情報処理装置の合成した画像をプリントするプリンタと、
を備えるプリントシステム。
【請求項３】
撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、
前記撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部と、
前記動画像の各フレームの撮影時における前記デジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、
少なくとも前記動画像の各フレームの撮影時における状態情報を含む付属情報を前記動画像の各フレームに対応づけて前記所定の記憶媒体に記憶する付属情報記憶部と、
を備える請求項２に記載のプリントシステム。
【請求項４】
前記状態情報検出部は雲台に設けられている請求項３に記載のプリントシステム。
【請求項５】
情報処理装置が、
動画像の各フレームの撮影時におけるデジタルカメラの光軸の動き経路、上下左右の動き方向及び動き量を含むデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得するステップと、
前記状態情報に基づいて所定の範囲内におけるフレームの配置順路を決定するステップと、
前記決定した配置順路に沿って前記フレームを配置し、前記配置順路に沿って配置されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して１枚の画像に合成するステップと、
を実行する画像合成方法。
【請求項１】
動画像の各フレームの撮影時におけるデジタルカメラの光軸の動き経路、上下左右の動き方向及び動き量を含むデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、
前記状態情報に基づいて所定の範囲内におけるフレームの配置順路を決定する決定部と、
前記決定部の決定した配置順路に沿って前記フレームを配置し、前記配置順路に沿って配置されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して１枚の画像に合成する合成部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置と、
前記情報処理装置の合成した画像をプリントするプリンタと、
を備えるプリントシステム。
【請求項３】
撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、
前記撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部と、
前記動画像の各フレームの撮影時における前記デジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、
少なくとも前記動画像の各フレームの撮影時における状態情報を含む付属情報を前記動画像の各フレームに対応づけて前記所定の記憶媒体に記憶する付属情報記憶部と、
を備える請求項２に記載のプリントシステム。
【請求項４】
前記状態情報検出部は雲台に設けられている請求項３に記載のプリントシステム。
【請求項５】
情報処理装置が、
動画像の各フレームの撮影時におけるデジタルカメラの光軸の動き経路、上下左右の動き方向及び動き量を含むデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得するステップと、
前記状態情報に基づいて所定の範囲内におけるフレームの配置順路を決定するステップと、
前記決定した配置順路に沿って前記フレームを配置し、前記配置順路に沿って配置されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して１枚の画像に合成するステップと、
を実行する画像合成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１４８１１３（Ｐ２０１０−１４８１１３Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２００９−２８８９０７（Ｐ２００９−２８８９０７）
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【分割の表示】特願２００５−２６８７４５（Ｐ２００５−２６８７４５）の分割
【原出願日】平成１７年９月１５日（２００５．９．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２１年１２月２１日（２００９．１２．２１）
【分割の表示】特願２００５−２６８７４５（Ｐ２００５−２６８７４５）の分割
【原出願日】平成１７年９月１５日（２００５．９．１５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]