撮影装置及び撮影方法
撮影装置１０は、撮影画像を取得するための撮影部１８と、格納されたデータをシナリオ映像を構成するように読み出すための合成再生部２０と、前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶するシナリオ格納部１２と、前記合成再生部２０により読み出される前記シナリオ映像に、前記撮影部１８により取得された撮影画像を、前記シナリオ格納部１２に記憶された合成情報に従って合成するための合成再生制御部２２と、前記合成再生制御部２２により得られる合成映像を表示する表示部２４とを備える。
【発明の詳細な説明】
【技術分野】
撮影により得られる画像と、シナリオ映像とを合成する装置及び方法に関する。
【背景技術】
従来から、二つの映像を合成する技術が提案されている。この技術の一つとしてクロマキー合成が知られている。クロマキー合成では、被写体を特定色（一般的には青色）の背景で撮影し、その特定色の背景を透明にすることにより被写体だけを抜き出した映像を作る。そして、抜き出した映像を他の映像に重ねることにより合成映像を作成する。
特開２００１−３４６０９９号公報は、クロマキー合成による合成映像を容易に作成できるように映像を蓄積する装置を開示している。カメラで被写体を撮影した実写映像と撮影時におけるカメラの撮影状況を対応づけて格納することにより、将来必要に応じて合成映像の作成に利用可能としている。
特開平４−１８３１８３号公報では、カラオケ用ビデオソフトの再生画像に、歌っている人の顔や姿を合成する画像信号処理装置が開示されている。
【発明の開示】
特開２００１−３４６０９９号公報に開示された装置は、撮影した映像を格納しておき、後で映像の合成を行うための装置である。例えば、テレビ放送に用いられる映像では、精度の高い映像合成が求められ、上記のような装置を利用して映像を編集することが好ましい。しかし、使用する態様によっては、映像合成の際の操作容易性やスピーディーな映像合成が要求される場合がある。
映像合成の際の操作容易性が重視される一例としては、カメラ付きの携帯電話で撮影した映像を他の映像と合成する場合がある。携帯電話は画面の大きさやキーの種類に制限があるので、一旦撮影した映像を読み出し、読み出した映像から所望の箇所を切り出して編集するという作業は面倒である。
また、携帯電話で撮影した画像を映像合成用の端末に移して処理することも可能であるが、編集した合成映像をすぐに見ることができない。
特開平４−１８３１８３号公報に開示された装置では、合成する撮影画像としてカラオケを歌う人の顔や姿を前提としている。この前提の下では、歌う人が立つ位置は、歌詞を表示する画面の前で概ね一定しており、撮影用ビデオカメラの位置や向きを調整しなくても適切な撮影画像を取得することができる。また、撮影画像の合成も演奏の開始と共に行えばよく、合成タイミングを制御する必要もない。
このように特開平４−１８３１８３号公報に記載の画像信号処理装置においては、合成される撮影画像は、あらかじめ定められた対象（カラオケを歌う人の顔や姿）であり、合成タイミングもカラオケ用ビデオソフトの再生中というように固定されている。再生されるシナリオ映像に合わせて、合成する撮影画像の対象やその合成タイミングを制御することができない。
本発明は上記のような背景に鑑み、撮影しながら映像合成を行える撮影装置および撮影方法を提供することを目的とする。また、本発明は、所望のタイミングに適切な撮影画像の合成を行うことができる撮影装置を提供することを目的とする。
本発明の撮影装置は、撮影画像を取得するための撮影手段と、格納されたデータをシナリオ映像を構成するように読み出すための読出手段と、前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶する記憶手段と、前記読出手段により読み出される前記シナリオ映像に、前記撮影手段により取得された撮影画像を、前記記憶手段に記憶された合成情報に従って合成する合成手段と、前記合成手段により得られる合成映像を表示する表示手段と、を備える。
このように記憶手段に記憶された合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示手段によって表示する構成により、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示手段に表示される合成映像を見ながら、撮影装置を動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。なお、「シナリオ映像」とは、撮影画像と合成される時間の概念を持つ映像であり、例えば、動画、アニメーション、スライドショーなどである。シナリオ映像は、一般的には、シナリオ情報に従って表示等される。ここで、シナリオ情報とは、例えば、動画、静止画、テキスト、または音声などのマルチメディアデータのうち、どのデータを、いつ、どこに、どのように出力するかを記述した情報である。「撮影画像」は、シナリオ映像の再生中に撮影手段により取得される画像であり、ファイルなどの格納手段にあらかじめ格納されたデータにより構成されるものではない。撮影画像は、動画でもよいし、静止画でもよい。
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む。
この構成により、合成情報に基づいて、撮影画像とシナリオ映像とが合成される時間を規定することができる。時間に関する情報は、例えば、合成を開始するシナリオ映像中の時刻または合成を終了するシナリオ映像中の時刻により規定される。
前記合成情報は、前記撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む。
この構成により、撮影画像が合成される合成領域を規定することができる。合成領域に撮影画像をはめ込むことにより、撮影画像とシナリオ映像との合成を行える。なお、撮影手段により撮影した画像の全体を合成領域に合成してもよいし、撮影した画像の一部を合成領域に合成してもよい。
上記撮影装置は、前記合成情報に基づいて、前記撮影画像が前記シナリオ映像中に合成される時刻以前に、前記合成領域に関する情報を、前記撮影手段に対する制御を行なうべきユーザに提示する手段をさらに備えてもよい。
この構成により、ユーザは撮影画像がシナリオ映像中に合成される時刻以前に合成領域に関する情報を取得できる。これにより、ユーザは、シナリオ映像に合成すべき画像を撮影するために、撮影手段であるカメラの位置や向き又は撮影条件の変更等を行うことができる。なお、撮影画像がシナリオ映像中に合成される時刻以前とは、合成が開始される時刻より前でもよいし、合成が開始される時刻でもよい。合成が開始される時刻に合成領域に関する情報を提示する場合には、ユーザがカメラを制御する時間を確保するため、シナリオ映像の再生を一時停止することが好ましい。
前記ユーザに提示する合成領域に関する情報は、前記合成情報のうち外形および位置に関する情報の少なくとも一方に基づくものであってもよい。
この構成により、ユーザは、合成領域に合成されるべき画像を予測することができ、撮影準備を行うことができる。外形に関する情報に基づく情報の提示には、例えば、合成領域の輪郭を表示する方法がある。これにより、合成領域の形状および大きさを提示できる。位置に関する情報の提示は、撮影画像の一部を合成領域に合成する場合であって、かつ撮影画像の全体とシナリオ映像を構成する画像の全体をそのまま重ね合わせて合成する場合に有効である。すなわち、撮影画像の中の合成すべき対象物の位置とシナリオ映像を構成する画像の中の合成領域の位置とが一致するようにカメラの位置または向きを調整すればよい。
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、前記合成情報のうち外形および位置に関する情報の少なくとも一方に従って加工して得られた画像を含んでもよい。
このように撮影画像を提示することにより、ユーザは、撮影手段によってどのような撮影画像が得られているかを把握できる。これにより、例えば、合成が開始される時刻以前に、合成されるべき撮影対象にピントを合わせておくことができる。ここで、合成情報に従って加工するとは、例えば、撮影画像の切り出し、拡大縮小等の処理であり、これにより撮影画像を合成領域にはめ込むとどのような画像となって表示されるかを把握することができる。また、撮影画像は、例えば、合成が開始される時刻においてシナリオ映像を構成する画像と共に表示することもできる。あるいは、表示手段に現在表示中の、すなわち合成が開始される時刻より前のシナリオ映像と共に表示することもできる。後者の場合は、撮影画像と表示中のシナリオ映像を構成する画像とを重ねて表示してもよいし、並べて表示してもよい。
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、該合成領域が出現することになっているシナリオ映像を構成する画像中に、前記合成情報に従って合成して得られた画像を含んでもよい。
このように撮影手段により取得された撮影画像と合成領域が出現することになっているシナリオ映像を構成する画像とを合成した合成プレビュー画像をユーザに提示することにより、ユーザは合成領域に合成される撮影画像を所望の画像とすることが可能となる。すなわち、ユーザは、合成プレビュー画像を見ることにより、合成領域にふさわしい画像を選択し、撮影することができる。また、合成領域の形状、大きさに応じて、撮影手段による撮影のズーム率を調節したり、背景となるシナリオ映像に合わせて撮影画像の明るさを調節したりすることもできる。合成プレビュー画像は、シナリオ映像の再生を一時停止して表示することとしてもよいし、シナリオ映像再生中の画面とは異なる画面に表示することとしてもよい。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻に、前記シナリオ映像の再生を一時停止する手段を備える。
このようにシナリオ映像の再生を一時停止することにより、ユーザが撮影手段であるカメラを制御する時間を確保できる。
上記撮影装置は、前記合成領域の前記シナリオ映像を構成する画像中における位置が、時間の経過に伴って移動するように設定してもよい。
この構成により、カメラの位置や向きを変えなくてもシナリオ映像を構成する画像中での合成領域の位置を時間の経過に伴って移動させることができる。例えば、合成情報に含まれる合成領域の位置に関する情報を時間の関数で表すことにより、合成領域を移動可能に設定できる。
上記撮影装置は、前記合成領域の外形が、時間の経過に伴って変化するように設定してもよい。
この構成により、合成領域の外形を時間の経過に伴って変化させることができる。例えば、合成情報に合成領域の外形の情報として複数の形状の情報を含め、それぞれの形状情報を時間に関連付けておくことにより、合成領域の外形が変化するように設定できる。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻が近づいたことをユーザに知らせる手段をさらに備えてもよい。
この構成により、ユーザは合成すべき画像を撮影する準備を行うことができる。ユーザに知らせる手段としては、例えば、文字によってカウントダウンする構成、音や光により知らせる構成、シナリオ映像の再生速度を遅くして知らせる構成などがある。ここで、「ユーザ」には、撮影を行う人のほか、被写体となる人も含まれる。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含む所定時間内において、合成開始に関する情報をユーザに知らせる手段をさらに備えてもよい。
この構成により、ユーザが合成がまもなく開始されること、または合成が開始されたことを知ることができ、合成すべき撮影画像を取得することができる。合成開始に関する情報をユーザに知らせる手段は、例えば、合成開始時刻を含む所定時間内において、音を出力する構成や、光を点滅させる構成によって実現できる。合成開始時刻の前後で音や光を出力することで、撮影画像を取得することをユーザに促すことができる。なお、合成開始時刻が経過した後に、ユーザが撮影画像の撮影を開始した場合でも、合成開始時刻からユーザが撮影を開始するまでの時間については、例えば、撮影開始後の撮影画像によって、合成すべき画像を補完することにより、適切な合成映像を得ることが可能である。ここで、「ユーザ」には、撮影を行う人のほか、被写体となる人も含まれる。
上記撮影装置は、前記合成映像を記録する手段をさらに備えてもよい。
この構成により、撮影しながら合成した合成映像を後でそのまま再生することができる。
上記撮影装置は、前記撮影手段により取得された撮影画像を前記シナリオ映像の識別情報に関連付けて記録する手段をさらに備えてもよい。
この構成により、関連付けられたシナリオ映像に撮影画像を合成しながら再生することで合成映像を再生可能となる。一つのシナリオ映像に対して複数の撮影画像を記録しておけば、一つのシナリオ映像から複数の異なる合成映像を再生することもできる。
前記撮影手段が、前記合成情報に含まれる撮影条件に関する情報に基づいて撮影してもよい。
この構成により、合成領域に合成されるべき映像の内容に合った映像を撮影することができる。撮影条件には、例えば、明るさ、フォトライトの有無、ズーム率、色調（セピア、白黒、カラー）などがある。
上記撮影装置は、前記撮影画像と前記シナリオ映像との合成開始指示または合成終了指示の少なくとも一方をユーザに入力させる入力手段を備えてもよい。
この構成により、撮影画像とシナリオ映像との合成開始または合成終了のタイミングをユーザが選択可能となる。合成開始指示を入力させる構成を採用すれば、例えば、合成映像の撮影準備ができた段階で合成を開始することができる。また、合成終了指示を入力させる構成を採用すれば、例えば、合成映像の撮影ができなくなった場合には、合成を終了することができる。ここで、ユーザとは撮影を行う人である。
上記撮影装置は、前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成開始時刻の経過後に前記合成開始指示が入力された場合には、前記規定された合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完してもよい。
この構成により、合成情報により規定された合成開始時刻の経過後に、ユーザにより合成開始指示が入力された場合にも適切な合成映像を作成できる。撮影画像で補完する方法としては、例えば、合成開始指示が入力された時点における撮影画像を、合成情報により規定された合成開始時刻から合成開始指示が入力されるまでの期間の合成領域に適用する方法、または、撮影画像の再生速度を遅くして、合成情報により規定された合成時間の長さに撮影画像を引き延ばす方法がある。シナリオ映像で補完する方法としては、例えば、合成情報により規定された合成開始時刻から合成開始指示が入力されるまで、合成領域にデフォルトのシナリオ映像を表示する方法がある。
上記撮影装置は、前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成終了時刻の前に前記合成終了指示が入力された場合には、前記合成終了指示が入力されてから前記規定された合成終了時刻までの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完してもよい。
この構成により、合成情報により規定された合成終了時刻の前に合成終了指示が入力された場合にも適切な合成映像を作成できる。撮影画像で補完する方法としては、例えば、合成終了指示が入力された時点での撮影画像を、合成終了指示が入力されてから合成情報により規定された合成終了時刻までの合成領域に適用する方法、または、撮影画像の再生速度を遅くして、合成情報により規定された合成時間の長さに撮影画像を引き延ばす方法がある。シナリオ映像で補完する方法としては、例えば、合成終了指示の入力時から合成情報により規定された合成終了時刻まで合成領域にデフォルトのシナリオ映像を表示する方法がある。
前記表示手段は複数画面からなり、少なくとも一の画面で前記シナリオ映像または前記合成映像を表示してもよい。
この構成により、一の画面でシナリオ映像または合成映像を表示しつつ、他の画面でそれ以外の情報を確認することができる。例えば、撮影手段によって撮影中の画像を他の画面に表示することが可能となる。これにより、合成されるべき撮影対象に前もってピントを合わせ、適切な撮影画像を取得できる。また、撮影手段が捉えている画像をプレビュー画像として他の画面に表示することも可能である。また、画面の一つを被写体側に設ければ、被写体に合成映像を見せることにより、被写体が合成映像を確認できる。
上記撮影装置は、前記撮影手段により撮影されるべき点もしくは範囲を示す光を照射する照射手段を備えてもよい。
この構成により、被写体に照射された光によって、ユーザは撮影手段により得られる撮影画像を予想することができ、この予想に基づいてカメラの位置や向きを制御することができる。
上記撮影装置において、前記撮影手段により取得される撮影画像は連続的に撮影される動画であり、前記合成手段は、前記シナリオ映像に前記動画を合成してもよい。
このように撮影手段により取得した動画を、合成情報に基づいてシナリオ映像に合成することができる。
上記撮影装置において、前記撮影手段により取得される撮影画像は１枚以上の静止画であり、前記合成手段は、連続して読み出されるシナリオ映像に合成する画像として前記静止画のうちの１枚を所定時間内使用する。
このように撮影手段により取得した静止画を、合成情報に基づいてシナリオ映像に合成することができる。なお、所定時間とは、合成情報により規定される合成時間であってもよいし、合成時間のうちの一部の時間でもよい。合成時間のうちの一部において静止画のうちの１枚を合成する場合には、静止画のうちの他の１枚または複数枚を残りの合成時間において合成してもよい。
上記撮影装置は、前記撮影手段により撮影した撮影画像の一部を部分画像として切り出す部分画像切出手段を備え、前記合成手段は、前記部分画像切出手段により切り出された部分画像を前記シナリオ映像に合成してもよい。
この構成により、撮影画像から切り出した部分画像をシナリオ映像に合成することができる。
上記撮影装置において、前記記憶手段に記憶された合成情報は、前記部分画像切出手段にて部分画像を切り出す領域および時間帯を特定する部分画像特定情報を含み、前記部分画像切出手段は、前記部分画像特定情報に基づいて前記撮影画像から部分画像を切り出してもよい。
この構成により、撮影画像から切り出す部分画像を合成情報に規定することができる。例えば、シナリオ映像に合った部分画像を規定することが可能である。
上記撮影装置において、前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動してもよい。
この構成により、カメラの位置や向きを変えなくても、シナリオ映像に合成する部分画像の位置を時間の経過に伴って移動させることができる。
上記撮影装置において、前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化してもよい。
この構成により、部分画像の形状を時間の経過に伴って変化させることができる。
上記撮影装置において、前記部分画像特定情報は、前記部分画像が含むべき対象物によって部分画像を特定し、前記部分画像切出手段は、前記部分画像特定情報にて特定された対象物が映った部分を前記部分画像として前記撮影画像から切り出してもよい。
この構成により、対象物によって部分画像を特定するので、シナリオ映像に合った部分画像を容易に特定できる。
上記撮影装置において、前記合成情報は、前記合成領域が含むべき対象物を特定し、前記合成手段は、前記シナリオ映像のうち前記部分画像特定情報にて特定された対象物が表示された部分を前記合成領域とし、前記合成領域に前記撮影画像を合成してもよい。
この構成により、対象物によって合成領域を特定するので、容易に合成領域を特定できる。
上記撮影装置は、前記撮影画像の合成を開始する時刻に再生を開始するデータがあるときに、そのデータの再生を開始した後に、前記シナリオ映像を一時停止する制御を行う制御手段を備えてもよい。
この構成により、合成を開始する時刻にシナリオ映像の再生を一時停止する前に、同時刻に開始されるデータの再生を開始するので、一時停止した状態で、合成の開始時刻におけるシナリオ映像を表示できる。
上記撮影装置は、前記撮影画像の合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶するプレビュー画像記憶手段と、前記撮影画像の合成を開始する時刻に、前記プレビュー画像を表示し、前記シナリオ映像を一時停止する制御を行う制御手段とを備えてもよい。
この構成により、合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶し、合成開始時刻に記憶されたプレビュー画像を表示するので、一時停止した状態で、合成開始時刻におけるシナリオ映像のプレビューを容易に表示できる。
上記撮影装置において、前記制御手段は、前記シナリオ映像の再生を再開する位置を前記合成の開始時刻に移動してもよい。
この構成により、シナリオ映像再生の一時停止までに要した処理時間によらず、合成の開始時刻からシナリオ映像の再生を再開することができる。
本発明のシナリオデータは、格納されたデータの出力方法を記述したシナリオ情報と、撮影により取得される撮影画像を、前記シナリオ情報の記述にしたがって出力されるシナリオ映像に合成するための合成情報と、を有する。
この構成により、格納されたデータに基づいて出力されるシナリオ映像と、撮影された撮影画像との合成を容易に行える。合成情報は、撮影画像をシナリオ映像に合成するための情報であり、例えば、撮影画像を、どのタイミングで、どの位置に合成するかを記述する情報である。シナリオ情報は、格納されたデータの出力方法を記述する情報である。シナリオ情報がどのデータを出力するかをあらかじめ記述しているのに対し、合成情報では、出力すべきデータをあらかじめ固定しておらず、撮影の都度異なる撮影画像のデータを出力することを記述する。撮影により取得された撮影画像を合成情報に基づいて出力し、格納されたデータをシナリオ情報に基づいて出力することにより、シナリオ映像と撮影画像との合成を容易に行える。
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含んでもよい。
この構成により、合成情報に基づいて、撮影画像とシナリオ映像とが合成される時間を規定することができる。時間に関する情報は、例えば、合成を開始するシナリオ映像中の時刻または合成を終了するシナリオ映像中の時刻により規定される。
前記合成情報は、撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含んでもよい。
この構成により、撮影画像が合成される合成領域を規定することができる。合成領域に撮影画像をはめ込むことにより、撮影画像とシナリオ映像との合成を行える。なお、撮影手段により撮影した画像の全体を合成領域に合成してもよいし、撮影した画像の一部を合成領域に合成してもよい。
上記シナリオデータにおいて、前記合成情報は、前記撮像画像の一部を部分画像として切り出す領域および時間帯を特定する部分画像特定情報を含んでもよい。
この構成により、シナリオ映像に合成するために撮影画像から切り出す部分画像を規定することができる。
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動してもよい。
この構成により、カメラの位置や向きを変えなくてもシナリオ映像に合成する部分画像の位置を時間の経過に伴って移動させることができる。
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化してもよい。
この構成により、部分画像の形状を時間の経過に伴って変化させることができる。
前記部分画像特定情報は、部分画像が含むべき対象物によって前記部分画像の領域および時間帯を特定してもよい。
この構成により、対象物によって部分画像を特定するので、シナリオ映像に合った部分画像を容易に特定できる。
上記シナリオデータにおいて、前記合成情報は、撮影画像が合成される合成領域が含むべき対象物によって前記合成領域およびシナリオ映像が合成領域を含む時間帯を特定してもよい。
この構成により、対象物によって合成領域およびシナリオ映像が合成領域を含む時間帯を特定するので、容易に合成領域を特定することができる。
本発明の撮影方法は、格納されたデータをシナリオ映像を構成するように読み出すステップと、撮影画像を取得するステップと、前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、前記合成するステップにおいて得られる合成映像を表示するステップと、を備える。
このように合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示することにより、ユーザは表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示される合成映像を見ながら、撮影画像を取得するためのカメラを動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。
本発明のプログラムは、撮影画像とシナリオ映像とを合成するためにコンピュータに、格納されたデータをシナリオ映像を構成するように読み出すステップと、撮影画像を取得するステップと、前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、前記合成するステップにおいて得られる合成映像を表示するステップと、を実行させる。
このプログラムをコンピュータにより実行させることにより、コンピュータは、合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示する。これにより、ユーザは表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示される合成映像を見ながら、撮影画像を取得するためのカメラを動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。
本発明の撮影装置は、シナリオ映像に撮影画像を合成するための合成情報に基づいて撮影画像とシナリオ映像とを合成し、表示手段によって合成映像を表示するので、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができ、また、合成される映像が適切に撮影されるように、撮影装置の位置や向きを調整できるというすぐれた効果を提供することができるものである。
【図面の簡単な説明】
第１図は、第１の実施の形態の撮影装置の構成を示す図である。
第２図は、シナリオデータの例を示す図である。
第３図は、シナリオ映像の表示の例を示す図である。
第４Ａ図は、合成映像の記録方式について説明する図である。
第４Ｂ図は、合成映像の記録方式について説明する図である。
第５Ａ図は、合成映像の記録方式について説明する図である。
第５Ｂ図は、合成映像の記録方式について説明する図である。
第６図は、撮影装置による映像合成の動作の流れを示す図である。
第７図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第８Ａ図は、合成プレビュー画像の例を示す図である。
第８Ｂ図は、合成映像の例を示す図である。
第９図は、第２の実施の形態の撮影装置の構成を示す図である。
第１０図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１１Ａ図は、合成映像の例を示す図である。
第１１Ｂ図は、合成領域の提示例を示す図である。
第１２図は、第３の実施の形態の撮影装置の構成を示す図である。
第１３図は、第４の実施の形態の撮影装置の構成を示す図である。
第１４図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１５図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１６図は、第５の実施の形態の撮影装置の構成を示す図である。
第１７図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１８図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１９図は、第６の実施の形態の撮影装置の構成を示す図である。
第２０図は、シナリオデータの例を示す図である。
第２１Ａ図は、撮影画像の例を示す図である。
第２１Ｂ図は、部分画像の例を示す図である。
第２２図は、合成情報の例を示す図である。
第２３Ａ図は、合成領域の変動の例を示す図である。
第２３Ｂ図は、部分画像の例を示す図である。
第２４図は、合成情報の例を示す図である。
第２５図は、第７の実施の形態の撮影装置の構成を示す図である。
第２６図は、シナリオデータの例を示す図である。
第２７Ａ図は、撮影画像の例を示す図である。
第２７Ｂ図は、部分画像の例を示す図である。
第２８図は、シナリオデータの例を示す図である。
第２９Ａ図は、シナリオ映像の例を示す図である。
第２９Ｂ図は、シナリオ映像中の合成領域を示す図である。
第３０図は、第９の実施の形態の合成再生制御部の構成を示す図である。
第３１図Ａは、シナリオデータの例を示す図である。
第３１図Ｂは、スケジュールリストの例を示す図である。
第３２図は、第１０の実施の形態の合成再生制御部の構成を示す図である。
第３３図Ａは、シナリオデータの例を示す図である。
第３３図Ｂは、スケジュールリストの例を示す図である。
第３４図は、第１１の実施の形態の合成再生制御部の構成を示す図である。
第３５図Ａは、シナリオデータの例を示す図である。
第３５図Ｂは、スケジュールリストの例を示す図である。
第３６図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３７図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３８図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３９図は、本発明のプログラムの例を示す図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を用いて説明する。
図１は、本発明の第１の実施の形態の撮影装置１０の構成を示す図である。第１の実施の形態の撮影装置１０は、ユーザが位置や向きを変えることにより、撮影の対象を変えることができる携帯型の撮影装置である。例えば、携帯型のビデオカメラや、カメラ付携帯電話などが含まれる。撮影装置１０は、シナリオデータを格納するシナリオ格納部１２と、撮影画像を取得する撮影部１８と、シナリオ映像の再生およびシナリオ映像と撮影画像との合成を行う合成再生部２０と、合成再生部２０を制御する合成再生制御部２２と、合成されたシナリオ映像を表示する表示部２４とを備えている。撮影部１８は、例えば、ＣＣＤやＣＭＯＳなどの半導体素子により構成され、デジタル画像を取得する機能を有する。撮影部１８は、動画および静止画の少なくとも一方を撮影可能である。
撮影装置１０の詳細な説明に先立って、撮影装置１０において合成されるシナリオデータについて説明する。シナリオデータは、シナリオ情報１４と合成情報１６を含む。シナリオ情報１４は、出力すべき実体データの出力方法を記述した情報である。シナリオ情報１４に基づいて再生されるシナリオ映像は、時間と共に変化する映像であり、例えば、動画、アニメーション、スライドショーなどがこれに該当する。合成情報１６は、撮影画像をシナリオ映像中に合成するための合成領域の外形、シナリオ映像を構成する画像中における合成領域の位置、および合成領域が出現する時間に関する情報である。合成領域が出現する時間は、シナリオ映像に撮影画像が合成されるべき時間である。
図２はシナリオデータの例を示す図、図３は図２に示すデータにより画面に表示されるシナリオ映像および合成領域の例を示す図である。シナリオ映像は、一のメディアにより構成されてもよいし、複数のメディアにより構成されてもよい。図３では、シナリオ映像は、メディアＡとメディアＢとからなり、合成領域がメディアＡの映像上に位置する。合成領域は、撮影部１８により取得される撮影画像が合成される領域である。なお、シナリオ映像は、再生時間中にメディアが再生されない時間帯を含んでいてもよい。例えば、図２に示す例において、Ｔ２＜Ｔ３の場合には、メディアＡが再生される時間帯とメディアＢが再生される時間帯とが重ならず、時刻Ｔ２〜Ｔ３の間は再生されるメディアが存在しないが、そのようなシナリオ映像も本発明の範囲に含まれる。
図２に示す例では、シナリオデータは、シナリオ情報１４と合成情報１６とを有する。シナリオ情報１４は、メディアＡの出力方法を記述したシナリオ情報１４ａとメディアＢの出力方法を記述したシナリオ情報１４ｂとを有する。それぞれのシナリオ情報１４ａ、１４ｂは、ｉ）メディア識別子、ｉｉ）実体データの格納場所、ｉｉｉ）メディアを再生表示する時間に関する情報、ｉｖ）映像を表示する領域に関する情報を含む。ここでは、シナリオ情報１４ａ、１４ｂがそれぞれ４つの情報を含むが、必要に応じて他の情報を含んでもよい。
メディア識別子は、メディアを特定するための情報である。実体データの格納場所は、メディアの実体データが格納されたディレクトリおよびファイル名を示す情報である。ここでは、シナリオ情報１４は、実体データの格納場所に関する情報を有し、実体データはシナリオデータとは別に格納されている。また、図２では、メディアＡおよびメディアＢともに、「ｈｏｍｅ」のディレクトリに実体データが格納されているが、それぞれのメディアの実体データが格納される場所は異なってもよい。このように実体データの格納場所を指定できる構成により、例えば、既存のさまざまなデータをシナリオ映像として容易に利用可能となる。メディアを再生表示する時間に関する情報は、そのメディアに基づいて映像を再生する時間を特定する情報である。ここでは、シナリオ映像の再生開始が指示されてからの経過時間により再生開始および再生終了のタイミングが規定され、再生表示時間が特定されている。例えば、メディアＡは、シナリオ映像の再生開始が指示されてからＴ１秒経過した時刻に再生が開始され、Ｔ２秒経過した時刻で再生が終了することが分かる。映像を表示する領域に関する情報は、そのメディアに基づく映像を表示する位置および形状に関する情報である。例えば、メディアＡは、座標（Ｘａ，Ｙａ）の位置に表示され、その形状は矩形であることが分かる。
このようにシナリオ情報１４は、そのメディアを表示する時間と領域に関する情報を有することができる。これらの情報に基づいて、指定された時間および領域にそのメディアの映像を表示する。なお、ここでは、シナリオデータは、メディアごとに記述されているが、そのほかの記述方法を採用することも可能である。例えば、シナリオ映像の再生時間ごとに出力方法を記述してもよい。
次に、合成情報１６について説明する。合成情報１６は、シナリオ映像に撮影画像を合成するための情報である。合成情報１６は、合成領域が出現する時間に関する時間情報と、合成領域の位置および外形に関する領域情報とを含んでいる。時間情報は、シナリオ映像中に合成領域が出現する時間を、シナリオ映像の再生開始時からの経過時間によって規定する情報である。図２に示す例では、シナリオ映像再生開始からＴ５秒経過時点からＴ６秒経過時点までの期間に合成領域が出現する。すなわち、この期間がシナリオ映像に撮影画像を合成する期間である。領域情報は、時間情報によって規定される期間に出現する合成領域の位置および外形を規定する情報である。図２に示す例では、合成領域の出現する位置は座標（Ｘｃ、Ｙｃ）であり、合成領域の形状は半径Ｒの円である。なお、合成領域が出現する位置については、出現位置を規定する座標を時間の関数とすることにより、合成領域の位置が移動するように設定することも可能である。また、合成領域の外形についても、時間のパラメータを設定することにより、シナリオ映像の再生時間の経過に伴って外形を変化させることができる。
合成領域に合成される映像は、他の映像を上書きする形式で表示される。合成領域とメディアの映像が重なった場合には、合成領域の映像が優先して表示される。例えば、図３に示すように、合成領域とメディアＡの映像の表示領域が重なった場合には、合成領域はメディアＡの映像より前面に配置され、撮影部１８により撮影された画像によってメディアＡの映像を上書きする。
図１に戻って、撮影装置１０の構成について説明する。
シナリオ格納部１２は、図２で説明したようなシナリオデータを格納している。撮影装置１０は、シナリオ格納部１２に格納されたシナリオデータを読み出して表示部２４にシナリオ映像を再生し、かつ撮影部１８により撮影された画像をシナリオ映像に合成する合成再生部２０と、合成再生部２０を制御する合成再生制御部２２とを有する。
合成再生制御部２２は、シナリオ格納部１２からシナリオ情報１４および合成情報１６を読み出し、これらの情報に基づいて合成再生部２０を制御する。合成再生制御部２２は、撮影部１８により撮影された画像を、合成情報１６に基づいてシナリオ映像中の合成領域にはめ込むことにより、撮影画像とシナリオ映像を合成する。このとき合成される画像は、撮影部１８により取得した画像の全体でもよいし、取得した画像の一部でもよい。撮影部１８により取得した画像を合成する際には、合成領域の大きさに合うように画像を加工する。例えば、合成領域に合うように、合成すべき画像の切出し、および／または撮影画像の拡大縮小を行う。また、撮影部１８により取得した画像の一部を合成に用いる場合には、合成領域の出現開始時刻においてシナリオ映像中の合成領域が位置する部分を撮影画像から切り出して合成に用いると処理が簡単である。すなわち、表示されるシナリオ映像と、撮影部１８により取得された画像とを表示部２４上で重ねて表示したときに、合成領域と重なる部分を撮影画像から切り出して合成に用いる。これにより、合成領域に入れるべき対象が撮影部１８によって撮影されるように撮影装置１０の向きを調整しやすい。また、合成領域の出現する位置にかかわらず、撮影画像の決まった位置（例えば、中央）の部分を合成領域の外形に合わせて切り出して合成に用いるようにしてもよい。撮影画像から切り出す位置に関する情報を合成情報に含め、この情報に基づいて、合成領域に合成すべき画像を撮影画像から切り出してもよい。
合成再生部２０は、合成再生制御部２２の制御に基づいて、シナリオ映像の再生および合成映像の再生を行う。シナリオ映像の再生は、シナリオ格納部１２に格納されたシナリオ情報に基づいて、図１に示さない格納部に格納された実体データをシナリオ情報に従って読み出し、読み出した実体データを再生する。実体データは、図１には示さないが、どこに格納されていてもよい。シナリオ格納部１２にシナリオデータと共に格納しておくことも可能である。合成再生部２０は、シナリオ情報により指定された格納場所から実体データを読み出して再生する。なお、合成再生制御部２２によって実体データを読み出し、合成再生部２０に送る構成とすることも可能である。
映像記録部２６には、合成再生制御部２２により合成された映像が記録される。ここで、映像記録部２６への記録方式は、画面に再生された合成映像をそのまま記録する方式を採用してもよいし、合成すべき撮影画像とシナリオ映像とを別々に記録する方式を採用してもよい。前者の方式を採用した場合には、記録された合成映像を読み出せばそのまま合成映像を再生できる。
後者の方式を採用する場合には、撮影画像が合成されるシナリオ映像の識別情報を関連付けておく。例えば、図４Ａに示すように、あらかじめ合成情報にｉ）合成情報識別子を含めておく。ここでは、「ＣａｍｅｒａＡ」という識別子が付され、ＣａｍｅｒａＡで撮影された撮影画像が合成されることを示している。そして、撮影画像を記録する際には、図４Ｂに示すように、撮影部１８により撮影された撮影画像のデータを格納した場所に関する情報（ディレクトリおよびファイル名）をシナリオデータに関連付ける。再生する際には、記録された撮影画像を読み出すと共にシナリオ映像を読み出す。そして、そのシナリオ映像の合成情報に従って、読み出した撮影画像を合成し、その合成映像を表示することで合成映像の再生を行える。
また、合成情報に撮影画像の情報を含めたシナリオデータを生成してもよい。すなわち、図５Ａに示すように、あらかじめ合成情報にｉ）合成情報識別子を含めておく。そして、撮影画像を記録する際には、図５Ｂに示すように、撮影部１８により撮影した撮影画像をシナリオデータを構成するメディアの一つ（メディアＣ）として取り扱い、新たなシナリオデータを生成する。メディアＣも、メディアＡまたはメディアＢと同様に、ｉ）メディア識別子、ｉｉ）実体データの格納場所、ｉｉｉ）メディアを再生表示する時間に関する情報、ｉｖ）映像を表示する領域に関する情報を含む。
また、記録する範囲についても、シナリオ映像の再生開始から再生終了まで記録する方式を採用してもよいし、合成領域が出現するシナリオ映像の部分を記録する方式を採用してもよい。
撮影条件制御部２８は、撮影部１８の撮影条件等を制御する機能を有する。撮影条件には、例えば、明るさ、フォトライトの有無、ズーム率、色調（セピア、白黒、カラー）などの条件がある。合成情報１６に、合成されるべき画像の撮影条件の情報が含まれている場合には、撮影条件制御部２８はその情報に基づいて撮影条件を設定する。また、撮影条件制御部２８は、ユーザによる撮影条件の設定を受け付けることも可能である。
図６は撮影装置１０による映像合成の動作の流れを示す図、図７は映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。なお、図７においては、横軸は時間軸を示し、右に行くに従って時間が経過していることを示す。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する（ステップＳ１）。シナリオ映像再生開始の指示は、合成再生制御部２２に入力される。合成再生制御部２２が合成再生部２０を制御することにより（ステップＳ２）、合成再生部２０がシナリオ映像の再生を行う。すなわち、合成再生部２０は実体データ格納部４０からシナリオ情報１４を読み出し、シナリオ情報１４に基づいてシナリオ映像を再生する（ステップＳ３）。実体データ格納部４０はどこにあってもよく、図６では点線で示している。ここでは、図２に示すシナリオデータに従ってシナリオ映像が再生されるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。図７に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生されるだけである。なお、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。すなわち、メディアＡの開始時刻Ｔ１とメディアＢの開始時刻Ｔ３はｔ＝０、メディアＡの終了時刻Ｔ２とメディアＢの終了時刻Ｔ４はｔ＝Ｔ７であるとする。
合成再生制御部２２は、合成再生部２０によってシナリオ映像を再生する一方で、シナリオ格納部１２から読み出した合成情報１６に基づいて、合成領域の出現タイミングを管理する。合成領域の出現タイミング（時刻Ｔ５）になると、合成再生制御部２２は合成再生部２０に対してシナリオ映像再生の一時停止を指示する（ステップＳ４）。合成再生制御部２２は、さらに撮影条件制御部２８に対し、プレビューモード（撮影画像を記録せずに画面に表示するモード）での撮影を指示する。撮影条件制御部２８は、合成再生制御部２２からの指示に従って、撮影部１８を制御し、プレビューモードでの撮影を開始する（ステップ３４）。
このとき、合成情報１６に撮影条件に関する情報が含まれている場合には、撮影条件制御部２８がその撮影条件に基づいて撮影部１８を制御する。これにより、シナリオ映像に合った撮影画像を取得できる。例えば、シナリオ映像の色調がセピアである場合に、合成される画像の色調もセピアであることが好ましいとシナリオ映像の作成者が考えれば、合成情報１６に撮影条件として色調がセピアであることを含ませる。撮影条件制御部２８は、合成情報１６に含まれる撮影条件により撮影部１８を制御し、色調がセピアの撮影画像を取得する。
撮影部１８によって撮影された画像は合成再生部２０に送られ、合成再生部２０によって撮影画像とシナリオ映像とが合成される（ステップＳ５）。より詳しくは、表示部２４には時刻Ｔ５におけるシナリオ映像が静止画として表示される。シナリオ映像中に含まれる合成領域に撮影画像が合成され、合成映像が作られる。この合成映像が合成プレビュー画像である。図７に示すように、シナリオ映像の再生が時刻Ｔ５で一時停止され、表示部２４に合成プレビュー画像が表示される。
図８Ａ及び図８Ｂは、合成プレビュー画像の例を示す図である。シナリオ映像の再生は停止されており、静止画像が表示される。合成領域には、撮影部１８により取得された撮影画像が表示される。撮影装置１０を動かすと、撮影部１８により取得する画像が変わり、図８Ａ及び図８Ｂに示すように合成領域に合成される画像が変化する。
ユーザは、合成プレビュー画像を見ながら、合成領域に所望の画像が入るように撮影装置１０の位置や向き、ズーム率、または明るさ等を調整する。例えば、図８Ａ及び図８Ｂに示す例では、シナリオ映像は、キーパーがボールをキャッチする瞬間の映像である。合成領域は、キーパーの顔の部分に位置し、撮影部１８による撮影画像が合成領域にはめ込まれる。図８Ａでは、撮影画像がボールと足であり、シナリオ映像に合成される映像としては、ふさわしくない。そこで、撮影装置１０を動かして撮影箇所を変えることにより、顔の画像を撮影する。これにより、図８Ｂに示すようにシナリオ映像にふさわしい合成映像を得ることができる。このように合成プレビュー画像を表示することにより、ユーザが撮影部１８により取得する画像を調整することが可能となる。
次に、ユーザが撮影装置に対して一時停止解除の指示を行う。この指示は、例えば、ユーザが合成領域の所望の画像を合成できたと判断した場合になされる。一時停止解除の指示は、合成再生制御部２２に入力される（ステップＳ６）。合成再生制御部２２は、シナリオ映像再生の再開を合成再生部２０に指示するとともに、撮影条件制御部２８に対して記録モードでの撮影を指示する（ステップＳ６）。図７に見られるように、一時停止指示の時刻と一時停止解除の時刻ｔはともにＴ５で同じであり、シナリオデータ内の時刻が停止している。なお、この間、実時間は経過している。
撮影部１８によって撮影された画像は、合成再生部２０に送られ、シナリオ映像と合成される（ステップＳ７）。具体的には、シナリオ映像に含まれる合成領域に、撮影画像がはめ込まれることにより、合成映像が作成される。なお、撮影部１８が動画を撮影する場合、例えば被写体が動けば、合成領域の中にはめ込まれる画像が変化することとなる。
シナリオ映像中の合成領域がシナリオ映像の進行に伴って移動するように作られている場合には、合成される撮影画像の位置が移動する合成映像を作成できる。また、撮影画像の一部を切り出して合成領域に合成する場合に、その切り出す位置を一定とすれば、撮影装置を動かさないで同じ対象物を撮影画像として捉えつつ、その対象物の画像がはめ込まれる合成領域がシナリオ映像中を移動するという合成映像を作成することができる。また、撮影画像の一部を切り出して合成領域に合成する場合に、その切り出す位置を合成領域の位置に合わせて移動させることも可能である。
そして、合成再生部２０は、合成映像を表示部２４に表示する。また、撮影部１８は、図６中破線矢印で示すように、撮影画像を映像記録部２６に送り、映像記録部２６に記録する（ステップ３７）。このとき、再生中のシナリオ映像の識別情報と共に撮影画像を記録する。シナリオ映像と撮影画像とを関連付けておくことにより、合成映像を再生する際には、撮影画像とその撮影画像に関連付けられたシナリオ映像とを合成し、撮影時に画面に表示された合成映像を再生できる。
なお、映像記録部２６への記録は、別の方式でも可能である。すなわち、図６中破線矢印で示すように、撮影部１８からの撮影画像ではなく、合成再生部２０から出力される合成映像を映像記録部２６に記録する。
合成再生制御部２２は、シナリオ格納部１２から読み出した合成情報１６に基づいて、合成領域の出現が終了するタイミングを管理する。そして、シナリオ映像中から合成領域がなくなる時刻Ｔ６になると、合成再生制御部２２は、撮影条件制御部２８に対して、撮影終了を指示する。これにより、撮影条件制御部２８は撮影部１８による撮影を終了させる（ステップＳ８）。合成再生制御部２２は、シナリオ映像の再生の終了時刻Ｔ７になると、シナリオ映像の再生終了を合成再生部２０に知らせる（ステップＳ９）。
以上、第１の実施の形態の撮影装置１０の動作例について説明した。
第１の実施の形態の撮影装置１０においては、シナリオデータが、撮影画像を合成するための合成情報１６を有している。合成情報１６に基づく合成再生制御部２２の制御により、合成再生部２０が、撮影部１８によって撮影した画像とシナリオ映像とを合成して合成映像を作り、合成映像を表示部２４に表示する。これにより、撮影しながらシナリオ映像と撮影画像を合成することができる。従って、撮影した画像とシナリオ映像とをスピーディーに合成し、合成映像を得ることができる。
また、合成すべき画像の撮影中に表示部２４に合成映像を表示するので、ユーザは合成映像を見ることができ、合成すべき画像を撮影時に調整することができる。すなわち、シナリオ映像の再生中に撮影部１８により合成すべき対象を撮影することにより、撮影した画像をそのまま合成できる。いったん撮影した撮影画像を後で再生し、撮影画像から合成すべき対象を切り出し、シナリオ映像の再生タイミングに合わせて画像を合成するという手間がなく、容易に映像の合成を行うことができる。特に、例えば携帯端末のように画面やキーパッドに制限がある場合には、シナリオ映像と撮影画像の両方を再生し、編集するのは困難なので、シナリオ映像を表示部２４に表示する一方で、撮影部１８により撮影画像を調整する方法が有効である。
なお、上記した実施の形態では、ユーザからのシナリオ映像再生の指示によってシナリオ映像の再生を再開するが、シナリオ映像を一時停止した時点から所定の時間が経過した後に再開することとしてもよい。また、撮影中の画像の内容を判断する手段を備え、撮影画像が合成領域に入るべき画像であると判断したときに、自動的に再生を再開してもよい。例えば、図８Ａおよび図８Ｂに示す例では、撮影装置１０に顔を認識するルーチンを組み込んでおき、合成領域に顔の画像が合成されたと判定したときに、シナリオ映像の再生を再開することができる。
また、上記実施形態では、画像の合成方法として、合成領域に合成される撮影画像をシナリオ映像に上書きする構成について説明したが、他の合成方法を採用することも可能である。例えば、シナリオ映像を構成する画像として透明色を指定可能な透過ＧＩＦフォーマットを用いる場合には、シナリオ映像の下に撮影画像を重ねることにより、画像を合成してもよい。これにより、シナリオ映像の透明色の部分には、下にある撮影画像が表示されることになる。
また、合成情報に撮影画像の回転角度の情報を含めてもよい。これにより、カメラを動かさなくてもシナリオ映像に合った角度の画像を合成することが可能となる。例えば、シナリオ映像が逆立ちしたキャラクターで、この顔の部分に撮影画像を合成したい場合、合成情報に撮影画像の回転角度（１８０°）の情報を含め、この情報に基づいて撮影画像を回転して合成する構成とすれば、被写体に逆立ちしてもらったり、カメラを逆さにして撮影しなくても、適切な画像を合成することができる。
図９は、第２の実施の形態の撮影装置１０の構成を示す図である。第２の実施の形態の撮影装置１０は、第１の実施の形態の撮影装置１０と基本的な構成は同じであるが、合成領域の外形の情報を提示する合成領域提示部３０をさらに備えている点が異なる。合成領域提示部３０は、合成情報１６に基づいて、合成領域が出現する時刻より前に、合成領域の外形の情報をユーザに提示する機能を有する。具体的には、合成領域提示部３０は、例えば、合成領域の外形を枠としてシナリオ映像に重ねて表示する。枠とは、合成領域の輪郭を目立たせるための線であり、これにより、合成領域の形状とその大きさがユーザに示される。
図１０は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。図１０を参照しながら、第２の実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１０も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１０に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれていない。再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
撮影装置１０は、シナリオ映像の再生開始から時刻Ｔ５に達するまでは、合成再生部２０によってシナリオ情報１４を読み出してシナリオ映像を再生する。合成再生制御部２２は、合成情報１６を参照し、時刻Ｔ５に達する前の時刻Ｔｐにおいて、時刻Ｔ５に出現することになる合成領域の外形の情報を合成領域提示部３０に送り、合成領域提示部３０は、表示部２４に現在表示されているシナリオ映像の画面に重ねて合成領域を囲む枠を表示する。
図１１Ａは時刻Ｔ５における合成映像の例を示す図、図１１Ｂは合成領域の外形の情報を画面に表示した例を示す図である。図１１Ａに示すように、時刻Ｔ５におけるシナリオ映像はボールをキャッチしたキーパーの映像であり、その顔の部分に円形の合成領域が位置する。撮影装置１０は、この合成領域の外形の情報を、合成領域が出現する時刻Ｔ５より前の時刻Ｔｐの時点において表示部２４に表示する。すなわち、図１１Ｂに示すように、合成領域の外形を枠Ｆとしてシナリオ映像に重ねて表示する。そして、撮影装置１０は、この合成領域の外形の情報を時刻Ｔｐから時刻Ｔ５までの間表示する。
時刻Ｔ５以降のシナリオ映像再生および映像合成の動作は、第１の実施の形態の撮影装置１０と同様である。すなわち、時刻Ｔ５以降、合成再生制御部２２はシナリオ映像と撮影部１８による撮影画像とを合成し、合成映像を作る。そして、撮影装置１０は、合成再生部２０によって、表示部２４に合成映像を表示する。シナリオデータの合成情報１６によれば、時刻Ｔ６以降に出現する合成領域は存在しないので、撮影装置１０は、合成再生部２０によってシナリオ映像を再生のみを行う。
以上、第２の実施の形態の撮影装置１０の動作例について説明した。
第２の実施の形態の撮影装置１０では、合成領域が出現して映像合成が開始される前に、シナリオ映像に合成領域の外形を表示するので、ユーザは、合成領域の外形の情報に基づいて、合成領域に合成すべき画像を予測することができる。これにより、ユーザは、合成すべき画像の撮影準備をすることができる。
また、第２の実施の形態の撮影装置１０は、第１の実施の形態の撮影装置１０と同様に、撮影した画像とシナリオ映像とを撮影しながら合成することができ、簡易な操作でスピーディーに映像合成を行うことができる。
上記した第２の実施の形態では、図１１Ｂに示すように、出現時点において合成領域が表示される位置の情報も合成再生制御部２２が合成領域提示部３０へ送って、シナリオ映像中のその位置に、合成領域の外形を示す枠Ｆを表示している。このように位置の情報を前もって表示するのは、合成開始時刻におけるシナリオ映像中の合成領域の位置と、撮影画像中の切り出す部分の位置を一致させる実装の場合に有効である。他の実装の場合、合成領域の外形の情報は表示部２４のどこに表示してもよい。また、撮影装置１０が、シナリオ映像を再生表示する画面のほかにサブ画面を有する場合には、サブ画面に合成領域の外形の情報を表示することも可能である。
また、上記した第２の実施の形態では、合成領域の外形の情報を枠Ｆで表示しているが、枠Ｆ以外の表示により外形の情報を示してもよい。例えば、枠を表示せずに、合成領域の内部のシナリオ映像を他より薄く表示してもよい。これによっても、ユーザは合成領域の輪郭を知ることができる。
また、上記した第２の実施の形態では、合成領域提示部３０により提示される外形の情報は、実際に出現することとなる合成領域と形状および大きさが等しい枠Ｆで示しているが、合成領域の形状のみ、または大きさのみに関する情報を合成領域提示部３０により提示することとしてもよい。
また、上記した第２の実施の形態では、合成領域の外形の情報を表示しているが、これに加えて現在撮影部１８が捉えている撮影画像を表示してもよい。このように撮影部１８が捉えている撮影画像を表示することにより、映像合成に先立って、適切な画像を撮影できるように撮影部１８の位置や向きまたはズーム率などを調整しておくことができる。
なお、現在再生中のシナリオ映像と共に撮影部１８による撮影画像を一つの表示部２４に表示する方式としては、例えば、撮影画像を透過処理してシナリオ映像上に表示する方式がある。また、表示部２４に表示する撮影画像は、撮影部１８により撮影される画像の全体でもよいし、撮影画像のうちの合成される範囲のみの画像であってもよい。前者の場合は、例えば、撮影画像の全体を透過処理してシナリオ映像の全体に重ねて表示する。後者の場合は、合成領域の開始時刻に出現する合成領域の位置に、撮影画像から切り出される撮影画像の部分を現在撮影中の撮影画像から切り出し、透過処理してシナリオ映像上に重ねて表示する。これにより、実際に合成される撮影画像をユーザが知ることができると共に、枠を表示しなくてもユーザは合成領域の外形や位置を知ることができる。
なお、第２の実施の形態では、第１の実施の形態と異なり、合成領域と共に表示されるはずの時刻Ｔ５におけるシナリオ映像を、時刻Ｔ５より前にユーザが見ることができない。したがって、時刻Ｔ５より前に上述したように合成領域の外形の情報が表示されても、そこに何を入れればシナリオ映像と合うのか分からない可能性がある。合成領域の属性（例えば「顔」等）の情報も時刻Ｔｐから時刻Ｔ５に表示してもよい（ただし、ユーザはこの属性を無視して自由に撮影対象を選ぶことができる）。
図１２は、本発明の第３の実施の形態の撮影装置１０を示す図である。第３の実施の形態の撮影装置１０は、第２の実施の形態の撮影装置１０と基本的な構成は同じであるが、合成領域の出現のタイミングが近づいたことを知らせるタイミング報知部３２をさらに備えている点が異なる。
タイミング報知部３２は、合成情報１６に含まれる合成領域が出現する時間に関する情報とシナリオ再生開始からの経過時間とに基づいて、合成領域の出現時刻の接近を検知する。タイミング報知部３２は、例えば、音を発することにより、合成領域の出現時刻が近づいていることを報知する構成を採用できる。合成領域の出現時刻が近づくにつれて、発生させる音を大きくする、あるいは音の発生間隔を短くすることにより、合成領域の出現時刻の接近を知らせることができる。図１０に示す例で説明すると、例えば、タイミング報知部３２は、合成領域情報を提示する時刻Ｔｐから、合成領域の出現時刻が近づいていることをユーザに知らせる。
これにより、ユーザは合成領域の出現時刻が近づいていることを知ることができるので、合成すべき画像を撮影する準備を整えることができる。
なお、タイミング報知部３２は、音以外の方法によって、合成領域の出現時刻が近づいていることを報知してもよい。例えば、映像シナリオの再生速度を遅くすることにより、出現タイミングが近づいたことを知らせる構成、または画面にカウントダウンの数字を表示する構成を採用することもできる。また、合成領域の出現時刻が経過した後も継続して、出現時刻の直後であることを知らせてもよい。これにより、ユーザに合成すべき画像の撮影を促すことができる。なお、この際、出現時刻を境に音の高さや音量を変化させる構成としてもよい。
図１３は、本発明の第４の実施の形態の撮影装置１０の構成を示す図である。第４の実施の形態に係る撮影装置１０は、第２の実施の形態の撮影装置１０と基本的な構成は同じであるが、映像合成の開始および終了の指示を入力するための合成タイミング入力部３４を備えている点が異なる。合成タイミング入力部３４から入力されたタイミング情報は、合成再生制御部２２に送られる。合成再生制御部２２は、合成タイミング入力部３４からのタイミング情報に基づいて、撮像画像とシナリオ映像との合成開始または合成終了タイミングを制御する。
このように合成タイミング入力部３４を備え、映像合成の開始および終了の指示を入力可能とした構成により、ユーザが映像合成のタイミングを選択することができる。例えば、ユーザは、合成すべき画像の撮影準備が整った時点で合成を開始することができ、また合成すべき画像を撮影できなくなった場合には、合成を終了することができる。
第４の実施の形態の撮影装置１０では、映像合成の開始と終了のタイミングをユーザが決定することができるので、決定されたタイミングが合成情報に基づく合成領域が出現するタイミングと異なる場合がある。この点について説明する。
図１４は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオ映像との関係を示す図である。図１４を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１４も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像が再生されるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５に達すると、撮影装置１０の画面に再生されるシナリオ映像には合成領域が表示される。合成領域には、撮影部１８によって撮影中の画像が表示される。ただし、この時点では、合成タイミング入力部３４に合成開始指示が入力されていないので、表示部２４に表示されている映像は記録されない。
時刻Ｔｓに合成開始指示が入力されると、撮影装置１０は、合成領域に表示される撮影画像を映像記録部２６に記録する。また、撮影装置１０は、合成領域の出現時刻Ｔ５から合成開始が指示された時刻Ｔｓまでの合成領域に、時刻Ｔｓにおける撮影画像（静止画像）を合成して合成映像を作成し、記録する。これにより、合成開始指示が入力されるまでの合成領域の映像を、時刻Ｔｓにおける撮影画像によって補完することができる。
以上、合成開始指示の入力タイミングが合成領域の出現タイミングより遅くなった場合の合成領域の補完方法について説明した。なお、記録時に補完を行う場合には、映像記録部２６と合成再生部２０との間にバッファを設け、バッファに蓄積された時刻Ｔ５〜Ｔｓのシナリオ映像に、時刻Ｔｓでバッファに入力される最初の撮影画像を合成し、そこで得られた合成映像を、映像記録部２６に記録する。次に、合成領域がまだ出現しているときに合成終了指示が入力された場合の補完方法について説明する。
図１５は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオ映像との関係を示す図である。図１５を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１５も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５に達すると、撮影装置１０の画面に再生される映像シナリオには合成領域が表示される。合成領域には、撮影部１８により撮影される画像が表示される。撮影装置１０は、時刻Ｔ５以降、画面に合成されている映像を映像記録部２６に記録する。
合成領域の出現期間の終点である時刻Ｔ６より前の時刻Ｔｅに合成終了指示が入力されると、撮影装置１０は撮影部１８により撮影された画像の記録を終了する。合成終了を指示された時刻Ｔｅから合成領域の出現終了時刻Ｔ６までの合成領域に、時刻Ｔｅにおける撮影画像（静止画像）を合成して合成映像を作成し、記録する。これにより、合成終了指示が入力されてから時刻Ｔ６に合成領域の表示が消えるまでの合成領域の映像を、時刻Ｔｅにおける撮影画像によって補完することができる。
このように合成開始指示または合成終了指示の入力タイミングが合成領域の出現期間とずれた場合に、ずれた期間における合成領域の画像を補完することにより、合成領域に撮影画像が合成されない事態を回避できる。
上記した実施の形態では、撮影画像の合成開始時点または合成終了時点の画像を用いて合成領域の画像を補完することとしたが、他の方法により合成領域の画像を補完してもよい。撮像した画像を合成領域が出現する時間の長さに等しくなるように引き延ばして記録することも可能である。例えば、合成領域が出現する時間が１０秒なのに対し、撮影された画像の再生時間が５秒だった場合には、撮影された画像の再生速度を半分にし、画像の長さを合成領域の出現時間に合わせることができる。
また、撮影画像とシナリオ映像を別々に記録しておく場合には、再生時に上記したような補完を行うことにより、合成領域に撮影画像が合成されない事態を回避し、適切に合成映像を再生することができる。
なお、上記では、合成開始または合成終了の指示が、合成領域の出現期間とずれた場合に、合成情報に記述された出現期間に合わせて合成を行う例を説明したが、合成開始または合成終了の指示に合わせて合成を行ってもよい。この場合、合成開始指示入力前または合成終了指示入力後であって、合成領域の出現期間内である期間は、合成領域を空白にして表示するのではなく、合成領域により隠れるはずであったシナリオ映像をそのまま表示するようにすればよい。
図１６は、第５の実施の形態の撮影装置１０の構成を示す図である。第５の実施の形態の撮影装置１０の構成は、第１の実施の形態の撮影装置１０と基本的な構成は同じであるが、シナリオ映像に静止画像を合成する点が異なる。第５の実施の形態の撮影装置１０は、シャッター３６を備えている。シャッター３６は撮影部１８と接続されており、シャッター３６が押下されると、撮影部１８は、その押下タイミングにおける静止画像を記録すべき画像として撮影する。
図１７は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。図１７を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１７も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５において、撮影装置１０はシナリオ映像の再生を一時停止する。このとき、画面には時刻Ｔ５におけるシナリオ映像が表示される。シナリオ映像には合成領域が含まれている。合成再生制御部２２が撮影部１８の視野に写っている画像と、一時停止されたシナリオ映像を合成して合成映像を作る。合成再生部２０は、合成再生制御部２２の制御に基づいて合成された映像を表示する。この合成映像が合成プレビュー画像である。
合成プレビュー画像に基づいて撮影装置１０の位置または向きなどを調整し、合成する静止画像を撮影する。所望の画像が合成領域に表示された時点でシャッター３６を押下し、静止画像を取得する。静止画像を取得した後に、シナリオ映像の再生を再開する。シナリオ映像再生の再開は、ユーザによりシャッター３６が押下された時点で再生を再開してもよいし、シナリオ映像を一時停止した時点から所定の時間が経過した後に再開してもよい。
シナリオ映像の再生が再開されると、合成再生制御部２２はシナリオ映像と撮影部１８により撮影した静止画像とを合成し、合成映像を作る。具体的には、合成再生制御部２２の制御により合成再生部２０は、取得した静止画像に対して切出しまたは拡大縮小などの加工を行い、加工した画像をシナリオ映像中の合成領域に合成する。そして、撮影装置１０は、合成再生部２０によって、表示部２４に合成映像を表示する。この場合、動画を撮影する場合と異なり、シナリオ映像は進行するが、合成領域にはめ込まれる画像は静止画像のままとなる。ただし、合成情報の中の位置情報が時間の関数となっている場合、同じ静止画像のはめ込まれた合成画像がシナリオ映像の進行と共に移動することは動画の場合と同様である。合成再生制御部２２は、シナリオ映像に合成領域が出現している間は、撮影画像をシナリオ映像に合成するように合成再生部２０を制御する。すなわち、時刻Ｔ５から時刻Ｔ６までの間は、合成再生部２０が撮影画像とシナリオ映像の合成を行う。
シナリオデータの合成情報１６によれば、時刻Ｔ６以降に出現する合成領域は存在しない。撮影装置１０は、合成再生部２０によってシナリオ映像を再生する。
撮影装置１０は、シナリオ映像が再生されている間の映像を映像記録部２６に記録する。時刻Ｔ５から時刻Ｔ６については、合成再生部２０からの出力を記録するか、撮影した静止画像を記録するかのいずれかの方式により、合成映像を記録する。なお、合成プレビュー画像は記録しない。
以上、第５の実施の形態の撮影装置１０の動作について説明した。なお、ここでは、第１の実施の形態の動作例に沿って静止画像の場合を説明したが、第２の実施の形態の動作例や、第３の実施の形態のタイミング報知、第４の実施の形態の補完方法を静止画像の合成に応用することももちろん可能である。
第５の実施の形態の撮影装置１０は、撮影した静止画像とシナリオ映像とをスピーディーに合成し、合成映像を得ることができる。
また、合成すべき画像の撮影中に表示部２４に合成映像を表示するので、ユーザは合成映像を見ることができ、合成すべき画像を撮影時に調整することができる。すなわち、シナリオ映像の再生中に撮影部１８により合成すべき対象を撮影することにより、撮影した画像をそのまま合成できる。これにより、いったん撮影した撮影画像を後で再生し、撮影画像から合成すべき対象を切り出し、シナリオ映像の再生タイミングに合わせて合成するという手間がなく、容易に映像の合成を行うことができる。特に、例えば携帯端末のように画面やキーバッドに制限がある場合には、シナリオ映像と再生すると共に撮影した静止画像を表示し、編集するのは困難なので、シナリオ映像を表示部２４に表示する一方で、撮影部１８により撮影画像を調整する方法が有効である。
上記した第５の実施の形態の撮影装置１０において、静止画像を複数回撮影することとしてもよい。
図１８は、静止画像を複数回撮影する場合の映像合成について説明するための図である。なお、図１８も図７と同様に、横軸を時間軸としている。図１８に示すように、１回目の撮影後２回目の撮影がなされるまでは、１回目に撮影した静止画像とシナリオ映像とを合成した合成映像を表示する。そして、２回目の撮影後３回目の撮影がなされるまでは、２回目に撮影された静止画像とシナリオ映像とを合成した合成映像を表示する。そして、３回目の撮影後、合成領域の出現期間が終了するまでは、３回目に撮影された静止画像とシナリオ映像とを合成した合成映像を表示する。これにより、複数の静止画像をシナリオ映像の合成領域の中でスライドショーのように表示することができる。
なお、ｎ回目の撮影後、ｎ＋１回目の撮影がなされるまでの間、ｎ回目の撮影静止画像とシナリオ映像を合成した合成映像を映像記録部２６に記録するが、表示部２４には、撮影部１８の視野に写っているプレビュー画像をシナリオ映像に合成して得られる映像を表示してもよい。これにより、ユーザは、シナリオ映像の再生を進行させながら、表示されたプレビュー画像を参考にして、次回（ｎ＋１回目）の撮影準備を行うことができる。
なお、静止画像を複数回撮影する場合に、必ずしもすべての静止画像を利用しなければならないわけではない。例えば、複数の静止画像の中から合成に用いる画像をユーザに選択させてもよいし、最後に撮影した静止画像を用いて合成映像を作成して記録することとしてもよい。最後に撮影された静止画像を合成することとすれば、最も良く撮影できた時点で撮影を終了することにより、ユーザが最も良く撮影できた静止画像により合成映像を作成できる。また、例えば、図１８において、合成シーン終了後に、バッファに蓄積された撮影１〜３の静止画像の中から、撮影２の静止画像をユーザが選択したとすると、選択時Ｔ６またはシナリオ映像の再生終了時Ｔ７で、時刻Ｔ５〜時刻Ｔ６のシナリオ映像に、撮影２の静止画像を合成し、そこで得られた合成映像を映像記録部２６に記録する。あるいは、撮影時には撮影１〜３の静止画像をシナリオ映像とは別に（ただし、シナリオ映像の識別情報を関連付けて）映像記録部２６に記録しておき、再生時にユーザがその中から選んだ静止画像をシナリオ映像に合成しながら再生してもよい。
図１９は、本発明の第６の実施の形態の撮影装置１０を示す図である。第６の実施の形態の撮影装置１０は、第３の実施の形態の撮影装置１０と基本的な構成は同じであるが、撮影画像の一部を切り出すクリッピング部５０を備える点が異なる。
クリッピング部５０は、撮影部１８によって撮影された撮影画像の一部を部分画像として切り出す機能を有する。クリッピング部５０は、シナリオ格納部１２に格納された合成情報１６に従って、部分画像の切出しを行う。
図２０は、シナリオ格納部１２に格納されたシナリオデータの例を示す図である。シナリオデータは、上述した実施の形態と同様に、シナリオ情報１４と合成情報１６とを含んでいる。合成情報１６は、合成領域を規定する情報に加えて、撮影画像から部分画像を切り出すためのクリッピング情報を含んでいる。図２０に示す例では、撮影画像からの切出し位置を特定する「クリッピング位置」、切出し形状を規定する「クリッピング形状」、および部分画像の変化を示す「クリッピング変化」の各情報が記述されている。
次に、第６の実施の形態の撮影装置１０の動作について説明する。第６の実施の形態の撮影装置１０の基本的な動作は、上記した実施の形態の撮影装置１０の動作と同じであるが、クリッピング部５０にて撮影画像から切り出した部分画像をシナリオ映像に合成する点が異なる。以下、第６の実施の形態の撮影装置１０の動作について説明する。
まず、合成再生制御部２２は、シナリオ格納部１２から合成情報１６を読み出し、合成情報１６に含まれるクリッピング情報をクリッピング部５０に渡す。クリッピング部５０は、撮影部１８から撮影画像を受け取り、受け取った撮影画像から部分画像を切り出す。具体的には、合成再生制御部２２から渡されたクリッピング情報によって特定された位置および形状の領域を部分画像として撮影画像から切り出す。
図２１Ａは撮影画像の例を示す図、図２１Ｂは部分画像の例を示す図である。図２０に示す例のように、クリッピング形状が「楕円」と記述されている場合には、図２１Ａに示す撮影画像から、図２１Ｂに示すような楕円形の部分画像Ｐが切り出される。
クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に渡す。また、合成再生制御部２２は、シナリオ格納部１２からシナリオ情報１４を読み出し、読み出したシナリオ情報１４を合成再生部２０に渡す。合成再生部２０は、シナリオ映像の合成領域にクリッピング部５０から渡された部分画像を合成する。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は合成再生部２０から送られた合成映像を記録する。
以上、本発明の第６の実施の形態の撮影装置１０について説明した。
第６の実施の形態の撮影装置１０はクリッピング部５０を備え、クリッピング部５０にて撮影画像から切り出した部分画像をシナリオ映像に合成するので、撮影画像の一部をシナリオ映像に合成することができる。
また、クリッピング部５０は、合成情報１６に記述されたクリッピング情報に従って部分画像を切り出すので、どの部分を部分画像として切り出すかを合成情報に規定しておくことができる。
なお、上記した第６の実施の形態では、クリッピング情報は切り出すべき部分画像の位置および形状を特定しているが、別の態様によって部分画像を特定してもよい。
図２２は、クリッピング情報を記述した合成情報の他の例を示す図である。図２２に示すように切り出すべき部分画像を合成領域に連動する領域として規定することも可能である。
図２３Ａは合成領域の位置および形状の変化を示す図、図２３Ｂは合成領域に連動して撮影画像（図２１Ａ参照）から切り出される部分画像を示す図である。切り出される部分画像を合成領域に連動すると規定した場合、図２３Ａに示すように合成領域Ｇが矩形から円形に形状を変えながら移動すると、この変動に連動して、図２１Ａに示す撮影画像から切り出される部分画像は、図２３Ｂに示す部分画像Ｐのように変動する。この構成により、撮影画像から切り出される部分画像が合成領域に連動するので、あたかも合成領域から撮影画像を覗いているかのような合成映像が得られる。これにより、合成されるコンテンツの表現能力を向上できる。
また、上記した第６の実施の形態では、映像記録部２６に記録するデータが合成再生部２０にて合成された合成映像である例について説明したが、撮影映像を映像記録部２６に記録することとしてもよい。この場合、クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に送る一方で、撮影画像を映像記録部２６に送る。これにより、合成再生部２０にて部分画像とシナリオ映像が合成され、表示部２４に合成映像が表示されると共に、撮影された映像が映像記録部２６に記録される。このときシナリオデータの合成情報には、図２４に示されるように、合成される撮影映像のｉ）識別子およびｉｉ）格納場所が記録される。図２４に示す合成情報１６を用いて合成映像を再生するときには、シナリオデータに記録されたｉ）識別子が示す撮影映像を映像記録部２６から読み出し、合成再生部２０にて合成情報１６を用いてシナリオ映像に合成しつつ再生することにより、合成映像を再現できる。
図２５は、第７の実施の形態の撮影装置１０の構成を示す図である。第７の実施の形態の撮影装置１０は、基本的な構成は第６の実施の形態の撮影装置１０と同じであるが、第７の実施の形態の撮影装置１０では、撮影画像に含まれるべき対象物の種類を指定することによって撮影画像から切り出す部分画像を規定する点が第６の実施の形態の撮影装置１０と異なる。これに伴い、第７の実施の形態の撮影装置１０は、画像認識部５２をさらに備えている。
図２６は、第７の実施の形態のシナリオデータの例を示す図である。シナリオデータは、上述した実施の形態と同様に、シナリオ情報１４と合成情報１６を含んでいる。合成情報１６は、合成領域を特定する情報に加えて、部分画像を切り出すためのクリッピング情報を含んでいる。クリッピング情報は、部分画像に含まれる対象物を特定することによって部分画像を特定している。以下、部分画像を特定するための対象物の情報を「クリッピング対象物」という。図２６に示す例では、クリッピング対象物「顔」を含む部分を部分画像として撮影画像から切り出すことが記述されている。
図２５に戻って、画像認識部５２は、撮影部１８にて撮影された撮影画像の画像認識を行って撮影画像中に表示されたクリッピング対象物を識別する機能を有する。そして、画像認識部５２は、クリッピング対象物が表示された領域の情報をクリッピング部５０に渡す。
次に、第７の実施の形態の撮影装置１０の動作について説明する。第７の実施の形態の撮影装置１０の動作は、基本的には第６の実施の形態の撮影装置１０の動作と同じであるが、クリッピング部５０にて切り出す領域を画像認識部５２によって求める点が異なる。
まず、撮影装置１０の合成再生制御部２２は、シナリオ格納部１２に格納されたシナリオデータから合成情報１６を読み出し、部分画像を特定するクリッピング対象物の情報を取得する。そして、合成再生制御部２２は、画像認識部５２にクリッピング対象物の情報を渡す。
画像認識部５２は、撮影部１８にて撮影された撮影画像中で、クリッピング対象物が表示された領域を識別し、その領域の情報をクリッピング部５０に渡す。クリッピング部５０は、画像認識部５２から渡された情報で示される領域を、部分画像として切り出す。
図２７Ａは撮影画像の例を示す図、図２７Ｂは部分画像の例を示す図である。合成情報１６にてクリッピング対象物が「顔」と指定された場合には、図２７Ａに示す撮影画像中で「顔」が表示された領域を識別し、図２７Ｂに示すように「顔」を含む領域が部分画像Ｐとして切り出される。この例では、「顔」を含む円形の領域を部分画像として切り出しているが、クリッピング対象物を含む画像を切り出す領域の形状は、円形に限られない。例えば、矩形の領域を切り出してもよいし、クリッピング対象物の形状に合った領域を切り出してもよい。
そして、クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に渡す。合成再生部２０は、シナリオ映像の合成領域にクリッピング部５０から渡された部分画像を合成する。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は、合成再生部２０から送られた合成映像を記録する。
第７の実施の形態の撮影装置１０は、部分画像に含まれるべきクリッピング対象物を指定することによって部分画像を特定するので、切り出すべき部分画像を容易に特定できる。そして、撮影装置１０の画像認識部５２が、クリッピング対象物が表示された領域を識別し、クリッピング対象物が含まれた領域を切り出すことが可能となる。
また、第７の実施の形態の撮影装置１０は、第６の実施の形態の撮影装置１０と同様に、クリッピング部５０にて切り出した部分画像をシナリオ映像に合成するので、撮影画像のうちの一部をシナリオ映像に合成することができる。
なお、上記した第７の実施の形態の撮影装置１０では、シナリオ映像に撮影画像から切り出した部分画像を合成した合成映像を映像記録部２６に記録する構成について説明したが、第６の実施の形態にて説明したのと同様に撮影画像そのものを映像記録部２６に記録することも可能である。
次に、本発明の第８の実施の形態の撮影装置１０について説明する。第８の実施の形態の撮影装置１０は、基本的な構成は第７の実施の形態の撮影装置１０と同じであるが（図２５参照）、シナリオ格納部１２に格納された合成情報１６の内容が異なる。また、画像認識部５２は、撮影画像から対象物を識別すると共に、シナリオ映像から対象物を識別する機能を有する。
図２８は、第８の実施の形態の撮影装置１０のシナリオ格納部１２に記憶されたシナリオデータの例を示す図である。シナリオデータの合成情報１６には、合成領域が含むべき対象物を指定することによって合成領域が規定されている。この例では、時刻ｔ＝Ｘｂ〜Ｙｂにおいて、シナリオ映像中で「ボール」が表示される領域を合成領域として特定している。なお、合成情報１６において、部分画像は、第７の実施の形態と同様に部分画像が含むべきクリッピング対象物「ボール」によって特定されている。
次に、第８の実施の形態の撮影装置１０の動作について説明する。
まず、撮影装置１０の合成再生制御部２２は、シナリオ格納部１２に格納されたシナリオデータからシナリオ情報１４および合成情報１６を読み出し、合成領域を特定するための対象物の情報を取得する。次に、合成再生制御部２２は、合成再生部２０にシナリオ情報１４を渡す。合成再生部２０は、合成領域を特定するための対象物の情報と共にシナリオ映像を画像認識部５２に渡す。画像認識部５２は、シナリオ映像中で、対象物の画像が表示された領域を識別し、その領域の情報を合成領域情報として合成再生制御部２２に渡す。例えば、画像認識部５２は、合成領域の位置および形状の情報を合成再生制御部２２に渡す。そして、合成再生制御部２２は、合成再生部２０に合成領域情報を渡す。
図２９Ａはシナリオ映像の例を示す図、図２９Ｂはシナリオ映像中の合成領域を示す図である。合成情報１６にて合成領域が対象物「ボール」を含むと指定された場合には、図２９Ａに示すシナリオ映像のうちで「ボール」が表示された領域が識別され、図２９Ｂに示すように「ボール」を含む領域が合成領域Ｇとなる。
合成再生部２０は、合成再生制御部２２から渡された合成領域情報に基づいて、クリッピング部５０から渡された部分映像をシナリオ映像に合成する。なお、クリッピング部５０によって撮影画像の一部を部分画像として切り出す処理は、第７の実施の形態の撮影装置１０と同じである。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は、合成再生部２０から送られた合成映像を記録する。
第８の実施の形態の撮影装置１０は、合成領域に含まれるべき対象物を指定することによって合成領域を容易に特定できる。
なお、上記した第８の実施の形態では、撮影画像から切り出す部分画像を対象物によって規定する例について説明したが、第６の実施の形態で説明したように、切出し領域の位置および形状によってクリッピング情報を規定してもよい。また、クリッピング情報は必ずしも必要ではなく、合成情報１６にクリッピング情報を含まなくてもよい。この場合、撮影部１８にて撮影した撮影画像の全体が、対象物によって特定される合成領域に合成される。
次に、本発明の第９の実施の形態の撮影装置１０について説明する。第９の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３０は、第９の実施の形態における合成再生制御部２２の構成を示す図である。図３０に示すように合成再生制御部２２は、スケジュール生成部５４、スケジュール実行部５６および合成再生指示部５８を有する。スケジュール生成部５４は、シナリオ格納部１２から読み出したシナリオ情報１４に基づいてデータのスケジュールリストを生成する機能を有する。スケジュール実行部５６は、スケジュール生成部５４にて生成されたスケジュールリストから現在時刻におけるスケジュールを抽出する機能を有する。合成再生指示部５８は、スケジュール実行部５６にて抽出されたスケジュールの内容に基づいて、合成再生部２０に合成表示または再生を指示する機能を有する。
図３１Ａはシナリオデータの例を示す図、図３１Ｂは図３１Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。第９の実施の形態では、合成の開始時刻（この例では、ｔ＝１０ｓ）にシナリオ映像の再生の一時停止をする処理を記述したスケジュール（以下、ＰＡＵＳＥスケジュールという）を生成する。なお、合成の開始時刻に再生が開始されるメディア（以下、同時刻再生メディアという）がある場合は、同時刻再生メディアの再生を実行した後にＰＡＵＳＥスケジュールが実行される、という順序になるようにＰＡＵＳＥスケジュールをスケジュールリストに追加する。
これにより、同時刻再生メディアの再生を行った後にシナリオ映像を一時停止するので、一時停止した状態で同時刻再生メディアを含んだシナリオ映像を表示することができる。従って、ユーザは表示された画像を見ながら、シナリオ映像に合成すべき適切な画像を撮影することができる。
次に、本発明の第１０の実施の形態の撮影装置１０について説明する。第１０の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３２は、第１０の実施の形態における合成再生制御部２２の構成を示す図である。第１０の実施の形態における合成再生制御部２２は、第９の実施の形態における合成再生制御部２２の構成に加えて、状態監視部６０およびスケジュール補正部６２を有する。状態監視部６０は、ＣＰＵの稼働率、メモリの使用状況およびデバイスの稼働率を監視する機能を有する。スケジュール補正部６２は、状態監視部６０にて得られた各状態に基づいてメディア再生のセットアップ時間を設定する機能を有する。
図３３Ａはシナリオデータの例を示す図、図３３Ｂは図３３Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。第１０の実施の形態では、状態監視部６０の監視により得られた状態に基づいて、スケジュール補正部６２がメディアの再生、またはデバイスの起動の準備に要する時間を求め、求めた時間に基づいてセットアップ時刻を決定する。図３３Ｂに示す例では、メディアＢの再生開始時刻は時刻ｔ＝１０ｓからであるが、再生を行うまでに準備の時間を要するため時刻ｔ＝８．５ｓからセットアップを行うことがスケジュールリストに記述されている。また、撮影部１８による撮影開始時刻は１０ｓからであるが撮影部１８を起動するまでに準備の時間を要するため時刻ｔ＝７．５ｓからセットアップを行うことがスケジュールリストに記述されている。
このように、スケジュール補正部６２がセットアップ時刻を設定することにより、シナリオデータに規定されたメディアの再生開始時刻またはデバイスの起動開始時刻から円滑に処理を開始させることができる。
次に、本発明の第１１の実施の形態の撮影装置１０について説明する。第１１の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３４は、第１１の実施の形態における合成再生制御部２２の構成を示す図である。第１１の実施の形態における合成再生制御部２２は、第９の実施の形態における合成再生制御部２２の構成に加えて、合成イメージ情報生成部６４および合成イメージ生成部６６を有する。合成イメージ情報生成部６４は、シナリオデータを参照して合成の開始時刻を求め、合成の開始時刻におけるシナリオ映像のスチルイメージである合成イメージを生成するための情報を合成イメージ生成部６６に渡す機能を有する。合成イメージ生成部６６は、合成イメージ情報生成部６４から渡された合成イメージ情報に基づいて合成イメージを生成する機能を有する。合成イメージ生成部６６は、生成された合成イメージをシナリオ格納部１２に格納する。
スケジュール生成部５４は、合成イメージの表示した後にシナリオ映像の一時停止を記述したスケジュールリストを生成する。さらに、スケジュール生成部５４は、一時停止されたシナリオ映像の再生を再開する位置を合成の開始時刻に調整する処理をスケジュールリストに記述する。
図３５Ａはシナリオデータの例を示す図、図３５Ｂは図３５Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。図３５Ｂに「ｐｒｅｖＩｍｇ」と示されるように、合成の開始時刻（この例では、時刻ｔ＝１０ｓ）において、再生が開始されるメディア（ｍｅｄｉａＢ）の再生を行い、撮影部１８を起動した後、合成イメージ生成部６６にて生成された合成イメージを表示し、その後シナリオ映像の一時停止を行うことがスケジュールリストに記述されている。これにより、あらかじめシナリオ格納部１２に格納された合成イメージが表示されるので、合成イメージを円滑に表示できる。また、スケジュールリストには、図３５Ｂに「ＳＥＥＫ」と示されるように、再生の一時停止の再開位置を合成の開始時刻に調整する処理（以下ＰＡＵＳＥ位置補正処理という）が記述されている。ＳＥＥＫ処理は、指定された時刻に再生位置を移動する処理であり、ＳＥＥＫ処理によってＰＡＵＳＥ処理を行った時刻に再生位置を移動する。これにより、ＰＡＵＳＥ処理によって実際に再生が一時停止されるまでに要した時間分のずれを元に戻すＰＡＵＳＥ位置補正が行われる。このＰＡＵＳＥ位置補正処理は画面上には表示されず、画面には合成イメージと合成領域に表示される撮影画像との合成映像が表示される。こうすることで、シナリオ映像の再生が一時停止されるまでに時間を要した場合にも、合成の開始時刻からシナリオ映像の再生を再開できる。
なお、本実施の形態において説明したＳＥＥＫ処理は、他の実施の形態においても、一時停止後のシナリオ映像を再開する場合に適用できる。例えば、第９の実施形態または第１０の実施の形態におけるスケジュール生成部５４が、シナリオ映像の再生の再開位置を合成の開始時刻に調整する処理を記述したスケジュールリストを生成することも可能である。
以上、本発明の撮影装置１０および撮影方法について、実施の形態を挙げて詳細に説明したが、本発明は、上記した実施の形態に限定されるものではない。
撮影装置１０は、複数の画面を備えてもよい。図３６〜図３８は、撮影装置１０が二画面有する場合のそれぞれの画面での表示例を示す図である。例えば、図３６に示すように、一方の画面（左側）でシナリオ映像を再生表示し、他方の画面（右側）で撮影部１８が捉えている撮影画像を表示することができる。これにより、撮影部１８が何を撮影しているのか把握でき、合成領域にはめ込む映像を適切に捉えることができる。なお、この例では、シナリオ映像の表示画面には、第２の実施の形態で説明したのと同様に合成領域の外形を示す枠Ｆを表示している。
また、図３７に示すように、一方の画面（左側）でシナリオ映像を再生表示し、他方の画面（右側）で合成領域の出現時刻におけるシナリオ映像と現在の撮影画像との合成画像を合成した合成プレビュー画像を表示することもできる。これにより、第１の実施の形態のようにシナリオ映像の再生を一時停止しなくても、合成領域の出現前に合成プレビュー画像を確認できる。
また、シナリオ映像と撮影画像との合成中においては、図３８に示すように、一方の画面（左側）で合成映像を表示し、他方の画面（右側）で撮影部１８による撮影画像を表示することができる。これにより、シナリオ映像との合成中においても撮影画像の全体を見ることができるので、適切な撮影画像を取得できる。
さらに、撮影装置１０が二画面有する場合には、一方の画面を被写体側に設けることも可能である。被写体側の画面に合成映像または合成プレビュー画像を表示して被写体にシナリオ映像に合成された自身の撮影画像を見せることにより、どのような合成映像が作成されるのか被写体自身が把握できる。これにより、例えば、被写体はどのようなポーズをとればよいか判断できる。
上記実施形態では、画面に表示される撮影画像を見て撮影装置１０に写る画像を確認し、撮影装置１０の位置、向きまたはズーム率等を調整する撮影装置１０について説明したが、その他の方法で撮影装置１０に写る画像を確認可能とする構成を採用してもよい。例えば、撮影装置１０に照射部を設け、撮影装置１０のファインダーに収まっている範囲に光を照射することとしてもよい。これにより、表示部２４でシナリオ映像を見ながら、被写体に照射される光によって撮影範囲を確認できる。
また、上記実施形態では、本発明の撮影装置および撮影方法について説明したが、上記撮影装置を構成するためのプログラムまたは上記撮影方法を実行するためのプログラムも本発明の範囲に含まれる。
図３９は、本発明のプログラムの一例を示す図である。図３９に示すように、プログラム７０は、シナリオデータ管理モジュール７２、読出モジュール７４、撮影制御モジュール７６、合成再生モジュール７８、表示モジュール８０、提示モジュール８２を有する。このプログラム７０がインストールされるコンピュータとしては、撮影部を有するコンピュータであり、例えば、デジタルカメラである。
シナリオデータ管理モジュール７２は、コンピュータにシナリオデータを管理させるためのモジュールである。シナリオデータ管理モジュール７２を実行することにより、上記の実施の形態の撮影装置１０におけるシナリオ格納部１２と同様の格納部をコンピュータが有することになる。読出モジュール７４は、シナリオデータをコンピュータに読み出させるためのモジュールである。撮影制御モジュール７６は、コンピュータに撮影を行わせ、撮影画像を取得するためのモジュールである。撮影制御モジュール７６を実行することにより、コンピュータは上記の実施の形態の撮影装置１０における撮影条件制御部２８と同様の機能を有する。合成再生モジュール７８は、コンピュータにシナリオ映像を再生させると共に、撮影画像とシナリオ映像を合成させるためのモジュールである。表示モジュール８０は、コンピュータにシナリオ映像または合成映像を表示させるためのモジュールである。提示モジュール８２は、コンピュータに合成情報を、コンピュータのユーザに対して提示させるためのモジュールである、提示モジュール８２を実行することにより、上記の第２の実施の形態の撮影装置１０における合成領域提示部３０と同じ機能を実現できる。
このプログラム７０を実行することにより、第２の実施の形態の撮影装置１０と同様の撮影装置を実現でき、撮影しながらシナリオ映像と撮影画像を合成することができる。
【産業上の利用可能性】
以上のように、本発明の撮影装置は、シナリオ映像と撮影画像との合成映像を表示手段によって表示するので、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができ、また、合成される映像が適切に撮影されるように、撮影装置の位置や向きを調整できるというすぐれた効果を有し、撮影により得られる画像をシナリオ映像に合成する装置等として有用である。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９Ａ】
【図２９Ｂ】
【図３０】
【図３１Ａ】
【図３１Ｂ】
【図３２】
【図３３Ａ】
【図３３Ｂ】
【図３４】
【図３５Ａ】
【図３５Ｂ】
【図３６】
【図３７】
【図３８】
【図３９】
【技術分野】
撮影により得られる画像と、シナリオ映像とを合成する装置及び方法に関する。
【背景技術】
従来から、二つの映像を合成する技術が提案されている。この技術の一つとしてクロマキー合成が知られている。クロマキー合成では、被写体を特定色（一般的には青色）の背景で撮影し、その特定色の背景を透明にすることにより被写体だけを抜き出した映像を作る。そして、抜き出した映像を他の映像に重ねることにより合成映像を作成する。
特開２００１−３４６０９９号公報は、クロマキー合成による合成映像を容易に作成できるように映像を蓄積する装置を開示している。カメラで被写体を撮影した実写映像と撮影時におけるカメラの撮影状況を対応づけて格納することにより、将来必要に応じて合成映像の作成に利用可能としている。
特開平４−１８３１８３号公報では、カラオケ用ビデオソフトの再生画像に、歌っている人の顔や姿を合成する画像信号処理装置が開示されている。
【発明の開示】
特開２００１−３４６０９９号公報に開示された装置は、撮影した映像を格納しておき、後で映像の合成を行うための装置である。例えば、テレビ放送に用いられる映像では、精度の高い映像合成が求められ、上記のような装置を利用して映像を編集することが好ましい。しかし、使用する態様によっては、映像合成の際の操作容易性やスピーディーな映像合成が要求される場合がある。
映像合成の際の操作容易性が重視される一例としては、カメラ付きの携帯電話で撮影した映像を他の映像と合成する場合がある。携帯電話は画面の大きさやキーの種類に制限があるので、一旦撮影した映像を読み出し、読み出した映像から所望の箇所を切り出して編集するという作業は面倒である。
また、携帯電話で撮影した画像を映像合成用の端末に移して処理することも可能であるが、編集した合成映像をすぐに見ることができない。
特開平４−１８３１８３号公報に開示された装置では、合成する撮影画像としてカラオケを歌う人の顔や姿を前提としている。この前提の下では、歌う人が立つ位置は、歌詞を表示する画面の前で概ね一定しており、撮影用ビデオカメラの位置や向きを調整しなくても適切な撮影画像を取得することができる。また、撮影画像の合成も演奏の開始と共に行えばよく、合成タイミングを制御する必要もない。
このように特開平４−１８３１８３号公報に記載の画像信号処理装置においては、合成される撮影画像は、あらかじめ定められた対象（カラオケを歌う人の顔や姿）であり、合成タイミングもカラオケ用ビデオソフトの再生中というように固定されている。再生されるシナリオ映像に合わせて、合成する撮影画像の対象やその合成タイミングを制御することができない。
本発明は上記のような背景に鑑み、撮影しながら映像合成を行える撮影装置および撮影方法を提供することを目的とする。また、本発明は、所望のタイミングに適切な撮影画像の合成を行うことができる撮影装置を提供することを目的とする。
本発明の撮影装置は、撮影画像を取得するための撮影手段と、格納されたデータをシナリオ映像を構成するように読み出すための読出手段と、前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶する記憶手段と、前記読出手段により読み出される前記シナリオ映像に、前記撮影手段により取得された撮影画像を、前記記憶手段に記憶された合成情報に従って合成する合成手段と、前記合成手段により得られる合成映像を表示する表示手段と、を備える。
このように記憶手段に記憶された合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示手段によって表示する構成により、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示手段に表示される合成映像を見ながら、撮影装置を動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。なお、「シナリオ映像」とは、撮影画像と合成される時間の概念を持つ映像であり、例えば、動画、アニメーション、スライドショーなどである。シナリオ映像は、一般的には、シナリオ情報に従って表示等される。ここで、シナリオ情報とは、例えば、動画、静止画、テキスト、または音声などのマルチメディアデータのうち、どのデータを、いつ、どこに、どのように出力するかを記述した情報である。「撮影画像」は、シナリオ映像の再生中に撮影手段により取得される画像であり、ファイルなどの格納手段にあらかじめ格納されたデータにより構成されるものではない。撮影画像は、動画でもよいし、静止画でもよい。
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む。
この構成により、合成情報に基づいて、撮影画像とシナリオ映像とが合成される時間を規定することができる。時間に関する情報は、例えば、合成を開始するシナリオ映像中の時刻または合成を終了するシナリオ映像中の時刻により規定される。
前記合成情報は、前記撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む。
この構成により、撮影画像が合成される合成領域を規定することができる。合成領域に撮影画像をはめ込むことにより、撮影画像とシナリオ映像との合成を行える。なお、撮影手段により撮影した画像の全体を合成領域に合成してもよいし、撮影した画像の一部を合成領域に合成してもよい。
上記撮影装置は、前記合成情報に基づいて、前記撮影画像が前記シナリオ映像中に合成される時刻以前に、前記合成領域に関する情報を、前記撮影手段に対する制御を行なうべきユーザに提示する手段をさらに備えてもよい。
この構成により、ユーザは撮影画像がシナリオ映像中に合成される時刻以前に合成領域に関する情報を取得できる。これにより、ユーザは、シナリオ映像に合成すべき画像を撮影するために、撮影手段であるカメラの位置や向き又は撮影条件の変更等を行うことができる。なお、撮影画像がシナリオ映像中に合成される時刻以前とは、合成が開始される時刻より前でもよいし、合成が開始される時刻でもよい。合成が開始される時刻に合成領域に関する情報を提示する場合には、ユーザがカメラを制御する時間を確保するため、シナリオ映像の再生を一時停止することが好ましい。
前記ユーザに提示する合成領域に関する情報は、前記合成情報のうち外形および位置に関する情報の少なくとも一方に基づくものであってもよい。
この構成により、ユーザは、合成領域に合成されるべき画像を予測することができ、撮影準備を行うことができる。外形に関する情報に基づく情報の提示には、例えば、合成領域の輪郭を表示する方法がある。これにより、合成領域の形状および大きさを提示できる。位置に関する情報の提示は、撮影画像の一部を合成領域に合成する場合であって、かつ撮影画像の全体とシナリオ映像を構成する画像の全体をそのまま重ね合わせて合成する場合に有効である。すなわち、撮影画像の中の合成すべき対象物の位置とシナリオ映像を構成する画像の中の合成領域の位置とが一致するようにカメラの位置または向きを調整すればよい。
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、前記合成情報のうち外形および位置に関する情報の少なくとも一方に従って加工して得られた画像を含んでもよい。
このように撮影画像を提示することにより、ユーザは、撮影手段によってどのような撮影画像が得られているかを把握できる。これにより、例えば、合成が開始される時刻以前に、合成されるべき撮影対象にピントを合わせておくことができる。ここで、合成情報に従って加工するとは、例えば、撮影画像の切り出し、拡大縮小等の処理であり、これにより撮影画像を合成領域にはめ込むとどのような画像となって表示されるかを把握することができる。また、撮影画像は、例えば、合成が開始される時刻においてシナリオ映像を構成する画像と共に表示することもできる。あるいは、表示手段に現在表示中の、すなわち合成が開始される時刻より前のシナリオ映像と共に表示することもできる。後者の場合は、撮影画像と表示中のシナリオ映像を構成する画像とを重ねて表示してもよいし、並べて表示してもよい。
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、該合成領域が出現することになっているシナリオ映像を構成する画像中に、前記合成情報に従って合成して得られた画像を含んでもよい。
このように撮影手段により取得された撮影画像と合成領域が出現することになっているシナリオ映像を構成する画像とを合成した合成プレビュー画像をユーザに提示することにより、ユーザは合成領域に合成される撮影画像を所望の画像とすることが可能となる。すなわち、ユーザは、合成プレビュー画像を見ることにより、合成領域にふさわしい画像を選択し、撮影することができる。また、合成領域の形状、大きさに応じて、撮影手段による撮影のズーム率を調節したり、背景となるシナリオ映像に合わせて撮影画像の明るさを調節したりすることもできる。合成プレビュー画像は、シナリオ映像の再生を一時停止して表示することとしてもよいし、シナリオ映像再生中の画面とは異なる画面に表示することとしてもよい。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻に、前記シナリオ映像の再生を一時停止する手段を備える。
このようにシナリオ映像の再生を一時停止することにより、ユーザが撮影手段であるカメラを制御する時間を確保できる。
上記撮影装置は、前記合成領域の前記シナリオ映像を構成する画像中における位置が、時間の経過に伴って移動するように設定してもよい。
この構成により、カメラの位置や向きを変えなくてもシナリオ映像を構成する画像中での合成領域の位置を時間の経過に伴って移動させることができる。例えば、合成情報に含まれる合成領域の位置に関する情報を時間の関数で表すことにより、合成領域を移動可能に設定できる。
上記撮影装置は、前記合成領域の外形が、時間の経過に伴って変化するように設定してもよい。
この構成により、合成領域の外形を時間の経過に伴って変化させることができる。例えば、合成情報に合成領域の外形の情報として複数の形状の情報を含め、それぞれの形状情報を時間に関連付けておくことにより、合成領域の外形が変化するように設定できる。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻が近づいたことをユーザに知らせる手段をさらに備えてもよい。
この構成により、ユーザは合成すべき画像を撮影する準備を行うことができる。ユーザに知らせる手段としては、例えば、文字によってカウントダウンする構成、音や光により知らせる構成、シナリオ映像の再生速度を遅くして知らせる構成などがある。ここで、「ユーザ」には、撮影を行う人のほか、被写体となる人も含まれる。
上記撮影装置は、前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含む所定時間内において、合成開始に関する情報をユーザに知らせる手段をさらに備えてもよい。
この構成により、ユーザが合成がまもなく開始されること、または合成が開始されたことを知ることができ、合成すべき撮影画像を取得することができる。合成開始に関する情報をユーザに知らせる手段は、例えば、合成開始時刻を含む所定時間内において、音を出力する構成や、光を点滅させる構成によって実現できる。合成開始時刻の前後で音や光を出力することで、撮影画像を取得することをユーザに促すことができる。なお、合成開始時刻が経過した後に、ユーザが撮影画像の撮影を開始した場合でも、合成開始時刻からユーザが撮影を開始するまでの時間については、例えば、撮影開始後の撮影画像によって、合成すべき画像を補完することにより、適切な合成映像を得ることが可能である。ここで、「ユーザ」には、撮影を行う人のほか、被写体となる人も含まれる。
上記撮影装置は、前記合成映像を記録する手段をさらに備えてもよい。
この構成により、撮影しながら合成した合成映像を後でそのまま再生することができる。
上記撮影装置は、前記撮影手段により取得された撮影画像を前記シナリオ映像の識別情報に関連付けて記録する手段をさらに備えてもよい。
この構成により、関連付けられたシナリオ映像に撮影画像を合成しながら再生することで合成映像を再生可能となる。一つのシナリオ映像に対して複数の撮影画像を記録しておけば、一つのシナリオ映像から複数の異なる合成映像を再生することもできる。
前記撮影手段が、前記合成情報に含まれる撮影条件に関する情報に基づいて撮影してもよい。
この構成により、合成領域に合成されるべき映像の内容に合った映像を撮影することができる。撮影条件には、例えば、明るさ、フォトライトの有無、ズーム率、色調（セピア、白黒、カラー）などがある。
上記撮影装置は、前記撮影画像と前記シナリオ映像との合成開始指示または合成終了指示の少なくとも一方をユーザに入力させる入力手段を備えてもよい。
この構成により、撮影画像とシナリオ映像との合成開始または合成終了のタイミングをユーザが選択可能となる。合成開始指示を入力させる構成を採用すれば、例えば、合成映像の撮影準備ができた段階で合成を開始することができる。また、合成終了指示を入力させる構成を採用すれば、例えば、合成映像の撮影ができなくなった場合には、合成を終了することができる。ここで、ユーザとは撮影を行う人である。
上記撮影装置は、前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成開始時刻の経過後に前記合成開始指示が入力された場合には、前記規定された合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完してもよい。
この構成により、合成情報により規定された合成開始時刻の経過後に、ユーザにより合成開始指示が入力された場合にも適切な合成映像を作成できる。撮影画像で補完する方法としては、例えば、合成開始指示が入力された時点における撮影画像を、合成情報により規定された合成開始時刻から合成開始指示が入力されるまでの期間の合成領域に適用する方法、または、撮影画像の再生速度を遅くして、合成情報により規定された合成時間の長さに撮影画像を引き延ばす方法がある。シナリオ映像で補完する方法としては、例えば、合成情報により規定された合成開始時刻から合成開始指示が入力されるまで、合成領域にデフォルトのシナリオ映像を表示する方法がある。
上記撮影装置は、前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成終了時刻の前に前記合成終了指示が入力された場合には、前記合成終了指示が入力されてから前記規定された合成終了時刻までの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完してもよい。
この構成により、合成情報により規定された合成終了時刻の前に合成終了指示が入力された場合にも適切な合成映像を作成できる。撮影画像で補完する方法としては、例えば、合成終了指示が入力された時点での撮影画像を、合成終了指示が入力されてから合成情報により規定された合成終了時刻までの合成領域に適用する方法、または、撮影画像の再生速度を遅くして、合成情報により規定された合成時間の長さに撮影画像を引き延ばす方法がある。シナリオ映像で補完する方法としては、例えば、合成終了指示の入力時から合成情報により規定された合成終了時刻まで合成領域にデフォルトのシナリオ映像を表示する方法がある。
前記表示手段は複数画面からなり、少なくとも一の画面で前記シナリオ映像または前記合成映像を表示してもよい。
この構成により、一の画面でシナリオ映像または合成映像を表示しつつ、他の画面でそれ以外の情報を確認することができる。例えば、撮影手段によって撮影中の画像を他の画面に表示することが可能となる。これにより、合成されるべき撮影対象に前もってピントを合わせ、適切な撮影画像を取得できる。また、撮影手段が捉えている画像をプレビュー画像として他の画面に表示することも可能である。また、画面の一つを被写体側に設ければ、被写体に合成映像を見せることにより、被写体が合成映像を確認できる。
上記撮影装置は、前記撮影手段により撮影されるべき点もしくは範囲を示す光を照射する照射手段を備えてもよい。
この構成により、被写体に照射された光によって、ユーザは撮影手段により得られる撮影画像を予想することができ、この予想に基づいてカメラの位置や向きを制御することができる。
上記撮影装置において、前記撮影手段により取得される撮影画像は連続的に撮影される動画であり、前記合成手段は、前記シナリオ映像に前記動画を合成してもよい。
このように撮影手段により取得した動画を、合成情報に基づいてシナリオ映像に合成することができる。
上記撮影装置において、前記撮影手段により取得される撮影画像は１枚以上の静止画であり、前記合成手段は、連続して読み出されるシナリオ映像に合成する画像として前記静止画のうちの１枚を所定時間内使用する。
このように撮影手段により取得した静止画を、合成情報に基づいてシナリオ映像に合成することができる。なお、所定時間とは、合成情報により規定される合成時間であってもよいし、合成時間のうちの一部の時間でもよい。合成時間のうちの一部において静止画のうちの１枚を合成する場合には、静止画のうちの他の１枚または複数枚を残りの合成時間において合成してもよい。
上記撮影装置は、前記撮影手段により撮影した撮影画像の一部を部分画像として切り出す部分画像切出手段を備え、前記合成手段は、前記部分画像切出手段により切り出された部分画像を前記シナリオ映像に合成してもよい。
この構成により、撮影画像から切り出した部分画像をシナリオ映像に合成することができる。
上記撮影装置において、前記記憶手段に記憶された合成情報は、前記部分画像切出手段にて部分画像を切り出す領域および時間帯を特定する部分画像特定情報を含み、前記部分画像切出手段は、前記部分画像特定情報に基づいて前記撮影画像から部分画像を切り出してもよい。
この構成により、撮影画像から切り出す部分画像を合成情報に規定することができる。例えば、シナリオ映像に合った部分画像を規定することが可能である。
上記撮影装置において、前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動してもよい。
この構成により、カメラの位置や向きを変えなくても、シナリオ映像に合成する部分画像の位置を時間の経過に伴って移動させることができる。
上記撮影装置において、前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化してもよい。
この構成により、部分画像の形状を時間の経過に伴って変化させることができる。
上記撮影装置において、前記部分画像特定情報は、前記部分画像が含むべき対象物によって部分画像を特定し、前記部分画像切出手段は、前記部分画像特定情報にて特定された対象物が映った部分を前記部分画像として前記撮影画像から切り出してもよい。
この構成により、対象物によって部分画像を特定するので、シナリオ映像に合った部分画像を容易に特定できる。
上記撮影装置において、前記合成情報は、前記合成領域が含むべき対象物を特定し、前記合成手段は、前記シナリオ映像のうち前記部分画像特定情報にて特定された対象物が表示された部分を前記合成領域とし、前記合成領域に前記撮影画像を合成してもよい。
この構成により、対象物によって合成領域を特定するので、容易に合成領域を特定できる。
上記撮影装置は、前記撮影画像の合成を開始する時刻に再生を開始するデータがあるときに、そのデータの再生を開始した後に、前記シナリオ映像を一時停止する制御を行う制御手段を備えてもよい。
この構成により、合成を開始する時刻にシナリオ映像の再生を一時停止する前に、同時刻に開始されるデータの再生を開始するので、一時停止した状態で、合成の開始時刻におけるシナリオ映像を表示できる。
上記撮影装置は、前記撮影画像の合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶するプレビュー画像記憶手段と、前記撮影画像の合成を開始する時刻に、前記プレビュー画像を表示し、前記シナリオ映像を一時停止する制御を行う制御手段とを備えてもよい。
この構成により、合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶し、合成開始時刻に記憶されたプレビュー画像を表示するので、一時停止した状態で、合成開始時刻におけるシナリオ映像のプレビューを容易に表示できる。
上記撮影装置において、前記制御手段は、前記シナリオ映像の再生を再開する位置を前記合成の開始時刻に移動してもよい。
この構成により、シナリオ映像再生の一時停止までに要した処理時間によらず、合成の開始時刻からシナリオ映像の再生を再開することができる。
本発明のシナリオデータは、格納されたデータの出力方法を記述したシナリオ情報と、撮影により取得される撮影画像を、前記シナリオ情報の記述にしたがって出力されるシナリオ映像に合成するための合成情報と、を有する。
この構成により、格納されたデータに基づいて出力されるシナリオ映像と、撮影された撮影画像との合成を容易に行える。合成情報は、撮影画像をシナリオ映像に合成するための情報であり、例えば、撮影画像を、どのタイミングで、どの位置に合成するかを記述する情報である。シナリオ情報は、格納されたデータの出力方法を記述する情報である。シナリオ情報がどのデータを出力するかをあらかじめ記述しているのに対し、合成情報では、出力すべきデータをあらかじめ固定しておらず、撮影の都度異なる撮影画像のデータを出力することを記述する。撮影により取得された撮影画像を合成情報に基づいて出力し、格納されたデータをシナリオ情報に基づいて出力することにより、シナリオ映像と撮影画像との合成を容易に行える。
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含んでもよい。
この構成により、合成情報に基づいて、撮影画像とシナリオ映像とが合成される時間を規定することができる。時間に関する情報は、例えば、合成を開始するシナリオ映像中の時刻または合成を終了するシナリオ映像中の時刻により規定される。
前記合成情報は、撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含んでもよい。
この構成により、撮影画像が合成される合成領域を規定することができる。合成領域に撮影画像をはめ込むことにより、撮影画像とシナリオ映像との合成を行える。なお、撮影手段により撮影した画像の全体を合成領域に合成してもよいし、撮影した画像の一部を合成領域に合成してもよい。
上記シナリオデータにおいて、前記合成情報は、前記撮像画像の一部を部分画像として切り出す領域および時間帯を特定する部分画像特定情報を含んでもよい。
この構成により、シナリオ映像に合成するために撮影画像から切り出す部分画像を規定することができる。
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動してもよい。
この構成により、カメラの位置や向きを変えなくてもシナリオ映像に合成する部分画像の位置を時間の経過に伴って移動させることができる。
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化してもよい。
この構成により、部分画像の形状を時間の経過に伴って変化させることができる。
前記部分画像特定情報は、部分画像が含むべき対象物によって前記部分画像の領域および時間帯を特定してもよい。
この構成により、対象物によって部分画像を特定するので、シナリオ映像に合った部分画像を容易に特定できる。
上記シナリオデータにおいて、前記合成情報は、撮影画像が合成される合成領域が含むべき対象物によって前記合成領域およびシナリオ映像が合成領域を含む時間帯を特定してもよい。
この構成により、対象物によって合成領域およびシナリオ映像が合成領域を含む時間帯を特定するので、容易に合成領域を特定することができる。
本発明の撮影方法は、格納されたデータをシナリオ映像を構成するように読み出すステップと、撮影画像を取得するステップと、前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、前記合成するステップにおいて得られる合成映像を表示するステップと、を備える。
このように合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示することにより、ユーザは表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示される合成映像を見ながら、撮影画像を取得するためのカメラを動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。
本発明のプログラムは、撮影画像とシナリオ映像とを合成するためにコンピュータに、格納されたデータをシナリオ映像を構成するように読み出すステップと、撮影画像を取得するステップと、前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、前記合成するステップにおいて得られる合成映像を表示するステップと、を実行させる。
このプログラムをコンピュータにより実行させることにより、コンピュータは、合成情報に従って、撮影画像とシナリオ映像とを合成し、合成して得られた合成映像を表示する。これにより、ユーザは表示される合成映像を見ながら撮影を行うことができる。例えば、適切な撮影画像を取得できるように撮影装置の位置や向きの調整を行うことや、シナリオ映像にふさわしい撮影対象を選択することが可能となる。すなわち、表示される合成映像を見ながら、撮影画像を取得するためのカメラを動かして所望の撮影対象を捉えることができる。また、撮影しながら合成を行うことにより、撮影の終了とともに映像合成が完了するというスピーディーな映像合成を実現できる。
本発明の撮影装置は、シナリオ映像に撮影画像を合成するための合成情報に基づいて撮影画像とシナリオ映像とを合成し、表示手段によって合成映像を表示するので、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができ、また、合成される映像が適切に撮影されるように、撮影装置の位置や向きを調整できるというすぐれた効果を提供することができるものである。
【図面の簡単な説明】
第１図は、第１の実施の形態の撮影装置の構成を示す図である。
第２図は、シナリオデータの例を示す図である。
第３図は、シナリオ映像の表示の例を示す図である。
第４Ａ図は、合成映像の記録方式について説明する図である。
第４Ｂ図は、合成映像の記録方式について説明する図である。
第５Ａ図は、合成映像の記録方式について説明する図である。
第５Ｂ図は、合成映像の記録方式について説明する図である。
第６図は、撮影装置による映像合成の動作の流れを示す図である。
第７図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第８Ａ図は、合成プレビュー画像の例を示す図である。
第８Ｂ図は、合成映像の例を示す図である。
第９図は、第２の実施の形態の撮影装置の構成を示す図である。
第１０図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１１Ａ図は、合成映像の例を示す図である。
第１１Ｂ図は、合成領域の提示例を示す図である。
第１２図は、第３の実施の形態の撮影装置の構成を示す図である。
第１３図は、第４の実施の形態の撮影装置の構成を示す図である。
第１４図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１５図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１６図は、第５の実施の形態の撮影装置の構成を示す図である。
第１７図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１８図は、撮影手段の動作および表示手段の表示内容とシナリオデータとの関係を示す図である。
第１９図は、第６の実施の形態の撮影装置の構成を示す図である。
第２０図は、シナリオデータの例を示す図である。
第２１Ａ図は、撮影画像の例を示す図である。
第２１Ｂ図は、部分画像の例を示す図である。
第２２図は、合成情報の例を示す図である。
第２３Ａ図は、合成領域の変動の例を示す図である。
第２３Ｂ図は、部分画像の例を示す図である。
第２４図は、合成情報の例を示す図である。
第２５図は、第７の実施の形態の撮影装置の構成を示す図である。
第２６図は、シナリオデータの例を示す図である。
第２７Ａ図は、撮影画像の例を示す図である。
第２７Ｂ図は、部分画像の例を示す図である。
第２８図は、シナリオデータの例を示す図である。
第２９Ａ図は、シナリオ映像の例を示す図である。
第２９Ｂ図は、シナリオ映像中の合成領域を示す図である。
第３０図は、第９の実施の形態の合成再生制御部の構成を示す図である。
第３１図Ａは、シナリオデータの例を示す図である。
第３１図Ｂは、スケジュールリストの例を示す図である。
第３２図は、第１０の実施の形態の合成再生制御部の構成を示す図である。
第３３図Ａは、シナリオデータの例を示す図である。
第３３図Ｂは、スケジュールリストの例を示す図である。
第３４図は、第１１の実施の形態の合成再生制御部の構成を示す図である。
第３５図Ａは、シナリオデータの例を示す図である。
第３５図Ｂは、スケジュールリストの例を示す図である。
第３６図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３７図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３８図は、撮影装置が二画面有する場合のそれぞれの画面での表示例を示す図である。
第３９図は、本発明のプログラムの例を示す図である。
【発明を実施するための最良の形態】
以下、本発明の実施の形態について図面を用いて説明する。
図１は、本発明の第１の実施の形態の撮影装置１０の構成を示す図である。第１の実施の形態の撮影装置１０は、ユーザが位置や向きを変えることにより、撮影の対象を変えることができる携帯型の撮影装置である。例えば、携帯型のビデオカメラや、カメラ付携帯電話などが含まれる。撮影装置１０は、シナリオデータを格納するシナリオ格納部１２と、撮影画像を取得する撮影部１８と、シナリオ映像の再生およびシナリオ映像と撮影画像との合成を行う合成再生部２０と、合成再生部２０を制御する合成再生制御部２２と、合成されたシナリオ映像を表示する表示部２４とを備えている。撮影部１８は、例えば、ＣＣＤやＣＭＯＳなどの半導体素子により構成され、デジタル画像を取得する機能を有する。撮影部１８は、動画および静止画の少なくとも一方を撮影可能である。
撮影装置１０の詳細な説明に先立って、撮影装置１０において合成されるシナリオデータについて説明する。シナリオデータは、シナリオ情報１４と合成情報１６を含む。シナリオ情報１４は、出力すべき実体データの出力方法を記述した情報である。シナリオ情報１４に基づいて再生されるシナリオ映像は、時間と共に変化する映像であり、例えば、動画、アニメーション、スライドショーなどがこれに該当する。合成情報１６は、撮影画像をシナリオ映像中に合成するための合成領域の外形、シナリオ映像を構成する画像中における合成領域の位置、および合成領域が出現する時間に関する情報である。合成領域が出現する時間は、シナリオ映像に撮影画像が合成されるべき時間である。
図２はシナリオデータの例を示す図、図３は図２に示すデータにより画面に表示されるシナリオ映像および合成領域の例を示す図である。シナリオ映像は、一のメディアにより構成されてもよいし、複数のメディアにより構成されてもよい。図３では、シナリオ映像は、メディアＡとメディアＢとからなり、合成領域がメディアＡの映像上に位置する。合成領域は、撮影部１８により取得される撮影画像が合成される領域である。なお、シナリオ映像は、再生時間中にメディアが再生されない時間帯を含んでいてもよい。例えば、図２に示す例において、Ｔ２＜Ｔ３の場合には、メディアＡが再生される時間帯とメディアＢが再生される時間帯とが重ならず、時刻Ｔ２〜Ｔ３の間は再生されるメディアが存在しないが、そのようなシナリオ映像も本発明の範囲に含まれる。
図２に示す例では、シナリオデータは、シナリオ情報１４と合成情報１６とを有する。シナリオ情報１４は、メディアＡの出力方法を記述したシナリオ情報１４ａとメディアＢの出力方法を記述したシナリオ情報１４ｂとを有する。それぞれのシナリオ情報１４ａ、１４ｂは、ｉ）メディア識別子、ｉｉ）実体データの格納場所、ｉｉｉ）メディアを再生表示する時間に関する情報、ｉｖ）映像を表示する領域に関する情報を含む。ここでは、シナリオ情報１４ａ、１４ｂがそれぞれ４つの情報を含むが、必要に応じて他の情報を含んでもよい。
メディア識別子は、メディアを特定するための情報である。実体データの格納場所は、メディアの実体データが格納されたディレクトリおよびファイル名を示す情報である。ここでは、シナリオ情報１４は、実体データの格納場所に関する情報を有し、実体データはシナリオデータとは別に格納されている。また、図２では、メディアＡおよびメディアＢともに、「ｈｏｍｅ」のディレクトリに実体データが格納されているが、それぞれのメディアの実体データが格納される場所は異なってもよい。このように実体データの格納場所を指定できる構成により、例えば、既存のさまざまなデータをシナリオ映像として容易に利用可能となる。メディアを再生表示する時間に関する情報は、そのメディアに基づいて映像を再生する時間を特定する情報である。ここでは、シナリオ映像の再生開始が指示されてからの経過時間により再生開始および再生終了のタイミングが規定され、再生表示時間が特定されている。例えば、メディアＡは、シナリオ映像の再生開始が指示されてからＴ１秒経過した時刻に再生が開始され、Ｔ２秒経過した時刻で再生が終了することが分かる。映像を表示する領域に関する情報は、そのメディアに基づく映像を表示する位置および形状に関する情報である。例えば、メディアＡは、座標（Ｘａ，Ｙａ）の位置に表示され、その形状は矩形であることが分かる。
このようにシナリオ情報１４は、そのメディアを表示する時間と領域に関する情報を有することができる。これらの情報に基づいて、指定された時間および領域にそのメディアの映像を表示する。なお、ここでは、シナリオデータは、メディアごとに記述されているが、そのほかの記述方法を採用することも可能である。例えば、シナリオ映像の再生時間ごとに出力方法を記述してもよい。
次に、合成情報１６について説明する。合成情報１６は、シナリオ映像に撮影画像を合成するための情報である。合成情報１６は、合成領域が出現する時間に関する時間情報と、合成領域の位置および外形に関する領域情報とを含んでいる。時間情報は、シナリオ映像中に合成領域が出現する時間を、シナリオ映像の再生開始時からの経過時間によって規定する情報である。図２に示す例では、シナリオ映像再生開始からＴ５秒経過時点からＴ６秒経過時点までの期間に合成領域が出現する。すなわち、この期間がシナリオ映像に撮影画像を合成する期間である。領域情報は、時間情報によって規定される期間に出現する合成領域の位置および外形を規定する情報である。図２に示す例では、合成領域の出現する位置は座標（Ｘｃ、Ｙｃ）であり、合成領域の形状は半径Ｒの円である。なお、合成領域が出現する位置については、出現位置を規定する座標を時間の関数とすることにより、合成領域の位置が移動するように設定することも可能である。また、合成領域の外形についても、時間のパラメータを設定することにより、シナリオ映像の再生時間の経過に伴って外形を変化させることができる。
合成領域に合成される映像は、他の映像を上書きする形式で表示される。合成領域とメディアの映像が重なった場合には、合成領域の映像が優先して表示される。例えば、図３に示すように、合成領域とメディアＡの映像の表示領域が重なった場合には、合成領域はメディアＡの映像より前面に配置され、撮影部１８により撮影された画像によってメディアＡの映像を上書きする。
図１に戻って、撮影装置１０の構成について説明する。
シナリオ格納部１２は、図２で説明したようなシナリオデータを格納している。撮影装置１０は、シナリオ格納部１２に格納されたシナリオデータを読み出して表示部２４にシナリオ映像を再生し、かつ撮影部１８により撮影された画像をシナリオ映像に合成する合成再生部２０と、合成再生部２０を制御する合成再生制御部２２とを有する。
合成再生制御部２２は、シナリオ格納部１２からシナリオ情報１４および合成情報１６を読み出し、これらの情報に基づいて合成再生部２０を制御する。合成再生制御部２２は、撮影部１８により撮影された画像を、合成情報１６に基づいてシナリオ映像中の合成領域にはめ込むことにより、撮影画像とシナリオ映像を合成する。このとき合成される画像は、撮影部１８により取得した画像の全体でもよいし、取得した画像の一部でもよい。撮影部１８により取得した画像を合成する際には、合成領域の大きさに合うように画像を加工する。例えば、合成領域に合うように、合成すべき画像の切出し、および／または撮影画像の拡大縮小を行う。また、撮影部１８により取得した画像の一部を合成に用いる場合には、合成領域の出現開始時刻においてシナリオ映像中の合成領域が位置する部分を撮影画像から切り出して合成に用いると処理が簡単である。すなわち、表示されるシナリオ映像と、撮影部１８により取得された画像とを表示部２４上で重ねて表示したときに、合成領域と重なる部分を撮影画像から切り出して合成に用いる。これにより、合成領域に入れるべき対象が撮影部１８によって撮影されるように撮影装置１０の向きを調整しやすい。また、合成領域の出現する位置にかかわらず、撮影画像の決まった位置（例えば、中央）の部分を合成領域の外形に合わせて切り出して合成に用いるようにしてもよい。撮影画像から切り出す位置に関する情報を合成情報に含め、この情報に基づいて、合成領域に合成すべき画像を撮影画像から切り出してもよい。
合成再生部２０は、合成再生制御部２２の制御に基づいて、シナリオ映像の再生および合成映像の再生を行う。シナリオ映像の再生は、シナリオ格納部１２に格納されたシナリオ情報に基づいて、図１に示さない格納部に格納された実体データをシナリオ情報に従って読み出し、読み出した実体データを再生する。実体データは、図１には示さないが、どこに格納されていてもよい。シナリオ格納部１２にシナリオデータと共に格納しておくことも可能である。合成再生部２０は、シナリオ情報により指定された格納場所から実体データを読み出して再生する。なお、合成再生制御部２２によって実体データを読み出し、合成再生部２０に送る構成とすることも可能である。
映像記録部２６には、合成再生制御部２２により合成された映像が記録される。ここで、映像記録部２６への記録方式は、画面に再生された合成映像をそのまま記録する方式を採用してもよいし、合成すべき撮影画像とシナリオ映像とを別々に記録する方式を採用してもよい。前者の方式を採用した場合には、記録された合成映像を読み出せばそのまま合成映像を再生できる。
後者の方式を採用する場合には、撮影画像が合成されるシナリオ映像の識別情報を関連付けておく。例えば、図４Ａに示すように、あらかじめ合成情報にｉ）合成情報識別子を含めておく。ここでは、「ＣａｍｅｒａＡ」という識別子が付され、ＣａｍｅｒａＡで撮影された撮影画像が合成されることを示している。そして、撮影画像を記録する際には、図４Ｂに示すように、撮影部１８により撮影された撮影画像のデータを格納した場所に関する情報（ディレクトリおよびファイル名）をシナリオデータに関連付ける。再生する際には、記録された撮影画像を読み出すと共にシナリオ映像を読み出す。そして、そのシナリオ映像の合成情報に従って、読み出した撮影画像を合成し、その合成映像を表示することで合成映像の再生を行える。
また、合成情報に撮影画像の情報を含めたシナリオデータを生成してもよい。すなわち、図５Ａに示すように、あらかじめ合成情報にｉ）合成情報識別子を含めておく。そして、撮影画像を記録する際には、図５Ｂに示すように、撮影部１８により撮影した撮影画像をシナリオデータを構成するメディアの一つ（メディアＣ）として取り扱い、新たなシナリオデータを生成する。メディアＣも、メディアＡまたはメディアＢと同様に、ｉ）メディア識別子、ｉｉ）実体データの格納場所、ｉｉｉ）メディアを再生表示する時間に関する情報、ｉｖ）映像を表示する領域に関する情報を含む。
また、記録する範囲についても、シナリオ映像の再生開始から再生終了まで記録する方式を採用してもよいし、合成領域が出現するシナリオ映像の部分を記録する方式を採用してもよい。
撮影条件制御部２８は、撮影部１８の撮影条件等を制御する機能を有する。撮影条件には、例えば、明るさ、フォトライトの有無、ズーム率、色調（セピア、白黒、カラー）などの条件がある。合成情報１６に、合成されるべき画像の撮影条件の情報が含まれている場合には、撮影条件制御部２８はその情報に基づいて撮影条件を設定する。また、撮影条件制御部２８は、ユーザによる撮影条件の設定を受け付けることも可能である。
図６は撮影装置１０による映像合成の動作の流れを示す図、図７は映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。なお、図７においては、横軸は時間軸を示し、右に行くに従って時間が経過していることを示す。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する（ステップＳ１）。シナリオ映像再生開始の指示は、合成再生制御部２２に入力される。合成再生制御部２２が合成再生部２０を制御することにより（ステップＳ２）、合成再生部２０がシナリオ映像の再生を行う。すなわち、合成再生部２０は実体データ格納部４０からシナリオ情報１４を読み出し、シナリオ情報１４に基づいてシナリオ映像を再生する（ステップＳ３）。実体データ格納部４０はどこにあってもよく、図６では点線で示している。ここでは、図２に示すシナリオデータに従ってシナリオ映像が再生されるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。図７に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生されるだけである。なお、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。すなわち、メディアＡの開始時刻Ｔ１とメディアＢの開始時刻Ｔ３はｔ＝０、メディアＡの終了時刻Ｔ２とメディアＢの終了時刻Ｔ４はｔ＝Ｔ７であるとする。
合成再生制御部２２は、合成再生部２０によってシナリオ映像を再生する一方で、シナリオ格納部１２から読み出した合成情報１６に基づいて、合成領域の出現タイミングを管理する。合成領域の出現タイミング（時刻Ｔ５）になると、合成再生制御部２２は合成再生部２０に対してシナリオ映像再生の一時停止を指示する（ステップＳ４）。合成再生制御部２２は、さらに撮影条件制御部２８に対し、プレビューモード（撮影画像を記録せずに画面に表示するモード）での撮影を指示する。撮影条件制御部２８は、合成再生制御部２２からの指示に従って、撮影部１８を制御し、プレビューモードでの撮影を開始する（ステップ３４）。
このとき、合成情報１６に撮影条件に関する情報が含まれている場合には、撮影条件制御部２８がその撮影条件に基づいて撮影部１８を制御する。これにより、シナリオ映像に合った撮影画像を取得できる。例えば、シナリオ映像の色調がセピアである場合に、合成される画像の色調もセピアであることが好ましいとシナリオ映像の作成者が考えれば、合成情報１６に撮影条件として色調がセピアであることを含ませる。撮影条件制御部２８は、合成情報１６に含まれる撮影条件により撮影部１８を制御し、色調がセピアの撮影画像を取得する。
撮影部１８によって撮影された画像は合成再生部２０に送られ、合成再生部２０によって撮影画像とシナリオ映像とが合成される（ステップＳ５）。より詳しくは、表示部２４には時刻Ｔ５におけるシナリオ映像が静止画として表示される。シナリオ映像中に含まれる合成領域に撮影画像が合成され、合成映像が作られる。この合成映像が合成プレビュー画像である。図７に示すように、シナリオ映像の再生が時刻Ｔ５で一時停止され、表示部２４に合成プレビュー画像が表示される。
図８Ａ及び図８Ｂは、合成プレビュー画像の例を示す図である。シナリオ映像の再生は停止されており、静止画像が表示される。合成領域には、撮影部１８により取得された撮影画像が表示される。撮影装置１０を動かすと、撮影部１８により取得する画像が変わり、図８Ａ及び図８Ｂに示すように合成領域に合成される画像が変化する。
ユーザは、合成プレビュー画像を見ながら、合成領域に所望の画像が入るように撮影装置１０の位置や向き、ズーム率、または明るさ等を調整する。例えば、図８Ａ及び図８Ｂに示す例では、シナリオ映像は、キーパーがボールをキャッチする瞬間の映像である。合成領域は、キーパーの顔の部分に位置し、撮影部１８による撮影画像が合成領域にはめ込まれる。図８Ａでは、撮影画像がボールと足であり、シナリオ映像に合成される映像としては、ふさわしくない。そこで、撮影装置１０を動かして撮影箇所を変えることにより、顔の画像を撮影する。これにより、図８Ｂに示すようにシナリオ映像にふさわしい合成映像を得ることができる。このように合成プレビュー画像を表示することにより、ユーザが撮影部１８により取得する画像を調整することが可能となる。
次に、ユーザが撮影装置に対して一時停止解除の指示を行う。この指示は、例えば、ユーザが合成領域の所望の画像を合成できたと判断した場合になされる。一時停止解除の指示は、合成再生制御部２２に入力される（ステップＳ６）。合成再生制御部２２は、シナリオ映像再生の再開を合成再生部２０に指示するとともに、撮影条件制御部２８に対して記録モードでの撮影を指示する（ステップＳ６）。図７に見られるように、一時停止指示の時刻と一時停止解除の時刻ｔはともにＴ５で同じであり、シナリオデータ内の時刻が停止している。なお、この間、実時間は経過している。
撮影部１８によって撮影された画像は、合成再生部２０に送られ、シナリオ映像と合成される（ステップＳ７）。具体的には、シナリオ映像に含まれる合成領域に、撮影画像がはめ込まれることにより、合成映像が作成される。なお、撮影部１８が動画を撮影する場合、例えば被写体が動けば、合成領域の中にはめ込まれる画像が変化することとなる。
シナリオ映像中の合成領域がシナリオ映像の進行に伴って移動するように作られている場合には、合成される撮影画像の位置が移動する合成映像を作成できる。また、撮影画像の一部を切り出して合成領域に合成する場合に、その切り出す位置を一定とすれば、撮影装置を動かさないで同じ対象物を撮影画像として捉えつつ、その対象物の画像がはめ込まれる合成領域がシナリオ映像中を移動するという合成映像を作成することができる。また、撮影画像の一部を切り出して合成領域に合成する場合に、その切り出す位置を合成領域の位置に合わせて移動させることも可能である。
そして、合成再生部２０は、合成映像を表示部２４に表示する。また、撮影部１８は、図６中破線矢印で示すように、撮影画像を映像記録部２６に送り、映像記録部２６に記録する（ステップ３７）。このとき、再生中のシナリオ映像の識別情報と共に撮影画像を記録する。シナリオ映像と撮影画像とを関連付けておくことにより、合成映像を再生する際には、撮影画像とその撮影画像に関連付けられたシナリオ映像とを合成し、撮影時に画面に表示された合成映像を再生できる。
なお、映像記録部２６への記録は、別の方式でも可能である。すなわち、図６中破線矢印で示すように、撮影部１８からの撮影画像ではなく、合成再生部２０から出力される合成映像を映像記録部２６に記録する。
合成再生制御部２２は、シナリオ格納部１２から読み出した合成情報１６に基づいて、合成領域の出現が終了するタイミングを管理する。そして、シナリオ映像中から合成領域がなくなる時刻Ｔ６になると、合成再生制御部２２は、撮影条件制御部２８に対して、撮影終了を指示する。これにより、撮影条件制御部２８は撮影部１８による撮影を終了させる（ステップＳ８）。合成再生制御部２２は、シナリオ映像の再生の終了時刻Ｔ７になると、シナリオ映像の再生終了を合成再生部２０に知らせる（ステップＳ９）。
以上、第１の実施の形態の撮影装置１０の動作例について説明した。
第１の実施の形態の撮影装置１０においては、シナリオデータが、撮影画像を合成するための合成情報１６を有している。合成情報１６に基づく合成再生制御部２２の制御により、合成再生部２０が、撮影部１８によって撮影した画像とシナリオ映像とを合成して合成映像を作り、合成映像を表示部２４に表示する。これにより、撮影しながらシナリオ映像と撮影画像を合成することができる。従って、撮影した画像とシナリオ映像とをスピーディーに合成し、合成映像を得ることができる。
また、合成すべき画像の撮影中に表示部２４に合成映像を表示するので、ユーザは合成映像を見ることができ、合成すべき画像を撮影時に調整することができる。すなわち、シナリオ映像の再生中に撮影部１８により合成すべき対象を撮影することにより、撮影した画像をそのまま合成できる。いったん撮影した撮影画像を後で再生し、撮影画像から合成すべき対象を切り出し、シナリオ映像の再生タイミングに合わせて画像を合成するという手間がなく、容易に映像の合成を行うことができる。特に、例えば携帯端末のように画面やキーパッドに制限がある場合には、シナリオ映像と撮影画像の両方を再生し、編集するのは困難なので、シナリオ映像を表示部２４に表示する一方で、撮影部１８により撮影画像を調整する方法が有効である。
なお、上記した実施の形態では、ユーザからのシナリオ映像再生の指示によってシナリオ映像の再生を再開するが、シナリオ映像を一時停止した時点から所定の時間が経過した後に再開することとしてもよい。また、撮影中の画像の内容を判断する手段を備え、撮影画像が合成領域に入るべき画像であると判断したときに、自動的に再生を再開してもよい。例えば、図８Ａおよび図８Ｂに示す例では、撮影装置１０に顔を認識するルーチンを組み込んでおき、合成領域に顔の画像が合成されたと判定したときに、シナリオ映像の再生を再開することができる。
また、上記実施形態では、画像の合成方法として、合成領域に合成される撮影画像をシナリオ映像に上書きする構成について説明したが、他の合成方法を採用することも可能である。例えば、シナリオ映像を構成する画像として透明色を指定可能な透過ＧＩＦフォーマットを用いる場合には、シナリオ映像の下に撮影画像を重ねることにより、画像を合成してもよい。これにより、シナリオ映像の透明色の部分には、下にある撮影画像が表示されることになる。
また、合成情報に撮影画像の回転角度の情報を含めてもよい。これにより、カメラを動かさなくてもシナリオ映像に合った角度の画像を合成することが可能となる。例えば、シナリオ映像が逆立ちしたキャラクターで、この顔の部分に撮影画像を合成したい場合、合成情報に撮影画像の回転角度（１８０°）の情報を含め、この情報に基づいて撮影画像を回転して合成する構成とすれば、被写体に逆立ちしてもらったり、カメラを逆さにして撮影しなくても、適切な画像を合成することができる。
図９は、第２の実施の形態の撮影装置１０の構成を示す図である。第２の実施の形態の撮影装置１０は、第１の実施の形態の撮影装置１０と基本的な構成は同じであるが、合成領域の外形の情報を提示する合成領域提示部３０をさらに備えている点が異なる。合成領域提示部３０は、合成情報１６に基づいて、合成領域が出現する時刻より前に、合成領域の外形の情報をユーザに提示する機能を有する。具体的には、合成領域提示部３０は、例えば、合成領域の外形を枠としてシナリオ映像に重ねて表示する。枠とは、合成領域の輪郭を目立たせるための線であり、これにより、合成領域の形状とその大きさがユーザに示される。
図１０は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。図１０を参照しながら、第２の実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１０も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１０に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれていない。再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
撮影装置１０は、シナリオ映像の再生開始から時刻Ｔ５に達するまでは、合成再生部２０によってシナリオ情報１４を読み出してシナリオ映像を再生する。合成再生制御部２２は、合成情報１６を参照し、時刻Ｔ５に達する前の時刻Ｔｐにおいて、時刻Ｔ５に出現することになる合成領域の外形の情報を合成領域提示部３０に送り、合成領域提示部３０は、表示部２４に現在表示されているシナリオ映像の画面に重ねて合成領域を囲む枠を表示する。
図１１Ａは時刻Ｔ５における合成映像の例を示す図、図１１Ｂは合成領域の外形の情報を画面に表示した例を示す図である。図１１Ａに示すように、時刻Ｔ５におけるシナリオ映像はボールをキャッチしたキーパーの映像であり、その顔の部分に円形の合成領域が位置する。撮影装置１０は、この合成領域の外形の情報を、合成領域が出現する時刻Ｔ５より前の時刻Ｔｐの時点において表示部２４に表示する。すなわち、図１１Ｂに示すように、合成領域の外形を枠Ｆとしてシナリオ映像に重ねて表示する。そして、撮影装置１０は、この合成領域の外形の情報を時刻Ｔｐから時刻Ｔ５までの間表示する。
時刻Ｔ５以降のシナリオ映像再生および映像合成の動作は、第１の実施の形態の撮影装置１０と同様である。すなわち、時刻Ｔ５以降、合成再生制御部２２はシナリオ映像と撮影部１８による撮影画像とを合成し、合成映像を作る。そして、撮影装置１０は、合成再生部２０によって、表示部２４に合成映像を表示する。シナリオデータの合成情報１６によれば、時刻Ｔ６以降に出現する合成領域は存在しないので、撮影装置１０は、合成再生部２０によってシナリオ映像を再生のみを行う。
以上、第２の実施の形態の撮影装置１０の動作例について説明した。
第２の実施の形態の撮影装置１０では、合成領域が出現して映像合成が開始される前に、シナリオ映像に合成領域の外形を表示するので、ユーザは、合成領域の外形の情報に基づいて、合成領域に合成すべき画像を予測することができる。これにより、ユーザは、合成すべき画像の撮影準備をすることができる。
また、第２の実施の形態の撮影装置１０は、第１の実施の形態の撮影装置１０と同様に、撮影した画像とシナリオ映像とを撮影しながら合成することができ、簡易な操作でスピーディーに映像合成を行うことができる。
上記した第２の実施の形態では、図１１Ｂに示すように、出現時点において合成領域が表示される位置の情報も合成再生制御部２２が合成領域提示部３０へ送って、シナリオ映像中のその位置に、合成領域の外形を示す枠Ｆを表示している。このように位置の情報を前もって表示するのは、合成開始時刻におけるシナリオ映像中の合成領域の位置と、撮影画像中の切り出す部分の位置を一致させる実装の場合に有効である。他の実装の場合、合成領域の外形の情報は表示部２４のどこに表示してもよい。また、撮影装置１０が、シナリオ映像を再生表示する画面のほかにサブ画面を有する場合には、サブ画面に合成領域の外形の情報を表示することも可能である。
また、上記した第２の実施の形態では、合成領域の外形の情報を枠Ｆで表示しているが、枠Ｆ以外の表示により外形の情報を示してもよい。例えば、枠を表示せずに、合成領域の内部のシナリオ映像を他より薄く表示してもよい。これによっても、ユーザは合成領域の輪郭を知ることができる。
また、上記した第２の実施の形態では、合成領域提示部３０により提示される外形の情報は、実際に出現することとなる合成領域と形状および大きさが等しい枠Ｆで示しているが、合成領域の形状のみ、または大きさのみに関する情報を合成領域提示部３０により提示することとしてもよい。
また、上記した第２の実施の形態では、合成領域の外形の情報を表示しているが、これに加えて現在撮影部１８が捉えている撮影画像を表示してもよい。このように撮影部１８が捉えている撮影画像を表示することにより、映像合成に先立って、適切な画像を撮影できるように撮影部１８の位置や向きまたはズーム率などを調整しておくことができる。
なお、現在再生中のシナリオ映像と共に撮影部１８による撮影画像を一つの表示部２４に表示する方式としては、例えば、撮影画像を透過処理してシナリオ映像上に表示する方式がある。また、表示部２４に表示する撮影画像は、撮影部１８により撮影される画像の全体でもよいし、撮影画像のうちの合成される範囲のみの画像であってもよい。前者の場合は、例えば、撮影画像の全体を透過処理してシナリオ映像の全体に重ねて表示する。後者の場合は、合成領域の開始時刻に出現する合成領域の位置に、撮影画像から切り出される撮影画像の部分を現在撮影中の撮影画像から切り出し、透過処理してシナリオ映像上に重ねて表示する。これにより、実際に合成される撮影画像をユーザが知ることができると共に、枠を表示しなくてもユーザは合成領域の外形や位置を知ることができる。
なお、第２の実施の形態では、第１の実施の形態と異なり、合成領域と共に表示されるはずの時刻Ｔ５におけるシナリオ映像を、時刻Ｔ５より前にユーザが見ることができない。したがって、時刻Ｔ５より前に上述したように合成領域の外形の情報が表示されても、そこに何を入れればシナリオ映像と合うのか分からない可能性がある。合成領域の属性（例えば「顔」等）の情報も時刻Ｔｐから時刻Ｔ５に表示してもよい（ただし、ユーザはこの属性を無視して自由に撮影対象を選ぶことができる）。
図１２は、本発明の第３の実施の形態の撮影装置１０を示す図である。第３の実施の形態の撮影装置１０は、第２の実施の形態の撮影装置１０と基本的な構成は同じであるが、合成領域の出現のタイミングが近づいたことを知らせるタイミング報知部３２をさらに備えている点が異なる。
タイミング報知部３２は、合成情報１６に含まれる合成領域が出現する時間に関する情報とシナリオ再生開始からの経過時間とに基づいて、合成領域の出現時刻の接近を検知する。タイミング報知部３２は、例えば、音を発することにより、合成領域の出現時刻が近づいていることを報知する構成を採用できる。合成領域の出現時刻が近づくにつれて、発生させる音を大きくする、あるいは音の発生間隔を短くすることにより、合成領域の出現時刻の接近を知らせることができる。図１０に示す例で説明すると、例えば、タイミング報知部３２は、合成領域情報を提示する時刻Ｔｐから、合成領域の出現時刻が近づいていることをユーザに知らせる。
これにより、ユーザは合成領域の出現時刻が近づいていることを知ることができるので、合成すべき画像を撮影する準備を整えることができる。
なお、タイミング報知部３２は、音以外の方法によって、合成領域の出現時刻が近づいていることを報知してもよい。例えば、映像シナリオの再生速度を遅くすることにより、出現タイミングが近づいたことを知らせる構成、または画面にカウントダウンの数字を表示する構成を採用することもできる。また、合成領域の出現時刻が経過した後も継続して、出現時刻の直後であることを知らせてもよい。これにより、ユーザに合成すべき画像の撮影を促すことができる。なお、この際、出現時刻を境に音の高さや音量を変化させる構成としてもよい。
図１３は、本発明の第４の実施の形態の撮影装置１０の構成を示す図である。第４の実施の形態に係る撮影装置１０は、第２の実施の形態の撮影装置１０と基本的な構成は同じであるが、映像合成の開始および終了の指示を入力するための合成タイミング入力部３４を備えている点が異なる。合成タイミング入力部３４から入力されたタイミング情報は、合成再生制御部２２に送られる。合成再生制御部２２は、合成タイミング入力部３４からのタイミング情報に基づいて、撮像画像とシナリオ映像との合成開始または合成終了タイミングを制御する。
このように合成タイミング入力部３４を備え、映像合成の開始および終了の指示を入力可能とした構成により、ユーザが映像合成のタイミングを選択することができる。例えば、ユーザは、合成すべき画像の撮影準備が整った時点で合成を開始することができ、また合成すべき画像を撮影できなくなった場合には、合成を終了することができる。
第４の実施の形態の撮影装置１０では、映像合成の開始と終了のタイミングをユーザが決定することができるので、決定されたタイミングが合成情報に基づく合成領域が出現するタイミングと異なる場合がある。この点について説明する。
図１４は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオ映像との関係を示す図である。図１４を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１４も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置１０に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像が再生されるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５に達すると、撮影装置１０の画面に再生されるシナリオ映像には合成領域が表示される。合成領域には、撮影部１８によって撮影中の画像が表示される。ただし、この時点では、合成タイミング入力部３４に合成開始指示が入力されていないので、表示部２４に表示されている映像は記録されない。
時刻Ｔｓに合成開始指示が入力されると、撮影装置１０は、合成領域に表示される撮影画像を映像記録部２６に記録する。また、撮影装置１０は、合成領域の出現時刻Ｔ５から合成開始が指示された時刻Ｔｓまでの合成領域に、時刻Ｔｓにおける撮影画像（静止画像）を合成して合成映像を作成し、記録する。これにより、合成開始指示が入力されるまでの合成領域の映像を、時刻Ｔｓにおける撮影画像によって補完することができる。
以上、合成開始指示の入力タイミングが合成領域の出現タイミングより遅くなった場合の合成領域の補完方法について説明した。なお、記録時に補完を行う場合には、映像記録部２６と合成再生部２０との間にバッファを設け、バッファに蓄積された時刻Ｔ５〜Ｔｓのシナリオ映像に、時刻Ｔｓでバッファに入力される最初の撮影画像を合成し、そこで得られた合成映像を、映像記録部２６に記録する。次に、合成領域がまだ出現しているときに合成終了指示が入力された場合の補完方法について説明する。
図１５は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオ映像との関係を示す図である。図１５を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１５も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５に達すると、撮影装置１０の画面に再生される映像シナリオには合成領域が表示される。合成領域には、撮影部１８により撮影される画像が表示される。撮影装置１０は、時刻Ｔ５以降、画面に合成されている映像を映像記録部２６に記録する。
合成領域の出現期間の終点である時刻Ｔ６より前の時刻Ｔｅに合成終了指示が入力されると、撮影装置１０は撮影部１８により撮影された画像の記録を終了する。合成終了を指示された時刻Ｔｅから合成領域の出現終了時刻Ｔ６までの合成領域に、時刻Ｔｅにおける撮影画像（静止画像）を合成して合成映像を作成し、記録する。これにより、合成終了指示が入力されてから時刻Ｔ６に合成領域の表示が消えるまでの合成領域の映像を、時刻Ｔｅにおける撮影画像によって補完することができる。
このように合成開始指示または合成終了指示の入力タイミングが合成領域の出現期間とずれた場合に、ずれた期間における合成領域の画像を補完することにより、合成領域に撮影画像が合成されない事態を回避できる。
上記した実施の形態では、撮影画像の合成開始時点または合成終了時点の画像を用いて合成領域の画像を補完することとしたが、他の方法により合成領域の画像を補完してもよい。撮像した画像を合成領域が出現する時間の長さに等しくなるように引き延ばして記録することも可能である。例えば、合成領域が出現する時間が１０秒なのに対し、撮影された画像の再生時間が５秒だった場合には、撮影された画像の再生速度を半分にし、画像の長さを合成領域の出現時間に合わせることができる。
また、撮影画像とシナリオ映像を別々に記録しておく場合には、再生時に上記したような補完を行うことにより、合成領域に撮影画像が合成されない事態を回避し、適切に合成映像を再生することができる。
なお、上記では、合成開始または合成終了の指示が、合成領域の出現期間とずれた場合に、合成情報に記述された出現期間に合わせて合成を行う例を説明したが、合成開始または合成終了の指示に合わせて合成を行ってもよい。この場合、合成開始指示入力前または合成終了指示入力後であって、合成領域の出現期間内である期間は、合成領域を空白にして表示するのではなく、合成領域により隠れるはずであったシナリオ映像をそのまま表示するようにすればよい。
図１６は、第５の実施の形態の撮影装置１０の構成を示す図である。第５の実施の形態の撮影装置１０の構成は、第１の実施の形態の撮影装置１０と基本的な構成は同じであるが、シナリオ映像に静止画像を合成する点が異なる。第５の実施の形態の撮影装置１０は、シャッター３６を備えている。シャッター３６は撮影部１８と接続されており、シャッター３６が押下されると、撮影部１８は、その押下タイミングにおける静止画像を記録すべき画像として撮影する。
図１７は、映像合成を行う際の、撮影部１８の動作および表示部２４での表示内容とシナリオデータとの関係を示す図である。図１７を参照しながら、実施の形態の撮影装置１０による映像合成の動作について説明する。なお、図１７も図７と同様に、横軸を時間軸としている。
まず、ユーザが撮影装置に対してシナリオ映像の再生開始を指示する。ここでは、図２に示すシナリオデータに従ってシナリオ映像の再生がなされるものとする。すなわち、シナリオ映像中に合成領域が出現する期間は時刻Ｔ５から時刻Ｔ６の間である。また、メディアＡおよびメディアＢは、時刻ｔ＝０から時刻ｔ＝Ｔ７まで再生されるものとする。図１４に示すように、時刻Ｔ０から時刻Ｔ５までの間は、シナリオデータに合成情報が含まれておらず、シナリオ映像が再生される。すなわち、再生開始の指示が入力された合成再生制御部２２が合成再生部２０を制御することによりシナリオ映像の再生が開始される。
時刻Ｔ５において、撮影装置１０はシナリオ映像の再生を一時停止する。このとき、画面には時刻Ｔ５におけるシナリオ映像が表示される。シナリオ映像には合成領域が含まれている。合成再生制御部２２が撮影部１８の視野に写っている画像と、一時停止されたシナリオ映像を合成して合成映像を作る。合成再生部２０は、合成再生制御部２２の制御に基づいて合成された映像を表示する。この合成映像が合成プレビュー画像である。
合成プレビュー画像に基づいて撮影装置１０の位置または向きなどを調整し、合成する静止画像を撮影する。所望の画像が合成領域に表示された時点でシャッター３６を押下し、静止画像を取得する。静止画像を取得した後に、シナリオ映像の再生を再開する。シナリオ映像再生の再開は、ユーザによりシャッター３６が押下された時点で再生を再開してもよいし、シナリオ映像を一時停止した時点から所定の時間が経過した後に再開してもよい。
シナリオ映像の再生が再開されると、合成再生制御部２２はシナリオ映像と撮影部１８により撮影した静止画像とを合成し、合成映像を作る。具体的には、合成再生制御部２２の制御により合成再生部２０は、取得した静止画像に対して切出しまたは拡大縮小などの加工を行い、加工した画像をシナリオ映像中の合成領域に合成する。そして、撮影装置１０は、合成再生部２０によって、表示部２４に合成映像を表示する。この場合、動画を撮影する場合と異なり、シナリオ映像は進行するが、合成領域にはめ込まれる画像は静止画像のままとなる。ただし、合成情報の中の位置情報が時間の関数となっている場合、同じ静止画像のはめ込まれた合成画像がシナリオ映像の進行と共に移動することは動画の場合と同様である。合成再生制御部２２は、シナリオ映像に合成領域が出現している間は、撮影画像をシナリオ映像に合成するように合成再生部２０を制御する。すなわち、時刻Ｔ５から時刻Ｔ６までの間は、合成再生部２０が撮影画像とシナリオ映像の合成を行う。
シナリオデータの合成情報１６によれば、時刻Ｔ６以降に出現する合成領域は存在しない。撮影装置１０は、合成再生部２０によってシナリオ映像を再生する。
撮影装置１０は、シナリオ映像が再生されている間の映像を映像記録部２６に記録する。時刻Ｔ５から時刻Ｔ６については、合成再生部２０からの出力を記録するか、撮影した静止画像を記録するかのいずれかの方式により、合成映像を記録する。なお、合成プレビュー画像は記録しない。
以上、第５の実施の形態の撮影装置１０の動作について説明した。なお、ここでは、第１の実施の形態の動作例に沿って静止画像の場合を説明したが、第２の実施の形態の動作例や、第３の実施の形態のタイミング報知、第４の実施の形態の補完方法を静止画像の合成に応用することももちろん可能である。
第５の実施の形態の撮影装置１０は、撮影した静止画像とシナリオ映像とをスピーディーに合成し、合成映像を得ることができる。
また、合成すべき画像の撮影中に表示部２４に合成映像を表示するので、ユーザは合成映像を見ることができ、合成すべき画像を撮影時に調整することができる。すなわち、シナリオ映像の再生中に撮影部１８により合成すべき対象を撮影することにより、撮影した画像をそのまま合成できる。これにより、いったん撮影した撮影画像を後で再生し、撮影画像から合成すべき対象を切り出し、シナリオ映像の再生タイミングに合わせて合成するという手間がなく、容易に映像の合成を行うことができる。特に、例えば携帯端末のように画面やキーバッドに制限がある場合には、シナリオ映像と再生すると共に撮影した静止画像を表示し、編集するのは困難なので、シナリオ映像を表示部２４に表示する一方で、撮影部１８により撮影画像を調整する方法が有効である。
上記した第５の実施の形態の撮影装置１０において、静止画像を複数回撮影することとしてもよい。
図１８は、静止画像を複数回撮影する場合の映像合成について説明するための図である。なお、図１８も図７と同様に、横軸を時間軸としている。図１８に示すように、１回目の撮影後２回目の撮影がなされるまでは、１回目に撮影した静止画像とシナリオ映像とを合成した合成映像を表示する。そして、２回目の撮影後３回目の撮影がなされるまでは、２回目に撮影された静止画像とシナリオ映像とを合成した合成映像を表示する。そして、３回目の撮影後、合成領域の出現期間が終了するまでは、３回目に撮影された静止画像とシナリオ映像とを合成した合成映像を表示する。これにより、複数の静止画像をシナリオ映像の合成領域の中でスライドショーのように表示することができる。
なお、ｎ回目の撮影後、ｎ＋１回目の撮影がなされるまでの間、ｎ回目の撮影静止画像とシナリオ映像を合成した合成映像を映像記録部２６に記録するが、表示部２４には、撮影部１８の視野に写っているプレビュー画像をシナリオ映像に合成して得られる映像を表示してもよい。これにより、ユーザは、シナリオ映像の再生を進行させながら、表示されたプレビュー画像を参考にして、次回（ｎ＋１回目）の撮影準備を行うことができる。
なお、静止画像を複数回撮影する場合に、必ずしもすべての静止画像を利用しなければならないわけではない。例えば、複数の静止画像の中から合成に用いる画像をユーザに選択させてもよいし、最後に撮影した静止画像を用いて合成映像を作成して記録することとしてもよい。最後に撮影された静止画像を合成することとすれば、最も良く撮影できた時点で撮影を終了することにより、ユーザが最も良く撮影できた静止画像により合成映像を作成できる。また、例えば、図１８において、合成シーン終了後に、バッファに蓄積された撮影１〜３の静止画像の中から、撮影２の静止画像をユーザが選択したとすると、選択時Ｔ６またはシナリオ映像の再生終了時Ｔ７で、時刻Ｔ５〜時刻Ｔ６のシナリオ映像に、撮影２の静止画像を合成し、そこで得られた合成映像を映像記録部２６に記録する。あるいは、撮影時には撮影１〜３の静止画像をシナリオ映像とは別に（ただし、シナリオ映像の識別情報を関連付けて）映像記録部２６に記録しておき、再生時にユーザがその中から選んだ静止画像をシナリオ映像に合成しながら再生してもよい。
図１９は、本発明の第６の実施の形態の撮影装置１０を示す図である。第６の実施の形態の撮影装置１０は、第３の実施の形態の撮影装置１０と基本的な構成は同じであるが、撮影画像の一部を切り出すクリッピング部５０を備える点が異なる。
クリッピング部５０は、撮影部１８によって撮影された撮影画像の一部を部分画像として切り出す機能を有する。クリッピング部５０は、シナリオ格納部１２に格納された合成情報１６に従って、部分画像の切出しを行う。
図２０は、シナリオ格納部１２に格納されたシナリオデータの例を示す図である。シナリオデータは、上述した実施の形態と同様に、シナリオ情報１４と合成情報１６とを含んでいる。合成情報１６は、合成領域を規定する情報に加えて、撮影画像から部分画像を切り出すためのクリッピング情報を含んでいる。図２０に示す例では、撮影画像からの切出し位置を特定する「クリッピング位置」、切出し形状を規定する「クリッピング形状」、および部分画像の変化を示す「クリッピング変化」の各情報が記述されている。
次に、第６の実施の形態の撮影装置１０の動作について説明する。第６の実施の形態の撮影装置１０の基本的な動作は、上記した実施の形態の撮影装置１０の動作と同じであるが、クリッピング部５０にて撮影画像から切り出した部分画像をシナリオ映像に合成する点が異なる。以下、第６の実施の形態の撮影装置１０の動作について説明する。
まず、合成再生制御部２２は、シナリオ格納部１２から合成情報１６を読み出し、合成情報１６に含まれるクリッピング情報をクリッピング部５０に渡す。クリッピング部５０は、撮影部１８から撮影画像を受け取り、受け取った撮影画像から部分画像を切り出す。具体的には、合成再生制御部２２から渡されたクリッピング情報によって特定された位置および形状の領域を部分画像として撮影画像から切り出す。
図２１Ａは撮影画像の例を示す図、図２１Ｂは部分画像の例を示す図である。図２０に示す例のように、クリッピング形状が「楕円」と記述されている場合には、図２１Ａに示す撮影画像から、図２１Ｂに示すような楕円形の部分画像Ｐが切り出される。
クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に渡す。また、合成再生制御部２２は、シナリオ格納部１２からシナリオ情報１４を読み出し、読み出したシナリオ情報１４を合成再生部２０に渡す。合成再生部２０は、シナリオ映像の合成領域にクリッピング部５０から渡された部分画像を合成する。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は合成再生部２０から送られた合成映像を記録する。
以上、本発明の第６の実施の形態の撮影装置１０について説明した。
第６の実施の形態の撮影装置１０はクリッピング部５０を備え、クリッピング部５０にて撮影画像から切り出した部分画像をシナリオ映像に合成するので、撮影画像の一部をシナリオ映像に合成することができる。
また、クリッピング部５０は、合成情報１６に記述されたクリッピング情報に従って部分画像を切り出すので、どの部分を部分画像として切り出すかを合成情報に規定しておくことができる。
なお、上記した第６の実施の形態では、クリッピング情報は切り出すべき部分画像の位置および形状を特定しているが、別の態様によって部分画像を特定してもよい。
図２２は、クリッピング情報を記述した合成情報の他の例を示す図である。図２２に示すように切り出すべき部分画像を合成領域に連動する領域として規定することも可能である。
図２３Ａは合成領域の位置および形状の変化を示す図、図２３Ｂは合成領域に連動して撮影画像（図２１Ａ参照）から切り出される部分画像を示す図である。切り出される部分画像を合成領域に連動すると規定した場合、図２３Ａに示すように合成領域Ｇが矩形から円形に形状を変えながら移動すると、この変動に連動して、図２１Ａに示す撮影画像から切り出される部分画像は、図２３Ｂに示す部分画像Ｐのように変動する。この構成により、撮影画像から切り出される部分画像が合成領域に連動するので、あたかも合成領域から撮影画像を覗いているかのような合成映像が得られる。これにより、合成されるコンテンツの表現能力を向上できる。
また、上記した第６の実施の形態では、映像記録部２６に記録するデータが合成再生部２０にて合成された合成映像である例について説明したが、撮影映像を映像記録部２６に記録することとしてもよい。この場合、クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に送る一方で、撮影画像を映像記録部２６に送る。これにより、合成再生部２０にて部分画像とシナリオ映像が合成され、表示部２４に合成映像が表示されると共に、撮影された映像が映像記録部２６に記録される。このときシナリオデータの合成情報には、図２４に示されるように、合成される撮影映像のｉ）識別子およびｉｉ）格納場所が記録される。図２４に示す合成情報１６を用いて合成映像を再生するときには、シナリオデータに記録されたｉ）識別子が示す撮影映像を映像記録部２６から読み出し、合成再生部２０にて合成情報１６を用いてシナリオ映像に合成しつつ再生することにより、合成映像を再現できる。
図２５は、第７の実施の形態の撮影装置１０の構成を示す図である。第７の実施の形態の撮影装置１０は、基本的な構成は第６の実施の形態の撮影装置１０と同じであるが、第７の実施の形態の撮影装置１０では、撮影画像に含まれるべき対象物の種類を指定することによって撮影画像から切り出す部分画像を規定する点が第６の実施の形態の撮影装置１０と異なる。これに伴い、第７の実施の形態の撮影装置１０は、画像認識部５２をさらに備えている。
図２６は、第７の実施の形態のシナリオデータの例を示す図である。シナリオデータは、上述した実施の形態と同様に、シナリオ情報１４と合成情報１６を含んでいる。合成情報１６は、合成領域を特定する情報に加えて、部分画像を切り出すためのクリッピング情報を含んでいる。クリッピング情報は、部分画像に含まれる対象物を特定することによって部分画像を特定している。以下、部分画像を特定するための対象物の情報を「クリッピング対象物」という。図２６に示す例では、クリッピング対象物「顔」を含む部分を部分画像として撮影画像から切り出すことが記述されている。
図２５に戻って、画像認識部５２は、撮影部１８にて撮影された撮影画像の画像認識を行って撮影画像中に表示されたクリッピング対象物を識別する機能を有する。そして、画像認識部５２は、クリッピング対象物が表示された領域の情報をクリッピング部５０に渡す。
次に、第７の実施の形態の撮影装置１０の動作について説明する。第７の実施の形態の撮影装置１０の動作は、基本的には第６の実施の形態の撮影装置１０の動作と同じであるが、クリッピング部５０にて切り出す領域を画像認識部５２によって求める点が異なる。
まず、撮影装置１０の合成再生制御部２２は、シナリオ格納部１２に格納されたシナリオデータから合成情報１６を読み出し、部分画像を特定するクリッピング対象物の情報を取得する。そして、合成再生制御部２２は、画像認識部５２にクリッピング対象物の情報を渡す。
画像認識部５２は、撮影部１８にて撮影された撮影画像中で、クリッピング対象物が表示された領域を識別し、その領域の情報をクリッピング部５０に渡す。クリッピング部５０は、画像認識部５２から渡された情報で示される領域を、部分画像として切り出す。
図２７Ａは撮影画像の例を示す図、図２７Ｂは部分画像の例を示す図である。合成情報１６にてクリッピング対象物が「顔」と指定された場合には、図２７Ａに示す撮影画像中で「顔」が表示された領域を識別し、図２７Ｂに示すように「顔」を含む領域が部分画像Ｐとして切り出される。この例では、「顔」を含む円形の領域を部分画像として切り出しているが、クリッピング対象物を含む画像を切り出す領域の形状は、円形に限られない。例えば、矩形の領域を切り出してもよいし、クリッピング対象物の形状に合った領域を切り出してもよい。
そして、クリッピング部５０は、撮影画像から切り出した部分画像を合成再生部２０に渡す。合成再生部２０は、シナリオ映像の合成領域にクリッピング部５０から渡された部分画像を合成する。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は、合成再生部２０から送られた合成映像を記録する。
第７の実施の形態の撮影装置１０は、部分画像に含まれるべきクリッピング対象物を指定することによって部分画像を特定するので、切り出すべき部分画像を容易に特定できる。そして、撮影装置１０の画像認識部５２が、クリッピング対象物が表示された領域を識別し、クリッピング対象物が含まれた領域を切り出すことが可能となる。
また、第７の実施の形態の撮影装置１０は、第６の実施の形態の撮影装置１０と同様に、クリッピング部５０にて切り出した部分画像をシナリオ映像に合成するので、撮影画像のうちの一部をシナリオ映像に合成することができる。
なお、上記した第７の実施の形態の撮影装置１０では、シナリオ映像に撮影画像から切り出した部分画像を合成した合成映像を映像記録部２６に記録する構成について説明したが、第６の実施の形態にて説明したのと同様に撮影画像そのものを映像記録部２６に記録することも可能である。
次に、本発明の第８の実施の形態の撮影装置１０について説明する。第８の実施の形態の撮影装置１０は、基本的な構成は第７の実施の形態の撮影装置１０と同じであるが（図２５参照）、シナリオ格納部１２に格納された合成情報１６の内容が異なる。また、画像認識部５２は、撮影画像から対象物を識別すると共に、シナリオ映像から対象物を識別する機能を有する。
図２８は、第８の実施の形態の撮影装置１０のシナリオ格納部１２に記憶されたシナリオデータの例を示す図である。シナリオデータの合成情報１６には、合成領域が含むべき対象物を指定することによって合成領域が規定されている。この例では、時刻ｔ＝Ｘｂ〜Ｙｂにおいて、シナリオ映像中で「ボール」が表示される領域を合成領域として特定している。なお、合成情報１６において、部分画像は、第７の実施の形態と同様に部分画像が含むべきクリッピング対象物「ボール」によって特定されている。
次に、第８の実施の形態の撮影装置１０の動作について説明する。
まず、撮影装置１０の合成再生制御部２２は、シナリオ格納部１２に格納されたシナリオデータからシナリオ情報１４および合成情報１６を読み出し、合成領域を特定するための対象物の情報を取得する。次に、合成再生制御部２２は、合成再生部２０にシナリオ情報１４を渡す。合成再生部２０は、合成領域を特定するための対象物の情報と共にシナリオ映像を画像認識部５２に渡す。画像認識部５２は、シナリオ映像中で、対象物の画像が表示された領域を識別し、その領域の情報を合成領域情報として合成再生制御部２２に渡す。例えば、画像認識部５２は、合成領域の位置および形状の情報を合成再生制御部２２に渡す。そして、合成再生制御部２２は、合成再生部２０に合成領域情報を渡す。
図２９Ａはシナリオ映像の例を示す図、図２９Ｂはシナリオ映像中の合成領域を示す図である。合成情報１６にて合成領域が対象物「ボール」を含むと指定された場合には、図２９Ａに示すシナリオ映像のうちで「ボール」が表示された領域が識別され、図２９Ｂに示すように「ボール」を含む領域が合成領域Ｇとなる。
合成再生部２０は、合成再生制御部２２から渡された合成領域情報に基づいて、クリッピング部５０から渡された部分映像をシナリオ映像に合成する。なお、クリッピング部５０によって撮影画像の一部を部分画像として切り出す処理は、第７の実施の形態の撮影装置１０と同じである。そして、合成再生部２０は、合成した映像を表示部２４および映像記録部２６に送る。表示部２４は、合成再生部２０から送られた合成映像を表示する。また、映像記録部２６は、合成再生部２０から送られた合成映像を記録する。
第８の実施の形態の撮影装置１０は、合成領域に含まれるべき対象物を指定することによって合成領域を容易に特定できる。
なお、上記した第８の実施の形態では、撮影画像から切り出す部分画像を対象物によって規定する例について説明したが、第６の実施の形態で説明したように、切出し領域の位置および形状によってクリッピング情報を規定してもよい。また、クリッピング情報は必ずしも必要ではなく、合成情報１６にクリッピング情報を含まなくてもよい。この場合、撮影部１８にて撮影した撮影画像の全体が、対象物によって特定される合成領域に合成される。
次に、本発明の第９の実施の形態の撮影装置１０について説明する。第９の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３０は、第９の実施の形態における合成再生制御部２２の構成を示す図である。図３０に示すように合成再生制御部２２は、スケジュール生成部５４、スケジュール実行部５６および合成再生指示部５８を有する。スケジュール生成部５４は、シナリオ格納部１２から読み出したシナリオ情報１４に基づいてデータのスケジュールリストを生成する機能を有する。スケジュール実行部５６は、スケジュール生成部５４にて生成されたスケジュールリストから現在時刻におけるスケジュールを抽出する機能を有する。合成再生指示部５８は、スケジュール実行部５６にて抽出されたスケジュールの内容に基づいて、合成再生部２０に合成表示または再生を指示する機能を有する。
図３１Ａはシナリオデータの例を示す図、図３１Ｂは図３１Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。第９の実施の形態では、合成の開始時刻（この例では、ｔ＝１０ｓ）にシナリオ映像の再生の一時停止をする処理を記述したスケジュール（以下、ＰＡＵＳＥスケジュールという）を生成する。なお、合成の開始時刻に再生が開始されるメディア（以下、同時刻再生メディアという）がある場合は、同時刻再生メディアの再生を実行した後にＰＡＵＳＥスケジュールが実行される、という順序になるようにＰＡＵＳＥスケジュールをスケジュールリストに追加する。
これにより、同時刻再生メディアの再生を行った後にシナリオ映像を一時停止するので、一時停止した状態で同時刻再生メディアを含んだシナリオ映像を表示することができる。従って、ユーザは表示された画像を見ながら、シナリオ映像に合成すべき適切な画像を撮影することができる。
次に、本発明の第１０の実施の形態の撮影装置１０について説明する。第１０の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３２は、第１０の実施の形態における合成再生制御部２２の構成を示す図である。第１０の実施の形態における合成再生制御部２２は、第９の実施の形態における合成再生制御部２２の構成に加えて、状態監視部６０およびスケジュール補正部６２を有する。状態監視部６０は、ＣＰＵの稼働率、メモリの使用状況およびデバイスの稼働率を監視する機能を有する。スケジュール補正部６２は、状態監視部６０にて得られた各状態に基づいてメディア再生のセットアップ時間を設定する機能を有する。
図３３Ａはシナリオデータの例を示す図、図３３Ｂは図３３Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。第１０の実施の形態では、状態監視部６０の監視により得られた状態に基づいて、スケジュール補正部６２がメディアの再生、またはデバイスの起動の準備に要する時間を求め、求めた時間に基づいてセットアップ時刻を決定する。図３３Ｂに示す例では、メディアＢの再生開始時刻は時刻ｔ＝１０ｓからであるが、再生を行うまでに準備の時間を要するため時刻ｔ＝８．５ｓからセットアップを行うことがスケジュールリストに記述されている。また、撮影部１８による撮影開始時刻は１０ｓからであるが撮影部１８を起動するまでに準備の時間を要するため時刻ｔ＝７．５ｓからセットアップを行うことがスケジュールリストに記述されている。
このように、スケジュール補正部６２がセットアップ時刻を設定することにより、シナリオデータに規定されたメディアの再生開始時刻またはデバイスの起動開始時刻から円滑に処理を開始させることができる。
次に、本発明の第１１の実施の形態の撮影装置１０について説明する。第１１の実施の形態の撮影装置１０は、基本的な構成は第１の実施の形態の撮影装置１０と同じであるが、合成再生制御部２２の機能が異なる。
図３４は、第１１の実施の形態における合成再生制御部２２の構成を示す図である。第１１の実施の形態における合成再生制御部２２は、第９の実施の形態における合成再生制御部２２の構成に加えて、合成イメージ情報生成部６４および合成イメージ生成部６６を有する。合成イメージ情報生成部６４は、シナリオデータを参照して合成の開始時刻を求め、合成の開始時刻におけるシナリオ映像のスチルイメージである合成イメージを生成するための情報を合成イメージ生成部６６に渡す機能を有する。合成イメージ生成部６６は、合成イメージ情報生成部６４から渡された合成イメージ情報に基づいて合成イメージを生成する機能を有する。合成イメージ生成部６６は、生成された合成イメージをシナリオ格納部１２に格納する。
スケジュール生成部５４は、合成イメージの表示した後にシナリオ映像の一時停止を記述したスケジュールリストを生成する。さらに、スケジュール生成部５４は、一時停止されたシナリオ映像の再生を再開する位置を合成の開始時刻に調整する処理をスケジュールリストに記述する。
図３５Ａはシナリオデータの例を示す図、図３５Ｂは図３５Ａに示すシナリオデータから生成されるスケジュールリストを示す図である。図３５Ｂに「ｐｒｅｖＩｍｇ」と示されるように、合成の開始時刻（この例では、時刻ｔ＝１０ｓ）において、再生が開始されるメディア（ｍｅｄｉａＢ）の再生を行い、撮影部１８を起動した後、合成イメージ生成部６６にて生成された合成イメージを表示し、その後シナリオ映像の一時停止を行うことがスケジュールリストに記述されている。これにより、あらかじめシナリオ格納部１２に格納された合成イメージが表示されるので、合成イメージを円滑に表示できる。また、スケジュールリストには、図３５Ｂに「ＳＥＥＫ」と示されるように、再生の一時停止の再開位置を合成の開始時刻に調整する処理（以下ＰＡＵＳＥ位置補正処理という）が記述されている。ＳＥＥＫ処理は、指定された時刻に再生位置を移動する処理であり、ＳＥＥＫ処理によってＰＡＵＳＥ処理を行った時刻に再生位置を移動する。これにより、ＰＡＵＳＥ処理によって実際に再生が一時停止されるまでに要した時間分のずれを元に戻すＰＡＵＳＥ位置補正が行われる。このＰＡＵＳＥ位置補正処理は画面上には表示されず、画面には合成イメージと合成領域に表示される撮影画像との合成映像が表示される。こうすることで、シナリオ映像の再生が一時停止されるまでに時間を要した場合にも、合成の開始時刻からシナリオ映像の再生を再開できる。
なお、本実施の形態において説明したＳＥＥＫ処理は、他の実施の形態においても、一時停止後のシナリオ映像を再開する場合に適用できる。例えば、第９の実施形態または第１０の実施の形態におけるスケジュール生成部５４が、シナリオ映像の再生の再開位置を合成の開始時刻に調整する処理を記述したスケジュールリストを生成することも可能である。
以上、本発明の撮影装置１０および撮影方法について、実施の形態を挙げて詳細に説明したが、本発明は、上記した実施の形態に限定されるものではない。
撮影装置１０は、複数の画面を備えてもよい。図３６〜図３８は、撮影装置１０が二画面有する場合のそれぞれの画面での表示例を示す図である。例えば、図３６に示すように、一方の画面（左側）でシナリオ映像を再生表示し、他方の画面（右側）で撮影部１８が捉えている撮影画像を表示することができる。これにより、撮影部１８が何を撮影しているのか把握でき、合成領域にはめ込む映像を適切に捉えることができる。なお、この例では、シナリオ映像の表示画面には、第２の実施の形態で説明したのと同様に合成領域の外形を示す枠Ｆを表示している。
また、図３７に示すように、一方の画面（左側）でシナリオ映像を再生表示し、他方の画面（右側）で合成領域の出現時刻におけるシナリオ映像と現在の撮影画像との合成画像を合成した合成プレビュー画像を表示することもできる。これにより、第１の実施の形態のようにシナリオ映像の再生を一時停止しなくても、合成領域の出現前に合成プレビュー画像を確認できる。
また、シナリオ映像と撮影画像との合成中においては、図３８に示すように、一方の画面（左側）で合成映像を表示し、他方の画面（右側）で撮影部１８による撮影画像を表示することができる。これにより、シナリオ映像との合成中においても撮影画像の全体を見ることができるので、適切な撮影画像を取得できる。
さらに、撮影装置１０が二画面有する場合には、一方の画面を被写体側に設けることも可能である。被写体側の画面に合成映像または合成プレビュー画像を表示して被写体にシナリオ映像に合成された自身の撮影画像を見せることにより、どのような合成映像が作成されるのか被写体自身が把握できる。これにより、例えば、被写体はどのようなポーズをとればよいか判断できる。
上記実施形態では、画面に表示される撮影画像を見て撮影装置１０に写る画像を確認し、撮影装置１０の位置、向きまたはズーム率等を調整する撮影装置１０について説明したが、その他の方法で撮影装置１０に写る画像を確認可能とする構成を採用してもよい。例えば、撮影装置１０に照射部を設け、撮影装置１０のファインダーに収まっている範囲に光を照射することとしてもよい。これにより、表示部２４でシナリオ映像を見ながら、被写体に照射される光によって撮影範囲を確認できる。
また、上記実施形態では、本発明の撮影装置および撮影方法について説明したが、上記撮影装置を構成するためのプログラムまたは上記撮影方法を実行するためのプログラムも本発明の範囲に含まれる。
図３９は、本発明のプログラムの一例を示す図である。図３９に示すように、プログラム７０は、シナリオデータ管理モジュール７２、読出モジュール７４、撮影制御モジュール７６、合成再生モジュール７８、表示モジュール８０、提示モジュール８２を有する。このプログラム７０がインストールされるコンピュータとしては、撮影部を有するコンピュータであり、例えば、デジタルカメラである。
シナリオデータ管理モジュール７２は、コンピュータにシナリオデータを管理させるためのモジュールである。シナリオデータ管理モジュール７２を実行することにより、上記の実施の形態の撮影装置１０におけるシナリオ格納部１２と同様の格納部をコンピュータが有することになる。読出モジュール７４は、シナリオデータをコンピュータに読み出させるためのモジュールである。撮影制御モジュール７６は、コンピュータに撮影を行わせ、撮影画像を取得するためのモジュールである。撮影制御モジュール７６を実行することにより、コンピュータは上記の実施の形態の撮影装置１０における撮影条件制御部２８と同様の機能を有する。合成再生モジュール７８は、コンピュータにシナリオ映像を再生させると共に、撮影画像とシナリオ映像を合成させるためのモジュールである。表示モジュール８０は、コンピュータにシナリオ映像または合成映像を表示させるためのモジュールである。提示モジュール８２は、コンピュータに合成情報を、コンピュータのユーザに対して提示させるためのモジュールである、提示モジュール８２を実行することにより、上記の第２の実施の形態の撮影装置１０における合成領域提示部３０と同じ機能を実現できる。
このプログラム７０を実行することにより、第２の実施の形態の撮影装置１０と同様の撮影装置を実現でき、撮影しながらシナリオ映像と撮影画像を合成することができる。
【産業上の利用可能性】
以上のように、本発明の撮影装置は、シナリオ映像と撮影画像との合成映像を表示手段によって表示するので、ユーザは表示手段に表示される合成映像を見ながら撮影を行うことができ、また、合成される映像が適切に撮影されるように、撮影装置の位置や向きを調整できるというすぐれた効果を有し、撮影により得られる画像をシナリオ映像に合成する装置等として有用である。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１Ａ】
【図２１Ｂ】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２４】
【図２５】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２８】
【図２９Ａ】
【図２９Ｂ】
【図３０】
【図３１Ａ】
【図３１Ｂ】
【図３２】
【図３３Ａ】
【図３３Ｂ】
【図３４】
【図３５Ａ】
【図３５Ｂ】
【図３６】
【図３７】
【図３８】
【図３９】
【特許請求の範囲】
【請求項１】
撮影画像を取得するための撮影手段と、
格納されたデータをシナリオ映像を構成するように読み出すための読出手段と、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶する記憶手段と、
前記読出手段により読み出される前記シナリオ映像に、前記撮影手段により取得された撮影画像を、前記記憶手段に記憶された合成情報に従って合成する合成手段と、
前記合成手段により得られる合成映像を表示する表示手段と、
を備えることを特徴とする撮影装置。
【請求項２】
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む請求項１に記載の撮影装置。
【請求項３】
前記合成情報は、前記撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む請求項２に記載の撮影装置。
【請求項４】
前記合成情報に基づいて、前記撮影画像が前記シナリオ映像中に合成される時刻以前に、前記合成領域に関する情報を、前記撮影手段に対する制御を行なうべきユーザに提示する手段をさらに備えることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記ユーザに提示する合成領域に関する情報は、前記合成情報のうち外形および位置に関する情報の少なくとも一方に基づくものであることを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、前記合成情報のうち外形および位置に関する情報の少なくとも一方に従って加工して得られた画像を含むことを特徴とする請求項４に記載の撮影装置。
【請求項７】
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、該合成領域が出現することになっている前記シナリオ映像を構成する画像に、前記合成情報に従って合成して得られた画像を含むことを特徴とする請求項４に記載の撮影装置。
【請求項８】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻に、前記シナリオ映像の再生を一時停止する手段を備えることを特徴とする請求項４に記載の撮影装置。
【請求項９】
前記合成領域の前記シナリオ映像を構成する画像中における位置が、時間の経過に伴って移動することを特徴とする請求項３に記載の撮影装置。
【請求項１０】
前記合成領域の外形が、時間の経過に伴って変化することを特徴とする請求項３に記載の撮影装置。
【請求項１１】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻が近づいたことをユーザに知らせる手段をさらに備えることを特徴とする請求項２に記載の撮影装置。
【請求項１２】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含む所定時間内において、合成開始に関する情報をユーザに知らせる手段をさらに備えることを特徴とする請求項２に記載の撮影装置。
【請求項１３】
前記合成映像を記録する手段をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項１４】
前記撮影手段により取得された撮影画像を前記シナリオ映像の識別情報に関連付けて記録する手段をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項１５】
前記撮影手段が、前記合成情報に含まれる撮影条件に関する情報に基づいて撮影することを特徴とする請求項１に記載の撮影装置。
【請求項１６】
前記撮影画像と前記シナリオ映像との合成開始指示または合成終了指示の少なくとも一方をユーザに入力させる入力手段を備えることを特徴とする請求項３に記載の撮影装置。
【請求項１７】
前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成開始時刻の経過後に前記合成開始指示が入力された場合には、前記規定された合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完することを特徴とする請求項１６に記載の撮影装置。
【請求項１８】
前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成終了時刻の前に前記合成終了指示が入力された場合には、前記合成終了指示が入力されてから前記規定された合成終了時刻までの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完することを特徴とする請求項１６に記載の撮影装置。
【請求項１９】
前記表示手段は複数画面からなり、少なくとも一の画面で前記シナリオ映像または前記合成映像を表示することを特徴とする請求項１に記載の撮影装置。
【請求項２０】
前記撮影手段により撮影されるべき点もしくは範囲を示す光を照射する照射手段を備えることを特徴とする請求項１に記載の撮影装置。
【請求項２１】
前記撮影手段により取得される撮影画像は連続的に撮影される動画であり、前記合成手段は、前記シナリオ映像に前記動画を合成する、ことを特徴とする請求項１に記載の撮影装置。
【請求項２２】
前記撮影手段により取得される撮影画像は１枚以上の静止画であり、前記合成手段は、前記シナリオ映像に合成する画像として前記静止画のうちの１枚を所定時間内使用することを特徴とする請求項１に記載の撮影装置。
【請求項２３】
前記撮影手段により撮影した撮影画像の一部を部分画像として切り出す部分画像切出手段を備え、
前記合成手段は、前記部分画像切出手段により切り出された部分画像を前記シナリオ映像に合成することを特徴とする請求項１に記載の撮影装置。
【請求項２４】
前記記憶手段に記憶された合成情報は、前記部分画像切出手段にて部分画像を切り出す領域および時間帯を特定する部分画像特定情報を含み、
前記部分画像切出手段は、前記部分画像特定情報に基づいて前記撮影画像から部分画像を切り出すことを特徴とする請求項２３に記載の撮影装置。
【請求項２５】
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動することを特徴とする請求項２４に記載の撮影装置。
【請求項２６】
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化することを特徴とする請求項２４に記載の撮影装置。
【請求項２７】
前記部分画像特定情報は、前記部分画像が含むべき対象物によって部分画像を特定し、
前記部分画像切出手段は、前記部分画像特定情報にて特定された対象物が映った部分を前記部分画像として前記撮影画像から切り出すことを特徴とする請求項２４に記載の撮影装置。
【請求項２８】
前記合成情報は、前記合成領域が含むべき対象物によって合成領域を特定し、
前記合成手段は、前記シナリオ映像のうち前記部分画像特定情報にて特定された対象物が表示された部分を前記合成領域とし、前記合成領域に前記撮影画像を合成することを特徴とする請求項１に記載の撮影装置。
【請求項２９】
前記撮影画像の合成を開始する時刻に再生を開始するデータがあるときに、そのデータの再生を開始した後に、前記シナリオ映像を一時停止する制御を行う制御手段を備えることを特徴とする請求項８に記載の撮影装置。
【請求項３０】
前記撮影画像の合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶するプレビュー画像記憶手段と、
前記撮影画像の合成を開始する時刻に、前記プレビュー画像を表示し、前記シナリオ映像を一時停止する制御を行う制御手段と、
を備えることを特徴とする請求項８に記載の撮影装置。
【請求項３１】
前記制御手段は、前記シナリオ映像の再生を再開する位置を、前記合成を開始する時刻に移動することを特徴とする請求項２９または３０に記載の撮影装置。
【請求項３２】
格納されたデータの出力方法を記述したシナリオ情報と、
撮影により取得される撮影画像を、前記シナリオ情報の記述にしたがって出力されるシナリオ映像に合成するための合成情報と、
を有するシナリオデータ。
【請求項３３】
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む請求項３２に記載のシナリオデータ。
【請求項３４】
前記合成情報は、撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む請求項３２に記載のシナリオデータ。
【請求項３５】
前記合成情報は、前記撮影画像の一部を部分画像として切り出す領域および時間帯を特定する部分画像特定情報を含むことを特徴とする請求項３２に記載のシナリオデータ。
【請求項３６】
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３７】
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３８】
前記部分画像特定情報は、部分画像が含むべき対象物によって前記部分画像の領域および時間帯を特定することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３９】
前記合成情報は、撮影画像が合成される合成領域が含むべき対象物によって前記合成領域およびシナリオ映像が合成領域を含む時間帯を特定することを特徴とする請求項３２に記載のシナリオデータ。
【請求項４０】
格納されたデータをシナリオ映像を構成するように読み出すステップと、
撮影画像を取得するステップと、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、
前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、
前記合成するステップにおいて得られる合成映像を表示するステップと、
を備えることを特徴とする撮影方法。
【請求項４１】
撮影画像とシナリオ映像とを合成するためにコンピュータに、
格納されたデータをシナリオ映像を構成するように読み出すステップと、
撮影画像を取得するステップと、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、
前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、
前記合成するステップにおいて得られる合成映像を表示するステップと、
を実行させることを特徴とするプログラム。
【請求項１】
撮影画像を取得するための撮影手段と、
格納されたデータをシナリオ映像を構成するように読み出すための読出手段と、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を記憶する記憶手段と、
前記読出手段により読み出される前記シナリオ映像に、前記撮影手段により取得された撮影画像を、前記記憶手段に記憶された合成情報に従って合成する合成手段と、
前記合成手段により得られる合成映像を表示する表示手段と、
を備えることを特徴とする撮影装置。
【請求項２】
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む請求項１に記載の撮影装置。
【請求項３】
前記合成情報は、前記撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む請求項２に記載の撮影装置。
【請求項４】
前記合成情報に基づいて、前記撮影画像が前記シナリオ映像中に合成される時刻以前に、前記合成領域に関する情報を、前記撮影手段に対する制御を行なうべきユーザに提示する手段をさらに備えることを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記ユーザに提示する合成領域に関する情報は、前記合成情報のうち外形および位置に関する情報の少なくとも一方に基づくものであることを特徴とする請求項４に記載の撮影装置。
【請求項６】
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、前記合成情報のうち外形および位置に関する情報の少なくとも一方に従って加工して得られた画像を含むことを特徴とする請求項４に記載の撮影装置。
【請求項７】
前記ユーザに提示する合成領域に関する情報は、前記撮影手段により取得された撮影画像を、該合成領域が出現することになっている前記シナリオ映像を構成する画像に、前記合成情報に従って合成して得られた画像を含むことを特徴とする請求項４に記載の撮影装置。
【請求項８】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻に、前記シナリオ映像の再生を一時停止する手段を備えることを特徴とする請求項４に記載の撮影装置。
【請求項９】
前記合成領域の前記シナリオ映像を構成する画像中における位置が、時間の経過に伴って移動することを特徴とする請求項３に記載の撮影装置。
【請求項１０】
前記合成領域の外形が、時間の経過に伴って変化することを特徴とする請求項３に記載の撮影装置。
【請求項１１】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻が近づいたことをユーザに知らせる手段をさらに備えることを特徴とする請求項２に記載の撮影装置。
【請求項１２】
前記シナリオ映像へ前記撮影画像の合成を開始する時刻を含む所定時間内において、合成開始に関する情報をユーザに知らせる手段をさらに備えることを特徴とする請求項２に記載の撮影装置。
【請求項１３】
前記合成映像を記録する手段をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項１４】
前記撮影手段により取得された撮影画像を前記シナリオ映像の識別情報に関連付けて記録する手段をさらに備えることを特徴とする請求項１に記載の撮影装置。
【請求項１５】
前記撮影手段が、前記合成情報に含まれる撮影条件に関する情報に基づいて撮影することを特徴とする請求項１に記載の撮影装置。
【請求項１６】
前記撮影画像と前記シナリオ映像との合成開始指示または合成終了指示の少なくとも一方をユーザに入力させる入力手段を備えることを特徴とする請求項３に記載の撮影装置。
【請求項１７】
前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成開始時刻の経過後に前記合成開始指示が入力された場合には、前記規定された合成開始時刻から前記合成開始指示が入力されるまでの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完することを特徴とする請求項１６に記載の撮影装置。
【請求項１８】
前記合成情報により規定された前記撮影画像の前記シナリオ映像への合成終了時刻の前に前記合成終了指示が入力された場合には、前記合成終了指示が入力されてから前記規定された合成終了時刻までの間に前記合成領域に合成される画像を前記撮影画像または前記シナリオ映像によって補完することを特徴とする請求項１６に記載の撮影装置。
【請求項１９】
前記表示手段は複数画面からなり、少なくとも一の画面で前記シナリオ映像または前記合成映像を表示することを特徴とする請求項１に記載の撮影装置。
【請求項２０】
前記撮影手段により撮影されるべき点もしくは範囲を示す光を照射する照射手段を備えることを特徴とする請求項１に記載の撮影装置。
【請求項２１】
前記撮影手段により取得される撮影画像は連続的に撮影される動画であり、前記合成手段は、前記シナリオ映像に前記動画を合成する、ことを特徴とする請求項１に記載の撮影装置。
【請求項２２】
前記撮影手段により取得される撮影画像は１枚以上の静止画であり、前記合成手段は、前記シナリオ映像に合成する画像として前記静止画のうちの１枚を所定時間内使用することを特徴とする請求項１に記載の撮影装置。
【請求項２３】
前記撮影手段により撮影した撮影画像の一部を部分画像として切り出す部分画像切出手段を備え、
前記合成手段は、前記部分画像切出手段により切り出された部分画像を前記シナリオ映像に合成することを特徴とする請求項１に記載の撮影装置。
【請求項２４】
前記記憶手段に記憶された合成情報は、前記部分画像切出手段にて部分画像を切り出す領域および時間帯を特定する部分画像特定情報を含み、
前記部分画像切出手段は、前記部分画像特定情報に基づいて前記撮影画像から部分画像を切り出すことを特徴とする請求項２３に記載の撮影装置。
【請求項２５】
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動することを特徴とする請求項２４に記載の撮影装置。
【請求項２６】
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化することを特徴とする請求項２４に記載の撮影装置。
【請求項２７】
前記部分画像特定情報は、前記部分画像が含むべき対象物によって部分画像を特定し、
前記部分画像切出手段は、前記部分画像特定情報にて特定された対象物が映った部分を前記部分画像として前記撮影画像から切り出すことを特徴とする請求項２４に記載の撮影装置。
【請求項２８】
前記合成情報は、前記合成領域が含むべき対象物によって合成領域を特定し、
前記合成手段は、前記シナリオ映像のうち前記部分画像特定情報にて特定された対象物が表示された部分を前記合成領域とし、前記合成領域に前記撮影画像を合成することを特徴とする請求項１に記載の撮影装置。
【請求項２９】
前記撮影画像の合成を開始する時刻に再生を開始するデータがあるときに、そのデータの再生を開始した後に、前記シナリオ映像を一時停止する制御を行う制御手段を備えることを特徴とする請求項８に記載の撮影装置。
【請求項３０】
前記撮影画像の合成を開始する時刻に表示されるシナリオ映像をプレビュー画像として記憶するプレビュー画像記憶手段と、
前記撮影画像の合成を開始する時刻に、前記プレビュー画像を表示し、前記シナリオ映像を一時停止する制御を行う制御手段と、
を備えることを特徴とする請求項８に記載の撮影装置。
【請求項３１】
前記制御手段は、前記シナリオ映像の再生を再開する位置を、前記合成を開始する時刻に移動することを特徴とする請求項２９または３０に記載の撮影装置。
【請求項３２】
格納されたデータの出力方法を記述したシナリオ情報と、
撮影により取得される撮影画像を、前記シナリオ情報の記述にしたがって出力されるシナリオ映像に合成するための合成情報と、
を有するシナリオデータ。
【請求項３３】
前記合成情報は、前記撮影画像が前記シナリオ映像中に合成される時間に関する情報を含む請求項３２に記載のシナリオデータ。
【請求項３４】
前記合成情報は、撮影画像が合成される合成領域の外形に関する情報と前記合成領域の前記シナリオ映像を構成する画像中の位置に関する情報のうち少なくとも一つを含む請求項３２に記載のシナリオデータ。
【請求項３５】
前記合成情報は、前記撮影画像の一部を部分画像として切り出す領域および時間帯を特定する部分画像特定情報を含むことを特徴とする請求項３２に記載のシナリオデータ。
【請求項３６】
前記部分画像特定情報によって特定された前記部分画像の切出領域の位置は、時間の経過に伴って移動することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３７】
前記部分画像特定情報によって特定された前記部分画像の切出領域の形状は、時間の経過に伴って変化することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３８】
前記部分画像特定情報は、部分画像が含むべき対象物によって前記部分画像の領域および時間帯を特定することを特徴とする請求項３５に記載のシナリオデータ。
【請求項３９】
前記合成情報は、撮影画像が合成される合成領域が含むべき対象物によって前記合成領域およびシナリオ映像が合成領域を含む時間帯を特定することを特徴とする請求項３２に記載のシナリオデータ。
【請求項４０】
格納されたデータをシナリオ映像を構成するように読み出すステップと、
撮影画像を取得するステップと、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、
前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、
前記合成するステップにおいて得られる合成映像を表示するステップと、
を備えることを特徴とする撮影方法。
【請求項４１】
撮影画像とシナリオ映像とを合成するためにコンピュータに、
格納されたデータをシナリオ映像を構成するように読み出すステップと、
撮影画像を取得するステップと、
前記シナリオ映像中に前記撮影画像を合成するための合成情報を読み出すステップと、
前記シナリオ映像に、前記撮影画像を、前記合成情報に従って合成するステップと、
前記合成するステップにおいて得られる合成映像を表示するステップと、
を実行させることを特徴とするプログラム。
【国際公開番号】ＷＯ２００５／０１５８９９
【国際公開日】平成１７年２月１７日（２００５．２．１７）
【発行日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００５−５１０２６１（Ｐ２００５−５１０２６１）
【国際出願番号】ＰＣＴ／ＪＰ２００４／００７６７５
【国際出願日】平成１６年５月２７日（２００４．５．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【国際公開日】平成１７年２月１７日（２００５．２．１７）
【発行日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／００７６７５
【国際出願日】平成１６年５月２７日（２００４．５．２７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]