撮影装置及びそのプログラム
【課題】 被写体が所望の状態で滑らかに動くような、実写アニメーションを容易に作成できるように支援する撮影装置及びそのプログラムを実現する。
【解決手段】 パラメータ登録モードに設定されると、まず、３次元のｘ位置パラメータを選択し（Ｓ１）、各フレームにおける該選択された位置パラメータとの関係を示す位置グラフを表示させ（Ｓ２）、位置パラメータの入力が完了したか否かを判断する（Ｓ３）。このとき、ユーザは撮影したい被写体が所望の動きとなるように、概略的に任意のフレームの位置パラメータの値を入力する。そして、位置パラメータの入力が完了したと判断すると、入力されたフレームの位置パラメータの値に基づいてスプライン関数により近似線を求め、該求めた近似線に基づいて各フレームの一パラメータの値を登録する。この登録動作を、３次元のｙ位置パラメータ、ｚ位置パラメータに行なう。
【解決手段】 パラメータ登録モードに設定されると、まず、３次元のｘ位置パラメータを選択し（Ｓ１）、各フレームにおける該選択された位置パラメータとの関係を示す位置グラフを表示させ（Ｓ２）、位置パラメータの入力が完了したか否かを判断する（Ｓ３）。このとき、ユーザは撮影したい被写体が所望の動きとなるように、概略的に任意のフレームの位置パラメータの値を入力する。そして、位置パラメータの入力が完了したと判断すると、入力されたフレームの位置パラメータの値に基づいてスプライン関数により近似線を求め、該求めた近似線に基づいて各フレームの一パラメータの値を登録する。この登録動作を、３次元のｙ位置パラメータ、ｚ位置パラメータに行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置及びそのプログラムに係り、詳しくは、実写によるアニメーション動画の作成を支援する機能有した撮影装置及びそのプログラムに関する。
【背景技術】
【０００２】
アニメーション動画の作成を支援するカメラであって、アニメーション動画を構成する各コマ（フレーム）の撮影時に、このアニメーション動画における動く物体の撮影フレーム内での位置を案内表示する技術が知られている（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００３−３７８０８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術によれば、ユーザが指定した物体の位置や直前のコマ（フレーム）における物体の位置を案内表示するだけなので、複数のコマ（フレーム）に渡って物体が所望の状態で滑らかに動くように、物体を設置して撮影を行うことはできなかった。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体が滑らかに動くような実写アニメーション動画を容易に作成できるように支援する撮影装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮影装置は、撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置であって、
前記実写アニメーション動画を構成する各フレームに対応させて、前記所定の被写体の状態を示したパラメータを生成する生成手段と、
前記生成手段により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御手段と、
前記案内表示制御手段による案内表示に対応して前記撮影手段により撮影された各フレームの画像データに基づいて動画データを生成する動画生成手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定する特定手段と、
前記生成手段は、
前記実写アニメーション動画における各フレームが再生されるタイミング情報に従って、前記特定手段によって特定された前記３次元空間内での前記所定の被写体の動きを、各フレームに対応した前記所定の被写体の状態に変換することにより、前記パラメータを生成するようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記所定の被写体の動きが滑らかになるように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記特定手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータを修正して、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を示すパラメータを検出する検出手段を備え、
前記特定手段は、
前記検出手段により検出されたパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを新たに特定するようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と速度を特定し、
前記生成手段は、
該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記被写体の移動の方向と加速度を特定し、
前記生成手段は、
該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と速度を特定し、
前記生成手段は、
該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記生成手段は、
前記入力手段により入力された一部のフレームに対応するパラメータに基づいて、該被写体の動きが滑らかになるように、この一部のフレーム以外の各フレームに対応する該被写体の状態を示したパラメータを生成するようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記生成手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力されたパラメータを修正して、各フレームに写る該被写体の状態を示したパラメータを生成するようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を検出する検出手段と、
前記検出手段により検出された前記所定の被写体の撮影状態に基づいて、前記生成手段により生成されたパラメータのうち、まだ撮影されていないフレーム部分のパラメータを修正する修正手段と、
を備えるようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、実際に撮影された各フレームの画像データに基づいて、実際に撮影された前記所定の被写体の撮影状態を検出する検出手段を備え、
前記生成手段は、
前記検出手段により検出された各フレームの前記所定の被写体の撮影状態に基づいて、まだ生成していないフレーム部分のパラメータを生成するようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と、速度を検出し、該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記所定の被写体の移動の方向と、加速度を検出し、該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と、速度を検出し、該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、前記検出手段は、
前記被写体の特徴点を検出することにより、被写体の撮影状態を検出するようにしてもよい。
【００２３】
また、例えば、請求項１８に記載されているように、前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の中心を被写体の位置として検出するようにしてもよい。
【００２４】
また、例えば、請求項１９に記載されているように、記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の相対的な位置関係に基づいて前記被写体の向きを検出するようにしてもよい。
【００２５】
上記目的達成のため、請求項２０記載の発明によるプログラムは、撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置を実行させるためのプログラムであって、
前記実写アニメーション動画を構成する各フレームに対応させて前記所定の被写体の状態を示したパラメータを生成する生成処理と、
前記生成処理により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御処理と、
前記案内表示制御処理による案内表示に対応して前記撮影手段により撮影素子に撮影された各フレームの画像データに基づいて動画データを生成する動画生成処理と、
を含むことを特徴とする。
【発明の効果】
【００２６】
本願発明によれば、被写体が滑らかに動くような実写アニメーション動画を容易に作成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本実施の形態について、本発明の撮影装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮影装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。
【００２８】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００２９】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００３０】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮影信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００３１】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮影信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮影信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮影信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮影信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。
【００３２】
画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。
【００３３】
ＣＰＵ１０は、ＣＣＤ５への撮影制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
【００３４】
特に、ＣＰＵ１０は、実写アニメーション動画の背景部分に対応した３次元空間内での所定の被写体（動く物体）の動きをユーザーが入力指定する機能、ユーザーが入力指定した被写体の動きを、各フレームに対応する被写体の状態に変換する機能、フレームの各位置パラメータの値に基づいて該フレームの被写体の撮影予定位置を画像表示部１５に透過表示させる機能、該透過表示に対応して撮影された各フレームの画像データに基づいて動画データを生成する機能を有する。
【００３５】
上記入力指定機能および変換機能においては、複数フレームを通しての物体の動きをユーザーが容易に入力指定でき、且つ、より自然で滑らかな物体の動きとなるように、補間や補正を行う機能も併せ持つ。このような自然で滑らかなデータを容易に入力できるようにするために補間や補正を行う具体的な方法については、様々な方法が考えられるが、本実施の形態では、実写アニメーション動画を構成する複数のフレームのうち、一部のフレームに対応させて、被写体の状態を示したパラメータをユーザーが入力すると、このユーザによって入力された任意のフレームのパラメータの値に基づいて、その他のフレームのパラメータの値をスプライン関数によって算出することで、補間や補正を行うものとする。
【００３６】
キー入力部１１は、シャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
【００３７】
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。
また、メモリ１２には、動画データを構成する各フレームに写る被写体の位置パラメータを記録させておく位置パラメータテーブルを備えている。
【００３８】
ＤＲＡＭ１３は、ＣＣＤ５によって撮影された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、画像データを保存する記録媒体である。
【００３９】
画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮影された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。
【００４０】
Ｂ．デジタルカメラ１の動作について
実施の形態におけるデジタルカメラ１の動作をパラメータ登録と、アニメーション動画撮影に分けて説明する。
このパラメータ登録とは、簡単に説明すると、実写アニメーション動画の背景部分に対応した３次元空間内での所定の被写体（動く物体）の動きを登録するものであり、アニメーション動画撮影により撮影される各フレームに対応する被写体の位置や向きなどの状態を示す（位置）パラメータによって被写体の動きを登録することをいい、アニメーション動画撮影とは、実時間で動画を撮影するのではなく、つまり、被写体をリアルタイムで順次撮影していくのではなく、各フレーム毎に同一の被写体を別々に静止画撮影をしていき、該静止画撮影により得られた画像データに基づいて動画データを生成するというものである。
【００４１】
Ｂ−１．パラメータ登録の動作について
まず、パラメータ登録の動作を図２のフローチャートに従って説明する。
ユーザのキー入力部１１のモード切替キーの操作によりパラメータ登録モードに設定されると、ＣＰＵ１０は、1つ目の位置パラメータを選択する（ステップＳ１）。ここで、被写体の位置は、（ｘ，ｙ，ｚ）の３次元で示され、位置パラメータは、ｘ方向の位置を示すｘ位置パラメータと、ｙ方向の位置をｙ位置パラメータと、ｚ方向の位置を示すｚ位置パラメータとで構成される。ここでは、位置パラメータが選択される順番は、ｘ、ｙ、ｚの順とするので、ステップＳ１では1目の位置パラメータとしてｘ位置パラメータが選択される。
【００４２】
図３（Ａ）は、ｘ、ｙ、ｚで表わされる３次元の様子の一例を示すものである。
図３（Ａ）を見るとわかるように、ある位置を（ｘ，ｙ，ｚ）＝（０，０，０）とし、該位置からｘ軸、ｙ軸、ｚ軸が伸びている。ここで、ｚ軸のマイナス方向がないのは、ＣＣＤ５の撮影面がｘ軸とｙ軸とで形成される平面上にあり、且つ、ｚ軸のプラス方向を向いていることを前提としているからであり、ｚ軸のマイナス方向は撮影されないからである。また、ＣＣＤ５の撮影面の中心を、（ｘ、ｙ、ｚ）＝（０，０，０）とする。なお、ｘ軸のプラス方向を右方向、マイナス方向を左方向、ｙ軸のプラス方向を上方向、マイナス方向を下方向とする。
【００４３】
次いで、ＣＰＵ１０は、各フレームにおける現在選択されている位置パラメータとの関係を示す位置グラフを表示させる（ステップＳ２）。
図３（Ｂ）は、表示された位置グラフの様子の一例を示す図である。
図３（Ｂ）を見るとわかるように横軸が、１枚目、２枚目等のフレームの枚数を示しており、縦軸が位置パラメータの値を示している。ここでは、ｘ位置パラメータが選択されているので、縦軸はｘ位置パラメータの値を示している。
【００４４】
そして、ＣＰＵ１０は、ユーザによって該選択されている位置パラメータの入力が完了したか否かを判断する（ステップＳ３）。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００４５】
ここで、ユーザはキー入力部１１を操作することにより任意にあるフレームを選択し、該選択したフレームに写る被写体の位置を示す位置パラメータの値を入力することができる。このとき、入力された位置パラメータの値は該表示されている関係グラフに表示される。また、各フレーム毎に位置パラメータの値を入力する必要はなく、１０枚おき、１００枚おきという具合に位置パラメータの値を入力すればよい。つまり、撮影したい被写体が所望の動きとなるように、概略的に現在選択されている位置パラメータの値を決めればよい。このとき、最初のフレーム（１枚目のフレーム）の位置パラメータと、最後のフレーム位置パラメータを必ず入力するようにさせてもよい。この最後のフレームとは、ユーザが撮影したい動画の最後のフレームのことをいい、たとえば、１０００枚のフレームを撮影したい場合は、最後のフレームは１０００枚ということになる。このようにすれば、位置パラメータの登録と同時に動画に含まれる撮影予定のフレーム数を予め指定することができる。
【００４６】
ステップＳ３で、現在選択されている位置パラメータの入力が完了したと判断すると、ＣＰＵ１０は、該入力された位置パラメータの値に基づいてスプライン関数により近似線を求める（ステップＳ４）。このスプライン関数により位置パラメータが滑らかになるように各フレームの位置パラメータの値が求められる。つまり、被写体の動きが滑らかになるように各フレームの位置パラメータの値が求められる。この求められた近似線は関係グラフ上に表示される。
【００４７】
なお、このとき、ユーザによって入力されたフレームの位置パラメータの値を変えないようにスプライン関数により各フレームの位置パラメータの値を求めるようにしてもよい。また、ユーザによって入力されたフレームの位置パラメータの値によって、各フレームの位置パラメータの値が滑らかにならない場合は、ユーザによって入力されたフレームの位置パラメータの値を変える（修正する）ようにしてもよい。つまり、ユーザによって入力されたフレームの位置パラメータの値は絶対的なものではなく、該入力された位置パラメータの値を目安としてスプライン関数により近似線を求める。
【００４８】
ここで、図４（Ａ）は、ｘ位置パラメータの入力が完了したときの、入力されたｘ位置パラメータの様子の一例を示す図であり、図４（Ｂ）は、該入力された位置パラメータに基づいてスプライン関数により求められた近似線が表示されたときの様子の一例を示す図である。ここでは、最後のフレームはｎ枚目のフレームとする。
図４を示すように、ユーザによって概略的に入力された被写体の位置パラメータに基づいて近似線が求められ、これにより１枚目からｎ枚目までの各フレームの位置パラメータが定まる。
図４（Ｂ）を見るとわかるように、被写体の位置は、中央（ｘ＝０）から右側に移動し、その後、左方向、右方向という具合に交互に中央から左右に移動しているのがわかる。
【００４９】
次いで、ＣＰＵ１０は、該求められた近似線に基づいて現在選択されている位置パラメータの登録を行うか否かを判断する（ステップＳ５）。
この判断は、ユーザのＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきた場合は登録すると判断し、キャンセルキーの操作に対応する操作信号が送られてきた場合は登録しないと判断する。
【００５０】
ステップＳ５で、パラメータの登録を行わないと判断するとステップＳ３に戻り、再びユーザによって位置パラメータの入力が完了したか否かを判断する。この表示されている近似線が自分が所望する被写体の動きでない場合は、再び位置パラメータを再入力することにより所望する被写体の動きに変更することができる。
【００５１】
一方、ステップＳ５で、パラメータの登録を行うと判断すると、ＣＰＵ１０は、該求められた近似線に基づいて、現在選択されている位置パラメータを登録する（ステップＳ６）。具体的に説明すると、該近似線に基づいて、各フレームの被写体の予定位置となる現在選択されている位置パラメータの値を登録することになる。この登録される値は、メモリ１２の位置パラメータテーブルに記録されることになる。
【００５２】
そして、ＣＰＵ１０は、すべての位置パラメータを選択したか否かを判断し（ステップＳ７）、すべての位置パラメータを選択していないと判断すると、次のパラメータを選択して（ステップＳ８）、ステップＳ２に戻る。位置パラメータは、ｘ、ｙ、ｚ順に選択されるので、現在ｘ位置パラメータを選択している場合はステップＳ８でｙ位置パラメータが選択され、現在ｙ位置パラメータが選択されている場合はｚ位置パラメータが選択されることになる。
【００５３】
図５（Ａ）は、登録されるｙ位置パラメータの元となる近似線の様子の一例を示すものであり、図５（Ｂ）は、登録されるｚ位置パラメータの元となる近似線の様子の一例を示すものである。
図５（Ａ）を見るとわかるように、被写体の位置の高さは変わらず、ＣＣＤ５の中央より下の位置であることがわかる。また、図５（Ｂ）を見るとわかるように、後に撮影されるフレームほど被写体の位置はＣＣＤ５から遠ざかることがわかる。
【００５４】
また、図６は、メモリ１２の位置パラメータテーブルに記録されている（登録されている）被写体の各位置パラメータの様子の一例を示すものであり、各フレーム毎にｘ位置パラメータの値、ｙ位置パラメータの値、ｚ位置パラメータ値の各値が記録されている。
【００５５】
このような登録方法の利点は、自然で滑らかな動きとなるようにユーザが全てのフレームに対応するパラメータを正確に入力することは非常に困難であるが、一部のフレームのパラメータを入力するだけで、他のフレームのパラメータの補間や補正を行うので、自然で滑らかな動きを容易に登録することが可能となるものである。つまり、２点を指定すれば、この２点を通る１次関数で表されるような直線移動、３点を指定すれば、この３点を通る３次関数で表されるような等加速度運動となり、指定する点の数が増えるに従って複雑な動きを指定することができる。
【００５６】
また、この登録処理においては、撮影予定となっているフレームに対応させてパラメータを登録したが、ここでは物体の動きが登録できればよいので、必ずしも撮影予定フレームに対応してパラメータを登録しなくてもよい。実際に撮影を開始するときに、動画のフレームレートを新たに設定するようにし、この設定されたフレームレートに対応して撮影予定となる複数のフレームを新たに決定し、登録されている物体の動きに基づいて、この新たに決定された複数のフレームの各々に対応するパラメータを自動生成するようにしてもよい。また、一定のフレームレートで再生する動画でなはなく、フレームレートが可変である動画であっても、各フレームが再生されるタイミングが特定できれば、そのフレームに対応するパラメータを生成することが可能である。
【００５７】
Ｂ−２．アニメーション動画撮影の動作について
次に、アニメーション動画撮影の動作を図７のフローチャートに従って説明する。
ユーザのキー入力部１１のモード切替キーの操作によりパラメータ登録モードに設定されると、ＣＰＵ１０は、これから撮影する所定の被写体であり、背景に対して動く物体の実際の大きさを設定する（ステップＳ１１）。このときは、被写体の大きさをユーザに入力させるための画面を表示させ、該入力された大きさを設定する。
【００５８】
次いで、ＣＰＵ１０は、最初のフレーム（１枚目のフレーム）を撮影対象として特定する（ステップＳ１２）。つまり、これから撮影するフレームを特定する。
次いで、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による撮影を開始させ、ＣＣＤ５により順次撮影され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する（ステップＳ１３）。
【００５９】
次いで、ＣＰＵ１０は、図６に示す登録されている現在特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された所定の被写体の実際の大きさと、設定されている撮影画角（スーム倍率など）の情報に基づいて、該特定されているフレームの被写体の撮影予定状態を示した枠（撮影予定状態枠）を画像表示部１５に透過表示させる（ステップＳ１４）。ここで、透過表示させる撮影予定状態とは、撮影予定となる画像表示部１５上の被写体の位置、大きさのことをいう。
【００６０】
このとき、該特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された被写体の大きさに基づいて３次元モデルを生成し、その３次元モデルを、ｘ軸及びｙ軸から構成される平面上にあり、且つ、（ｘ，ｙ，ｚ）＝（０，０，０）が中央となるように配置されたＣＣＤ５から見たときの様子を、被写体の状態として２次元投射により生成し、該生成した被写体の枠を撮影予定状態枠として画像表示部１５に透過表示させることになる。
【００６１】
図９は、該特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された被写体の大きさに基づいて生成される３次元モデルの一例を示すものである。図９の黒点３１は、特定されたフレームの各位置パラメータの値により定められる被写体の位置を示し、楕円３２はステップＳ１で設定された被写体の大きさを示している。
【００６２】
この生成した被写体の３次元モデルを、ＣＣＤ５から見たときの様子を、被写体の撮影予定状態として２次元投射により生成する。このとき、デジタルカメラ１の撮影レンズの焦点距離によって被写体の大きさも変わってくるので、撮影レンズの焦点距離も考慮して２次元投射により生成する。このように、設定された被写体の大きさ、焦点距離、（ｘ，ｙ，ｚ）＝（０，０，０）から被写体の位置３１までの距離に応じて２次元投射により生成される被写体の大きさは変わってくる。
【００６３】
図１０（Ａ）は、図９の３次元モデルを２次元投射して生成された被写体の撮影状態枠の様子の一例を示すものである。
また、図１０（Ｂ）、（Ｃ）は、２枚目、３枚目のフレームの各位置パラメータの値に基づいて透過表示される撮影予定状態枠の様子を示すものである。図１０を見るとわかるように、被写体の撮影予定状態枠は徐々に右側に移動し、且つ、被写体の位置が遠ざかっていくので（図４、図５参照）、撮影予定状態枠として透過表示される被写体の大きさは小さくなっているのがわかる。
【００６４】
これにより、被写体の撮影予定となる画像表示部１５上の位置と、その大きさを撮影予定状態枠として表示させることにより、該特定したフレームの各位置パラメータの値となるような位置で被写体を撮影することができる。
なお、この３次元モデルから２次元投射して２次元のものを得る技術は周知技術なので説明を割愛する。
【００６５】
図７のフローチャートの説明に戻り、被写体の撮影予定状態枠を表示させると、ＣＰＵ１０は、ユーザによってシャッタボタンが押下されたか否かを判断する（ステップＳ１５）。
このとき、ユーザは、デジタルカメラ１の位置を変えることにより、撮影したい被写体が該透過表示された撮影予定状態枠と同じとなるように、被写体の位置、大きさを調整し、被写体の位置、大きさが透過表示された撮影予定状態枠と同じと判断した場合に、シャッタボタンを押下する。
【００６６】
ステップＳ１５で、シャッタボタンが押下されていないと判断すると押下されるまでステップＳ１５に留まり、シャッタボタンが押下されたと判断すると、ＣＰＵ１０は、静止画撮影を行い、該得られた画像データを現在特定されているフレームの画像データとしてフラッシュメモリ１４に記録する（ステップＳ１６）。このとき、現在特定されているフレームの情報を一緒に記録する。このフレームの情報とは、何枚目のフレームに対応する画像データであるか否かを示す情報のことである。
【００６７】
次いで、ＣＰＵ１０は、実際に撮影された画像データに基づいて、実際の被写体の位置、大きさを特定する（ステップＳ１７）。この大きさの特定は、該透過表示された撮影予定状態枠付近にある被写体の特徴点を複数抽出し、該複数抽出した特徴点により被写体の輪郭を特定し、位置の特定は、該特定した輪郭の中央部を被写体の位置として特定する。
次いで、ＣＰＵ１０は、該特定した実際の被写体の位置、大きさに基づいて、被写体の３次元の座標位置を検出する（ステップＳ１８）。この２次元のものから３次元のものを検出する技術は周知技術なので説明を割愛する。
【００６８】
そして、ＣＰＵ１０は、該検出した３次元の座標位置と、現在特定されているフレームの登録されている各位置パラメータの値とを比較する（ステップＳ１９）。
次いで、ＣＰＵ１０は、該比較した両者の値の差が所定値以上であるか否かを判断する（ステップＳ２０）。
【００６９】
ステップＳ２０で、その差が所定値以上であると判断すると、ＣＰＵ１０は、画像の撮り直しを行うか否かを判断する。
このとき、ＣＰＵ１０は、「予定していた被写体の撮影予定状態と違います。画像を撮り直しますか」という表示をさせ、ユーザによってＳＥＴキーの操作が行われると画像の撮り直しをしないと判断し、キャンセルキーの操作が行われると画像の撮り直しをすると判断する。
【００７０】
ステップＳ２１で、画像の撮り直しをすると判断すると、現在特定されているフレームとしてステップＳ１６で記録した画像データを削除して（ステップＳ２２）、ステップＳ１４に戻る。
一方、ステップＳ２１で、画像の撮り直しをしないと判断すると、ＣＰＵ１０は、現在特定されているフレーム後のフレームの位置パラメータが登録されているか否かを判断する（ステップＳ２３）。
【００７１】
ステップＳ２３で、現在特定されているフレーム後のフレームの位置パラメータが登録されていると判断すると、ＣＰＵ１０は、ステップＳ１８で検出された被写体の３次元の座標位置に基づいて、現在特定しているフレーム後のフレームの登録されている位置パラメータを修正して（ステップＳ２４）、ステップＳ２６に進む。この修正された位置パラメータの値は、図６に示す位置パラメータテーブルに上書きされることになる。
【００７２】
また、この修正は、スプライン関数により各フレームの各位置パラメータの値が滑らかになるように修正する。この修正は、現在特定しているフレームから遠いフレーム程、現在登録されている各位置パラメータの値を優先して修正する。つまり、現在特定しているフレームから近いフレーム程、該検出された実際に撮影された被写体の３次元の座標位置の影響を受けることになる。
【００７３】
図１１は、登録されているｘ位置パラメータとフレームとの関係グラフ、修正されたｘ位置パラメータとフレームとの関係グラフの様子の一例を示している。
図１１の上の関係グラフは登録されているｘ位置パラメータとフレームとの関係グラフを、下の関係グラフは修正されたｘ位置パラメータとフレームとの関係グラフを示している。
【００７４】
また、図１１の上の関係グラフの中にある×印は実際に撮影された被写体の位置を示しており、４枚目のフレームを見ると登録されているｘ位置パラメータと実際に撮影された被写体のｘ軸の位置はずれていることがわかる。
そして、図１１の下の関係グラフを見るとわかるように、４枚目のフレーム以降のｘ位置パラメータの値が修正されているのがわかる。また、下の関係グラフを見ると、４枚目のフレームから遠ざかるにつれて登録されていたフレームのｘ位置パラメータの値と変わらなくなってきているのもわかる。なお、図１１の下の関係グラフのうち、点線であらわさている部分は、修正前の位置パラメータの値の近似線の様子を示している。
【００７５】
一方、ステップＳ２０で、検出された実際に撮影された被写体の３次元の座標位置と現在特定されているフレームの登録されている各位置パラメータの値との差が所定値以上でないと判断すると、ＣＰＵ１０は、現在特定しているフレームの次のフレームの位置パラメータが登録されているか否かを判断する（ステップＳ２５）。
【００７６】
ステップＳ２５で、現在特定しているフレームの次のフレームの位置パラメータが登録されていると判断するとステップＳ２６に進む。
ステップＳ２６に進むと、ＣＰＵ１０は、現在特定されているフレームの次のフレームを撮影対象として特定して、ステップＳ１３に戻る。
次のフレームとは、たとえば、現在特定しているフレームが１枚目のフレームの場合は次のフレームとして２枚目のフレームを特定し、現在特定されているフレームが２枚目のフレームの場合は次のフレームとして３枚目のフレームを特定する。
【００７７】
一方、ステップＳ２３で、現在特定しているフレーム後のフレームの位置パラメータが登録されていないと判断された場合、ステップＳ２５で現在特定しているフレームの次のフレームの位置パラメータが登録されていないと判断すると、図８のステップＳ３１に進み、ＣＰＵ１０は、次のフレームを撮影するか否かを判断する。
ここでは、Ｎ枚目のフレームの位置パラメータまで登録しているので、現在特定しているフレームがＮ枚目のフレームの場合には、ステップＳ２３やステップＳ２５で、現在特定しているフレーム後の、若しくは、現在特定しているフレームの次のフレームの位置パラメータが登録されていないと判断することになる。
【００７８】
このとき、ＣＰＵ１０は、「次のフレームを撮影しますか」という質問を画像表示部１５に表示させ、ユーザによってＳＥＴキーの操作が行われると次のフレームを撮影すると判断し、ユーザによってキャンセルキーの操作が行われると次のフレームを撮影しないと判断する。
ステップＳ３１で、次のフレームを撮影すると判断すると、ＣＰＵ１０は、次のフレームを撮影対象として特定する（ステップＳ３２）。
【００７９】
次いで、ＣＰＵ１０は、登録されている各フレームの位置パラメータに基づいて、該特定したフレームの被写体の各位置パラメータを予測する（ステップＳ３３）。この予測はスプライン関数によって予測する。このとき、次のフレームの各位置パラメータの値と既に登録されている過去の各フレームの各位置パラメータの値とが滑らかになるように、該次のフレームの各位置パラメータを予測する。
【００８０】
次いで、ＣＰＵ１０は、スルー画像表示を開始して（ステップＳ３４）、該予測された被写体の各位置パラメータの値及びステップＳ１１で設定された被写体の大きさに基づいて、該特定されているフレームの被写体の撮影予定状態を示した撮影予定状態枠を画像表示部１５に透過表示させる（ステップＳ３５）。この透過表示は上述したステップＳ１４と同じ動作なのでここでは説明を省略する。
【００８１】
次いで、ＣＰＵ１０は、シャッタボタンが押下されたか否かを判断する（ステップＳ３６）。
このとき、ユーザは、デジタルカメラ１の位置を変えることにより、撮影したい被写体が該透過表示された撮影予定状態枠と同じとなるように、被写体の位置、大きさを調整し、被写体の位置、大きさが透過表示された撮影予定状態枠と同じと判断した場合に、シャッタボタンを押下する。
【００８２】
ステップＳ３６で、シャッタボタンが押下されていないと判断すると押下されたと判断するまでステップＳ３６に留まり、シャッタボタンが押下されたと判断すると、ＣＰＵ１０は、静止画撮影処理を行い、該得られた画像データを現在特定されているフレームの画像データとしてフラッシュメモリ１４に記録する（ステップＳ３７）。このとき、現在特定されているフレームの情報を一緒に記録する。このフレームの情報とは、何枚目のフレームに対応する画像データであるか否かを示す情報のことである。
【００８３】
次いで、ＣＰＵ１０は、実際に撮影された画像データに基づいて、実際の被写体の位置、大きさを特定する（ステップＳ３８）。この大きさの特定は、該透過表示された撮影予定状態枠付近にある被写体の特徴点を複数抽出し、該複数抽出した特徴点により被写体の輪郭を特定し、位置の特定は、該特定した輪郭の中央部を被写体の位置として特定する。
【００８４】
次いで、ＣＰＵ１０は、該特定した実際の被写体の位置、大きさに基づいて、被写体の３次元の座標位置を検出する（ステップＳ３９）。この２次元のものから３次元のものを検出する技術は周知技術なので説明を割愛する。
そして、ＣＰＵ１０は、該検出した３次元の座標位置と、現在特定されているフレームの登録されている各位置パラメータの値とを比較する（ステップＳ４０）。
【００８５】
次いで、ＣＰＵ１０は、該比較した両者の値の差が所定値以上であるか否かを判断する（ステップＳ４１）。
ステップＳ４０で、その差が所定値以上であると判断すると、ＣＰＵ１０は、画像の撮り直しを行うか否かを判断する（ステップＳ４２）。
このとき、ＣＰＵ１０は、「予定していた被写体の撮影予定状態と違います。画像を撮り直しますか」という表示をさせ、ユーザによってＳＥＴキーの操作が行われると画像の撮り直しをしないと判断し、キャンセルキーの操作が行われると画像の撮り直しをすると判断する。
【００８６】
ステップＳ４２で、画像の撮り直しを行うと判断すると、ＣＰＵ１０は、現在特定されているフレームとしてステップＳ３７で記録した画像データを削除して（ステップＳ４３）、ステップＳ３４に戻る。
一方、ステップＳ４２で画像の撮り直しをしないと判断した場合は、ＣＰＵ１０は、ステップＳ３９で検出した実際に撮影した被写体の３次元の座標位置を、現在特定しているフレームの被写体の各位置パラメータの値として位置パラメータテーブルに新たに追加記録（追加登録）して（ステップＳ４４）、ステップＳ３１に戻る。
【００８７】
また、ステップＳ４１でその差が所定値以上でないと判断した場合、ステップＳ３３で予測した各位置パラメータを現在特定しているフレームの位置パラメータとして新たに追加記録（追加登録）して（ステップＳ４５）、ステップＳ３１に戻る。
一方、ステップＳ３１で、次のフレームを撮影しないと判断すると、該記録した画像データに基づいて、フラッシュメモリ１４上に動画ファイルを生成する（ステップＳ４６）。
【００８８】
図１２は、位置パラメータが登録されているフレーム後のフレームを撮影するとステップＳ３１で判断された場合に、新たに追加登録されたフレームのｘ位置のパラメータの様子を示す図である。
図１２を見るとわかるように、ｎ枚目のフレームの位置パラメータまでしか登録されていなかったが、ｎ枚目以降のフレームの位置パラメータが登録されたのがわかる。過去の各フレームの位置パラメータに基づいて、該特定しているフレームの各位置パラメータの値が推測され、撮影予定状態枠が表示される。そして、実際に撮影された被写体の３次元の座標位置と該推測した各位置パラメータの値の差が所定値以上でない場合には該推測した各位置パラメータの値が該特定しているフレームの位置パラメータとして登録され、その差が所定値以上の場合には実際に撮影された被写体の３次元の座標位置が該特定しているフレームの各位置パラメータの値として登録される。
【００８９】
以上のように、実施の形態においては、予めユーザが所望する動きとなるように、被写体の撮影予定状態を大まかに入力し（１部のフレームに対して各位置パラメータの値を入力し）、ＣＰＵ１０は、該入力した撮影予定状態に基づいて各フレームの撮影予定状態を算出して登録し、アニメーション動画撮影を行う場合には、各フレームの撮影毎に、該登録した撮影予定状態を示す撮影予定状態枠を透過表示させることにより、該登録した撮影予定状態と同じ状態で被写体の撮影するにようにユーザに促すことができ、アニメーション動画を容易に作成することができる。
【００９０】
また、ユーザは、被写体の動きが所望の動きとなるように、１部のフレームに対して各位置パラメータの値を入力すると、自動的に各フレームの各位置パラメータの値を決めるので、ユーザは容易に位置パラメータの値を決めることができる。また、ユーザによって入力された１部のフレームの各位置パラメータの値に基づいて各フレームの位置パラメータの値が滑らかになるように、各位置パラメータの値を決めるので、被写体の動きが滑らかなアニメーション動画を作成することができる。
また、実際に撮影された被写体の状態と、登録した撮影予定状態の差が所定値以上ある場合に、画像の撮り直すことができるので、登録した撮影予定状態となるような画像を得ることができる。また、画像の撮り直しをしない場合は、被写体の動きが滑らかになるように、実際に撮影された被写体の状態に基づいて、以後のフレームの撮影予定状態を修正するようにしたので、登録した撮影予定状態と違う状態で被写体を撮影した場合であっても、被写体の動きが滑らかになるように、被写体を撮影することができ、動きが滑らかなアニメーション動画を作成することができる。
【００９１】
また、位置パラメータを登録していないフレームを撮影する場合であっても、登録されている各フレームの各位置パラメータに基づいて、これから撮影する各位置パラメータの値を推測するので、位置パラメータを登録していないフレームを撮影する場合であっても対応することができる。たとえば、当初はこのぐらいの枚数を撮影すると思ってフレームの各位置パラメータの登録したが、実際に撮影してみてもう少しフレームを多く撮影したいと思う場合であっても対応することができる。
【００９２】
［変形例］
Ｄ．上記実施の形態は以下のような態様でもよい。
【００９３】
（０１）上記実施の形態において、ＣＣＤ５を、ｘ軸とｙ軸の平面上にあり、且つ、ＣＣＤ５の中心を（ｘ，ｙ，ｚ）＝（０，０，０）とするようにしたが、ＣＣＤ５をｘ軸とｙ軸の平面上になくてもよいし、ＣＣＤ５の中心を（ｘ，ｙ，ｚ）＝（０，０，０）でなくてもよい。つまり、ｘ、ｙ、ｚで構成される３次元を任意の角度、及び、距離にＣＣＤ５を配置したときに見える被写体を２次元投射により生成するようにしてもよい。
【００９４】
（０２）上記実施の形態において、フレーム毎に３次元の各位置パラメータを登録するようにしたが、フレーム毎にＣＣＤ５上の被写体の位置、及び、その大きさを登録するようにしてもよい。
【００９５】
（０３）上記実施の形態においては、各フレームの被写体の撮影予定状態として、３次元の各位置パラメータを登録するようにしたが、さらに、各フレーム毎の被写体の向きを示すパラメータを登録するようにしてもよい。
このときは、撮影予定となる被写体の位置、大きさとともにその向きも撮影予定状態として表示させるようにしてもよい。
また、このとき、実際に撮影された画像データに基づいて、被写体の向きを検出する方法としては、たとえば、被写体が人、動物などの目があるものである場合は、目と目の間の距離に応じて被写体の向きを検出するようにしてもよい。正面を向いているときの目と目の間の距離が一番長く、被写体の向きが斜めになるにつれて目と目の間の距離は短くなっていくからである。つまり、目の特徴点の相対的な位置関係によって被写体の向きを検出する。
また、撮影する被写体を３６０度のあらゆる角度から撮影して登録しておき、該登録した被写体の３６０度のあらゆる角度の画像データと、実際に撮影された被写体の画像データとを比較照合することにより実際に撮影された被写体の向きを検出するようにしてもよい。
また、図７のステップＳ１７、図８のステップＳ３８でも、上記登録した被写体の３６０度のあらゆる角度から撮影した画像データに基づいて、実際に撮影された被写体がいる位置及び大きさも特定するようにしてもよい。
【００９６】
（０４）上記実施の形態においては、被写体の撮影予定状態を、枠を表示させることにより撮影予定状態を表示させるようにしたが、枠に限らず、他の方法によって表示させるようにしてもよい。
【００９７】
（０５）上記実施の形態においては、予め各フレームの位置パラメータを登録して、アニメーション動画撮影を行うようにしたが、複数フレーム撮影をしていき、該撮影された画像データに基づいて被写体の３次元の座標位置を検出し、該検出された座標位置に基づいてその後のフレームの各位置パラメータを推測して透過表示させていくようにしてもよい。
【００９８】
（０６）上記実施の形態においては、登録されていないフレームの各位置パラメータの値を推測する場合は、少なくとも直前の２フレームの各位置パラメータに基づいて被写体の速度と移動している方向を算出し、該算出した被写体の速度と同じ速度で該算出した方向に移動した場合における各位置パラメータの値を算出するようにしてもよい。
また、登録されていないフレームの各位置パラメータの値を推測する場合は、少なくとも直前の３フレームの各位置パラメータに基づいて、被写体の加速度と移動している方向を算出し、該算出した加速度と同じ加速度で該算出した方向に移動した場合における各位置パラメータの値を算出するようにしてもよい。
また、登録されていないフレームの被写体の向きを示すパラメータの値を推測する場合は、少なくとも直前の２フレームの向きが変化する方向と、その変化の速度を算出し、該算出した速度と同じ速度で、該算出した向きが変化する方向に向きが変わった場合における向きを示すパラメータの値を算出するようにしてもよい。
【００９９】
（０７）上記実施の形態においては、ユーザによって入力された１部のフレームの被写体の状態を示した各位置パラメータによって、他のフレームの各位置パラメータを算出することにより、同時に、被写体の動きを特定するようにしたが、ユーザによって入力された概略的な被写体の動きによって、被写体の一連の動きを特定し、該特定された被写体の動きに基づいて、各フレームの各位置パラメータを算出するようにしてもよい。これによっても、アニメーション動画を容易に作成することができる。
【０１００】
このユーザの被写体の概略的な動きの入力は、上記実施の形態のように、一部のフレームの被写体の状態を示した各位置パラメータによって直接概略的な被写体の動きを入力するようにしてもよいし、３次元空間において、ある時刻ではこの位置、この時刻ではこの位置という具合に被写体の動きを概略的に入力するようにしてもよい。
また、この場合は、該入力された概略的な被写体の動きに基づいて特定する一連の被写体の動きは、動きが滑らかになるように特定する。そして、該特定された動きに基づいて、各フレームに対応した被写体状態に変換し、各フレームの各位置パラメータを算出する。なお、このとき、ユーザによって入力されたフレームの位置パラメータの値を変えないように被写体の動きを特定するようにしてもよいし、ユーザによって入力されたフレームの位置パラメータの値によって、被写体の動きが滑らかにならない場合は、ユーザによって入力されたフレームの位置パラメータの値を変えて（修正して）、被写体の動きを特定するようにしてもよい。
【０１０１】
また、この場合、上記実施の形態においては、撮影予定の各位置パラメータと実際に撮影された被写体の３次元の座標位置が異なる場合は、以後のフレームの各位置パラメータを修正するようにしたが、特定した被写体の動きを修正（新たに特定）し、該修正された被写体の動きに基づいて、各フレームの位置パラメータを算出する。これにより、被写体の動きが滑らかになるように被写体を撮像することができる。
同様に、位置パラメータが登録されていないフレームを撮像する場合も、これまでの被写体の動きを予測して被写体の動きを新たに特定し、該特定された被写体の動きに基づいて、該フレームの位置パラメータを算出する。この動きの予測は、これまでに撮像されたフレームの各位置パラメータに基づいて、被写体の動きの方向、速度、加速度、向き等を特定し、該特定された被写体の動きに基づいて各フレームのパラメータの値を求める。これにより、被写体の動きが滑らかになるように被写体を撮像することができる。
【０１０２】
（０８）上記実施の形態においては、背景に対してカメラを特定した場合について説明したが、背景に対してカメラを固定しない場合にも適用してもよい。この場合は、登録された各フレームの位置パラメータと、カメラの位置に基づいて、被写体の撮影予定状態を透過表示させる。
【０１０３】
（０９）上記変形例（０１）乃至（０８）を矛盾しない範囲内で任意に組み合わせた態様であってもよい。
【０１０４】
（１０）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１０５】
最後に、上記実施の形態においては、本発明の撮影装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮影することができる機器であれば適用可能である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】パラメータ登録の動作を示すフローチャートである。
【図３】ｘ、ｙ、ｚで表わされる３次元の様子の一例、及び、表示された位置グラフの様子の一例を示す図である。
【図４】ｘ位置パラメータの入力が完了したときの、入力されたｘ位置パラメータの様子の一例、及び、該入力された位置パラメータに基づいてスプライン関数により求められた近似線が表示されたときの様子の一例を示す図である。
【図５】登録されるｙ位置パラメータの元となる近似線の様子の一例、及び、登録されるｚ位置パラメータの元となる近似線の様子の一例を示すものである。
【図６】メモリ１２の位置パラメータテーブルに登録された被写体の各位置パラメータの様子の一例を示す図である。
【図７】アニメーション動画撮影の動作を示すフローチャートである。
【図８】アニメーション動画撮影の動作を示すフローチャートである。
【図９】該特定されているフレームの各位置パラメータの値と、被写体の大きさに基づいて生成される３次元モデルの一例を示すものである。
【図１０】生成された被写体の撮影予定状態枠の一例を示す図である。
【図１１】修正されたｘ位置パラメータとフレームとの関係グラフの様子の一例を示す図である。
【図１２】新たに追加登録されたフレームのｘ位置のパラメータの様子を示す図である。
【符号の説明】
【０１０７】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
【技術分野】
【０００１】
本発明は、撮影装置及びそのプログラムに係り、詳しくは、実写によるアニメーション動画の作成を支援する機能有した撮影装置及びそのプログラムに関する。
【背景技術】
【０００２】
アニメーション動画の作成を支援するカメラであって、アニメーション動画を構成する各コマ（フレーム）の撮影時に、このアニメーション動画における動く物体の撮影フレーム内での位置を案内表示する技術が知られている（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００３−３７８０８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術によれば、ユーザが指定した物体の位置や直前のコマ（フレーム）における物体の位置を案内表示するだけなので、複数のコマ（フレーム）に渡って物体が所望の状態で滑らかに動くように、物体を設置して撮影を行うことはできなかった。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、被写体が滑らかに動くような実写アニメーション動画を容易に作成できるように支援する撮影装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による撮影装置は、撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置であって、
前記実写アニメーション動画を構成する各フレームに対応させて、前記所定の被写体の状態を示したパラメータを生成する生成手段と、
前記生成手段により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御手段と、
前記案内表示制御手段による案内表示に対応して前記撮影手段により撮影された各フレームの画像データに基づいて動画データを生成する動画生成手段と、
を備えたことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定する特定手段と、
前記生成手段は、
前記実写アニメーション動画における各フレームが再生されるタイミング情報に従って、前記特定手段によって特定された前記３次元空間内での前記所定の被写体の動きを、各フレームに対応した前記所定の被写体の状態に変換することにより、前記パラメータを生成するようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記所定の被写体の動きが滑らかになるように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記特定手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータを修正して、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を示すパラメータを検出する検出手段を備え、
前記特定手段は、
前記検出手段により検出されたパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを新たに特定するようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と速度を特定し、
前記生成手段は、
該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記被写体の移動の方向と加速度を特定し、
前記生成手段は、
該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と速度を特定し、
前記生成手段は、
該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記生成手段は、
前記入力手段により入力された一部のフレームに対応するパラメータに基づいて、該被写体の動きが滑らかになるように、この一部のフレーム以外の各フレームに対応する該被写体の状態を示したパラメータを生成するようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記生成手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力されたパラメータを修正して、各フレームに写る該被写体の状態を示したパラメータを生成するようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を検出する検出手段と、
前記検出手段により検出された前記所定の被写体の撮影状態に基づいて、前記生成手段により生成されたパラメータのうち、まだ撮影されていないフレーム部分のパラメータを修正する修正手段と、
を備えるようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、実際に撮影された各フレームの画像データに基づいて、実際に撮影された前記所定の被写体の撮影状態を検出する検出手段を備え、
前記生成手段は、
前記検出手段により検出された各フレームの前記所定の被写体の撮影状態に基づいて、まだ生成していないフレーム部分のパラメータを生成するようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と、速度を検出し、該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記所定の被写体の移動の方向と、加速度を検出し、該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と、速度を検出し、該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成するようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、前記検出手段は、
前記被写体の特徴点を検出することにより、被写体の撮影状態を検出するようにしてもよい。
【００２３】
また、例えば、請求項１８に記載されているように、前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の中心を被写体の位置として検出するようにしてもよい。
【００２４】
また、例えば、請求項１９に記載されているように、記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の相対的な位置関係に基づいて前記被写体の向きを検出するようにしてもよい。
【００２５】
上記目的達成のため、請求項２０記載の発明によるプログラムは、撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置を実行させるためのプログラムであって、
前記実写アニメーション動画を構成する各フレームに対応させて前記所定の被写体の状態を示したパラメータを生成する生成処理と、
前記生成処理により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御処理と、
前記案内表示制御処理による案内表示に対応して前記撮影手段により撮影素子に撮影された各フレームの画像データに基づいて動画データを生成する動画生成処理と、
を含むことを特徴とする。
【発明の効果】
【００２６】
本願発明によれば、被写体が滑らかに動くような実写アニメーション動画を容易に作成することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本実施の形態について、本発明の撮影装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の撮影装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。
【００２８】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００２９】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００３０】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮影信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００３１】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮影信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮影信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮影信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮影信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。
【００３２】
画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。
【００３３】
ＣＰＵ１０は、ＣＣＤ５への撮影制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
【００３４】
特に、ＣＰＵ１０は、実写アニメーション動画の背景部分に対応した３次元空間内での所定の被写体（動く物体）の動きをユーザーが入力指定する機能、ユーザーが入力指定した被写体の動きを、各フレームに対応する被写体の状態に変換する機能、フレームの各位置パラメータの値に基づいて該フレームの被写体の撮影予定位置を画像表示部１５に透過表示させる機能、該透過表示に対応して撮影された各フレームの画像データに基づいて動画データを生成する機能を有する。
【００３５】
上記入力指定機能および変換機能においては、複数フレームを通しての物体の動きをユーザーが容易に入力指定でき、且つ、より自然で滑らかな物体の動きとなるように、補間や補正を行う機能も併せ持つ。このような自然で滑らかなデータを容易に入力できるようにするために補間や補正を行う具体的な方法については、様々な方法が考えられるが、本実施の形態では、実写アニメーション動画を構成する複数のフレームのうち、一部のフレームに対応させて、被写体の状態を示したパラメータをユーザーが入力すると、このユーザによって入力された任意のフレームのパラメータの値に基づいて、その他のフレームのパラメータの値をスプライン関数によって算出することで、補間や補正を行うものとする。
【００３６】
キー入力部１１は、シャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
【００３７】
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。
また、メモリ１２には、動画データを構成する各フレームに写る被写体の位置パラメータを記録させておく位置パラメータテーブルを備えている。
【００３８】
ＤＲＡＭ１３は、ＣＣＤ５によって撮影された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、画像データを保存する記録媒体である。
【００３９】
画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮影された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。
【００４０】
Ｂ．デジタルカメラ１の動作について
実施の形態におけるデジタルカメラ１の動作をパラメータ登録と、アニメーション動画撮影に分けて説明する。
このパラメータ登録とは、簡単に説明すると、実写アニメーション動画の背景部分に対応した３次元空間内での所定の被写体（動く物体）の動きを登録するものであり、アニメーション動画撮影により撮影される各フレームに対応する被写体の位置や向きなどの状態を示す（位置）パラメータによって被写体の動きを登録することをいい、アニメーション動画撮影とは、実時間で動画を撮影するのではなく、つまり、被写体をリアルタイムで順次撮影していくのではなく、各フレーム毎に同一の被写体を別々に静止画撮影をしていき、該静止画撮影により得られた画像データに基づいて動画データを生成するというものである。
【００４１】
Ｂ−１．パラメータ登録の動作について
まず、パラメータ登録の動作を図２のフローチャートに従って説明する。
ユーザのキー入力部１１のモード切替キーの操作によりパラメータ登録モードに設定されると、ＣＰＵ１０は、1つ目の位置パラメータを選択する（ステップＳ１）。ここで、被写体の位置は、（ｘ，ｙ，ｚ）の３次元で示され、位置パラメータは、ｘ方向の位置を示すｘ位置パラメータと、ｙ方向の位置をｙ位置パラメータと、ｚ方向の位置を示すｚ位置パラメータとで構成される。ここでは、位置パラメータが選択される順番は、ｘ、ｙ、ｚの順とするので、ステップＳ１では1目の位置パラメータとしてｘ位置パラメータが選択される。
【００４２】
図３（Ａ）は、ｘ、ｙ、ｚで表わされる３次元の様子の一例を示すものである。
図３（Ａ）を見るとわかるように、ある位置を（ｘ，ｙ，ｚ）＝（０，０，０）とし、該位置からｘ軸、ｙ軸、ｚ軸が伸びている。ここで、ｚ軸のマイナス方向がないのは、ＣＣＤ５の撮影面がｘ軸とｙ軸とで形成される平面上にあり、且つ、ｚ軸のプラス方向を向いていることを前提としているからであり、ｚ軸のマイナス方向は撮影されないからである。また、ＣＣＤ５の撮影面の中心を、（ｘ、ｙ、ｚ）＝（０，０，０）とする。なお、ｘ軸のプラス方向を右方向、マイナス方向を左方向、ｙ軸のプラス方向を上方向、マイナス方向を下方向とする。
【００４３】
次いで、ＣＰＵ１０は、各フレームにおける現在選択されている位置パラメータとの関係を示す位置グラフを表示させる（ステップＳ２）。
図３（Ｂ）は、表示された位置グラフの様子の一例を示す図である。
図３（Ｂ）を見るとわかるように横軸が、１枚目、２枚目等のフレームの枚数を示しており、縦軸が位置パラメータの値を示している。ここでは、ｘ位置パラメータが選択されているので、縦軸はｘ位置パラメータの値を示している。
【００４４】
そして、ＣＰＵ１０は、ユーザによって該選択されている位置パラメータの入力が完了したか否かを判断する（ステップＳ３）。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
【００４５】
ここで、ユーザはキー入力部１１を操作することにより任意にあるフレームを選択し、該選択したフレームに写る被写体の位置を示す位置パラメータの値を入力することができる。このとき、入力された位置パラメータの値は該表示されている関係グラフに表示される。また、各フレーム毎に位置パラメータの値を入力する必要はなく、１０枚おき、１００枚おきという具合に位置パラメータの値を入力すればよい。つまり、撮影したい被写体が所望の動きとなるように、概略的に現在選択されている位置パラメータの値を決めればよい。このとき、最初のフレーム（１枚目のフレーム）の位置パラメータと、最後のフレーム位置パラメータを必ず入力するようにさせてもよい。この最後のフレームとは、ユーザが撮影したい動画の最後のフレームのことをいい、たとえば、１０００枚のフレームを撮影したい場合は、最後のフレームは１０００枚ということになる。このようにすれば、位置パラメータの登録と同時に動画に含まれる撮影予定のフレーム数を予め指定することができる。
【００４６】
ステップＳ３で、現在選択されている位置パラメータの入力が完了したと判断すると、ＣＰＵ１０は、該入力された位置パラメータの値に基づいてスプライン関数により近似線を求める（ステップＳ４）。このスプライン関数により位置パラメータが滑らかになるように各フレームの位置パラメータの値が求められる。つまり、被写体の動きが滑らかになるように各フレームの位置パラメータの値が求められる。この求められた近似線は関係グラフ上に表示される。
【００４７】
なお、このとき、ユーザによって入力されたフレームの位置パラメータの値を変えないようにスプライン関数により各フレームの位置パラメータの値を求めるようにしてもよい。また、ユーザによって入力されたフレームの位置パラメータの値によって、各フレームの位置パラメータの値が滑らかにならない場合は、ユーザによって入力されたフレームの位置パラメータの値を変える（修正する）ようにしてもよい。つまり、ユーザによって入力されたフレームの位置パラメータの値は絶対的なものではなく、該入力された位置パラメータの値を目安としてスプライン関数により近似線を求める。
【００４８】
ここで、図４（Ａ）は、ｘ位置パラメータの入力が完了したときの、入力されたｘ位置パラメータの様子の一例を示す図であり、図４（Ｂ）は、該入力された位置パラメータに基づいてスプライン関数により求められた近似線が表示されたときの様子の一例を示す図である。ここでは、最後のフレームはｎ枚目のフレームとする。
図４を示すように、ユーザによって概略的に入力された被写体の位置パラメータに基づいて近似線が求められ、これにより１枚目からｎ枚目までの各フレームの位置パラメータが定まる。
図４（Ｂ）を見るとわかるように、被写体の位置は、中央（ｘ＝０）から右側に移動し、その後、左方向、右方向という具合に交互に中央から左右に移動しているのがわかる。
【００４９】
次いで、ＣＰＵ１０は、該求められた近似線に基づいて現在選択されている位置パラメータの登録を行うか否かを判断する（ステップＳ５）。
この判断は、ユーザのＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきた場合は登録すると判断し、キャンセルキーの操作に対応する操作信号が送られてきた場合は登録しないと判断する。
【００５０】
ステップＳ５で、パラメータの登録を行わないと判断するとステップＳ３に戻り、再びユーザによって位置パラメータの入力が完了したか否かを判断する。この表示されている近似線が自分が所望する被写体の動きでない場合は、再び位置パラメータを再入力することにより所望する被写体の動きに変更することができる。
【００５１】
一方、ステップＳ５で、パラメータの登録を行うと判断すると、ＣＰＵ１０は、該求められた近似線に基づいて、現在選択されている位置パラメータを登録する（ステップＳ６）。具体的に説明すると、該近似線に基づいて、各フレームの被写体の予定位置となる現在選択されている位置パラメータの値を登録することになる。この登録される値は、メモリ１２の位置パラメータテーブルに記録されることになる。
【００５２】
そして、ＣＰＵ１０は、すべての位置パラメータを選択したか否かを判断し（ステップＳ７）、すべての位置パラメータを選択していないと判断すると、次のパラメータを選択して（ステップＳ８）、ステップＳ２に戻る。位置パラメータは、ｘ、ｙ、ｚ順に選択されるので、現在ｘ位置パラメータを選択している場合はステップＳ８でｙ位置パラメータが選択され、現在ｙ位置パラメータが選択されている場合はｚ位置パラメータが選択されることになる。
【００５３】
図５（Ａ）は、登録されるｙ位置パラメータの元となる近似線の様子の一例を示すものであり、図５（Ｂ）は、登録されるｚ位置パラメータの元となる近似線の様子の一例を示すものである。
図５（Ａ）を見るとわかるように、被写体の位置の高さは変わらず、ＣＣＤ５の中央より下の位置であることがわかる。また、図５（Ｂ）を見るとわかるように、後に撮影されるフレームほど被写体の位置はＣＣＤ５から遠ざかることがわかる。
【００５４】
また、図６は、メモリ１２の位置パラメータテーブルに記録されている（登録されている）被写体の各位置パラメータの様子の一例を示すものであり、各フレーム毎にｘ位置パラメータの値、ｙ位置パラメータの値、ｚ位置パラメータ値の各値が記録されている。
【００５５】
このような登録方法の利点は、自然で滑らかな動きとなるようにユーザが全てのフレームに対応するパラメータを正確に入力することは非常に困難であるが、一部のフレームのパラメータを入力するだけで、他のフレームのパラメータの補間や補正を行うので、自然で滑らかな動きを容易に登録することが可能となるものである。つまり、２点を指定すれば、この２点を通る１次関数で表されるような直線移動、３点を指定すれば、この３点を通る３次関数で表されるような等加速度運動となり、指定する点の数が増えるに従って複雑な動きを指定することができる。
【００５６】
また、この登録処理においては、撮影予定となっているフレームに対応させてパラメータを登録したが、ここでは物体の動きが登録できればよいので、必ずしも撮影予定フレームに対応してパラメータを登録しなくてもよい。実際に撮影を開始するときに、動画のフレームレートを新たに設定するようにし、この設定されたフレームレートに対応して撮影予定となる複数のフレームを新たに決定し、登録されている物体の動きに基づいて、この新たに決定された複数のフレームの各々に対応するパラメータを自動生成するようにしてもよい。また、一定のフレームレートで再生する動画でなはなく、フレームレートが可変である動画であっても、各フレームが再生されるタイミングが特定できれば、そのフレームに対応するパラメータを生成することが可能である。
【００５７】
Ｂ−２．アニメーション動画撮影の動作について
次に、アニメーション動画撮影の動作を図７のフローチャートに従って説明する。
ユーザのキー入力部１１のモード切替キーの操作によりパラメータ登録モードに設定されると、ＣＰＵ１０は、これから撮影する所定の被写体であり、背景に対して動く物体の実際の大きさを設定する（ステップＳ１１）。このときは、被写体の大きさをユーザに入力させるための画面を表示させ、該入力された大きさを設定する。
【００５８】
次いで、ＣＰＵ１０は、最初のフレーム（１枚目のフレーム）を撮影対象として特定する（ステップＳ１２）。つまり、これから撮影するフレームを特定する。
次いで、ＣＰＵ１０は、所定のフレームレートでＣＣＤ５による撮影を開始させ、ＣＣＤ５により順次撮影され画像生成部９によって生成された輝度色差信号のフレーム画像データ（ＹＵＶデータ）をバッファメモリ（ＤＲＡＭ１３）に記憶させていき、該記憶されたフレーム画像データに基づく画像を画像表示部１５に表示させていくという、いわゆるスルー画像表示を開始する（ステップＳ１３）。
【００５９】
次いで、ＣＰＵ１０は、図６に示す登録されている現在特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された所定の被写体の実際の大きさと、設定されている撮影画角（スーム倍率など）の情報に基づいて、該特定されているフレームの被写体の撮影予定状態を示した枠（撮影予定状態枠）を画像表示部１５に透過表示させる（ステップＳ１４）。ここで、透過表示させる撮影予定状態とは、撮影予定となる画像表示部１５上の被写体の位置、大きさのことをいう。
【００６０】
このとき、該特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された被写体の大きさに基づいて３次元モデルを生成し、その３次元モデルを、ｘ軸及びｙ軸から構成される平面上にあり、且つ、（ｘ，ｙ，ｚ）＝（０，０，０）が中央となるように配置されたＣＣＤ５から見たときの様子を、被写体の状態として２次元投射により生成し、該生成した被写体の枠を撮影予定状態枠として画像表示部１５に透過表示させることになる。
【００６１】
図９は、該特定されているフレームの各位置パラメータの値と、ステップＳ１で設定された被写体の大きさに基づいて生成される３次元モデルの一例を示すものである。図９の黒点３１は、特定されたフレームの各位置パラメータの値により定められる被写体の位置を示し、楕円３２はステップＳ１で設定された被写体の大きさを示している。
【００６２】
この生成した被写体の３次元モデルを、ＣＣＤ５から見たときの様子を、被写体の撮影予定状態として２次元投射により生成する。このとき、デジタルカメラ１の撮影レンズの焦点距離によって被写体の大きさも変わってくるので、撮影レンズの焦点距離も考慮して２次元投射により生成する。このように、設定された被写体の大きさ、焦点距離、（ｘ，ｙ，ｚ）＝（０，０，０）から被写体の位置３１までの距離に応じて２次元投射により生成される被写体の大きさは変わってくる。
【００６３】
図１０（Ａ）は、図９の３次元モデルを２次元投射して生成された被写体の撮影状態枠の様子の一例を示すものである。
また、図１０（Ｂ）、（Ｃ）は、２枚目、３枚目のフレームの各位置パラメータの値に基づいて透過表示される撮影予定状態枠の様子を示すものである。図１０を見るとわかるように、被写体の撮影予定状態枠は徐々に右側に移動し、且つ、被写体の位置が遠ざかっていくので（図４、図５参照）、撮影予定状態枠として透過表示される被写体の大きさは小さくなっているのがわかる。
【００６４】
これにより、被写体の撮影予定となる画像表示部１５上の位置と、その大きさを撮影予定状態枠として表示させることにより、該特定したフレームの各位置パラメータの値となるような位置で被写体を撮影することができる。
なお、この３次元モデルから２次元投射して２次元のものを得る技術は周知技術なので説明を割愛する。
【００６５】
図７のフローチャートの説明に戻り、被写体の撮影予定状態枠を表示させると、ＣＰＵ１０は、ユーザによってシャッタボタンが押下されたか否かを判断する（ステップＳ１５）。
このとき、ユーザは、デジタルカメラ１の位置を変えることにより、撮影したい被写体が該透過表示された撮影予定状態枠と同じとなるように、被写体の位置、大きさを調整し、被写体の位置、大きさが透過表示された撮影予定状態枠と同じと判断した場合に、シャッタボタンを押下する。
【００６６】
ステップＳ１５で、シャッタボタンが押下されていないと判断すると押下されるまでステップＳ１５に留まり、シャッタボタンが押下されたと判断すると、ＣＰＵ１０は、静止画撮影を行い、該得られた画像データを現在特定されているフレームの画像データとしてフラッシュメモリ１４に記録する（ステップＳ１６）。このとき、現在特定されているフレームの情報を一緒に記録する。このフレームの情報とは、何枚目のフレームに対応する画像データであるか否かを示す情報のことである。
【００６７】
次いで、ＣＰＵ１０は、実際に撮影された画像データに基づいて、実際の被写体の位置、大きさを特定する（ステップＳ１７）。この大きさの特定は、該透過表示された撮影予定状態枠付近にある被写体の特徴点を複数抽出し、該複数抽出した特徴点により被写体の輪郭を特定し、位置の特定は、該特定した輪郭の中央部を被写体の位置として特定する。
次いで、ＣＰＵ１０は、該特定した実際の被写体の位置、大きさに基づいて、被写体の３次元の座標位置を検出する（ステップＳ１８）。この２次元のものから３次元のものを検出する技術は周知技術なので説明を割愛する。
【００６８】
そして、ＣＰＵ１０は、該検出した３次元の座標位置と、現在特定されているフレームの登録されている各位置パラメータの値とを比較する（ステップＳ１９）。
次いで、ＣＰＵ１０は、該比較した両者の値の差が所定値以上であるか否かを判断する（ステップＳ２０）。
【００６９】
ステップＳ２０で、その差が所定値以上であると判断すると、ＣＰＵ１０は、画像の撮り直しを行うか否かを判断する。
このとき、ＣＰＵ１０は、「予定していた被写体の撮影予定状態と違います。画像を撮り直しますか」という表示をさせ、ユーザによってＳＥＴキーの操作が行われると画像の撮り直しをしないと判断し、キャンセルキーの操作が行われると画像の撮り直しをすると判断する。
【００７０】
ステップＳ２１で、画像の撮り直しをすると判断すると、現在特定されているフレームとしてステップＳ１６で記録した画像データを削除して（ステップＳ２２）、ステップＳ１４に戻る。
一方、ステップＳ２１で、画像の撮り直しをしないと判断すると、ＣＰＵ１０は、現在特定されているフレーム後のフレームの位置パラメータが登録されているか否かを判断する（ステップＳ２３）。
【００７１】
ステップＳ２３で、現在特定されているフレーム後のフレームの位置パラメータが登録されていると判断すると、ＣＰＵ１０は、ステップＳ１８で検出された被写体の３次元の座標位置に基づいて、現在特定しているフレーム後のフレームの登録されている位置パラメータを修正して（ステップＳ２４）、ステップＳ２６に進む。この修正された位置パラメータの値は、図６に示す位置パラメータテーブルに上書きされることになる。
【００７２】
また、この修正は、スプライン関数により各フレームの各位置パラメータの値が滑らかになるように修正する。この修正は、現在特定しているフレームから遠いフレーム程、現在登録されている各位置パラメータの値を優先して修正する。つまり、現在特定しているフレームから近いフレーム程、該検出された実際に撮影された被写体の３次元の座標位置の影響を受けることになる。
【００７３】
図１１は、登録されているｘ位置パラメータとフレームとの関係グラフ、修正されたｘ位置パラメータとフレームとの関係グラフの様子の一例を示している。
図１１の上の関係グラフは登録されているｘ位置パラメータとフレームとの関係グラフを、下の関係グラフは修正されたｘ位置パラメータとフレームとの関係グラフを示している。
【００７４】
また、図１１の上の関係グラフの中にある×印は実際に撮影された被写体の位置を示しており、４枚目のフレームを見ると登録されているｘ位置パラメータと実際に撮影された被写体のｘ軸の位置はずれていることがわかる。
そして、図１１の下の関係グラフを見るとわかるように、４枚目のフレーム以降のｘ位置パラメータの値が修正されているのがわかる。また、下の関係グラフを見ると、４枚目のフレームから遠ざかるにつれて登録されていたフレームのｘ位置パラメータの値と変わらなくなってきているのもわかる。なお、図１１の下の関係グラフのうち、点線であらわさている部分は、修正前の位置パラメータの値の近似線の様子を示している。
【００７５】
一方、ステップＳ２０で、検出された実際に撮影された被写体の３次元の座標位置と現在特定されているフレームの登録されている各位置パラメータの値との差が所定値以上でないと判断すると、ＣＰＵ１０は、現在特定しているフレームの次のフレームの位置パラメータが登録されているか否かを判断する（ステップＳ２５）。
【００７６】
ステップＳ２５で、現在特定しているフレームの次のフレームの位置パラメータが登録されていると判断するとステップＳ２６に進む。
ステップＳ２６に進むと、ＣＰＵ１０は、現在特定されているフレームの次のフレームを撮影対象として特定して、ステップＳ１３に戻る。
次のフレームとは、たとえば、現在特定しているフレームが１枚目のフレームの場合は次のフレームとして２枚目のフレームを特定し、現在特定されているフレームが２枚目のフレームの場合は次のフレームとして３枚目のフレームを特定する。
【００７７】
一方、ステップＳ２３で、現在特定しているフレーム後のフレームの位置パラメータが登録されていないと判断された場合、ステップＳ２５で現在特定しているフレームの次のフレームの位置パラメータが登録されていないと判断すると、図８のステップＳ３１に進み、ＣＰＵ１０は、次のフレームを撮影するか否かを判断する。
ここでは、Ｎ枚目のフレームの位置パラメータまで登録しているので、現在特定しているフレームがＮ枚目のフレームの場合には、ステップＳ２３やステップＳ２５で、現在特定しているフレーム後の、若しくは、現在特定しているフレームの次のフレームの位置パラメータが登録されていないと判断することになる。
【００７８】
このとき、ＣＰＵ１０は、「次のフレームを撮影しますか」という質問を画像表示部１５に表示させ、ユーザによってＳＥＴキーの操作が行われると次のフレームを撮影すると判断し、ユーザによってキャンセルキーの操作が行われると次のフレームを撮影しないと判断する。
ステップＳ３１で、次のフレームを撮影すると判断すると、ＣＰＵ１０は、次のフレームを撮影対象として特定する（ステップＳ３２）。
【００７９】
次いで、ＣＰＵ１０は、登録されている各フレームの位置パラメータに基づいて、該特定したフレームの被写体の各位置パラメータを予測する（ステップＳ３３）。この予測はスプライン関数によって予測する。このとき、次のフレームの各位置パラメータの値と既に登録されている過去の各フレームの各位置パラメータの値とが滑らかになるように、該次のフレームの各位置パラメータを予測する。
【００８０】
次いで、ＣＰＵ１０は、スルー画像表示を開始して（ステップＳ３４）、該予測された被写体の各位置パラメータの値及びステップＳ１１で設定された被写体の大きさに基づいて、該特定されているフレームの被写体の撮影予定状態を示した撮影予定状態枠を画像表示部１５に透過表示させる（ステップＳ３５）。この透過表示は上述したステップＳ１４と同じ動作なのでここでは説明を省略する。
【００８１】
次いで、ＣＰＵ１０は、シャッタボタンが押下されたか否かを判断する（ステップＳ３６）。
このとき、ユーザは、デジタルカメラ１の位置を変えることにより、撮影したい被写体が該透過表示された撮影予定状態枠と同じとなるように、被写体の位置、大きさを調整し、被写体の位置、大きさが透過表示された撮影予定状態枠と同じと判断した場合に、シャッタボタンを押下する。
【００８２】
ステップＳ３６で、シャッタボタンが押下されていないと判断すると押下されたと判断するまでステップＳ３６に留まり、シャッタボタンが押下されたと判断すると、ＣＰＵ１０は、静止画撮影処理を行い、該得られた画像データを現在特定されているフレームの画像データとしてフラッシュメモリ１４に記録する（ステップＳ３７）。このとき、現在特定されているフレームの情報を一緒に記録する。このフレームの情報とは、何枚目のフレームに対応する画像データであるか否かを示す情報のことである。
【００８３】
次いで、ＣＰＵ１０は、実際に撮影された画像データに基づいて、実際の被写体の位置、大きさを特定する（ステップＳ３８）。この大きさの特定は、該透過表示された撮影予定状態枠付近にある被写体の特徴点を複数抽出し、該複数抽出した特徴点により被写体の輪郭を特定し、位置の特定は、該特定した輪郭の中央部を被写体の位置として特定する。
【００８４】
次いで、ＣＰＵ１０は、該特定した実際の被写体の位置、大きさに基づいて、被写体の３次元の座標位置を検出する（ステップＳ３９）。この２次元のものから３次元のものを検出する技術は周知技術なので説明を割愛する。
そして、ＣＰＵ１０は、該検出した３次元の座標位置と、現在特定されているフレームの登録されている各位置パラメータの値とを比較する（ステップＳ４０）。
【００８５】
次いで、ＣＰＵ１０は、該比較した両者の値の差が所定値以上であるか否かを判断する（ステップＳ４１）。
ステップＳ４０で、その差が所定値以上であると判断すると、ＣＰＵ１０は、画像の撮り直しを行うか否かを判断する（ステップＳ４２）。
このとき、ＣＰＵ１０は、「予定していた被写体の撮影予定状態と違います。画像を撮り直しますか」という表示をさせ、ユーザによってＳＥＴキーの操作が行われると画像の撮り直しをしないと判断し、キャンセルキーの操作が行われると画像の撮り直しをすると判断する。
【００８６】
ステップＳ４２で、画像の撮り直しを行うと判断すると、ＣＰＵ１０は、現在特定されているフレームとしてステップＳ３７で記録した画像データを削除して（ステップＳ４３）、ステップＳ３４に戻る。
一方、ステップＳ４２で画像の撮り直しをしないと判断した場合は、ＣＰＵ１０は、ステップＳ３９で検出した実際に撮影した被写体の３次元の座標位置を、現在特定しているフレームの被写体の各位置パラメータの値として位置パラメータテーブルに新たに追加記録（追加登録）して（ステップＳ４４）、ステップＳ３１に戻る。
【００８７】
また、ステップＳ４１でその差が所定値以上でないと判断した場合、ステップＳ３３で予測した各位置パラメータを現在特定しているフレームの位置パラメータとして新たに追加記録（追加登録）して（ステップＳ４５）、ステップＳ３１に戻る。
一方、ステップＳ３１で、次のフレームを撮影しないと判断すると、該記録した画像データに基づいて、フラッシュメモリ１４上に動画ファイルを生成する（ステップＳ４６）。
【００８８】
図１２は、位置パラメータが登録されているフレーム後のフレームを撮影するとステップＳ３１で判断された場合に、新たに追加登録されたフレームのｘ位置のパラメータの様子を示す図である。
図１２を見るとわかるように、ｎ枚目のフレームの位置パラメータまでしか登録されていなかったが、ｎ枚目以降のフレームの位置パラメータが登録されたのがわかる。過去の各フレームの位置パラメータに基づいて、該特定しているフレームの各位置パラメータの値が推測され、撮影予定状態枠が表示される。そして、実際に撮影された被写体の３次元の座標位置と該推測した各位置パラメータの値の差が所定値以上でない場合には該推測した各位置パラメータの値が該特定しているフレームの位置パラメータとして登録され、その差が所定値以上の場合には実際に撮影された被写体の３次元の座標位置が該特定しているフレームの各位置パラメータの値として登録される。
【００８９】
以上のように、実施の形態においては、予めユーザが所望する動きとなるように、被写体の撮影予定状態を大まかに入力し（１部のフレームに対して各位置パラメータの値を入力し）、ＣＰＵ１０は、該入力した撮影予定状態に基づいて各フレームの撮影予定状態を算出して登録し、アニメーション動画撮影を行う場合には、各フレームの撮影毎に、該登録した撮影予定状態を示す撮影予定状態枠を透過表示させることにより、該登録した撮影予定状態と同じ状態で被写体の撮影するにようにユーザに促すことができ、アニメーション動画を容易に作成することができる。
【００９０】
また、ユーザは、被写体の動きが所望の動きとなるように、１部のフレームに対して各位置パラメータの値を入力すると、自動的に各フレームの各位置パラメータの値を決めるので、ユーザは容易に位置パラメータの値を決めることができる。また、ユーザによって入力された１部のフレームの各位置パラメータの値に基づいて各フレームの位置パラメータの値が滑らかになるように、各位置パラメータの値を決めるので、被写体の動きが滑らかなアニメーション動画を作成することができる。
また、実際に撮影された被写体の状態と、登録した撮影予定状態の差が所定値以上ある場合に、画像の撮り直すことができるので、登録した撮影予定状態となるような画像を得ることができる。また、画像の撮り直しをしない場合は、被写体の動きが滑らかになるように、実際に撮影された被写体の状態に基づいて、以後のフレームの撮影予定状態を修正するようにしたので、登録した撮影予定状態と違う状態で被写体を撮影した場合であっても、被写体の動きが滑らかになるように、被写体を撮影することができ、動きが滑らかなアニメーション動画を作成することができる。
【００９１】
また、位置パラメータを登録していないフレームを撮影する場合であっても、登録されている各フレームの各位置パラメータに基づいて、これから撮影する各位置パラメータの値を推測するので、位置パラメータを登録していないフレームを撮影する場合であっても対応することができる。たとえば、当初はこのぐらいの枚数を撮影すると思ってフレームの各位置パラメータの登録したが、実際に撮影してみてもう少しフレームを多く撮影したいと思う場合であっても対応することができる。
【００９２】
［変形例］
Ｄ．上記実施の形態は以下のような態様でもよい。
【００９３】
（０１）上記実施の形態において、ＣＣＤ５を、ｘ軸とｙ軸の平面上にあり、且つ、ＣＣＤ５の中心を（ｘ，ｙ，ｚ）＝（０，０，０）とするようにしたが、ＣＣＤ５をｘ軸とｙ軸の平面上になくてもよいし、ＣＣＤ５の中心を（ｘ，ｙ，ｚ）＝（０，０，０）でなくてもよい。つまり、ｘ、ｙ、ｚで構成される３次元を任意の角度、及び、距離にＣＣＤ５を配置したときに見える被写体を２次元投射により生成するようにしてもよい。
【００９４】
（０２）上記実施の形態において、フレーム毎に３次元の各位置パラメータを登録するようにしたが、フレーム毎にＣＣＤ５上の被写体の位置、及び、その大きさを登録するようにしてもよい。
【００９５】
（０３）上記実施の形態においては、各フレームの被写体の撮影予定状態として、３次元の各位置パラメータを登録するようにしたが、さらに、各フレーム毎の被写体の向きを示すパラメータを登録するようにしてもよい。
このときは、撮影予定となる被写体の位置、大きさとともにその向きも撮影予定状態として表示させるようにしてもよい。
また、このとき、実際に撮影された画像データに基づいて、被写体の向きを検出する方法としては、たとえば、被写体が人、動物などの目があるものである場合は、目と目の間の距離に応じて被写体の向きを検出するようにしてもよい。正面を向いているときの目と目の間の距離が一番長く、被写体の向きが斜めになるにつれて目と目の間の距離は短くなっていくからである。つまり、目の特徴点の相対的な位置関係によって被写体の向きを検出する。
また、撮影する被写体を３６０度のあらゆる角度から撮影して登録しておき、該登録した被写体の３６０度のあらゆる角度の画像データと、実際に撮影された被写体の画像データとを比較照合することにより実際に撮影された被写体の向きを検出するようにしてもよい。
また、図７のステップＳ１７、図８のステップＳ３８でも、上記登録した被写体の３６０度のあらゆる角度から撮影した画像データに基づいて、実際に撮影された被写体がいる位置及び大きさも特定するようにしてもよい。
【００９６】
（０４）上記実施の形態においては、被写体の撮影予定状態を、枠を表示させることにより撮影予定状態を表示させるようにしたが、枠に限らず、他の方法によって表示させるようにしてもよい。
【００９７】
（０５）上記実施の形態においては、予め各フレームの位置パラメータを登録して、アニメーション動画撮影を行うようにしたが、複数フレーム撮影をしていき、該撮影された画像データに基づいて被写体の３次元の座標位置を検出し、該検出された座標位置に基づいてその後のフレームの各位置パラメータを推測して透過表示させていくようにしてもよい。
【００９８】
（０６）上記実施の形態においては、登録されていないフレームの各位置パラメータの値を推測する場合は、少なくとも直前の２フレームの各位置パラメータに基づいて被写体の速度と移動している方向を算出し、該算出した被写体の速度と同じ速度で該算出した方向に移動した場合における各位置パラメータの値を算出するようにしてもよい。
また、登録されていないフレームの各位置パラメータの値を推測する場合は、少なくとも直前の３フレームの各位置パラメータに基づいて、被写体の加速度と移動している方向を算出し、該算出した加速度と同じ加速度で該算出した方向に移動した場合における各位置パラメータの値を算出するようにしてもよい。
また、登録されていないフレームの被写体の向きを示すパラメータの値を推測する場合は、少なくとも直前の２フレームの向きが変化する方向と、その変化の速度を算出し、該算出した速度と同じ速度で、該算出した向きが変化する方向に向きが変わった場合における向きを示すパラメータの値を算出するようにしてもよい。
【００９９】
（０７）上記実施の形態においては、ユーザによって入力された１部のフレームの被写体の状態を示した各位置パラメータによって、他のフレームの各位置パラメータを算出することにより、同時に、被写体の動きを特定するようにしたが、ユーザによって入力された概略的な被写体の動きによって、被写体の一連の動きを特定し、該特定された被写体の動きに基づいて、各フレームの各位置パラメータを算出するようにしてもよい。これによっても、アニメーション動画を容易に作成することができる。
【０１００】
このユーザの被写体の概略的な動きの入力は、上記実施の形態のように、一部のフレームの被写体の状態を示した各位置パラメータによって直接概略的な被写体の動きを入力するようにしてもよいし、３次元空間において、ある時刻ではこの位置、この時刻ではこの位置という具合に被写体の動きを概略的に入力するようにしてもよい。
また、この場合は、該入力された概略的な被写体の動きに基づいて特定する一連の被写体の動きは、動きが滑らかになるように特定する。そして、該特定された動きに基づいて、各フレームに対応した被写体状態に変換し、各フレームの各位置パラメータを算出する。なお、このとき、ユーザによって入力されたフレームの位置パラメータの値を変えないように被写体の動きを特定するようにしてもよいし、ユーザによって入力されたフレームの位置パラメータの値によって、被写体の動きが滑らかにならない場合は、ユーザによって入力されたフレームの位置パラメータの値を変えて（修正して）、被写体の動きを特定するようにしてもよい。
【０１０１】
また、この場合、上記実施の形態においては、撮影予定の各位置パラメータと実際に撮影された被写体の３次元の座標位置が異なる場合は、以後のフレームの各位置パラメータを修正するようにしたが、特定した被写体の動きを修正（新たに特定）し、該修正された被写体の動きに基づいて、各フレームの位置パラメータを算出する。これにより、被写体の動きが滑らかになるように被写体を撮像することができる。
同様に、位置パラメータが登録されていないフレームを撮像する場合も、これまでの被写体の動きを予測して被写体の動きを新たに特定し、該特定された被写体の動きに基づいて、該フレームの位置パラメータを算出する。この動きの予測は、これまでに撮像されたフレームの各位置パラメータに基づいて、被写体の動きの方向、速度、加速度、向き等を特定し、該特定された被写体の動きに基づいて各フレームのパラメータの値を求める。これにより、被写体の動きが滑らかになるように被写体を撮像することができる。
【０１０２】
（０８）上記実施の形態においては、背景に対してカメラを特定した場合について説明したが、背景に対してカメラを固定しない場合にも適用してもよい。この場合は、登録された各フレームの位置パラメータと、カメラの位置に基づいて、被写体の撮影予定状態を透過表示させる。
【０１０３】
（０９）上記変形例（０１）乃至（０８）を矛盾しない範囲内で任意に組み合わせた態様であってもよい。
【０１０４】
（１０）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１０５】
最後に、上記実施の形態においては、本発明の撮影装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮影することができる機器であれば適用可能である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】パラメータ登録の動作を示すフローチャートである。
【図３】ｘ、ｙ、ｚで表わされる３次元の様子の一例、及び、表示された位置グラフの様子の一例を示す図である。
【図４】ｘ位置パラメータの入力が完了したときの、入力されたｘ位置パラメータの様子の一例、及び、該入力された位置パラメータに基づいてスプライン関数により求められた近似線が表示されたときの様子の一例を示す図である。
【図５】登録されるｙ位置パラメータの元となる近似線の様子の一例、及び、登録されるｚ位置パラメータの元となる近似線の様子の一例を示すものである。
【図６】メモリ１２の位置パラメータテーブルに登録された被写体の各位置パラメータの様子の一例を示す図である。
【図７】アニメーション動画撮影の動作を示すフローチャートである。
【図８】アニメーション動画撮影の動作を示すフローチャートである。
【図９】該特定されているフレームの各位置パラメータの値と、被写体の大きさに基づいて生成される３次元モデルの一例を示すものである。
【図１０】生成された被写体の撮影予定状態枠の一例を示す図である。
【図１１】修正されたｘ位置パラメータとフレームとの関係グラフの様子の一例を示す図である。
【図１２】新たに追加登録されたフレームのｘ位置のパラメータの様子を示す図である。
【符号の説明】
【０１０７】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス
【特許請求の範囲】
【請求項１】
撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置であって、
前記実写アニメーション動画を構成する各フレームに対応させて、前記所定の被写体の状態を示したパラメータを生成する生成手段と、
前記生成手段により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御手段と、
前記案内表示制御手段による案内表示に対応して前記撮影手段により撮影された各フレームの画像データに基づいて動画データを生成する動画生成手段と、
を備えたことを特徴とする撮影装置。
【請求項２】
前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定する特定手段と、
前記生成手段は、
前記実写アニメーション動画における各フレームが再生されるタイミング情報に従って、前記特定手段によって特定された前記３次元空間内での前記所定の被写体の動きを、各フレームに対応した前記所定の被写体の状態に変換することにより、前記パラメータを生成することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項２記載の撮影装置。
【請求項４】
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記所定の被写体の動きが滑らかになるように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記特定手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータを修正して、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項３記載の撮像装置。
【請求項６】
実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を示すパラメータを検出する検出手段を備え、
前記特定手段は、
前記検出手段により検出されたパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを新たに特定することを特徴とする請求項２乃５の何れかに至記載の撮影装置。
【請求項７】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と速度を特定し、
前記生成手段は、
該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６記載の撮影装置。
【請求項８】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記被写体の移動の方向と加速度を特定し、
前記生成手段は、
該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６又は７記載の撮影装置。
【請求項９】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と速度を特定し、
前記生成手段は、
該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６乃至８の何れかに記載の撮影装置。
【請求項１０】
前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記生成手段は、
前記入力手段により入力された一部のフレームに対応するパラメータに基づいて、該被写体の動きが滑らかになるように、この一部のフレーム以外の各フレームに対応する該被写体の状態を示したパラメータを生成することを特徴とする請求項１記載の撮影装置。
【請求項１１】
前記生成手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力されたパラメータを修正して、各フレームに写る該被写体の状態を示したパラメータを生成することを特徴とする請求項１０記載の撮影装置。
【請求項１２】
実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を検出する検出手段と、
前記検出手段により検出された前記所定の被写体の撮影状態に基づいて、前記生成手段により生成されたパラメータのうち、まだ撮影されていないフレーム部分のパラメータを修正する修正手段と、
を備えたことを特徴とする請求項１０又は１１記載の撮影装置。
【請求項１３】
実際に撮影された各フレームの画像データに基づいて、実際に撮影された前記所定の被写体の撮影状態を検出する検出手段を備え、
前記生成手段は、
前記検出手段により検出された各フレームの前記所定の被写体の撮影状態に基づいて、まだ生成していないフレーム部分のパラメータを生成することを特徴とする請求項１０乃至１２の何れかに記載の撮影装置。
【請求項１４】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と、速度を検出し、該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３記載の撮影装置。
【請求項１５】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記所定の被写体の移動の方向と、加速度を検出し、該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３又は１４記載の撮影装置。
【請求項１６】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と、速度を検出し、該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３乃至１５の何れかに記載の撮影装置。
【請求項１７】
前記検出手段は、
前記被写体の特徴点を検出することにより、被写体の撮影状態を検出することを特徴とする６乃至９、１２乃至１６の何れかに記載の撮影装置。
【請求項１８】
前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の中心を被写体の位置として検出することを特徴とする請求項１７記載の撮影装置。
【請求項１９】
前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の相対的な位置関係に基づいて前記被写体の向きを検出することを特徴とする請求項１７又は１８記載の撮影装置。
【請求項２０】
撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置を実行させるためのプログラムであって、
前記実写アニメーション動画を構成する各フレームに対応させて前記所定の被写体の状態を示したパラメータを生成する生成処理と、
前記生成処理により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御処理と、
前記案内表示制御処理による案内表示に対応して前記撮影手段により撮影素子に撮影された各フレームの画像データに基づいて動画データを生成する動画生成処理と、
を含むことを特徴とするプログラム。
【請求項１】
撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置であって、
前記実写アニメーション動画を構成する各フレームに対応させて、前記所定の被写体の状態を示したパラメータを生成する生成手段と、
前記生成手段により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御手段と、
前記案内表示制御手段による案内表示に対応して前記撮影手段により撮影された各フレームの画像データに基づいて動画データを生成する動画生成手段と、
を備えたことを特徴とする撮影装置。
【請求項２】
前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定する特定手段と、
前記生成手段は、
前記実写アニメーション動画における各フレームが再生されるタイミング情報に従って、前記特定手段によって特定された前記３次元空間内での前記所定の被写体の動きを、各フレームに対応した前記所定の被写体の状態に変換することにより、前記パラメータを生成することを特徴とする請求項１記載の撮影装置。
【請求項３】
前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項２記載の撮影装置。
【請求項４】
前記特定手段は、
前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータに基づいて、前記所定の被写体の動きが滑らかになるように、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記特定手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力された一部のフレームに写る前記所定の被写体の状態を示すパラメータを修正して、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを特定することを特徴とする請求項３記載の撮像装置。
【請求項６】
実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を示すパラメータを検出する検出手段を備え、
前記特定手段は、
前記検出手段により検出されたパラメータに基づいて、前記実写アニメーション動画の背景部分に対応した３次元空間内での前記所定の被写体の動きを新たに特定することを特徴とする請求項２乃５の何れかに至記載の撮影装置。
【請求項７】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と速度を特定し、
前記生成手段は、
該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６記載の撮影装置。
【請求項８】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記被写体の移動の方向と加速度を特定し、
前記生成手段は、
該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６又は７記載の撮影装置。
【請求項９】
前記特定手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と速度を特定し、
前記生成手段は、
該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項６乃至８の何れかに記載の撮影装置。
【請求項１０】
前記アニメーション動画を構成する各フレームのうち、一部のフレームに写る前記所定の被写体の状態を示すパラメータをユーザが入力するための入力手段を備え、
前記生成手段は、
前記入力手段により入力された一部のフレームに対応するパラメータに基づいて、該被写体の動きが滑らかになるように、この一部のフレーム以外の各フレームに対応する該被写体の状態を示したパラメータを生成することを特徴とする請求項１記載の撮影装置。
【請求項１１】
前記生成手段は、
前記所定の被写体の動きが滑らかになるように、前記入力手段により入力されたパラメータを修正して、各フレームに写る該被写体の状態を示したパラメータを生成することを特徴とする請求項１０記載の撮影装置。
【請求項１２】
実際に撮影された画像データに基づいて、実際に撮影されたフレームに対応する前記所定の被写体の撮影状態を検出する検出手段と、
前記検出手段により検出された前記所定の被写体の撮影状態に基づいて、前記生成手段により生成されたパラメータのうち、まだ撮影されていないフレーム部分のパラメータを修正する修正手段と、
を備えたことを特徴とする請求項１０又は１１記載の撮影装置。
【請求項１３】
実際に撮影された各フレームの画像データに基づいて、実際に撮影された前記所定の被写体の撮影状態を検出する検出手段を備え、
前記生成手段は、
前記検出手段により検出された各フレームの前記所定の被写体の撮影状態に基づいて、まだ生成していないフレーム部分のパラメータを生成することを特徴とする請求項１０乃至１２の何れかに記載の撮影装置。
【請求項１４】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の移動の方向と、速度を検出し、該検出された移動の方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３記載の撮影装置。
【請求項１５】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の３フレームの状態に基づいて、前記所定の被写体の移動の方向と、加速度を検出し、該検出された移動の方向及び加速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３又は１４記載の撮影装置。
【請求項１６】
前記生成手段は、
前記検出手段により検出された、少なくともパラメータを生成する現フレームの直前の２フレームの状態に基づいて、前記所定の被写体の向きが変化する方向と、速度を検出し、該検出された向きが変化する方向及び速度に基づいて、該現フレームのパラメータを生成することを特徴とする請求項１３乃至１５の何れかに記載の撮影装置。
【請求項１７】
前記検出手段は、
前記被写体の特徴点を検出することにより、被写体の撮影状態を検出することを特徴とする６乃至９、１２乃至１６の何れかに記載の撮影装置。
【請求項１８】
前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の中心を被写体の位置として検出することを特徴とする請求項１７記載の撮影装置。
【請求項１９】
前記検出手段は、
前記被写体の複数の特徴点を検出し、該検出された複数の特徴点の相対的な位置関係に基づいて前記被写体の向きを検出することを特徴とする請求項１７又は１８記載の撮影装置。
【請求項２０】
撮影された複数の画像データを用いて所定の被写体の動きを表現した実写アニメーション動画の作成を支援する撮影手段と電子ファインダを備えた撮影装置を実行させるためのプログラムであって、
前記実写アニメーション動画を構成する各フレームに対応させて前記所定の被写体の状態を示したパラメータを生成する生成処理と、
前記生成処理により生成されたパラメータに基づいて、各フレームの撮影の際に、撮影するフレームに対応する前記被写体の撮影予定状態を前記電子ファインダに案内表示させる案内表示制御処理と、
前記案内表示制御処理による案内表示に対応して前記撮影手段により撮影素子に撮影された各フレームの画像データに基づいて動画データを生成する動画生成処理と、
を含むことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−１００１６７（Ｐ２００９−１００１６７Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２６８９０１（Ｐ２００７−２６８９０１）
【出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１６日（２００７．１０．１６）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]