アニメーション作成システムおよび方法
【課題】動いている被写体を撮影した映像から抽出した特徴点の編集作業を、円滑に行うことを可能にすること。
【解決手段】アニメーション作成システム1は、動いている被写体を撮影した映像19から、特徴点を抽出することで動きを抽出し、この特徴点を用いてアニメーションを作成するシステムであり、映像入力部3、特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、アニメーション作成部17、および出力部21を含んでいる。検索部7は、抽出されなかった特徴点を含むフレームを特定する。合成部11は、特定されたフレームの合成画像を、特定されなかったフレームの合成画像とは、表示形態が異なるように作成する。よって編集者が、抽出されなかった特徴点を含むフレームを一目で把握することが可能になり、編集作業を円滑に進めることが可能になる。
【解決手段】アニメーション作成システム1は、動いている被写体を撮影した映像19から、特徴点を抽出することで動きを抽出し、この特徴点を用いてアニメーションを作成するシステムであり、映像入力部3、特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、アニメーション作成部17、および出力部21を含んでいる。検索部7は、抽出されなかった特徴点を含むフレームを特定する。合成部11は、特定されたフレームの合成画像を、特定されなかったフレームの合成画像とは、表示形態が異なるように作成する。よって編集者が、抽出されなかった特徴点を含むフレームを一目で把握することが可能になり、編集作業を円滑に進めることが可能になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された映像から抽出された特徴点を基にして、アニメーションを作成するシステムおよび方法に関する。
【背景技術】
【０００２】
近年では、例えばテレビ、映画、ゲーム等においてコンピュータグラフィクス（Computer Graphics : CG）によるアニメーションがよく用いられるようになった。またこのようなアニメーションは、コミュニケーション分野において、例えばアバタ等のキャラクタに応用されることが増えているため、とくに顔の動きを表現するアニメーションのニーズが高まりつつある。しかし、アニメーションの作成には、多大な費用と時間が必要である。よって、より容易なやり方で、自然な動きに見えるアニメーションを作成する方法およびシステムが求められていた。
【０００３】
例えば特許文献１には、入力映像から人物の頭部、目、口等を抽出し、その情報を元にCGを用いてキャラクタの動きを制御したアニメーションを作成する方法が開示されている。また特許文献２には、マーカが付された被写体を複数の方向から撮影して、被写体が動いている映像を得、この映像から特徴点を抽出し、抽出した特徴点を基にしてアニメーションを作成する際に、抽出した特徴点の位置を補正したり、何かの陰に隠れて抽出されなかった特徴点を補間したりする等の編集を行う方法が開示されている。また特許文献３には、映像から顔が写っている部分を抽出し、この顔の画像から顔の各部、例えば目や鼻や口等と対応する部分を特徴点として抽出する装置が開示されている。
【特許文献１】特開２００３−８５５８３号公報
【特許文献２】特開平１０−２２２６６８号公報
【特許文献３】特開２００３−２８１５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし特許文献１では、例えばテレビ電話等の通信システムでの利用を想定しているため、例えば人物の頭部や目や口等の抽出に失敗した場合や、誤って他の部分を頭部や目や口等として抽出してしまった場合等に、これらの抽出ミスを修正する修正手段がなく、その結果、緻密なアニメーションを作成できないという問題を有していた。また特許文献２、および特許文献３では、編集作業を補助する手段を含まないため、実際には作業量が膨大となってしまうという問題を有していた。
【０００５】
本発明はこのような従来技術の欠点を解消し、アニメーションを作成するために抽出した特徴点の編集作業を効率よく行うことが可能であり、またキャラクタの自然な動きを表現することが可能なアニメーション生成方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために本発明では、抽出されなかった特徴点や、このような特徴点を含むフレームを自動的に特定する。よって、抽出されていなかった特徴点を補う補完作業を効率よく行うことが可能になる。なおこの特定には任意のやり方を採用することが可能である。例えば顔の特徴点を抽出する場合では、顔の各部、例えば口や目や眉等を特定してから特徴点を抽出するため、抽出されなかった特徴点の特定は、顔の各部を特定できたか否かを判断することによって行うことが可能である。
【０００７】
また本発明では、予め設定された位置座標や、抽出された特徴点の位置座標を記憶しておき、これらを用いて抽出されていなかった特徴点を自動的に補完する。よって、編集者は特徴点の位置のみを変更すればよくなるため、特徴点の編集作業をより効率よく行うことが可能になる。
【発明の効果】
【０００８】
本発明によれば、効率よく特徴点を編集することが可能になる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明の実施例を詳細に説明する。図１は、本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。図１において、アニメーション作成システム1は、映像入力部3、特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、アニメーション作成部17、および出力部21を含み、動いている被写体を撮影した映像23から特徴点を抽出することで被写体の動きを抽出し、この抽出された特徴点に基づいてアニメーションを作成し、出力部21に出力するシステムである。
【００１０】
アニメーション作成システム1についてより具体的に説明すると、映像入力部3にはキャラクタにさせたい動きをしている被写体の映像23が入力される。映像入力部3にこのような映像23が入力されると、特徴点抽出部5がこの映像23からフレーム毎に特徴点を抽出する。特徴点は、アニメーションによりキャラクタの動きを制御する際に必要となる点、すなわち、動きを表現するのに必要となる主要な点である。抽出された特徴点は、特徴点記憶部9に記憶される。特徴点記憶部9に特徴点が記憶されると、特徴点編集部13がこれらの特徴点を編集し、その後、編集された特徴点が動作データ作成部15、アニメーション作成部17で用いられてアニメーションが作成される。本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。
【００１１】
なお、本発明は各部の構成を本実施例に限定するわけではなく、アニメーション作成システム1に応じて任意の構成を採用することが可能である。またアニメーション作成システム1は、例えば１つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、アニメーション作成システム1を複数の装置で実現する場合には、図１に点線で示すように、映像入力部3、および出力部21をアニメーション受信側の端末装置31に含ませ、また特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、およびアニメーション作成部17をアニメーション提供側の端末装置33に含ませるようにしてもよい。
【００１２】
このように2つの端末装置31、33でアニメーション作成システム1を構成した場合では、端末装置31は映像23を端末装置33へ送り、また端末装置33から作成されたアニメーションを受信する。また端末装置33は、受信した映像23から特徴点を抽出して特徴点記憶部9に記憶し、この記憶した特徴点を編集してアニメーションを作成し、端末装置31に提供する。
【００１３】
また例えば、図示しないがアニメーション提供側の端末装置33をさらに複数の端末装置で構成することも可能である。例えば特徴点抽出部5、検索部7および特徴点記憶部9をアニメーション提供側の第１の端末装置に含ませ、合成部11、特徴点編集部13、動作データ作成部15、およびアニメーション作成部17をアニメーション提供側の第２の端末装置に含ませるようにすることも可能である。なお複数の端末装置で実現することに限定するわけではなく、アニメーション作成システム1を1つの端末装置で実現してもよい。このような場合では、各部は図示しない制御部によって制御、統括される。なお本発明はこれらの例に限定するわけではない。
【００１４】
図１を用いて各部をより詳細に説明する。映像入力部3は、映像23が入力される部分である。この映像23は、動いている被写体を撮影したものである。また本実施例では映像23は、少なくとも２つのフレームを含んでいる。この映像23における被写体の動きは、アニメーション作成システム1で作成されるアニメーションで表現したい動き、すなわちアニメーションで表現されるキャラクタにさせたい動きである。例えば本実施例では、顔の動き、すなわち表情の変化をアニメーションで表現したいため、映像23は、顔の各部、例えば、目、鼻、口、眉等を動かして、表情を変えている人間の顔の映像である。
【００１５】
映像入力部3は、このような映像23が入力されると、入力された映像23を特徴点抽出部5へ供給する。特徴点抽出部5は、入力された映像23から、フレーム毎に特徴点を抽出する部分である。例えば本実施例では特徴点抽出部5は、入力された映像をフレーム毎、すなわち静止画毎に分け、この静止画から特徴点として設定された点、例えば目の中央や口の上下左右端点等を特定し、次にこの特定した点の位置座標を算出して特徴点を抽出する。
【００１６】
特徴点は、上述したようにアニメーションによりキャラクタの動きを制御する際に必要となる点であって、動きを表現する際に主要となる点である。例えば本実施例では、キャラクタの顔の表情が変化するアニメーションを作成するため、図２に示すように顔の動きを表現する際に必要な点を特徴点としている。図２は、特徴点を抽出する処理を概念的に示した図であり、アニメーション作成装置1に入力される映像23におけるあるフレーム37を概念的に示した図である。なお図２では１つのフレーム37のみを図示しているが、これは説明をわかりやすくするためであり、映像23には任意の数のフレームを含めることが可能である。
【００１７】
本実施例では図２に四角で示すように、右の眉毛の実質的に右端を特徴点A、右の眉毛の実質的に左端を特徴点B、左の眉毛の実質的に右端を特徴点C、左の眉毛の実質的に左端を特徴点D、右目の瞳を特徴点E、左眼の瞳を特徴点F、口の実質的に右端を特徴点G、口の実質的に左端を特徴点H、上唇の実質的に中央を特徴点I、および下唇の実質的に中央を特徴点Jとしている。なお本発明は図２に示す例に限定するわけではなく、動きに応じて任意の点を特徴点とすることが可能である。
【００１８】
よって、特徴点抽出部5は、フレーム毎に分けた各静止画から、これらの特徴点として設定された点を特定し、この点の位置を示す位置情報、例えば位置座標やある所定の点からの変化量等を算出して、特徴点の抽出を行う。この特徴点の抽出には、任意のやり方を採用することが可能である。例えば本実施例では図２に示すように映像23をフレーム毎の静止画に分け、この静止画を画像処理することによって、特徴点として設定された点A〜Jを特定する。その後、左下の端点39を原点、水平方向をx軸、および垂直方向をy軸として、点A〜Jの位置を示す座標、すなわち位置座標を算出して、特徴点A〜Jを抽出している。
【００１９】
なお本発明はこの例に限定するわけではなく、任意のやり方を採用することが可能である。例えば特徴点として定めた部分にマーカを付した被写体を撮影し、特徴点A〜Jを抽出する際は、対応するマーカの部分を特定して、この特定したマーカの位置座標を求めるようにすることも可能である。またフレーム毎に特徴点を抽出することに限定するわけではなく、最終的に各フレームの静止画像の所定の位置と対応する特徴点を得ることができれば、特徴点毎に抽出することも可能である。なお本発明はこれに限定するわけではない。
【００２０】
図３に、算出された各特徴点の位置座標の一例を示す。図３において、n は正の整数である。なお本実施例では、映像23のすべてのフレームから特徴点A〜Jを抽出している。これは後段の動作データ作成部13で、映像23に含まれているすべてのフレームにおける特徴点A〜Jから動作データを作成するためである。しかし本発明はこれに限定するわけではなく、後段の動作データ作成部13で必要となる分だけ特徴点を抽出することが可能である。また本実施例では説明を分かりやすくするために２次元にしているが、本発明はこれに限定するわけではなく、例えば作成するアニメーションが３次元の場合等では、x軸、およびy軸と直行するz軸をさらに設定して、３次元にすることも可能である。
【００２１】
特徴点抽出部5で算出された特徴点A〜Jの位置座標は、特徴点記憶部9へ送られる。特徴点記憶部9は、例えばメモリ等の記憶手段を含み、送られてきた特徴点A〜Jの位置座標を記憶する。記憶には、任意のやり方を採用して記憶することが可能であり、例えば図３に示すように特徴点A〜J毎の表を作成して記憶してもよい。なお本発明はこれに限定するわけではない。また特徴点記憶部9には、特徴点以外に、任意のものを記憶しておくことが可能であり、例えば本実施例では、特徴点記憶部9に、特徴点A〜Jを抽出した際に用いた画像、すなわち各フレームの静止画像も記憶されている。
【００２２】
特徴点記憶部9に特徴点A〜Jの位置座標が保存されると、合成部11が、特徴点記憶部9に格納された特徴点A〜Jの位置座標を用いて、例えば図４に示すように各特徴点を、これらを抽出した際に用いた画像に重ねた合成画像43、45、47を作成する。作成された合成画像43〜47は、出力部21に含まれているディスプレイ等に出力される。図４は合成画像を概念的に示した図である。なお図４には説明を分かり易くするために3つのフレーム分しか示していないが、合成部21は任意の数の合成画像を作成することが可能である。
【００２３】
本実施例では特徴点抽出部5がフレーム毎に特徴点A〜Jを抽出したため、合成部はフレーム毎に合成画像43〜47を作成し、これを横方向に連続させて表示している。なお、本発明はこれに限定するわけではなく、例えば合成画像を連続させて表示して、もとの映像23に特徴点を合成した映像にすることも可能である。このように合成画像43〜47を作成することにより、抽出された特徴点A〜Jが、抽出すると設定された点から抽出されているか否かを判断することが可能になり、また、フレームが変わるごとに特徴点A〜Jがどのように動くかを把握することが可能になるため、後段のアニメーション作成部15で作成されるキャラクタの動きを想定することが可能になる。
【００２４】
また特徴点記憶部9に特徴点A〜Jの位置座標が保存されると、動作データ作成部15が公知の手法を用いて、この保存された特徴点A〜Jの位置座標から、キャラクタにさせる動きの時間的変化を定義したデータである動作データを作成する。その後動作データは、アニメーション作成部17へと供給され、アニメーション作成部17で公知の手法を用いて、キャラクタが動作データに従った動きをするアニメーションが作成される。作成されたアニメーションは、出力部21へと供給される。出力部21は、例えばディスプレイやプリンタ等の出力手段を含み、アニメーション作成部17から供給されたアニメーションを例えばディスプレイ等に表示したり、プリンタから紙へと出力する。
【００２５】
以上のようにして動いている被写体を撮影した映像23から動きを抽出し、この抽出した動きに基づいた動きをするキャラクタのアニメーションが作成される。しかし、特徴点抽出部5で抽出された特徴点A〜Jの位置座標をそのまま用いて動作データを作成すると、被写体の動きそのものがおかしかったり、被写体をうまく撮影できていない映像であったり、特徴点抽出部5で特徴点を認識できずにこれらが抽出されなかった等の場合があり、キャラクタの動きが自然な動きにならない動作データが作成され、キャラクタの動きがおかしいアニメーションが作成されてしまう。よって自然な動きと認められるアニメーションを作成するために、特徴点編集部13で、特徴点の位置を変更したり、抽出されていなかった特徴点を補完する等の編集作業が行われる。
【００２６】
特徴点編集部13は、特徴点記憶部9と接続し、特徴点記憶部9に保存された各特徴点A〜Jの位置座標を補正したり、何かの影になって抽出されなかった特徴点を補完する等の編集作業を行うものである。編集作業は、例えば図示しないマウスやキーボード等の操作部から入力される編集者の操作信号により行われたり、または予め設定された位置変更用のプログラム等により自動的に行われる。編集後は、編集作業によって新たに形成された位置座標が、再び特徴点記憶部9に供給されて特徴点記憶部9に記憶される。その後、動作データ作成部15が、補正や補間が行われた後の特徴点A〜Jの位置座標から動作データを作成し、アニメーション作成部17が、動作データ作成部15で作成された動作データを基にしてアニメーションを作成する。
【００２７】
しかし従来では、抽出されなかった特徴点の補完作業は編集者による手作業で行われていたため、作業効率が悪いという問題を有していた。具体的に説明すると、従来では、編集者が出力部21に出力された合成映像を見ながら、特徴点が抽出されているか否かといった判断をし、その結果、抽出されていない特徴点がある場合は、例えばマウスやキーボード等を用いて特徴点を新たに形成したり、適当な位置座標を入力したりしていたため、作業効率が悪く、また抽出されていない特徴点が存在しても見落としてしまう等の問題があった。このような問題は、特徴点の数が増えれば増えるほど生じやすかった。そこで本実施例では検索部7を含み、この検索部7によって、特徴点抽出部5で抽出されなかった特徴点を自動的に特定し、その特徴点を補完するよう編集者に知らせる。以下、詳細に説明する。
【００２８】
図１において検索部7は、抽出されなかった特徴点を特定する部分である。図１に示す例では、検索部7は特徴点抽出部5に設けられ、特徴点抽出部5における抽出処理の際に形成される情報を用いて抽出されなかった特徴点を特定する。この抽出処理の際に形成される情報とは、特徴点を抽出する処理中に作成される情報であって、例えば図１に示す例では、図５に示すように特徴点として設定されている点の特定を行うか否かを判断した際に形成される情報を用いている。なお本発明はこれに限定するわけではなく、特徴点を抽出する処理中に作成される任意の情報を用いて、特徴点が抽出されたか否かを判断することが可能である。
【００２９】
図５は図１に示す特徴点抽出部5における特徴点の抽出処理、および検索部7における抽出されなかった特徴点の特定処理の処理手順の一例を示した図である。図５において、特徴点抽出部5は、映像入力部3から映像23が送られてくると、この映像23をフレーム毎の静止画像に分ける（ステップS1）。その後、特徴点抽出部5は、この静止画像から顔の領域、すなわち顔領域を抜き出す（ステップS2）。この顔領域の抜き出しには公知のやり方を採用することが可能である。例えば静止画像がカラー画像の場合では、予め設定した肌色の部分を静止画像から抜き出し、抜き出した肌色の部分から顔らしさの判断、例えば抜き出した部分が実質的に円形であるか否か等を判断することにより顔領域を抜き出すことが可能である。なお本発明はこのやり方に限定するわけではない。
【００３０】
次に特徴点抽出部5は、ステップS2の処理によって顔領域が抜き出されたか否かを、例えばその領域がどの程度円形であるかといった情報等から判断する（ステップS3）。この判断の結果、顔領域が抜き出されている場合はステップS4へ進み、顔領域から、例えば眉や、目や、鼻や、口等の、各部品毎のより小さい領域、すなわち顔部品領域をさらに抜き出す（ステップS4）。この顔部品領域の抜き出しにも公知のやり方を採用することが可能である。
【００３１】
例えば、顔領域を白から黒へのグラデーションによるモノクロ画像で表現すると、眉や目や口は他の部分、例えば頬等と比べて濃いグレーになる。よって、濃度の高い部分を特定することで眉を含む領域や、目を含む領域や、口を含む領域を抜き出すことが可能になる。同様にして例えば小鼻と頬との境目を特定して、鼻を含む領域を抜き出すことが可能である。
【００３２】
その後、特徴点抽出部5はステップS5へ進み、ステップS4の処理によって顔部品領域が抜き出されたか否かを、例えば濃度が高い部分があったか否か等によって判断する（ステップS5）。その結果、顔部品領域が抜き出されている場合はステップS6へ進み、顔部品領域からその領域に含まれている顔部品をさらに抜き出し、抜き出した顔部品における特徴点として抽出するよう設定された点を特定し、この点の位置座標を算出する（ステップS6）。この顔部品の抜き出し、特徴点の特定、および位置座標の算出も公知のやり方を採用することが可能である。
【００３３】
例えば、各顔部品の標準的な画像、およびこの標準的な画像における特徴点として設定された点の位置を示したデータを予め用意しておき、この標準的な画像と、抽出した領域とを比較してこの領域に含まれている顔部品、例えば目や口等を抜き出す。その後、抜き出した顔部品において、標準的な画像で特徴点として設定された点と対応する点を特徴点と特定し、この特徴点のフレームにおける位置座標を算出して特徴点の特定、および特徴点の位置座標の算出が可能である。なお本発明はこれに限定するわけではない。
【００３４】
なおステップS3における判断の結果、顔領域の抜き出しができなかった場合や、ステップS5における判断の結果、顔部品領域の抜き出しができなかった場合は、ステップS7へ進み、検索部7が、抜き出されなかった顔領域や顔部品領域から、抽出されなかった特徴点の特定や、このような特徴点を含むフレームの特定を行う（ステップS7）。例えば顔領域が抽出できなかった場合では、検索部7はこのフレームを、抽出されなかった特徴点を含むフレームとして特定する。また、顔部品領域が抽出できなかった場合では、検索部7はこの領域が抽出できなかった顔部品と対応する特徴点を、抽出されなかった特徴点として特定する。
【００３５】
その後特徴点抽出部5は、ステップS6で算出した各特徴点の位置座標を特徴点記憶部9へ記憶させる。また検索部7は、ステップS7で特定した抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの番号に、抽出されなかった旨を示す情報を付加する（ステップS8）。このようにするのは、後段の合成部11に抽出されなかった特徴点やこのような特徴点を含むフレームの番号を伝えて、抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの合成画像を、抽出された特徴点や、抽出された特徴点のみを含むフレームの合成画像とは異なる表示形態で作成させるためである。なお合成部11に伝えることが可能であれば、特徴点記憶部9を介して知らせることに限定するわけではなく、例えば検索部7から合成部11に直接伝えるようにすることも可能である。
【００３６】
なお抽出されなかった旨を伝える情報は、任意に設定することが可能である。例えば本実施例では図６に示すように、抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの番号に、事前に設定された下線を付加している。なお本発明はこれに限定するわけではない。
【００３７】
図６は、図３と同様に、各特徴点A〜Jの位置座標を概念的に示した図である。例えば第２フレーム51の口の特徴点、すなわち特徴点G2〜J2が抽出されなかったとすると、検索部は、第２フレーム51、およびこれらの特徴点の位置座標53、55、57、59に下線を引く。なお特徴点G2〜J2は、特徴点が抽出されていない、すなわち位置座標が算出されていないため、各位置座標53〜59にはデータが存在していない。
【００３８】
図５に戻って、その後特徴点抽出部5は、特徴点を抽出する残りのフレーム画あるか否かを判断し（ステップS9）、残りのフレームがある場合はステップS2へ戻り、また残りのフレームがない場合は特徴点を抽出する処理を終了する。以上のようにして特徴点抽出部5は特徴点を抽出し、また検索部7は特徴点抽出処理の際に形成される情報を基にして、特徴点が抽出されたか否かを判断する。よって、抽出されなかった特徴点の特定を簡単な構成で行うことが可能になり、また特徴点の抽出処理と、抽出されなかった特徴点の特定処理とを一度に行うことが可能になるため、処理を迅速に行うことが可能になる。
【００３９】
なお本発明はこれに限定するわけではなく、任意のやり方を採用することが可能である。例えば検索部7は、特徴点記憶部9に位置座標が記憶されるか否かを判断し、判断の結果、位置座標が記憶されない特徴点を、抽出されなかった特徴点として特定するようにしてもよい。なお本発明はこれに限定するわけではない。
【００４０】
図１に戻って、以上のようにして検索部7によって、特徴点が抽出されたか否かの判断が行われると、どのフレームの特徴点が抽出されなかったのかという情報、すなわち検索結果を編集者に伝えるために、合成部11が検索結果を反映させた合成画像を作成する。図７は、合成部11によって作成された、検索結果が反映された合成画像の一例を概念的に示した図であって、出力部21における出力例を概念的に示した図である。図７において図４と同じ参照番号は同様の構成要素を示す。
【００４１】
図７において、本実施例では第２フレームの特徴点G2〜J2が抽出されなかったため、合成部11は、第２フレームの輪郭を他のフレームよりも太くして合成画像45を作成し、この第２フレームに抽出されなかった特徴点が存在することを編集者に知らせている。なお本発明は図１２に示す例に限定するわけではなく、任意のやり方を採用し、抽出されなかった特徴点の存在を知らせることが可能である。例えば図示しないが、検索結果を反映させた合成画像を作成するのではなく、検索結果のみを示した一覧表等を作成して編集者に知らせてもよい。また例えば図示しないが合成画像の背景の色を変えたり、枠や背景を点滅させたりして、編集者に知らせるようにしてもよい。また例えば図８に示すように、合成画像の外側に検索結果を示す欄を追加し、そこに検索結果を記載するようにしてもよい。なお本発明はこれらの例に限定するわけではない。
【００４２】
図８は合成部によって作成された、検索結果が反映された合成画像の別の一例を概念的に示した図であって、出力部21における別の出力例を概念的に示した図である。図８に示す例では、合成画像を示す欄の他に、検索結果が示される欄71、73が別途設けられ、欄71にそのフレームに抽出されていない特徴点が存在するか否か表示され、欄73には、抽出されなかった特徴点が表示されている。
【００４３】
このようにして本実施例では、抽出されなかった特徴点を自動的に特定し、その結果を、例えば合成画像に反映したり、結果を示す欄等に示して編集者に知らせる。よって、編集者が抽出されなかった特徴点や、このような特徴点を含むフレームをすぐに見付けることが可能になり、このような特徴点を補完する作業を円滑に行うことが可能になる。
【００４４】
なお本発明は図１に示すように、検索部7を特徴点抽出部5に設けることに限定するわけではなく、アニメーション作成システム1に応じて任意の部分に設けることが可能である。例えば、図９に示すように、特徴点編集部83に設けることも可能である。図９は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図９において図１と同じ参照番号は同様の構成要素を示す。
【００４５】
図９に示すアニメーション作成システム81では、特徴点編集部83が検索部85を含んでいる。なお特徴点編集部83は、検索部85を含むだけであって、特徴点編集部13と同様のものである。検索部85は特徴点編集部83に存在し、特徴点記憶部9に記憶された特徴点の数や、特徴点の位置座標を用いて、抽出されなかった特徴点や、このような特徴点を含むフレームを特定する。
【００４６】
図9に示す検索部85には、特徴点A〜Jの数、および各特徴点A〜Jの位置を定義した、例えば図10に示すような規則91が予め記憶され、検索部85は、この規則90を用いて、抽出されなかった特徴点や、このような特徴点を含むフレームを特定する。また検索部85は抽出されなかった特徴点を特定すると、図１に示す検索部と同様に、特徴点記憶部7を介して合成部11にその旨を知らせる。
【００４７】
図10は、検索部85で用いる規則の一例を概念的に示した図である。図10においてmは正の整数である。図10において第１規則93は、「１つのフレームにおける特徴点は10個である。」という、特徴点A〜Jの数について規定したものであり、抽出されなかった特徴点を含むフレームを特定するための規則である。よって検索部85は、この第１規則93を用いて、特徴点記憶部に記憶されている各特徴点の位置座標の数が第１規則93に従っているか否か、すなわち位置座標が算出された特徴点が10個存在するか否かを判断し、第１規則93に従わないフレームを、抽出されなかった特徴点を含むフレームとして特定する。
【００４８】
また図10において、第２規則95は「右目の特徴点Eは左眼の特徴点Fよりも右側である。」という特徴点EとFの位置関係について定めたものである。同様にして第３規則97は、特徴点E〜Hの位置関係について定めたものである。図９に示す例では、第２規則95や第３規則97ように位置関係を定義した規則を用いることによって、抽出されなかった特徴点の特定、および抽出されていてもその位置が所望する位置にない特徴点の特定を行っている。
【００４９】
例えば、第２規則95に反する場合は、特徴点Eまたは特徴点Fが抽出されていないために存在しないか、または、特徴点Eが所望する位置に存在しないことを示している。このように位置関係を定義した規則を用いることで、抽出されなかった特徴点の特定に加えて、抽出されていてもその位置が所望する位置にない特徴点の特定が可能になるためこのましいが、本発明は図10に示す例に限定するわけではなく、用いる規則は、少なくとも抽出されなかった特徴点や、このような特徴点を含むフレームを特定することが可能な規則であればよい。
【００５０】
図11は、図９に示す検索部85における、規則91を用いた検索処理の処理手順の一例を示した流れ図である。図９、図11において、特徴点抽出部5が特徴点A〜Jを抽出してその位置座標が特徴点記憶部9に記憶されると、検索部85は、フレーム毎に特徴点A〜Jの位置座標を特徴点記憶部9から読み出す（ステップS1）。次に検索部85は、図10に示す規則91をそのフレーム、およびそのフレームにおける各特徴点A〜Jに適用し、そのフレームにおける特徴点の数や、特徴点の位置が各規則に従っているか否かを判断する（ステップS2）。
【００５１】
ステップS2の判断の結果、特徴点が規則に従っている場合は、残りのフレームがあるか否かを判断し（ステップS3）、残りのフレームが無い場合は処理を終了する。逆に残りのフレームがある場合はステップS1へ戻り、次のフレームにおける各特徴点の位置座標を読み出す。
【００５２】
一方、ステップS2における判断の結果、規則に従っていない特徴点が存在する場合は、図５におけるステップS9と同様に、その特徴点が抽出されなかった旨を伝える情報を特徴点記憶部9に付加する（ステップS4）。なお図９に示す例では、特徴点記憶部9に情報を経由して合成部11に伝えているが、本発明はこれに限定するわけではなく、例えば合成部に直接伝えてもよい。その後合成部11は、例えば図７や図８に示すような合成画像を作成し、抽出されなかった特徴点があることや、所望する位置から抽出されなかった特徴点があることを編集者に知らせる。
【００５３】
以上のようにして、図９に示す例では規則91を用いて抽出されなかった特徴点を特定し、その結果を、例えば合成画像に反映したり、結果を示す欄等に示して編集者に知らせる。よって、編集者がすぐに抽出されなかった特徴点や、このような特徴点を含むフレームを見付けることが可能になり、このような特徴点を補完する作業を円滑に行うことが可能になる。また規則を用いて特定する場合では、本実施例のように各特徴点の位置に関する規則も用意しておくことで、所望する位置から抽出されなかった特徴点や、アニメーションを作成する際に自然な動きと認められない位置にある特徴点等を自動的に特定することが可能になる。
【００５４】
なお本発明は図１、および図９に示す例に限定するわけではなく、任意のやり方を採用して抽出されなかった特徴点や、このような特徴点を含むフレームを特定することが可能である。例えば図示しないが図１と図９を組み合わせて、特徴点を抽出する際、および抽出後の両方のタイミングで抽出されなかった特徴点やこのような特徴点を含むフレームを特定するようにすることも可能であるし、また例えば、図示しないが検索部を特徴点抽出部や特徴点編集部とは別に設けることも可能である。検索部を特徴点抽出部や特徴点編集部とは別に設けた場合における抽出されなかった特徴点の特定は、例えば規則を用いたり、特徴点記憶部に記憶されるか否かを判断することにより可能である。なお本発明はこれに限定するわけではない。
【００５５】
図12は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図12において図１と同じ参照番号は同様の構成要素を示す。図12に示すアニメーション作成システム101では、特徴点編集部103が補完部105を含み、この補完部105によって、抽出されなかった特徴点を、予め設定された位置座標を用いて自動的に補完する。よって編集作業の負担をより軽減することが可能になって、より円滑に編集作業を進めることが可能になる。以下詳細に説明する。
【００５６】
図12において、特徴点編集部103は補完部105を含み、抽出されなかった特徴点を補完部によって自動的に補完する。なお特徴点編集部103は補完部105を含んでいるだけであって、特徴点編集部13と同様のものである。補完部105は特徴点編集部103に存在し、抽出されなかった特徴点を、予め設定された位置座標を用いて自動的に補完する、すなわち、抽出されなかった特徴点の位置座標を、予め設定された位置座標を用いて自動的に形成するものである。例えば図12に示す例では補完部105は、抽出されなかった特徴点を、１つ前のフレームにおける同じ種類の特徴点、すなわち映像における同じ部分から抽出される特徴点の位置座標を用いて自動的に補完する。
【００５７】
図13は、図12に示す補完部105における補完処理を概念的に示した図である。図13において、特徴点記憶部9に特徴点の位置座標が記憶されると、補完部105はこの特徴点記憶部9に記憶されている特徴点の位置座標を読み出す（ステップS1）。この読み出しは、例えばフレーム毎に行ってもよいし、または例えば特徴点A毎というように特徴点毎に行ってもよく、任意のやり方を採用することが可能である。また映像23に含まれるすべてのフレームや、抽出したすべての特徴点を読み出すことに限定するわけではなく、例えば編集者が指定した範囲のフレームや特徴点を読み出すことが可能である。
【００５８】
次に補完部105は、抽出されなかった特徴点が存在するか否かを判断する（ステップS2）。この判断には任意のやり方を採用することが可能である。例えば本実施例では、抽出されなかった特徴点には下線が引かれる等の情報が付加されているため、補完部105は情報が付加されているか否かを判断する。なお本発明はこれに限定するわけではなく、例えば検索部7から補完部105へ検索結果が直接伝わるようにしてもよい。
【００５９】
この判断の結果、抽出されなかった特徴点が存在しなかった場合、すなわちすべての特徴点が抽出されている場合はステップS5へ進み、例えばフレーム毎に補完処理を行っている場合は残りのフレームがあるか否かを判断し、また例えば特徴点毎に補完処理を行っている場合は残りの特徴点があるか否かを判断して（ステップS5）、ある場合はステップS1に戻って残りのフレーム、または特徴点を読み出し、ない場合は処理を終了する。
【００６０】
ステップS2における判断の結果、抽出されなかった特徴点が存在した場合は、この特徴点の座標位置を、１つ前のフレームにおける同じ種類の特徴点の座標位置を用いて補完する（ステップS3）。本実施例では、１つ前のフレームにおける同じ種類の特徴点の位置座標をそのまま用いて補完する。つまり、抽出されなかった特徴点の位置座標を、１つ前のフレームにおける同じ種類の位置座標にする。なお本発明はこの例に限定するわけではなく、例えば１つ前のフレームおよび１つ後のフレームにおける同じ種類の特徴点の位置座標を用いてこれらの中間点を算出し、この中間点を補完後の位置座標とすることも可能であるし、また例えば任意の数分前または後ろのフレームにおける同じ種類の特徴点の位置座標に、予め設定した変化量を加えたものを補完後の位置座標とすることも可能である。 また本発明は、抽出された特徴点の座標位置を用いることに限定するわけではなく、例えば予め特徴点記憶部9や補完部105に記憶しておいた座標位置を用いることも可能である。例えば自然な動きとなるように設定した位置座標を特徴点記憶部9や補完部105等に記憶させておき、補完部105にこの位置座標を用いて補完させてもよい。なお本発明は、なおこれらの例に限定するわけではない。
【００６１】
なお置換部105は、少なくとも抽出されなかった特徴点の位置座標を形成することが可能であれば、例えばフレーム毎に補完処理を行っている場合に、そのフレームにおいて抽出されている特徴点の位置座標も、他のフレームの特徴点の位置座標や、他のフレームの特徴点の位置座標を用いて算出された位置座標に変更する、すなわち特徴点を置換することも可能である。このように抽出されている特徴点を置換する場合では、例えば、抽出されなかった特徴点を含むフレームにおいて、抽出されているすべての特徴点の位置座標を置換してもよいし、また例えば編集者が合成画像等を見ながら選択した特徴点のみ置換するようにしてもよい。なお本発明はこれらの例に限定するわけではない。
【００６２】
その後、補完によって作成された位置座標や、置換も行った場合では置換された位置座標は、再び特徴点記憶部9に記憶される（ステップS4）。なお特徴点記憶部9に記憶する際に、例えば補完や置換により作成された位置座標であることを示す情報を付加して、補完や置換がされた特徴点と、これらがされなかった特徴点との表示形態を変えて合成画像を作成し、これらの区別が可能になるようにすることも可能である。例えば本実施例では、図14に示すように表示形態を区別している。
【００６３】
図14は補完が行なわれた場合の合成画像の一例を概念的に示した図である。図14において、図７と同じ参照番号は同様の構成要素を示す。例えば第２フレームの口の特徴点G2〜J2における位置座標が補完部105における補完処理により形成された場合では、合成部11は、第２フレームの枠を他のフレームよりの太くするとともに、補完により形成された口の特徴点G2〜J2を星型に、また補完、または置換されていない特徴点を四角にした合成画像45を作成し、編集者による両者の区別を可能にしている。なお図14では図示しないが、置換により位置座標が変更になった特徴点についても同様に、補完された特徴点、および補完や置換が行なわれなかった特徴点と表示形態を変えるとよい。
【００６４】
よって、編集者は合成画像43〜47を一目見ただけで、どのフレームにおけるどの特徴点が補完部105によって補完、または置換されたのかを把握することが可能になる。なお本発明はこの例に限定するわけではなく、任意のやり方を採用することが可能であり、例えば編集者に知らせないようにすることも可能である。
【００６５】
図13に戻って、補完部105は、補完や置換により形成された位置座標を記憶部9へ記憶させるとステップS5へ進み、残りの特徴点またはフレームがあるか否かを判断して、ある場合はステップS1に戻り、残りのフレームまたは特徴点を読み出し、ない場合は補完処理を終了する。以上のようにして抽出されなかった特徴点を補完部105で自動的に補完するため、編集者は残りの編集作業、例えば自然な動きとなるような位置に特徴点を動かす作業を行うだけで済むようになる。よって編集者への編集作業の負担を軽減することが可能になり、編集作業を迅速に行うことが可能になる。
【００６６】
なお本発明は補完部105を特徴点編集部103に設けることに限定するわけではなく、アニメーション作成システムに応じて任意の部分に設けることが可能である。例えば図示しないが、特徴点編集部が検索部と補完部を含むことも可能である。この場合補完部は、例えば検索部から検索結果を直接受け取り、補完処理を行うために用いる位置座標を位置座標記憶部等から読み出すことで補完処理を行うことが可能である。また例えば図15に示すように、特徴点抽出部に設けることも可能である。
【００６７】
図15は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図15において図１と同じ参照番号は同様の構成要素を示す。また特徴点抽出部123は、検索部125、補完部127を含むようになるだけであって、特徴点抽出部5と同様のものである。また検索部125も、検索結果を補完部127へ伝えるようになるだけであって、検索部7と同様のものであり、補完部127も、特徴点抽出部123に存在するようになるだけであって、補完部105と同様のものである。
【００６８】
図15に示すアニメーション作成システム121のように、補完部123を特徴点抽出部125に設けた場合は、例えば補完部127が一つ前のフレームにおける特徴点の位置座標を一時的に記憶しておき、次のフレームで抽出されなかった特徴点が検索部125によって特定された場合は、この１つ前のフレームにおける特徴点の位置座標を補完のために用いて補完処理を行うことが可能である。また例えば特徴点記憶部7に補完に用いる位置座標を予め記憶させておき、抽出されなかった特徴点が特定された場合は、補完部127がこの位置座標を読み出して補完処理を行ってもよい。
【００６９】
さらに例えばその次のフレームにおける同じ種類の特徴点の位置座標を用いて補完するようにしてもよい。例えばその次に抽出された同じ種類の特徴点で補完するようにすると、補完用に用いる特徴点を一時的に記憶しておく必要がなくなる。なお本発明はこれらの例に限定するわけではなく、任意のやり方を採用して補完処理を行うことが可能である。また補完部は、特徴点編集部、および特徴点抽出部に設けることに限定するわけではなく、アニメーション作成システムに応じて任意の場所に設けることが可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。
【図２】特徴点を抽出する処理を概念的に示した図である。
【図３】各特徴点の位置座標を概念的に示した図である。
【図４】合成部で作成された合成画像の一例を概念的に示した図である。
【図５】特徴点抽出部における特徴点の抽出処理、および検索部における抽出されなかった特徴点の特定処理の処理手順の一例を示した図である。
【図６】各特徴点の位置座標を概念的に示した図である。
【図７】検索結果が反映された合成画像の一例を概念的に示した図である。
【図８】検索結果が反映された合成画像の別の一例を概念的に示した図である。
【図９】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１０】規則の一例を概念的に示した図である。
【図１１】検索部における規則を用いた検索処理の処理手順の一例を示した流れ図である。
【図１２】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１３】補完部における補完処理を概念的に示した図である。
【図１４】補完が行なわれた場合の合成画像の一例を概念的に示した図である。
【図１５】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【符号の説明】
【００７１】
1 アニメーション作成システム
3 映像入力部
5 特徴点抽出部
7 検索部
9 特徴点記憶部
【技術分野】
【０００１】
本発明は、入力された映像から抽出された特徴点を基にして、アニメーションを作成するシステムおよび方法に関する。
【背景技術】
【０００２】
近年では、例えばテレビ、映画、ゲーム等においてコンピュータグラフィクス（Computer Graphics : CG）によるアニメーションがよく用いられるようになった。またこのようなアニメーションは、コミュニケーション分野において、例えばアバタ等のキャラクタに応用されることが増えているため、とくに顔の動きを表現するアニメーションのニーズが高まりつつある。しかし、アニメーションの作成には、多大な費用と時間が必要である。よって、より容易なやり方で、自然な動きに見えるアニメーションを作成する方法およびシステムが求められていた。
【０００３】
例えば特許文献１には、入力映像から人物の頭部、目、口等を抽出し、その情報を元にCGを用いてキャラクタの動きを制御したアニメーションを作成する方法が開示されている。また特許文献２には、マーカが付された被写体を複数の方向から撮影して、被写体が動いている映像を得、この映像から特徴点を抽出し、抽出した特徴点を基にしてアニメーションを作成する際に、抽出した特徴点の位置を補正したり、何かの陰に隠れて抽出されなかった特徴点を補間したりする等の編集を行う方法が開示されている。また特許文献３には、映像から顔が写っている部分を抽出し、この顔の画像から顔の各部、例えば目や鼻や口等と対応する部分を特徴点として抽出する装置が開示されている。
【特許文献１】特開２００３−８５５８３号公報
【特許文献２】特開平１０−２２２６６８号公報
【特許文献３】特開２００３−２８１５３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし特許文献１では、例えばテレビ電話等の通信システムでの利用を想定しているため、例えば人物の頭部や目や口等の抽出に失敗した場合や、誤って他の部分を頭部や目や口等として抽出してしまった場合等に、これらの抽出ミスを修正する修正手段がなく、その結果、緻密なアニメーションを作成できないという問題を有していた。また特許文献２、および特許文献３では、編集作業を補助する手段を含まないため、実際には作業量が膨大となってしまうという問題を有していた。
【０００５】
本発明はこのような従来技術の欠点を解消し、アニメーションを作成するために抽出した特徴点の編集作業を効率よく行うことが可能であり、またキャラクタの自然な動きを表現することが可能なアニメーション生成方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために本発明では、抽出されなかった特徴点や、このような特徴点を含むフレームを自動的に特定する。よって、抽出されていなかった特徴点を補う補完作業を効率よく行うことが可能になる。なおこの特定には任意のやり方を採用することが可能である。例えば顔の特徴点を抽出する場合では、顔の各部、例えば口や目や眉等を特定してから特徴点を抽出するため、抽出されなかった特徴点の特定は、顔の各部を特定できたか否かを判断することによって行うことが可能である。
【０００７】
また本発明では、予め設定された位置座標や、抽出された特徴点の位置座標を記憶しておき、これらを用いて抽出されていなかった特徴点を自動的に補完する。よって、編集者は特徴点の位置のみを変更すればよくなるため、特徴点の編集作業をより効率よく行うことが可能になる。
【発明の効果】
【０００８】
本発明によれば、効率よく特徴点を編集することが可能になる。
【発明を実施するための最良の形態】
【０００９】
次に添付図面を参照して本発明の実施例を詳細に説明する。図１は、本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。図１において、アニメーション作成システム1は、映像入力部3、特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、アニメーション作成部17、および出力部21を含み、動いている被写体を撮影した映像23から特徴点を抽出することで被写体の動きを抽出し、この抽出された特徴点に基づいてアニメーションを作成し、出力部21に出力するシステムである。
【００１０】
アニメーション作成システム1についてより具体的に説明すると、映像入力部3にはキャラクタにさせたい動きをしている被写体の映像23が入力される。映像入力部3にこのような映像23が入力されると、特徴点抽出部5がこの映像23からフレーム毎に特徴点を抽出する。特徴点は、アニメーションによりキャラクタの動きを制御する際に必要となる点、すなわち、動きを表現するのに必要となる主要な点である。抽出された特徴点は、特徴点記憶部9に記憶される。特徴点記憶部9に特徴点が記憶されると、特徴点編集部13がこれらの特徴点を編集し、その後、編集された特徴点が動作データ作成部15、アニメーション作成部17で用いられてアニメーションが作成される。本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。
【００１１】
なお、本発明は各部の構成を本実施例に限定するわけではなく、アニメーション作成システム1に応じて任意の構成を採用することが可能である。またアニメーション作成システム1は、例えば１つの装置で実現してもよいし、複数の装置で実現してもよい。例えば、アニメーション作成システム1を複数の装置で実現する場合には、図１に点線で示すように、映像入力部3、および出力部21をアニメーション受信側の端末装置31に含ませ、また特徴点抽出部5、検索部7、特徴点記憶部9、合成部11、特徴点編集部13、動作データ作成部15、およびアニメーション作成部17をアニメーション提供側の端末装置33に含ませるようにしてもよい。
【００１２】
このように2つの端末装置31、33でアニメーション作成システム1を構成した場合では、端末装置31は映像23を端末装置33へ送り、また端末装置33から作成されたアニメーションを受信する。また端末装置33は、受信した映像23から特徴点を抽出して特徴点記憶部9に記憶し、この記憶した特徴点を編集してアニメーションを作成し、端末装置31に提供する。
【００１３】
また例えば、図示しないがアニメーション提供側の端末装置33をさらに複数の端末装置で構成することも可能である。例えば特徴点抽出部5、検索部7および特徴点記憶部9をアニメーション提供側の第１の端末装置に含ませ、合成部11、特徴点編集部13、動作データ作成部15、およびアニメーション作成部17をアニメーション提供側の第２の端末装置に含ませるようにすることも可能である。なお複数の端末装置で実現することに限定するわけではなく、アニメーション作成システム1を1つの端末装置で実現してもよい。このような場合では、各部は図示しない制御部によって制御、統括される。なお本発明はこれらの例に限定するわけではない。
【００１４】
図１を用いて各部をより詳細に説明する。映像入力部3は、映像23が入力される部分である。この映像23は、動いている被写体を撮影したものである。また本実施例では映像23は、少なくとも２つのフレームを含んでいる。この映像23における被写体の動きは、アニメーション作成システム1で作成されるアニメーションで表現したい動き、すなわちアニメーションで表現されるキャラクタにさせたい動きである。例えば本実施例では、顔の動き、すなわち表情の変化をアニメーションで表現したいため、映像23は、顔の各部、例えば、目、鼻、口、眉等を動かして、表情を変えている人間の顔の映像である。
【００１５】
映像入力部3は、このような映像23が入力されると、入力された映像23を特徴点抽出部5へ供給する。特徴点抽出部5は、入力された映像23から、フレーム毎に特徴点を抽出する部分である。例えば本実施例では特徴点抽出部5は、入力された映像をフレーム毎、すなわち静止画毎に分け、この静止画から特徴点として設定された点、例えば目の中央や口の上下左右端点等を特定し、次にこの特定した点の位置座標を算出して特徴点を抽出する。
【００１６】
特徴点は、上述したようにアニメーションによりキャラクタの動きを制御する際に必要となる点であって、動きを表現する際に主要となる点である。例えば本実施例では、キャラクタの顔の表情が変化するアニメーションを作成するため、図２に示すように顔の動きを表現する際に必要な点を特徴点としている。図２は、特徴点を抽出する処理を概念的に示した図であり、アニメーション作成装置1に入力される映像23におけるあるフレーム37を概念的に示した図である。なお図２では１つのフレーム37のみを図示しているが、これは説明をわかりやすくするためであり、映像23には任意の数のフレームを含めることが可能である。
【００１７】
本実施例では図２に四角で示すように、右の眉毛の実質的に右端を特徴点A、右の眉毛の実質的に左端を特徴点B、左の眉毛の実質的に右端を特徴点C、左の眉毛の実質的に左端を特徴点D、右目の瞳を特徴点E、左眼の瞳を特徴点F、口の実質的に右端を特徴点G、口の実質的に左端を特徴点H、上唇の実質的に中央を特徴点I、および下唇の実質的に中央を特徴点Jとしている。なお本発明は図２に示す例に限定するわけではなく、動きに応じて任意の点を特徴点とすることが可能である。
【００１８】
よって、特徴点抽出部5は、フレーム毎に分けた各静止画から、これらの特徴点として設定された点を特定し、この点の位置を示す位置情報、例えば位置座標やある所定の点からの変化量等を算出して、特徴点の抽出を行う。この特徴点の抽出には、任意のやり方を採用することが可能である。例えば本実施例では図２に示すように映像23をフレーム毎の静止画に分け、この静止画を画像処理することによって、特徴点として設定された点A〜Jを特定する。その後、左下の端点39を原点、水平方向をx軸、および垂直方向をy軸として、点A〜Jの位置を示す座標、すなわち位置座標を算出して、特徴点A〜Jを抽出している。
【００１９】
なお本発明はこの例に限定するわけではなく、任意のやり方を採用することが可能である。例えば特徴点として定めた部分にマーカを付した被写体を撮影し、特徴点A〜Jを抽出する際は、対応するマーカの部分を特定して、この特定したマーカの位置座標を求めるようにすることも可能である。またフレーム毎に特徴点を抽出することに限定するわけではなく、最終的に各フレームの静止画像の所定の位置と対応する特徴点を得ることができれば、特徴点毎に抽出することも可能である。なお本発明はこれに限定するわけではない。
【００２０】
図３に、算出された各特徴点の位置座標の一例を示す。図３において、n は正の整数である。なお本実施例では、映像23のすべてのフレームから特徴点A〜Jを抽出している。これは後段の動作データ作成部13で、映像23に含まれているすべてのフレームにおける特徴点A〜Jから動作データを作成するためである。しかし本発明はこれに限定するわけではなく、後段の動作データ作成部13で必要となる分だけ特徴点を抽出することが可能である。また本実施例では説明を分かりやすくするために２次元にしているが、本発明はこれに限定するわけではなく、例えば作成するアニメーションが３次元の場合等では、x軸、およびy軸と直行するz軸をさらに設定して、３次元にすることも可能である。
【００２１】
特徴点抽出部5で算出された特徴点A〜Jの位置座標は、特徴点記憶部9へ送られる。特徴点記憶部9は、例えばメモリ等の記憶手段を含み、送られてきた特徴点A〜Jの位置座標を記憶する。記憶には、任意のやり方を採用して記憶することが可能であり、例えば図３に示すように特徴点A〜J毎の表を作成して記憶してもよい。なお本発明はこれに限定するわけではない。また特徴点記憶部9には、特徴点以外に、任意のものを記憶しておくことが可能であり、例えば本実施例では、特徴点記憶部9に、特徴点A〜Jを抽出した際に用いた画像、すなわち各フレームの静止画像も記憶されている。
【００２２】
特徴点記憶部9に特徴点A〜Jの位置座標が保存されると、合成部11が、特徴点記憶部9に格納された特徴点A〜Jの位置座標を用いて、例えば図４に示すように各特徴点を、これらを抽出した際に用いた画像に重ねた合成画像43、45、47を作成する。作成された合成画像43〜47は、出力部21に含まれているディスプレイ等に出力される。図４は合成画像を概念的に示した図である。なお図４には説明を分かり易くするために3つのフレーム分しか示していないが、合成部21は任意の数の合成画像を作成することが可能である。
【００２３】
本実施例では特徴点抽出部5がフレーム毎に特徴点A〜Jを抽出したため、合成部はフレーム毎に合成画像43〜47を作成し、これを横方向に連続させて表示している。なお、本発明はこれに限定するわけではなく、例えば合成画像を連続させて表示して、もとの映像23に特徴点を合成した映像にすることも可能である。このように合成画像43〜47を作成することにより、抽出された特徴点A〜Jが、抽出すると設定された点から抽出されているか否かを判断することが可能になり、また、フレームが変わるごとに特徴点A〜Jがどのように動くかを把握することが可能になるため、後段のアニメーション作成部15で作成されるキャラクタの動きを想定することが可能になる。
【００２４】
また特徴点記憶部9に特徴点A〜Jの位置座標が保存されると、動作データ作成部15が公知の手法を用いて、この保存された特徴点A〜Jの位置座標から、キャラクタにさせる動きの時間的変化を定義したデータである動作データを作成する。その後動作データは、アニメーション作成部17へと供給され、アニメーション作成部17で公知の手法を用いて、キャラクタが動作データに従った動きをするアニメーションが作成される。作成されたアニメーションは、出力部21へと供給される。出力部21は、例えばディスプレイやプリンタ等の出力手段を含み、アニメーション作成部17から供給されたアニメーションを例えばディスプレイ等に表示したり、プリンタから紙へと出力する。
【００２５】
以上のようにして動いている被写体を撮影した映像23から動きを抽出し、この抽出した動きに基づいた動きをするキャラクタのアニメーションが作成される。しかし、特徴点抽出部5で抽出された特徴点A〜Jの位置座標をそのまま用いて動作データを作成すると、被写体の動きそのものがおかしかったり、被写体をうまく撮影できていない映像であったり、特徴点抽出部5で特徴点を認識できずにこれらが抽出されなかった等の場合があり、キャラクタの動きが自然な動きにならない動作データが作成され、キャラクタの動きがおかしいアニメーションが作成されてしまう。よって自然な動きと認められるアニメーションを作成するために、特徴点編集部13で、特徴点の位置を変更したり、抽出されていなかった特徴点を補完する等の編集作業が行われる。
【００２６】
特徴点編集部13は、特徴点記憶部9と接続し、特徴点記憶部9に保存された各特徴点A〜Jの位置座標を補正したり、何かの影になって抽出されなかった特徴点を補完する等の編集作業を行うものである。編集作業は、例えば図示しないマウスやキーボード等の操作部から入力される編集者の操作信号により行われたり、または予め設定された位置変更用のプログラム等により自動的に行われる。編集後は、編集作業によって新たに形成された位置座標が、再び特徴点記憶部9に供給されて特徴点記憶部9に記憶される。その後、動作データ作成部15が、補正や補間が行われた後の特徴点A〜Jの位置座標から動作データを作成し、アニメーション作成部17が、動作データ作成部15で作成された動作データを基にしてアニメーションを作成する。
【００２７】
しかし従来では、抽出されなかった特徴点の補完作業は編集者による手作業で行われていたため、作業効率が悪いという問題を有していた。具体的に説明すると、従来では、編集者が出力部21に出力された合成映像を見ながら、特徴点が抽出されているか否かといった判断をし、その結果、抽出されていない特徴点がある場合は、例えばマウスやキーボード等を用いて特徴点を新たに形成したり、適当な位置座標を入力したりしていたため、作業効率が悪く、また抽出されていない特徴点が存在しても見落としてしまう等の問題があった。このような問題は、特徴点の数が増えれば増えるほど生じやすかった。そこで本実施例では検索部7を含み、この検索部7によって、特徴点抽出部5で抽出されなかった特徴点を自動的に特定し、その特徴点を補完するよう編集者に知らせる。以下、詳細に説明する。
【００２８】
図１において検索部7は、抽出されなかった特徴点を特定する部分である。図１に示す例では、検索部7は特徴点抽出部5に設けられ、特徴点抽出部5における抽出処理の際に形成される情報を用いて抽出されなかった特徴点を特定する。この抽出処理の際に形成される情報とは、特徴点を抽出する処理中に作成される情報であって、例えば図１に示す例では、図５に示すように特徴点として設定されている点の特定を行うか否かを判断した際に形成される情報を用いている。なお本発明はこれに限定するわけではなく、特徴点を抽出する処理中に作成される任意の情報を用いて、特徴点が抽出されたか否かを判断することが可能である。
【００２９】
図５は図１に示す特徴点抽出部5における特徴点の抽出処理、および検索部7における抽出されなかった特徴点の特定処理の処理手順の一例を示した図である。図５において、特徴点抽出部5は、映像入力部3から映像23が送られてくると、この映像23をフレーム毎の静止画像に分ける（ステップS1）。その後、特徴点抽出部5は、この静止画像から顔の領域、すなわち顔領域を抜き出す（ステップS2）。この顔領域の抜き出しには公知のやり方を採用することが可能である。例えば静止画像がカラー画像の場合では、予め設定した肌色の部分を静止画像から抜き出し、抜き出した肌色の部分から顔らしさの判断、例えば抜き出した部分が実質的に円形であるか否か等を判断することにより顔領域を抜き出すことが可能である。なお本発明はこのやり方に限定するわけではない。
【００３０】
次に特徴点抽出部5は、ステップS2の処理によって顔領域が抜き出されたか否かを、例えばその領域がどの程度円形であるかといった情報等から判断する（ステップS3）。この判断の結果、顔領域が抜き出されている場合はステップS4へ進み、顔領域から、例えば眉や、目や、鼻や、口等の、各部品毎のより小さい領域、すなわち顔部品領域をさらに抜き出す（ステップS4）。この顔部品領域の抜き出しにも公知のやり方を採用することが可能である。
【００３１】
例えば、顔領域を白から黒へのグラデーションによるモノクロ画像で表現すると、眉や目や口は他の部分、例えば頬等と比べて濃いグレーになる。よって、濃度の高い部分を特定することで眉を含む領域や、目を含む領域や、口を含む領域を抜き出すことが可能になる。同様にして例えば小鼻と頬との境目を特定して、鼻を含む領域を抜き出すことが可能である。
【００３２】
その後、特徴点抽出部5はステップS5へ進み、ステップS4の処理によって顔部品領域が抜き出されたか否かを、例えば濃度が高い部分があったか否か等によって判断する（ステップS5）。その結果、顔部品領域が抜き出されている場合はステップS6へ進み、顔部品領域からその領域に含まれている顔部品をさらに抜き出し、抜き出した顔部品における特徴点として抽出するよう設定された点を特定し、この点の位置座標を算出する（ステップS6）。この顔部品の抜き出し、特徴点の特定、および位置座標の算出も公知のやり方を採用することが可能である。
【００３３】
例えば、各顔部品の標準的な画像、およびこの標準的な画像における特徴点として設定された点の位置を示したデータを予め用意しておき、この標準的な画像と、抽出した領域とを比較してこの領域に含まれている顔部品、例えば目や口等を抜き出す。その後、抜き出した顔部品において、標準的な画像で特徴点として設定された点と対応する点を特徴点と特定し、この特徴点のフレームにおける位置座標を算出して特徴点の特定、および特徴点の位置座標の算出が可能である。なお本発明はこれに限定するわけではない。
【００３４】
なおステップS3における判断の結果、顔領域の抜き出しができなかった場合や、ステップS5における判断の結果、顔部品領域の抜き出しができなかった場合は、ステップS7へ進み、検索部7が、抜き出されなかった顔領域や顔部品領域から、抽出されなかった特徴点の特定や、このような特徴点を含むフレームの特定を行う（ステップS7）。例えば顔領域が抽出できなかった場合では、検索部7はこのフレームを、抽出されなかった特徴点を含むフレームとして特定する。また、顔部品領域が抽出できなかった場合では、検索部7はこの領域が抽出できなかった顔部品と対応する特徴点を、抽出されなかった特徴点として特定する。
【００３５】
その後特徴点抽出部5は、ステップS6で算出した各特徴点の位置座標を特徴点記憶部9へ記憶させる。また検索部7は、ステップS7で特定した抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの番号に、抽出されなかった旨を示す情報を付加する（ステップS8）。このようにするのは、後段の合成部11に抽出されなかった特徴点やこのような特徴点を含むフレームの番号を伝えて、抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの合成画像を、抽出された特徴点や、抽出された特徴点のみを含むフレームの合成画像とは異なる表示形態で作成させるためである。なお合成部11に伝えることが可能であれば、特徴点記憶部9を介して知らせることに限定するわけではなく、例えば検索部7から合成部11に直接伝えるようにすることも可能である。
【００３６】
なお抽出されなかった旨を伝える情報は、任意に設定することが可能である。例えば本実施例では図６に示すように、抽出されなかった特徴点や、抽出されなかった特徴点を含むフレームの番号に、事前に設定された下線を付加している。なお本発明はこれに限定するわけではない。
【００３７】
図６は、図３と同様に、各特徴点A〜Jの位置座標を概念的に示した図である。例えば第２フレーム51の口の特徴点、すなわち特徴点G2〜J2が抽出されなかったとすると、検索部は、第２フレーム51、およびこれらの特徴点の位置座標53、55、57、59に下線を引く。なお特徴点G2〜J2は、特徴点が抽出されていない、すなわち位置座標が算出されていないため、各位置座標53〜59にはデータが存在していない。
【００３８】
図５に戻って、その後特徴点抽出部5は、特徴点を抽出する残りのフレーム画あるか否かを判断し（ステップS9）、残りのフレームがある場合はステップS2へ戻り、また残りのフレームがない場合は特徴点を抽出する処理を終了する。以上のようにして特徴点抽出部5は特徴点を抽出し、また検索部7は特徴点抽出処理の際に形成される情報を基にして、特徴点が抽出されたか否かを判断する。よって、抽出されなかった特徴点の特定を簡単な構成で行うことが可能になり、また特徴点の抽出処理と、抽出されなかった特徴点の特定処理とを一度に行うことが可能になるため、処理を迅速に行うことが可能になる。
【００３９】
なお本発明はこれに限定するわけではなく、任意のやり方を採用することが可能である。例えば検索部7は、特徴点記憶部9に位置座標が記憶されるか否かを判断し、判断の結果、位置座標が記憶されない特徴点を、抽出されなかった特徴点として特定するようにしてもよい。なお本発明はこれに限定するわけではない。
【００４０】
図１に戻って、以上のようにして検索部7によって、特徴点が抽出されたか否かの判断が行われると、どのフレームの特徴点が抽出されなかったのかという情報、すなわち検索結果を編集者に伝えるために、合成部11が検索結果を反映させた合成画像を作成する。図７は、合成部11によって作成された、検索結果が反映された合成画像の一例を概念的に示した図であって、出力部21における出力例を概念的に示した図である。図７において図４と同じ参照番号は同様の構成要素を示す。
【００４１】
図７において、本実施例では第２フレームの特徴点G2〜J2が抽出されなかったため、合成部11は、第２フレームの輪郭を他のフレームよりも太くして合成画像45を作成し、この第２フレームに抽出されなかった特徴点が存在することを編集者に知らせている。なお本発明は図１２に示す例に限定するわけではなく、任意のやり方を採用し、抽出されなかった特徴点の存在を知らせることが可能である。例えば図示しないが、検索結果を反映させた合成画像を作成するのではなく、検索結果のみを示した一覧表等を作成して編集者に知らせてもよい。また例えば図示しないが合成画像の背景の色を変えたり、枠や背景を点滅させたりして、編集者に知らせるようにしてもよい。また例えば図８に示すように、合成画像の外側に検索結果を示す欄を追加し、そこに検索結果を記載するようにしてもよい。なお本発明はこれらの例に限定するわけではない。
【００４２】
図８は合成部によって作成された、検索結果が反映された合成画像の別の一例を概念的に示した図であって、出力部21における別の出力例を概念的に示した図である。図８に示す例では、合成画像を示す欄の他に、検索結果が示される欄71、73が別途設けられ、欄71にそのフレームに抽出されていない特徴点が存在するか否か表示され、欄73には、抽出されなかった特徴点が表示されている。
【００４３】
このようにして本実施例では、抽出されなかった特徴点を自動的に特定し、その結果を、例えば合成画像に反映したり、結果を示す欄等に示して編集者に知らせる。よって、編集者が抽出されなかった特徴点や、このような特徴点を含むフレームをすぐに見付けることが可能になり、このような特徴点を補完する作業を円滑に行うことが可能になる。
【００４４】
なお本発明は図１に示すように、検索部7を特徴点抽出部5に設けることに限定するわけではなく、アニメーション作成システム1に応じて任意の部分に設けることが可能である。例えば、図９に示すように、特徴点編集部83に設けることも可能である。図９は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図９において図１と同じ参照番号は同様の構成要素を示す。
【００４５】
図９に示すアニメーション作成システム81では、特徴点編集部83が検索部85を含んでいる。なお特徴点編集部83は、検索部85を含むだけであって、特徴点編集部13と同様のものである。検索部85は特徴点編集部83に存在し、特徴点記憶部9に記憶された特徴点の数や、特徴点の位置座標を用いて、抽出されなかった特徴点や、このような特徴点を含むフレームを特定する。
【００４６】
図9に示す検索部85には、特徴点A〜Jの数、および各特徴点A〜Jの位置を定義した、例えば図10に示すような規則91が予め記憶され、検索部85は、この規則90を用いて、抽出されなかった特徴点や、このような特徴点を含むフレームを特定する。また検索部85は抽出されなかった特徴点を特定すると、図１に示す検索部と同様に、特徴点記憶部7を介して合成部11にその旨を知らせる。
【００４７】
図10は、検索部85で用いる規則の一例を概念的に示した図である。図10においてmは正の整数である。図10において第１規則93は、「１つのフレームにおける特徴点は10個である。」という、特徴点A〜Jの数について規定したものであり、抽出されなかった特徴点を含むフレームを特定するための規則である。よって検索部85は、この第１規則93を用いて、特徴点記憶部に記憶されている各特徴点の位置座標の数が第１規則93に従っているか否か、すなわち位置座標が算出された特徴点が10個存在するか否かを判断し、第１規則93に従わないフレームを、抽出されなかった特徴点を含むフレームとして特定する。
【００４８】
また図10において、第２規則95は「右目の特徴点Eは左眼の特徴点Fよりも右側である。」という特徴点EとFの位置関係について定めたものである。同様にして第３規則97は、特徴点E〜Hの位置関係について定めたものである。図９に示す例では、第２規則95や第３規則97ように位置関係を定義した規則を用いることによって、抽出されなかった特徴点の特定、および抽出されていてもその位置が所望する位置にない特徴点の特定を行っている。
【００４９】
例えば、第２規則95に反する場合は、特徴点Eまたは特徴点Fが抽出されていないために存在しないか、または、特徴点Eが所望する位置に存在しないことを示している。このように位置関係を定義した規則を用いることで、抽出されなかった特徴点の特定に加えて、抽出されていてもその位置が所望する位置にない特徴点の特定が可能になるためこのましいが、本発明は図10に示す例に限定するわけではなく、用いる規則は、少なくとも抽出されなかった特徴点や、このような特徴点を含むフレームを特定することが可能な規則であればよい。
【００５０】
図11は、図９に示す検索部85における、規則91を用いた検索処理の処理手順の一例を示した流れ図である。図９、図11において、特徴点抽出部5が特徴点A〜Jを抽出してその位置座標が特徴点記憶部9に記憶されると、検索部85は、フレーム毎に特徴点A〜Jの位置座標を特徴点記憶部9から読み出す（ステップS1）。次に検索部85は、図10に示す規則91をそのフレーム、およびそのフレームにおける各特徴点A〜Jに適用し、そのフレームにおける特徴点の数や、特徴点の位置が各規則に従っているか否かを判断する（ステップS2）。
【００５１】
ステップS2の判断の結果、特徴点が規則に従っている場合は、残りのフレームがあるか否かを判断し（ステップS3）、残りのフレームが無い場合は処理を終了する。逆に残りのフレームがある場合はステップS1へ戻り、次のフレームにおける各特徴点の位置座標を読み出す。
【００５２】
一方、ステップS2における判断の結果、規則に従っていない特徴点が存在する場合は、図５におけるステップS9と同様に、その特徴点が抽出されなかった旨を伝える情報を特徴点記憶部9に付加する（ステップS4）。なお図９に示す例では、特徴点記憶部9に情報を経由して合成部11に伝えているが、本発明はこれに限定するわけではなく、例えば合成部に直接伝えてもよい。その後合成部11は、例えば図７や図８に示すような合成画像を作成し、抽出されなかった特徴点があることや、所望する位置から抽出されなかった特徴点があることを編集者に知らせる。
【００５３】
以上のようにして、図９に示す例では規則91を用いて抽出されなかった特徴点を特定し、その結果を、例えば合成画像に反映したり、結果を示す欄等に示して編集者に知らせる。よって、編集者がすぐに抽出されなかった特徴点や、このような特徴点を含むフレームを見付けることが可能になり、このような特徴点を補完する作業を円滑に行うことが可能になる。また規則を用いて特定する場合では、本実施例のように各特徴点の位置に関する規則も用意しておくことで、所望する位置から抽出されなかった特徴点や、アニメーションを作成する際に自然な動きと認められない位置にある特徴点等を自動的に特定することが可能になる。
【００５４】
なお本発明は図１、および図９に示す例に限定するわけではなく、任意のやり方を採用して抽出されなかった特徴点や、このような特徴点を含むフレームを特定することが可能である。例えば図示しないが図１と図９を組み合わせて、特徴点を抽出する際、および抽出後の両方のタイミングで抽出されなかった特徴点やこのような特徴点を含むフレームを特定するようにすることも可能であるし、また例えば、図示しないが検索部を特徴点抽出部や特徴点編集部とは別に設けることも可能である。検索部を特徴点抽出部や特徴点編集部とは別に設けた場合における抽出されなかった特徴点の特定は、例えば規則を用いたり、特徴点記憶部に記憶されるか否かを判断することにより可能である。なお本発明はこれに限定するわけではない。
【００５５】
図12は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図12において図１と同じ参照番号は同様の構成要素を示す。図12に示すアニメーション作成システム101では、特徴点編集部103が補完部105を含み、この補完部105によって、抽出されなかった特徴点を、予め設定された位置座標を用いて自動的に補完する。よって編集作業の負担をより軽減することが可能になって、より円滑に編集作業を進めることが可能になる。以下詳細に説明する。
【００５６】
図12において、特徴点編集部103は補完部105を含み、抽出されなかった特徴点を補完部によって自動的に補完する。なお特徴点編集部103は補完部105を含んでいるだけであって、特徴点編集部13と同様のものである。補完部105は特徴点編集部103に存在し、抽出されなかった特徴点を、予め設定された位置座標を用いて自動的に補完する、すなわち、抽出されなかった特徴点の位置座標を、予め設定された位置座標を用いて自動的に形成するものである。例えば図12に示す例では補完部105は、抽出されなかった特徴点を、１つ前のフレームにおける同じ種類の特徴点、すなわち映像における同じ部分から抽出される特徴点の位置座標を用いて自動的に補完する。
【００５７】
図13は、図12に示す補完部105における補完処理を概念的に示した図である。図13において、特徴点記憶部9に特徴点の位置座標が記憶されると、補完部105はこの特徴点記憶部9に記憶されている特徴点の位置座標を読み出す（ステップS1）。この読み出しは、例えばフレーム毎に行ってもよいし、または例えば特徴点A毎というように特徴点毎に行ってもよく、任意のやり方を採用することが可能である。また映像23に含まれるすべてのフレームや、抽出したすべての特徴点を読み出すことに限定するわけではなく、例えば編集者が指定した範囲のフレームや特徴点を読み出すことが可能である。
【００５８】
次に補完部105は、抽出されなかった特徴点が存在するか否かを判断する（ステップS2）。この判断には任意のやり方を採用することが可能である。例えば本実施例では、抽出されなかった特徴点には下線が引かれる等の情報が付加されているため、補完部105は情報が付加されているか否かを判断する。なお本発明はこれに限定するわけではなく、例えば検索部7から補完部105へ検索結果が直接伝わるようにしてもよい。
【００５９】
この判断の結果、抽出されなかった特徴点が存在しなかった場合、すなわちすべての特徴点が抽出されている場合はステップS5へ進み、例えばフレーム毎に補完処理を行っている場合は残りのフレームがあるか否かを判断し、また例えば特徴点毎に補完処理を行っている場合は残りの特徴点があるか否かを判断して（ステップS5）、ある場合はステップS1に戻って残りのフレーム、または特徴点を読み出し、ない場合は処理を終了する。
【００６０】
ステップS2における判断の結果、抽出されなかった特徴点が存在した場合は、この特徴点の座標位置を、１つ前のフレームにおける同じ種類の特徴点の座標位置を用いて補完する（ステップS3）。本実施例では、１つ前のフレームにおける同じ種類の特徴点の位置座標をそのまま用いて補完する。つまり、抽出されなかった特徴点の位置座標を、１つ前のフレームにおける同じ種類の位置座標にする。なお本発明はこの例に限定するわけではなく、例えば１つ前のフレームおよび１つ後のフレームにおける同じ種類の特徴点の位置座標を用いてこれらの中間点を算出し、この中間点を補完後の位置座標とすることも可能であるし、また例えば任意の数分前または後ろのフレームにおける同じ種類の特徴点の位置座標に、予め設定した変化量を加えたものを補完後の位置座標とすることも可能である。 また本発明は、抽出された特徴点の座標位置を用いることに限定するわけではなく、例えば予め特徴点記憶部9や補完部105に記憶しておいた座標位置を用いることも可能である。例えば自然な動きとなるように設定した位置座標を特徴点記憶部9や補完部105等に記憶させておき、補完部105にこの位置座標を用いて補完させてもよい。なお本発明は、なおこれらの例に限定するわけではない。
【００６１】
なお置換部105は、少なくとも抽出されなかった特徴点の位置座標を形成することが可能であれば、例えばフレーム毎に補完処理を行っている場合に、そのフレームにおいて抽出されている特徴点の位置座標も、他のフレームの特徴点の位置座標や、他のフレームの特徴点の位置座標を用いて算出された位置座標に変更する、すなわち特徴点を置換することも可能である。このように抽出されている特徴点を置換する場合では、例えば、抽出されなかった特徴点を含むフレームにおいて、抽出されているすべての特徴点の位置座標を置換してもよいし、また例えば編集者が合成画像等を見ながら選択した特徴点のみ置換するようにしてもよい。なお本発明はこれらの例に限定するわけではない。
【００６２】
その後、補完によって作成された位置座標や、置換も行った場合では置換された位置座標は、再び特徴点記憶部9に記憶される（ステップS4）。なお特徴点記憶部9に記憶する際に、例えば補完や置換により作成された位置座標であることを示す情報を付加して、補完や置換がされた特徴点と、これらがされなかった特徴点との表示形態を変えて合成画像を作成し、これらの区別が可能になるようにすることも可能である。例えば本実施例では、図14に示すように表示形態を区別している。
【００６３】
図14は補完が行なわれた場合の合成画像の一例を概念的に示した図である。図14において、図７と同じ参照番号は同様の構成要素を示す。例えば第２フレームの口の特徴点G2〜J2における位置座標が補完部105における補完処理により形成された場合では、合成部11は、第２フレームの枠を他のフレームよりの太くするとともに、補完により形成された口の特徴点G2〜J2を星型に、また補完、または置換されていない特徴点を四角にした合成画像45を作成し、編集者による両者の区別を可能にしている。なお図14では図示しないが、置換により位置座標が変更になった特徴点についても同様に、補完された特徴点、および補完や置換が行なわれなかった特徴点と表示形態を変えるとよい。
【００６４】
よって、編集者は合成画像43〜47を一目見ただけで、どのフレームにおけるどの特徴点が補完部105によって補完、または置換されたのかを把握することが可能になる。なお本発明はこの例に限定するわけではなく、任意のやり方を採用することが可能であり、例えば編集者に知らせないようにすることも可能である。
【００６５】
図13に戻って、補完部105は、補完や置換により形成された位置座標を記憶部9へ記憶させるとステップS5へ進み、残りの特徴点またはフレームがあるか否かを判断して、ある場合はステップS1に戻り、残りのフレームまたは特徴点を読み出し、ない場合は補完処理を終了する。以上のようにして抽出されなかった特徴点を補完部105で自動的に補完するため、編集者は残りの編集作業、例えば自然な動きとなるような位置に特徴点を動かす作業を行うだけで済むようになる。よって編集者への編集作業の負担を軽減することが可能になり、編集作業を迅速に行うことが可能になる。
【００６６】
なお本発明は補完部105を特徴点編集部103に設けることに限定するわけではなく、アニメーション作成システムに応じて任意の部分に設けることが可能である。例えば図示しないが、特徴点編集部が検索部と補完部を含むことも可能である。この場合補完部は、例えば検索部から検索結果を直接受け取り、補完処理を行うために用いる位置座標を位置座標記憶部等から読み出すことで補完処理を行うことが可能である。また例えば図15に示すように、特徴点抽出部に設けることも可能である。
【００６７】
図15は、本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。図15において図１と同じ参照番号は同様の構成要素を示す。また特徴点抽出部123は、検索部125、補完部127を含むようになるだけであって、特徴点抽出部5と同様のものである。また検索部125も、検索結果を補完部127へ伝えるようになるだけであって、検索部7と同様のものであり、補完部127も、特徴点抽出部123に存在するようになるだけであって、補完部105と同様のものである。
【００６８】
図15に示すアニメーション作成システム121のように、補完部123を特徴点抽出部125に設けた場合は、例えば補完部127が一つ前のフレームにおける特徴点の位置座標を一時的に記憶しておき、次のフレームで抽出されなかった特徴点が検索部125によって特定された場合は、この１つ前のフレームにおける特徴点の位置座標を補完のために用いて補完処理を行うことが可能である。また例えば特徴点記憶部7に補完に用いる位置座標を予め記憶させておき、抽出されなかった特徴点が特定された場合は、補完部127がこの位置座標を読み出して補完処理を行ってもよい。
【００６９】
さらに例えばその次のフレームにおける同じ種類の特徴点の位置座標を用いて補完するようにしてもよい。例えばその次に抽出された同じ種類の特徴点で補完するようにすると、補完用に用いる特徴点を一時的に記憶しておく必要がなくなる。なお本発明はこれらの例に限定するわけではなく、任意のやり方を採用して補完処理を行うことが可能である。また補完部は、特徴点編集部、および特徴点抽出部に設けることに限定するわけではなく、アニメーション作成システムに応じて任意の場所に設けることが可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明によるアニメーション作成システムの実施例の構成を概念的に示すブロック図である。
【図２】特徴点を抽出する処理を概念的に示した図である。
【図３】各特徴点の位置座標を概念的に示した図である。
【図４】合成部で作成された合成画像の一例を概念的に示した図である。
【図５】特徴点抽出部における特徴点の抽出処理、および検索部における抽出されなかった特徴点の特定処理の処理手順の一例を示した図である。
【図６】各特徴点の位置座標を概念的に示した図である。
【図７】検索結果が反映された合成画像の一例を概念的に示した図である。
【図８】検索結果が反映された合成画像の別の一例を概念的に示した図である。
【図９】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１０】規則の一例を概念的に示した図である。
【図１１】検索部における規則を用いた検索処理の処理手順の一例を示した流れ図である。
【図１２】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【図１３】補完部における補完処理を概念的に示した図である。
【図１４】補完が行なわれた場合の合成画像の一例を概念的に示した図である。
【図１５】本発明によるアニメーション作成システムの別の実施例の構成を概念的に示すブロック図である。
【符号の説明】
【００７１】
1 アニメーション作成システム
3 映像入力部
5 特徴点抽出部
7 検索部
9 特徴点記憶部
【特許請求の範囲】
【請求項１】
動いている被写体を撮影した映像から、キャラクタの動きを制御するための特徴点を抽出する特徴点抽出手段と、
該特徴点を編集する特徴点編集手段と、
該特徴点編集手段により編集された特徴点を基にして、前記キャラクタが動くアニメーションを作成するアニメーション作成手段とを含むアニメーション作成システムにおいて、該システムは、
前記特徴点抽出手段で抽出されなかった特徴点、および/または該抽出されなかった特徴点を含むフレームを特定する検索手段を含むことを特徴とするアニメーション作成システム。
【請求項２】
請求項１に記載のシステムにおいて、該システムはさらに、前記抽出されなかった特徴点を補完する特徴点補完手段を含むことを特徴とするアニメーション作成システム。
【請求項３】
請求項２に記載のシステムにおいて、前記映像は、少なくとも２つのフレームを含み、
前記特徴点抽出手段は、該フレーム毎に前記特徴点を抽出し、
前記特徴点補完手段は、該特徴点抽出手段で抽出されなかった特徴点を、該抽出されなかった特徴点を含むフレームではない前記フレームの特徴点の位置情報を用いて補完することを特徴とするアニメーション作成システム。
【請求項４】
請求項１ないし３のいずれかに記載のシステムにおいて、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成システム。
【請求項５】
動いている被写体を撮影した映像から、キャラクタの動きを制御するための特徴点を抽出する特徴点抽出工程と、
該特徴点を編集する特徴点編集工程と、
該特徴点編集手段により編集された特徴点を基にして、前記キャラクタが動くアニメーションを作成するアニメーション作成工程とを含むアニメーション作成方法において、該方法は、
前記特徴点抽出工程で抽出されなかった特徴点、および/または該抽出されなかった特徴点を含むフレームを特定する検索工程を含むことを特徴とするアニメーション作成方法。
【請求項６】
請求項５に記載の方法において、該方法はさらに、前記抽出されなかった特徴点を補完する特徴点補完工程を含むことを特徴とするアニメーション作成方法。
【請求項７】
請求項６に記載の方法において、前記映像は、少なくとも２つのフレームを含み、
前記特徴点抽出工程は、該フレーム毎に前記特徴点を抽出し、
前記特徴点補完工程は、該特徴点抽出手段で抽出されなかった特徴点を、該抽出されなかった特徴点を含むフレームではない前記フレームの特徴点の位置情報を用いて補完することを特徴とするアニメーション作成方法。
【請求項８】
請求項５ないし７のいずれかに記載の方法において、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成方法。
【請求項１】
動いている被写体を撮影した映像から、キャラクタの動きを制御するための特徴点を抽出する特徴点抽出手段と、
該特徴点を編集する特徴点編集手段と、
該特徴点編集手段により編集された特徴点を基にして、前記キャラクタが動くアニメーションを作成するアニメーション作成手段とを含むアニメーション作成システムにおいて、該システムは、
前記特徴点抽出手段で抽出されなかった特徴点、および/または該抽出されなかった特徴点を含むフレームを特定する検索手段を含むことを特徴とするアニメーション作成システム。
【請求項２】
請求項１に記載のシステムにおいて、該システムはさらに、前記抽出されなかった特徴点を補完する特徴点補完手段を含むことを特徴とするアニメーション作成システム。
【請求項３】
請求項２に記載のシステムにおいて、前記映像は、少なくとも２つのフレームを含み、
前記特徴点抽出手段は、該フレーム毎に前記特徴点を抽出し、
前記特徴点補完手段は、該特徴点抽出手段で抽出されなかった特徴点を、該抽出されなかった特徴点を含むフレームではない前記フレームの特徴点の位置情報を用いて補完することを特徴とするアニメーション作成システム。
【請求項４】
請求項１ないし３のいずれかに記載のシステムにおいて、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成システム。
【請求項５】
動いている被写体を撮影した映像から、キャラクタの動きを制御するための特徴点を抽出する特徴点抽出工程と、
該特徴点を編集する特徴点編集工程と、
該特徴点編集手段により編集された特徴点を基にして、前記キャラクタが動くアニメーションを作成するアニメーション作成工程とを含むアニメーション作成方法において、該方法は、
前記特徴点抽出工程で抽出されなかった特徴点、および/または該抽出されなかった特徴点を含むフレームを特定する検索工程を含むことを特徴とするアニメーション作成方法。
【請求項６】
請求項５に記載の方法において、該方法はさらに、前記抽出されなかった特徴点を補完する特徴点補完工程を含むことを特徴とするアニメーション作成方法。
【請求項７】
請求項６に記載の方法において、前記映像は、少なくとも２つのフレームを含み、
前記特徴点抽出工程は、該フレーム毎に前記特徴点を抽出し、
前記特徴点補完工程は、該特徴点抽出手段で抽出されなかった特徴点を、該抽出されなかった特徴点を含むフレームではない前記フレームの特徴点の位置情報を用いて補完することを特徴とするアニメーション作成方法。
【請求項８】
請求項５ないし７のいずれかに記載の方法において、前記映像は、顔の動きを撮影した映像であることを特徴とするアニメーション作成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００８−３６７３（Ｐ２００８−３６７３Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１６９９２１（Ｐ２００６−１６９９２１）
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２０日（２００６．６．２０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]