画像処理装置及び画像処理方法
【課題】ユーザによる操作をそのまま実時間で記録してアニメーションとする画像処理装置等において、複数部分の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなるよう、ユーザをアシスト可能な機能を提供することを目的とする。
【解決手段】 本発明による画像処理装置は、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備えている。かかる発明によれば、アニメーションを記録する際に、メトロノームのように所定のテンポでリズム音を鳴らすことが可能となるので、ユーザは、このリズム音を聞きながら入力デバイスを操作できる。
【解決手段】 本発明による画像処理装置は、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備えている。かかる発明によれば、アニメーションを記録する際に、メトロノームのように所定のテンポでリズム音を鳴らすことが可能となるので、ユーザは、このリズム音を聞きながら入力デバイスを操作できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、アニメーションを作成するための情報処理技術に関する。
【背景技術】
【０００２】
従来、直感的にアニメーションを作成する手法として、ユーザによる操作をそのまま実時間で記録してアニメーションとする手法が知られている。非特許文献１には、マウスのような通常の入力デバイスを用いて、多数の関節を持つ３次元キャラクタに対して複雑な動きを与えることのできる空間的キーフレーム法により、アニメーションを手軽に生成する手法が記載されている。
【非特許文献１】「空間的キーフレーム法によるキャラクターアニメーション」、［online］、［平成１８年５月３０日検索］、インターネット＜ＵＲＬ：http://www-ui.is.s.u-tokyo.ac.jp/~takeo/research/squirrel/index-j.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来のアニメーション作成手法では、例えば、足の動きと体全体の動きを同期させて歩いて移動しているアニメーションを作成するとき、足の動きと体全体の動きを別々に記録する必要がある。このとき、足の動きと体全体の動きのタイミングを合わせることは困難であり、また、各部の動きのタイミングが合わないと、動きが不自然になるという問題が生じている。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、ユーザによる操作をそのまま実時間で記録してアニメーションとする画像処理装置および方法において、複数部分の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなるよう、ユーザをアシスト可能な機能を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明による画像処理装置は、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備えている。かかる発明によれば、アニメーションを記録する際に、メトロノームのように所定のテンポでリズム音を鳴らすことができる。ユーザは、このリズム音を聞きながら入力デバイスを操作できるので、キャラクタ画像の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなる。
【０００６】
また、本発明による画像処理装置は、画像データを格納する格納手段と、格納手段に格納された画像データに基づいて得られる画像を表示する表示手段と、表示手段に表示されるカーソルを操作して、表示手段に表示されている画像上の任意の位置を指定可能な入力手段と、装置全体の動作を制御する制御手段と、を備えている。そして、制御手段は、表示手段に表示されるキャラクタ画像の任意の部分が入力手段によりドラッグされると、入力手段によるドラッグの動きに追従して、キャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備える。
【０００７】
このとき、制御手段は、録画手段により記録されたキャラクタ画像の動きを、打拍手段の出力するリズム音に同期するよう修正する調整手段を備えることが望ましい。
【０００８】
また、本発明による画像処理方法は、装置全体の動作を制御する制御手段を備える画像処理装置において、動画像の作成を補助する方法である。そして、制御手段が、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録するステップと、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力するステップと、を備えている。好適には、リズム音に同期するよう、記録されたキャラクタ画像の動きを修正するステップを備える。
【０００９】
本発明のプログラムは、本発明の画像処理方法の各処理ステップをコンピュータに実行させることを特徴とし、これを記録したＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの本発明の各種記録媒体を通じて読み取らせることにより、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
【００１０】
なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【発明の効果】
【００１１】
本発明の画像処理装置等によれば、ユーザによる操作をそのまま実時間で記録してアニメーションを作成する際に、ユーザを補助して、複数部分の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１は、本発明の実施の形態に係る画像処理装置の内部構成を概略的に示すブロック図である。
【００１４】
図１において、画像処理装置１００は、ユーザの指示を受付け画像処理装置１００の各部を制御するＣＰＵ（制御手段）１０と、画像を表示するために必要な画像データを格納すると共に画像処理を実行する際の作業領域を有するメモリ（格納手段）１２と、画像中の位置（座標）を指定（ポイント）するためのマウス（入力手段）２０からの入力を受け付ける入力コントローラ１４と、画像をディスプレイ（出力手段）２２に表示出力するための出力コントローラ１６とを備え、これらがバス１８を介して接続され、相互に情報を送受可能になっている。
【００１５】
ここで、マウス２０は、ディスプレイ２２に表示されるマウスカーソルを操作して、ディスプレイ２２に表示されている画像上の任意の箇所をポイントないしドラッグ等により指定することができるようになっている。また、ディスプレイ２２は、メモリ１２に格納されている画像データに基づいて得られるラスタ画像を表示する。
【００１６】
なお、専用又は汎用のコンピュータを、この画像処理装置１００に適用することができる。このとき、画像処理装置１００は、ＣＰＵ１０が、図示しないＲＯＭ又は外部記憶装置などに記憶された所定の画像処理プログラムを実行することにより、各種機能実現手段としてＣＰＵ１０を機能させ、本実施形態に係る画像処理装置１００を構成する。また、単一のコンピュータより構成されるものであっても、ネットワーク上に分散した複数のコンピュータより構成されるものであってもよい。
【００１７】
図２は、本実施形態に係る画像処理装置１００のディスプレイ２２に表示される画面の一例である。同図に示すとおり、表示画面は、絵を描くためのキャンバス枠４０と、キャンバス枠４０に描いたキャラクタ画像４２（以下、単に「キャラクタ４２」という。）にアニメーション処理を施す際に利用されるコントロールパネル５０と、を備えている。
【００１８】
まず、ユーザは、キャンバス枠４０内に絵を描いて、又はファイル読出しして、キャラクタ４２を描画する。図２では、「タコ」をモチーフにしたキャラクタ４２が描画されているが、キャラクタ４２は「タコ」に限定されず、描画されている絵の中でアニメーション処理を施そうとするものであれば、如何なるものでもよいことは言うまでも無い。なお、本実施形態では、キャンバス枠４０の周縁部にも絵を描画できるようになっていて、キャンバス枠４０からはみ出して絵を描くこともできる。はみ出た部分が必要であれば、後でキャンバス枠４０内に移動できるようになっている。こうして、ユーザはキャンバス枠４０からはみ出さないように気を遣うことなく、創作活動に集中できる。
【００１９】
コントロールパネル５０は、キャラクタ４２の動きを記録する録画ボタン５２と、記録された動きを再生する再生ボタン５４と、キャラクタ４２に制御点４４を設定するための制御点設定ボタン５６と、を備えている。この制御点４４の詳細は後述する。さらに、キャラクタ４２の動きを記録する際に、一定間隔でリズムを発するようにするためのメトロノームボタン５８と、発せられるリズムの音源を設定する音源ボタン６０と、３拍子、４拍子等のリズムを設定する拍子設定ボタン６２と、発せられるリズムの間隔（メトロノームの打拍テンポ）を設定するスライダ６４と、打拍テンポを表示するテンポ表示部６６と、を備えている。
【００２０】
なお、本実施形態において「ボタン」とは、例えば、コントロールパネル５０に表示されるアイコンやメニュー表示等の仮想的なボタンであり、マウスカーソルをボタン上に置いてマウス２０をクリック等すると、各ボタンを押下（選択）できるようになっている。
【００２１】
図３は、本実施形態に係る画像処理装置１００の備えるＣＰＵ１０により実現される機能構成の概略を示すブロック図である。同図に示すとおり、本実施形態に係るＣＰＵ１０は、所定の画像処理プログラムを実行することにより、録画手段３０と、打拍手段３２と、調整手段３４と、再生手段３６と、が実現される。
【００２２】
録画手段３０は、マウス２０が操作される動きに追従して、キャラクタ４２の動きを生成し、当該キャラクタ４２の動きを実時間で記録する機能を有している。打拍手段３２は、録画手段３０によりキャラクタ４２の動きを記録する際に、メトロノームのような所定間隔のリズム音を出力する機能を有する。調整手段３４は、打拍手段３２を用いて記録されたアニメーション画像の動きを調整して、打拍手段３２の出力したリズム音と同期して動くように修正する機能を有する。再生手段３６は、録画手段３０、打拍手段３２及び調整手段３４を用いて記録したキャラクタの動きを再現し、アニメーションとして再生する機能を有している。
【００２３】
以下、これらの手段を用いた処理の詳細について説明する。
【００２４】
（録画手段３０によるアニメーションの記録機能）
本実施形態において、ユーザはまず、ディスプレイ２２に表示されるキャラクタ４２の動きを付けたい任意の部分（例えば、頭、手、足など）にピンを刺すような要領で、制御点４４を打っていく。このとき、ユーザは、制御点設定ボタン５６を押して制御点を設定するためのモードに切り替えた上で、マウス２０を操作してディスプレイ２２上のマウスカーソルを動かして、キャラクタ４２の頭、手、足など、動きを付けたい部分の一点を指定して制御点４４を設定する。設定後、この制御点４４をドラッグすると、制御点４４に追随して、自然な動作でキャラクタ４２を動かすことができる。
【００２５】
例えば、足４６を１本動かしたい場合には、当該足４６にプロットした制御点４４をドラッグして動かすと、あたかも制御点４４を指でつまんで動かしているかのように、足４６を動かすことができるようになっている。このような制御点の動きに追従するアニメーションは、画像を三角形のメッシュ状に分割し、個々の三角形の面積ができる限り変わらないように制御点４４の動きに追従させる、というアルゴリズムを採用することにより、生成可能である。制御点４４の引っぱり具合によって、そのほかの部位も自然に変形させるとよい。
【００２６】
アニメーションを作成するときには、録画ボタン５２を押して記録を開始してから再度録画ボタン５２を押して記録を停止するまでの間に、ユーザが制御点４４をドラッグして動かしているキャラクタ４２を、録画手段３０の制御により録画する。なお、録画ボタン５２は、録画と停止が交互に切り替わるトグルボタンである。
【００２７】
また、録画の方式は、録画ボタン５２を押す（マウスクリック）と同時に記録が始まり、再度録画ボタン５２を押すと記録が終了する方式、録画ボタン５２を押した後、制御点４４がドラッグされている間のみ記録する方式、録画ボタン５２を押した後、後述の打拍手段３２によるリズムが鳴り始めたら（マウスを動かさなくても）記録が始まる方式、等を選択できるようになっている。リズムに連動して記録を始める方式の場合、記録の始まる前に録画されない予告リズム（カウントダウン）を鳴らすことも可能である。予告リズムを鳴らすことにより、ユーザは録画を開始するタイミングを容易に把握できる。
【００２８】
このようにして、制御点４４を移動させてキャラクタ４２が動く様子を、録画ボタン５２を押して実時間で記録しておくことにより、アニメーションを作成することができる。また、キャラクタ４２の動きは後から付け足していくことができるようになっている。したがって、例えば、まず足の１本だけに動きを付けた後、別の足に動きを付けて歩く動作を作り、それから上半身の動きを付けて、踊りながら歩いているようにアニメーションを作成することができる。
【００２９】
（打拍手段３２によるメトロノーム機能）
上述のとおり、ユーザは録画ボタン５２を押してから、制御点４４を使って、キャラクタ４２に動きを付けてアニメーションを作成していく。このとき、例えば、足の動きと体全体の動きを同期させて、歩いて移動しているアニメーションを作成するとき、各部の動きのタイミングが合わないと、動きが不自然になる。そこで、本発明においては、人間がマウスを操作してキャラクタ４２の動きを記録する際、メトロノームのように所定のテンポでリズム音を鳴らすことによって、複数部分の動きの同期や、繰り返し動作のタイミングを揃え易くしている。
【００３０】
本実施形態において、メトロノームボタン５８は、オン／オフを交互に切り替え可能なトグルボタンになっている。ユーザが、メトロノームボタン５８をオンに設定すると、打拍手段３２の制御により、キャラクタ４２を動かす際にタイミングを取るための補助・目安となる、メトロノームのようなリズム音が発せられる。一方、メトロノームボタン５８をオフに設定すると、リズム音を出さない。
【００３１】
メトロノームボタン５８をオン設定したときに発せられるリズム音は、スライダ６４を左右に動かすことにより、テンポを早くしたり遅くしたりすることができる。現在発せられているリズムのテンポは、テンポ表示部６６に数値で表示される。図３の例では、毎分１２０回のテンポでリズムが刻まれている。
【００３２】
また、リズム用の音源は複数種類用意されており、音源ボタン６０を押すと、音源が切り替わるようになっている。さらに、表紙設定ボタン６２を押すと、２拍子、３拍子、４拍子等、拍数が切り替わるようになっている。
【００３３】
このように、マウス２０を操作してキャラクタ４２の動きを記録・再生する画像処理装置において、所定のテンポでリズム音を出力することができるようになっている。ユーザは、画像処理装置が発するリズム音を聞きながらマウス２０を操作することによって、キャラクタ４２の動きのタイミングを揃えることができる。また、ユーザは、作成したいアニメーションの動きやユーザの気分等に合わせて、リズム音のテンポや音源、拍数を設定できるようになっている。
【００３４】
（調整手段３４によるクオンタイズ機能）
本実施形態では、打拍手段３２によりリズム音を鳴らしながらキャラクタ４２の動きを記録したとき、調整手段３４が、記録した内容に基づいてキャラクタ４２の各部の動きの軌跡を分析し、動く方向が大きく変わる時点の時間を修正し、打拍手段３２のリズムに動きを同期させるよう、記録内容を調整することが可能となっている。このように、動く方向が大きく変わる時点を、打拍手段３２のリズムに同期させるように記録内容を補正する処理を、クオンタイズ（Quantize）という。
【００３５】
クオンタイズ処理においては、まず、クオンタイズすべきポイント（制御点４４の位置及びその時間）を抽出し、次に、抽出されたポイントの時間をリズムに同期させるよう修正する。クオンタイズすべきポイントの抽出については、まず、リズム音のテンポよりも短い所定のクロック（単位時間）毎に、制御点４４の動きの速度ベクトルを求め、この速度ベクトルの変化量が、所定の閾値を越えているポイントをクオンタイズすべきポイントとして抽出する。抽出ポイントの時間の修正については、制御点が各抽出ポイントを通過する時間を、リズム音のタイミングと合わせるように修正する。
【００３６】
図４は、本実施形態におけるクオンタイズ処理の概略を示すイメージ図である。図４は、点Ａの位置にプロットされていた制御点４４が、軌跡７０のように動かされた（ドラッグされた）場合を想定している。ユーザはリズム音を聞きながら、そのリズムに合わせて、制御点４４を点Ａから点Ｂ→点Ｃ→点Ｄというように往復させたものとする。ここで、制御点４４は、記録の開始時ｔ＝０に点Ａ（ＸA，ＹA）に位置し、時刻ｔ＝１．１に点Ｂ（ＸB，ＹB）、時刻ｔ＝１．８に点Ｃ（ＸC，ＹC）、時刻ｔ＝２．９に点Ｄ（ＸD，ＹD）に位置するものとする。なお、ここで時刻ｔの時間幅は、打拍手段３２が拍子（リズム）を打つテンポに等しいものとする。
【００３７】
このとき、調整手段３４は、制御点４４の速度ベクトルの変化量を算出して、変化量が所定の閾値を超える３つのポイント（点Ｂ、点Ｃ、点Ｄ）を抽出する。そして、各抽出ポインごとに、時刻の端数を修正（例えば、四捨五入）する。こうして、クオンタイズ処理後の制御点４４は、時刻ｔ＝１に点Ｂ（ＸB，ＹB）、時刻ｔ＝２に点Ｃ（ＸC，ＹC）、時刻ｔ＝３に点Ｄ（ＸD，ＹD）に位置するものとなるよう修正される。そして、クオンタイズ処理により時間調整された分の画像処理（補間や間引き）を行い、アニメーションを仕上げる。
【００３８】
このクオンタイズ処理を施すことにより、例えば、２本の足の動きを付けて歩く様子を作成するような場合など、複数の部分を同時に動かすアニメーションを作成する場合に、複数の部分の動きを簡単に同期させることができるようになる。
【００３９】
（再生手段３６によるアニメーションの再生機能）
以上のようにして記録・修正されたキャラクタ４２の動きは、再生ボタン５４を押すことにより、アニメーションとして再生できるようになっている。
【００４０】
次に、以上のように構成される画像処理装置１００におけるアニメーション作成・再生処理の流れについて、具体的に説明する。
【００４１】
図５は、本実施形態におけるアニメーション作成処理の概略を示すフローチャートである。
【００４２】
まず、ユーザは、キャンバス枠４０に絵を描いたり、図示しない外部記憶装置から画像ファイルを読み出したりして、ディスプレイ２２にキャラクタ４２を表示させる（Ｓ８０）。次に、ユーザは、制御点設定ボタン５６を押して、キャラクタ４２の手・足等、動きを付けようとする部分に制御点４４を置いていく（Ｓ８２）。
【００４３】
その後、録画ボタン５２を押した後、制御点４４をドラッグして、キャラクタ４２の動きを記録する（Ｓ８４）。複数の部分を同時に動かしたい場合には、この録画処理を繰り返す。このとき、メトロノームボタン５８を押すと、所定のテンポでリズム音が鳴るので、ユーザはこのリズム音に合わせて制御点４４を動かすようにする。
【００４４】
そして、動きを記録した後、再生ボタン５４を押すと、記録した動きがアニメーションとして再生される（Ｓ８６）。クオンタイズ処理が施された場合には、各部分の動きのタイミングが同期して再生される。
【００４５】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上記実施形態における各処理ステップは、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００４６】
また、上述の実施形態においては、入力手段としてマウスを用いる例を示したが、入力手段はマウスに限定されず、スタイラスペン、タブレットペン等のポインティング・デバイスを利用してもよい。また、タッチパネルを用いて指で領域を指定してもよい。要は、表示された画像上の線をなぞる動きによって、線をスムーズにしたい部分を指定できるものであればよい。出力手段もディスプレイに限定されず、プロジェクタ等を利用してもよい。
【００４７】
さらに、本実施形態では、クオンタイズ処理を行うものとして説明したが、クオンタイズ処理を実行するか否かを選択できるようにしてもよい。
【図面の簡単な説明】
【００４８】
【図１】本画像処理装置の内部構成を概略的に示すブロック図である。
【図２】ディスプレイ２２に表示される画面の一例である。
【図３】機能構成の概略を示すブロック図である。
【図４】クオンタイズ処理の概略を示すイメージ図である。
【図５】アニメーション作成処理の概略を示すフローチャートである。
【符号の説明】
【００４９】
１０ ＣＰＵ（制御手段）
１２ メモリ（格納手段）
１４ 入力コントローラ
１６ 出力コントローラ
１８ バス
２０ マウス（入力手段）
２２ ディスプレイ（出力手段）
３０ 録画手段
３２ 打拍手段
３４ 調整手段
３６ 再生手段
１００ 画像処理装置
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、アニメーションを作成するための情報処理技術に関する。
【背景技術】
【０００２】
従来、直感的にアニメーションを作成する手法として、ユーザによる操作をそのまま実時間で記録してアニメーションとする手法が知られている。非特許文献１には、マウスのような通常の入力デバイスを用いて、多数の関節を持つ３次元キャラクタに対して複雑な動きを与えることのできる空間的キーフレーム法により、アニメーションを手軽に生成する手法が記載されている。
【非特許文献１】「空間的キーフレーム法によるキャラクターアニメーション」、［online］、［平成１８年５月３０日検索］、インターネット＜ＵＲＬ：http://www-ui.is.s.u-tokyo.ac.jp/~takeo/research/squirrel/index-j.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来のアニメーション作成手法では、例えば、足の動きと体全体の動きを同期させて歩いて移動しているアニメーションを作成するとき、足の動きと体全体の動きを別々に記録する必要がある。このとき、足の動きと体全体の動きのタイミングを合わせることは困難であり、また、各部の動きのタイミングが合わないと、動きが不自然になるという問題が生じている。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、ユーザによる操作をそのまま実時間で記録してアニメーションとする画像処理装置および方法において、複数部分の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなるよう、ユーザをアシスト可能な機能を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明による画像処理装置は、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備えている。かかる発明によれば、アニメーションを記録する際に、メトロノームのように所定のテンポでリズム音を鳴らすことができる。ユーザは、このリズム音を聞きながら入力デバイスを操作できるので、キャラクタ画像の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなる。
【０００６】
また、本発明による画像処理装置は、画像データを格納する格納手段と、格納手段に格納された画像データに基づいて得られる画像を表示する表示手段と、表示手段に表示されるカーソルを操作して、表示手段に表示されている画像上の任意の位置を指定可能な入力手段と、装置全体の動作を制御する制御手段と、を備えている。そして、制御手段は、表示手段に表示されるキャラクタ画像の任意の部分が入力手段によりドラッグされると、入力手段によるドラッグの動きに追従して、キャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、を備える。
【０００７】
このとき、制御手段は、録画手段により記録されたキャラクタ画像の動きを、打拍手段の出力するリズム音に同期するよう修正する調整手段を備えることが望ましい。
【０００８】
また、本発明による画像処理方法は、装置全体の動作を制御する制御手段を備える画像処理装置において、動画像の作成を補助する方法である。そして、制御手段が、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録するステップと、キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力するステップと、を備えている。好適には、リズム音に同期するよう、記録されたキャラクタ画像の動きを修正するステップを備える。
【０００９】
本発明のプログラムは、本発明の画像処理方法の各処理ステップをコンピュータに実行させることを特徴とし、これを記録したＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの本発明の各種記録媒体を通じて読み取らせることにより、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
【００１０】
なお、本明細書等において、手段とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。
【発明の効果】
【００１１】
本発明の画像処理装置等によれば、ユーザによる操作をそのまま実時間で記録してアニメーションを作成する際に、ユーザを補助して、複数部分の動きを同期させたり、繰り返し動作のタイミングを揃えたりし易くなる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。
【００１３】
図１は、本発明の実施の形態に係る画像処理装置の内部構成を概略的に示すブロック図である。
【００１４】
図１において、画像処理装置１００は、ユーザの指示を受付け画像処理装置１００の各部を制御するＣＰＵ（制御手段）１０と、画像を表示するために必要な画像データを格納すると共に画像処理を実行する際の作業領域を有するメモリ（格納手段）１２と、画像中の位置（座標）を指定（ポイント）するためのマウス（入力手段）２０からの入力を受け付ける入力コントローラ１４と、画像をディスプレイ（出力手段）２２に表示出力するための出力コントローラ１６とを備え、これらがバス１８を介して接続され、相互に情報を送受可能になっている。
【００１５】
ここで、マウス２０は、ディスプレイ２２に表示されるマウスカーソルを操作して、ディスプレイ２２に表示されている画像上の任意の箇所をポイントないしドラッグ等により指定することができるようになっている。また、ディスプレイ２２は、メモリ１２に格納されている画像データに基づいて得られるラスタ画像を表示する。
【００１６】
なお、専用又は汎用のコンピュータを、この画像処理装置１００に適用することができる。このとき、画像処理装置１００は、ＣＰＵ１０が、図示しないＲＯＭ又は外部記憶装置などに記憶された所定の画像処理プログラムを実行することにより、各種機能実現手段としてＣＰＵ１０を機能させ、本実施形態に係る画像処理装置１００を構成する。また、単一のコンピュータより構成されるものであっても、ネットワーク上に分散した複数のコンピュータより構成されるものであってもよい。
【００１７】
図２は、本実施形態に係る画像処理装置１００のディスプレイ２２に表示される画面の一例である。同図に示すとおり、表示画面は、絵を描くためのキャンバス枠４０と、キャンバス枠４０に描いたキャラクタ画像４２（以下、単に「キャラクタ４２」という。）にアニメーション処理を施す際に利用されるコントロールパネル５０と、を備えている。
【００１８】
まず、ユーザは、キャンバス枠４０内に絵を描いて、又はファイル読出しして、キャラクタ４２を描画する。図２では、「タコ」をモチーフにしたキャラクタ４２が描画されているが、キャラクタ４２は「タコ」に限定されず、描画されている絵の中でアニメーション処理を施そうとするものであれば、如何なるものでもよいことは言うまでも無い。なお、本実施形態では、キャンバス枠４０の周縁部にも絵を描画できるようになっていて、キャンバス枠４０からはみ出して絵を描くこともできる。はみ出た部分が必要であれば、後でキャンバス枠４０内に移動できるようになっている。こうして、ユーザはキャンバス枠４０からはみ出さないように気を遣うことなく、創作活動に集中できる。
【００１９】
コントロールパネル５０は、キャラクタ４２の動きを記録する録画ボタン５２と、記録された動きを再生する再生ボタン５４と、キャラクタ４２に制御点４４を設定するための制御点設定ボタン５６と、を備えている。この制御点４４の詳細は後述する。さらに、キャラクタ４２の動きを記録する際に、一定間隔でリズムを発するようにするためのメトロノームボタン５８と、発せられるリズムの音源を設定する音源ボタン６０と、３拍子、４拍子等のリズムを設定する拍子設定ボタン６２と、発せられるリズムの間隔（メトロノームの打拍テンポ）を設定するスライダ６４と、打拍テンポを表示するテンポ表示部６６と、を備えている。
【００２０】
なお、本実施形態において「ボタン」とは、例えば、コントロールパネル５０に表示されるアイコンやメニュー表示等の仮想的なボタンであり、マウスカーソルをボタン上に置いてマウス２０をクリック等すると、各ボタンを押下（選択）できるようになっている。
【００２１】
図３は、本実施形態に係る画像処理装置１００の備えるＣＰＵ１０により実現される機能構成の概略を示すブロック図である。同図に示すとおり、本実施形態に係るＣＰＵ１０は、所定の画像処理プログラムを実行することにより、録画手段３０と、打拍手段３２と、調整手段３４と、再生手段３６と、が実現される。
【００２２】
録画手段３０は、マウス２０が操作される動きに追従して、キャラクタ４２の動きを生成し、当該キャラクタ４２の動きを実時間で記録する機能を有している。打拍手段３２は、録画手段３０によりキャラクタ４２の動きを記録する際に、メトロノームのような所定間隔のリズム音を出力する機能を有する。調整手段３４は、打拍手段３２を用いて記録されたアニメーション画像の動きを調整して、打拍手段３２の出力したリズム音と同期して動くように修正する機能を有する。再生手段３６は、録画手段３０、打拍手段３２及び調整手段３４を用いて記録したキャラクタの動きを再現し、アニメーションとして再生する機能を有している。
【００２３】
以下、これらの手段を用いた処理の詳細について説明する。
【００２４】
（録画手段３０によるアニメーションの記録機能）
本実施形態において、ユーザはまず、ディスプレイ２２に表示されるキャラクタ４２の動きを付けたい任意の部分（例えば、頭、手、足など）にピンを刺すような要領で、制御点４４を打っていく。このとき、ユーザは、制御点設定ボタン５６を押して制御点を設定するためのモードに切り替えた上で、マウス２０を操作してディスプレイ２２上のマウスカーソルを動かして、キャラクタ４２の頭、手、足など、動きを付けたい部分の一点を指定して制御点４４を設定する。設定後、この制御点４４をドラッグすると、制御点４４に追随して、自然な動作でキャラクタ４２を動かすことができる。
【００２５】
例えば、足４６を１本動かしたい場合には、当該足４６にプロットした制御点４４をドラッグして動かすと、あたかも制御点４４を指でつまんで動かしているかのように、足４６を動かすことができるようになっている。このような制御点の動きに追従するアニメーションは、画像を三角形のメッシュ状に分割し、個々の三角形の面積ができる限り変わらないように制御点４４の動きに追従させる、というアルゴリズムを採用することにより、生成可能である。制御点４４の引っぱり具合によって、そのほかの部位も自然に変形させるとよい。
【００２６】
アニメーションを作成するときには、録画ボタン５２を押して記録を開始してから再度録画ボタン５２を押して記録を停止するまでの間に、ユーザが制御点４４をドラッグして動かしているキャラクタ４２を、録画手段３０の制御により録画する。なお、録画ボタン５２は、録画と停止が交互に切り替わるトグルボタンである。
【００２７】
また、録画の方式は、録画ボタン５２を押す（マウスクリック）と同時に記録が始まり、再度録画ボタン５２を押すと記録が終了する方式、録画ボタン５２を押した後、制御点４４がドラッグされている間のみ記録する方式、録画ボタン５２を押した後、後述の打拍手段３２によるリズムが鳴り始めたら（マウスを動かさなくても）記録が始まる方式、等を選択できるようになっている。リズムに連動して記録を始める方式の場合、記録の始まる前に録画されない予告リズム（カウントダウン）を鳴らすことも可能である。予告リズムを鳴らすことにより、ユーザは録画を開始するタイミングを容易に把握できる。
【００２８】
このようにして、制御点４４を移動させてキャラクタ４２が動く様子を、録画ボタン５２を押して実時間で記録しておくことにより、アニメーションを作成することができる。また、キャラクタ４２の動きは後から付け足していくことができるようになっている。したがって、例えば、まず足の１本だけに動きを付けた後、別の足に動きを付けて歩く動作を作り、それから上半身の動きを付けて、踊りながら歩いているようにアニメーションを作成することができる。
【００２９】
（打拍手段３２によるメトロノーム機能）
上述のとおり、ユーザは録画ボタン５２を押してから、制御点４４を使って、キャラクタ４２に動きを付けてアニメーションを作成していく。このとき、例えば、足の動きと体全体の動きを同期させて、歩いて移動しているアニメーションを作成するとき、各部の動きのタイミングが合わないと、動きが不自然になる。そこで、本発明においては、人間がマウスを操作してキャラクタ４２の動きを記録する際、メトロノームのように所定のテンポでリズム音を鳴らすことによって、複数部分の動きの同期や、繰り返し動作のタイミングを揃え易くしている。
【００３０】
本実施形態において、メトロノームボタン５８は、オン／オフを交互に切り替え可能なトグルボタンになっている。ユーザが、メトロノームボタン５８をオンに設定すると、打拍手段３２の制御により、キャラクタ４２を動かす際にタイミングを取るための補助・目安となる、メトロノームのようなリズム音が発せられる。一方、メトロノームボタン５８をオフに設定すると、リズム音を出さない。
【００３１】
メトロノームボタン５８をオン設定したときに発せられるリズム音は、スライダ６４を左右に動かすことにより、テンポを早くしたり遅くしたりすることができる。現在発せられているリズムのテンポは、テンポ表示部６６に数値で表示される。図３の例では、毎分１２０回のテンポでリズムが刻まれている。
【００３２】
また、リズム用の音源は複数種類用意されており、音源ボタン６０を押すと、音源が切り替わるようになっている。さらに、表紙設定ボタン６２を押すと、２拍子、３拍子、４拍子等、拍数が切り替わるようになっている。
【００３３】
このように、マウス２０を操作してキャラクタ４２の動きを記録・再生する画像処理装置において、所定のテンポでリズム音を出力することができるようになっている。ユーザは、画像処理装置が発するリズム音を聞きながらマウス２０を操作することによって、キャラクタ４２の動きのタイミングを揃えることができる。また、ユーザは、作成したいアニメーションの動きやユーザの気分等に合わせて、リズム音のテンポや音源、拍数を設定できるようになっている。
【００３４】
（調整手段３４によるクオンタイズ機能）
本実施形態では、打拍手段３２によりリズム音を鳴らしながらキャラクタ４２の動きを記録したとき、調整手段３４が、記録した内容に基づいてキャラクタ４２の各部の動きの軌跡を分析し、動く方向が大きく変わる時点の時間を修正し、打拍手段３２のリズムに動きを同期させるよう、記録内容を調整することが可能となっている。このように、動く方向が大きく変わる時点を、打拍手段３２のリズムに同期させるように記録内容を補正する処理を、クオンタイズ（Quantize）という。
【００３５】
クオンタイズ処理においては、まず、クオンタイズすべきポイント（制御点４４の位置及びその時間）を抽出し、次に、抽出されたポイントの時間をリズムに同期させるよう修正する。クオンタイズすべきポイントの抽出については、まず、リズム音のテンポよりも短い所定のクロック（単位時間）毎に、制御点４４の動きの速度ベクトルを求め、この速度ベクトルの変化量が、所定の閾値を越えているポイントをクオンタイズすべきポイントとして抽出する。抽出ポイントの時間の修正については、制御点が各抽出ポイントを通過する時間を、リズム音のタイミングと合わせるように修正する。
【００３６】
図４は、本実施形態におけるクオンタイズ処理の概略を示すイメージ図である。図４は、点Ａの位置にプロットされていた制御点４４が、軌跡７０のように動かされた（ドラッグされた）場合を想定している。ユーザはリズム音を聞きながら、そのリズムに合わせて、制御点４４を点Ａから点Ｂ→点Ｃ→点Ｄというように往復させたものとする。ここで、制御点４４は、記録の開始時ｔ＝０に点Ａ（ＸA，ＹA）に位置し、時刻ｔ＝１．１に点Ｂ（ＸB，ＹB）、時刻ｔ＝１．８に点Ｃ（ＸC，ＹC）、時刻ｔ＝２．９に点Ｄ（ＸD，ＹD）に位置するものとする。なお、ここで時刻ｔの時間幅は、打拍手段３２が拍子（リズム）を打つテンポに等しいものとする。
【００３７】
このとき、調整手段３４は、制御点４４の速度ベクトルの変化量を算出して、変化量が所定の閾値を超える３つのポイント（点Ｂ、点Ｃ、点Ｄ）を抽出する。そして、各抽出ポインごとに、時刻の端数を修正（例えば、四捨五入）する。こうして、クオンタイズ処理後の制御点４４は、時刻ｔ＝１に点Ｂ（ＸB，ＹB）、時刻ｔ＝２に点Ｃ（ＸC，ＹC）、時刻ｔ＝３に点Ｄ（ＸD，ＹD）に位置するものとなるよう修正される。そして、クオンタイズ処理により時間調整された分の画像処理（補間や間引き）を行い、アニメーションを仕上げる。
【００３８】
このクオンタイズ処理を施すことにより、例えば、２本の足の動きを付けて歩く様子を作成するような場合など、複数の部分を同時に動かすアニメーションを作成する場合に、複数の部分の動きを簡単に同期させることができるようになる。
【００３９】
（再生手段３６によるアニメーションの再生機能）
以上のようにして記録・修正されたキャラクタ４２の動きは、再生ボタン５４を押すことにより、アニメーションとして再生できるようになっている。
【００４０】
次に、以上のように構成される画像処理装置１００におけるアニメーション作成・再生処理の流れについて、具体的に説明する。
【００４１】
図５は、本実施形態におけるアニメーション作成処理の概略を示すフローチャートである。
【００４２】
まず、ユーザは、キャンバス枠４０に絵を描いたり、図示しない外部記憶装置から画像ファイルを読み出したりして、ディスプレイ２２にキャラクタ４２を表示させる（Ｓ８０）。次に、ユーザは、制御点設定ボタン５６を押して、キャラクタ４２の手・足等、動きを付けようとする部分に制御点４４を置いていく（Ｓ８２）。
【００４３】
その後、録画ボタン５２を押した後、制御点４４をドラッグして、キャラクタ４２の動きを記録する（Ｓ８４）。複数の部分を同時に動かしたい場合には、この録画処理を繰り返す。このとき、メトロノームボタン５８を押すと、所定のテンポでリズム音が鳴るので、ユーザはこのリズム音に合わせて制御点４４を動かすようにする。
【００４４】
そして、動きを記録した後、再生ボタン５４を押すと、記録した動きがアニメーションとして再生される（Ｓ８６）。クオンタイズ処理が施された場合には、各部分の動きのタイミングが同期して再生される。
【００４５】
なお、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上記実施形態における各処理ステップは、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
【００４６】
また、上述の実施形態においては、入力手段としてマウスを用いる例を示したが、入力手段はマウスに限定されず、スタイラスペン、タブレットペン等のポインティング・デバイスを利用してもよい。また、タッチパネルを用いて指で領域を指定してもよい。要は、表示された画像上の線をなぞる動きによって、線をスムーズにしたい部分を指定できるものであればよい。出力手段もディスプレイに限定されず、プロジェクタ等を利用してもよい。
【００４７】
さらに、本実施形態では、クオンタイズ処理を行うものとして説明したが、クオンタイズ処理を実行するか否かを選択できるようにしてもよい。
【図面の簡単な説明】
【００４８】
【図１】本画像処理装置の内部構成を概略的に示すブロック図である。
【図２】ディスプレイ２２に表示される画面の一例である。
【図３】機能構成の概略を示すブロック図である。
【図４】クオンタイズ処理の概略を示すイメージ図である。
【図５】アニメーション作成処理の概略を示すフローチャートである。
【符号の説明】
【００４９】
１０ ＣＰＵ（制御手段）
１２ メモリ（格納手段）
１４ 入力コントローラ
１６ 出力コントローラ
１８ バス
２０ マウス（入力手段）
２２ ディスプレイ（出力手段）
３０ 録画手段
３２ 打拍手段
３４ 調整手段
３６ 再生手段
１００ 画像処理装置
【特許請求の範囲】
【請求項１】
入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、
前記キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、
を備える画像処理装置。
【請求項２】
画像データを格納する格納手段と、
前記格納手段に格納された画像データに基づいて得られる画像を表示する表示手段と、
前記表示手段に表示されるカーソルを操作して、前記表示手段に表示されている画像上の任意の位置を指定可能な入力手段と、
装置全体の動作を制御する制御手段と、
を備え、
前記制御手段は、
前記表示手段に表示されるキャラクタ画像の任意の部分が前記入力手段によりドラッグされると、前記入力手段によるドラッグの動きに追従して、前記キャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、
前記キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、
を備える画像処理装置。
【請求項３】
前記制御手段は、
前記録画手段により記録されたキャラクタ画像の動きを、前記打拍手段の出力するリズム音に同期するよう修正する調整手段と、
を備える前記請求項２記載の画像処理装置。
【請求項４】
装置全体の動作を制御する制御手段を備える画像処理装置において、動画像の作成を補助する方法であって、
前記制御手段が、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録するステップと、
前記キャラクタ画像の動きを記録する際に、前記制御手段が、所定のテンポでリズム音を出力するステップと、
を備える画像処理方法。
【請求項５】
前記リズム音に同期するよう、前記記録されたキャラクタ画像の動きを修正するステップと、
を備える請求項４に記載の画像処理方法。
【請求項６】
請求項４又は５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、
前記キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、
を備える画像処理装置。
【請求項２】
画像データを格納する格納手段と、
前記格納手段に格納された画像データに基づいて得られる画像を表示する表示手段と、
前記表示手段に表示されるカーソルを操作して、前記表示手段に表示されている画像上の任意の位置を指定可能な入力手段と、
装置全体の動作を制御する制御手段と、
を備え、
前記制御手段は、
前記表示手段に表示されるキャラクタ画像の任意の部分が前記入力手段によりドラッグされると、前記入力手段によるドラッグの動きに追従して、前記キャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録する録画手段と、
前記キャラクタ画像の動きを記録する際に、所定のテンポでリズム音を出力する打拍手段と、
を備える画像処理装置。
【請求項３】
前記制御手段は、
前記録画手段により記録されたキャラクタ画像の動きを、前記打拍手段の出力するリズム音に同期するよう修正する調整手段と、
を備える前記請求項２記載の画像処理装置。
【請求項４】
装置全体の動作を制御する制御手段を備える画像処理装置において、動画像の作成を補助する方法であって、
前記制御手段が、入力手段が操作される動きに追従して、表示手段に表示されたキャラクタ画像の動きを生成し、当該キャラクタ画像の動きを実時間で記録するステップと、
前記キャラクタ画像の動きを記録する際に、前記制御手段が、所定のテンポでリズム音を出力するステップと、
を備える画像処理方法。
【請求項５】
前記リズム音に同期するよう、前記記録されたキャラクタ画像の動きを修正するステップと、
を備える請求項４に記載の画像処理方法。
【請求項６】
請求項４又は５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００７−３２３２９３（Ｐ２００７−３２３２９３Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５１８３４（Ｐ２００６−１５１８３４）
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（５０５０９７０１１）有限会社うるまでるびプロダクション (3)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（５０５０９７０１１）有限会社うるまでるびプロダクション (3)
【Ｆターム（参考）】
[ Back to top ]