制御情報生成装置および形状制御装置
【課題】音節の発音内容を規定した発音情報に基づいて、口を模した部分を持つ装置における口の形状を変化させる制御を行いながらも、口の形状の変化を自然なものにすること。
【解決手段】本発明の実施形態に係る形状制御システムにおいては、発音装置および口を模した部分を有する形状変化装置を、形状制御装置を用いて制御する。形状制御装置は、発音情報に基づいて発音装置を制御するとともに、発音情報から制御情報を生成して、この制御情報を用いて形状変化装置を制御する。形状制御装置は、発音情報から制御情報を生成するときに、口の形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を、予め決められたアルゴリズムに従って決定する。そして、形状制御装置は、口の形状が変化させるときには、遷移時間で徐々にその形状が変化するように形状変化装置を制御する。
【解決手段】本発明の実施形態に係る形状制御システムにおいては、発音装置および口を模した部分を有する形状変化装置を、形状制御装置を用いて制御する。形状制御装置は、発音情報に基づいて発音装置を制御するとともに、発音情報から制御情報を生成して、この制御情報を用いて形状変化装置を制御する。形状制御装置は、発音情報から制御情報を生成するときに、口の形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を、予め決められたアルゴリズムに従って決定する。そして、形状制御装置は、口の形状が変化させるときには、遷移時間で徐々にその形状が変化するように形状変化装置を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、口を模した部分を持つ装置における口の形状を音声の発音にあわせて制御する技術に関する。
【背景技術】
【０００２】
話をすることができる人型のロボットやＣＧ（Computer Graphics）において、声の発音と口の動きとを連動させること（リップシンク）により、本当に話をしているかのように見せる技術がある。リップシンクをＣＧに適用した一例として、特許文献１には、音節の母音の種類に対応した口の形状を持つ画像を示す画像データを予め記憶しておき、音節の発音に対応して画像を表示させる技術が記載されている。また、リップシンクをロボットに適用した例として、非特許文献１に開示された技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−６６３４５号公報
【非特許文献】
【０００４】
【非特許文献１】中岡慎一郎，金広文男，三浦郁奈子，森澤光晴，藤原清司，金子健二，梶田秀司，比留川博久：サイバネティックヒューマンＨＲＰ−４Ｃの開発 −顔動作作成システム−，第２７回日本ロボット学会学術講演会予稿集，２００９．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の先行技術文献によれば、音節の母音に対応して口の形状を変化させることができるが、現実には口の形状は様々に変化し、発音される音節の母音が変化して口の形状が変化する。そして、この変化は、見た目の自然さに与える影響は大きい。しかしながら、上述の先行技術文献によっては、現実には細かい制御を行うことはできなかった。
特許文献１に記載された技術においては、発音される音節に対応する画像を発音と同時に切り替えて表示する。そのため、発音と同時に表示される画像が突然切り替わることになり、視聴者からは不自然な動きに見えてしまう。
非特許文献１に記載された技術においては、自然な動きで口の形状を変化させるように、音節に応じた変化の態様を予め設定しておくことができる。しかしながら、この設定者は、発音される音節と口の形状の変化との時間的関係を予め調整しておく必要があり、煩雑なものとなっていた。
【０００６】
本発明は、上述の事情に鑑みてなされたものであり、音節の発音内容を規定した発音情報に基づいて、口を模した部分を持つ装置における口の形状を変化させる制御を行いながらも、口の形状の変化を自然なものにすることを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、複数の音節および前記各音節の発音タイミングを規定した発音情報に基づいて発音する発音装置の発音内容に対応して口を模した部分の形状が変化するように制御される装置の当該口の形状を制御するために用いられる制御情報を生成する制御情報生成装置であって、前記発音情報を取得する発音情報取得手段と、前記口の形状を示す形状情報、前記口の形状を当該形状情報が示す形状にするタイミングを示すタイミング情報、および当該形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を有する制御情報を、前記発音情報取得手段によって取得された発音情報に基づいて生成する生成手段であって、前記発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングに応じて前記タイミング情報を決定するとともに、予め決められたアルゴリズムに従って前記遷移情報を決定することによって、前記制御情報を生成する生成手段とを具備することを特徴とする制御情報生成装置を提供する。
【０００８】
また、別の好ましい態様において、前記遷移情報は、前記口の形状の変化を開始するタイミングを示す情報を有し、前記遷移情報が示す遷移時間は、当該情報が示すタイミングから当該変化した後の形状にするタイミングまでを示すことを特徴とする。
【０００９】
また、別の好ましい態様において、前記生成手段は、前記発音情報が示す音節の子音が特定の子音であるときには、当該子音に応じた前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有する制御情報を生成し、当該タイミング情報を当該音節の母音に応じた形状情報が示す形状にするタイミングより予め決められた時間だけ前のタイミングとして決定することを特徴とする。
【００１０】
また、別の好ましい態様において、前記生成手段は、一の前記形状情報が示す形状と、次の前記形状情報が示す形状とが同一であり、それぞれの形状情報に係るタイミング情報が示すタイミング間の時間が予め決められた時間より長い場合には、当該形状とは異なる前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有し、当該タイミング情報を当該タイミング間のいずれかのタイミングとして決定することを特徴とする。
【００１１】
また、本発明は、口を模した部分を有する装置における当該口の形状を制御する形状制御装置であって、発音させる複数の音節および発音タイミングを規定した発音情報に基づいて、発音装置に対して発音内容の制御を行う発音制御手段と、前記発音制御手段によって前記発音情報に基づいて発音制御が行われているときに、当該発音情報に基づいて前記口の形状を示す形状情報を出力する出力手段であって、当該発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングより予め決められた遷移時間前に当該形状情報を出力する出力手段と、前記出力手段から形状情報が出力されると、前記遷移時間をかけて前記口の形状を当該形状情報が示す形状に変化させるように、前記装置を制御する形状制御手段とを具備することを特徴とする形状制御装置を提供する。
【発明の効果】
【００１２】
本発明によれば、音節の発音内容を規定した発音情報に基づいて、口を模した部分を持つ装置における口の形状を変化させる制御を行いながらも、口の形状の変化を自然なものにすることができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る形状制御システム１の構成を示すブロック図である。
【図２】第１実施形態に係る発音情報の一例を説明する図である。
【図３】第１実施形態に係る形状対応情報を説明する図である。
【図４】第１実施形態に係る形状情報を説明する図である。
【図５】第１実施形態に係る形状制御機能の構成を示すブロック図である。
【図６】図２に示す発音情報に基づいて生成される制御情報を説明する図である。
【図７】第１実施形態に係る発音情報および制御情報を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図８】第１実施形態に係る発音情報の他の例を説明する図である。
【図９】図８に示す発音情報に基づいて生成される制御情報の他の例を説明する図である。
【図１０】図８に示す発音情報および図９に示す制御情報の例を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１１】第２実施形態に係る形状制御機能の構成を示すブロック図である。
【図１２】図２に示す発音情報に基づいて出力部から出力される内容の一例を説明する図である。
【図１３】図２に示す発音情報および図１２に示す出力内容を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１４】変形例１に係る制御情報の一例を説明する図である。
【図１５】図２に示す発音情報および図１４に示す制御情報を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１６】変形例２に係る発音情報の一例を説明する図である。
【図１７】図１６に示す発音情報に基づいて生成される目蓋制御情報を説明する図である。
【図１８】図１６に示す発音情報および図１７に示す目蓋制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。
【図１９】変形例２に係る形状情報を説明する図である。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
[全体構成]
図１は、本発明の第１実施形態に係る形状制御システム１の構成を示すブロック図である。形状制御システム１は、言葉を発音する発音装置２０、口を模した部分の形状が変化する形状変化装置３０、および発音装置２０の発音内容と形状変化装置３０における形状の変化内容とを制御する形状制御装置１０を有する。形状制御装置１０は、発音装置２０からの発音内容に対応して、形状変化装置３０における口の形状が変化するように制御する。
【００１５】
発音装置２０は、形状制御装置１０からの制御に従って音声波形信号を生成する音源やＤＳＰ（Digital Signal Processor）、および生成した音声波形信号を放音するスピーカを有する。形状変化装置３０は、この例においては、人型のロボットであり、その顔の部分に口を模した部分（以下、単に「口」という）を有する。形状変化装置３０は、形状制御装置１０からの制御により、この口の形状を変化させる。次に、形状制御装置１０の各構成について説明する。
【００１６】
[形状制御装置１０の構成]
形状制御装置１０は、制御部１１、記憶部１２、操作部１３、表示部１４およびインターフェイス１５を有する。これらの各要素は、バスを介して互いに接続されている。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有する。ＣＰＵは、ＲＯＭに記憶されている制御プログラムをＲＡＭにロードして実行することにより、形状制御装置１０の各部について、バスを介して制御し、各種機能を実現する。また、制御部１１は、記憶部１２、ＲＯＭなどに記憶された形状制御プログラムを実行することにより、発音装置２０と形状変化装置３０とを制御するための形状制御機能を実現する。ＲＡＭは、ＣＰＵが各データの加工などを行う際のワークエリアとしても機能する。
【００１７】
記憶部１２は、例えば、不揮発性メモリ、ハードディスクなどの記憶手段であって、発音情報、形状対応情報、形状制御機能において生成される制御情報を記憶する。上述した制御プログラムをＲＯＭの代わりに記憶していてもよい。なお、記憶部１２は、外付けの不揮発性メモリなどの記憶手段を、接続インターフェイスなどを介して接続したものであってもよい。記憶部１２に記憶された発音情報、形状対応情報について説明する。
【００１８】
図２は、第１実施形態に係る発音情報の一例を説明する図である。発音情報は、発音装置２０において発音させる内容を規定する情報である。発音情報は、図２に示すように、発音させる言葉を音節ごとに分けて、各音節の発音の「タイミング」、発音の「時間」（ｓｅｃ．）、「音高」（ＭＩＤＩ（Musical Instrument Digital Interface）データなどにおけるノートナンバに対応）が規定されている。発音のタイミングは、発音開始指示からの経過時間（ｓｅｃ．）で示したものである。なお、図２に示す発音情報においては、音節に対応する「文字」、その文字の音素（「子音」、「母音」）についても記載されているが、これらは各音節の内容がわかりやすいように記載したものである。したがって、発音情報は、音節に対応するこれらの情報全てを有する必要はなく、音節を特定できる情報を有していればよい。
【００１９】
図３は、第１実施形態に係る形状対応情報を説明する図である。形状対応情報は、音素と形状変化装置３０の口の形状を示す形状情報とを対応付けた情報である。形状情報に対応付けられた音素としては、各母音（「ａ」「ｉ」「ｕ」「ｅ」「ｏ」）、子音の一部（「ｍ」「ｐ」「ｂ」、など、以下、まとめて「唇音」という）および文字「ん」に対応する「（ｎ）」である。なお、「（ｎ）」は「な行」に対応する子音「ｎ」とは異なるものであることを明確にするため、図３においては、便宜上、母音として扱っている。形状情報は、この例においては、６種類（Ａ、Ｉ、Ｕ、Ｅ、Ｏ、Ｎ）が設定されている。形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」は、母音「ａ」「ｉ」「ｕ」「ｅ」「ｏ」に対応する。また、形状情報Ｎは、唇音および「（ｎ）」に対応している。
【００２０】
図４は、第１実施形態に係る形状情報を説明する図である。図４に示すように、形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」、「Ｎ」は、それぞれ「あ」、「い」、「う」、「え」、「お」、「ん」に対応した口の形状を示す情報である。
【００２１】
図１に戻って説明を続ける。操作部１３は、キーボード、マウス、表示部１４の表示画面の表面部分に設けられたタッチセンサなどの操作手段である。操作部１３は、利用者の操作によりその操作内容を示す操作データを制御部１１に出力する。操作内容としては、例えば、発音を開始する指示、制御情報を生成する指示などである。
表示部１４は、制御部１１の制御により画像を表示する表示画面を有する液晶ディスプレイなどの表示手段である。
【００２２】
インターフェイス１５は、例えば、外部装置と有線接続する接続端子、無線接続する無線接続手段、基地局やネットワークなどを介して接続する通信手段などであって、接続した外部装置と各種データの送受信を行う。インターフェイス１５は、この例においては、発音装置２０および形状変化装置３０が接続される。これにより、形状制御装置１０は、発音装置２０および形状変化装置３０と接続して、それぞれを制御する。
以上が、形状制御装置１０の各部の構成についての説明である。
【００２３】
[形状制御機能の構成]
次に、制御部１１が形状制御プログラムを実行することによって実現される形状制御機能について図５を用いて説明する。なお、以下に説明する形状制御機能を実現する各構成については、その一部または全部をハードウエアにより実現してもよい。
【００２４】
図５は、第１実施形態に係る形状制御機能の構成を示すブロック図である。制御部１１は、形状制御プログラムを実行することにより、発音情報取得部１１１、発音制御部１１２、生成部１１３および形状制御部１１４を構成して、形状制御機能を実現する。
発音情報取得部１１１は、利用者の操作などによる指示に応じて、記憶部１２から発音情報を取得する。発音情報取得部１１１は、この指示が制御情報の生成指示を含む場合には、取得した発音情報を生成部１１３に出力し、この指示が発音を開始する指示を含む場合には、発音制御部１１２に出力する。
【００２５】
発音制御部１１２は、発音情報取得部１１１から取得した発音情報に応じた発音内容で発音させるように、インターフェイス１５を介して発音装置２０を制御する。発音情報に応じた発音内容で発音させるとは、発音情報が示す音節を音声合成技術により音声波形信号に変換させ、その音節に対応したタイミング、時間、音高で、その音声波形信号を放音させることをいう。この音声合成技術は、公知の様々な技術を用いることができるが、この例においては、特許第３８７９４０２号公報に記載された技術を用いる。この技術においては、発音のタイミングは、母音の発音のタイミングを示すものである。そのため、発音制御部１１２は、子音を音素として有する音節においては、予め決められた時間（この例においては、０．０１秒とする）だけ前に子音に対応した音声波形信号が放音されるように発音装置２０を制御する。
【００２６】
また、発音制御部１１２は、発音情報におけるどの部分について発音させているかを示す同期情報を形状制御部１１４に対して出力する。これにより、発音制御部１１２における制御と形状制御部１１４における制御が同期して行えるようにする。なお、発音制御部１１２または形状制御部１１４は、それぞれにおける制御遅延を考慮して、同期情報を補正してもよい。
【００２７】
生成部１１３は、発音情報取得部１１１から取得した発音情報、および記憶部１２に記憶されている形状対応情報に基づいて、制御情報を生成して記憶部１２に記憶する。この制御情報は、形状情報、その形状情報が示す口の形状にするタイミング、および口の形状が変わるときにおける変化前から変化後までの遷移時間を規定した情報である。これらの各情報は、生成部１１３が発音情報および形状対応情報に基づいて決定する。なお、このタイミングは、発音情報と同様に発音開始指示からの経過時間を示すものである。
【００２８】
生成部１１３は、制御情報を生成するときには、まず、初期状態として形状情報Ｎとタイミング「０．００」とを対応付ける。そして、生成部１１３は、発音情報を参照して音節ごとに対応する形状情報を決定し、その音節に対応するタイミングを、形状を変化させるタイミングとする。このとき、生成部１１３は、音節が子音を有する場合には、形状を変化させるタイミングを０．０１秒早いタイミングに修正する。このタイミングの修正は、上述したように、発音制御部１１２における制御において、子音がある場合には、予め決められた時間だけ前に子音に対応する音声波形信号を放音することになるために行われる。
【００２９】
また、生成部１１３は、発音情報に規定されたタイミング、時間から、音節が発音されない期間が存在する場合には、その期間は口を閉じている状態にするために、その期間の開始タイミングと、形状情報Ｎとを対応付けて、制御情報に追加する。
【００３０】
生成部１１３は、さらに、初期値以外の各形状情報に対応して、予め決められたアルゴリズムに従って、遷移時間を決定する。この例においては、生成部１１３は、音節が発音されない期間として口を閉じている状態にしたり、口を閉じている状態から空けた状態にしたりする場合には遷移時間を０．０１秒、それ以外の口の形状を変化させる場合には遷移時間を０．０２秒として決定するものである。
なお、このアルゴリズムは、様々なものとすることができる。例えば、生成部１１３は、口の形状が変化する場合には、全て同じ遷移時間として決定するようにしてもよいし、予め決められた範囲内でランダムに遷移時間を決定してもよい。全て同一の遷移時間である場合には、形状制御部１１４あるいは形状変化装置３０に予め設定しておき、制御情報に遷移時間を示す情報が含まれていなくてもよい。また、生成部１１３は、発音情報における時間や音節の種類などに応じて変化するようにして遷移時間を決定してもよいし、利用者の操作によって指定された時間を遷移時間として決定してもよい。
【００３１】
図６は、図２に示す発音情報に基づいて生成される制御情報を説明する図である。図６に示す制御情報は、図２に示す発音情報、および図３に示す形状対応情報に基づいて生成されたものである。図２に示す発音情報が示す音節のうち、文字「さ」および「た」については子音があり、「い」については子音がない。そのため、例えば、「さ」に対応する形状情報「Ａ」については、タイミングが「０．２」ではなく０．０１秒早いタイミングの「０．１９」として決定されている。また、遷移時間は、上述のアルゴリズムに従って決定され、直前の形状情報が「Ｎ」のタイミング「０．１９」の形状情報「Ａ」、およびタイミング「２．００」の形状情報「Ｎ」についてが「０．０１」、それ以外が「０．０２」として決定されている。
【００３２】
図５に戻って説明を続ける。形状制御部１１４は、記憶部１２に記憶された制御情報に基づいて口の形状を変化させるように、インターフェイス１５を介して形状変化装置３０を制御する。この制御情報は、発音制御部１１２が制御に用いる発音情報に基づいて生成部１１３が生成した制御情報である。
このとき、形状制御部１１４は、発音制御部１１２から出力される同期情報により、発音制御部１１２が発音情報に基づいて行う発音装置２０の制御に同期して、形状変化装置３０の制御を行う。この同期とは、発音制御部１１２における発音情報に基づく制御と、形状制御部１１４における制御情報に基づく制御とが、同じ時間軸に沿って処理されることをいう。すなわち、発音情報が示すタイミングと制御情報が示すタイミングが同じ値である処理については、同じタイミングで行われる。
【００３３】
また、形状制御部１１４は、口の形状を変化させるときには、変化前の口の形状から変化後の形状までに遷移する時間が、制御情報に示される変化後の形状情報に対応した遷移時間となるように、形状変化装置３０を制御する。例えば、図６に示す制御情報において、タイミング「０．８」の形状情報「Ｉ」については、遷移時間「０．０２」である。従って、形状情報「Ａ」の口の形状から形状情報「Ｉ」の口の形状に変化するまでの遷移時間は、「０．０２秒」であることを示し、形状の変化が開始されるタイミングは、「０．８秒」より「０．０２秒」前の「０．７８秒」となる。すなわち、制御情報に示される「遷移時間」により、対応する口の形状へ変化する遷移時間だけでなく、制御情報に示される「タイミング」と組み合わせて、変化を開始するタイミングについても示すことになる。
【００３４】
また、形状制御部１１４は、変化前の口の形状から変化後の口の形状に至る遷移期間においては、徐々に口の形状が変化するように制御する。ここで、形状制御部１１４は、口の形状を徐々に変化させる場合には、遷移期間中の各タイミングにおける口の形状を、変化前後の口の形状から補間して決定する。なお、形状変化装置３０がこのような補間機能を備えている場合には、生成部１１３は、形状変化装置３０において形状を変化させるための制御に用いられる制御情報を生成し、形状制御部１１４は、徐々に変化させる処理を行わなくてもよい。
以上が、形状制御機能についての説明である。続いて、形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について、図７を用いて説明する。
【００３５】
[動作例]
図７は、第１実施形態に係る発音情報および制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。この例においては、発音情報は図２に示す内容、この発音情報により生成された制御情報は図６に示す内容であるものとして、説明する。
図７の上部に示されている音高と時刻との関係を示す図は、発音情報により規定されている内容を示すものである。その下に示されている「音素タイミング」については、発音装置２０から発音される内容を音素で表したものである。上述したように、子音を有する音節については、発音情報が示すタイミングで母音を示す音声波形信号が放音される。そして、子音を示す音声波形信号は、そのタイミングから予め決められた時間（０．０１秒）前に放音されるようになっている。
【００３６】
音素タイミングの下に示されている「口の形状」については、形状変化装置３０の口の形状を形状情報により示している。例えば、「Ｎ」と表されている期間は、形状情報Ｎに対応して口を閉じた形状に制御されている期間である。また、ハッチングされている部分は、口の形状が変化する遷移期間を示す。ここで、図７において、遷移ＸＹは、形状情報Ｘが示す口の形状から形状情報Ｙが示す口の形状へ遷移する期間を示している。例えば、遷移ＮＡは、形状情報Ｎが示す口の形状から形状情報Ａが示す口の形状へ遷移する期間を示している。
また、「口の形状」の下に示されている形状情報については、制御情報が示す形状情報とタイミングとの関係を示している。
【００３７】
このように、本発明の実施形態に係る形状制御システム１においては、発音装置２０および口を模した部分を有する形状変化装置３０を、形状制御装置１０を用いて制御する。形状制御装置１０は、発音情報に基づいて発音装置２０を制御するとともに、発音情報から制御情報を生成して、この制御情報を用いて形状変化装置３０を制御する。形状制御装置１０は、発音情報から制御情報を生成するときに、口の形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を、予め決められたアルゴリズムに従って決定する。そして、形状制御装置１０は、口の形状が変化させるときには、遷移時間で徐々にその形状が変化するように形状変化装置３０を制御する。
これにより、発音内容に応じて口の形状を自然に見えるように変化させることができる。また、形状制御装置１０は、このように形状を変化させるための制御に用いられる制御情報を生成することもできる。
【００３８】
[動作例２]
続いて、発音情報の内容が図２に示すものと異なる場合において、形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について説明する。
【００３９】
図８は、第１実施形態に係る発音情報の他の例を説明する図である。図９は、図８に示す発音情報に基づいて生成される制御情報を説明する図である。図８に示す発音情報は、図２に示す発音情報と大きく異なる点は、唇音をもつ音節が存在すること、発音時間が長い音節が存在することである。生成部１１３は、このような図８に示す発音情報に基づいて、図９に示す制御情報を生成する。
【００４０】
生成部１１３は、このような発音情報に基づいて制御情報を生成する場合には、上述した処理に加えて、以下に説明する処理を行う。生成部１１３は、発音時間が予め決められた時間Ｔａ（この例においては、「０．８秒」）を超える音節があり、かつ、この音節と次の音節とに対応する形状情報が同一である場合に、次の音節に対応する形状情報に対応するタイミングよりも予め決められた時間Ｔｓ（この例においては、「０．３秒」）前のタイミングから、その形状情報が示す口の形状を、開き方が小さくなるようにした形状にするように制御情報を生成する。この例においては、開き方を小さくした口の形状を示す形状情報は、元の形状情報に「（ｓ）」を付して表す。例えば、形状情報が「Ａ」である場合には、開き方を小さくした口の形状を示す形状情報は、「Ａ（ｓ）」として表す。
なお、開き方を小さくした口の形状を示す形状情報「Ａ（ｓ）」、「Ｉ（ｓ）」、「Ｕ（ｓ）」、「Ｅ（ｓ）」、「Ｏ（ｓ）」は、生成部１１３で生成されるのではなく、記憶部１２に記憶されていてもよい。この場合、生成部１１３は、記憶部１２から対応する形状情報を取得すればよい。また、この形状情報「Ａ（ｓ）」、「Ｉ（ｓ）」、「Ｕ（ｓ）」、「Ｅ（ｓ）」、「Ｏ（ｓ）」は、開き方を小さくした口の形状ではなくてもよく、形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」が示す口の形状と異なるものであればよい。
【００４１】
また、生成部１１３は、この場合においても開き方を小さくした口の形状を示す形状情報に対応して、予め決められたアルゴリズムに従って遷移時間（この例においては、「０．０１秒」）を決定する。
なお、文字「た」の発音時間は、時間Ｔａ以上となるが、これに対応する形状情報「Ａ」と、次に続く形状情報「Ｎ」とは異なるため、口の形状を小さく開くようにする処理は行わない。
【００４２】
また、生成部１１３は、発音情報が示す音節に唇音を持つものがある場合には、上述のようにその音節の母音に対応する形状情報ではなく、唇音に対応する形状情報「Ｎ」として決定して制御情報を生成する。すなわち、形状情報「Ｎ」に対応するタイミングは、その音節の子音に対応する音声波形信号が放音されるタイミングとして決定される。
そして、生成部１１３は、その音節に対応するタイミング、すなわち母音に対応する音声波形信号が放音されるタイミングを、その母音に対応する口の形状とするタイミングとして制御情報を生成する。この唇音に対する形状情報「Ｎ」から母音に対する形状情報に変化する遷移時間は、この例においては、「０．０１秒」とする。なお、生成部１１３は、母音に対応する口の形状とするタイミングを、母音に対応する音声波形信号が放音されるタイミングより前のタイミングとして決定してもよい。この場合には、生成部１１３は、対応する遷移時間についても短くなるように決定する。
【００４３】
図１０は、図８に示す発音情報および図９に示す制御情報の例を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１０の詳細な説明については、図７における場合と同様であるため省略する。なお、文字「ま」に対応する形状情報「Ｎ」は、すぐに形状情報「Ａ」に遷移を開始するため、図１０の記載においては、遷移ＡＮの後はすぐに遷移ＮＡになっている。
【００４４】
このようにして、形状制御装置１０は、同じ口の形状が続くように形状変化装置３０を制御する場合に、開き方が小さくなるように口の形状を変化させることで、発音内容に応じた口の形状の変化をより自然に見えるようにすることができる。また、発音させる音節が唇音を持つ場合には、一旦口を閉じるように変化させることで、口の形状の変化をさらに自然に見えるようにすることができる。
【００４５】
＜第２実施形態＞
第１実施形態において、形状制御装置１０は、生成部１１３により予め生成した制御情報を用いて、形状変化装置３０の口の形状を制御していた。第２実施形態においては、形状制御装置１０は、発音情報に基づいて発音装置２０の発音内容を制御しながら、リアルタイムに形状変化装置３０の口の形状を制御するものである。
第２実施形態における形状制御機能の構成について説明する。
【００４６】
[形状制御機能の構成]
図１１は、第２実施形態に係る形状制御機能の構成を示すブロック図である。制御部１１は、形状制御プログラムを実行することにより、発音情報取得部１１１Ａ、発音制御部１１２Ａ、形状制御部１１４Ａおよび出力部１１５を構成して、形状制御機能を実現する。
【００４７】
発音情報取得部１１１Ａは、利用者の操作などによる指示に応じて、記憶部１２から発音情報を取得する。発音情報取得部１１１Ａは、取得した発音情報を出力部１１５および発音制御部１１２Ａに出力する。
発音制御部１１２Ａは、第１実施形態における発音制御部１１２と同様の処理を行うが、発音情報におけるどの部分について発音させているかを示す同期情報については、出力部１１５に対して出力する。これにより、発音制御部１１２Ａにおける制御と出力部１１５からの出力が同期して行えるようにする。
形状制御部１１４Ａは、出力部１１５から出力される形状情報および遷移時間を示す情報を取得すると、形状変化装置３０の口の形状を形状情報が示す口の形状にするように変化を開始させ、徐々に口の形状を変化させ、遷移時間が経過するとその形状情報が示す口の形状になるように、形状変化装置３０を制御する。
【００４８】
出力部１１５は、発音情報取得部１１１Ａから取得した発音情報、記憶部１２に記憶されている形状対応情報、および発音制御部１１２Ａから出力される同期情報に基づいて、形状情報および遷移時間を示す情報を形状制御部１１４Ａに出力する。
出力部１１５は、発音制御部１１２Ａによる発音制御が開始されると、まず初期値として、形状情報「Ｎ」を出力する。そして、出力部１１５は、発音装置２０から音節が発音されるタイミングより遷移時間だけ前のタイミングに、その音節に対応する形状情報およびその遷移時間を示す情報を、形状制御部１１４Ａに対して出力する。
なお、出力部１１５は、予め決められたアルゴリズムに従って、遷移時間を決定する。このアルゴリズムは、第１実施形態において説明したように様々な態様があり得る。遷移時間が形状情報により変化せず、予め決められた時間とする場合には、遷移時間を形状制御部１１４Ａに予め設定しておけば、出力部１１５は、遷移時間を示す情報を出力しなくてもよい。
【００４９】
図１２は、図２に示す発音情報に基づいて出力部から出力される内容の一例を説明する図である。図１２に示す出力内容は、図２に示す発音情報、および図３に示す形状対応情報に基づいて、出力部１１５によって出力される内容を示したものである。例えば、出力部１１５は、タイミング「０．１８」において、形状情報「Ａ」、遷移時間「０．０１」を出力する。
以上が、第２実施形態における形状制御機能についての説明である。続いて、第２実施形態における形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について、図１３を用いて説明する。
【００５０】
[動作例]
図１３は、図２に示す発音情報および図１２に示す出力内容を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１３の詳細な説明については、図７における場合と同様であるため省略する。なお、図１３の下部に示す形状情報については、矢印が示すタイミングにおいて出力部１１５から出力される形状情報を示している。
このように、第２実施形態における形状制御システム１において、形状制御装置１０は、出力部１１５が形状情報を遷移開始タイミングにあわせて出力することにより、制御情報を生成することなく、発音情報に基づく発音装置２０および形状変化装置３０を同期して制御することができる。
【００５１】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した第１実施形態においては、生成部１１３が生成する制御情報には、遷移時間を示す情報が含まれていたが、別の態様で遷移時間を特定するようにしてもよい。遷移時間を特定する態様のうち、形状情報を用いて遷移時間を特定する場合の一例を、図１４を用いて説明する。
【００５２】
図１４は、変形例１に係る制御情報の一例を説明する図である。図１４が示す変形例１に係る制御情報は、上述した図６が示す第１実施形態に係る制御情報と、制御内容は同じである。変形例１に係る生成部１１３は、変化後の形状を示す形状情報の前の遷移を開始するタイミングに対応して、変化前の形状を示す形状情報を有する制御情報を生成する。すなわち、制御情報は、形状情報が必ず２つセットとして規定される。これにより、２つ目の形状情報に対応するタイミングが、口の形状変化の遷移が開始されるタイミングとなる。そして、遷移開始のタイミングから次の形状情報に対応するタイミング（遷移終了タイミング）までが遷移時間となる。このように制御情報は、遷移時間を示す情報を含んでいれば、どのような態様で含んでいてもよい。
【００５３】
図１５は、図２に示す発音情報および図１４に示す制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１５の詳細な説明については、図７における場合と同様であるため省略する。図１５に示すように、遷移期間の開始タイミングおよび終了タイミングは、変化前の形状を示す形状情報と、変化後の形状を示す形状情報とに挟むようにして制御情報に規定される。
【００５４】
[変形例２]
上述した実施形態において、形状制御装置１０は、形状変化装置３０における口の形状以外の形状についても制御してもよい。例えば、形状変化装置３０が目を模した部分（以下、単に「目」という）を有し、目の開閉が可能に構成されていれば、形状制御装置１０は、この開閉を制御するようにしてもよい。この場合の形状制御装置１０の構成について説明する。
【００５５】
変形例２において、記憶部１２は、目の形状を示す形状情報を記憶している。この例において、形状情報「ＯＰＥＮ」「ＣＬＯＳＥ」は、それぞれ開状態、閉状態の目の形状を示すものとする。
変形例２において、生成部１１３は、発音情報に基づいて、目蓋制御情報を生成して記憶部１２に記憶する。この目蓋制御情報は、形状情報、その形状情報が示す目の形状にするタイミング、および目の形状が変わるときにおける変化前から変化後までの遷移時間を規定した情報である。これらの各情報は、生成部１１３が発音情報および形状対応情報に基づいて決定する。なお、このタイミングは、発音情報と同様に発音開始指示からの経過時間を示すものである。
【００５６】
生成部１１３は、目蓋制御情報を生成するときには、この例においては、発音情報が示す各音節の発音時間に基づいて、形状情報を「ＯＰＥＮ」または「ＣＬＯＳＥ」のいずれかに決定する。生成部１１３は、予め決められたアルゴリズムに従って、形状情報を決定する。この例においては、生成部１１３は、特定の範囲の時間から、音節ごとにランダムに時間Ｔｂを決定し、その音節の発音時間が時間Ｔｂを超える場合に、その音節に対応する形状情報を「ＣＬＯＳＥ」として決定する。そして、生成部１１３は、形状情報が「ＣＬＯＳＥ」となる条件を満たさない音節に対応する形状情報を「ＯＰＥＮ」として決定する。
【００５７】
なお、生成部１１３は、このような形状情報の決定に限定されることなく、様々な態様で形状情報の決定を行うことができる。例えば、生成部１１３は、音節を構成する音素（子音、母音）の種類、組み合わせ、音高、前後の音節のつながり（フレーズの流れ）に基づいて、形状情報を決定してもよい。また、生成部１１３は、音節の発音時間が一定の時間Ｔｃを超えた場合には、形状情報を一定の確率で「ＣＬＯＳＥ」となるように決定してもよい。
生成部１１３における形状情報の決定にランダム性を持たせることで、同じフレーズが続いた場合でも、常に同じ部分で目を閉じてしまうといったことを回避することができる。
生成部１１３は、遷移時間については、第１実施形態における制御情報における遷移時間と同様に、予め決められたアルゴリズムに従って決定する。
【００５８】
変形例２において、形状制御部１１４は、記憶部１２に記憶された目蓋制御情報に基づいて、目の開閉を変化させるように、インターフェイス１５を介して形状変化装置３０を制御する。この目蓋制御情報は、発音制御部１１２が制御に用いる発音情報に基づいて生成部１１３が生成した目蓋制御情報である。形状制御部１１４における目蓋制御情報に基づく制御は、第１実施形態における制御情報に基づく制御と制御対象が異なるだけである。そのため、形状制御部１１４における目蓋制御情報に基づく制御の内容については、詳細の説明を省略する。
次に、発音情報を例示して、変形例２における発音装置２０および形状変化装置３０の動作について説明する。
【００５９】
図１６は、変形例２に係る発音情報の一例を説明する図である。図１７は、図１６に示す発音情報に基づいて生成される目蓋制御情報を説明する図である。図１８は、図１６に示す発音情報および図１７に示す目蓋制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１８に示す「目の形状」については、形状変化装置３０の目の形状を形状情報により示している。
【００６０】
図１９は、変形例２に係る形状情報を説明する図である。図１９に示す例においては、形状情報「Ｉ」と「ＯＰＥＮ」との組み合わせ、形状情報「Ｉ」と「ＣＬＯＳＥ」との組み合わせを例として、目の形状および口の形状を示している。
このように、形状制御装置１０は、発音情報に基づいて様々な部分の形状を制御する制御情報を生成して、形状変化装置３０の口の形状だけでなく、目の形状、その他の部分の形状についても制御するようにしてもよい。
【００６１】
[変形例３]
上述した実施形態においては、形状変化装置３０は人型ロボットであったが、表示画面を有し、表示画面にＣＧで人の顔などを表示させたものであってもよい。すなわち、形状変化装置３０は、口を模した部分を有する装置であればよい。なお、口とは、人の口に限らず、動物の口であってもよいし、口を有さない植物、構造物などに擬似的に設けた口であってもよい。
また、ＣＧなど表示画面に表示させる場合には、形状変化装置３０が表示するのではなく、表示部１４が表示するようにしてもよい。
【００６２】
[変形例４]
上述した第１実施形態においては、形状制御装置１０は、制御情報を生成する生成部１１３と形状制御部１１４とを有していたが、それぞれ別の装置で処理が行われるようにしてもよい。すなわち、形状制御装置１０は、生成プログラムをＣＰＵにより実行することにより発音情報取得部１１１および生成部１１３を有する制御情報生成機能を実現する制御情報生成装置と、制御プログラムをＣＰＵにより実行することにより形状制御部１１４を有する制御機能を実現する装置とにより構成されるようにしてもよい。この形状制御部１１４は、生成部１１３が生成した制御情報に基づいて、形状変化装置３０を制御すればよい。
【００６３】
[変形例５]
上述した第１実施形態において、生成部１１３は子音を持つ音節に対応する形状情報について、その形状情報が示す形状に変化させる遷移開始タイミングを、その子音の音素タイミングとし、遷移終了タイミングをその母音の音素タイミングとするように制御情報を生成してもよい。第２実施形態においては、出力部１１５が上記遷移開始タイミング、終了タイミングとなるように、形状情報および遷移時間を示す情報を出力するようにしてもよい。
【００６４】
[変形例６]
上述した実施形態においては、形状制御装置１０は、発音情報が示す音節に唇音を持つものがある場合には、母音に対応する口の形状とする前に、形状情報「Ｎ」により示される口を閉じる形状となるように、形状変化装置３０を制御していた。これと同様に、唇音でなくても、音節を発音するときに人の口の形状が変化するような場合、例えば、「わ」、「さ」など特定の子音をもつ音節である場合に、記憶部１２は、これに対応する口の形状を示す形状情報を記憶しておいてもよい。そして、生成部１１３、出力部１１５は、唇音に対応して形状情報「Ｎ」を用いたように、この形状情報を用いて処理を行えばよい。
【００６５】
[変形例７]
上述した実施形態においては、形状制御装置１０は、母音「ａ」「ｉ」「ｕ」「ｅ」「ｏ」に対応する形状情報を用いていたが、これ以外の特殊な母音に対応する口の形状を示す形状情報を用いてもよい。
【００６６】
[変形例８]
上述した実施形態における形状制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、形状制御装置１０は、形状制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００６７】
１…形状制御システム、１０…形状制御装置、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…インターフェイス、１１１，１１１Ａ…発音情報取得部、１１２，１１２Ａ…発音制御部、１１３…生成部、１１４，１１４Ａ…形状制御部、１１５…出力部、２０…発音装置、３０…形状変化装置
【技術分野】
【０００１】
本発明は、口を模した部分を持つ装置における口の形状を音声の発音にあわせて制御する技術に関する。
【背景技術】
【０００２】
話をすることができる人型のロボットやＣＧ（Computer Graphics）において、声の発音と口の動きとを連動させること（リップシンク）により、本当に話をしているかのように見せる技術がある。リップシンクをＣＧに適用した一例として、特許文献１には、音節の母音の種類に対応した口の形状を持つ画像を示す画像データを予め記憶しておき、音節の発音に対応して画像を表示させる技術が記載されている。また、リップシンクをロボットに適用した例として、非特許文献１に開示された技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−６６３４５号公報
【非特許文献】
【０００４】
【非特許文献１】中岡慎一郎，金広文男，三浦郁奈子，森澤光晴，藤原清司，金子健二，梶田秀司，比留川博久：サイバネティックヒューマンＨＲＰ−４Ｃの開発 −顔動作作成システム−，第２７回日本ロボット学会学術講演会予稿集，２００９．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の先行技術文献によれば、音節の母音に対応して口の形状を変化させることができるが、現実には口の形状は様々に変化し、発音される音節の母音が変化して口の形状が変化する。そして、この変化は、見た目の自然さに与える影響は大きい。しかしながら、上述の先行技術文献によっては、現実には細かい制御を行うことはできなかった。
特許文献１に記載された技術においては、発音される音節に対応する画像を発音と同時に切り替えて表示する。そのため、発音と同時に表示される画像が突然切り替わることになり、視聴者からは不自然な動きに見えてしまう。
非特許文献１に記載された技術においては、自然な動きで口の形状を変化させるように、音節に応じた変化の態様を予め設定しておくことができる。しかしながら、この設定者は、発音される音節と口の形状の変化との時間的関係を予め調整しておく必要があり、煩雑なものとなっていた。
【０００６】
本発明は、上述の事情に鑑みてなされたものであり、音節の発音内容を規定した発音情報に基づいて、口を模した部分を持つ装置における口の形状を変化させる制御を行いながらも、口の形状の変化を自然なものにすることを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明は、複数の音節および前記各音節の発音タイミングを規定した発音情報に基づいて発音する発音装置の発音内容に対応して口を模した部分の形状が変化するように制御される装置の当該口の形状を制御するために用いられる制御情報を生成する制御情報生成装置であって、前記発音情報を取得する発音情報取得手段と、前記口の形状を示す形状情報、前記口の形状を当該形状情報が示す形状にするタイミングを示すタイミング情報、および当該形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を有する制御情報を、前記発音情報取得手段によって取得された発音情報に基づいて生成する生成手段であって、前記発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングに応じて前記タイミング情報を決定するとともに、予め決められたアルゴリズムに従って前記遷移情報を決定することによって、前記制御情報を生成する生成手段とを具備することを特徴とする制御情報生成装置を提供する。
【０００８】
また、別の好ましい態様において、前記遷移情報は、前記口の形状の変化を開始するタイミングを示す情報を有し、前記遷移情報が示す遷移時間は、当該情報が示すタイミングから当該変化した後の形状にするタイミングまでを示すことを特徴とする。
【０００９】
また、別の好ましい態様において、前記生成手段は、前記発音情報が示す音節の子音が特定の子音であるときには、当該子音に応じた前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有する制御情報を生成し、当該タイミング情報を当該音節の母音に応じた形状情報が示す形状にするタイミングより予め決められた時間だけ前のタイミングとして決定することを特徴とする。
【００１０】
また、別の好ましい態様において、前記生成手段は、一の前記形状情報が示す形状と、次の前記形状情報が示す形状とが同一であり、それぞれの形状情報に係るタイミング情報が示すタイミング間の時間が予め決められた時間より長い場合には、当該形状とは異なる前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有し、当該タイミング情報を当該タイミング間のいずれかのタイミングとして決定することを特徴とする。
【００１１】
また、本発明は、口を模した部分を有する装置における当該口の形状を制御する形状制御装置であって、発音させる複数の音節および発音タイミングを規定した発音情報に基づいて、発音装置に対して発音内容の制御を行う発音制御手段と、前記発音制御手段によって前記発音情報に基づいて発音制御が行われているときに、当該発音情報に基づいて前記口の形状を示す形状情報を出力する出力手段であって、当該発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングより予め決められた遷移時間前に当該形状情報を出力する出力手段と、前記出力手段から形状情報が出力されると、前記遷移時間をかけて前記口の形状を当該形状情報が示す形状に変化させるように、前記装置を制御する形状制御手段とを具備することを特徴とする形状制御装置を提供する。
【発明の効果】
【００１２】
本発明によれば、音節の発音内容を規定した発音情報に基づいて、口を模した部分を持つ装置における口の形状を変化させる制御を行いながらも、口の形状の変化を自然なものにすることができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る形状制御システム１の構成を示すブロック図である。
【図２】第１実施形態に係る発音情報の一例を説明する図である。
【図３】第１実施形態に係る形状対応情報を説明する図である。
【図４】第１実施形態に係る形状情報を説明する図である。
【図５】第１実施形態に係る形状制御機能の構成を示すブロック図である。
【図６】図２に示す発音情報に基づいて生成される制御情報を説明する図である。
【図７】第１実施形態に係る発音情報および制御情報を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図８】第１実施形態に係る発音情報の他の例を説明する図である。
【図９】図８に示す発音情報に基づいて生成される制御情報の他の例を説明する図である。
【図１０】図８に示す発音情報および図９に示す制御情報の例を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１１】第２実施形態に係る形状制御機能の構成を示すブロック図である。
【図１２】図２に示す発音情報に基づいて出力部から出力される内容の一例を説明する図である。
【図１３】図２に示す発音情報および図１２に示す出力内容を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１４】変形例１に係る制御情報の一例を説明する図である。
【図１５】図２に示す発音情報および図１４に示す制御情報を用いた場合の発音装置および形状変化装置の動作を説明する図である。
【図１６】変形例２に係る発音情報の一例を説明する図である。
【図１７】図１６に示す発音情報に基づいて生成される目蓋制御情報を説明する図である。
【図１８】図１６に示す発音情報および図１７に示す目蓋制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。
【図１９】変形例２に係る形状情報を説明する図である。
【発明を実施するための形態】
【００１４】
＜第１実施形態＞
[全体構成]
図１は、本発明の第１実施形態に係る形状制御システム１の構成を示すブロック図である。形状制御システム１は、言葉を発音する発音装置２０、口を模した部分の形状が変化する形状変化装置３０、および発音装置２０の発音内容と形状変化装置３０における形状の変化内容とを制御する形状制御装置１０を有する。形状制御装置１０は、発音装置２０からの発音内容に対応して、形状変化装置３０における口の形状が変化するように制御する。
【００１５】
発音装置２０は、形状制御装置１０からの制御に従って音声波形信号を生成する音源やＤＳＰ（Digital Signal Processor）、および生成した音声波形信号を放音するスピーカを有する。形状変化装置３０は、この例においては、人型のロボットであり、その顔の部分に口を模した部分（以下、単に「口」という）を有する。形状変化装置３０は、形状制御装置１０からの制御により、この口の形状を変化させる。次に、形状制御装置１０の各構成について説明する。
【００１６】
[形状制御装置１０の構成]
形状制御装置１０は、制御部１１、記憶部１２、操作部１３、表示部１４およびインターフェイス１５を有する。これらの各要素は、バスを介して互いに接続されている。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有する。ＣＰＵは、ＲＯＭに記憶されている制御プログラムをＲＡＭにロードして実行することにより、形状制御装置１０の各部について、バスを介して制御し、各種機能を実現する。また、制御部１１は、記憶部１２、ＲＯＭなどに記憶された形状制御プログラムを実行することにより、発音装置２０と形状変化装置３０とを制御するための形状制御機能を実現する。ＲＡＭは、ＣＰＵが各データの加工などを行う際のワークエリアとしても機能する。
【００１７】
記憶部１２は、例えば、不揮発性メモリ、ハードディスクなどの記憶手段であって、発音情報、形状対応情報、形状制御機能において生成される制御情報を記憶する。上述した制御プログラムをＲＯＭの代わりに記憶していてもよい。なお、記憶部１２は、外付けの不揮発性メモリなどの記憶手段を、接続インターフェイスなどを介して接続したものであってもよい。記憶部１２に記憶された発音情報、形状対応情報について説明する。
【００１８】
図２は、第１実施形態に係る発音情報の一例を説明する図である。発音情報は、発音装置２０において発音させる内容を規定する情報である。発音情報は、図２に示すように、発音させる言葉を音節ごとに分けて、各音節の発音の「タイミング」、発音の「時間」（ｓｅｃ．）、「音高」（ＭＩＤＩ（Musical Instrument Digital Interface）データなどにおけるノートナンバに対応）が規定されている。発音のタイミングは、発音開始指示からの経過時間（ｓｅｃ．）で示したものである。なお、図２に示す発音情報においては、音節に対応する「文字」、その文字の音素（「子音」、「母音」）についても記載されているが、これらは各音節の内容がわかりやすいように記載したものである。したがって、発音情報は、音節に対応するこれらの情報全てを有する必要はなく、音節を特定できる情報を有していればよい。
【００１９】
図３は、第１実施形態に係る形状対応情報を説明する図である。形状対応情報は、音素と形状変化装置３０の口の形状を示す形状情報とを対応付けた情報である。形状情報に対応付けられた音素としては、各母音（「ａ」「ｉ」「ｕ」「ｅ」「ｏ」）、子音の一部（「ｍ」「ｐ」「ｂ」、など、以下、まとめて「唇音」という）および文字「ん」に対応する「（ｎ）」である。なお、「（ｎ）」は「な行」に対応する子音「ｎ」とは異なるものであることを明確にするため、図３においては、便宜上、母音として扱っている。形状情報は、この例においては、６種類（Ａ、Ｉ、Ｕ、Ｅ、Ｏ、Ｎ）が設定されている。形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」は、母音「ａ」「ｉ」「ｕ」「ｅ」「ｏ」に対応する。また、形状情報Ｎは、唇音および「（ｎ）」に対応している。
【００２０】
図４は、第１実施形態に係る形状情報を説明する図である。図４に示すように、形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」、「Ｎ」は、それぞれ「あ」、「い」、「う」、「え」、「お」、「ん」に対応した口の形状を示す情報である。
【００２１】
図１に戻って説明を続ける。操作部１３は、キーボード、マウス、表示部１４の表示画面の表面部分に設けられたタッチセンサなどの操作手段である。操作部１３は、利用者の操作によりその操作内容を示す操作データを制御部１１に出力する。操作内容としては、例えば、発音を開始する指示、制御情報を生成する指示などである。
表示部１４は、制御部１１の制御により画像を表示する表示画面を有する液晶ディスプレイなどの表示手段である。
【００２２】
インターフェイス１５は、例えば、外部装置と有線接続する接続端子、無線接続する無線接続手段、基地局やネットワークなどを介して接続する通信手段などであって、接続した外部装置と各種データの送受信を行う。インターフェイス１５は、この例においては、発音装置２０および形状変化装置３０が接続される。これにより、形状制御装置１０は、発音装置２０および形状変化装置３０と接続して、それぞれを制御する。
以上が、形状制御装置１０の各部の構成についての説明である。
【００２３】
[形状制御機能の構成]
次に、制御部１１が形状制御プログラムを実行することによって実現される形状制御機能について図５を用いて説明する。なお、以下に説明する形状制御機能を実現する各構成については、その一部または全部をハードウエアにより実現してもよい。
【００２４】
図５は、第１実施形態に係る形状制御機能の構成を示すブロック図である。制御部１１は、形状制御プログラムを実行することにより、発音情報取得部１１１、発音制御部１１２、生成部１１３および形状制御部１１４を構成して、形状制御機能を実現する。
発音情報取得部１１１は、利用者の操作などによる指示に応じて、記憶部１２から発音情報を取得する。発音情報取得部１１１は、この指示が制御情報の生成指示を含む場合には、取得した発音情報を生成部１１３に出力し、この指示が発音を開始する指示を含む場合には、発音制御部１１２に出力する。
【００２５】
発音制御部１１２は、発音情報取得部１１１から取得した発音情報に応じた発音内容で発音させるように、インターフェイス１５を介して発音装置２０を制御する。発音情報に応じた発音内容で発音させるとは、発音情報が示す音節を音声合成技術により音声波形信号に変換させ、その音節に対応したタイミング、時間、音高で、その音声波形信号を放音させることをいう。この音声合成技術は、公知の様々な技術を用いることができるが、この例においては、特許第３８７９４０２号公報に記載された技術を用いる。この技術においては、発音のタイミングは、母音の発音のタイミングを示すものである。そのため、発音制御部１１２は、子音を音素として有する音節においては、予め決められた時間（この例においては、０．０１秒とする）だけ前に子音に対応した音声波形信号が放音されるように発音装置２０を制御する。
【００２６】
また、発音制御部１１２は、発音情報におけるどの部分について発音させているかを示す同期情報を形状制御部１１４に対して出力する。これにより、発音制御部１１２における制御と形状制御部１１４における制御が同期して行えるようにする。なお、発音制御部１１２または形状制御部１１４は、それぞれにおける制御遅延を考慮して、同期情報を補正してもよい。
【００２７】
生成部１１３は、発音情報取得部１１１から取得した発音情報、および記憶部１２に記憶されている形状対応情報に基づいて、制御情報を生成して記憶部１２に記憶する。この制御情報は、形状情報、その形状情報が示す口の形状にするタイミング、および口の形状が変わるときにおける変化前から変化後までの遷移時間を規定した情報である。これらの各情報は、生成部１１３が発音情報および形状対応情報に基づいて決定する。なお、このタイミングは、発音情報と同様に発音開始指示からの経過時間を示すものである。
【００２８】
生成部１１３は、制御情報を生成するときには、まず、初期状態として形状情報Ｎとタイミング「０．００」とを対応付ける。そして、生成部１１３は、発音情報を参照して音節ごとに対応する形状情報を決定し、その音節に対応するタイミングを、形状を変化させるタイミングとする。このとき、生成部１１３は、音節が子音を有する場合には、形状を変化させるタイミングを０．０１秒早いタイミングに修正する。このタイミングの修正は、上述したように、発音制御部１１２における制御において、子音がある場合には、予め決められた時間だけ前に子音に対応する音声波形信号を放音することになるために行われる。
【００２９】
また、生成部１１３は、発音情報に規定されたタイミング、時間から、音節が発音されない期間が存在する場合には、その期間は口を閉じている状態にするために、その期間の開始タイミングと、形状情報Ｎとを対応付けて、制御情報に追加する。
【００３０】
生成部１１３は、さらに、初期値以外の各形状情報に対応して、予め決められたアルゴリズムに従って、遷移時間を決定する。この例においては、生成部１１３は、音節が発音されない期間として口を閉じている状態にしたり、口を閉じている状態から空けた状態にしたりする場合には遷移時間を０．０１秒、それ以外の口の形状を変化させる場合には遷移時間を０．０２秒として決定するものである。
なお、このアルゴリズムは、様々なものとすることができる。例えば、生成部１１３は、口の形状が変化する場合には、全て同じ遷移時間として決定するようにしてもよいし、予め決められた範囲内でランダムに遷移時間を決定してもよい。全て同一の遷移時間である場合には、形状制御部１１４あるいは形状変化装置３０に予め設定しておき、制御情報に遷移時間を示す情報が含まれていなくてもよい。また、生成部１１３は、発音情報における時間や音節の種類などに応じて変化するようにして遷移時間を決定してもよいし、利用者の操作によって指定された時間を遷移時間として決定してもよい。
【００３１】
図６は、図２に示す発音情報に基づいて生成される制御情報を説明する図である。図６に示す制御情報は、図２に示す発音情報、および図３に示す形状対応情報に基づいて生成されたものである。図２に示す発音情報が示す音節のうち、文字「さ」および「た」については子音があり、「い」については子音がない。そのため、例えば、「さ」に対応する形状情報「Ａ」については、タイミングが「０．２」ではなく０．０１秒早いタイミングの「０．１９」として決定されている。また、遷移時間は、上述のアルゴリズムに従って決定され、直前の形状情報が「Ｎ」のタイミング「０．１９」の形状情報「Ａ」、およびタイミング「２．００」の形状情報「Ｎ」についてが「０．０１」、それ以外が「０．０２」として決定されている。
【００３２】
図５に戻って説明を続ける。形状制御部１１４は、記憶部１２に記憶された制御情報に基づいて口の形状を変化させるように、インターフェイス１５を介して形状変化装置３０を制御する。この制御情報は、発音制御部１１２が制御に用いる発音情報に基づいて生成部１１３が生成した制御情報である。
このとき、形状制御部１１４は、発音制御部１１２から出力される同期情報により、発音制御部１１２が発音情報に基づいて行う発音装置２０の制御に同期して、形状変化装置３０の制御を行う。この同期とは、発音制御部１１２における発音情報に基づく制御と、形状制御部１１４における制御情報に基づく制御とが、同じ時間軸に沿って処理されることをいう。すなわち、発音情報が示すタイミングと制御情報が示すタイミングが同じ値である処理については、同じタイミングで行われる。
【００３３】
また、形状制御部１１４は、口の形状を変化させるときには、変化前の口の形状から変化後の形状までに遷移する時間が、制御情報に示される変化後の形状情報に対応した遷移時間となるように、形状変化装置３０を制御する。例えば、図６に示す制御情報において、タイミング「０．８」の形状情報「Ｉ」については、遷移時間「０．０２」である。従って、形状情報「Ａ」の口の形状から形状情報「Ｉ」の口の形状に変化するまでの遷移時間は、「０．０２秒」であることを示し、形状の変化が開始されるタイミングは、「０．８秒」より「０．０２秒」前の「０．７８秒」となる。すなわち、制御情報に示される「遷移時間」により、対応する口の形状へ変化する遷移時間だけでなく、制御情報に示される「タイミング」と組み合わせて、変化を開始するタイミングについても示すことになる。
【００３４】
また、形状制御部１１４は、変化前の口の形状から変化後の口の形状に至る遷移期間においては、徐々に口の形状が変化するように制御する。ここで、形状制御部１１４は、口の形状を徐々に変化させる場合には、遷移期間中の各タイミングにおける口の形状を、変化前後の口の形状から補間して決定する。なお、形状変化装置３０がこのような補間機能を備えている場合には、生成部１１３は、形状変化装置３０において形状を変化させるための制御に用いられる制御情報を生成し、形状制御部１１４は、徐々に変化させる処理を行わなくてもよい。
以上が、形状制御機能についての説明である。続いて、形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について、図７を用いて説明する。
【００３５】
[動作例]
図７は、第１実施形態に係る発音情報および制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。この例においては、発音情報は図２に示す内容、この発音情報により生成された制御情報は図６に示す内容であるものとして、説明する。
図７の上部に示されている音高と時刻との関係を示す図は、発音情報により規定されている内容を示すものである。その下に示されている「音素タイミング」については、発音装置２０から発音される内容を音素で表したものである。上述したように、子音を有する音節については、発音情報が示すタイミングで母音を示す音声波形信号が放音される。そして、子音を示す音声波形信号は、そのタイミングから予め決められた時間（０．０１秒）前に放音されるようになっている。
【００３６】
音素タイミングの下に示されている「口の形状」については、形状変化装置３０の口の形状を形状情報により示している。例えば、「Ｎ」と表されている期間は、形状情報Ｎに対応して口を閉じた形状に制御されている期間である。また、ハッチングされている部分は、口の形状が変化する遷移期間を示す。ここで、図７において、遷移ＸＹは、形状情報Ｘが示す口の形状から形状情報Ｙが示す口の形状へ遷移する期間を示している。例えば、遷移ＮＡは、形状情報Ｎが示す口の形状から形状情報Ａが示す口の形状へ遷移する期間を示している。
また、「口の形状」の下に示されている形状情報については、制御情報が示す形状情報とタイミングとの関係を示している。
【００３７】
このように、本発明の実施形態に係る形状制御システム１においては、発音装置２０および口を模した部分を有する形状変化装置３０を、形状制御装置１０を用いて制御する。形状制御装置１０は、発音情報に基づいて発音装置２０を制御するとともに、発音情報から制御情報を生成して、この制御情報を用いて形状変化装置３０を制御する。形状制御装置１０は、発音情報から制御情報を生成するときに、口の形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を、予め決められたアルゴリズムに従って決定する。そして、形状制御装置１０は、口の形状が変化させるときには、遷移時間で徐々にその形状が変化するように形状変化装置３０を制御する。
これにより、発音内容に応じて口の形状を自然に見えるように変化させることができる。また、形状制御装置１０は、このように形状を変化させるための制御に用いられる制御情報を生成することもできる。
【００３８】
[動作例２]
続いて、発音情報の内容が図２に示すものと異なる場合において、形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について説明する。
【００３９】
図８は、第１実施形態に係る発音情報の他の例を説明する図である。図９は、図８に示す発音情報に基づいて生成される制御情報を説明する図である。図８に示す発音情報は、図２に示す発音情報と大きく異なる点は、唇音をもつ音節が存在すること、発音時間が長い音節が存在することである。生成部１１３は、このような図８に示す発音情報に基づいて、図９に示す制御情報を生成する。
【００４０】
生成部１１３は、このような発音情報に基づいて制御情報を生成する場合には、上述した処理に加えて、以下に説明する処理を行う。生成部１１３は、発音時間が予め決められた時間Ｔａ（この例においては、「０．８秒」）を超える音節があり、かつ、この音節と次の音節とに対応する形状情報が同一である場合に、次の音節に対応する形状情報に対応するタイミングよりも予め決められた時間Ｔｓ（この例においては、「０．３秒」）前のタイミングから、その形状情報が示す口の形状を、開き方が小さくなるようにした形状にするように制御情報を生成する。この例においては、開き方を小さくした口の形状を示す形状情報は、元の形状情報に「（ｓ）」を付して表す。例えば、形状情報が「Ａ」である場合には、開き方を小さくした口の形状を示す形状情報は、「Ａ（ｓ）」として表す。
なお、開き方を小さくした口の形状を示す形状情報「Ａ（ｓ）」、「Ｉ（ｓ）」、「Ｕ（ｓ）」、「Ｅ（ｓ）」、「Ｏ（ｓ）」は、生成部１１３で生成されるのではなく、記憶部１２に記憶されていてもよい。この場合、生成部１１３は、記憶部１２から対応する形状情報を取得すればよい。また、この形状情報「Ａ（ｓ）」、「Ｉ（ｓ）」、「Ｕ（ｓ）」、「Ｅ（ｓ）」、「Ｏ（ｓ）」は、開き方を小さくした口の形状ではなくてもよく、形状情報「Ａ」、「Ｉ」、「Ｕ」、「Ｅ」、「Ｏ」が示す口の形状と異なるものであればよい。
【００４１】
また、生成部１１３は、この場合においても開き方を小さくした口の形状を示す形状情報に対応して、予め決められたアルゴリズムに従って遷移時間（この例においては、「０．０１秒」）を決定する。
なお、文字「た」の発音時間は、時間Ｔａ以上となるが、これに対応する形状情報「Ａ」と、次に続く形状情報「Ｎ」とは異なるため、口の形状を小さく開くようにする処理は行わない。
【００４２】
また、生成部１１３は、発音情報が示す音節に唇音を持つものがある場合には、上述のようにその音節の母音に対応する形状情報ではなく、唇音に対応する形状情報「Ｎ」として決定して制御情報を生成する。すなわち、形状情報「Ｎ」に対応するタイミングは、その音節の子音に対応する音声波形信号が放音されるタイミングとして決定される。
そして、生成部１１３は、その音節に対応するタイミング、すなわち母音に対応する音声波形信号が放音されるタイミングを、その母音に対応する口の形状とするタイミングとして制御情報を生成する。この唇音に対する形状情報「Ｎ」から母音に対する形状情報に変化する遷移時間は、この例においては、「０．０１秒」とする。なお、生成部１１３は、母音に対応する口の形状とするタイミングを、母音に対応する音声波形信号が放音されるタイミングより前のタイミングとして決定してもよい。この場合には、生成部１１３は、対応する遷移時間についても短くなるように決定する。
【００４３】
図１０は、図８に示す発音情報および図９に示す制御情報の例を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１０の詳細な説明については、図７における場合と同様であるため省略する。なお、文字「ま」に対応する形状情報「Ｎ」は、すぐに形状情報「Ａ」に遷移を開始するため、図１０の記載においては、遷移ＡＮの後はすぐに遷移ＮＡになっている。
【００４４】
このようにして、形状制御装置１０は、同じ口の形状が続くように形状変化装置３０を制御する場合に、開き方が小さくなるように口の形状を変化させることで、発音内容に応じた口の形状の変化をより自然に見えるようにすることができる。また、発音させる音節が唇音を持つ場合には、一旦口を閉じるように変化させることで、口の形状の変化をさらに自然に見えるようにすることができる。
【００４５】
＜第２実施形態＞
第１実施形態において、形状制御装置１０は、生成部１１３により予め生成した制御情報を用いて、形状変化装置３０の口の形状を制御していた。第２実施形態においては、形状制御装置１０は、発音情報に基づいて発音装置２０の発音内容を制御しながら、リアルタイムに形状変化装置３０の口の形状を制御するものである。
第２実施形態における形状制御機能の構成について説明する。
【００４６】
[形状制御機能の構成]
図１１は、第２実施形態に係る形状制御機能の構成を示すブロック図である。制御部１１は、形状制御プログラムを実行することにより、発音情報取得部１１１Ａ、発音制御部１１２Ａ、形状制御部１１４Ａおよび出力部１１５を構成して、形状制御機能を実現する。
【００４７】
発音情報取得部１１１Ａは、利用者の操作などによる指示に応じて、記憶部１２から発音情報を取得する。発音情報取得部１１１Ａは、取得した発音情報を出力部１１５および発音制御部１１２Ａに出力する。
発音制御部１１２Ａは、第１実施形態における発音制御部１１２と同様の処理を行うが、発音情報におけるどの部分について発音させているかを示す同期情報については、出力部１１５に対して出力する。これにより、発音制御部１１２Ａにおける制御と出力部１１５からの出力が同期して行えるようにする。
形状制御部１１４Ａは、出力部１１５から出力される形状情報および遷移時間を示す情報を取得すると、形状変化装置３０の口の形状を形状情報が示す口の形状にするように変化を開始させ、徐々に口の形状を変化させ、遷移時間が経過するとその形状情報が示す口の形状になるように、形状変化装置３０を制御する。
【００４８】
出力部１１５は、発音情報取得部１１１Ａから取得した発音情報、記憶部１２に記憶されている形状対応情報、および発音制御部１１２Ａから出力される同期情報に基づいて、形状情報および遷移時間を示す情報を形状制御部１１４Ａに出力する。
出力部１１５は、発音制御部１１２Ａによる発音制御が開始されると、まず初期値として、形状情報「Ｎ」を出力する。そして、出力部１１５は、発音装置２０から音節が発音されるタイミングより遷移時間だけ前のタイミングに、その音節に対応する形状情報およびその遷移時間を示す情報を、形状制御部１１４Ａに対して出力する。
なお、出力部１１５は、予め決められたアルゴリズムに従って、遷移時間を決定する。このアルゴリズムは、第１実施形態において説明したように様々な態様があり得る。遷移時間が形状情報により変化せず、予め決められた時間とする場合には、遷移時間を形状制御部１１４Ａに予め設定しておけば、出力部１１５は、遷移時間を示す情報を出力しなくてもよい。
【００４９】
図１２は、図２に示す発音情報に基づいて出力部から出力される内容の一例を説明する図である。図１２に示す出力内容は、図２に示す発音情報、および図３に示す形状対応情報に基づいて、出力部１１５によって出力される内容を示したものである。例えば、出力部１１５は、タイミング「０．１８」において、形状情報「Ａ」、遷移時間「０．０１」を出力する。
以上が、第２実施形態における形状制御機能についての説明である。続いて、第２実施形態における形状制御機能により制御される発音装置２０および形状変化装置３０の動作例について、図１３を用いて説明する。
【００５０】
[動作例]
図１３は、図２に示す発音情報および図１２に示す出力内容を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１３の詳細な説明については、図７における場合と同様であるため省略する。なお、図１３の下部に示す形状情報については、矢印が示すタイミングにおいて出力部１１５から出力される形状情報を示している。
このように、第２実施形態における形状制御システム１において、形状制御装置１０は、出力部１１５が形状情報を遷移開始タイミングにあわせて出力することにより、制御情報を生成することなく、発音情報に基づく発音装置２０および形状変化装置３０を同期して制御することができる。
【００５１】
＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
[変形例１]
上述した第１実施形態においては、生成部１１３が生成する制御情報には、遷移時間を示す情報が含まれていたが、別の態様で遷移時間を特定するようにしてもよい。遷移時間を特定する態様のうち、形状情報を用いて遷移時間を特定する場合の一例を、図１４を用いて説明する。
【００５２】
図１４は、変形例１に係る制御情報の一例を説明する図である。図１４が示す変形例１に係る制御情報は、上述した図６が示す第１実施形態に係る制御情報と、制御内容は同じである。変形例１に係る生成部１１３は、変化後の形状を示す形状情報の前の遷移を開始するタイミングに対応して、変化前の形状を示す形状情報を有する制御情報を生成する。すなわち、制御情報は、形状情報が必ず２つセットとして規定される。これにより、２つ目の形状情報に対応するタイミングが、口の形状変化の遷移が開始されるタイミングとなる。そして、遷移開始のタイミングから次の形状情報に対応するタイミング（遷移終了タイミング）までが遷移時間となる。このように制御情報は、遷移時間を示す情報を含んでいれば、どのような態様で含んでいてもよい。
【００５３】
図１５は、図２に示す発音情報および図１４に示す制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１５の詳細な説明については、図７における場合と同様であるため省略する。図１５に示すように、遷移期間の開始タイミングおよび終了タイミングは、変化前の形状を示す形状情報と、変化後の形状を示す形状情報とに挟むようにして制御情報に規定される。
【００５４】
[変形例２]
上述した実施形態において、形状制御装置１０は、形状変化装置３０における口の形状以外の形状についても制御してもよい。例えば、形状変化装置３０が目を模した部分（以下、単に「目」という）を有し、目の開閉が可能に構成されていれば、形状制御装置１０は、この開閉を制御するようにしてもよい。この場合の形状制御装置１０の構成について説明する。
【００５５】
変形例２において、記憶部１２は、目の形状を示す形状情報を記憶している。この例において、形状情報「ＯＰＥＮ」「ＣＬＯＳＥ」は、それぞれ開状態、閉状態の目の形状を示すものとする。
変形例２において、生成部１１３は、発音情報に基づいて、目蓋制御情報を生成して記憶部１２に記憶する。この目蓋制御情報は、形状情報、その形状情報が示す目の形状にするタイミング、および目の形状が変わるときにおける変化前から変化後までの遷移時間を規定した情報である。これらの各情報は、生成部１１３が発音情報および形状対応情報に基づいて決定する。なお、このタイミングは、発音情報と同様に発音開始指示からの経過時間を示すものである。
【００５６】
生成部１１３は、目蓋制御情報を生成するときには、この例においては、発音情報が示す各音節の発音時間に基づいて、形状情報を「ＯＰＥＮ」または「ＣＬＯＳＥ」のいずれかに決定する。生成部１１３は、予め決められたアルゴリズムに従って、形状情報を決定する。この例においては、生成部１１３は、特定の範囲の時間から、音節ごとにランダムに時間Ｔｂを決定し、その音節の発音時間が時間Ｔｂを超える場合に、その音節に対応する形状情報を「ＣＬＯＳＥ」として決定する。そして、生成部１１３は、形状情報が「ＣＬＯＳＥ」となる条件を満たさない音節に対応する形状情報を「ＯＰＥＮ」として決定する。
【００５７】
なお、生成部１１３は、このような形状情報の決定に限定されることなく、様々な態様で形状情報の決定を行うことができる。例えば、生成部１１３は、音節を構成する音素（子音、母音）の種類、組み合わせ、音高、前後の音節のつながり（フレーズの流れ）に基づいて、形状情報を決定してもよい。また、生成部１１３は、音節の発音時間が一定の時間Ｔｃを超えた場合には、形状情報を一定の確率で「ＣＬＯＳＥ」となるように決定してもよい。
生成部１１３における形状情報の決定にランダム性を持たせることで、同じフレーズが続いた場合でも、常に同じ部分で目を閉じてしまうといったことを回避することができる。
生成部１１３は、遷移時間については、第１実施形態における制御情報における遷移時間と同様に、予め決められたアルゴリズムに従って決定する。
【００５８】
変形例２において、形状制御部１１４は、記憶部１２に記憶された目蓋制御情報に基づいて、目の開閉を変化させるように、インターフェイス１５を介して形状変化装置３０を制御する。この目蓋制御情報は、発音制御部１１２が制御に用いる発音情報に基づいて生成部１１３が生成した目蓋制御情報である。形状制御部１１４における目蓋制御情報に基づく制御は、第１実施形態における制御情報に基づく制御と制御対象が異なるだけである。そのため、形状制御部１１４における目蓋制御情報に基づく制御の内容については、詳細の説明を省略する。
次に、発音情報を例示して、変形例２における発音装置２０および形状変化装置３０の動作について説明する。
【００５９】
図１６は、変形例２に係る発音情報の一例を説明する図である。図１７は、図１６に示す発音情報に基づいて生成される目蓋制御情報を説明する図である。図１８は、図１６に示す発音情報および図１７に示す目蓋制御情報を用いた場合の発音装置２０および形状変化装置３０の動作を説明する図である。図１８に示す「目の形状」については、形状変化装置３０の目の形状を形状情報により示している。
【００６０】
図１９は、変形例２に係る形状情報を説明する図である。図１９に示す例においては、形状情報「Ｉ」と「ＯＰＥＮ」との組み合わせ、形状情報「Ｉ」と「ＣＬＯＳＥ」との組み合わせを例として、目の形状および口の形状を示している。
このように、形状制御装置１０は、発音情報に基づいて様々な部分の形状を制御する制御情報を生成して、形状変化装置３０の口の形状だけでなく、目の形状、その他の部分の形状についても制御するようにしてもよい。
【００６１】
[変形例３]
上述した実施形態においては、形状変化装置３０は人型ロボットであったが、表示画面を有し、表示画面にＣＧで人の顔などを表示させたものであってもよい。すなわち、形状変化装置３０は、口を模した部分を有する装置であればよい。なお、口とは、人の口に限らず、動物の口であってもよいし、口を有さない植物、構造物などに擬似的に設けた口であってもよい。
また、ＣＧなど表示画面に表示させる場合には、形状変化装置３０が表示するのではなく、表示部１４が表示するようにしてもよい。
【００６２】
[変形例４]
上述した第１実施形態においては、形状制御装置１０は、制御情報を生成する生成部１１３と形状制御部１１４とを有していたが、それぞれ別の装置で処理が行われるようにしてもよい。すなわち、形状制御装置１０は、生成プログラムをＣＰＵにより実行することにより発音情報取得部１１１および生成部１１３を有する制御情報生成機能を実現する制御情報生成装置と、制御プログラムをＣＰＵにより実行することにより形状制御部１１４を有する制御機能を実現する装置とにより構成されるようにしてもよい。この形状制御部１１４は、生成部１１３が生成した制御情報に基づいて、形状変化装置３０を制御すればよい。
【００６３】
[変形例５]
上述した第１実施形態において、生成部１１３は子音を持つ音節に対応する形状情報について、その形状情報が示す形状に変化させる遷移開始タイミングを、その子音の音素タイミングとし、遷移終了タイミングをその母音の音素タイミングとするように制御情報を生成してもよい。第２実施形態においては、出力部１１５が上記遷移開始タイミング、終了タイミングとなるように、形状情報および遷移時間を示す情報を出力するようにしてもよい。
【００６４】
[変形例６]
上述した実施形態においては、形状制御装置１０は、発音情報が示す音節に唇音を持つものがある場合には、母音に対応する口の形状とする前に、形状情報「Ｎ」により示される口を閉じる形状となるように、形状変化装置３０を制御していた。これと同様に、唇音でなくても、音節を発音するときに人の口の形状が変化するような場合、例えば、「わ」、「さ」など特定の子音をもつ音節である場合に、記憶部１２は、これに対応する口の形状を示す形状情報を記憶しておいてもよい。そして、生成部１１３、出力部１１５は、唇音に対応して形状情報「Ｎ」を用いたように、この形状情報を用いて処理を行えばよい。
【００６５】
[変形例７]
上述した実施形態においては、形状制御装置１０は、母音「ａ」「ｉ」「ｕ」「ｅ」「ｏ」に対応する形状情報を用いていたが、これ以外の特殊な母音に対応する口の形状を示す形状情報を用いてもよい。
【００６６】
[変形例８]
上述した実施形態における形状制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、形状制御装置１０は、形状制御プログラムをネットワーク経由でダウンロードしてもよい。
【符号の説明】
【００６７】
１…形状制御システム、１０…形状制御装置、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…インターフェイス、１１１，１１１Ａ…発音情報取得部、１１２，１１２Ａ…発音制御部、１１３…生成部、１１４，１１４Ａ…形状制御部、１１５…出力部、２０…発音装置、３０…形状変化装置
【特許請求の範囲】
【請求項１】
複数の音節および前記各音節の発音タイミングを規定した発音情報に基づいて発音する発音装置の発音内容に対応して口を模した部分の形状が変化するように制御される装置の当該口の形状を制御するために用いられる制御情報を生成する制御情報生成装置であって、
前記発音情報を取得する発音情報取得手段と、
前記口の形状を示す形状情報、前記口の形状を当該形状情報が示す形状にするタイミングを示すタイミング情報、および当該形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を有する制御情報を、前記発音情報取得手段によって取得された発音情報に基づいて生成する生成手段であって、前記発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングに応じて前記タイミング情報を決定するとともに、予め決められたアルゴリズムに従って前記遷移情報を決定することによって、前記制御情報を生成する生成手段と
を具備することを特徴とする制御情報生成装置。
【請求項２】
前記遷移情報は、前記口の形状の変化を開始するタイミングを示す情報を有し、
前記遷移情報が示す遷移時間は、当該情報が示すタイミングから当該変化した後の形状にするタイミングまでを示す
ことを特徴とする請求項１に記載の制御情報生成装置。
【請求項３】
前記生成手段は、前記発音情報が示す音節の子音が特定の子音であるときには、当該子音に応じた前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有する制御情報を生成し、当該タイミング情報を当該音節の母音に応じた形状情報が示す形状にするタイミングより予め決められた時間だけ前のタイミングとして決定する
ことを特徴とする請求項１または請求項２に記載の制御情報生成装置。
【請求項４】
前記生成手段は、一の前記形状情報が示す形状と、次の前記形状情報が示す形状とが同一であり、それぞれの形状情報に係るタイミング情報が示すタイミング間の時間が予め決められた時間より長い場合には、当該形状とは異なる前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有し、当該タイミング情報を当該タイミング間のいずれかのタイミングとして決定する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の制御情報生成装置。
【請求項５】
口を模した部分を有する装置における当該口の形状を制御する形状制御装置であって、
発音させる複数の音節および発音タイミングを規定した発音情報に基づいて、発音装置に対して発音内容の制御を行う発音制御手段と、
前記発音制御手段によって前記発音情報に基づいて発音制御が行われているときに、当該発音情報に基づいて前記口の形状を示す形状情報を出力する出力手段であって、当該発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングより予め決められた遷移時間前に当該形状情報を出力する出力手段と、
前記出力手段から形状情報が出力されると、前記遷移時間をかけて前記口の形状を当該形状情報が示す形状に変化させるように、前記装置を制御する形状制御手段と
を具備することを特徴とする形状制御装置。
【請求項１】
複数の音節および前記各音節の発音タイミングを規定した発音情報に基づいて発音する発音装置の発音内容に対応して口を模した部分の形状が変化するように制御される装置の当該口の形状を制御するために用いられる制御情報を生成する制御情報生成装置であって、
前記発音情報を取得する発音情報取得手段と、
前記口の形状を示す形状情報、前記口の形状を当該形状情報が示す形状にするタイミングを示すタイミング情報、および当該形状が変わるときにおける変化前から変化後までの遷移時間を示す遷移情報を有する制御情報を、前記発音情報取得手段によって取得された発音情報に基づいて生成する生成手段であって、前記発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングに応じて前記タイミング情報を決定するとともに、予め決められたアルゴリズムに従って前記遷移情報を決定することによって、前記制御情報を生成する生成手段と
を具備することを特徴とする制御情報生成装置。
【請求項２】
前記遷移情報は、前記口の形状の変化を開始するタイミングを示す情報を有し、
前記遷移情報が示す遷移時間は、当該情報が示すタイミングから当該変化した後の形状にするタイミングまでを示す
ことを特徴とする請求項１に記載の制御情報生成装置。
【請求項３】
前記生成手段は、前記発音情報が示す音節の子音が特定の子音であるときには、当該子音に応じた前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有する制御情報を生成し、当該タイミング情報を当該音節の母音に応じた形状情報が示す形状にするタイミングより予め決められた時間だけ前のタイミングとして決定する
ことを特徴とする請求項１または請求項２に記載の制御情報生成装置。
【請求項４】
前記生成手段は、一の前記形状情報が示す形状と、次の前記形状情報が示す形状とが同一であり、それぞれの形状情報に係るタイミング情報が示すタイミング間の時間が予め決められた時間より長い場合には、当該形状とは異なる前記口の形状を示す形状情報、および当該形状情報に係るタイミング情報をさらに有し、当該タイミング情報を当該タイミング間のいずれかのタイミングとして決定する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の制御情報生成装置。
【請求項５】
口を模した部分を有する装置における当該口の形状を制御する形状制御装置であって、
発音させる複数の音節および発音タイミングを規定した発音情報に基づいて、発音装置に対して発音内容の制御を行う発音制御手段と、
前記発音制御手段によって前記発音情報に基づいて発音制御が行われているときに、当該発音情報に基づいて前記口の形状を示す形状情報を出力する出力手段であって、当該発音情報が示す音節の母音に応じて前記形状情報を決定し、当該音節の発音タイミングより予め決められた遷移時間前に当該形状情報を出力する出力手段と、
前記出力手段から形状情報が出力されると、前記遷移時間をかけて前記口の形状を当該形状情報が示す形状に変化させるように、前記装置を制御する形状制御手段と
を具備することを特徴とする形状制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１１−１６４７６３（Ｐ２０１１−１６４７６３Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２４３４６（Ｐ２０１０−２４３４６）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]