字幕作成システム及びプログラム
【課題】 字幕の作成を楽しみながら容易に行えるようにすること。
【解決手段】 動画データを再生表示する動画再生領域Ｒ１と、その動画再生領域Ｒ１に再生中の動画データのタイムラインを表示するタイムライン表示エリアＴＬと、そのタイムライン表示エリア内に、割り付けた字幕設定ボックスＢＸに字幕を登録する字幕編集領域Ｒ６と、を備える。タイムライン表示エリアの時間の前後端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、登録された字幕を関連づけて字幕用データ記憶部に格納する。タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断できる。１つの字幕用データを、複数の人で作成できるようにすることで、各人は、わかる部分の字幕を登録すればよく、遊び感覚で気軽に字幕作成に参加できる。
【解決手段】 動画データを再生表示する動画再生領域Ｒ１と、その動画再生領域Ｒ１に再生中の動画データのタイムラインを表示するタイムライン表示エリアＴＬと、そのタイムライン表示エリア内に、割り付けた字幕設定ボックスＢＸに字幕を登録する字幕編集領域Ｒ６と、を備える。タイムライン表示エリアの時間の前後端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、登録された字幕を関連づけて字幕用データ記憶部に格納する。タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断できる。１つの字幕用データを、複数の人で作成できるようにすることで、各人は、わかる部分の字幕を登録すればよく、遊び感覚で気軽に字幕作成に参加できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、字幕作成システム及びプログラムに関する。
【背景技術】
【０００２】
近年、映画や放送番組などの映像コンテンツのデジタル化が急速に進み、デジタル化された映像コンテンツが、デジタル放送やインターネット配信で視聴者に届けられるようになってきた。また、インターネットの普及に伴い、インターネット上に多数の動画共有サイトが存在し、その動画共有サイトにアップロードした動画（映像コンテンツ）を、他のユーザが自己の端末（パーソナルコンピュータ：パソコン）上で視聴することができるようになっている。この種の放送或いは配信される映像コンテンツ等のコンテンツは、予め動画データと副次データとが一体となって作成されたコンテンツが使用されている。副次データとしては、たとえば、動画データに対応する字幕スーパ等がある。
【０００３】
このように動画データと、字幕スーパ等の副次データと、が一体となっているコンテンツでは、動画データと字幕スーパとを重畳させて１本の映像マスタを作成する。この映像マスタに取り込まれた副次データ（字幕スーパ）は画像データとして扱われる。したがって、一旦映像マスタを作成した後、字幕スーパ等の副次データの内容の修正を行う場合、非常に煩雑となる。つまり、例えば字幕スーパの手直しが発生すると、元の字幕スーパのデータを読み出し、必要箇所を修正し、修正後の字幕スーパを再度動画データと重畳して映像マスタを再度作成することになる。
【０００４】
また、字幕スーパは、その映像コンテンツを視聴する人が理解できる言語で記載される必要があるため、世界各国に配信する場合、字幕スーパも各国ごとに編訳したものを用意する必要がある。そして、各言語の字幕スーパを、それぞれ動画データに重畳し、言語ごとの映像コンテンツ（映像マスタ）を作成し、管理・配信することになる。
【０００５】
よって、仮に１０種類の字幕スーパを用意した場合（同一言語で複数個用意した場合も含む）、１０種類の映像コンテンツが作成されることになり、各映像コンテンツ内に、字幕スーパに比べてその容量が遙かに大きい動画データを含むことになる。この１０個の動画データの内容はいずれも同一であるにもかかわらず、それぞれの映像コンテンツ内に同一の動画データを含むことになり、記憶容量も多く必要となる問題があるばかりでなく、動画データの修正を行った場合、各言語用の映像コンテンツ内における動画データ部分の同一性が担保できなくなるおそれもある。
【０００６】
そこで、係る問題を解決するため、たとえば、特許文献１に開示された技術が提案されている。この特許文献１に開示された発明は、字幕スーパ等の副次データに、動画データと同期をとるための同期データ（動画データの再生開始ポイントと再生終了ポイントとして動画データを構成する所定のフレームを特定するためコード）を格納し、その副次データと動画データを別々のファイルとして保存し、再生時には、その同期をとるためのデータに基づき動画データと字幕スーパとをそれぞれの再生タイミングを合わせて再生する。これにより、その映像コンテンツを視聴しようとする利用者端末上では、同期データで特定される動画データの再生中は、それに関連づけられた副次データである字幕スーパが再生されることになる。
【０００７】
よって、この特許文献１に開示された発明では、字幕スーパの内容を修正する場合、該当する字幕スーパのファイルのみを変更するだけでよく、動画データに対する再度の重畳処理などを行う必要が無いので、作業が簡単に行える。また、動画データも１つのみ記憶しておけばよいので、記憶容量の削減を図ると共に並びに管理も用意になる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術は、動画データ（映像コンテンツ）を配信しようする人（依頼者）が、翻訳者等の副次データを作成する人に対して依頼をし、作成した副次データのファイルを動画データと共に配信するシステムを想定し、構築されている。従って、依頼者にとっても、副次データである字幕スーパを作成する翻訳者は、限られた特定の人であることが前提となっている。つまり、副次データが字幕スーパの場合、特定の１人または複数の人によって１または複数の字幕スーパのファイルを作成し、その作成した字幕スーパのファイルを所定のサーバ（動画データを登録したサーバと同じである必要はない）に登録し、インターネット等を介してユーザにかかる字幕スーパ付の動画データを配信するのに適したものである。このように、字幕スーパを作成するのが特定の限られた人であるので、特許文献１の技術でも問題はなかった。
【０００９】
しかし、上記の特許文献１に開示された発明では、字幕スーパを構成するための副次データは、動画データをその先頭から再生しながら、翻訳文を作成し、動画データとの同期をとるための同期データ（字幕スーパを再生（表示）している区間を特定するための動画データの開始フレームと終了フレームを特定するコマンド等）を作成した翻訳文である字幕に関連づけて順次登録していく仕組みを採っているので、作成時の融通性に欠けると共に、同期データの登録等、ある程度、動画データ・映像コンテンツに対する専門知識等が必要となり、操作性も悪いという課題がある。
【００１０】
さらに、一旦、サイト上に字幕スーパを含む映像コンテンツをアップロードした後で、その字幕スーパの内容の一部を修正（追加・削除を含む）するようなシステムを考えた場合、特許文献１に開示された技術だけでは対応できないとい課題があった。
【００１１】
さらにまた、特許文献１に開示された技術は、従前の字幕スーパ等の副次データと動画データを一体化することはなく、別々のファイルに格納する点では相違するものの、動画データと、それについての副次データ（字幕スーパ）を事前に作成し、それを公開し、配信するものである点では、従前の配信サービスと同じであった。
【００１２】
これに対し、本発明は、新たなインターネット等を利用したサービスとして、字幕スーパに表示する翻訳文の作成者として、不特定の一般のユーザ（会員登録等により、ある程度制限することは可能）を利用し、その一般のユーザが、自己がわかる部分（作成したい部分）についての映像データに対する翻訳文（字幕スーパ）を作成していくことで、最終的に当該動画データについての字幕スーパが完成するというように不特定の一般ユーザが共同して字幕スーパを作成してくようなシステムを考案した。しかし、係るシステムを実現するためには上記の特許文献１の技術では十分でないという課題がある
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明は、（１）動画データを再生表示する動画表示部（実施形態の「動画再生領域Ｒ１」に対応）と、その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリアと、そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段と、その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段（実施形態の「字幕編集領域Ｒ６」に対応）と、前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報（時間やフレーム等）と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段と、を備えた。
【００１４】
タイムライン表示エリアは、再生中の動画データのタイムラインを表示するもので、現在再生している部分が、スケール線（実施形態のＳＫ）で示されたり、インジケータのように帯状に伸びる先端部分で示されたりするものである。そして、そのタイムライン表示エリア内に、字幕を作成する部分に字幕設定ボックスを設定し、そこに字幕を登録するようにした。そして、その登録した字幕を再生する期間は、字幕設定ボックスの両端位置により自動的に設定される。よって、ユーザは、タイムライン表示エリア内における字幕設定ボックスの両端位置から、直感的にそこに登録された字幕が表示される期間を認識することができる。また、その字幕設定ボックスの設定は、たとえば、動画表示部に描画されている動画を確認し、ある字幕を表示させようとする動画（フレーム）が表示されている最初と最後を指定すること等で行える。この最初と最後の指定は、タイムライン表示エリア内の該当位置をクリック等で指定することなどで行える。つまり、字幕を再生する期間を字幕設定ボックスにより特定するようにしたので、その設定や、期間の認識（確認）を容易に行うことができる。
【００１５】
また、字幕設定ボックスは、任意の位置に設定できるので、ユーザは、字幕を登録した期間のみ字幕設定ボックスを設定すればよい。つまり、動画データの全期間にわたり、字幕を設定する必要はなく、自分のわかる部分、作成したい部分のみを部分的に作成し登録することができるので、字幕作成が容易に行える。この字幕作成システムは、インターネットなどの通信・ネットワークを利用し、遠隔地にいるユーザが、上記の機能を備えたサーバにアクセスし、字幕を作成することができる。
【００１６】
（２）テキスト入力手段により入力された字幕は、対応する字幕設定ボックスに表示するようにするとよい。このようにすると、字幕設定ボックスを設定しただけで、字幕の登録が行われていない（忘れている）箇所を容易に見つけることができる。さらに、字幕設定ボックスの長さは、そこに登録された字幕の表示期間の長さに対応するので、短い字幕設定ボックスには、登録する文字数も少なくする必要がある。そこで、ユーザは、字幕設定ボックスの長短から、登録できる有効な文字数（字幕を再生したときに視聴者が読み取り、理解できる文字数）の多少を認識することができ、たとえば、多くの字幕を登録して文字がそのボックスからはみ出たり、ボックスいっぱいになったりするような場合には、文字数が多すぎるので、減らした方がよいことを理解することができる。
【００１７】
（３）編集機能として、前記字幕設定ボックスの両端に位置を変更する機能と、登録した字幕を変更する機能の少なくとも一方を備えるとよい。
【００１８】
（４）前記字幕用データ記憶部に格納した前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、前記タイムライン表示エリア内に前記字幕設定ボックスを表示すると共に、その字幕設定ボックスに字幕が登録されている場合にはその字幕設定ボックス内に字幕を表示する機能と、前記字幕を登録した人以外の他人が、前記タイムライン表示エリア内に新たに字幕設定ボックスを追加する機能と、前記字幕設定ボックス（追加したもの・既存のもの）に対して字幕を登録する機能と、を備えると好ましい。このようにすると、複数の人で１つの字幕を作成することができ、よりよい字幕を簡単に構築していくことができる。また、最初の公開時は、動画データのみ或いは字幕スーパが一部のみ存在する字幕付きの動画データとしては不完全なコンテンツであっても、複数の人が字幕作成に参加することで、徐々に完成に近づいていくといったサービスを提供することができ、各ユーザも遊び感覚で字幕の作成に携わることができ、また、得意な部分のみ字幕の作成を担当すればよく、気軽に参加することができる。
【００１９】
（５）前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、別の字幕用データのファイルとして保存する機能（コピー機能）を備えると好ましい。このようにすると、すでに作成された字幕の一部を利用し別の字幕を作成することができるので、作成の負担が軽減する。また、異なる言語に翻訳するような場合、設定済みの字幕設定ボックスを利用することで、その字幕設定ボックスの設定作業にかかる負担を省略することができる。そして、作成済みの字幕設定ボックスをみることで、その長短並びに設定位置からそれが適切か否かを容易に判断でき、修正することで、自分の感覚にあった字幕を作成することができる。また、動画の一部に字幕が作成されている字幕用データを利用することで、残りの部分の字幕を作成して自分用の字幕用データを作成することができる。よって、新たに最初から作成する場合に比べて、作業負担が軽減する。
【００２０】
（６）前記動画データを再生して出力する音声に対して音声認識処理を行い、会話の区切りを検出し、その区切りに基づいて前記字幕設定ボックスの割り付けを行うようにすると好ましい。このようにすると、とりあえず動画データの全体にわたり、字幕設定ボックスの割り付けが行えるので、字幕設定ボックスの割り付けの作業負担が軽減する。もちろん、設定された字幕設定ボックスのすべてに字幕を登録しなくてもよく、自分のわかる箇所、作成したい部分のみ字幕を登録すればよいのは上記の各発明と同様である。また、設定済みの字幕設定ボックスを修正する機能を備えることで、自動設定後に微調整をすることができる。
【００２１】
（７）前記音声認識処理を行い求めたテキストデータを、前記字幕設定ボックスの字幕として登録する機能を備えるとよい。このようにすると、動画データで再生するのと同じ言語のテキストからなる字幕が登録されるので、別の言語の字幕作成の際の翻訳処理の参考になるので好ましい。
【００２２】
（８）本発明のプログラムは、コンピュータを、動画データを再生表示する動画表示手段、その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリア、そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段、その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段、前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段として機能させるためのプログラムである。
【発明の効果】
【００２３】
本発明は、字幕設定ボックスを用い、タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断でき、字幕設定ボックスを適切に設定することができるので字幕の作成が容易に行えるようになる。また、１つの字幕用データを、複数の人で作成できるようにした場合、各人は、わかる部分の字幕を登録すればよく、遊び感覚で気軽に字幕作成に参加できる。
【図面の簡単な説明】
【００２４】
【図１】本システムの好適な一実施形態を示す図である。
【図２】字幕付の動画の表示例を示す図である。
【図３】字幕が付与されていない場合の「元動画詳細」タブを選択した場合の表示画面の一例を示す図である。
【図４】字幕が付与されていない場合の「この動画の他の字幕」タブを選択した場合の表示画面の一例を示す図である。
【図５】字幕付与画面の一例を示す図である
【図６】字幕説明入力画面の一例を示す図である。
【図７】「字幕説明」タブを選択した場合の表示画面の一例を示す図である。
【図８】「字幕内容」タブを選択した場合の表示画面の一例を示す図である。
【図９】「この動画の他の字幕」タブを選択した場合の表示画面の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を用いて本発明の好適な実施形態を説明する。本発明では、インターネット等の通信・ネットワークを利用し、一般の人が参加し、共同作業により字幕スーパを構成する翻訳文等を作成することができるものである。図１に示すように、各ユーザが使用する利用者端末１は、インターネット２を介して字幕作成提供サーバ１０にアクセス可能となっている。また、このインターネット２には、各種の動画データサーバ３も接続されている。この動画データサーバ３と、字幕作成提供サーバ１０とは、物理的に同一のもので構成されていても良いし、別のものでも良い。動画データサーバ３は、各種の動画共有サイトのサーバでもよいし、その他の動画データを格納しているサーバでもよい。
【００２６】
字幕作成提供サーバ１０は、インターネット２に接続してデータの送受を行うための通信インタフェース１１と、所定の処理を実行する制御部１２と、作成した字幕用のデータを格納する字幕用データ記憶部１３と、を備えている。さらにこの字幕作成提供サーバ１０は、配信する動画（映像）データを記憶する動画データ記憶部を備えていても良い。各処理部の具体的な機能については後述する。
【００２７】
ユーザは、利用者端末１を操作し、インターネット２を介して字幕作成提供サーバ１０にアクセスし、動画データサーバ３に格納されている映像データに対して付与する字幕スーパ用のデータを入力する。この入力された字幕スーパ用のデータは、字幕用データ記憶部１３に格納される。そして、たとえば、字幕作成提供サーバ１０が、利用者端末１から字幕付の動画（映像コンテンツ）の視聴要求を受けると、視聴要求された映像コンテンツの動画データが格納された動画データサーバ３を認識し、その格納された動画データを利用者端末１に配信すると共に、それに同期させて字幕用データ記憶部１３に格納された字幕スーパを利用者端末１に配信する。これにより、利用者端末１の表示装置の表示画面には、図２に示すように、動画再生領域Ｒ１に動画データを再生表示し、その動画再生領域Ｒ１の下に用意した副次データ表示領域Ｒ２に読み出した字幕（テキストデータ）を表示する。なお、この動画データと字幕とを同期して再生・描画出力する機能は、特許文献１に開示された技術を用いることができるので、その詳細な説明を省略する。
【００２８】
次に、具体的な字幕用のデータの入力のための各処理等を説明しつつ、制御部１２の機能を説明する。まず、この字幕作成提供サーバ１０は、字幕付きの動画を提供する動画提供（再生）サイト内における一つの機能としての字幕作成提供機能を実現するためのものである。そこで、字幕を作成しようとするユーザは、まず、係るサイトにアクセスし、表示されたリストの中から、自分が字幕を作成しようとする動画を選択する。なお、リストに表示する動画データは、字幕作成提供サーバ１０内の記憶部（動画データ記憶部）に格納されたものでも良いし、動画データサーバ３等の別のサーバに格納されたものでも良い。なお、係る処理対象となる動画データの一覧リストの表示や、その表示されたものから選択されたものを呼び出して、利用者端末１の表示装置の表示画面に表示する技術は、従来公知のものを用いることができるので、その詳細な説明を省略する。
【００２９】
このようにして字幕を作成する処理対象の動画が選択されたならば、利用者端末１の表示仮面には、たとえば図３に示すような表示レイアウトの画面が描画される。すなわち、左上には、動画（映像）を再生する動画再生領域Ｒ１が用意され、その動画再生領域Ｒ１の下に、字幕を再生するための副次データ表示領域Ｒ２が用意される。副次データ表示領域Ｒ２には、動画再生領域Ｒ１にて再生中の動画データに関連づけられた字幕が存在している場合には、再生中の動画に対応する字幕（テキスト）が出力される。新規登録の場合には、関連づけられた字幕がないので、図に示すように「この動画の字幕を新しく作成」と記載された新規作成ボタン領域Ｂ２が用意されており、この新規作成ボタン領域Ｂ２をクリックすると、字幕付与画面へ遷移する。
【００３０】
この副次データ表示領域Ｒ２の下には、細長な再生操作ボタン表示領域Ｒ３が用意される。再生操作ボタン表示領域Ｒ３は、左端に設けられた動作ボタン（図では、“三角形のマーク”）Ｂ１をクリックすることとで、動画再生領域Ｒ１に描画される動画の再生・一時停止を指示することができる。また、再生操作ボタン表示領域Ｒ３に示されるインジケータ部分ＩＢは、動画再生領域Ｒ１に描画する動画データのダウンロード状況を示すものである。また、ポインティングデバイスを操作し、このインジケータ部分ＩＢの適宜位置をポインタでクリック等することで、そのクリックした位置に対応する部分からの動画再生を行う。これらの機能も、一般的な公知の技術であるので、その内部処理を含めた具体的な説明を省略する。
【００３１】
動画再生領域Ｒ１の右側には、関連情報表示領域Ｒ４が用意されている。この関連情報表示領域Ｒ４は、図示するように上端に用意された４つのタブのうち選択された他部についての情報が表示される。４つのタブは、「字幕説明」，「字幕内容」，「この動画の他の字幕」，「元動画詳細」である。なお、各タブが選択された場合に、関連情報表示領域Ｒ４に表示される情報は、適宜後述する。また、字幕が付与されていない場合には、字幕について提示する情報がないので、「字幕説明」のタブ並びに「字幕内容」のタブは非アクティブになり、係るタブがクリックして選択することができないようになっている。
【００３２】
まず、図３に示すように、元動画詳細タブが選択された場合の関連情報表示領域Ｒ４には、字幕を作成する対象となる動画について、元々付記されていた説明文が表示される。つまり、所定のサーバに動画データを登録するに際し、動画データのみ登録するのではなく、その動画の内容を説明・解説するための説明文を関連づけて登録することが多々あり、制御部１２は、係る説明文が登録されている場合に当該説明文を読み出し、この関連情報表示領域Ｒ４に表示するのである。従って、係る説明文がない場合には、ブランク表示となる。
【００３３】
また、字幕が付与されていない場合に「この動画の他の字幕」タブが選択された場合、図４に示すような表示が行われる。すなわち、選択している動画データに字幕が付与されていない場合、制御部１２は、関連情報表示領域Ｒ４内に「この動画にはまだ、字幕はありません」とのメッセージとともに、図に示すように「この動画の字幕を新しく作成」と記載された新規作成ボタン領域Ｂ２′を表示する。そして、この新規作成ボタン領域Ｂ２′をクリックすると、字幕付与画面へ遷移する。
【００３４】
さらに、制御部１２は、字幕用データ記憶部１３をアクセスし、選択されている動画と同じ部分を含む動画或いは関連する動画について付与された他の字幕データをサーチし、検出された場合には、その結果を関連情報表示領域Ｒ４の下側に「おすすめ字幕付動画」としてリスト表示する。このリスト表示する際の表示情報は、動画を表す代表図（最初のフレーム等）と、タイトル等のテキスト情報がある。また、このリストアップされた字幕のついた動画をクリックすると、制御部１２は、その動画データと字幕の同期をとって再生する。
【００３５】
新規作成ボタン領域Ｂ２或いはＢ２′がクリックされたことを認識すると、制御部１２は、字幕付与画面に遷移する。この字幕付与画面は、図５に示すように、動画再生領域Ｒ１，副次データ表示領域Ｒ２，再生操作ボタン表示領域Ｒ３並びに関連情報表示領域Ｒ４の下方に、字幕エリア設定領域Ｒ５と、字幕編集領域Ｒ６とを配置したレイアウトを採る。
【００３６】
字幕エリア設定領域Ｒ５は、現在再生している部分を含む拡大タイムライン表示エリアＴＬと、その拡大タイムライン表示エリアＴＬの下端に配置し、動画全体における現在再生（表示）しているフレーム位置を特定するためのインジケータＩを備える。拡大タイムライン表示エリアＴＬは、字幕エリア設定領域Ｒ５の右端に用意したスライダＳを上下移動させることで、字幕エリア設定領域Ｒ５の表示エリアの拡大／縮小を行う。本実施形態では、この拡大タイムライン表示エリアＴＬ内に、そのタイムラインに合わせて字幕設定ボックス（字幕入力エリア）ＢＸを設定可能としている。この字幕設定ボックスＢＸは、設定された字幕を表示している期間（タイミング）を規定するためのもので、その字幕設定ボックスＢＸの四角い枠（箱）の前端位置から後端位置までに対応する時間中、その字幕設定ボックスＢＸに登録された字幕（テキスト）を表示し続ける。
【００３７】
この字幕設定ボックスＢＸの指定（設定）は、ポインティングデバイスを操作し、拡大タイムライン表示エリアＴＬ内の所望位置をクリック（たとえば、ポインティングデバイスの左クリック）することで、前端位置が設定され、その状態（ポインティングデバイスのボタンを押した状態まま）でポインティングデバイスを移動し、所望の位置で当該ボタンを離すことで、その離した位置で後端位置が設定される。もちろん、その他の方法により字幕設定ボックスＢＸの前後の位置を特定するようにしてもよい。いずれの場合も、ユーザがポインティングデバイスの操作により、拡大タイムライン表示エリアＴＬ内の所望の位置を指定することで字幕設定ボックスＢＸの前後端位置を指定できるようにすると、指定が直感的に簡単に行えるので好ましい。
【００３８】
さらに、拡大タイムライン表示エリアＴＬ内には、動画再生領域Ｒ１に現在再生されている動画のフレーム部分がスケール線ＳＫとして表示されているので、その動画再生領域Ｒ１で再生されている動画をみながらスケール線ＳＫを確認することで、字幕設定ボックスＢＸの前後端位置を特定するのが容易に行える。
【００３９】
そして、このようにして字幕設定ボックスＢＸの前後端位置を設定したならば、制御部１２は、その前後端位置の時間データ（動画の再生開始からの経過時間）を認識するとともに、それに対応する動画データのフレームを特定する。そして、それらのデータを字幕設定ボックスＢＸと関連づけて記憶する。具体的には、字幕設定ボックスＢＸを特定するレコード番号（たとえば、作成順に割り当てられる）と、その字幕の再生開始時間／終了時間等を関連づけて、動画データ記憶部１３に格納する。また、このデータには、実際の字幕として再生するテキストデータ（後述する処理により指定）も関連付けて登録することになる。
【００４０】
また、本実施形態では、字幕設定ボックスＢＸの指定は、拡大タイムライン表示エリアＴＬ内の任意の位置に対して、任意の大きさで指定できる。そして、字幕は、その字幕設定ボックスＢＸが設定された箇所に対して行える。従って、図示するように、前後に間隔があいた穴あき状態で字幕設定ボックスＢＸを設定することができる。また、このように穴あきとなり、字幕設定ボックスＢＸが設定されていない空白部分をクリックすると、そこに新たな字幕設定ボックスＢＸを設定する機能を設けても良い。この場合の前後端位置は、前後の字幕設定ボックスＢＸとの境界とすることができる。
【００４１】
上記のように、穴あきで字幕設定ボックスを設定することが許容されているので、ユーザは、自己が作成したい部分の字幕について、その字幕データを登録することができる。これにより、ユーザは、動画データのすべての部分について字幕を作成する必要がなくなるので、作業負担が軽減する。また、残りの部分についての字幕については、この作成した字幕データに追加、あるいはその字幕データを引用（コピー）して別途作成することができる。この場合、追加部分の字幕については、他の人が行うこともできるので、ユーザは、気軽に字幕の作成を行うことができ、しかも、複数の参加者により徐々に字幕スーパが完成していく新しいサービスを提供することができる。
【００４２】
実際の字幕スーパとして描画する字幕（テキストデータ）の入力は、字幕編集領域Ｒ６を利用して行う。すなわち、字幕編集領域Ｒ６に、テキストデータを入力すると、１または複数の字幕設定ボックスＢＸのうち、アクティブとなっている１つの字幕設定ボックスＢＸに対する字幕データの登録が行われる。ここで、アクティブとなる字幕設定ボックスＢＸは、たとえば、上述したように新たに字幕設定ボックスＢＸを設定した場合、その字幕設定ボックスＢＸがアクティブとされる。また、すでに設定済みの字幕設定ボックスＢＸをクリックして選択すると、その字幕設定ボックスＢＸがアクティブになる。なお、このように字幕設定ボックスＢＸをクリックすると、制御部１２は、タイムライン上におけるそのクリックした位置に対応するフレームを動画再生領域Ｒ１に描画するとともに、カーソル線ＳＫを拡大タイムライン表示エリアＴＬ内のクリックした位置に描画する。このような制御を行うことで、現在入力しようとする字幕のテキストデータに対応する動画を見ながら字幕の入力作業を行える。
【００４３】
そして、字幕編集領域Ｒ６にテキストデータが入力されると、制御部１２は、その入力されたテキストデータを、現在アクティブの字幕設定ボックスＢＸに関連づけて字幕用データ記憶部１３に登録すると共に、拡大タイムライン表示エリアＴＬ内のアクティブの字幕設定ボックスＢＸと、副次データ表示領域Ｒ２と、関連情報表示領域Ｒ４のそれぞれの所定位置に当該テキストデータを描画する。関連情報表示領域Ｒ４には、字幕設定ボックスＢＸごとに対応した四角い字幕データ表示枠が用意され、その字幕データ表示枠内に、テキストデータとそれを描画する時間（開始時間と終了時間）を描画するようになる。また、この字幕データ表示枠の右端には、“削除”ボタンが用意され、制御部１２は、この“削除”ボタンがクリックされたことを認識すると、対応する字幕設定ボックスＢＸに関するデータを一括して削除する処理を行う。
【００４４】
従って、字幕の登録が進むと、関連情報表示領域Ｒ４には、図５に示すように、タイムラインごとに字幕データ表示枠を並べて表示されるし、拡大タイムライン表示エリアＴＬ内にもタイムラインごとに並んで字幕に表示するテキストデータが表示される。そして、拡大タイムライン表示エリアＴＬは、現在動画再生領域Ｒ１にて再生されている部分が表示されるが、関連情報表示領域Ｒ４に出力されている字幕データ表示枠は、その領域の右端に設けられたスライダを上下することで、現在再生されていない部分の字幕をみることもできるので、現在の字幕の作成の参考になる。さらに、拡大タイムライン表示エリアＴＬ内の字幕設定ボックスＢＸのうち、空白のただの箱のものが存在する場合、字幕スーパを表示する枠を確保したものの、具体的な字幕が未入力であることを意味する。よって、設定した字幕設定ボックスＢＸに空欄のものがないことを確認することで、字幕の登録のし忘れを抑制できる。もちろん、一旦字幕を入力した字幕設定ボックスＢＸを選択すると、入力済みの字幕（テキストデータ）が字幕編集領域Ｒ６に出力されるので、その出力されたテキストに対し、追加・削除・変更等の編集処理を行うことで、入力済みのデータを変更できる。
【００４５】
さらに文字装飾用パレットＰが用意されており、字幕編集領域Ｒ６内に入力された文字を指定すると共に、文字装飾用パレットＰの所定のボタンをクリックすることで、指定した文字ごとに装飾（色・大きさ等の変更・設定）をすることができる。
【００４６】
上記の字幕の入力処理（ＳＴＥＰ１）が終了すると、字幕情報入力処理（ＳＴＥＰ２）に移行する。この字幕情報入力処理への移行は、図５に示すように、字幕入力画面の下方に、「ＳＴＥＰ２字幕情報入力へ」と描画したボタンＢ３を用意し、それをクリックすることで、図６に示す「字幕情報入力処理画面」に遷移するようにすることで実現している。もちろん、所定のコマンド入力や、メニューリストから選択すること等の方法によっても切り替えることができる。
【００４７】
図６に示すように、字幕情報入力処理では、先の入力処理で入力した字幕についての情報、つまり、「字幕タイトル」，「字幕説明」，「字幕言語」，「ニックネーム」，「ロックの有無」，「パスワード」である。「字幕タイトル」は、自己が作成した字幕を特定・識別するためのタイトルである。「字幕説明」は、字幕を紹介するための文章である。「字幕言語」はプルダウンメニューでリストアップされたものの中から選択する。「ニックネーム」は、ネット上で公開されるユーザの名前を登録する。作成された字幕の配信の際には、その作成者の名前（ここで登録した「ニックネーム」）も合わせて公開するようにしたので、第三者は、誰が作成した字幕であるかがわかる。これにより、ニックネームを検索キーにすることで、第三者は、お気に入りの作者の字幕を簡単に見つけ、視聴したり、別の字幕データを作成するに際し参考・利用したりすることができる。
【００４８】
「ロック／ロックフリー」は、いずれかをクリックして選択する。「ロック」が選択された場合、作成した字幕データに対する第三者の編集が不許可となる。一方「ロックフリー」が選択された場合、字幕データに対する第三者の編集が許可される。つまり、登録した字幕データを読み出し、拡大タイムライン表示エリア内における未設定部分のタイムライン中に字幕設定ボックスＢＸを新たに追加設定したり、既存の（設定済み）の字幕設定ボックスＢＸを選択し、作成された字幕を編集したりすることができる。また、「パスワード」を付けることで、仮にロックフリーとした場合でも、そのパスワードを知っている限られた人のみが編集することができるようにする機能も備えている。
【００４９】
そして、字幕情報入力処理画面の下方に設けた、「決定」ボタンをクリックすることで、登録された各データの内容が確定され、字幕用データ記憶部１３に登録される。これにより、一連の字幕登録処理（ＳＴＥＰ１＆２）が完了し、最初に選択した動画データに対して字幕が付与されることになる。
【００５０】
よって、この字幕データの付与に伴い、この動画データが選択された場合には、関連情報表示領域Ｒ４に用意された上述した４つのタブ（「字幕説明」，「字幕内容」，「この動画の他の字幕」，「元動画詳細」）が全て選択可能となる。
【００５１】
そして、「字幕説明」タブが選択された場合には、図７に示すように、関連情報表示領域Ｒ４には、字幕説明、つまり、付与された字幕そのもののディスクリプションが描画される。つまり、制御部１２は、字幕情報入力処理画面で入力され、字幕用データ記憶部１３に格納された「字幕タイトル」と「字幕説明」のデータを読み出し、出力する。また、「ロック／ロックフリー」のいずれかを認識し、その状態も合わせて出力する。図７の例では、「ロックフリー」であるので、その説明（編集可能なこと）を合わせて報知している。さらに、「字幕説明」タブで表示される関連情報表示領域Ｒ４には、「字幕編集」ボタンＢ６が用意されており、この「字幕編集」ボタンＢ６がクリックされると、図５に示した字幕入力画面に遷移し、字幕の入力（編集）ができる。なお、「ロック」状態になっている場合には、作成者以外のユーザが見ている場合、この「字幕編集」ボタンがクリックできないように制御すると良い。
【００５２】
また、「字幕内容」タグが選択された場合には、制御部１２は、選択された動画データに関連づけられている字幕を読み出し、図８に示すように、タイムラインごとの字幕を再生順に並べて表示する。また、合わせて動画再生領域Ｒ１に動画データを再生すると、制御部１２は、再生中の字幕について、バックの色を変える。
【００５３】
さらに、字幕データが付与された動画について、「この動画の他の字幕」タグを選択した場合、図９に示すように、関連情報表示領域Ｒ４には、同一の動画について付与されている字幕データのリストが表示される。この表示されたリストの中から、任意のものをクリックすると、動画とともにそのクリックされた他の字幕が再生される。
【００５４】
また、上述したように、最初に字幕データを作成した人と別の人がロックフリーの字幕データを読み出し、更新することで、複数の人が共同して１つの字幕データを作成することもできるし、読み出した字幕データを利用し、その読み出した人が新たな字幕データを作成し別のファイルとして登録することもできる。つまり、字幕用データ記憶部１３に登録された字幕データをコピーし、適宜修正したものを新たな字幕用データとして登録することになる。この場合に、基となった読み出した字幕データの作者（ニックネーム）も関連づけて登録され、再生する際には、コピー元の作者名もあわせて表示するようにしている。本実施形態では、動画再生領域Ｒ１の上に、「この字幕は、「○○○○」からコピーして編集されました」とのメッセージを描画するようにし、「○○○○」の所にニックネームをはめ込み描画するようにしている。
【００５５】
本実施形態の字幕作成提供サーバ１０を利用することで、以下に示すサービス（システム）を提供することができる。すなわち、動画（映像コンテンツ）の公開時は、動画データのみ或いは字幕スーパが一部のみ存在するといった、字幕の不完全なコンテンツの状態で公開していたり、そもそも、動画共有サイトのように、字幕がない状態で配信されていたりした動画データに対し、動画データの提供者とは別の不特定の一人または複数のユーザが、その後に字幕を付与することができる。そして、そのようにして付与された字幕と動画データとを同期をとりながら配信するサービスにより、第三者は、字幕付きの動画データを視聴することができる。
【００５６】
また、字幕を作成する処理に着目すると、本実施形態は、インターネット等を利用した新たなサービスとして、字幕スーパに表示する字幕の作成者として、不特定の一般のユーザ（会員登録等により、ある程度制限することは可能）を利用し、その一般のユーザが、自己がわかる部分（作成したい部分）についての動画データに対する字幕を作成していくことで、最終的に当該動画データについての字幕スーパが完成するというように不特定の一般ユーザが共同して字幕スーパを作成してくことができる。
【００５７】
また、上記のコピーによる新たな字幕用データを作成する機能を用いることで、翻訳による別の言語を用いた字幕を作成するのが容易に行える。つまり、字幕は、動画データ中の音の発生にあわせて字幕スーパを描画することになる。よって、言語が異なったとしても、ある字幕を再生しているタイムラインは等しくなる。従って、同じ元動画データに対する字幕用データでは、ある言語で作成した字幕設定ボックスＢＸは、別の字幕用データでも同じに利用できる。そこで、作成済みの字幕を読み出し、そこで設定されている字幕設定ボックスＢＸを利用し、その字幕設定ボックスＢＸ内に所定の言語からなる翻訳文からなる字幕を順次登録し、別のファイルとして格納するとで、別の言語からなる字幕を作成できる。この場合、字幕の作成処理としては、字幕設定ボックスＢＸの設定処理は省略できるので、作業性が向上する。しかも、それぞれ設定した字幕が、どのタイムラインで描画されるかは、拡大タイムライン表示エリアＴＬ内にそれぞれタイムラインで割り付けられた字幕設定ボックスＢＸをみることで、別の人が設定した字幕設定ボックスが正しいか否か（そのまま使えるか否か）を簡単に理解することができる。しかも、表示している時間は、字幕設定ボックスＢＸの長さに比例するので、それも視覚的に直感的に適しているか否かの判断が行える。このように、簡単にその適否の判断が行えるので、他人が設定した字幕設定ボックスも容易に利用することができる。そして、適していないと判断した場合には、字幕設定ボックスＢＸの前端位置あるいは後端位置のいずれか一方あるいは両方の位置を修正すればよい。
【００５８】
また、上記の通り、字幕設定ボックスＢＸの長さが、そのまま描画している時間に比例する。従って、字幕設定ボックスＢＸが短い場合、そこに登録した字幕は、短時間で消えてしまう。従って、係る場合にあまり文字数が多いと、視聴者は字幕の全部を読み切る前に当該字幕が消えてしまうおそれがある。そこで係る事態の発生を防止するため、字幕設定ボックスＢＸの長さ（表示時間）に応じて、登録できる文字数に制限を設けると良い。また、文字数に制限を設けないとしても、字幕設定ボックスＢＸの長さが短いと、字幕編集領域Ｒ６に多数の文字を入力した場合に、対応する字幕設定ボックスＢＸにその入力した文字のすべてが表示されない状態となる。従って、入力した文字を対応する字幕設定ボックスＢＸ内に表示するようにしたので、再生している（描画している）時間に対して文字数が多すぎないかの確認も、簡単に行える。
【００５９】
また、字幕は、翻訳文つまり動画データが発生している音声の言語と別の言語で記載したテキストデータにかぎることはなく、音声と同じ言語からなるテキストデータでも良い。すなわち、動画データの音声が日本語で、字幕も日本語とした利用形態もあり得る。従って、動画データを再生すると共に、音声認識処理をし、会話ごとに字幕設定ボックスＢＸを設定すると共に、設定した字幕設定ボックスＢＸに認識処理をした結果得られたテキストデータを登録する機能を備えると良い。このようにすると、実際に動画データの再生中に、音声を発している部分ごとに字幕設定ボックスＢＸが割り付けられるので、係る字幕設定ボックスの割り付けが簡単かつ正確に行えるので好ましい。そして、実際に発生している文章が、自動的に登録されるので、翻訳文を作成する人は、その音声認識された元となる言語を見ながら翻訳できるので、実際に発生される音声のみから翻訳を行うものに比べて、作業性がより向上する。
【符号の説明】
【００６０】
１ 利用者端末
２ インターネット
３ 動画データサーバ
１０ 字幕作成提供サーバ
１１ 通信インタフェース
１２ 制御部
１３ 字幕用データ記憶部
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】再公表０２／０３７８４１号公報
【技術分野】
【０００１】
本発明は、字幕作成システム及びプログラムに関する。
【背景技術】
【０００２】
近年、映画や放送番組などの映像コンテンツのデジタル化が急速に進み、デジタル化された映像コンテンツが、デジタル放送やインターネット配信で視聴者に届けられるようになってきた。また、インターネットの普及に伴い、インターネット上に多数の動画共有サイトが存在し、その動画共有サイトにアップロードした動画（映像コンテンツ）を、他のユーザが自己の端末（パーソナルコンピュータ：パソコン）上で視聴することができるようになっている。この種の放送或いは配信される映像コンテンツ等のコンテンツは、予め動画データと副次データとが一体となって作成されたコンテンツが使用されている。副次データとしては、たとえば、動画データに対応する字幕スーパ等がある。
【０００３】
このように動画データと、字幕スーパ等の副次データと、が一体となっているコンテンツでは、動画データと字幕スーパとを重畳させて１本の映像マスタを作成する。この映像マスタに取り込まれた副次データ（字幕スーパ）は画像データとして扱われる。したがって、一旦映像マスタを作成した後、字幕スーパ等の副次データの内容の修正を行う場合、非常に煩雑となる。つまり、例えば字幕スーパの手直しが発生すると、元の字幕スーパのデータを読み出し、必要箇所を修正し、修正後の字幕スーパを再度動画データと重畳して映像マスタを再度作成することになる。
【０００４】
また、字幕スーパは、その映像コンテンツを視聴する人が理解できる言語で記載される必要があるため、世界各国に配信する場合、字幕スーパも各国ごとに編訳したものを用意する必要がある。そして、各言語の字幕スーパを、それぞれ動画データに重畳し、言語ごとの映像コンテンツ（映像マスタ）を作成し、管理・配信することになる。
【０００５】
よって、仮に１０種類の字幕スーパを用意した場合（同一言語で複数個用意した場合も含む）、１０種類の映像コンテンツが作成されることになり、各映像コンテンツ内に、字幕スーパに比べてその容量が遙かに大きい動画データを含むことになる。この１０個の動画データの内容はいずれも同一であるにもかかわらず、それぞれの映像コンテンツ内に同一の動画データを含むことになり、記憶容量も多く必要となる問題があるばかりでなく、動画データの修正を行った場合、各言語用の映像コンテンツ内における動画データ部分の同一性が担保できなくなるおそれもある。
【０００６】
そこで、係る問題を解決するため、たとえば、特許文献１に開示された技術が提案されている。この特許文献１に開示された発明は、字幕スーパ等の副次データに、動画データと同期をとるための同期データ（動画データの再生開始ポイントと再生終了ポイントとして動画データを構成する所定のフレームを特定するためコード）を格納し、その副次データと動画データを別々のファイルとして保存し、再生時には、その同期をとるためのデータに基づき動画データと字幕スーパとをそれぞれの再生タイミングを合わせて再生する。これにより、その映像コンテンツを視聴しようとする利用者端末上では、同期データで特定される動画データの再生中は、それに関連づけられた副次データである字幕スーパが再生されることになる。
【０００７】
よって、この特許文献１に開示された発明では、字幕スーパの内容を修正する場合、該当する字幕スーパのファイルのみを変更するだけでよく、動画データに対する再度の重畳処理などを行う必要が無いので、作業が簡単に行える。また、動画データも１つのみ記憶しておけばよいので、記憶容量の削減を図ると共に並びに管理も用意になる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術は、動画データ（映像コンテンツ）を配信しようする人（依頼者）が、翻訳者等の副次データを作成する人に対して依頼をし、作成した副次データのファイルを動画データと共に配信するシステムを想定し、構築されている。従って、依頼者にとっても、副次データである字幕スーパを作成する翻訳者は、限られた特定の人であることが前提となっている。つまり、副次データが字幕スーパの場合、特定の１人または複数の人によって１または複数の字幕スーパのファイルを作成し、その作成した字幕スーパのファイルを所定のサーバ（動画データを登録したサーバと同じである必要はない）に登録し、インターネット等を介してユーザにかかる字幕スーパ付の動画データを配信するのに適したものである。このように、字幕スーパを作成するのが特定の限られた人であるので、特許文献１の技術でも問題はなかった。
【０００９】
しかし、上記の特許文献１に開示された発明では、字幕スーパを構成するための副次データは、動画データをその先頭から再生しながら、翻訳文を作成し、動画データとの同期をとるための同期データ（字幕スーパを再生（表示）している区間を特定するための動画データの開始フレームと終了フレームを特定するコマンド等）を作成した翻訳文である字幕に関連づけて順次登録していく仕組みを採っているので、作成時の融通性に欠けると共に、同期データの登録等、ある程度、動画データ・映像コンテンツに対する専門知識等が必要となり、操作性も悪いという課題がある。
【００１０】
さらに、一旦、サイト上に字幕スーパを含む映像コンテンツをアップロードした後で、その字幕スーパの内容の一部を修正（追加・削除を含む）するようなシステムを考えた場合、特許文献１に開示された技術だけでは対応できないとい課題があった。
【００１１】
さらにまた、特許文献１に開示された技術は、従前の字幕スーパ等の副次データと動画データを一体化することはなく、別々のファイルに格納する点では相違するものの、動画データと、それについての副次データ（字幕スーパ）を事前に作成し、それを公開し、配信するものである点では、従前の配信サービスと同じであった。
【００１２】
これに対し、本発明は、新たなインターネット等を利用したサービスとして、字幕スーパに表示する翻訳文の作成者として、不特定の一般のユーザ（会員登録等により、ある程度制限することは可能）を利用し、その一般のユーザが、自己がわかる部分（作成したい部分）についての映像データに対する翻訳文（字幕スーパ）を作成していくことで、最終的に当該動画データについての字幕スーパが完成するというように不特定の一般ユーザが共同して字幕スーパを作成してくようなシステムを考案した。しかし、係るシステムを実現するためには上記の特許文献１の技術では十分でないという課題がある
【課題を解決するための手段】
【００１３】
上記の課題を解決するために、本発明は、（１）動画データを再生表示する動画表示部（実施形態の「動画再生領域Ｒ１」に対応）と、その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリアと、そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段と、その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段（実施形態の「字幕編集領域Ｒ６」に対応）と、前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報（時間やフレーム等）と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段と、を備えた。
【００１４】
タイムライン表示エリアは、再生中の動画データのタイムラインを表示するもので、現在再生している部分が、スケール線（実施形態のＳＫ）で示されたり、インジケータのように帯状に伸びる先端部分で示されたりするものである。そして、そのタイムライン表示エリア内に、字幕を作成する部分に字幕設定ボックスを設定し、そこに字幕を登録するようにした。そして、その登録した字幕を再生する期間は、字幕設定ボックスの両端位置により自動的に設定される。よって、ユーザは、タイムライン表示エリア内における字幕設定ボックスの両端位置から、直感的にそこに登録された字幕が表示される期間を認識することができる。また、その字幕設定ボックスの設定は、たとえば、動画表示部に描画されている動画を確認し、ある字幕を表示させようとする動画（フレーム）が表示されている最初と最後を指定すること等で行える。この最初と最後の指定は、タイムライン表示エリア内の該当位置をクリック等で指定することなどで行える。つまり、字幕を再生する期間を字幕設定ボックスにより特定するようにしたので、その設定や、期間の認識（確認）を容易に行うことができる。
【００１５】
また、字幕設定ボックスは、任意の位置に設定できるので、ユーザは、字幕を登録した期間のみ字幕設定ボックスを設定すればよい。つまり、動画データの全期間にわたり、字幕を設定する必要はなく、自分のわかる部分、作成したい部分のみを部分的に作成し登録することができるので、字幕作成が容易に行える。この字幕作成システムは、インターネットなどの通信・ネットワークを利用し、遠隔地にいるユーザが、上記の機能を備えたサーバにアクセスし、字幕を作成することができる。
【００１６】
（２）テキスト入力手段により入力された字幕は、対応する字幕設定ボックスに表示するようにするとよい。このようにすると、字幕設定ボックスを設定しただけで、字幕の登録が行われていない（忘れている）箇所を容易に見つけることができる。さらに、字幕設定ボックスの長さは、そこに登録された字幕の表示期間の長さに対応するので、短い字幕設定ボックスには、登録する文字数も少なくする必要がある。そこで、ユーザは、字幕設定ボックスの長短から、登録できる有効な文字数（字幕を再生したときに視聴者が読み取り、理解できる文字数）の多少を認識することができ、たとえば、多くの字幕を登録して文字がそのボックスからはみ出たり、ボックスいっぱいになったりするような場合には、文字数が多すぎるので、減らした方がよいことを理解することができる。
【００１７】
（３）編集機能として、前記字幕設定ボックスの両端に位置を変更する機能と、登録した字幕を変更する機能の少なくとも一方を備えるとよい。
【００１８】
（４）前記字幕用データ記憶部に格納した前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、前記タイムライン表示エリア内に前記字幕設定ボックスを表示すると共に、その字幕設定ボックスに字幕が登録されている場合にはその字幕設定ボックス内に字幕を表示する機能と、前記字幕を登録した人以外の他人が、前記タイムライン表示エリア内に新たに字幕設定ボックスを追加する機能と、前記字幕設定ボックス（追加したもの・既存のもの）に対して字幕を登録する機能と、を備えると好ましい。このようにすると、複数の人で１つの字幕を作成することができ、よりよい字幕を簡単に構築していくことができる。また、最初の公開時は、動画データのみ或いは字幕スーパが一部のみ存在する字幕付きの動画データとしては不完全なコンテンツであっても、複数の人が字幕作成に参加することで、徐々に完成に近づいていくといったサービスを提供することができ、各ユーザも遊び感覚で字幕の作成に携わることができ、また、得意な部分のみ字幕の作成を担当すればよく、気軽に参加することができる。
【００１９】
（５）前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、別の字幕用データのファイルとして保存する機能（コピー機能）を備えると好ましい。このようにすると、すでに作成された字幕の一部を利用し別の字幕を作成することができるので、作成の負担が軽減する。また、異なる言語に翻訳するような場合、設定済みの字幕設定ボックスを利用することで、その字幕設定ボックスの設定作業にかかる負担を省略することができる。そして、作成済みの字幕設定ボックスをみることで、その長短並びに設定位置からそれが適切か否かを容易に判断でき、修正することで、自分の感覚にあった字幕を作成することができる。また、動画の一部に字幕が作成されている字幕用データを利用することで、残りの部分の字幕を作成して自分用の字幕用データを作成することができる。よって、新たに最初から作成する場合に比べて、作業負担が軽減する。
【００２０】
（６）前記動画データを再生して出力する音声に対して音声認識処理を行い、会話の区切りを検出し、その区切りに基づいて前記字幕設定ボックスの割り付けを行うようにすると好ましい。このようにすると、とりあえず動画データの全体にわたり、字幕設定ボックスの割り付けが行えるので、字幕設定ボックスの割り付けの作業負担が軽減する。もちろん、設定された字幕設定ボックスのすべてに字幕を登録しなくてもよく、自分のわかる箇所、作成したい部分のみ字幕を登録すればよいのは上記の各発明と同様である。また、設定済みの字幕設定ボックスを修正する機能を備えることで、自動設定後に微調整をすることができる。
【００２１】
（７）前記音声認識処理を行い求めたテキストデータを、前記字幕設定ボックスの字幕として登録する機能を備えるとよい。このようにすると、動画データで再生するのと同じ言語のテキストからなる字幕が登録されるので、別の言語の字幕作成の際の翻訳処理の参考になるので好ましい。
【００２２】
（８）本発明のプログラムは、コンピュータを、動画データを再生表示する動画表示手段、その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリア、そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段、その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段、前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段として機能させるためのプログラムである。
【発明の効果】
【００２３】
本発明は、字幕設定ボックスを用い、タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断でき、字幕設定ボックスを適切に設定することができるので字幕の作成が容易に行えるようになる。また、１つの字幕用データを、複数の人で作成できるようにした場合、各人は、わかる部分の字幕を登録すればよく、遊び感覚で気軽に字幕作成に参加できる。
【図面の簡単な説明】
【００２４】
【図１】本システムの好適な一実施形態を示す図である。
【図２】字幕付の動画の表示例を示す図である。
【図３】字幕が付与されていない場合の「元動画詳細」タブを選択した場合の表示画面の一例を示す図である。
【図４】字幕が付与されていない場合の「この動画の他の字幕」タブを選択した場合の表示画面の一例を示す図である。
【図５】字幕付与画面の一例を示す図である
【図６】字幕説明入力画面の一例を示す図である。
【図７】「字幕説明」タブを選択した場合の表示画面の一例を示す図である。
【図８】「字幕内容」タブを選択した場合の表示画面の一例を示す図である。
【図９】「この動画の他の字幕」タブを選択した場合の表示画面の一例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を用いて本発明の好適な実施形態を説明する。本発明では、インターネット等の通信・ネットワークを利用し、一般の人が参加し、共同作業により字幕スーパを構成する翻訳文等を作成することができるものである。図１に示すように、各ユーザが使用する利用者端末１は、インターネット２を介して字幕作成提供サーバ１０にアクセス可能となっている。また、このインターネット２には、各種の動画データサーバ３も接続されている。この動画データサーバ３と、字幕作成提供サーバ１０とは、物理的に同一のもので構成されていても良いし、別のものでも良い。動画データサーバ３は、各種の動画共有サイトのサーバでもよいし、その他の動画データを格納しているサーバでもよい。
【００２６】
字幕作成提供サーバ１０は、インターネット２に接続してデータの送受を行うための通信インタフェース１１と、所定の処理を実行する制御部１２と、作成した字幕用のデータを格納する字幕用データ記憶部１３と、を備えている。さらにこの字幕作成提供サーバ１０は、配信する動画（映像）データを記憶する動画データ記憶部を備えていても良い。各処理部の具体的な機能については後述する。
【００２７】
ユーザは、利用者端末１を操作し、インターネット２を介して字幕作成提供サーバ１０にアクセスし、動画データサーバ３に格納されている映像データに対して付与する字幕スーパ用のデータを入力する。この入力された字幕スーパ用のデータは、字幕用データ記憶部１３に格納される。そして、たとえば、字幕作成提供サーバ１０が、利用者端末１から字幕付の動画（映像コンテンツ）の視聴要求を受けると、視聴要求された映像コンテンツの動画データが格納された動画データサーバ３を認識し、その格納された動画データを利用者端末１に配信すると共に、それに同期させて字幕用データ記憶部１３に格納された字幕スーパを利用者端末１に配信する。これにより、利用者端末１の表示装置の表示画面には、図２に示すように、動画再生領域Ｒ１に動画データを再生表示し、その動画再生領域Ｒ１の下に用意した副次データ表示領域Ｒ２に読み出した字幕（テキストデータ）を表示する。なお、この動画データと字幕とを同期して再生・描画出力する機能は、特許文献１に開示された技術を用いることができるので、その詳細な説明を省略する。
【００２８】
次に、具体的な字幕用のデータの入力のための各処理等を説明しつつ、制御部１２の機能を説明する。まず、この字幕作成提供サーバ１０は、字幕付きの動画を提供する動画提供（再生）サイト内における一つの機能としての字幕作成提供機能を実現するためのものである。そこで、字幕を作成しようとするユーザは、まず、係るサイトにアクセスし、表示されたリストの中から、自分が字幕を作成しようとする動画を選択する。なお、リストに表示する動画データは、字幕作成提供サーバ１０内の記憶部（動画データ記憶部）に格納されたものでも良いし、動画データサーバ３等の別のサーバに格納されたものでも良い。なお、係る処理対象となる動画データの一覧リストの表示や、その表示されたものから選択されたものを呼び出して、利用者端末１の表示装置の表示画面に表示する技術は、従来公知のものを用いることができるので、その詳細な説明を省略する。
【００２９】
このようにして字幕を作成する処理対象の動画が選択されたならば、利用者端末１の表示仮面には、たとえば図３に示すような表示レイアウトの画面が描画される。すなわち、左上には、動画（映像）を再生する動画再生領域Ｒ１が用意され、その動画再生領域Ｒ１の下に、字幕を再生するための副次データ表示領域Ｒ２が用意される。副次データ表示領域Ｒ２には、動画再生領域Ｒ１にて再生中の動画データに関連づけられた字幕が存在している場合には、再生中の動画に対応する字幕（テキスト）が出力される。新規登録の場合には、関連づけられた字幕がないので、図に示すように「この動画の字幕を新しく作成」と記載された新規作成ボタン領域Ｂ２が用意されており、この新規作成ボタン領域Ｂ２をクリックすると、字幕付与画面へ遷移する。
【００３０】
この副次データ表示領域Ｒ２の下には、細長な再生操作ボタン表示領域Ｒ３が用意される。再生操作ボタン表示領域Ｒ３は、左端に設けられた動作ボタン（図では、“三角形のマーク”）Ｂ１をクリックすることとで、動画再生領域Ｒ１に描画される動画の再生・一時停止を指示することができる。また、再生操作ボタン表示領域Ｒ３に示されるインジケータ部分ＩＢは、動画再生領域Ｒ１に描画する動画データのダウンロード状況を示すものである。また、ポインティングデバイスを操作し、このインジケータ部分ＩＢの適宜位置をポインタでクリック等することで、そのクリックした位置に対応する部分からの動画再生を行う。これらの機能も、一般的な公知の技術であるので、その内部処理を含めた具体的な説明を省略する。
【００３１】
動画再生領域Ｒ１の右側には、関連情報表示領域Ｒ４が用意されている。この関連情報表示領域Ｒ４は、図示するように上端に用意された４つのタブのうち選択された他部についての情報が表示される。４つのタブは、「字幕説明」，「字幕内容」，「この動画の他の字幕」，「元動画詳細」である。なお、各タブが選択された場合に、関連情報表示領域Ｒ４に表示される情報は、適宜後述する。また、字幕が付与されていない場合には、字幕について提示する情報がないので、「字幕説明」のタブ並びに「字幕内容」のタブは非アクティブになり、係るタブがクリックして選択することができないようになっている。
【００３２】
まず、図３に示すように、元動画詳細タブが選択された場合の関連情報表示領域Ｒ４には、字幕を作成する対象となる動画について、元々付記されていた説明文が表示される。つまり、所定のサーバに動画データを登録するに際し、動画データのみ登録するのではなく、その動画の内容を説明・解説するための説明文を関連づけて登録することが多々あり、制御部１２は、係る説明文が登録されている場合に当該説明文を読み出し、この関連情報表示領域Ｒ４に表示するのである。従って、係る説明文がない場合には、ブランク表示となる。
【００３３】
また、字幕が付与されていない場合に「この動画の他の字幕」タブが選択された場合、図４に示すような表示が行われる。すなわち、選択している動画データに字幕が付与されていない場合、制御部１２は、関連情報表示領域Ｒ４内に「この動画にはまだ、字幕はありません」とのメッセージとともに、図に示すように「この動画の字幕を新しく作成」と記載された新規作成ボタン領域Ｂ２′を表示する。そして、この新規作成ボタン領域Ｂ２′をクリックすると、字幕付与画面へ遷移する。
【００３４】
さらに、制御部１２は、字幕用データ記憶部１３をアクセスし、選択されている動画と同じ部分を含む動画或いは関連する動画について付与された他の字幕データをサーチし、検出された場合には、その結果を関連情報表示領域Ｒ４の下側に「おすすめ字幕付動画」としてリスト表示する。このリスト表示する際の表示情報は、動画を表す代表図（最初のフレーム等）と、タイトル等のテキスト情報がある。また、このリストアップされた字幕のついた動画をクリックすると、制御部１２は、その動画データと字幕の同期をとって再生する。
【００３５】
新規作成ボタン領域Ｂ２或いはＢ２′がクリックされたことを認識すると、制御部１２は、字幕付与画面に遷移する。この字幕付与画面は、図５に示すように、動画再生領域Ｒ１，副次データ表示領域Ｒ２，再生操作ボタン表示領域Ｒ３並びに関連情報表示領域Ｒ４の下方に、字幕エリア設定領域Ｒ５と、字幕編集領域Ｒ６とを配置したレイアウトを採る。
【００３６】
字幕エリア設定領域Ｒ５は、現在再生している部分を含む拡大タイムライン表示エリアＴＬと、その拡大タイムライン表示エリアＴＬの下端に配置し、動画全体における現在再生（表示）しているフレーム位置を特定するためのインジケータＩを備える。拡大タイムライン表示エリアＴＬは、字幕エリア設定領域Ｒ５の右端に用意したスライダＳを上下移動させることで、字幕エリア設定領域Ｒ５の表示エリアの拡大／縮小を行う。本実施形態では、この拡大タイムライン表示エリアＴＬ内に、そのタイムラインに合わせて字幕設定ボックス（字幕入力エリア）ＢＸを設定可能としている。この字幕設定ボックスＢＸは、設定された字幕を表示している期間（タイミング）を規定するためのもので、その字幕設定ボックスＢＸの四角い枠（箱）の前端位置から後端位置までに対応する時間中、その字幕設定ボックスＢＸに登録された字幕（テキスト）を表示し続ける。
【００３７】
この字幕設定ボックスＢＸの指定（設定）は、ポインティングデバイスを操作し、拡大タイムライン表示エリアＴＬ内の所望位置をクリック（たとえば、ポインティングデバイスの左クリック）することで、前端位置が設定され、その状態（ポインティングデバイスのボタンを押した状態まま）でポインティングデバイスを移動し、所望の位置で当該ボタンを離すことで、その離した位置で後端位置が設定される。もちろん、その他の方法により字幕設定ボックスＢＸの前後の位置を特定するようにしてもよい。いずれの場合も、ユーザがポインティングデバイスの操作により、拡大タイムライン表示エリアＴＬ内の所望の位置を指定することで字幕設定ボックスＢＸの前後端位置を指定できるようにすると、指定が直感的に簡単に行えるので好ましい。
【００３８】
さらに、拡大タイムライン表示エリアＴＬ内には、動画再生領域Ｒ１に現在再生されている動画のフレーム部分がスケール線ＳＫとして表示されているので、その動画再生領域Ｒ１で再生されている動画をみながらスケール線ＳＫを確認することで、字幕設定ボックスＢＸの前後端位置を特定するのが容易に行える。
【００３９】
そして、このようにして字幕設定ボックスＢＸの前後端位置を設定したならば、制御部１２は、その前後端位置の時間データ（動画の再生開始からの経過時間）を認識するとともに、それに対応する動画データのフレームを特定する。そして、それらのデータを字幕設定ボックスＢＸと関連づけて記憶する。具体的には、字幕設定ボックスＢＸを特定するレコード番号（たとえば、作成順に割り当てられる）と、その字幕の再生開始時間／終了時間等を関連づけて、動画データ記憶部１３に格納する。また、このデータには、実際の字幕として再生するテキストデータ（後述する処理により指定）も関連付けて登録することになる。
【００４０】
また、本実施形態では、字幕設定ボックスＢＸの指定は、拡大タイムライン表示エリアＴＬ内の任意の位置に対して、任意の大きさで指定できる。そして、字幕は、その字幕設定ボックスＢＸが設定された箇所に対して行える。従って、図示するように、前後に間隔があいた穴あき状態で字幕設定ボックスＢＸを設定することができる。また、このように穴あきとなり、字幕設定ボックスＢＸが設定されていない空白部分をクリックすると、そこに新たな字幕設定ボックスＢＸを設定する機能を設けても良い。この場合の前後端位置は、前後の字幕設定ボックスＢＸとの境界とすることができる。
【００４１】
上記のように、穴あきで字幕設定ボックスを設定することが許容されているので、ユーザは、自己が作成したい部分の字幕について、その字幕データを登録することができる。これにより、ユーザは、動画データのすべての部分について字幕を作成する必要がなくなるので、作業負担が軽減する。また、残りの部分についての字幕については、この作成した字幕データに追加、あるいはその字幕データを引用（コピー）して別途作成することができる。この場合、追加部分の字幕については、他の人が行うこともできるので、ユーザは、気軽に字幕の作成を行うことができ、しかも、複数の参加者により徐々に字幕スーパが完成していく新しいサービスを提供することができる。
【００４２】
実際の字幕スーパとして描画する字幕（テキストデータ）の入力は、字幕編集領域Ｒ６を利用して行う。すなわち、字幕編集領域Ｒ６に、テキストデータを入力すると、１または複数の字幕設定ボックスＢＸのうち、アクティブとなっている１つの字幕設定ボックスＢＸに対する字幕データの登録が行われる。ここで、アクティブとなる字幕設定ボックスＢＸは、たとえば、上述したように新たに字幕設定ボックスＢＸを設定した場合、その字幕設定ボックスＢＸがアクティブとされる。また、すでに設定済みの字幕設定ボックスＢＸをクリックして選択すると、その字幕設定ボックスＢＸがアクティブになる。なお、このように字幕設定ボックスＢＸをクリックすると、制御部１２は、タイムライン上におけるそのクリックした位置に対応するフレームを動画再生領域Ｒ１に描画するとともに、カーソル線ＳＫを拡大タイムライン表示エリアＴＬ内のクリックした位置に描画する。このような制御を行うことで、現在入力しようとする字幕のテキストデータに対応する動画を見ながら字幕の入力作業を行える。
【００４３】
そして、字幕編集領域Ｒ６にテキストデータが入力されると、制御部１２は、その入力されたテキストデータを、現在アクティブの字幕設定ボックスＢＸに関連づけて字幕用データ記憶部１３に登録すると共に、拡大タイムライン表示エリアＴＬ内のアクティブの字幕設定ボックスＢＸと、副次データ表示領域Ｒ２と、関連情報表示領域Ｒ４のそれぞれの所定位置に当該テキストデータを描画する。関連情報表示領域Ｒ４には、字幕設定ボックスＢＸごとに対応した四角い字幕データ表示枠が用意され、その字幕データ表示枠内に、テキストデータとそれを描画する時間（開始時間と終了時間）を描画するようになる。また、この字幕データ表示枠の右端には、“削除”ボタンが用意され、制御部１２は、この“削除”ボタンがクリックされたことを認識すると、対応する字幕設定ボックスＢＸに関するデータを一括して削除する処理を行う。
【００４４】
従って、字幕の登録が進むと、関連情報表示領域Ｒ４には、図５に示すように、タイムラインごとに字幕データ表示枠を並べて表示されるし、拡大タイムライン表示エリアＴＬ内にもタイムラインごとに並んで字幕に表示するテキストデータが表示される。そして、拡大タイムライン表示エリアＴＬは、現在動画再生領域Ｒ１にて再生されている部分が表示されるが、関連情報表示領域Ｒ４に出力されている字幕データ表示枠は、その領域の右端に設けられたスライダを上下することで、現在再生されていない部分の字幕をみることもできるので、現在の字幕の作成の参考になる。さらに、拡大タイムライン表示エリアＴＬ内の字幕設定ボックスＢＸのうち、空白のただの箱のものが存在する場合、字幕スーパを表示する枠を確保したものの、具体的な字幕が未入力であることを意味する。よって、設定した字幕設定ボックスＢＸに空欄のものがないことを確認することで、字幕の登録のし忘れを抑制できる。もちろん、一旦字幕を入力した字幕設定ボックスＢＸを選択すると、入力済みの字幕（テキストデータ）が字幕編集領域Ｒ６に出力されるので、その出力されたテキストに対し、追加・削除・変更等の編集処理を行うことで、入力済みのデータを変更できる。
【００４５】
さらに文字装飾用パレットＰが用意されており、字幕編集領域Ｒ６内に入力された文字を指定すると共に、文字装飾用パレットＰの所定のボタンをクリックすることで、指定した文字ごとに装飾（色・大きさ等の変更・設定）をすることができる。
【００４６】
上記の字幕の入力処理（ＳＴＥＰ１）が終了すると、字幕情報入力処理（ＳＴＥＰ２）に移行する。この字幕情報入力処理への移行は、図５に示すように、字幕入力画面の下方に、「ＳＴＥＰ２字幕情報入力へ」と描画したボタンＢ３を用意し、それをクリックすることで、図６に示す「字幕情報入力処理画面」に遷移するようにすることで実現している。もちろん、所定のコマンド入力や、メニューリストから選択すること等の方法によっても切り替えることができる。
【００４７】
図６に示すように、字幕情報入力処理では、先の入力処理で入力した字幕についての情報、つまり、「字幕タイトル」，「字幕説明」，「字幕言語」，「ニックネーム」，「ロックの有無」，「パスワード」である。「字幕タイトル」は、自己が作成した字幕を特定・識別するためのタイトルである。「字幕説明」は、字幕を紹介するための文章である。「字幕言語」はプルダウンメニューでリストアップされたものの中から選択する。「ニックネーム」は、ネット上で公開されるユーザの名前を登録する。作成された字幕の配信の際には、その作成者の名前（ここで登録した「ニックネーム」）も合わせて公開するようにしたので、第三者は、誰が作成した字幕であるかがわかる。これにより、ニックネームを検索キーにすることで、第三者は、お気に入りの作者の字幕を簡単に見つけ、視聴したり、別の字幕データを作成するに際し参考・利用したりすることができる。
【００４８】
「ロック／ロックフリー」は、いずれかをクリックして選択する。「ロック」が選択された場合、作成した字幕データに対する第三者の編集が不許可となる。一方「ロックフリー」が選択された場合、字幕データに対する第三者の編集が許可される。つまり、登録した字幕データを読み出し、拡大タイムライン表示エリア内における未設定部分のタイムライン中に字幕設定ボックスＢＸを新たに追加設定したり、既存の（設定済み）の字幕設定ボックスＢＸを選択し、作成された字幕を編集したりすることができる。また、「パスワード」を付けることで、仮にロックフリーとした場合でも、そのパスワードを知っている限られた人のみが編集することができるようにする機能も備えている。
【００４９】
そして、字幕情報入力処理画面の下方に設けた、「決定」ボタンをクリックすることで、登録された各データの内容が確定され、字幕用データ記憶部１３に登録される。これにより、一連の字幕登録処理（ＳＴＥＰ１＆２）が完了し、最初に選択した動画データに対して字幕が付与されることになる。
【００５０】
よって、この字幕データの付与に伴い、この動画データが選択された場合には、関連情報表示領域Ｒ４に用意された上述した４つのタブ（「字幕説明」，「字幕内容」，「この動画の他の字幕」，「元動画詳細」）が全て選択可能となる。
【００５１】
そして、「字幕説明」タブが選択された場合には、図７に示すように、関連情報表示領域Ｒ４には、字幕説明、つまり、付与された字幕そのもののディスクリプションが描画される。つまり、制御部１２は、字幕情報入力処理画面で入力され、字幕用データ記憶部１３に格納された「字幕タイトル」と「字幕説明」のデータを読み出し、出力する。また、「ロック／ロックフリー」のいずれかを認識し、その状態も合わせて出力する。図７の例では、「ロックフリー」であるので、その説明（編集可能なこと）を合わせて報知している。さらに、「字幕説明」タブで表示される関連情報表示領域Ｒ４には、「字幕編集」ボタンＢ６が用意されており、この「字幕編集」ボタンＢ６がクリックされると、図５に示した字幕入力画面に遷移し、字幕の入力（編集）ができる。なお、「ロック」状態になっている場合には、作成者以外のユーザが見ている場合、この「字幕編集」ボタンがクリックできないように制御すると良い。
【００５２】
また、「字幕内容」タグが選択された場合には、制御部１２は、選択された動画データに関連づけられている字幕を読み出し、図８に示すように、タイムラインごとの字幕を再生順に並べて表示する。また、合わせて動画再生領域Ｒ１に動画データを再生すると、制御部１２は、再生中の字幕について、バックの色を変える。
【００５３】
さらに、字幕データが付与された動画について、「この動画の他の字幕」タグを選択した場合、図９に示すように、関連情報表示領域Ｒ４には、同一の動画について付与されている字幕データのリストが表示される。この表示されたリストの中から、任意のものをクリックすると、動画とともにそのクリックされた他の字幕が再生される。
【００５４】
また、上述したように、最初に字幕データを作成した人と別の人がロックフリーの字幕データを読み出し、更新することで、複数の人が共同して１つの字幕データを作成することもできるし、読み出した字幕データを利用し、その読み出した人が新たな字幕データを作成し別のファイルとして登録することもできる。つまり、字幕用データ記憶部１３に登録された字幕データをコピーし、適宜修正したものを新たな字幕用データとして登録することになる。この場合に、基となった読み出した字幕データの作者（ニックネーム）も関連づけて登録され、再生する際には、コピー元の作者名もあわせて表示するようにしている。本実施形態では、動画再生領域Ｒ１の上に、「この字幕は、「○○○○」からコピーして編集されました」とのメッセージを描画するようにし、「○○○○」の所にニックネームをはめ込み描画するようにしている。
【００５５】
本実施形態の字幕作成提供サーバ１０を利用することで、以下に示すサービス（システム）を提供することができる。すなわち、動画（映像コンテンツ）の公開時は、動画データのみ或いは字幕スーパが一部のみ存在するといった、字幕の不完全なコンテンツの状態で公開していたり、そもそも、動画共有サイトのように、字幕がない状態で配信されていたりした動画データに対し、動画データの提供者とは別の不特定の一人または複数のユーザが、その後に字幕を付与することができる。そして、そのようにして付与された字幕と動画データとを同期をとりながら配信するサービスにより、第三者は、字幕付きの動画データを視聴することができる。
【００５６】
また、字幕を作成する処理に着目すると、本実施形態は、インターネット等を利用した新たなサービスとして、字幕スーパに表示する字幕の作成者として、不特定の一般のユーザ（会員登録等により、ある程度制限することは可能）を利用し、その一般のユーザが、自己がわかる部分（作成したい部分）についての動画データに対する字幕を作成していくことで、最終的に当該動画データについての字幕スーパが完成するというように不特定の一般ユーザが共同して字幕スーパを作成してくことができる。
【００５７】
また、上記のコピーによる新たな字幕用データを作成する機能を用いることで、翻訳による別の言語を用いた字幕を作成するのが容易に行える。つまり、字幕は、動画データ中の音の発生にあわせて字幕スーパを描画することになる。よって、言語が異なったとしても、ある字幕を再生しているタイムラインは等しくなる。従って、同じ元動画データに対する字幕用データでは、ある言語で作成した字幕設定ボックスＢＸは、別の字幕用データでも同じに利用できる。そこで、作成済みの字幕を読み出し、そこで設定されている字幕設定ボックスＢＸを利用し、その字幕設定ボックスＢＸ内に所定の言語からなる翻訳文からなる字幕を順次登録し、別のファイルとして格納するとで、別の言語からなる字幕を作成できる。この場合、字幕の作成処理としては、字幕設定ボックスＢＸの設定処理は省略できるので、作業性が向上する。しかも、それぞれ設定した字幕が、どのタイムラインで描画されるかは、拡大タイムライン表示エリアＴＬ内にそれぞれタイムラインで割り付けられた字幕設定ボックスＢＸをみることで、別の人が設定した字幕設定ボックスが正しいか否か（そのまま使えるか否か）を簡単に理解することができる。しかも、表示している時間は、字幕設定ボックスＢＸの長さに比例するので、それも視覚的に直感的に適しているか否かの判断が行える。このように、簡単にその適否の判断が行えるので、他人が設定した字幕設定ボックスも容易に利用することができる。そして、適していないと判断した場合には、字幕設定ボックスＢＸの前端位置あるいは後端位置のいずれか一方あるいは両方の位置を修正すればよい。
【００５８】
また、上記の通り、字幕設定ボックスＢＸの長さが、そのまま描画している時間に比例する。従って、字幕設定ボックスＢＸが短い場合、そこに登録した字幕は、短時間で消えてしまう。従って、係る場合にあまり文字数が多いと、視聴者は字幕の全部を読み切る前に当該字幕が消えてしまうおそれがある。そこで係る事態の発生を防止するため、字幕設定ボックスＢＸの長さ（表示時間）に応じて、登録できる文字数に制限を設けると良い。また、文字数に制限を設けないとしても、字幕設定ボックスＢＸの長さが短いと、字幕編集領域Ｒ６に多数の文字を入力した場合に、対応する字幕設定ボックスＢＸにその入力した文字のすべてが表示されない状態となる。従って、入力した文字を対応する字幕設定ボックスＢＸ内に表示するようにしたので、再生している（描画している）時間に対して文字数が多すぎないかの確認も、簡単に行える。
【００５９】
また、字幕は、翻訳文つまり動画データが発生している音声の言語と別の言語で記載したテキストデータにかぎることはなく、音声と同じ言語からなるテキストデータでも良い。すなわち、動画データの音声が日本語で、字幕も日本語とした利用形態もあり得る。従って、動画データを再生すると共に、音声認識処理をし、会話ごとに字幕設定ボックスＢＸを設定すると共に、設定した字幕設定ボックスＢＸに認識処理をした結果得られたテキストデータを登録する機能を備えると良い。このようにすると、実際に動画データの再生中に、音声を発している部分ごとに字幕設定ボックスＢＸが割り付けられるので、係る字幕設定ボックスの割り付けが簡単かつ正確に行えるので好ましい。そして、実際に発生している文章が、自動的に登録されるので、翻訳文を作成する人は、その音声認識された元となる言語を見ながら翻訳できるので、実際に発生される音声のみから翻訳を行うものに比べて、作業性がより向上する。
【符号の説明】
【００６０】
１ 利用者端末
２ インターネット
３ 動画データサーバ
１０ 字幕作成提供サーバ
１１ 通信インタフェース
１２ 制御部
１３ 字幕用データ記憶部
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】再公表０２／０３７８４１号公報
【特許請求の範囲】
【請求項１】
動画データを再生表示する動画表示部と、
その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリアと、
そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段と、
その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段と、
前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段と、
を備えたことを特徴とする字幕作成システム。
【請求項２】
テキスト入力手段により入力された字幕は、対応する字幕設定ボックスに表示するようにしたことを特徴とする請求項１に記載の字幕作成システム。
【請求項３】
編集機能として、
前記字幕設定ボックスの両端に位置を変更する機能と、登録した字幕を変更する機能の少なくとも一方を備えたことを特徴とする請求項１または２に記載の字幕作成システム。
【請求項４】
前記字幕用データ記憶部に格納した前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、前記タイムライン表示エリア内に前記字幕設定ボックスを表示すると共に、その字幕設定ボックスに字幕が登録されている場合にはその字幕設定ボックス内に字幕を表示する機能と、
前記字幕を登録した人以外の他人が、前記タイムライン表示エリア内に新たに字幕設定ボックスを追加する機能と、
前記字幕設定ボックスに対して字幕を登録する機能と、
を備えたことを特徴とする請求項１〜３のいずれか１項に記載の字幕作成システム。
【請求項５】
前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、別の字幕用データのファイルとして保存する機能を備えたことを特徴とする請求項１〜４のいずれか１項に記載の字幕作成システム。
【請求項６】
前記動画データを再生して出力する音声に対して音声認識処理を行い、会話の区切りを検出し、その区切りに基づいて前記字幕設定ボックスの割り付けを行うことを特徴とする請求項１〜５のいずれか１項に記載の字幕作成システム。
【請求項７】
前記音声認識処理を行い求めたテキストデータを、前記字幕設定ボックスの字幕として登録する機能を備えたことを特徴とする請求項６に記載の字幕作成システム。
【請求項８】
コンピュータを、
動画データを再生表示する動画表示手段、
その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリア、
そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段、
その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段、
前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段
として機能させるためのプログラム。
【請求項１】
動画データを再生表示する動画表示部と、
その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリアと、
そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段と、
その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段と、
前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段と、
を備えたことを特徴とする字幕作成システム。
【請求項２】
テキスト入力手段により入力された字幕は、対応する字幕設定ボックスに表示するようにしたことを特徴とする請求項１に記載の字幕作成システム。
【請求項３】
編集機能として、
前記字幕設定ボックスの両端に位置を変更する機能と、登録した字幕を変更する機能の少なくとも一方を備えたことを特徴とする請求項１または２に記載の字幕作成システム。
【請求項４】
前記字幕用データ記憶部に格納した前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、前記タイムライン表示エリア内に前記字幕設定ボックスを表示すると共に、その字幕設定ボックスに字幕が登録されている場合にはその字幕設定ボックス内に字幕を表示する機能と、
前記字幕を登録した人以外の他人が、前記タイムライン表示エリア内に新たに字幕設定ボックスを追加する機能と、
前記字幕設定ボックスに対して字幕を登録する機能と、
を備えたことを特徴とする請求項１〜３のいずれか１項に記載の字幕作成システム。
【請求項５】
前記動画データについての前記字幕とそれを表示する期間を特定する情報を読み出し、別の字幕用データのファイルとして保存する機能を備えたことを特徴とする請求項１〜４のいずれか１項に記載の字幕作成システム。
【請求項６】
前記動画データを再生して出力する音声に対して音声認識処理を行い、会話の区切りを検出し、その区切りに基づいて前記字幕設定ボックスの割り付けを行うことを特徴とする請求項１〜５のいずれか１項に記載の字幕作成システム。
【請求項７】
前記音声認識処理を行い求めたテキストデータを、前記字幕設定ボックスの字幕として登録する機能を備えたことを特徴とする請求項６に記載の字幕作成システム。
【請求項８】
コンピュータを、
動画データを再生表示する動画表示手段、
その動画表示部に再生中の動画データのタイムラインを表示するタイムライン表示エリア、
そのタイムライン表示エリア内に、字幕設定ボックスを割り付ける手段、
その割り付けられた字幕設定ボックスに字幕を登録するテキスト入力手段、
前記タイムライン表示エリアの時間の流れ方向における字幕設定ボックスの両端位置から、その字幕設定ボックスに登録された字幕を表示する期間を特定し、その表示する期間を特定する情報と、前記登録された字幕を関連づけて字幕用データ記憶部に格納する手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１５７９６１（Ｐ２０１０−１５７９６１Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−１５１（Ｐ２００９−１５１）
【出願日】平成２１年１月５日（２００９．１．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、経済産業省、情報大航海プロジェクト（モデルサービスの開発と実証）委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０８１０５５３３）株式会社角川マーケティング (2)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２１年１月５日（２００９．１．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２０年度、経済産業省、情報大航海プロジェクト（モデルサービスの開発と実証）委託研究、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（５０８１０５５３３）株式会社角川マーケティング (2)
【Ｆターム（参考）】
[ Back to top ]