映像翻訳装置
【課題】撮影した映像と位置情報をもとに、映像に含まれる声や文字を他の言語に翻訳することを目的とする。
【解決手段】位置情報１０１と映像１０２を含む映像データ１０３と、音声を抽出する音声情報抽出部１０４と、画像を抽出する画像情報抽出部１０５と、位置を抽出する位置情報抽出部１０６と、音声に含まれる声を解析する音声解析部１０７と、画像に含まれる文字を解析する画像解析部１０８と、位置言語種別ＤＢ１１０から位置情報に対応する入力言語を選択する入力言語選択部１０９と、出力言語を選択する出力言語選択部１１１と、声を翻訳する音声翻訳部１１２と、文字を翻訳する画像翻訳部１１３と、翻訳した声を吹替える音声情報吹替え部１１４と、翻訳した文字テロップを重畳する画像情報重畳部１１５と、翻訳後の映像を表示する映像出力部１１６とを備えるものとした。
【解決手段】位置情報１０１と映像１０２を含む映像データ１０３と、音声を抽出する音声情報抽出部１０４と、画像を抽出する画像情報抽出部１０５と、位置を抽出する位置情報抽出部１０６と、音声に含まれる声を解析する音声解析部１０７と、画像に含まれる文字を解析する画像解析部１０８と、位置言語種別ＤＢ１１０から位置情報に対応する入力言語を選択する入力言語選択部１０９と、出力言語を選択する出力言語選択部１１１と、声を翻訳する音声翻訳部１１２と、文字を翻訳する画像翻訳部１１３と、翻訳した声を吹替える音声情報吹替え部１１４と、翻訳した文字テロップを重畳する画像情報重畳部１１５と、翻訳後の映像を表示する映像出力部１１６とを備えるものとした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像翻訳装置に関し、特に撮影した映像データに含まれる位置情報に対応して、翻訳を行なうことができる映像翻訳装置に関するものである。
【背景技術】
【０００２】
旅行先の国で見聞きする会話や放送、看板の文字など、旅行する国や地域によって使用される言語が異なるが、従来、ユーザの位置を検出し、ユーザの位置に対応する言語に基づいて、場所を移動するごとに言語を設定し直すことなく翻訳を行なう情報処理装置があった。（例えば、特許文献１参照）。
【特許文献１】特開２０００−１９４６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の翻訳を行なう情報処理装置では、旅行先の国で翻訳が必要となる映像を撮影する場合に、デジタルビデオカメラなどの撮影装置とは別に翻訳装置を持ち歩く手間がかかるという問題を有していた。
【０００４】
映像を撮影する場合に、ＧＰＳにより取得した位置情報を対応させて記録させることにより、再生時に映像の位置情報をわかるようにした撮影装置がある。
【０００５】
本発明は、撮影した映像データに含まれる位置情報に対応する言語に基づいて翻訳を行なう装置であり、撮影後のデータを入力とするため、撮影時に翻訳装置を持ち歩く必要をなくすことができる。
【課題を解決するための手段】
【０００６】
請求項１に記載の映像翻訳装置は、位置情報を含む映像データから位置を抽出する抽出手段と、抽出手段により抽出された位置に対応する入力言語を選択する入力言語選択手段及び、ユーザが任意に他の種類の出力言語を選択する出力言語選択手段と、入力言語選択手段により選択された入力言語と出力言語選択手段により選択された出力言語に基づいて、映像の翻訳処理を実行する翻訳手段とを備えることを特徴とする。
【０００７】
請求項２に記載の映像翻訳装置は、映像データから、音声を抽出する音声抽出手段と、音声抽出手段により抽出された音声に含まれる声を解析する解析手段と、出力言語選択手段により選択された出力言語に基づいて、解析手段により解析した声を翻訳する音声翻訳手段とをさらに備えることを特徴とする。
【０００８】
請求項３に記載の映像翻訳装置は、音声出力手段により翻訳された声を、もとの映像に含まれる声に吹替えた映像を出力する出力手段をさらに備えることを特徴とする。
【０００９】
請求項４に記載の映像翻訳装置は、音声翻訳手段により翻訳された声を出力言語選択手段により選択された出力言語に翻訳し、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする。
【００１０】
請求項５に記載の映像翻訳装置は、映像データから画像を抽出する画像抽出手段と、画像抽出手段により抽出された画像に含まれる文字を解析する文字解析手段とをさらに備え、翻訳手段は、文字解析手段により解析した文字を翻訳することを特徴とする。
【００１１】
請求項６に記載の映像翻訳装置は、翻訳手段により翻訳された文字を、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする。
【００１２】
請求項７に記載の映像翻訳装置は、翻訳手段により翻訳された文字を出力言語選択手段により選択された出力言語に基づいて音声に変換して、もとの映像に音声を加えた映像を出力する出力手段をさらに備えることを特徴とする。
【００１３】
請求項８に記載の映像翻訳装置は、抽出手段で抽出する位置情報をＧＰＳにより取得することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮影時には、どこの国、地域で撮影した映像かを撮影者が意識することなく、撮影後に映像を翻訳することができる。また、使用される言語が入り組んだ国、地域をまたがって撮影した場合でも、刻々と変化する位置情報に応じて言語を判定し、映像を翻訳できる。これにより、旅行やビジネス、報道目的など、国内外で撮影した映像データを基に自国語や他の言語に翻訳して視聴することが可能となる利点がある。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（実施の形態１）
図１は本発明の実施の形態１における映像翻訳装置の構成を示すブロック図である。図１において、１０３はデジタルビデオカメラなどの撮影装置で撮影した映像１０２と、映像の撮影時にＧＰＳにより取得した位置情報１０１とを対応させて記録した映像データである。ここで位置情報とは、撮影地点により刻々と変化する緯度、経度を含む情報である。１０４は映像データ１０３から音声を抽出する音声情報抽出部である。１０７は音声解析部であり、音声情報抽出部１０４で抽出した音声に含まれる会話や放送などの声を解析し、抽出する。１０５は映像データ１０３から画像を抽出する画像情報抽出部である。１０８は画像解析部であり、画像情報抽出部１０５で抽出した画像に含まれる看板などの文字を解析し、抽出する。１０６は映像データ１０３から翻訳の入力となる言語種別を特定するための位置情報を抽出する位置情報抽出部である。１０９は入力言語選択部であり、位置情報抽出部１０６で抽出した位置情報と、位置情報に対応する言語種別を集積した位置言語種別ＤＢ１１０が入力言語選択部１０９に入力され、翻訳の入力となる言語種別を検索し選択する。１１１は出力言語選択部であり、翻訳の出力となる任意の言語種別を、ユーザがキー入力や音声入力などの手段で選択する。１１２は音声翻訳部であり、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。１１４は音声情報吹替え部であり、音声情報抽出部１０４で抽出した音声を音声翻訳部１１２で翻訳した声に吹替える。１１３は画像翻訳部であり、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。１１５は画像情報重畳部であり、画像情報抽出部１０５で抽出した画像に画像翻訳部１１３で翻訳した文字をテロップとして重畳する。１１６は映像出力部であり、音声情報吹替え部１１４で吹替えた音声と映像情報重畳部１１５で重畳した画像とを合成し、翻訳された映像として出力する。
【００１７】
図２は、本発明の実施の形態１による映像データに格納されている情報の例を表す図である。映像にＧＰＳにより取得した位置情報を対応させて記録させる撮影装置で撮影された映像データは、撮影シーンごとの画像２０１と音声２０２に加えて、撮影地点の緯度、経度を含む位置情報２０３から構成されている。撮影地点を移動することにより言語種別の異なる国、地域へ移った場合は、音声２０２の言語種別が変化することになる。例えば、図２に示すように、北緯４０度、西経７４度の地点はアメリカ合衆国であり、ここで撮影されたシーン１の画像２０１には英語の文字が含まれ、音声２０２には英語の声が含まれている。北緯４３度、西経７９度の地点はカナダであり、ここで撮影されたシーン２の画像２０１には加仏語の文字が含まれ、音声２０２には加仏語の声が含まれている。このようにして撮影された映像データから画像情報、音声情報、位置情報をそれぞれ抽出する。
【００１８】
以上のように構成された映像翻訳装置において、映像データから抽出した位置情報に基づいて、位置情報が示す国、地域で使用されている言語を自動的に判定し、入力言語種別を選択する動作について、図１、図３を参照しながら説明する。図３は、位置言語種別ＤＢに格納されている情報の例を表す図である。まず、位置情報抽出部１０６で抽出した緯度、経度などの組合せで表される位置情報に基づき、位置言語種別ＤＢ１１０を検索する。位置言語種別ＤＢ１１０には予め各位置情報が示す国、地域で使用されている言語の種別が記録されている。例えば、図３に示すように、北緯４０度、西経７４度という位置情報に対応する言語の種別は英語であるというような位置情報とそこで使用されている言語の種別を対にしたデータが集積されている。これによって、位置情報抽出部１０６で抽出した位置情報と一致した位置言語種別ＤＢ１１０の位置情報と対になっている言語の種別を選択する。
【００１９】
次に出力言語種別を選択する動作について、図４を参照しながら説明する。図４は、出力言語選択画面の例を表す図である。本発明の映像翻訳装置は、例えば図４に示すような出力言語選択画面を有し、キー入力や音声入力などにより出力言語選択リスト４０２に表示される言語種別から出力言語種別を選択するか、出力言語入力域４０１に直接言語種別を入力することで、出力言語種別をユーザが任意に選択する。
【００２０】
続いて、音声翻訳処理を実行する場合の動作について、図１、図５を参照しながら説明する。図５は、実施の形態１の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。音声翻訳部１１２では、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図５のシーン１に示すように音声５０２に含まれる声５０５の入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声情報吹替え部１１４にて、音声情報抽出部１０４で抽出した英語の声“Ｗｅｌｃｏｍｅ ｔｏ Ｈｏｏｌｙｗｏｏｄ”を音声翻訳部１１２で翻訳した日本語の声“ようこそハリウッドへ”に吹替える。同様にシーン２では、加仏語の声“Ｂｉｅｎｖｅｎｕｅ ｖｅｒｓ Ｃａｎａｄａ”を日本語の声“ようこそカナダへ”に吹替える。
【００２１】
次に、映像翻訳処理を実行する場合の動作について、図１、図５を参照しながら説明する。画像翻訳部１１３では、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図５のシーン１に示すように画像５０１に含まれる文字５０３の入力言語種別は英語であり、出力言語種別が日本語であった場合に、画像情報重畳部１１５にて、画像情報抽出部１０５で抽出した英語の文字“ＨＯＯＬＹＷＯＯＤ”が含まれる画像に画像翻訳部１１３で翻訳した日本語の文字“ハリウッド”をテロップ５０４として重畳する。同様にシーン２では、加仏語の文字“Ｃａｎａｄａ”が含まれる画像に日本語の文字“カナダ”をテロップ５０４として重畳する。
【００２２】
以上の処理により、本発明の実施の形態１における映像翻訳装置において、映像に対応した位置情報を持つ映像データから、位置情報が示す国、地域で使用されている言語を自動的に判定し、これにより翻訳の入力となる言語を選択することができ、ユーザが選択した出力言語に画像と音声を翻訳して、翻訳結果を映像情報として出力することが可能となる。
【００２３】
なお、音声情報の翻訳処理を実施する際、本人及び、同行者の声は入力言語種別とは異なる場合が多いため、入力言語種別以外の言語の翻訳は行なわない機能を有する。同様に画像情報に含まれる文字についても、入力言語種別以外の言語の翻訳は行なわない機能を有するものとする。
【００２４】
また、図３に示す位置情報と言語種別の対応関係において、緯度、経度の情報は数値の範囲を持つものとし、位置情報と各々の国、地域内の撮影地点との対応関係は維持し得るものとしている。
【００２５】
また、図３に示す撮影地点の位置情報と、一地点の位置情報に対する国、地域で使用される言語種別の候補を複数保持するＤＢ構成とした場合、候補となる言語種別の中から最も高い翻訳精度が得られる最適な言語種別を自動的に判別する機能を有するものとする。
【００２６】
また、本発明の映像翻訳装置は動画に限らず、デジタルスチルカメラなどで撮影した静止画に対しても、画像の翻訳、出力が同様の手段にて実施できる。
【００２７】
また、本発明の映像翻訳装置を、映像にＧＰＳにより取得した位置情報を対応させて記録させる撮影装置に接続、もしくは組込んで、携帯する構成をとることにより、映像を撮影しながら、その場で翻訳処理後の出力映像を視聴することが可能である。
【００２８】
また、本発明の映像翻訳装置を、パソコン用プログラムとして実施することによって、翻訳処理後の出力映像を、例えば松下電器産業のパソコン用デジタルビデオ動画編集ソフトウェア”ＭｏｔｉｏｎＤＶ ＳＴＵＤＩＯ”などの映像編集ソフトに引渡す、もしくは該ソフトウェアの機能として組込むことで、従来のノンリニア編集に加え、翻訳後の音声情報やテロップ情報の追加、修正などを可能とする。
【００２９】
また、動画翻訳メールや、テレビ電話としての応用など、異国間の動画コミュニケーションツールとしての用途も広がる。
【００３０】
（実施の形態２）
実施の形態１では、音声に含まれる入力言語の声を、出力言語の声に吹替えることで翻訳結果を映像情報として出力した。実施の形態２では、音声に含まれる入力言語の声を、字幕などの文字情報として画像に重畳させる手法を導入する。
【００３１】
図６は、本発明の実施の形態２の映像翻訳装置の構成を示すブロック図である。図６において、１０１は位置情報、１０２は映像、１０３は映像データ、１０４は音声情報抽出部、１０５は画像情報抽出部、１０６は位置情報抽出部、１０７は音声解析部、１０８は画像解析部、１０９は入力言語選択部、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１１２は音声翻訳部、１１３は画像翻訳部、６１５は音声・画像情報重畳部、１１６は映像出力部である。位置情報、映像、映像データ、音声情報抽出部、画像情報抽出部、位置情報抽出部、音声解析部、画像解析部、入力言語選択部、位置言語種別ＤＢ、出力言語選択部、音声翻訳部、画像翻訳部、映像出力部は、実施の形態１と同様の動作を行なう。音声・画像情報重畳部６１５は、画像翻訳部１１３で翻訳した文字をテロップとして重畳するとともに、音声翻訳部１１２で翻訳した声を字幕などの文字情報に変換して画像に重畳させる。
【００３２】
続いて、音声・画像翻訳処理を実行する場合の動作について、図６、図７を参照しながら説明する。図７は、実施の形態２の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。音声翻訳部１１２では、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図７のシーン１に示すように入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声・画像情報重畳部６１５にて、音声解析部１０７で抽出した英語の声“Ｗｅｌｃｏｍｅ ｔｏ Ｈｏｏｌｙｗｏｏｄ”を音声翻訳部１１２で翻訳した日本語の“ようこそハリウッドへ”という文字情報に変換し、字幕７０４として画像に重畳させる。同様にシーン２では、加仏語の声“Ｂｉｅｎｖｅｎｕｅ ｖｅｒｓ Ｃａｎａｄａ”を日本語の“ようこそカナダへ”という。字幕７０４として画像に重畳させる。また、画像に対する処理は、テロップの表示が字幕と重ならない位置となるよう実施の形態１と同様の動作を行なう。
【００３３】
このように、実施の形態２では、音声に含まれる入力言語の声を、字幕などの文字情報として画像に重畳させることで、画像のみで翻訳結果を理解できる映像情報として出力することが可能となる。
【００３４】
（実施の形態３）
実施の形態１では、画像に含まれる入力言語の文字を、出力言語の文字のテロップとして画像に重畳することで、翻訳結果を映像情報として出力した。実施の形態３では、画像に含まれる入力言語の文字を、声に変換して音声に合成させる手法を導入する。
【００３５】
図８は、本発明の実施の形態３の映像翻訳装置の構成を示すブロック図である。図８において、１０１は位置情報、１０２は映像、１０３は映像データ、１０４は音声情報抽出部、１０５は画像情報抽出部、１０６は位置情報抽出部、１０７は音声解析部、１０８は画像解析部、１０９は入力言語選択部、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１１２は音声翻訳部、１１３は画像翻訳部、８１４は音声・画像情報吹替え部、１１６は映像出力部である。位置情報、映像、映像データ、音声情報抽出部、画像情報抽出部、位置情報抽出部、音声解析部、画像解析部、入力言語選択部、位置言語種別ＤＢ、出力言語選択部、音声翻訳部、画像翻訳部、映像出力部は、実施の形態１と同様の動作を行なう。音声・画像情報吹替え部８１４は、音声情報抽出部１０４で抽出した音声を音声翻訳部１１２で翻訳した声に吹替えるとともに、画像翻訳部１１３で翻訳した文字を声に変換して音声に合成させる。
【００３６】
続いて、音声・画像翻訳処理を実行する場合の動作について、図８、図９を参照しながら説明する。図９は、実施の形態３の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。画像翻訳部１１３では、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図９のシーン１に示すように入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声・画像情報吹替え部８１４にて、画像情報重畳部１１５にて、画像情報抽出部１０５で抽出した英語の文字“ＨＯＯＬＹＷＯＯＤ”が含まれる画像から画像翻訳部１１３で翻訳した日本語の「“ハリウッド”の表示があります」のような音声案内９０３に変換して、音声に合成させる。同様にシーン２では、加仏語の文字“Ｃａｎａｄａ”が含まれる画像から日本語の「“カナダ” の表示があります」のような音声案内９０３に変換して、音声に合成させる。また、音声に対する処理は、音声案内と吹替えの声が重ならないよう実施の形態１と同様の動作を行なう。
【００３７】
このように、実施の形態３では、画像に含まれる入力言語の文字を、音声案内などの声の情報として音声に合成させることで、音声のみで翻訳結果を理解できる映像情報として出力することが可能となる。
【００３８】
（実施の形態４）
実施の形態１から３では、出力言語種別をユーザが任意に選択するものとしていた。実施の形態４では、出力言語選択部にＧＰＳにより取得した現在の位置情報を入力し、ユーザが本発明の映像翻訳装置を使用する現在地の国、地域で使用されている言語を、自動的に出力言語として選択する出力言語選択手段を有する。
【００３９】
図１０は、本発明の実施の形態４における出力言語選択部の構成を示すブロック図であり。図１０において、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１００１は位置情報である。続いて、出力言語選択処理を実行する場合の動作について、図３、図１０を参照しながら説明する。例えば、実施の形態４における本発明の映像翻訳装置を北緯４０度、東経１３５度の地点で動作させた場合、ＧＰＳにより緯度、経度の情報が位置情報１００１として取得でき、図３に示すとおり、位置言語種別ＤＢ１１０に集積されているデータから、出力言語の言語種別として日本語が選択される。
【００４０】
以上の処理により、本発明の実施の形態４における出力言語選択部において、現在の位置情報が示す国、地域で使用されている言語を自動的に判定し、翻訳の出力となる言語を選択することが可能となる。
【産業上の利用可能性】
【００４１】
本発明の映像翻訳装置は、撮影後の映像データに含まれる刻々と変化する位置情報に応じて、撮影した国、地域の言語を判定し、映像を任意の他の種類の言語に翻訳できる。これにより、旅行やビジネス、報道目的など、国内外で撮影した映像データを基に自国語や他の言語に翻訳して視聴することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態１における映像翻訳装置の構成を示すブロック図
【図２】映像データに格納されている情報の例を表す図
【図３】位置言語種別ＤＢに格納されている情報の例を表す図
【図４】出力言語選択画面の例を表す図
【図５】実施の形態１の実施の効果例図
【図６】本発明の実施の形態２における映像翻訳装置の構成を示すブロック図
【図７】実施の形態２の実施の効果例図
【図８】本発明の実施の形態３における映像翻訳装置の構成を示すブロック図
【図９】実施の形態３の実施の効果例図
【図１０】本発明の実施の形態４における出力言語選択部の構成を示すブロック図
【符号の説明】
【００４３】
１０１ 位置情報
１０２ 映像
１０３ 映像データ
１０４ 音声情報抽出部
１０５ 画像情報抽出部
１０６ 位置情報抽出部
１０７ 音声解析部
１０８ 画像解析部
１０９ 入力言語選択部
１１０ 位置言語種別ＤＢ
１１１ 出力言語選択部
１１２ 音声翻訳部
１１３ 画像翻訳部
１１４ 音声情報吹替え部
１１５ 画像情報重畳部
１１６ 映像出力部
２０１ 画像
２０２ 音声
２０３ 位置情報
４０１ 出力言語入力域
４０２ 出力言語選択リスト
５０１ 画像
５０２ 音声
５０３ 画像に含まれる文字
５０４ テロップ
５０５ 声
６１５ 音声・画像情報重畳部
８１４ 音声・画像情報吹替え部
９０３ 音声案内
１００１ 位置情報
【技術分野】
【０００１】
本発明は、映像翻訳装置に関し、特に撮影した映像データに含まれる位置情報に対応して、翻訳を行なうことができる映像翻訳装置に関するものである。
【背景技術】
【０００２】
旅行先の国で見聞きする会話や放送、看板の文字など、旅行する国や地域によって使用される言語が異なるが、従来、ユーザの位置を検出し、ユーザの位置に対応する言語に基づいて、場所を移動するごとに言語を設定し直すことなく翻訳を行なう情報処理装置があった。（例えば、特許文献１参照）。
【特許文献１】特開２０００−１９４６９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の翻訳を行なう情報処理装置では、旅行先の国で翻訳が必要となる映像を撮影する場合に、デジタルビデオカメラなどの撮影装置とは別に翻訳装置を持ち歩く手間がかかるという問題を有していた。
【０００４】
映像を撮影する場合に、ＧＰＳにより取得した位置情報を対応させて記録させることにより、再生時に映像の位置情報をわかるようにした撮影装置がある。
【０００５】
本発明は、撮影した映像データに含まれる位置情報に対応する言語に基づいて翻訳を行なう装置であり、撮影後のデータを入力とするため、撮影時に翻訳装置を持ち歩く必要をなくすことができる。
【課題を解決するための手段】
【０００６】
請求項１に記載の映像翻訳装置は、位置情報を含む映像データから位置を抽出する抽出手段と、抽出手段により抽出された位置に対応する入力言語を選択する入力言語選択手段及び、ユーザが任意に他の種類の出力言語を選択する出力言語選択手段と、入力言語選択手段により選択された入力言語と出力言語選択手段により選択された出力言語に基づいて、映像の翻訳処理を実行する翻訳手段とを備えることを特徴とする。
【０００７】
請求項２に記載の映像翻訳装置は、映像データから、音声を抽出する音声抽出手段と、音声抽出手段により抽出された音声に含まれる声を解析する解析手段と、出力言語選択手段により選択された出力言語に基づいて、解析手段により解析した声を翻訳する音声翻訳手段とをさらに備えることを特徴とする。
【０００８】
請求項３に記載の映像翻訳装置は、音声出力手段により翻訳された声を、もとの映像に含まれる声に吹替えた映像を出力する出力手段をさらに備えることを特徴とする。
【０００９】
請求項４に記載の映像翻訳装置は、音声翻訳手段により翻訳された声を出力言語選択手段により選択された出力言語に翻訳し、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする。
【００１０】
請求項５に記載の映像翻訳装置は、映像データから画像を抽出する画像抽出手段と、画像抽出手段により抽出された画像に含まれる文字を解析する文字解析手段とをさらに備え、翻訳手段は、文字解析手段により解析した文字を翻訳することを特徴とする。
【００１１】
請求項６に記載の映像翻訳装置は、翻訳手段により翻訳された文字を、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする。
【００１２】
請求項７に記載の映像翻訳装置は、翻訳手段により翻訳された文字を出力言語選択手段により選択された出力言語に基づいて音声に変換して、もとの映像に音声を加えた映像を出力する出力手段をさらに備えることを特徴とする。
【００１３】
請求項８に記載の映像翻訳装置は、抽出手段で抽出する位置情報をＧＰＳにより取得することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮影時には、どこの国、地域で撮影した映像かを撮影者が意識することなく、撮影後に映像を翻訳することができる。また、使用される言語が入り組んだ国、地域をまたがって撮影した場合でも、刻々と変化する位置情報に応じて言語を判定し、映像を翻訳できる。これにより、旅行やビジネス、報道目的など、国内外で撮影した映像データを基に自国語や他の言語に翻訳して視聴することが可能となる利点がある。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（実施の形態１）
図１は本発明の実施の形態１における映像翻訳装置の構成を示すブロック図である。図１において、１０３はデジタルビデオカメラなどの撮影装置で撮影した映像１０２と、映像の撮影時にＧＰＳにより取得した位置情報１０１とを対応させて記録した映像データである。ここで位置情報とは、撮影地点により刻々と変化する緯度、経度を含む情報である。１０４は映像データ１０３から音声を抽出する音声情報抽出部である。１０７は音声解析部であり、音声情報抽出部１０４で抽出した音声に含まれる会話や放送などの声を解析し、抽出する。１０５は映像データ１０３から画像を抽出する画像情報抽出部である。１０８は画像解析部であり、画像情報抽出部１０５で抽出した画像に含まれる看板などの文字を解析し、抽出する。１０６は映像データ１０３から翻訳の入力となる言語種別を特定するための位置情報を抽出する位置情報抽出部である。１０９は入力言語選択部であり、位置情報抽出部１０６で抽出した位置情報と、位置情報に対応する言語種別を集積した位置言語種別ＤＢ１１０が入力言語選択部１０９に入力され、翻訳の入力となる言語種別を検索し選択する。１１１は出力言語選択部であり、翻訳の出力となる任意の言語種別を、ユーザがキー入力や音声入力などの手段で選択する。１１２は音声翻訳部であり、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。１１４は音声情報吹替え部であり、音声情報抽出部１０４で抽出した音声を音声翻訳部１１２で翻訳した声に吹替える。１１３は画像翻訳部であり、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。１１５は画像情報重畳部であり、画像情報抽出部１０５で抽出した画像に画像翻訳部１１３で翻訳した文字をテロップとして重畳する。１１６は映像出力部であり、音声情報吹替え部１１４で吹替えた音声と映像情報重畳部１１５で重畳した画像とを合成し、翻訳された映像として出力する。
【００１７】
図２は、本発明の実施の形態１による映像データに格納されている情報の例を表す図である。映像にＧＰＳにより取得した位置情報を対応させて記録させる撮影装置で撮影された映像データは、撮影シーンごとの画像２０１と音声２０２に加えて、撮影地点の緯度、経度を含む位置情報２０３から構成されている。撮影地点を移動することにより言語種別の異なる国、地域へ移った場合は、音声２０２の言語種別が変化することになる。例えば、図２に示すように、北緯４０度、西経７４度の地点はアメリカ合衆国であり、ここで撮影されたシーン１の画像２０１には英語の文字が含まれ、音声２０２には英語の声が含まれている。北緯４３度、西経７９度の地点はカナダであり、ここで撮影されたシーン２の画像２０１には加仏語の文字が含まれ、音声２０２には加仏語の声が含まれている。このようにして撮影された映像データから画像情報、音声情報、位置情報をそれぞれ抽出する。
【００１８】
以上のように構成された映像翻訳装置において、映像データから抽出した位置情報に基づいて、位置情報が示す国、地域で使用されている言語を自動的に判定し、入力言語種別を選択する動作について、図１、図３を参照しながら説明する。図３は、位置言語種別ＤＢに格納されている情報の例を表す図である。まず、位置情報抽出部１０６で抽出した緯度、経度などの組合せで表される位置情報に基づき、位置言語種別ＤＢ１１０を検索する。位置言語種別ＤＢ１１０には予め各位置情報が示す国、地域で使用されている言語の種別が記録されている。例えば、図３に示すように、北緯４０度、西経７４度という位置情報に対応する言語の種別は英語であるというような位置情報とそこで使用されている言語の種別を対にしたデータが集積されている。これによって、位置情報抽出部１０６で抽出した位置情報と一致した位置言語種別ＤＢ１１０の位置情報と対になっている言語の種別を選択する。
【００１９】
次に出力言語種別を選択する動作について、図４を参照しながら説明する。図４は、出力言語選択画面の例を表す図である。本発明の映像翻訳装置は、例えば図４に示すような出力言語選択画面を有し、キー入力や音声入力などにより出力言語選択リスト４０２に表示される言語種別から出力言語種別を選択するか、出力言語入力域４０１に直接言語種別を入力することで、出力言語種別をユーザが任意に選択する。
【００２０】
続いて、音声翻訳処理を実行する場合の動作について、図１、図５を参照しながら説明する。図５は、実施の形態１の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。音声翻訳部１１２では、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図５のシーン１に示すように音声５０２に含まれる声５０５の入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声情報吹替え部１１４にて、音声情報抽出部１０４で抽出した英語の声“Ｗｅｌｃｏｍｅ ｔｏ Ｈｏｏｌｙｗｏｏｄ”を音声翻訳部１１２で翻訳した日本語の声“ようこそハリウッドへ”に吹替える。同様にシーン２では、加仏語の声“Ｂｉｅｎｖｅｎｕｅ ｖｅｒｓ Ｃａｎａｄａ”を日本語の声“ようこそカナダへ”に吹替える。
【００２１】
次に、映像翻訳処理を実行する場合の動作について、図１、図５を参照しながら説明する。画像翻訳部１１３では、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図５のシーン１に示すように画像５０１に含まれる文字５０３の入力言語種別は英語であり、出力言語種別が日本語であった場合に、画像情報重畳部１１５にて、画像情報抽出部１０５で抽出した英語の文字“ＨＯＯＬＹＷＯＯＤ”が含まれる画像に画像翻訳部１１３で翻訳した日本語の文字“ハリウッド”をテロップ５０４として重畳する。同様にシーン２では、加仏語の文字“Ｃａｎａｄａ”が含まれる画像に日本語の文字“カナダ”をテロップ５０４として重畳する。
【００２２】
以上の処理により、本発明の実施の形態１における映像翻訳装置において、映像に対応した位置情報を持つ映像データから、位置情報が示す国、地域で使用されている言語を自動的に判定し、これにより翻訳の入力となる言語を選択することができ、ユーザが選択した出力言語に画像と音声を翻訳して、翻訳結果を映像情報として出力することが可能となる。
【００２３】
なお、音声情報の翻訳処理を実施する際、本人及び、同行者の声は入力言語種別とは異なる場合が多いため、入力言語種別以外の言語の翻訳は行なわない機能を有する。同様に画像情報に含まれる文字についても、入力言語種別以外の言語の翻訳は行なわない機能を有するものとする。
【００２４】
また、図３に示す位置情報と言語種別の対応関係において、緯度、経度の情報は数値の範囲を持つものとし、位置情報と各々の国、地域内の撮影地点との対応関係は維持し得るものとしている。
【００２５】
また、図３に示す撮影地点の位置情報と、一地点の位置情報に対する国、地域で使用される言語種別の候補を複数保持するＤＢ構成とした場合、候補となる言語種別の中から最も高い翻訳精度が得られる最適な言語種別を自動的に判別する機能を有するものとする。
【００２６】
また、本発明の映像翻訳装置は動画に限らず、デジタルスチルカメラなどで撮影した静止画に対しても、画像の翻訳、出力が同様の手段にて実施できる。
【００２７】
また、本発明の映像翻訳装置を、映像にＧＰＳにより取得した位置情報を対応させて記録させる撮影装置に接続、もしくは組込んで、携帯する構成をとることにより、映像を撮影しながら、その場で翻訳処理後の出力映像を視聴することが可能である。
【００２８】
また、本発明の映像翻訳装置を、パソコン用プログラムとして実施することによって、翻訳処理後の出力映像を、例えば松下電器産業のパソコン用デジタルビデオ動画編集ソフトウェア”ＭｏｔｉｏｎＤＶ ＳＴＵＤＩＯ”などの映像編集ソフトに引渡す、もしくは該ソフトウェアの機能として組込むことで、従来のノンリニア編集に加え、翻訳後の音声情報やテロップ情報の追加、修正などを可能とする。
【００２９】
また、動画翻訳メールや、テレビ電話としての応用など、異国間の動画コミュニケーションツールとしての用途も広がる。
【００３０】
（実施の形態２）
実施の形態１では、音声に含まれる入力言語の声を、出力言語の声に吹替えることで翻訳結果を映像情報として出力した。実施の形態２では、音声に含まれる入力言語の声を、字幕などの文字情報として画像に重畳させる手法を導入する。
【００３１】
図６は、本発明の実施の形態２の映像翻訳装置の構成を示すブロック図である。図６において、１０１は位置情報、１０２は映像、１０３は映像データ、１０４は音声情報抽出部、１０５は画像情報抽出部、１０６は位置情報抽出部、１０７は音声解析部、１０８は画像解析部、１０９は入力言語選択部、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１１２は音声翻訳部、１１３は画像翻訳部、６１５は音声・画像情報重畳部、１１６は映像出力部である。位置情報、映像、映像データ、音声情報抽出部、画像情報抽出部、位置情報抽出部、音声解析部、画像解析部、入力言語選択部、位置言語種別ＤＢ、出力言語選択部、音声翻訳部、画像翻訳部、映像出力部は、実施の形態１と同様の動作を行なう。音声・画像情報重畳部６１５は、画像翻訳部１１３で翻訳した文字をテロップとして重畳するとともに、音声翻訳部１１２で翻訳した声を字幕などの文字情報に変換して画像に重畳させる。
【００３２】
続いて、音声・画像翻訳処理を実行する場合の動作について、図６、図７を参照しながら説明する。図７は、実施の形態２の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。音声翻訳部１１２では、音声解析部１０７で抽出した声を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図７のシーン１に示すように入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声・画像情報重畳部６１５にて、音声解析部１０７で抽出した英語の声“Ｗｅｌｃｏｍｅ ｔｏ Ｈｏｏｌｙｗｏｏｄ”を音声翻訳部１１２で翻訳した日本語の“ようこそハリウッドへ”という文字情報に変換し、字幕７０４として画像に重畳させる。同様にシーン２では、加仏語の声“Ｂｉｅｎｖｅｎｕｅ ｖｅｒｓ Ｃａｎａｄａ”を日本語の“ようこそカナダへ”という。字幕７０４として画像に重畳させる。また、画像に対する処理は、テロップの表示が字幕と重ならない位置となるよう実施の形態１と同様の動作を行なう。
【００３３】
このように、実施の形態２では、音声に含まれる入力言語の声を、字幕などの文字情報として画像に重畳させることで、画像のみで翻訳結果を理解できる映像情報として出力することが可能となる。
【００３４】
（実施の形態３）
実施の形態１では、画像に含まれる入力言語の文字を、出力言語の文字のテロップとして画像に重畳することで、翻訳結果を映像情報として出力した。実施の形態３では、画像に含まれる入力言語の文字を、声に変換して音声に合成させる手法を導入する。
【００３５】
図８は、本発明の実施の形態３の映像翻訳装置の構成を示すブロック図である。図８において、１０１は位置情報、１０２は映像、１０３は映像データ、１０４は音声情報抽出部、１０５は画像情報抽出部、１０６は位置情報抽出部、１０７は音声解析部、１０８は画像解析部、１０９は入力言語選択部、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１１２は音声翻訳部、１１３は画像翻訳部、８１４は音声・画像情報吹替え部、１１６は映像出力部である。位置情報、映像、映像データ、音声情報抽出部、画像情報抽出部、位置情報抽出部、音声解析部、画像解析部、入力言語選択部、位置言語種別ＤＢ、出力言語選択部、音声翻訳部、画像翻訳部、映像出力部は、実施の形態１と同様の動作を行なう。音声・画像情報吹替え部８１４は、音声情報抽出部１０４で抽出した音声を音声翻訳部１１２で翻訳した声に吹替えるとともに、画像翻訳部１１３で翻訳した文字を声に変換して音声に合成させる。
【００３６】
続いて、音声・画像翻訳処理を実行する場合の動作について、図８、図９を参照しながら説明する。図９は、実施の形態３の映像翻訳装置を用いて翻訳した映像出力情報の一例を表す図である。画像翻訳部１１３では、画像解析部１０８で抽出した文字を、入力言語選択部１０９で選択された入力言語から出力言語選択部１１１で選択された出力言語に翻訳する。例えば、図９のシーン１に示すように入力言語種別は英語であり、出力言語種別が日本語であった場合に、音声・画像情報吹替え部８１４にて、画像情報重畳部１１５にて、画像情報抽出部１０５で抽出した英語の文字“ＨＯＯＬＹＷＯＯＤ”が含まれる画像から画像翻訳部１１３で翻訳した日本語の「“ハリウッド”の表示があります」のような音声案内９０３に変換して、音声に合成させる。同様にシーン２では、加仏語の文字“Ｃａｎａｄａ”が含まれる画像から日本語の「“カナダ” の表示があります」のような音声案内９０３に変換して、音声に合成させる。また、音声に対する処理は、音声案内と吹替えの声が重ならないよう実施の形態１と同様の動作を行なう。
【００３７】
このように、実施の形態３では、画像に含まれる入力言語の文字を、音声案内などの声の情報として音声に合成させることで、音声のみで翻訳結果を理解できる映像情報として出力することが可能となる。
【００３８】
（実施の形態４）
実施の形態１から３では、出力言語種別をユーザが任意に選択するものとしていた。実施の形態４では、出力言語選択部にＧＰＳにより取得した現在の位置情報を入力し、ユーザが本発明の映像翻訳装置を使用する現在地の国、地域で使用されている言語を、自動的に出力言語として選択する出力言語選択手段を有する。
【００３９】
図１０は、本発明の実施の形態４における出力言語選択部の構成を示すブロック図であり。図１０において、１１０は位置言語種別ＤＢ、１１１は出力言語選択部、１００１は位置情報である。続いて、出力言語選択処理を実行する場合の動作について、図３、図１０を参照しながら説明する。例えば、実施の形態４における本発明の映像翻訳装置を北緯４０度、東経１３５度の地点で動作させた場合、ＧＰＳにより緯度、経度の情報が位置情報１００１として取得でき、図３に示すとおり、位置言語種別ＤＢ１１０に集積されているデータから、出力言語の言語種別として日本語が選択される。
【００４０】
以上の処理により、本発明の実施の形態４における出力言語選択部において、現在の位置情報が示す国、地域で使用されている言語を自動的に判定し、翻訳の出力となる言語を選択することが可能となる。
【産業上の利用可能性】
【００４１】
本発明の映像翻訳装置は、撮影後の映像データに含まれる刻々と変化する位置情報に応じて、撮影した国、地域の言語を判定し、映像を任意の他の種類の言語に翻訳できる。これにより、旅行やビジネス、報道目的など、国内外で撮影した映像データを基に自国語や他の言語に翻訳して視聴することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態１における映像翻訳装置の構成を示すブロック図
【図２】映像データに格納されている情報の例を表す図
【図３】位置言語種別ＤＢに格納されている情報の例を表す図
【図４】出力言語選択画面の例を表す図
【図５】実施の形態１の実施の効果例図
【図６】本発明の実施の形態２における映像翻訳装置の構成を示すブロック図
【図７】実施の形態２の実施の効果例図
【図８】本発明の実施の形態３における映像翻訳装置の構成を示すブロック図
【図９】実施の形態３の実施の効果例図
【図１０】本発明の実施の形態４における出力言語選択部の構成を示すブロック図
【符号の説明】
【００４３】
１０１ 位置情報
１０２ 映像
１０３ 映像データ
１０４ 音声情報抽出部
１０５ 画像情報抽出部
１０６ 位置情報抽出部
１０７ 音声解析部
１０８ 画像解析部
１０９ 入力言語選択部
１１０ 位置言語種別ＤＢ
１１１ 出力言語選択部
１１２ 音声翻訳部
１１３ 画像翻訳部
１１４ 音声情報吹替え部
１１５ 画像情報重畳部
１１６ 映像出力部
２０１ 画像
２０２ 音声
２０３ 位置情報
４０１ 出力言語入力域
４０２ 出力言語選択リスト
５０１ 画像
５０２ 音声
５０３ 画像に含まれる文字
５０４ テロップ
５０５ 声
６１５ 音声・画像情報重畳部
８１４ 音声・画像情報吹替え部
９０３ 音声案内
１００１ 位置情報
【特許請求の範囲】
【請求項１】
位置情報を含む映像データから位置を抽出する抽出手段と、前記抽出手段により抽出された前記位置に対応する入力言語を選択する入力言語選択手段と、ユーザが任意に他の種類の出力言語を選択する出力言語選択手段と、前記入力言語選択手段により選択された入力言語と前記出力言語選択手段により選択された出力言語に基づいて、映像の翻訳処理を実行する翻訳手段とを備えることを特徴とする映像翻訳装置。
【請求項２】
前記映像データから、音声を抽出する音声抽出手段と、前記音声抽出手段により抽出された音声に含まれる声を解析する解析手段と、前記出力言語選択手段により選択された出力言語に基づいて、前記解析手段により解析した声を翻訳する音声翻訳手段とをさらに備えることを特徴とする、請求項１に記載の映像翻訳装置。
【請求項３】
前記音声翻訳手段により翻訳された声を、もとの映像に含まれる声に吹替えた映像を出力する出力手段をさらに備えることを特徴とする、請求項２に記載の映像翻訳装置。
【請求項４】
前記音声翻訳手段により翻訳された声を前記出力言語選択手段により選択された出力言語に翻訳し、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする、請求項２に記載の映像翻訳装置。
【請求項５】
映像データから画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された画像に含まれる文字を解析する文字解析手段とをさらに備え、前記翻訳手段は、前記文字解析手段により解析した文字を翻訳することを特徴とする、請求項１に記載の映像翻訳装置。
【請求項６】
前記翻訳手段により翻訳された文字を、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする、請求項５に記載の映像翻訳装置。
【請求項７】
前記翻訳手段により翻訳された文字を、前記出力言語選択手段により選択された出力言語に基づいて音声に変換して、もとの映像に音声を加えた映像を出力する出力手段をさらに備えることを特徴とする、請求項５に記載の映像翻訳装置。
【請求項８】
前記抽出手段で抽出する位置情報はＧＰＳにより取得することを特徴とする、請求項１に記載の映像翻訳装置。
【請求項１】
位置情報を含む映像データから位置を抽出する抽出手段と、前記抽出手段により抽出された前記位置に対応する入力言語を選択する入力言語選択手段と、ユーザが任意に他の種類の出力言語を選択する出力言語選択手段と、前記入力言語選択手段により選択された入力言語と前記出力言語選択手段により選択された出力言語に基づいて、映像の翻訳処理を実行する翻訳手段とを備えることを特徴とする映像翻訳装置。
【請求項２】
前記映像データから、音声を抽出する音声抽出手段と、前記音声抽出手段により抽出された音声に含まれる声を解析する解析手段と、前記出力言語選択手段により選択された出力言語に基づいて、前記解析手段により解析した声を翻訳する音声翻訳手段とをさらに備えることを特徴とする、請求項１に記載の映像翻訳装置。
【請求項３】
前記音声翻訳手段により翻訳された声を、もとの映像に含まれる声に吹替えた映像を出力する出力手段をさらに備えることを特徴とする、請求項２に記載の映像翻訳装置。
【請求項４】
前記音声翻訳手段により翻訳された声を前記出力言語選択手段により選択された出力言語に翻訳し、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする、請求項２に記載の映像翻訳装置。
【請求項５】
映像データから画像を抽出する画像抽出手段と、前記画像抽出手段により抽出された画像に含まれる文字を解析する文字解析手段とをさらに備え、前記翻訳手段は、前記文字解析手段により解析した文字を翻訳することを特徴とする、請求項１に記載の映像翻訳装置。
【請求項６】
前記翻訳手段により翻訳された文字を、もとの映像にテロップとして重畳した映像を出力する出力手段をさらに備えることを特徴とする、請求項５に記載の映像翻訳装置。
【請求項７】
前記翻訳手段により翻訳された文字を、前記出力言語選択手段により選択された出力言語に基づいて音声に変換して、もとの映像に音声を加えた映像を出力する出力手段をさらに備えることを特徴とする、請求項５に記載の映像翻訳装置。
【請求項８】
前記抽出手段で抽出する位置情報はＧＰＳにより取得することを特徴とする、請求項１に記載の映像翻訳装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−６５６５３（Ｐ２００８−６５６５３Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４３６９７（Ｐ２００６−２４３６９７）
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]