翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラム
【課題】翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる翻訳結果表示方法を提供する。
【解決手段】フォント記憶手段８１は、予め定められた単語ごとに複数種類のフォントを記憶する。文字領域抽出手段８２は、画像から文字列が含まれる領域である文字領域を抽出する。翻訳文字列生成手段８３は、文字領域内の文字列を翻訳した翻訳文字列を生成する。翻訳結果生成制御手段８４は、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する。また、翻訳結果生成制御手段８４は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する。
【解決手段】フォント記憶手段８１は、予め定められた単語ごとに複数種類のフォントを記憶する。文字領域抽出手段８２は、画像から文字列が含まれる領域である文字領域を抽出する。翻訳文字列生成手段８３は、文字領域内の文字列を翻訳した翻訳文字列を生成する。翻訳結果生成制御手段８４は、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する。また、翻訳結果生成制御手段８４は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳結果を生成し、その翻訳結果を表示する翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラムに関する。
【背景技術】
【０００２】
現実世界の対象物（例えば、広告看板やレストランのメニュー、雑誌など）に表示された語句をコンピュータにより翻訳し、翻訳結果を利用者に提示するシステムが各種知られている。図１１は、原文から翻訳結果を出力した例を示す説明図である。例えば、カメラに映る図１１（ａ）に示すような画像をＯＣＲ（Optical Character Reader）等によって認識し、認識した画像をもとに図１１（ｂ）に例示する翻訳結果を出力するアプリケーションが知られている（例えば、非特許文献１、非特許文献２参照）。
【０００３】
また、特許文献１には、翻訳後のテキストを翻訳対象とする文字エリアの位置に重ねて表示する情報変換方法が記載されている。特許文献１に記載された情報変換方法では、翻訳前のテキストに代えて、そのテキストの位置に翻訳後のテキストを重ね合わせて表示する。また、特許文献１には、重ね合わせる翻訳後テキストの色や大きさを、翻訳前のテキストの色や大きさとすることが好ましい旨記載されている。
【０００４】
特許文献２には、原文文字列と翻訳文文字列の両方を配置した画像を作成する文書画像処理装置が記載されている。特許文献２に記載された文書画像処理装置は、原文（文字列画像）のサイズと翻訳文文字列のサイズを、文字列画像の全体の長さ、翻訳文文字列の総文字数、文章領域のサイズ、文章領域に設定する行間割合等に基づいて決定する。そして、特許文献２に記載された文書画像処理装置は、原文文字列画像と翻訳文文字列画像の長さの比に応じて作成する各画像を補正する。
【０００５】
特許文献３には、翻訳文のレイアウトを原文と同一にする翻訳方法が記載されている。特許文献３に記載された翻訳方法では、翻訳文を原文と同一のレイアウトで配置できない場合に翻訳文の中から省略対象とする語句を抽出する。そして、抽出した語句の省略語を使用して、単位領域に配置可能な翻訳文を生成する。また、特許文献３に記載された翻訳方法では、翻訳後の単語が枠内に収まらない場合、その単語を短く変換して枠内に出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４６４５４号公報
【特許文献２】特開２００９−５３９３２号公報
【特許文献３】特開２００７−３４４３０号公報
【非特許文献】
【０００７】
【非特許文献１】吉田一星、”翻訳ルーペって何？”、［online］、［平成２３年２月３日検索］、インターネット〈URL：http://techblog.yahoo.co.jp/honyaku/〉
【非特許文献２】the Google Mobile Team、"Translate the real world with Google Goggles"、［online］、［平成２３年２月３日検索］、インターネット〈URL：http://googlemobile.blogspot.com/2010/05/translate-real-world-with-google.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図１１に示すように、原文と翻訳結果とが別々の画面で表示されると、翻訳結果が原文のどの部分を翻訳したものか利用者にわかりづらい。特に、レストランのメニューのようにレイアウトが複雑なものは、翻訳結果と原文の対応づけが困難である。
【０００９】
一方、特許文献１〜特許文献３に記載された方法では、原文と翻訳結果とを同一の画面上に対応づけて表示する。図１２は、翻訳結果を原文のレイアウトに合わせて表示した例を示す説明図である。図１２に示すように、原文と翻訳結果とを同一の画面上に対応づけて表示することで、上記問題を解決することは可能である。
【００１０】
しかし、特許文献１に記載された情報変換方法では、翻訳対象とする文字エリアに翻訳後テキストを単に重ねて表示するだけである。そのため、文字エリアの領域の大きさによっては、表示されるテキストの文字が変形してしまうなど、重ねて表示する翻訳結果がかえって見づらくなる恐れがある。
【００１１】
また、特許文献２に記載された文書画像処理装置では、原文文字列画像から翻訳文文字列画像が作成された後、原文文字列画像との長さの比に応じて翻訳文文字列画像の大きさが縮小される。そのため、特許文献１に記載された情報変換方法と同様、原文文字列画像の長さによっては、縮小された画像の文字が変形してしまうなど、出力された翻訳結果が見づらくなる恐れがある。
【００１２】
また、特許文献３に記載された翻訳方法のように、枠内に収まらない翻訳結果の単語を短く変換して表示する方法では、枠の大きさによって使用できる文字の数に限界があり、場合によっては、翻訳結果の意味が伝わらない恐れがある。
【００１３】
そこで、本発明は、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による翻訳結果表示方法は、画像から文字列が含まれる領域である文字領域を抽出し、文字領域内の文字列を翻訳した翻訳文字列を生成し、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶されたその複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成し、翻訳結果画像を生成する際に、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示することを特徴とする。
【００１５】
本発明による翻訳結果表示システムは、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、翻訳結果生成制御手段が、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示することを特徴とする。
【００１６】
本発明による翻訳結果生成装置は、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、翻訳結果生成制御手段が、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成することを特徴とする
【００１７】
本発明による翻訳結果表示プログラムは、コンピュータに、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出処理、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成処理、および、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶されたその複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する翻訳結果生成制御処理を実行させ、翻訳結果生成制御処理で、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成させ、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【図面の簡単な説明】
【００１９】
【図１】本発明による翻訳結果表示システムの一実施形態を示すブロック図である。
【図２】翻訳用データベース記憶部が記憶する情報の例を示す説明図である。
【図３】フォント選択用データベース記憶部が記憶する情報の例を示す説明図である。
【図４】翻訳結果表示システムの動作例を示すフローチャートである。
【図５】翻訳結果表示システムの動作例を示すフローチャートである。
【図６】翻訳対象範囲の例を示す説明図である。
【図７】複数の入力領域を抽出する場合の例を示す説明図である。
【図８】本発明による翻訳結果表示システムの変形例を示すブロック図である。
【図９】本発明による翻訳結果表示システムの最小構成の例を示すブロック図である。
【図１０】本発明による翻訳結果生成装置の最小構成の例を示すブロック図である。
【図１１】原文から翻訳結果を出力した例を示す説明図である。
【図１２】翻訳結果を原文のレイアウトに合わせて表示した例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照して説明する。
【００２１】
図１は、本発明による翻訳結果表示システムの一実施形態を示すブロック図である。本実施形態における翻訳結果表示システム１は、入力部１０と、表示部２０と、対象領域計測部３０と、翻訳部４０と、翻訳結果生成部５０とを備えている。
【００２２】
入力部１０は、翻訳対象とする現実世界の対象物（例えば、広告看板やレストランのメニュー、雑誌など）を画像として保存する。入力部１０は、例えば、カメラなどにより実現される。
【００２３】
具体的には、入力部１０は、対象物画像記憶媒体１１と、入力制御部１２とを含む。対象物画像記憶媒体１１は、現実世界の対象物を画像として記憶する。以下、翻訳の対象として入力された画像のことを、入力画像と記す。入力制御部１２は、入力部１０に対象物の画像が入力されると、その画像を対象物画像記憶媒体１１に記憶させる。また、入力制御部１２が画像を撮影し、その画像を対象物画像記憶媒体１１に記憶させてもよい。
【００２４】
表示部２０は、対象物画像記憶媒体１１に保存された画像や、後述する翻訳結果生成部５０が生成した翻訳結果画像を利用者に表示する。表示部２０は、例えば、ディスプレイ装置により実現される。また、表示部２０は、表示している画像の中から指定された任意の領域を対象領域計測部３０に通知する機能を備えていてもよい。この場合、表示部２０は、例えば、タッチパネルにより実現される。
【００２５】
対象領域計測部３０は、対象領域記憶媒体３１と、対象領域計測制御部３２とを含む。
【００２６】
対象領域計測制御部３２は、入力画像の中から翻訳の対象とする範囲（以下、翻訳対象範囲と記す。）を決定する。対象領域計測制御部３２は、入力画像全体を翻訳対象範囲と決定してもよく、利用者により指定された範囲を翻訳対象範囲と決定してもよい。対象領域計測制御部３２は、例えば、表示部２０を介して利用者が指定した範囲を翻訳対象範囲と決定してもよい。
【００２７】
さらに、対象領域計測制御部３２は、翻訳対象範囲の中から「文字」が表記された領域（以下、文字領域と記す。）、および、その文字領域中の文字列を抽出する。なお、抽出する文字列は、１文字であってもよく、２文字以上であってもよい。対象領域計測制御部３２は、例えば、ＯＣＲ技術を用いて文字領域および文字列を抽出する。このとき、対象領域計測制御部３２は、抽出した文字領域のサイズおよび入力画像中の位置を示す情報（以下、位置情報と記す。）を計測する。また、対象領域計測制御部３２は、一つの文字領域だけでなく、複数の文字領域を抽出してもよい。なお、ここでの「文字」とは、翻訳対象とする語の他、各語を区切る記号なども含まれる。
【００２８】
また、対象領域計測制御部３２は、抽出した文字領域における文字列部分の色（以下、文字色と記す。）および文字列以外の部分の色（以下、背景色と記す。）の情報をそれぞれ抽出する。
【００２９】
対象領域記憶媒体３１は、対象領域計測制御部３２が抽出した文字領域およびその文字領域の文字列を記憶する。また、対象領域記憶媒体３１は、その文字領域における文字色および背景色を合わせて記憶する。
【００３０】
翻訳部４０は、対象とする文字列を翻訳する翻訳システムである。翻訳用データベース記憶部４１と、翻訳制御部４２とを含む。
【００３１】
翻訳用データベース記憶部４１は、原文と翻訳文とをそれぞれ対応づけた情報を記憶する。ここで、原文および翻訳文は、１つの語のみであってもよく、複数の語を組み合わせた句であってもよい。また、各語は１文字であってもよく、２文字以上であってもよい。なお、原文と翻訳文とをそれぞれ対応づけた情報は、例えば、ユーザ等により、予め翻訳用データベース記憶部４１に設定される。
【００３２】
また、翻訳用データベース記憶部４１は、上述する翻訳文の内容を示す語句であり、その翻訳文よりも文字数が少ない語句（以下、略語と記す。）を原文と対応付けて記憶していてもよい。図２は、翻訳用データベース記憶部４１が記憶する情報の例を示す説明図である。図２に示す例では、原文「Sandwiches」に、翻訳文である「サンドイッチ」と、その略語である「サンド」とを対応付けていることを示す。
【００３３】
翻訳制御部４２は、対象領域記憶媒体３１に記録された文字列の内容を翻訳した翻訳文字列を生成する。なお、翻訳の方法は特に限定されず、統計ベースによる翻訳や、ルールベースによる翻訳など、現在知られている方法のいずれを用いてもよい。また、翻訳制御部４２は、翻訳用データベース記憶部４１に記憶された情報を利用して翻訳を行ってもよい。
【００３４】
翻訳結果生成部５０は、フォント選択用データベース記憶部５１と、翻訳結果生成制御部５２とを含む。フォント選択用データベース記憶部５１は、予め定められた単語ごとに複数種類のフォントを記憶する。また、フォント選択用データベース記憶部５１は、単語ごとの複数種類のフォントだけでなく、その単語の略語ごとに複数種類のフォントを記憶していてもよい。
【００３５】
具体的には、フォント選択用データベース記憶部５１は、翻訳文に使われる可能性のある単語および略語ごとに、その単語および略語を表示する領域の縦サイズおよび横サイズの情報を記憶する。ここで、フォントの種類やサイズによって、そのフォントを表示する領域の縦サイズおよび横サイズは異なるため、フォント選択用データベース記憶部５１は、１つの単語および略語について、複数のサイズおよび複数の種類のフォント情報を記憶する。
【００３６】
図３は、フォント選択用データベース記憶部５１が記憶する情報の例を示す説明図である。図３に示す例では、翻訳文字列中の文字列である「サンドイッチ」およびその略語を示す文字列である「サンド」について、それぞれ２種類のフォント情報を記憶していることを示す。具体的には、文字列「サンドイッチ」に対して、２種類のフォント（ＭＳゴシック１６ｐｔ、１２ｐｔ）と、そのフォントのサイズ（縦６，横１２、縦４．５，横８．４）とをそれぞれ対応づけていることを示す。
【００３７】
翻訳結果生成制御部５２は、翻訳文字列に含まれる単語に対応するフォントをフォント選択用データベース記憶部５１に記憶されたフォントの中から選択して翻訳結果画像を生成する。その際、翻訳結果生成制御部５２は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。さらに、翻訳結果生成制御部５２は、その翻訳結果画像を対象とする文字領域に出力する。
【００３８】
対象領域計測制御部３２と、翻訳制御部４２と、翻訳結果生成制御部５２とは、プログラム（翻訳結果表示プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、翻訳結果表示システムを構成する装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、対象領域計測制御部３２、翻訳制御部４２および翻訳結果生成制御部５２として動作してもよい。また、対象領域計測制御部３２と、翻訳制御部４２と、翻訳結果生成制御部５２は、それぞれが専用のハードウェアで実現されていてもよい。
【００３９】
また、対象物画像記憶媒体１１、対象領域記憶媒体３１、翻訳用データベース記憶部４１およびフォント選択用データベース記憶部５１は、例えば、磁気ディスク等により実現される。
【００４０】
次に、動作について説明する。図４および図５は、本実施形態における翻訳結果表示システムの動作例を示すフローチャートである。なお、入力部１０は、例えば、カメラにより実現され、表示部２０は、例えば、ディスプレイ装置により実現される。また、対象領域計測制御部３２は、文字領域として、縦サイズおよび横サイズで特定される矩形領域を抽出するものとする。
【００４１】
本システムの利用者により翻訳対象とする現実世界の対象物が決定されると、入力部１０の入力制御部１２は、その対象物を入力画像として対象物画像記憶媒体１１に記憶させる（図４におけるステップＳ１）。そして、表示部２０は、対象物画像記憶媒体１１に記憶された入力画像を利用者に対して表示する（ステップＳ２）。
【００４２】
次に、対象領域計測部３０の対象領域計測制御部３２は、この入力画像の中から翻訳対象範囲を決定する（ステップＳ３）。対象領域計測制御部３２は、入力画像全体を翻訳対象範囲に決定してもよく、利用者によって指定された入力画像中の任意の領域を翻訳対象範囲に決定してもよい。図６は、翻訳対象範囲の例を示す説明図である。図６に示す例では、入力画像のうち、破線で示す部分の領域が利用者によって指定されたことを示す。
【００４３】
また、対象領域計測部３０の対象領域計測制御部３２は、例えば、ＯＣＲ技術などを使い、決定した翻訳対象範囲から文字領域を抽出する（ステップＳ４）。その際、対象領域計測制御部３２は、抽出した文字領域の縦サイズ、横サイズおよび入力画像中の位置情報を計測する（ステップＳ５）。さらに、対象領域計測制御部３２は、抽出した文字領域における文字列内容、文字列部分の色（文字色）および文字列以外の部分の色（背景色）の情報をそれぞれ抽出する（ステップＳ６）。
【００４４】
そして、対象領域計測制御部３２は、ステップＳ５で計測したサイズおよび位置情報と、ステップＳ６で抽出した文字列内容、文字色および背景色を対象領域記憶媒体３１に記憶させる（ステップＳ７）。なお、翻訳対象範囲内に文字領域が複数存在する場合、対象領域計測制御部３２は、文字領域ごとに、縦サイズ、横サイズ、入力画像における位置情報、文字列内容、文字色および背景色を示す情報を対象領域記憶媒体３１に記憶させる。
【００４５】
図７は、複数の入力領域を抽出する場合の例を示す説明図である。図７に示す例では、翻訳対象範囲に６つの文字領域が含まれている。また、図７では、領域１で表わされる文字領域の情報の例を示している。図７に例示する領域１の文字領域は、Ｘ座標が２〜１２の範囲（すなわち、横サイズ＝１０）、Ｙ座標が２〜８の範囲（すなわち、縦サイズ＝６）で表わされる領域であり、領域１の文字色が黒、背景色が白、文字列内容が「Sandwiches」であることを示す。
【００４６】
翻訳部４０の翻訳制御部４２は、対象領域記憶媒体３１に記録された文字列内容を翻訳し、翻訳文字列を生成する（ステップＳ８）。翻訳処理を行う際、翻訳制御部４２は、現在知られている方法のいずれを用いてもよい。また、翻訳制御部４２は、翻訳用データベース記憶部４１に記憶された情報をもとに翻訳処理を行ってもよい。
【００４７】
翻訳結果生成部５０の翻訳結果生成制御部５２は、翻訳文字列のフォント（フォント種類およびフォントサイズ）を決定する。その際、翻訳結果生成制御部５２は、翻訳文が利用者に見やすくなるよう、なるべく大きなフォントを選択するようにする。この処理は、以下のステップＳ９〜Ｓ１６の手順で行われる。
【００４８】
翻訳結果生成制御部５２は、フォント選択用データベース記憶部５１に記憶された情報を参照し、対象領域記憶媒体３１に記憶された文字領域の縦サイズを基準に、なるべくフォントサイズの大きな翻訳文字列のフォントを選択する（図５におけるステップＳ９）。具体的には、翻訳結果生成制御部５２は、矩形領域における一の辺（ここでは、縦サイズ）に収まる最も大きいサイズのフォントを一つまたは複数選択する。
【００４９】
次に、翻訳結果生成制御部５２は、ステップＳ９で選択したフォントを使った場合に、翻訳文字列の長さが対象領域記憶媒体３１に記憶された文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１０）。具体的には、翻訳結果生成制御部５２は、翻訳文字列の横サイズが文字領域の横サイズよりも小さいか否かを判定する。翻訳文字列の横サイズが文字領域の横サイズよりも小さい場合、翻訳結果生成制御部５２は、翻訳文字列の長さが文字領域に収まる長さと判定できる。
【００５０】
翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１０における「収まる」）、翻訳結果生成制御部５２は、ステップＳ９で選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、翻訳結果画像を生成する（ステップＳ１１）。
【００５１】
具体的には、翻訳結果生成制御部５２は、対象領域記憶媒体３１に記録されている文字領域の位置情報をもとに、入力画像の領域に対してステップＳ１１において決定したフォントの翻訳語で翻訳文字列を描画する。このとき、翻訳結果生成制御部５２は、対象領域記憶媒体３１に記録されている文字色を使って翻訳文字列を描画し、文字領域内の背景を対象領域記憶媒体３１に記録されている背景色で描画する。
【００５２】
一方、ステップＳ１０において、翻訳文字列の長さが文字領域の横サイズに収まる長さでない場合（ステップＳ１０における「収まらない」）、翻訳結果生成制御部５２は、翻訳文字列の横サイズを短くするため、翻訳文字列中の語句に略語に変換できる語句があるか否かを、翻訳用データベース記憶部４１を参照して確認する（ステップＳ１２）。
【００５３】
略語に変換できる語句が翻訳文字列中にあって、翻訳文字列の横サイズを短くできる場合（ステップＳ１２における「ある」）、翻訳結果生成制御部５２は、その略語を選択するとともに、その略語を使った場合の翻訳文字列の横サイズが対象領域記憶媒体３１に記録されている文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１３）。
【００５４】
略語を使った場合の翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１３における「収まる」）、翻訳結果生成制御部５２は、ステップＳ１３で選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、その略語のフォントを用いて翻訳結果画像を生成する（ステップＳ１１）。
【００５５】
このように、通常の文字列では翻訳結果画像の文字が小さくなってしまう場合であっても、通常の翻訳後よりも文字数の少ない略語を選択することで、より大きなフォントを選択することが可能になる。よって、原文の領域のサイズに応じて、より見やすい翻訳結果を表示できる。
【００５６】
一方、略語を使った場合の翻訳文字列の長さが文字領域の横サイズに収まる長さでない場合（ステップＳ１３における「収まらない」）、また、略語に変換できる語句が翻訳文字列中にない場合（ステップＳ１２における「ない」）、ステップＳ９およびステップＳ１３で選択したフォントでは文字領域に収まらないことが分かる。この場合、翻訳結果生成制御部５２は、別のフォント（フォント種類およびフォントサイズ）に変更する（ステップＳ１４）。
【００５７】
具体的には、翻訳結果生成制御部５２は、縦サイズを維持したまま、横サイズが小さいフォントを順次選択する。横サイズに収まるフォントが存在しない場合、翻訳結果生成制御部５２は、縦サイズを小さくした後、横サイズが小さいフォントを再度選択する処理を繰り返す。
【００５８】
以下、この処理の一例を説明する。ここでは、縦サイズが６、横サイズが１０の文字領域に翻訳結果を収めるものとする。今、フォント選択用データベース記憶部５１に、（１）縦サイズ６，横サイズ１４、（２）縦サイズ６，横サイズ１２、（３）縦サイズ５，横サイズ１３、（４）縦サイズ５，横サイズ１１、（５）縦サイズ４，横サイズ１２、（６）縦サイズ４，横サイズ１０のフォントが記憶されているとする。
【００５９】
まず、翻訳結果生成制御部５２は、縦方向に収まる最も大きいサイズのフォントとして、縦サイズが６のフォントを選択する。そして、翻訳結果生成制御部５２は、選択したフォントの中から、横方向に収まる最も大きいサイズのフォントとして、横サイズが１４である（１）のフォントを選択する。ただし、（１）は、横サイズに収まらないフォントである。そこで、翻訳結果生成制御部５２は、次に（２）のフォントを選択する。しかし、（２）のフォントでも、横サイズに収まらないため、翻訳結果生成制御部５２は、次に、（３）、（４）、（５）、（６）とフォントを順次選択する。そして、翻訳結果生成制御部５２は、文字領域に収まるフォントとして、（６）のフォントを選択する。
【００６０】
なお、上記説明では、横書きの文字列から横書きの翻訳文字列を生成する場合において、縦サイズを基準に横サイズを順次変更する方法について例示した。ただし、翻訳結果生成制御部５２がフォントを選択する方法は、上記方法に限定されない。例えば、縦書きの文字列から縦書きの翻訳文字列を生成する場合、横サイズを基準に縦サイズを順次変更するようにしてもよい。また、略語のフォントを選択する方法も、単語のフォントを選択する方法と同様である。
【００６１】
このように、翻訳結果生成制御部５２は、ステップＳ９における処理と同様、フォント選択用データベース記憶部５１に記憶された情報を参照し、対象領域記憶媒体３１に記憶された文字領域の縦サイズを基準に、なるべくフォントサイズの大きな翻訳文字列のフォントを選択する。
【００６２】
次に、翻訳結果生成制御部５２は、ステップＳ１４で選択したフォントを使った場合に、翻訳文字列の長さが対象領域記憶媒体３１に記憶された文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１５）。翻訳文字列の長さが文字領域の横サイズに収まらない長さであった場合（ステップＳ１５における「収まらない」）、翻訳結果生成制御部５２は、ステップＳ１４以降の処理を繰り返す。すなわち、翻訳結果生成制御部５２は、翻訳文字列の長さが文字領域の横サイズに収まる長さになるまで、ステップＳ１４とステップＳ１５の処理を繰り返す。
【００６３】
一方、翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１５における「収まる」）、翻訳結果生成制御部５２は、選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、翻訳結果画像を生成する（ステップＳ１６）。なお、翻訳対象範囲内に文字領域が複数存在する場合、ステップＳ８〜ステップＳ１６の処理が領域分繰り返される。
【００６４】
翻訳結果画像が生成されると、表示部２０は、翻訳結果画像を利用者に対して表示する（ステップＳ１７）。
【００６５】
以上のように、本実施形態によれば、対象領域計測制御部３２が入力画像の翻訳対象範囲から文字領域を抽出し、翻訳制御部４２が文字領域内の文字列を翻訳した翻訳文字列を生成する。そして、翻訳結果生成制御部５２が、フォント選択用データベース記憶部５１に記憶された複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する。その際、翻訳結果生成制御部５２は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。そして、翻訳結果生成制御部５２は、入力画像の対応する文字領域の位置に、生成した翻訳結果画像を表示する。以上の処理を行うことで、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００６６】
すなわち、本発明では、翻訳対象とした原文と同じ位置に翻訳結果を上書きして表示するため、利用者にとって翻訳結果の内容が分かりやすい。具体的には、原文の領域内に翻訳結果を表示するため、翻訳結果が原文の領域からはみ出ることがない。そのため、原文の文字列以外の部分が見えなくなることを抑制でき、さらに、文字列以外の部分も含め、対象物の全体のレイアウトを損なうことなく、翻訳結果を利用者に提示できる。
【００６７】
次に、本実施形態の変形例について説明する。図８は、本変形例における翻訳結果表示システムの例を示すブロック図である。本変形例における翻訳結果表示システムは、翻訳結果生成装置１００と、翻訳結果表示装置２００とを備えている。翻訳結果生成装置１００と、翻訳結果表示装置２００とは、通信ネットワーク９９を介して相互に接続される。
【００６８】
翻訳結果表示装置２００は、入力部１０と、表示部２０とを備えている。また、入力部１０は、対象物画像記憶媒体１１と、入力制御部１２とを含む。対象物画像記憶媒体１１および入力制御部１２の内容は、上記実施形態と同様である。ただし、入力制御部１２が、入力部１０に対象物の画像が入力されたときに、その画像を翻訳結果生成装置１００に送信する点において上記実施形態と異なる。
【００６９】
表示部２０は、翻訳結果生成装置１００から受け取った翻訳結果画像を利用者に表示する。なお、表示の方法は、上記実施形態と同様である。
【００７０】
翻訳結果生成装置１００は、対象領域計測部３０と、翻訳部４０と、翻訳結果生成部５０とを備えている。対象領域計測部３０は、対象領域記憶媒体３１と、対象領域計測制御部３２とを含む。対象領域計測制御部３２は、翻訳結果表示装置２００から受け取った画像に対して、翻訳対象範囲の決定および文字領域の抽出を行う。それ以外の対象領域計測部３０の内容については、上記実施形態と同様である。
【００７１】
翻訳部４０は、翻訳用データベース記憶部４１と、翻訳制御部４２とを含む。なお、翻訳部４０の内容については、上記実施形態と同様である。
【００７２】
翻訳結果生成部５０は、フォント選択用データベース記憶部５１と、翻訳結果生成制御部５２とを含む。翻訳結果生成制御部５２は、生成した翻訳結果画像を翻訳結果表示装置２００に送信する。なお、翻訳結果生成制御部５２は、翻訳結果表示装置２００から受け取った画像の文字領域に翻訳結果画像を重ねた画像を翻訳結果表示装置２００に送信してもよい。
【００７３】
このような構成であっても、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００７４】
次に、本発明の最小構成について説明する。図９は、本発明による翻訳結果表示システムの最小構成の例を示すブロック図である。本発明による翻訳結果表示システムは、予め定められた単語ごとに複数種類のフォント（例えば、図３に例示するフォント）を記憶するフォント記憶手段８１（例えば、フォント選択用データベース記憶部５１）と、画像（例えば、入力画像の翻訳対象範囲）から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段８２（例えば、対象領域計測制御部３２）と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段８３（例えば、翻訳制御部４２）と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段８４（例えば、翻訳結果生成制御部５２）とを備えている。
【００７５】
翻訳結果生成制御手段８４は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示する。
【００７６】
そのような構成により、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００７７】
また、フォント記憶手段８１は、予め定められた単語の内容を示しその単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶してもよい。そして、翻訳結果生成制御手段８４は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、その単語の略語を表示する複数種類のフォントのうち文字領域に収まるサイズのフォントをフォント記憶手段から選択して翻訳結果画像を生成してもよい。このようにすることで、単語のフォントが長くなってしまう場合であっても、略語に置き換えることで文字数が短くなるため、より大きいサイズのフォントを使用できるようになる。そのため、より見やすい翻訳結果を表示できるようになる。
【００７８】
また、文字領域抽出手段８２が、文字領域における文字列の色である文字色およびその文字列以外の部分の色である背景色を抽出し、翻訳結果生成制御手段８４が、文字色で翻訳文字列を描画し、背景を背景色で描画した翻訳結果画像を生成してもよい。このようにすることで、翻訳結果をより違和感なく表示することが可能になる。
【００７９】
また、文字領域抽出手段８２が、文字領域を矩形領域として抽出し、翻訳結果生成制御手段８４が、矩形領域における一の辺（例えば、縦方向）に収まる最も大きいサイズのフォントを一つまたは複数選択し、選択したフォントの中から、矩形領域における他の辺（例えば、横方向）に収まる最も大きいサイズのフォントを選択してもよい。
【００８０】
図１０は、本発明による翻訳結果生成装置の最小構成の例を示すブロック図である。本発明による翻訳結果生成装置（例えば、翻訳結果生成装置１００）は、フォント記憶手段８１（例えば、フォント選択用データベース記憶部５１）と、文字領域抽出手段８２（例えば、対象領域計測制御部３２）と、翻訳文字列生成手段８３（例えば、翻訳制御部４２）と、翻訳結果生成制御手段８５（例えば、翻訳結果生成制御部５２）とを備えている。
【００８１】
フォント記憶手段８１、文字領域抽出手段８２および翻訳文字列生成手段８３のどう際については、図９に例示する内容と同様である。
【００８２】
翻訳結果生成制御手段８５は、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する。その際、翻訳結果生成制御手段８５は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。
【００８３】
このような構成であっても、例えば、翻訳結果表示装置２００が翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【産業上の利用可能性】
【００８４】
本発明は、翻訳結果を表示する翻訳結果表示システムに好適に適用される。
【符号の説明】
【００８５】
１ 翻訳結果表示システム
１０ 入力部
１１ 対象物画像記憶媒体
１２ 入力制御部
２０ 表示部
３０ 対象領域計測部
３１ 対象領域記憶媒体
３２ 対象領域計測制御部
４０ 翻訳部
４１ 翻訳用データベース記憶部
４２ 翻訳制御部
５０ 翻訳結果生成部
５１ フォント選択用データベース記憶部
５２ 翻訳結果生成制御部
９９ 通信ネットワーク
１００ 翻訳結果生成装置
２００ 翻訳結果表示装置
【技術分野】
【０００１】
本発明は、翻訳結果を生成し、その翻訳結果を表示する翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラムに関する。
【背景技術】
【０００２】
現実世界の対象物（例えば、広告看板やレストランのメニュー、雑誌など）に表示された語句をコンピュータにより翻訳し、翻訳結果を利用者に提示するシステムが各種知られている。図１１は、原文から翻訳結果を出力した例を示す説明図である。例えば、カメラに映る図１１（ａ）に示すような画像をＯＣＲ（Optical Character Reader）等によって認識し、認識した画像をもとに図１１（ｂ）に例示する翻訳結果を出力するアプリケーションが知られている（例えば、非特許文献１、非特許文献２参照）。
【０００３】
また、特許文献１には、翻訳後のテキストを翻訳対象とする文字エリアの位置に重ねて表示する情報変換方法が記載されている。特許文献１に記載された情報変換方法では、翻訳前のテキストに代えて、そのテキストの位置に翻訳後のテキストを重ね合わせて表示する。また、特許文献１には、重ね合わせる翻訳後テキストの色や大きさを、翻訳前のテキストの色や大きさとすることが好ましい旨記載されている。
【０００４】
特許文献２には、原文文字列と翻訳文文字列の両方を配置した画像を作成する文書画像処理装置が記載されている。特許文献２に記載された文書画像処理装置は、原文（文字列画像）のサイズと翻訳文文字列のサイズを、文字列画像の全体の長さ、翻訳文文字列の総文字数、文章領域のサイズ、文章領域に設定する行間割合等に基づいて決定する。そして、特許文献２に記載された文書画像処理装置は、原文文字列画像と翻訳文文字列画像の長さの比に応じて作成する各画像を補正する。
【０００５】
特許文献３には、翻訳文のレイアウトを原文と同一にする翻訳方法が記載されている。特許文献３に記載された翻訳方法では、翻訳文を原文と同一のレイアウトで配置できない場合に翻訳文の中から省略対象とする語句を抽出する。そして、抽出した語句の省略語を使用して、単位領域に配置可能な翻訳文を生成する。また、特許文献３に記載された翻訳方法では、翻訳後の単語が枠内に収まらない場合、その単語を短く変換して枠内に出力する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４６４５４号公報
【特許文献２】特開２００９−５３９３２号公報
【特許文献３】特開２００７−３４４３０号公報
【非特許文献】
【０００７】
【非特許文献１】吉田一星、”翻訳ルーペって何？”、［online］、［平成２３年２月３日検索］、インターネット〈URL：http://techblog.yahoo.co.jp/honyaku/〉
【非特許文献２】the Google Mobile Team、"Translate the real world with Google Goggles"、［online］、［平成２３年２月３日検索］、インターネット〈URL：http://googlemobile.blogspot.com/2010/05/translate-real-world-with-google.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００８】
図１１に示すように、原文と翻訳結果とが別々の画面で表示されると、翻訳結果が原文のどの部分を翻訳したものか利用者にわかりづらい。特に、レストランのメニューのようにレイアウトが複雑なものは、翻訳結果と原文の対応づけが困難である。
【０００９】
一方、特許文献１〜特許文献３に記載された方法では、原文と翻訳結果とを同一の画面上に対応づけて表示する。図１２は、翻訳結果を原文のレイアウトに合わせて表示した例を示す説明図である。図１２に示すように、原文と翻訳結果とを同一の画面上に対応づけて表示することで、上記問題を解決することは可能である。
【００１０】
しかし、特許文献１に記載された情報変換方法では、翻訳対象とする文字エリアに翻訳後テキストを単に重ねて表示するだけである。そのため、文字エリアの領域の大きさによっては、表示されるテキストの文字が変形してしまうなど、重ねて表示する翻訳結果がかえって見づらくなる恐れがある。
【００１１】
また、特許文献２に記載された文書画像処理装置では、原文文字列画像から翻訳文文字列画像が作成された後、原文文字列画像との長さの比に応じて翻訳文文字列画像の大きさが縮小される。そのため、特許文献１に記載された情報変換方法と同様、原文文字列画像の長さによっては、縮小された画像の文字が変形してしまうなど、出力された翻訳結果が見づらくなる恐れがある。
【００１２】
また、特許文献３に記載された翻訳方法のように、枠内に収まらない翻訳結果の単語を短く変換して表示する方法では、枠の大きさによって使用できる文字の数に限界があり、場合によっては、翻訳結果の意味が伝わらない恐れがある。
【００１３】
そこで、本発明は、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる翻訳結果表示方法、翻訳結果表示システム、翻訳結果生成装置および翻訳結果表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明による翻訳結果表示方法は、画像から文字列が含まれる領域である文字領域を抽出し、文字領域内の文字列を翻訳した翻訳文字列を生成し、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶されたその複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成し、翻訳結果画像を生成する際に、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示することを特徴とする。
【００１５】
本発明による翻訳結果表示システムは、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、翻訳結果生成制御手段が、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示することを特徴とする。
【００１６】
本発明による翻訳結果生成装置は、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、翻訳結果生成制御手段が、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成することを特徴とする
【００１７】
本発明による翻訳結果表示プログラムは、コンピュータに、画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出処理、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成処理、および、予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶されたその複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する翻訳結果生成制御処理を実行させ、翻訳結果生成制御処理で、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成させ、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【図面の簡単な説明】
【００１９】
【図１】本発明による翻訳結果表示システムの一実施形態を示すブロック図である。
【図２】翻訳用データベース記憶部が記憶する情報の例を示す説明図である。
【図３】フォント選択用データベース記憶部が記憶する情報の例を示す説明図である。
【図４】翻訳結果表示システムの動作例を示すフローチャートである。
【図５】翻訳結果表示システムの動作例を示すフローチャートである。
【図６】翻訳対象範囲の例を示す説明図である。
【図７】複数の入力領域を抽出する場合の例を示す説明図である。
【図８】本発明による翻訳結果表示システムの変形例を示すブロック図である。
【図９】本発明による翻訳結果表示システムの最小構成の例を示すブロック図である。
【図１０】本発明による翻訳結果生成装置の最小構成の例を示すブロック図である。
【図１１】原文から翻訳結果を出力した例を示す説明図である。
【図１２】翻訳結果を原文のレイアウトに合わせて表示した例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照して説明する。
【００２１】
図１は、本発明による翻訳結果表示システムの一実施形態を示すブロック図である。本実施形態における翻訳結果表示システム１は、入力部１０と、表示部２０と、対象領域計測部３０と、翻訳部４０と、翻訳結果生成部５０とを備えている。
【００２２】
入力部１０は、翻訳対象とする現実世界の対象物（例えば、広告看板やレストランのメニュー、雑誌など）を画像として保存する。入力部１０は、例えば、カメラなどにより実現される。
【００２３】
具体的には、入力部１０は、対象物画像記憶媒体１１と、入力制御部１２とを含む。対象物画像記憶媒体１１は、現実世界の対象物を画像として記憶する。以下、翻訳の対象として入力された画像のことを、入力画像と記す。入力制御部１２は、入力部１０に対象物の画像が入力されると、その画像を対象物画像記憶媒体１１に記憶させる。また、入力制御部１２が画像を撮影し、その画像を対象物画像記憶媒体１１に記憶させてもよい。
【００２４】
表示部２０は、対象物画像記憶媒体１１に保存された画像や、後述する翻訳結果生成部５０が生成した翻訳結果画像を利用者に表示する。表示部２０は、例えば、ディスプレイ装置により実現される。また、表示部２０は、表示している画像の中から指定された任意の領域を対象領域計測部３０に通知する機能を備えていてもよい。この場合、表示部２０は、例えば、タッチパネルにより実現される。
【００２５】
対象領域計測部３０は、対象領域記憶媒体３１と、対象領域計測制御部３２とを含む。
【００２６】
対象領域計測制御部３２は、入力画像の中から翻訳の対象とする範囲（以下、翻訳対象範囲と記す。）を決定する。対象領域計測制御部３２は、入力画像全体を翻訳対象範囲と決定してもよく、利用者により指定された範囲を翻訳対象範囲と決定してもよい。対象領域計測制御部３２は、例えば、表示部２０を介して利用者が指定した範囲を翻訳対象範囲と決定してもよい。
【００２７】
さらに、対象領域計測制御部３２は、翻訳対象範囲の中から「文字」が表記された領域（以下、文字領域と記す。）、および、その文字領域中の文字列を抽出する。なお、抽出する文字列は、１文字であってもよく、２文字以上であってもよい。対象領域計測制御部３２は、例えば、ＯＣＲ技術を用いて文字領域および文字列を抽出する。このとき、対象領域計測制御部３２は、抽出した文字領域のサイズおよび入力画像中の位置を示す情報（以下、位置情報と記す。）を計測する。また、対象領域計測制御部３２は、一つの文字領域だけでなく、複数の文字領域を抽出してもよい。なお、ここでの「文字」とは、翻訳対象とする語の他、各語を区切る記号なども含まれる。
【００２８】
また、対象領域計測制御部３２は、抽出した文字領域における文字列部分の色（以下、文字色と記す。）および文字列以外の部分の色（以下、背景色と記す。）の情報をそれぞれ抽出する。
【００２９】
対象領域記憶媒体３１は、対象領域計測制御部３２が抽出した文字領域およびその文字領域の文字列を記憶する。また、対象領域記憶媒体３１は、その文字領域における文字色および背景色を合わせて記憶する。
【００３０】
翻訳部４０は、対象とする文字列を翻訳する翻訳システムである。翻訳用データベース記憶部４１と、翻訳制御部４２とを含む。
【００３１】
翻訳用データベース記憶部４１は、原文と翻訳文とをそれぞれ対応づけた情報を記憶する。ここで、原文および翻訳文は、１つの語のみであってもよく、複数の語を組み合わせた句であってもよい。また、各語は１文字であってもよく、２文字以上であってもよい。なお、原文と翻訳文とをそれぞれ対応づけた情報は、例えば、ユーザ等により、予め翻訳用データベース記憶部４１に設定される。
【００３２】
また、翻訳用データベース記憶部４１は、上述する翻訳文の内容を示す語句であり、その翻訳文よりも文字数が少ない語句（以下、略語と記す。）を原文と対応付けて記憶していてもよい。図２は、翻訳用データベース記憶部４１が記憶する情報の例を示す説明図である。図２に示す例では、原文「Sandwiches」に、翻訳文である「サンドイッチ」と、その略語である「サンド」とを対応付けていることを示す。
【００３３】
翻訳制御部４２は、対象領域記憶媒体３１に記録された文字列の内容を翻訳した翻訳文字列を生成する。なお、翻訳の方法は特に限定されず、統計ベースによる翻訳や、ルールベースによる翻訳など、現在知られている方法のいずれを用いてもよい。また、翻訳制御部４２は、翻訳用データベース記憶部４１に記憶された情報を利用して翻訳を行ってもよい。
【００３４】
翻訳結果生成部５０は、フォント選択用データベース記憶部５１と、翻訳結果生成制御部５２とを含む。フォント選択用データベース記憶部５１は、予め定められた単語ごとに複数種類のフォントを記憶する。また、フォント選択用データベース記憶部５１は、単語ごとの複数種類のフォントだけでなく、その単語の略語ごとに複数種類のフォントを記憶していてもよい。
【００３５】
具体的には、フォント選択用データベース記憶部５１は、翻訳文に使われる可能性のある単語および略語ごとに、その単語および略語を表示する領域の縦サイズおよび横サイズの情報を記憶する。ここで、フォントの種類やサイズによって、そのフォントを表示する領域の縦サイズおよび横サイズは異なるため、フォント選択用データベース記憶部５１は、１つの単語および略語について、複数のサイズおよび複数の種類のフォント情報を記憶する。
【００３６】
図３は、フォント選択用データベース記憶部５１が記憶する情報の例を示す説明図である。図３に示す例では、翻訳文字列中の文字列である「サンドイッチ」およびその略語を示す文字列である「サンド」について、それぞれ２種類のフォント情報を記憶していることを示す。具体的には、文字列「サンドイッチ」に対して、２種類のフォント（ＭＳゴシック１６ｐｔ、１２ｐｔ）と、そのフォントのサイズ（縦６，横１２、縦４．５，横８．４）とをそれぞれ対応づけていることを示す。
【００３７】
翻訳結果生成制御部５２は、翻訳文字列に含まれる単語に対応するフォントをフォント選択用データベース記憶部５１に記憶されたフォントの中から選択して翻訳結果画像を生成する。その際、翻訳結果生成制御部５２は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。さらに、翻訳結果生成制御部５２は、その翻訳結果画像を対象とする文字領域に出力する。
【００３８】
対象領域計測制御部３２と、翻訳制御部４２と、翻訳結果生成制御部５２とは、プログラム（翻訳結果表示プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、翻訳結果表示システムを構成する装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、対象領域計測制御部３２、翻訳制御部４２および翻訳結果生成制御部５２として動作してもよい。また、対象領域計測制御部３２と、翻訳制御部４２と、翻訳結果生成制御部５２は、それぞれが専用のハードウェアで実現されていてもよい。
【００３９】
また、対象物画像記憶媒体１１、対象領域記憶媒体３１、翻訳用データベース記憶部４１およびフォント選択用データベース記憶部５１は、例えば、磁気ディスク等により実現される。
【００４０】
次に、動作について説明する。図４および図５は、本実施形態における翻訳結果表示システムの動作例を示すフローチャートである。なお、入力部１０は、例えば、カメラにより実現され、表示部２０は、例えば、ディスプレイ装置により実現される。また、対象領域計測制御部３２は、文字領域として、縦サイズおよび横サイズで特定される矩形領域を抽出するものとする。
【００４１】
本システムの利用者により翻訳対象とする現実世界の対象物が決定されると、入力部１０の入力制御部１２は、その対象物を入力画像として対象物画像記憶媒体１１に記憶させる（図４におけるステップＳ１）。そして、表示部２０は、対象物画像記憶媒体１１に記憶された入力画像を利用者に対して表示する（ステップＳ２）。
【００４２】
次に、対象領域計測部３０の対象領域計測制御部３２は、この入力画像の中から翻訳対象範囲を決定する（ステップＳ３）。対象領域計測制御部３２は、入力画像全体を翻訳対象範囲に決定してもよく、利用者によって指定された入力画像中の任意の領域を翻訳対象範囲に決定してもよい。図６は、翻訳対象範囲の例を示す説明図である。図６に示す例では、入力画像のうち、破線で示す部分の領域が利用者によって指定されたことを示す。
【００４３】
また、対象領域計測部３０の対象領域計測制御部３２は、例えば、ＯＣＲ技術などを使い、決定した翻訳対象範囲から文字領域を抽出する（ステップＳ４）。その際、対象領域計測制御部３２は、抽出した文字領域の縦サイズ、横サイズおよび入力画像中の位置情報を計測する（ステップＳ５）。さらに、対象領域計測制御部３２は、抽出した文字領域における文字列内容、文字列部分の色（文字色）および文字列以外の部分の色（背景色）の情報をそれぞれ抽出する（ステップＳ６）。
【００４４】
そして、対象領域計測制御部３２は、ステップＳ５で計測したサイズおよび位置情報と、ステップＳ６で抽出した文字列内容、文字色および背景色を対象領域記憶媒体３１に記憶させる（ステップＳ７）。なお、翻訳対象範囲内に文字領域が複数存在する場合、対象領域計測制御部３２は、文字領域ごとに、縦サイズ、横サイズ、入力画像における位置情報、文字列内容、文字色および背景色を示す情報を対象領域記憶媒体３１に記憶させる。
【００４５】
図７は、複数の入力領域を抽出する場合の例を示す説明図である。図７に示す例では、翻訳対象範囲に６つの文字領域が含まれている。また、図７では、領域１で表わされる文字領域の情報の例を示している。図７に例示する領域１の文字領域は、Ｘ座標が２〜１２の範囲（すなわち、横サイズ＝１０）、Ｙ座標が２〜８の範囲（すなわち、縦サイズ＝６）で表わされる領域であり、領域１の文字色が黒、背景色が白、文字列内容が「Sandwiches」であることを示す。
【００４６】
翻訳部４０の翻訳制御部４２は、対象領域記憶媒体３１に記録された文字列内容を翻訳し、翻訳文字列を生成する（ステップＳ８）。翻訳処理を行う際、翻訳制御部４２は、現在知られている方法のいずれを用いてもよい。また、翻訳制御部４２は、翻訳用データベース記憶部４１に記憶された情報をもとに翻訳処理を行ってもよい。
【００４７】
翻訳結果生成部５０の翻訳結果生成制御部５２は、翻訳文字列のフォント（フォント種類およびフォントサイズ）を決定する。その際、翻訳結果生成制御部５２は、翻訳文が利用者に見やすくなるよう、なるべく大きなフォントを選択するようにする。この処理は、以下のステップＳ９〜Ｓ１６の手順で行われる。
【００４８】
翻訳結果生成制御部５２は、フォント選択用データベース記憶部５１に記憶された情報を参照し、対象領域記憶媒体３１に記憶された文字領域の縦サイズを基準に、なるべくフォントサイズの大きな翻訳文字列のフォントを選択する（図５におけるステップＳ９）。具体的には、翻訳結果生成制御部５２は、矩形領域における一の辺（ここでは、縦サイズ）に収まる最も大きいサイズのフォントを一つまたは複数選択する。
【００４９】
次に、翻訳結果生成制御部５２は、ステップＳ９で選択したフォントを使った場合に、翻訳文字列の長さが対象領域記憶媒体３１に記憶された文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１０）。具体的には、翻訳結果生成制御部５２は、翻訳文字列の横サイズが文字領域の横サイズよりも小さいか否かを判定する。翻訳文字列の横サイズが文字領域の横サイズよりも小さい場合、翻訳結果生成制御部５２は、翻訳文字列の長さが文字領域に収まる長さと判定できる。
【００５０】
翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１０における「収まる」）、翻訳結果生成制御部５２は、ステップＳ９で選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、翻訳結果画像を生成する（ステップＳ１１）。
【００５１】
具体的には、翻訳結果生成制御部５２は、対象領域記憶媒体３１に記録されている文字領域の位置情報をもとに、入力画像の領域に対してステップＳ１１において決定したフォントの翻訳語で翻訳文字列を描画する。このとき、翻訳結果生成制御部５２は、対象領域記憶媒体３１に記録されている文字色を使って翻訳文字列を描画し、文字領域内の背景を対象領域記憶媒体３１に記録されている背景色で描画する。
【００５２】
一方、ステップＳ１０において、翻訳文字列の長さが文字領域の横サイズに収まる長さでない場合（ステップＳ１０における「収まらない」）、翻訳結果生成制御部５２は、翻訳文字列の横サイズを短くするため、翻訳文字列中の語句に略語に変換できる語句があるか否かを、翻訳用データベース記憶部４１を参照して確認する（ステップＳ１２）。
【００５３】
略語に変換できる語句が翻訳文字列中にあって、翻訳文字列の横サイズを短くできる場合（ステップＳ１２における「ある」）、翻訳結果生成制御部５２は、その略語を選択するとともに、その略語を使った場合の翻訳文字列の横サイズが対象領域記憶媒体３１に記録されている文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１３）。
【００５４】
略語を使った場合の翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１３における「収まる」）、翻訳結果生成制御部５２は、ステップＳ１３で選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、その略語のフォントを用いて翻訳結果画像を生成する（ステップＳ１１）。
【００５５】
このように、通常の文字列では翻訳結果画像の文字が小さくなってしまう場合であっても、通常の翻訳後よりも文字数の少ない略語を選択することで、より大きなフォントを選択することが可能になる。よって、原文の領域のサイズに応じて、より見やすい翻訳結果を表示できる。
【００５６】
一方、略語を使った場合の翻訳文字列の長さが文字領域の横サイズに収まる長さでない場合（ステップＳ１３における「収まらない」）、また、略語に変換できる語句が翻訳文字列中にない場合（ステップＳ１２における「ない」）、ステップＳ９およびステップＳ１３で選択したフォントでは文字領域に収まらないことが分かる。この場合、翻訳結果生成制御部５２は、別のフォント（フォント種類およびフォントサイズ）に変更する（ステップＳ１４）。
【００５７】
具体的には、翻訳結果生成制御部５２は、縦サイズを維持したまま、横サイズが小さいフォントを順次選択する。横サイズに収まるフォントが存在しない場合、翻訳結果生成制御部５２は、縦サイズを小さくした後、横サイズが小さいフォントを再度選択する処理を繰り返す。
【００５８】
以下、この処理の一例を説明する。ここでは、縦サイズが６、横サイズが１０の文字領域に翻訳結果を収めるものとする。今、フォント選択用データベース記憶部５１に、（１）縦サイズ６，横サイズ１４、（２）縦サイズ６，横サイズ１２、（３）縦サイズ５，横サイズ１３、（４）縦サイズ５，横サイズ１１、（５）縦サイズ４，横サイズ１２、（６）縦サイズ４，横サイズ１０のフォントが記憶されているとする。
【００５９】
まず、翻訳結果生成制御部５２は、縦方向に収まる最も大きいサイズのフォントとして、縦サイズが６のフォントを選択する。そして、翻訳結果生成制御部５２は、選択したフォントの中から、横方向に収まる最も大きいサイズのフォントとして、横サイズが１４である（１）のフォントを選択する。ただし、（１）は、横サイズに収まらないフォントである。そこで、翻訳結果生成制御部５２は、次に（２）のフォントを選択する。しかし、（２）のフォントでも、横サイズに収まらないため、翻訳結果生成制御部５２は、次に、（３）、（４）、（５）、（６）とフォントを順次選択する。そして、翻訳結果生成制御部５２は、文字領域に収まるフォントとして、（６）のフォントを選択する。
【００６０】
なお、上記説明では、横書きの文字列から横書きの翻訳文字列を生成する場合において、縦サイズを基準に横サイズを順次変更する方法について例示した。ただし、翻訳結果生成制御部５２がフォントを選択する方法は、上記方法に限定されない。例えば、縦書きの文字列から縦書きの翻訳文字列を生成する場合、横サイズを基準に縦サイズを順次変更するようにしてもよい。また、略語のフォントを選択する方法も、単語のフォントを選択する方法と同様である。
【００６１】
このように、翻訳結果生成制御部５２は、ステップＳ９における処理と同様、フォント選択用データベース記憶部５１に記憶された情報を参照し、対象領域記憶媒体３１に記憶された文字領域の縦サイズを基準に、なるべくフォントサイズの大きな翻訳文字列のフォントを選択する。
【００６２】
次に、翻訳結果生成制御部５２は、ステップＳ１４で選択したフォントを使った場合に、翻訳文字列の長さが対象領域記憶媒体３１に記憶された文字領域の横サイズに収まる長さか否かを判定する（ステップＳ１５）。翻訳文字列の長さが文字領域の横サイズに収まらない長さであった場合（ステップＳ１５における「収まらない」）、翻訳結果生成制御部５２は、ステップＳ１４以降の処理を繰り返す。すなわち、翻訳結果生成制御部５２は、翻訳文字列の長さが文字領域の横サイズに収まる長さになるまで、ステップＳ１４とステップＳ１５の処理を繰り返す。
【００６３】
一方、翻訳文字列の長さが文字領域の横サイズに収まる長さであった場合（ステップＳ１５における「収まる」）、翻訳結果生成制御部５２は、選択したフォント（フォント種類およびフォントサイズ）を翻訳結果用のフォントと決定し、翻訳結果画像を生成する（ステップＳ１６）。なお、翻訳対象範囲内に文字領域が複数存在する場合、ステップＳ８〜ステップＳ１６の処理が領域分繰り返される。
【００６４】
翻訳結果画像が生成されると、表示部２０は、翻訳結果画像を利用者に対して表示する（ステップＳ１７）。
【００６５】
以上のように、本実施形態によれば、対象領域計測制御部３２が入力画像の翻訳対象範囲から文字領域を抽出し、翻訳制御部４２が文字領域内の文字列を翻訳した翻訳文字列を生成する。そして、翻訳結果生成制御部５２が、フォント選択用データベース記憶部５１に記憶された複数種類のフォントの中から、翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する。その際、翻訳結果生成制御部５２は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。そして、翻訳結果生成制御部５２は、入力画像の対応する文字領域の位置に、生成した翻訳結果画像を表示する。以上の処理を行うことで、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００６６】
すなわち、本発明では、翻訳対象とした原文と同じ位置に翻訳結果を上書きして表示するため、利用者にとって翻訳結果の内容が分かりやすい。具体的には、原文の領域内に翻訳結果を表示するため、翻訳結果が原文の領域からはみ出ることがない。そのため、原文の文字列以外の部分が見えなくなることを抑制でき、さらに、文字列以外の部分も含め、対象物の全体のレイアウトを損なうことなく、翻訳結果を利用者に提示できる。
【００６７】
次に、本実施形態の変形例について説明する。図８は、本変形例における翻訳結果表示システムの例を示すブロック図である。本変形例における翻訳結果表示システムは、翻訳結果生成装置１００と、翻訳結果表示装置２００とを備えている。翻訳結果生成装置１００と、翻訳結果表示装置２００とは、通信ネットワーク９９を介して相互に接続される。
【００６８】
翻訳結果表示装置２００は、入力部１０と、表示部２０とを備えている。また、入力部１０は、対象物画像記憶媒体１１と、入力制御部１２とを含む。対象物画像記憶媒体１１および入力制御部１２の内容は、上記実施形態と同様である。ただし、入力制御部１２が、入力部１０に対象物の画像が入力されたときに、その画像を翻訳結果生成装置１００に送信する点において上記実施形態と異なる。
【００６９】
表示部２０は、翻訳結果生成装置１００から受け取った翻訳結果画像を利用者に表示する。なお、表示の方法は、上記実施形態と同様である。
【００７０】
翻訳結果生成装置１００は、対象領域計測部３０と、翻訳部４０と、翻訳結果生成部５０とを備えている。対象領域計測部３０は、対象領域記憶媒体３１と、対象領域計測制御部３２とを含む。対象領域計測制御部３２は、翻訳結果表示装置２００から受け取った画像に対して、翻訳対象範囲の決定および文字領域の抽出を行う。それ以外の対象領域計測部３０の内容については、上記実施形態と同様である。
【００７１】
翻訳部４０は、翻訳用データベース記憶部４１と、翻訳制御部４２とを含む。なお、翻訳部４０の内容については、上記実施形態と同様である。
【００７２】
翻訳結果生成部５０は、フォント選択用データベース記憶部５１と、翻訳結果生成制御部５２とを含む。翻訳結果生成制御部５２は、生成した翻訳結果画像を翻訳結果表示装置２００に送信する。なお、翻訳結果生成制御部５２は、翻訳結果表示装置２００から受け取った画像の文字領域に翻訳結果画像を重ねた画像を翻訳結果表示装置２００に送信してもよい。
【００７３】
このような構成であっても、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００７４】
次に、本発明の最小構成について説明する。図９は、本発明による翻訳結果表示システムの最小構成の例を示すブロック図である。本発明による翻訳結果表示システムは、予め定められた単語ごとに複数種類のフォント（例えば、図３に例示するフォント）を記憶するフォント記憶手段８１（例えば、フォント選択用データベース記憶部５１）と、画像（例えば、入力画像の翻訳対象範囲）から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段８２（例えば、対象領域計測制御部３２）と、文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段８３（例えば、翻訳制御部４２）と、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段８４（例えば、翻訳結果生成制御部５２）とを備えている。
【００７５】
翻訳結果生成制御手段８４は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、文字領域が抽出された画像におけるその文字領域に、生成した翻訳結果画像を表示する。
【００７６】
そのような構成により、翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【００７７】
また、フォント記憶手段８１は、予め定められた単語の内容を示しその単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶してもよい。そして、翻訳結果生成制御手段８４は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、その単語の略語を表示する複数種類のフォントのうち文字領域に収まるサイズのフォントをフォント記憶手段から選択して翻訳結果画像を生成してもよい。このようにすることで、単語のフォントが長くなってしまう場合であっても、略語に置き換えることで文字数が短くなるため、より大きいサイズのフォントを使用できるようになる。そのため、より見やすい翻訳結果を表示できるようになる。
【００７８】
また、文字領域抽出手段８２が、文字領域における文字列の色である文字色およびその文字列以外の部分の色である背景色を抽出し、翻訳結果生成制御手段８４が、文字色で翻訳文字列を描画し、背景を背景色で描画した翻訳結果画像を生成してもよい。このようにすることで、翻訳結果をより違和感なく表示することが可能になる。
【００７９】
また、文字領域抽出手段８２が、文字領域を矩形領域として抽出し、翻訳結果生成制御手段８４が、矩形領域における一の辺（例えば、縦方向）に収まる最も大きいサイズのフォントを一つまたは複数選択し、選択したフォントの中から、矩形領域における他の辺（例えば、横方向）に収まる最も大きいサイズのフォントを選択してもよい。
【００８０】
図１０は、本発明による翻訳結果生成装置の最小構成の例を示すブロック図である。本発明による翻訳結果生成装置（例えば、翻訳結果生成装置１００）は、フォント記憶手段８１（例えば、フォント選択用データベース記憶部５１）と、文字領域抽出手段８２（例えば、対象領域計測制御部３２）と、翻訳文字列生成手段８３（例えば、翻訳制御部４２）と、翻訳結果生成制御手段８５（例えば、翻訳結果生成制御部５２）とを備えている。
【００８１】
フォント記憶手段８１、文字領域抽出手段８２および翻訳文字列生成手段８３のどう際については、図９に例示する内容と同様である。
【００８２】
翻訳結果生成制御手段８５は、翻訳文字列に含まれる単語に対応するフォントをフォント記憶手段８１に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する。その際、翻訳結果生成制御手段８５は、文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する。
【００８３】
このような構成であっても、例えば、翻訳結果表示装置２００が翻訳結果を原文の領域に対応づけて出力する場合に、原文の領域のサイズに応じて見やすい翻訳結果を表示できる。
【産業上の利用可能性】
【００８４】
本発明は、翻訳結果を表示する翻訳結果表示システムに好適に適用される。
【符号の説明】
【００８５】
１ 翻訳結果表示システム
１０ 入力部
１１ 対象物画像記憶媒体
１２ 入力制御部
２０ 表示部
３０ 対象領域計測部
３１ 対象領域記憶媒体
３２ 対象領域計測制御部
４０ 翻訳部
４１ 翻訳用データベース記憶部
４２ 翻訳制御部
５０ 翻訳結果生成部
５１ フォント選択用データベース記憶部
５２ 翻訳結果生成制御部
９９ 通信ネットワーク
１００ 翻訳結果生成装置
２００ 翻訳結果表示装置
【特許請求の範囲】
【請求項１】
画像から文字列が含まれる領域である文字領域を抽出し、
前記文字領域内の文字列を翻訳した翻訳文字列を生成し、
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶された当該複数種類のフォントの中から、前記翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成し、
翻訳結果画像を生成する際に、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、
前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する
ことを特徴とする翻訳結果表示方法。
【請求項２】
翻訳結果画像を生成する際、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶するフォント記憶手段から、前記翻訳文字列に含まれる単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを選択して翻訳結果画像を生成する
請求項１記載の翻訳結果表示方法。
【請求項３】
文字領域における文字列の色である文字色および当該文字列以外の文字領域部分の色である背景色を抽出し、
前記文字色で翻訳文字列を描画し、背景を前記背景色で描画した翻訳結果画像を生成する
請求項１または請求項２記載の翻訳結果表示方法。
【請求項４】
文字領域を矩形領域として抽出し、
翻訳結果画像を生成する際、前記矩形領域における一の辺に収まる最も大きいサイズのフォントを一つまたは複数選択し、選択したフォントの中から、矩形領域における他の辺に収まる最も大きいサイズのフォントを選択する
請求項１から請求項３のうちのいずれか１項に記載の翻訳結果表示方法。
【請求項５】
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、
前記翻訳文字列に含まれる単語に対応するフォントを前記フォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、
前記翻訳結果生成制御手段は、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する
ことを特徴とする翻訳結果表示システム。
【請求項６】
フォント記憶手段は、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶し、
翻訳結果生成制御手段は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、当該単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを前記フォント記憶手段から選択して翻訳結果画像を生成する
請求項５記載の翻訳結果表示システム。
【請求項７】
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、
前記翻訳文字列に含まれる単語に対応するフォントを前記フォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、
前記翻訳結果生成制御手段は、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する
ことを特徴とする翻訳結果生成装置。
【請求項８】
フォント記憶手段は、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶し、
翻訳結果生成制御手段は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、当該単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを前記フォント記憶手段から選択して翻訳結果画像を生成する
請求項７記載の翻訳結果生成装置。
【請求項９】
コンピュータに、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出処理、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成処理、および、
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶された当該複数種類のフォントの中から、前記翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する翻訳結果生成制御処理を実行させ、
前記翻訳結果生成制御処理で、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成させ、前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示させる
ための翻訳結果表示プログラム。
【請求項１０】
コンピュータに、
翻訳結果生成制御処理で、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶するフォント記憶手段から、前記翻訳文字列に含まれる単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを選択して翻訳結果画像を生成させる
請求項９記載の翻訳結果表示プログラム。
【請求項１】
画像から文字列が含まれる領域である文字領域を抽出し、
前記文字領域内の文字列を翻訳した翻訳文字列を生成し、
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶された当該複数種類のフォントの中から、前記翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成し、
翻訳結果画像を生成する際に、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、
前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する
ことを特徴とする翻訳結果表示方法。
【請求項２】
翻訳結果画像を生成する際、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶するフォント記憶手段から、前記翻訳文字列に含まれる単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを選択して翻訳結果画像を生成する
請求項１記載の翻訳結果表示方法。
【請求項３】
文字領域における文字列の色である文字色および当該文字列以外の文字領域部分の色である背景色を抽出し、
前記文字色で翻訳文字列を描画し、背景を前記背景色で描画した翻訳結果画像を生成する
請求項１または請求項２記載の翻訳結果表示方法。
【請求項４】
文字領域を矩形領域として抽出し、
翻訳結果画像を生成する際、前記矩形領域における一の辺に収まる最も大きいサイズのフォントを一つまたは複数選択し、選択したフォントの中から、矩形領域における他の辺に収まる最も大きいサイズのフォントを選択する
請求項１から請求項３のうちのいずれか１項に記載の翻訳結果表示方法。
【請求項５】
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、
前記翻訳文字列に含まれる単語に対応するフォントを前記フォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、
前記翻訳結果生成制御手段は、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成し、前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示する
ことを特徴とする翻訳結果表示システム。
【請求項６】
フォント記憶手段は、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶し、
翻訳結果生成制御手段は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、当該単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを前記フォント記憶手段から選択して翻訳結果画像を生成する
請求項５記載の翻訳結果表示システム。
【請求項７】
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段と、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出手段と、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成手段と、
前記翻訳文字列に含まれる単語に対応するフォントを前記フォント記憶手段に記憶された複数種類のフォントの中から選択して翻訳結果画像を生成する翻訳結果生成制御手段とを備え、
前記翻訳結果生成制御手段は、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成する
ことを特徴とする翻訳結果生成装置。
【請求項８】
フォント記憶手段は、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶し、
翻訳結果生成制御手段は、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、当該単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを前記フォント記憶手段から選択して翻訳結果画像を生成する
請求項７記載の翻訳結果生成装置。
【請求項９】
コンピュータに、
画像から文字列が含まれる領域である文字領域を抽出する文字領域抽出処理、
前記文字領域内の文字列を翻訳した翻訳文字列を生成する翻訳文字列生成処理、および、
予め定められた単語ごとに複数種類のフォントを記憶するフォント記憶手段に記憶された当該複数種類のフォントの中から、前記翻訳文字列に含まれる単語に対応するフォントを選択して翻訳結果画像を生成する翻訳結果生成制御処理を実行させ、
前記翻訳結果生成制御処理で、前記文字領域に収まるサイズのフォントの中からより大きいサイズのフォントを選択して翻訳結果画像を生成させ、前記文字領域が抽出された画像における当該文字領域に、生成した翻訳結果画像を表示させる
ための翻訳結果表示プログラム。
【請求項１０】
コンピュータに、
翻訳結果生成制御処理で、翻訳文字列に含まれる単語に対応するフォントが文字領域に収まらない場合に、予め定められた単語の内容を示し当該単語よりも文字数が少ない略語ごとに複数種類のフォントを記憶するフォント記憶手段から、前記翻訳文字列に含まれる単語の略語を表示する複数種類のフォントのうち前記文字領域に収まるサイズのフォントを選択して翻訳結果画像を生成させる
請求項９記載の翻訳結果表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１７３７８５（Ｐ２０１２−１７３７８５Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２２１２（Ｐ２０１１−３２２１２）
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１７日（２０１１．２．１７）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]