翻訳機能付きカメラ、及びテキストの表示方法
【課題】所定のテキストをすばやく表示することができる翻訳機能付きカメラ、及びテキストの表示方法を提供することを目的とする。
【解決手段】フレーム画像を撮像するカメラと、フレーム画像に写った文字を抽出する文字抽出手段と、抽出した文字を認識する文字認識手段と、認識した文字から構成されたテキストを翻訳する翻訳手段と、フレーム画像に翻訳したテキストを表示する表示手段と、連続撮像したフレーム画像を比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して撮像条件の差を解析するフレーム画像解析手段と、を備える。表示手段は、フレーム画像解析手段が解析した両フレーム画像における撮像条件の差から、直前に撮像したフレーム画像において表示した翻訳したテキストのフレーム画像における表示位置を特定する。
【解決手段】フレーム画像を撮像するカメラと、フレーム画像に写った文字を抽出する文字抽出手段と、抽出した文字を認識する文字認識手段と、認識した文字から構成されたテキストを翻訳する翻訳手段と、フレーム画像に翻訳したテキストを表示する表示手段と、連続撮像したフレーム画像を比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して撮像条件の差を解析するフレーム画像解析手段と、を備える。表示手段は、フレーム画像解析手段が解析した両フレーム画像における撮像条件の差から、直前に撮像したフレーム画像において表示した翻訳したテキストのフレーム画像における表示位置を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の文字を他の言語に翻訳して表示する技術に関する。
【背景技術】
【０００２】
外国における自動車の運転や歩行の際、標識や看板に記された文字が理解できずしばしば混乱を来たすことがある。特許文献１にはこのような自動車運転時の混乱を回避するため、通り沿いに設けられた標識や他のオブジェクトに記された文字を翻訳し、翻訳した文字を運転手に知らせる車両ナビゲーションシステムが開示されている。この車両ナビゲーションシステムは、カメラで標識や他のオブジェクトに記された文字を撮像し、撮像した画像から文字を抽出、認識して所定の言語に翻訳する。そして、表示装置に撮像した画像とともに翻訳した文字を表示して、自動車の運転を補助する。
【０００３】
【特許文献１】特開２００３−３２３６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された車両ナビゲーションシステムは、撮像画像からの文字の抽出、翻訳、及び翻訳した文字の表示位置の設定を、連続撮像したフレーム毎に実行する。そのため、車両ナビゲーションシステムを構成する各装置の負荷が大きく、翻訳した文字を表示するまでに時間がかかる。
【０００５】
本発明は、上記問題点を解決するためになされたものであり、所定のテキストをすばやく表示することができる翻訳機能付きカメラ、及びテキストの表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る翻訳機能付きカメラは、複数のフレーム画像を連続的に撮像する画像撮像手段と、前記画像撮像手段が撮像したフレーム画像から文字を抽出する文字抽出手段と、前記文字抽出手段が抽出した文字を認識する文字認識手段と、前記文字認識手段が認識した文字から構成されたテキストを所定の言語のテキストに翻訳する翻訳手段と、前記フレーム画像に、前記翻訳手段が翻訳したテキストを合成して表示する表示手段と、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像との撮像条件の差を求めるフレーム画像解析手段と、を備え、前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に合成することを特徴とする。
【０００７】
前記文字認識手段は、さらに、前記画像撮像手段が撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定してもよい。
【０００８】
また、前記表示手段は、前記翻訳手段が翻訳したテキストの表示寸法を調整して、前記表示手段が決定した表示エリア内に翻訳したテキストを表示してもよい。
【０００９】
また、前記フレーム画像解析手段は、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像とに共通する特徴あるパターンを検出し、この両フレーム画像において検出したパターンの表示位置の違いから、両フレーム画像における撮像条件の差を求めてもよい。
【００１０】
また、上記目的を達成するため、本発明に係るテキストの表示方法は、複数のフレーム画像を連続的に撮像する撮像工程と、所定のテキストを付加した前記フレーム画像を連続的に表示する表示工程と、前記撮像工程において撮像したフレーム画像とその直前に撮像したフレーム画像とを比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して、該両フレーム画像の撮像条件の差を解析するフレーム画像解析工程と、を備え、 前記表示工程では、前記フレーム画像解析工程において解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に付加することを特徴とする。
【００１１】
また、前記撮像工程で撮像したフレーム画像から文字を抽出する文字抽出工程と、前記文字抽出工程で抽出した文字を認識する文字認識工程と、前記文字認識工程で認識した文字から構成されたテキストを所定の言語に翻訳する翻訳工程と、をさらに備え、前記表示工程で表示するテキストを、前記翻訳工程で翻訳したテキストとしてもよい。
【００１２】
また、前記文字認識工程では、さらに、前記撮像工程で撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、前記表示工程では、前記フレーム画像解析工程で解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定してもよい。
【００１３】
また、前記表示工程では、さらに、前記翻訳工程で翻訳したテキストの表示寸法を調整して、前記表示工程で決定した表示エリア内に翻訳したテキストを表示してもよい。
【発明の効果】
【００１４】
本発明によれば、所定のテキストをすばやく表示することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態に係る翻訳機能付きカメラ、及びテキストの表示方法を図面を参照して説明する。図１に示すように、本発明の実施形態に係る翻訳機能付きカメラ１は、装置本体１０と、カメラ２０と、入力部３０と、表示部４０とを備えている。
【００１６】
また、装置本体１０は、テキスト抽出部１１と、テキスト読取部１２と、翻訳処理部１３と、撮像画像解析部１４と、表示処理部１５と、データベース１６とを備えている。装置本体１０はこのような構成により、カメラ２０が撮像したフレーム画像から文字を抽出、翻訳し、翻訳した文字の表示位置や表示寸法を設定して表示部４０に表示する。以下、装置本体１０を構成する各部を詳細に説明する。
【００１７】
テキスト抽出部１１は、文字（数字、記号、符号等を含む）のフォントを予め記憶しており、カメラ２０が撮像したフレーム画像に写った文字を、パターンマッチングなどの手法により抽出する。
【００１８】
テキスト読取部１２は、抽出した各文字を文字認識技術を用いて文字情報として認識する。ここで文字認識技術とは、例えば、抽出したテキストを構成する文字の特徴と、データベース１６に記憶した文字の特徴（あるいは文字そのもののテンプレート）とが合致するものを探し出し、合致したデータベース１６に記憶された文字として認識する技術をいう。
【００１９】
翻訳処理部１３は、テキスト読取部１２が認識した文字から構成されるテキストを所定の言語に翻訳する。例えば翻訳処理部１３は、多数の日本語の言葉と、その言葉に対応する複数の言語による言葉とを記憶したデータベース１６を検索することで、テキストを所定の言語に翻訳する。
【００２０】
撮像画像解析部１４は、カメラ２０が連続して撮像した異なるフレーム画像間の撮像条件の差異をパターンマッチング法により解析する。ここで撮像条件の差異とは、異なるフレーム画像間の構図やズームの差異を指している。
【００２１】
具体的に撮像画像解析部１４による解析内容について説明すると、まず撮像画像解析部１４は、翻訳処理を施すフレーム画像（以下、対象フレーム画像と記載する）と、この対象フレーム画像の直前に撮影したフレーム画像（以下、前フレーム画像と記載する）とに共通するパターンを見つけ出す、いわゆるパターンマッチング法による解析を実行する。このパターンマッチング法は、例えば、前フレーム画像において特徴あるパターン（例えば、彩度が著しく変化する領域等）を検出し、次に、対象フレーム画像において、前フレーム画像で検出したパターンと合致する領域を見つけ出す画像解析手法である。
【００２２】
そして図２に示すように、撮像画像解析部１４が前フレーム画像４１において特徴あるパターンａ１（４，３）、ｂ１（０，０）を検出し、対象フレーム画像４２においてパターンａ１と合致するパターンａ１´（６，６）、及びパターンｂ１と合致するパターンｂ１´（−２，０）を検出したとする。すると、撮像画像解析部１４は各パターンの座標値から、パターンａ１とパターンｂ１との距離“５”と、パターンａ１´とパターンｂ１´との距離“１０”とを算出する。続いて、撮像画像解析部１４は、算出した距離“５”と“１０”とを比較して、対象フレーム画像４２が、前フレーム画像４１を撮像した状態から２倍にズームアップして撮像した画像であると認識する。なお、図に示したＸ，Ｙ座標は、前フレーム画像４１及び対象フレーム画像４２の撮像中心を原点としている。
【００２３】
また、撮像画像解析部１４は、前フレーム画像４１及び対象フレーム画像４２において、共通して写し出された被写体位置の差を算出する。図２で示した画像を用いて説明すると、まず撮像画像解析部１４は、前フレーム画像４１と対象フレーム画像４２とに生じているズームの差を解消するため、前フレーム画像４１のパターンａ１及びパターンｂ１の座標値をそれぞれ２倍する。次に、撮像画像解析部１４は、乗算後の座標値と、対象フレーム画像４２のパターンａ１´及びパターンｂ１´の座標値とを比較する。すなわち、前フレーム画像４１の各パターンの座標値を２倍した座標であるパターンａ１（８，６）及びパターンｂ１（０，０）と、対象フレーム画像４２のパターンａ１´（６，６）及びパターンｂ１´（−２，０）とを比較すると、パターンａ１´及びパターンｂ１´のＸ座標は、パターンａ１及びパターンｂ１のＸ座標と比べてそれぞれ２小さい。これにより撮像画像解析部１４は、対象フレーム画像４２に映し出された被写体は、前フレーム画像４１に映し出された同一の被写体よりもＸ方向に−２移動した位置にあると認識する。
【００２４】
また、撮像画像解析部１４は、上記で求めた前フレーム画像４１と対象フレーム画像４２とにおける同一の被写体位置の違いやズームの差異に基づいて、対象フレーム画像４２で新たな被写体が写し出された領域を求める。
【００２５】
表示処理部１５は、翻訳したテキストの表示位置や表示寸法を設定し、表示部４０に対象フレーム画像４２とともに翻訳したテキストを表示する。
具体的には、表示処理部１５は、フレーム画像において抽出したテキストの位置及びその表示エリアを特定し、抽出したテキストを翻訳後のテキストに書き換える。その際、翻訳後のテキストが抽出したテキストの表示エリアに収まるように、翻訳後のテキストの寸法を適宜変更し、あるいは改行等の処理を施して表示部４０に表示する。
【００２６】
カメラ２０は、例えば１秒間に数〜数十のフレーム画像を撮像し、撮像毎にフレーム画像を装置本体１０に送信する。カメラ２０は、撮像したテキストの抽出、認識を容易にするため、シャッタスピードが速く、被写界深度が深いものが好ましい。
【００２７】
入力部３０は、操作者が翻訳機能付きカメラ１の所望の動作を実行するための各種スイッチから構成されている。例えば、入力部３０は、カメラ２０で撮像するための撮像スイッチや、翻訳後の言語を選択する言語切替スイッチ等から構成されている。
【００２８】
表示部４０は、例えば翻訳機能付きカメラ１に搭載された液晶ディスプレイであり、カメラ２０が連続的に撮像したフレーム画像をリアルタイムで表示する。また、表示部４０は、翻訳前のテキストを翻訳後のテキストに書き換えて表示する。
【００２９】
次に、本発明に係る翻訳機能付きカメラ１による撮像したテキストの翻訳語表示処理について、図３及び図４に示したフローチャートを参照して説明する。なお、説明を簡略化するため、撮像したフレーム画像には常にテキストが含まれているものとする。
【００３０】
まず、カメラ２０は、フレーム画像を撮像し、撮像したフレーム画像を装置本体１０に送信する（ステップＳ１１０）。
【００３１】
次に、テキスト抽出部１１は、撮像したフレーム画像に写ったテキストを抽出する（ステップＳ１２０）。なお、テキストのフレーム画像からの抽出方法については前述した通りである。
【００３２】
続いて、テキスト読取部１２は、ステップＳ１２０で抽出したテキストを構成する文字の特徴が、データベース１６に記憶された文字の特徴と合致するか調べる（ステップＳ１３０）。
【００３３】
ステップＳ１３０において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致すると（ステップＳ１３０：Ｙｅｓ）、テキスト読取部１２は、テキストを構成する文字を、特徴が合致したデータベース１６に記憶された文字として認識する（ステップＳ１４０）。また、テキスト読取部１２は、このようにして認識した文字が構成するテキストの表示エリアの寸法を求める。
【００３４】
次に、翻訳処理部１３は、テキスト読取部１２が認識した文字から構成されたテキストを所定の言語に翻訳する（ステップＳ１５０）。例えば翻訳処理部１３は、多数の日本語の言葉と、その言葉に対応する複数の言語による言葉とを記憶したデータベース１６を検索することで、テキストを所定の言語に翻訳する。
【００３５】
次に、表示処理部１５は、翻訳したテキストの表示位置や表示寸法を設定し、表示部４０にフレーム画像とともに翻訳したテキストを表示する（ステップＳ１６０）。なお前述したように、表示処理部１５は、翻訳したテキストが翻訳前のテキストの表示エリアに収まるように表示部４０に表示する。
【００３６】
ステップＳ１３０において、抽出したテキストを構成する文字の特徴が、データベース１６に記憶した文字の特徴と合致しないと（ステップＳ１３０：Ｎｏ）、表示処理部１５は、撮像したフレーム画像を表示部４０にそのまま表示する（ステップＳ１８０）。そして、ステップをステップＳ１７０に進める。
【００３７】
なお、上述までのステップは、カメラ２０により最初のフレーム画像を撮像した際の翻訳語表示処理のステップを示している。ところで、カメラ２０は前述したように、１秒間に数〜数十のフレーム画像を撮像する。そこで、このようなフレーム画像の連続的な撮影とその翻訳語表示処理については、ステップＳ１７０において実施する。以下、ステップＳ１７０については図４に示したフローチャートを参照して説明する。
【００３８】
まず、ステップＳ１１０と同様に、カメラ２０はフレーム画像を撮像し、撮像したフレーム画像を装置本体に送信する（ステップＳ１７１）。
【００３９】
次に、撮像画像解析部１４はパターンマッチング法を実行して、前フレーム画像４１（ステップＳ１１０で撮像）及び対象フレーム画像４２（ステップＳ１７１で撮像）に共通する特徴あるパターンを検出する。そして、撮像画像解析部１４は、前フレーム画像４１と対象フレーム画像４２とにおける同一の被写体位置の違いやズームの差異を解析する（ステップＳ１７２）。そして、この解析結果に基づいて撮像画像解析部１４は、対象フレーム画像４２において、新たに撮像された領域を求める。なお、これらの具体的な解析方法についは、前述した通りである。
【００４０】
次に、テキスト抽出部１１は、ステップＳ１７２で求めた新たに撮像した領域においてテキスト抽出処理を実行する（ステップＳ１７３）。
【００４１】
続いて、テキスト抽出部１１は、ステップＳ１７３で新たにテキストを抽出したかどうか判断する（ステップＳ１７４）。
【００４２】
ステップＳ１７４において、テキスト抽出部１１が新たなテキストを抽出しなければ（ステップＳ１７４：Ｎｏ）、表示処理部１５は、ステップＳ１７２で求めた連続した異なるフレーム画像の撮像条件の差異から、前フレーム画像４１で表示済みのテキストを対象フレーム画像４２に表示する際の表示位置やテキストの寸法を設定する。そして、表示処理部１５は、対象フレーム画像４２とともに翻訳したテキストを表示部４０に表示する（ステップＳ１７５）。なお、前フレーム画像４１で表示済みのテキストが対象フレーム画像４２の外にある場合、表示処理部１５はこのテキストは表示しない。
【００４３】
ここで、ステップＳ１７５の処理について例を挙げて説明する。例えば、前フレーム画像４１と対象フレーム画像４２が前述した図２に示した関係にあるとする。また、前フレーム画像４１のテキストの表示位置がｂ１（０，０）であり、テキストの表示エリア４３がＸＹ座標上で２×４の大きさであったとする。
まず、表示処理部１５は、前フレーム画像４１と対象フレーム画像４２とに生じているズームの差を解消するため、前フレーム画像４１のテキストの表示エリア４３を２倍の大きさに拡大して、対象フレーム画像４２における表示エリア４３´のＸＹ座標上の大きさ４×８を設定する。次に、表示処理部１５は、テキストの表示位置ｂ１（０，０）の座標を２倍し、Ｘ座標を２減じた座標ｂ１´（−２，０）を対象フレーム画像４２におけるテキストの表示位置とする。続いて、表示処理部１５は、前フレーム画像４１で表示したテキストを２倍の大きさとして、対象フレーム画像４２の表示位置ｂ１´（−２．０）に拡大したテキストを表示する。
【００４４】
続いて、操作者の入力等に従い、再度フレーム画像を撮像するか否かを判断する（ステップＳ１７６）。
【００４５】
ステップＳ１７６において、フレーム画像を撮像しない場合は（ステップＳ１７６：Ｎｏ）、連続翻訳語表示処理を終了して、図３に示した翻訳語表示処理を終了する。
【００４６】
また、ステップＳ１７６において、さらにフレーム画像を撮像する場合は（ステップＳ１７６：Ｙｅｓ）、ステップをステップＳ１７１に戻して、再度フレーム画像を撮像して上述したステップを繰り返す。
【００４７】
ステップＳ１７４において、テキスト抽出部１１が新たなテキストを抽出した場合、（ステップＳ１７４：Ｙｅｓ）、ステップＳ１３０と同様に、テキスト読取部１２は、新たに抽出したテキストを構成する文字の特徴が、データベース１６に記憶された文字の特徴と合致するか調べる（ステップＳ１７７）。
【００４８】
ステップＳ１７７において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致すると（ステップＳ１７７：Ｙｅｓ）、テキスト読取部１２は、テキストを構成する文字を、特徴が合致したデータベース１６に記憶された文字として認識する。そして、翻訳処理部１３は、認識した文字から構成されたテキストを所定の言語に翻訳し（ステップＳ１７８）、ステップをステップＳ１７５に進める。
なお、このようにステップＳ１７８で新たに翻訳したテキストは、ステップＳ１７５において、表示処理部１５により対象フレーム画像４２内での表示位置や表示寸法が設定され、表示部４０に表示される。
【００４９】
また、ステップＳ１７７において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致しないと（ステップＳ１７７：Ｎｏ）、ステップをステップＳ１７５に進める。なお、このように、翻訳されなかったテキストは、ステップＳ１７５において、表示処理部１５により撮像された状態のまま表示部４０に表示される。
【００５０】
次に、本発明にかかる翻訳機能付きカメラ１が撮像したフレーム画像の概略図を図５及び図６に示し、翻訳したテキストがどのようにフレーム画像に表示されるのか説明する。なお、各図（ａ）〜（ｃ）は、フレーム画像を撮像順に並べたものである。
【００５１】
図５（ａ）に示すように、フレーム画像５０には道路５１を中心にして、その両脇に沿って建てられた建物５２が写しだされている。この建物５２には、ハングルのテキスト５５が記載された看板５３が設置されている。また、図５（ａ）に示したフレーム画像５０を撮像した状態から、図中左側へ撮像中心を移動させつつズームアップしながら撮像したフレーム画像５０が図５（ｂ），（ｃ）である。当然ながら、フレーム画像５０に写し出されたテキスト５５は、撮像を重ねる度にその位置が変化し、寸法も大きく写し出されることとなる。
【００５２】
フレーム画像撮像の際に、翻訳機能付きカメラ１の操作者が日本語への翻訳機能をオンにしておくと、図５に示したテキスト５５は、図６に示すように翻訳後のテキスト５６に変換されて表示される。例えば、図５（ａ）の右側に示した表示エリア５８内に記されたハングル語のテキスト５５を、翻訳後のテキスト５６“ソルロンタン”に書き換える場合を例にあげる。翻訳後のテキスト５６“ソルロンタン”は、図６に示した他の翻訳後のテキスト５６と比べて文字数が多いにもかかわらず、表示エリア５８はそれほど大きくない。そのため、図６に示すように、翻訳後のテキスト５６“ソルロンタン”は他の翻訳後のテキスト５６よりも小さく表示されることとなる。
【００５３】
また、図６（ｂ），（ｃ）に示すように、連続撮像したフレーム画像５０に写し出された同一の被写体の位置の違いやズームの差が生じた場合にも、これらの撮像条件の変化に基づいて、翻訳後のテキストの表示位置及び寸法を決定し、表示することができる。
【００５４】
以上説明したように、本発明に係る翻訳機能付きカメラ及びテキストの表示方法は、連続撮像したフレーム画像において求めた撮像条件の差から、前フレーム画像において表示したテキストの対象フレーム画像における表示位置を特定する。そのため、一旦、フレーム画像から抽出、認識、翻訳したテキストは、その後に撮像したフレーム画像における表示位置、及び表示寸法を設定するだけで、テキストを適切に表示部に表示し続けることができる。そのため、翻訳したテキストをすばやく表示することが可能となり、フレーム画像の表示と翻訳したテキストの表示とのタイミングがずれるという視覚上のジッタを抑制することができる。
【００５５】
また、本発明に係る翻訳機能付きカメラは、フレーム画像に写ったテキストが表示された表示エリアの寸法を特定し、連続撮像したフレーム画像において求めた撮像条件の差から、前フレーム画像において特定した表示エリアの対象フレーム画像における寸法を決定する。そして、翻訳機能付きカメラは、翻訳したテキストを表示エリア内に収まるように表示する。そのため、翻訳したテキストがどこに標記された文字の翻訳であるかが明確になるとともに、翻訳したテキストを重ねて表示することをなくすことができる。
【００５６】
本発明は上述した実施形態に限られず、様々な変形及び応用が可能である。
例えば、上述では前フレーム画像と対象フレーム画像とのズームの差を求めるために、特徴ある２点の距離を算出したが、例えば、前フレーム画像と対象フレーム画像とに共通する特徴あるパターンの領域をそれぞれ求め、このパターンの大きさを比較することでズームの差を求めてもよい。
【００５７】
また、上記実施形態では、翻訳したテキストを表示する場合について述べたが、図７に示すように、日本語による発音テキスト５７をハングルのテキストに併記するようにしてもよい。この場合も、連続撮像したフレーム画像間の撮像条件の差異を求めることで、発音テキスト５７の表示位置および表示寸法を適切に設定することができるとともに、上述した視覚上のジッタも抑制することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る翻訳機能付きカメラの構成図。
【図２】ＸＹ座標を付したフレーム画像の説明図で、（ａ）は前フレーム画像の説明図、（ｂ）は対象フレーム画像の説明図。
【図３】翻訳語表示処理を示したフローチャート。
【図４】連続翻訳語表示処理を示したフローチャート。
【図５】翻訳機能付きカメラの撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【図６】翻訳したテキストを表示した撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【図７】他の実施形態の翻訳機能付きカメラの撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【符号の説明】
【００５９】
１ 翻訳機能付きカメラ
１０ 装置本体
１１ テキスト抽出部
１２ テキスト読取部
１３ 翻訳処理部
１４ 撮像画像解析部
１５ 表示処理部
１６ データベース
２０ カメラ
３０ 入力部
４０ 表示部
４１ 前フレーム画像
４２ 対象フレーム画像
４３ 表示エリア
【技術分野】
【０００１】
本発明は、画像中の文字を他の言語に翻訳して表示する技術に関する。
【背景技術】
【０００２】
外国における自動車の運転や歩行の際、標識や看板に記された文字が理解できずしばしば混乱を来たすことがある。特許文献１にはこのような自動車運転時の混乱を回避するため、通り沿いに設けられた標識や他のオブジェクトに記された文字を翻訳し、翻訳した文字を運転手に知らせる車両ナビゲーションシステムが開示されている。この車両ナビゲーションシステムは、カメラで標識や他のオブジェクトに記された文字を撮像し、撮像した画像から文字を抽出、認識して所定の言語に翻訳する。そして、表示装置に撮像した画像とともに翻訳した文字を表示して、自動車の運転を補助する。
【０００３】
【特許文献１】特開２００３−３２３６９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された車両ナビゲーションシステムは、撮像画像からの文字の抽出、翻訳、及び翻訳した文字の表示位置の設定を、連続撮像したフレーム毎に実行する。そのため、車両ナビゲーションシステムを構成する各装置の負荷が大きく、翻訳した文字を表示するまでに時間がかかる。
【０００５】
本発明は、上記問題点を解決するためになされたものであり、所定のテキストをすばやく表示することができる翻訳機能付きカメラ、及びテキストの表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る翻訳機能付きカメラは、複数のフレーム画像を連続的に撮像する画像撮像手段と、前記画像撮像手段が撮像したフレーム画像から文字を抽出する文字抽出手段と、前記文字抽出手段が抽出した文字を認識する文字認識手段と、前記文字認識手段が認識した文字から構成されたテキストを所定の言語のテキストに翻訳する翻訳手段と、前記フレーム画像に、前記翻訳手段が翻訳したテキストを合成して表示する表示手段と、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像との撮像条件の差を求めるフレーム画像解析手段と、を備え、前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に合成することを特徴とする。
【０００７】
前記文字認識手段は、さらに、前記画像撮像手段が撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定してもよい。
【０００８】
また、前記表示手段は、前記翻訳手段が翻訳したテキストの表示寸法を調整して、前記表示手段が決定した表示エリア内に翻訳したテキストを表示してもよい。
【０００９】
また、前記フレーム画像解析手段は、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像とに共通する特徴あるパターンを検出し、この両フレーム画像において検出したパターンの表示位置の違いから、両フレーム画像における撮像条件の差を求めてもよい。
【００１０】
また、上記目的を達成するため、本発明に係るテキストの表示方法は、複数のフレーム画像を連続的に撮像する撮像工程と、所定のテキストを付加した前記フレーム画像を連続的に表示する表示工程と、前記撮像工程において撮像したフレーム画像とその直前に撮像したフレーム画像とを比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して、該両フレーム画像の撮像条件の差を解析するフレーム画像解析工程と、を備え、 前記表示工程では、前記フレーム画像解析工程において解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に付加することを特徴とする。
【００１１】
また、前記撮像工程で撮像したフレーム画像から文字を抽出する文字抽出工程と、前記文字抽出工程で抽出した文字を認識する文字認識工程と、前記文字認識工程で認識した文字から構成されたテキストを所定の言語に翻訳する翻訳工程と、をさらに備え、前記表示工程で表示するテキストを、前記翻訳工程で翻訳したテキストとしてもよい。
【００１２】
また、前記文字認識工程では、さらに、前記撮像工程で撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、前記表示工程では、前記フレーム画像解析工程で解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定してもよい。
【００１３】
また、前記表示工程では、さらに、前記翻訳工程で翻訳したテキストの表示寸法を調整して、前記表示工程で決定した表示エリア内に翻訳したテキストを表示してもよい。
【発明の効果】
【００１４】
本発明によれば、所定のテキストをすばやく表示することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態に係る翻訳機能付きカメラ、及びテキストの表示方法を図面を参照して説明する。図１に示すように、本発明の実施形態に係る翻訳機能付きカメラ１は、装置本体１０と、カメラ２０と、入力部３０と、表示部４０とを備えている。
【００１６】
また、装置本体１０は、テキスト抽出部１１と、テキスト読取部１２と、翻訳処理部１３と、撮像画像解析部１４と、表示処理部１５と、データベース１６とを備えている。装置本体１０はこのような構成により、カメラ２０が撮像したフレーム画像から文字を抽出、翻訳し、翻訳した文字の表示位置や表示寸法を設定して表示部４０に表示する。以下、装置本体１０を構成する各部を詳細に説明する。
【００１７】
テキスト抽出部１１は、文字（数字、記号、符号等を含む）のフォントを予め記憶しており、カメラ２０が撮像したフレーム画像に写った文字を、パターンマッチングなどの手法により抽出する。
【００１８】
テキスト読取部１２は、抽出した各文字を文字認識技術を用いて文字情報として認識する。ここで文字認識技術とは、例えば、抽出したテキストを構成する文字の特徴と、データベース１６に記憶した文字の特徴（あるいは文字そのもののテンプレート）とが合致するものを探し出し、合致したデータベース１６に記憶された文字として認識する技術をいう。
【００１９】
翻訳処理部１３は、テキスト読取部１２が認識した文字から構成されるテキストを所定の言語に翻訳する。例えば翻訳処理部１３は、多数の日本語の言葉と、その言葉に対応する複数の言語による言葉とを記憶したデータベース１６を検索することで、テキストを所定の言語に翻訳する。
【００２０】
撮像画像解析部１４は、カメラ２０が連続して撮像した異なるフレーム画像間の撮像条件の差異をパターンマッチング法により解析する。ここで撮像条件の差異とは、異なるフレーム画像間の構図やズームの差異を指している。
【００２１】
具体的に撮像画像解析部１４による解析内容について説明すると、まず撮像画像解析部１４は、翻訳処理を施すフレーム画像（以下、対象フレーム画像と記載する）と、この対象フレーム画像の直前に撮影したフレーム画像（以下、前フレーム画像と記載する）とに共通するパターンを見つけ出す、いわゆるパターンマッチング法による解析を実行する。このパターンマッチング法は、例えば、前フレーム画像において特徴あるパターン（例えば、彩度が著しく変化する領域等）を検出し、次に、対象フレーム画像において、前フレーム画像で検出したパターンと合致する領域を見つけ出す画像解析手法である。
【００２２】
そして図２に示すように、撮像画像解析部１４が前フレーム画像４１において特徴あるパターンａ１（４，３）、ｂ１（０，０）を検出し、対象フレーム画像４２においてパターンａ１と合致するパターンａ１´（６，６）、及びパターンｂ１と合致するパターンｂ１´（−２，０）を検出したとする。すると、撮像画像解析部１４は各パターンの座標値から、パターンａ１とパターンｂ１との距離“５”と、パターンａ１´とパターンｂ１´との距離“１０”とを算出する。続いて、撮像画像解析部１４は、算出した距離“５”と“１０”とを比較して、対象フレーム画像４２が、前フレーム画像４１を撮像した状態から２倍にズームアップして撮像した画像であると認識する。なお、図に示したＸ，Ｙ座標は、前フレーム画像４１及び対象フレーム画像４２の撮像中心を原点としている。
【００２３】
また、撮像画像解析部１４は、前フレーム画像４１及び対象フレーム画像４２において、共通して写し出された被写体位置の差を算出する。図２で示した画像を用いて説明すると、まず撮像画像解析部１４は、前フレーム画像４１と対象フレーム画像４２とに生じているズームの差を解消するため、前フレーム画像４１のパターンａ１及びパターンｂ１の座標値をそれぞれ２倍する。次に、撮像画像解析部１４は、乗算後の座標値と、対象フレーム画像４２のパターンａ１´及びパターンｂ１´の座標値とを比較する。すなわち、前フレーム画像４１の各パターンの座標値を２倍した座標であるパターンａ１（８，６）及びパターンｂ１（０，０）と、対象フレーム画像４２のパターンａ１´（６，６）及びパターンｂ１´（−２，０）とを比較すると、パターンａ１´及びパターンｂ１´のＸ座標は、パターンａ１及びパターンｂ１のＸ座標と比べてそれぞれ２小さい。これにより撮像画像解析部１４は、対象フレーム画像４２に映し出された被写体は、前フレーム画像４１に映し出された同一の被写体よりもＸ方向に−２移動した位置にあると認識する。
【００２４】
また、撮像画像解析部１４は、上記で求めた前フレーム画像４１と対象フレーム画像４２とにおける同一の被写体位置の違いやズームの差異に基づいて、対象フレーム画像４２で新たな被写体が写し出された領域を求める。
【００２５】
表示処理部１５は、翻訳したテキストの表示位置や表示寸法を設定し、表示部４０に対象フレーム画像４２とともに翻訳したテキストを表示する。
具体的には、表示処理部１５は、フレーム画像において抽出したテキストの位置及びその表示エリアを特定し、抽出したテキストを翻訳後のテキストに書き換える。その際、翻訳後のテキストが抽出したテキストの表示エリアに収まるように、翻訳後のテキストの寸法を適宜変更し、あるいは改行等の処理を施して表示部４０に表示する。
【００２６】
カメラ２０は、例えば１秒間に数〜数十のフレーム画像を撮像し、撮像毎にフレーム画像を装置本体１０に送信する。カメラ２０は、撮像したテキストの抽出、認識を容易にするため、シャッタスピードが速く、被写界深度が深いものが好ましい。
【００２７】
入力部３０は、操作者が翻訳機能付きカメラ１の所望の動作を実行するための各種スイッチから構成されている。例えば、入力部３０は、カメラ２０で撮像するための撮像スイッチや、翻訳後の言語を選択する言語切替スイッチ等から構成されている。
【００２８】
表示部４０は、例えば翻訳機能付きカメラ１に搭載された液晶ディスプレイであり、カメラ２０が連続的に撮像したフレーム画像をリアルタイムで表示する。また、表示部４０は、翻訳前のテキストを翻訳後のテキストに書き換えて表示する。
【００２９】
次に、本発明に係る翻訳機能付きカメラ１による撮像したテキストの翻訳語表示処理について、図３及び図４に示したフローチャートを参照して説明する。なお、説明を簡略化するため、撮像したフレーム画像には常にテキストが含まれているものとする。
【００３０】
まず、カメラ２０は、フレーム画像を撮像し、撮像したフレーム画像を装置本体１０に送信する（ステップＳ１１０）。
【００３１】
次に、テキスト抽出部１１は、撮像したフレーム画像に写ったテキストを抽出する（ステップＳ１２０）。なお、テキストのフレーム画像からの抽出方法については前述した通りである。
【００３２】
続いて、テキスト読取部１２は、ステップＳ１２０で抽出したテキストを構成する文字の特徴が、データベース１６に記憶された文字の特徴と合致するか調べる（ステップＳ１３０）。
【００３３】
ステップＳ１３０において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致すると（ステップＳ１３０：Ｙｅｓ）、テキスト読取部１２は、テキストを構成する文字を、特徴が合致したデータベース１６に記憶された文字として認識する（ステップＳ１４０）。また、テキスト読取部１２は、このようにして認識した文字が構成するテキストの表示エリアの寸法を求める。
【００３４】
次に、翻訳処理部１３は、テキスト読取部１２が認識した文字から構成されたテキストを所定の言語に翻訳する（ステップＳ１５０）。例えば翻訳処理部１３は、多数の日本語の言葉と、その言葉に対応する複数の言語による言葉とを記憶したデータベース１６を検索することで、テキストを所定の言語に翻訳する。
【００３５】
次に、表示処理部１５は、翻訳したテキストの表示位置や表示寸法を設定し、表示部４０にフレーム画像とともに翻訳したテキストを表示する（ステップＳ１６０）。なお前述したように、表示処理部１５は、翻訳したテキストが翻訳前のテキストの表示エリアに収まるように表示部４０に表示する。
【００３６】
ステップＳ１３０において、抽出したテキストを構成する文字の特徴が、データベース１６に記憶した文字の特徴と合致しないと（ステップＳ１３０：Ｎｏ）、表示処理部１５は、撮像したフレーム画像を表示部４０にそのまま表示する（ステップＳ１８０）。そして、ステップをステップＳ１７０に進める。
【００３７】
なお、上述までのステップは、カメラ２０により最初のフレーム画像を撮像した際の翻訳語表示処理のステップを示している。ところで、カメラ２０は前述したように、１秒間に数〜数十のフレーム画像を撮像する。そこで、このようなフレーム画像の連続的な撮影とその翻訳語表示処理については、ステップＳ１７０において実施する。以下、ステップＳ１７０については図４に示したフローチャートを参照して説明する。
【００３８】
まず、ステップＳ１１０と同様に、カメラ２０はフレーム画像を撮像し、撮像したフレーム画像を装置本体に送信する（ステップＳ１７１）。
【００３９】
次に、撮像画像解析部１４はパターンマッチング法を実行して、前フレーム画像４１（ステップＳ１１０で撮像）及び対象フレーム画像４２（ステップＳ１７１で撮像）に共通する特徴あるパターンを検出する。そして、撮像画像解析部１４は、前フレーム画像４１と対象フレーム画像４２とにおける同一の被写体位置の違いやズームの差異を解析する（ステップＳ１７２）。そして、この解析結果に基づいて撮像画像解析部１４は、対象フレーム画像４２において、新たに撮像された領域を求める。なお、これらの具体的な解析方法についは、前述した通りである。
【００４０】
次に、テキスト抽出部１１は、ステップＳ１７２で求めた新たに撮像した領域においてテキスト抽出処理を実行する（ステップＳ１７３）。
【００４１】
続いて、テキスト抽出部１１は、ステップＳ１７３で新たにテキストを抽出したかどうか判断する（ステップＳ１７４）。
【００４２】
ステップＳ１７４において、テキスト抽出部１１が新たなテキストを抽出しなければ（ステップＳ１７４：Ｎｏ）、表示処理部１５は、ステップＳ１７２で求めた連続した異なるフレーム画像の撮像条件の差異から、前フレーム画像４１で表示済みのテキストを対象フレーム画像４２に表示する際の表示位置やテキストの寸法を設定する。そして、表示処理部１５は、対象フレーム画像４２とともに翻訳したテキストを表示部４０に表示する（ステップＳ１７５）。なお、前フレーム画像４１で表示済みのテキストが対象フレーム画像４２の外にある場合、表示処理部１５はこのテキストは表示しない。
【００４３】
ここで、ステップＳ１７５の処理について例を挙げて説明する。例えば、前フレーム画像４１と対象フレーム画像４２が前述した図２に示した関係にあるとする。また、前フレーム画像４１のテキストの表示位置がｂ１（０，０）であり、テキストの表示エリア４３がＸＹ座標上で２×４の大きさであったとする。
まず、表示処理部１５は、前フレーム画像４１と対象フレーム画像４２とに生じているズームの差を解消するため、前フレーム画像４１のテキストの表示エリア４３を２倍の大きさに拡大して、対象フレーム画像４２における表示エリア４３´のＸＹ座標上の大きさ４×８を設定する。次に、表示処理部１５は、テキストの表示位置ｂ１（０，０）の座標を２倍し、Ｘ座標を２減じた座標ｂ１´（−２，０）を対象フレーム画像４２におけるテキストの表示位置とする。続いて、表示処理部１５は、前フレーム画像４１で表示したテキストを２倍の大きさとして、対象フレーム画像４２の表示位置ｂ１´（−２．０）に拡大したテキストを表示する。
【００４４】
続いて、操作者の入力等に従い、再度フレーム画像を撮像するか否かを判断する（ステップＳ１７６）。
【００４５】
ステップＳ１７６において、フレーム画像を撮像しない場合は（ステップＳ１７６：Ｎｏ）、連続翻訳語表示処理を終了して、図３に示した翻訳語表示処理を終了する。
【００４６】
また、ステップＳ１７６において、さらにフレーム画像を撮像する場合は（ステップＳ１７６：Ｙｅｓ）、ステップをステップＳ１７１に戻して、再度フレーム画像を撮像して上述したステップを繰り返す。
【００４７】
ステップＳ１７４において、テキスト抽出部１１が新たなテキストを抽出した場合、（ステップＳ１７４：Ｙｅｓ）、ステップＳ１３０と同様に、テキスト読取部１２は、新たに抽出したテキストを構成する文字の特徴が、データベース１６に記憶された文字の特徴と合致するか調べる（ステップＳ１７７）。
【００４８】
ステップＳ１７７において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致すると（ステップＳ１７７：Ｙｅｓ）、テキスト読取部１２は、テキストを構成する文字を、特徴が合致したデータベース１６に記憶された文字として認識する。そして、翻訳処理部１３は、認識した文字から構成されたテキストを所定の言語に翻訳し（ステップＳ１７８）、ステップをステップＳ１７５に進める。
なお、このようにステップＳ１７８で新たに翻訳したテキストは、ステップＳ１７５において、表示処理部１５により対象フレーム画像４２内での表示位置や表示寸法が設定され、表示部４０に表示される。
【００４９】
また、ステップＳ１７７において、テキストを構成する文字の特徴がデータベース１６に記憶されている文字の特徴と合致しないと（ステップＳ１７７：Ｎｏ）、ステップをステップＳ１７５に進める。なお、このように、翻訳されなかったテキストは、ステップＳ１７５において、表示処理部１５により撮像された状態のまま表示部４０に表示される。
【００５０】
次に、本発明にかかる翻訳機能付きカメラ１が撮像したフレーム画像の概略図を図５及び図６に示し、翻訳したテキストがどのようにフレーム画像に表示されるのか説明する。なお、各図（ａ）〜（ｃ）は、フレーム画像を撮像順に並べたものである。
【００５１】
図５（ａ）に示すように、フレーム画像５０には道路５１を中心にして、その両脇に沿って建てられた建物５２が写しだされている。この建物５２には、ハングルのテキスト５５が記載された看板５３が設置されている。また、図５（ａ）に示したフレーム画像５０を撮像した状態から、図中左側へ撮像中心を移動させつつズームアップしながら撮像したフレーム画像５０が図５（ｂ），（ｃ）である。当然ながら、フレーム画像５０に写し出されたテキスト５５は、撮像を重ねる度にその位置が変化し、寸法も大きく写し出されることとなる。
【００５２】
フレーム画像撮像の際に、翻訳機能付きカメラ１の操作者が日本語への翻訳機能をオンにしておくと、図５に示したテキスト５５は、図６に示すように翻訳後のテキスト５６に変換されて表示される。例えば、図５（ａ）の右側に示した表示エリア５８内に記されたハングル語のテキスト５５を、翻訳後のテキスト５６“ソルロンタン”に書き換える場合を例にあげる。翻訳後のテキスト５６“ソルロンタン”は、図６に示した他の翻訳後のテキスト５６と比べて文字数が多いにもかかわらず、表示エリア５８はそれほど大きくない。そのため、図６に示すように、翻訳後のテキスト５６“ソルロンタン”は他の翻訳後のテキスト５６よりも小さく表示されることとなる。
【００５３】
また、図６（ｂ），（ｃ）に示すように、連続撮像したフレーム画像５０に写し出された同一の被写体の位置の違いやズームの差が生じた場合にも、これらの撮像条件の変化に基づいて、翻訳後のテキストの表示位置及び寸法を決定し、表示することができる。
【００５４】
以上説明したように、本発明に係る翻訳機能付きカメラ及びテキストの表示方法は、連続撮像したフレーム画像において求めた撮像条件の差から、前フレーム画像において表示したテキストの対象フレーム画像における表示位置を特定する。そのため、一旦、フレーム画像から抽出、認識、翻訳したテキストは、その後に撮像したフレーム画像における表示位置、及び表示寸法を設定するだけで、テキストを適切に表示部に表示し続けることができる。そのため、翻訳したテキストをすばやく表示することが可能となり、フレーム画像の表示と翻訳したテキストの表示とのタイミングがずれるという視覚上のジッタを抑制することができる。
【００５５】
また、本発明に係る翻訳機能付きカメラは、フレーム画像に写ったテキストが表示された表示エリアの寸法を特定し、連続撮像したフレーム画像において求めた撮像条件の差から、前フレーム画像において特定した表示エリアの対象フレーム画像における寸法を決定する。そして、翻訳機能付きカメラは、翻訳したテキストを表示エリア内に収まるように表示する。そのため、翻訳したテキストがどこに標記された文字の翻訳であるかが明確になるとともに、翻訳したテキストを重ねて表示することをなくすことができる。
【００５６】
本発明は上述した実施形態に限られず、様々な変形及び応用が可能である。
例えば、上述では前フレーム画像と対象フレーム画像とのズームの差を求めるために、特徴ある２点の距離を算出したが、例えば、前フレーム画像と対象フレーム画像とに共通する特徴あるパターンの領域をそれぞれ求め、このパターンの大きさを比較することでズームの差を求めてもよい。
【００５７】
また、上記実施形態では、翻訳したテキストを表示する場合について述べたが、図７に示すように、日本語による発音テキスト５７をハングルのテキストに併記するようにしてもよい。この場合も、連続撮像したフレーム画像間の撮像条件の差異を求めることで、発音テキスト５７の表示位置および表示寸法を適切に設定することができるとともに、上述した視覚上のジッタも抑制することができる。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る翻訳機能付きカメラの構成図。
【図２】ＸＹ座標を付したフレーム画像の説明図で、（ａ）は前フレーム画像の説明図、（ｂ）は対象フレーム画像の説明図。
【図３】翻訳語表示処理を示したフローチャート。
【図４】連続翻訳語表示処理を示したフローチャート。
【図５】翻訳機能付きカメラの撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【図６】翻訳したテキストを表示した撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【図７】他の実施形態の翻訳機能付きカメラの撮像画像を撮像順に（ａ）〜（ｃ）で並べた概略図。
【符号の説明】
【００５９】
１ 翻訳機能付きカメラ
１０ 装置本体
１１ テキスト抽出部
１２ テキスト読取部
１３ 翻訳処理部
１４ 撮像画像解析部
１５ 表示処理部
１６ データベース
２０ カメラ
３０ 入力部
４０ 表示部
４１ 前フレーム画像
４２ 対象フレーム画像
４３ 表示エリア
【特許請求の範囲】
【請求項１】
複数のフレーム画像を連続的に撮像する画像撮像手段と、
前記画像撮像手段が撮像したフレーム画像から文字を抽出する文字抽出手段と、
前記文字抽出手段が抽出した文字を認識する文字認識手段と、
前記文字認識手段が認識した文字から構成されたテキストを所定の言語のテキストに翻訳する翻訳手段と、
前記フレーム画像に、前記翻訳手段が翻訳したテキストを合成して表示する表示手段と、
前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像との撮像条件の差を求めるフレーム画像解析手段と、を備え、
前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に合成することを特徴とする翻訳機能付きカメラ。
【請求項２】
前記文字認識手段は、さらに、前記画像撮像手段が撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、
前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定することを特徴とする請求項１に記載の翻訳機能付きカメラ。
【請求項３】
前記表示手段は、前記翻訳手段が翻訳したテキストの表示寸法を調整して、前記表示手段が決定した表示エリア内に翻訳したテキストを表示することを特徴とする請求項２に記載の翻訳機能付きカメラ。
【請求項４】
前記フレーム画像解析手段は、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像とに共通する特徴あるパターンを検出し、この両フレーム画像において検出したパターンの表示位置の違いから、両フレーム画像における撮像条件の差を求めることを特徴とする請求項１乃至３のいずれか１項に記載の翻訳機能付きカメラ。
【請求項５】
複数のフレーム画像を連続的に撮像する撮像工程と、
所定のテキストを付加した前記フレーム画像を連続的に表示する表示工程と、
前記撮像工程において撮像したフレーム画像とその直前に撮像したフレーム画像とを比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して、該両フレーム画像の撮像条件の差を解析するフレーム画像解析工程と、を備え、
前記表示工程では、前記フレーム画像解析工程において解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に付加することを特徴とするテキストの表示方法。
【請求項６】
前記撮像工程で撮像したフレーム画像から文字を抽出する文字抽出工程と、
前記文字抽出工程で抽出した文字を認識する文字認識工程と、
前記文字認識工程で認識した文字から構成されたテキストを所定の言語に翻訳する翻訳工程と、をさらに備え、
前記表示工程で表示するテキストを、前記翻訳工程で翻訳したテキストとすることを特徴とする請求項５に記載のテキストの表示方法。
【請求項７】
前記文字認識工程では、さらに、前記撮像工程で撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、
前記表示工程では、前記フレーム画像解析工程で解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定することを特徴とする請求項６に記載のテキストの表示方法。
【請求項８】
前記表示工程では、さらに、前記翻訳工程で翻訳したテキストの表示寸法を調整して、前記表示工程で決定した表示エリア内に翻訳したテキストを表示することを特徴とする請求項７に記載のテキストの表示方法。
【請求項１】
複数のフレーム画像を連続的に撮像する画像撮像手段と、
前記画像撮像手段が撮像したフレーム画像から文字を抽出する文字抽出手段と、
前記文字抽出手段が抽出した文字を認識する文字認識手段と、
前記文字認識手段が認識した文字から構成されたテキストを所定の言語のテキストに翻訳する翻訳手段と、
前記フレーム画像に、前記翻訳手段が翻訳したテキストを合成して表示する表示手段と、
前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像との撮像条件の差を求めるフレーム画像解析手段と、を備え、
前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に合成することを特徴とする翻訳機能付きカメラ。
【請求項２】
前記文字認識手段は、さらに、前記画像撮像手段が撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、
前記表示手段は、前記フレーム画像解析手段が解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定することを特徴とする請求項１に記載の翻訳機能付きカメラ。
【請求項３】
前記表示手段は、前記翻訳手段が翻訳したテキストの表示寸法を調整して、前記表示手段が決定した表示エリア内に翻訳したテキストを表示することを特徴とする請求項２に記載の翻訳機能付きカメラ。
【請求項４】
前記フレーム画像解析手段は、前記画像撮像手段が撮像したフレーム画像とその直前に撮像したフレーム画像とに共通する特徴あるパターンを検出し、この両フレーム画像において検出したパターンの表示位置の違いから、両フレーム画像における撮像条件の差を求めることを特徴とする請求項１乃至３のいずれか１項に記載の翻訳機能付きカメラ。
【請求項５】
複数のフレーム画像を連続的に撮像する撮像工程と、
所定のテキストを付加した前記フレーム画像を連続的に表示する表示工程と、
前記撮像工程において撮像したフレーム画像とその直前に撮像したフレーム画像とを比較して、両フレーム画像に写し出された同一の被写体の位置の違い及びズームの差を算出して、該両フレーム画像の撮像条件の差を解析するフレーム画像解析工程と、を備え、
前記表示工程では、前記フレーム画像解析工程において解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像で表示した翻訳したテキストの位置とから、その直後に撮像したフレーム画像における翻訳したテキストの表示位置を特定し、該翻訳したテキストを前記直後に撮像したフレーム画像に付加することを特徴とするテキストの表示方法。
【請求項６】
前記撮像工程で撮像したフレーム画像から文字を抽出する文字抽出工程と、
前記文字抽出工程で抽出した文字を認識する文字認識工程と、
前記文字認識工程で認識した文字から構成されたテキストを所定の言語に翻訳する翻訳工程と、をさらに備え、
前記表示工程で表示するテキストを、前記翻訳工程で翻訳したテキストとすることを特徴とする請求項５に記載のテキストの表示方法。
【請求項７】
前記文字認識工程では、さらに、前記撮像工程で撮像したフレーム画像に写ったテキストの表示エリアの寸法を特定し、
前記表示工程では、前記フレーム画像解析工程で解析した両フレーム画像の撮像条件の差と、前記直前に撮像したフレーム画像において特定した表示エリアの寸法とから、その直後に撮像したフレーム画像における翻訳したテキストの表示エリアの寸法を決定することを特徴とする請求項６に記載のテキストの表示方法。
【請求項８】
前記表示工程では、さらに、前記翻訳工程で翻訳したテキストの表示寸法を調整して、前記表示工程で決定した表示エリア内に翻訳したテキストを表示することを特徴とする請求項７に記載のテキストの表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１０３６９４（Ｐ２０１０−１０３６９４Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７２１５２（Ｐ２００８−２７２１５２）
【出願日】平成２０年１０月２２日（２００８．１０．２２）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２２日（２００８．１０．２２）
【出願人】（３９６００４９８１）セイコープレシジョン株式会社 (481)
【Ｆターム（参考）】
[ Back to top ]