説明

情報変換装置および情報変換方法

【課題】 撮像された画像データに含まれる情報伝達データを意味が共通していて伝達形式が異なる他のデータに効率的に変換する情報変換装置および情報変換方法を提供する。
【解決手段】 携帯ゲーム機100の抽出部415は,撮像されている画像データから文字エリアを抽出し,認識部420は,文字エリアから特定言語の文字列(情報伝達データ)を認識する。翻訳部430は,認識された特定言語の文字列と,その文字列と意味が共通していて伝達形式が異なる他の言語の文字列データとが対応付けられてフラッシュメモリ160に記憶されていない場合のみ,翻訳プログラムを用いて特定言語の文字列を他の言語の文字列(他のデータ)に翻訳する。特定言語の文字列がフラッシュメモリ160に記憶されているとき,その文字列は翻訳されないので,携帯ゲーム100の処理速度を向上させ,消費電力を低減させることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,撮像された画像データのうちの所定の情報を変換する情報変換装置および情報変換方法に関する。特に,撮像された画像データに含まれる特定言語の文字列をその文字列と意味が共通していて伝達形式が異なる他の言語の文字列に変換する情報変換装置および情報変換方法に関する。
【背景技術】
【0002】
従来から,ユーザがカメラを用いて被写体を撮像すると,撮像された被写体の画像データに文字列が含まれているか否かを認識し,画像データに文字列が含まれていると認識された場合,その文字列を翻訳し,翻訳した文字列を画像データとともにディスプレイに表示する装置が提案されている(たとえば,特許文献1を参照。)。
【0003】
【特許文献1】特開2000−207401号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし,従来の装置では,ユーザが画像データから認識された文字列の翻訳を希望する場合のみ文字列が翻訳されてディスプレイに表示される。換言すれば,ユーザが文字列の翻訳を希望しない場合,文字列は翻訳されない。したがって,従来の装置では,ユーザが常時撮像している被写体の画像データ中の文字列を即座に翻訳し,翻訳された文字列を画像データに重ね合わせてリアルタイムに表示する場合については提案されていない。
【0005】
また,従来の装置では,画像データから認識された文字列が以前に翻訳された文字列であっても,以前に翻訳された文字列を使用することなく,再度翻訳する処理を繰り返していた。
【0006】
そこで,本発明は,このような問題に鑑みてなされたもので,その目的とするところは,撮像された画像データに含まれる情報伝達データを意味が共通していて伝達形式が異なる他のデータに効率的に変換する情報変換装置および情報変換方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題の少なくとも一つを解決するために,本発明のある観点によれば,被写体を撮像する撮像部と,その撮像されている被写体の画像データから情報を伝達するデータを認識する認識部と,データが記憶された記憶部と,情報伝達データとその情報伝達データと意味が共通していて伝達形式が異なる他のデータとを対応付けて複数記憶している辞書ファイルと,認識部により認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて上記記憶部に記憶されているか否かを判定する判定部と,その判定部により,認識された情報伝達データとその認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータとが対応付けられて記憶部に記憶されていないと判定された場合のみ,辞書ファイルを用いて認識された情報伝達データを他のデータに変換する情報変換部と,を備える情報変換装置が提供される。
【0008】
これによれば,撮像されている画像データに含まれる情報伝達データとその情報伝達データと意味が共通していて伝達形式が異なる他のデータとが記憶部に記憶されていない場合のみ,認識された情報伝達データが他のデータに変換される。換言すれば,撮像されている画像データに含まれる情報伝達データとその情報伝達データに対応する他のデータとが記憶部に記憶されている場合,認識された情報伝達データを他のデータに変換する処理は省略される(行われない)。
【0009】
この結果,この情報変換装置が各処理を実行する際の処理速度を向上させることができる。また,本発明の情報変換装置により消費される消費電力を低減することができる。
【0010】
ここで,画像データに含まれる情報伝達データは,ユーザに情報を伝達することができるデータであればよい。情報伝達データとしては,たとえば,日本語,英語等,特定言語の文字列や,特定の情報を伝えるマーク,シンボル等が挙げられる。
【0011】
情報伝達データが特定言語の文字列である場合,認識部は,撮像されている画像データの内から特定言語の文字列を認識する。また,判定部は,認識された特定言語の文字列を含む文字列が,上記他の言語の文字列に対応付けられて記憶部に記憶されているか否かを判定する。判定部により,認識された特定言語の文字列を含む文字列が,他の言語の文字列に対応付けて記憶部に記憶されていないと判定された場合のみ,情報変換部は,辞書ファイルに基づいて認識された特定言語の文字列を他の言語の文字列に翻訳する。
【0012】
また,情報変換装置は,認識された情報伝達データと情報変換部により変換された他のデータとを対応づけて記憶部に記憶するメモリ制御部を有していてもよい。
【0013】
これにより,記憶部に記憶されたデータを用いて,情報伝達データを上記他のデータに変換する頻度をより低減させることができる。この結果,情報変換装置の処理速度の向上および情報変換装置により消費される消費電力の低減を図ることができる。
【0014】
さらに,情報変換装置は,判定部により,認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて記憶部に記憶されていると判定された場合,情報伝達データに代えて記憶部に記憶されている他のデータを出力する出力部を備えていてもよい。
【0015】
また,情報変換装置は,判定部により,認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて記憶部に記憶されていないと判定された場合,情報伝達データに代えて情報変換部により変換された他のデータを出力する出力部を備えていてもよい。
【0016】
これによれば,情報伝達データに代えて,画像データに含まれる情報伝達データと意味が共通していて伝達形式が異なる他のデータが出力される。これにより,ユーザは,情報伝達データの意味を簡単かつ的確に認識することができる。
【0017】
このとき,出力部は,認識された特定言語の文字列を含む文字列が,他の言語の文字列に対応付けられて記憶部に記憶されていると判定された場合,その対応付けて記憶されている他の言語の文字列のうち,認識された特定言語の文字列に対応する部分の文字列を出力するようにしてもよい。
【0018】
また,出力部は,認識された特定言語の文字列を含む文字列が,他の言語の文字列に対応付けられて記憶部に複数記憶されていると判定された場合,記憶部に最も新しく記憶された特定言語の文字列に対応付けて記憶されている他の言語の文字列のうち,認識された特定言語の文字列に対応する部分の文字列を出力するようにしてもよい。
【0019】
また,認識部は,撮像部により撮像されている画像データから情報を伝達することができる最小単位の文字列毎に特定言語の文字列を認識するようにしてもよい。
【0020】
なお,出力部は,撮像部により撮像されている画像データを表示するとともに上記他のデータを表示する表示部と,情報変換部により変換(翻訳)された他のデータまたは記憶部に記憶されている他のデータのいずれかを音声により出力する音声出力部と,を有していてもよい。
【0021】
これにより,ユーザは,ディスプレイ等に表示された変換(翻訳)後のデータやスピーカ等から出力された変換後のデータの音声等を視聴することにより,情報伝達データの意味をより簡便に認識することができる。
【0022】
また,認識部は,撮像されている画像データから情報伝達データを認識し,その認識された情報伝達データの位置を特定する動作を繰り返し,判定部は,認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて記憶部に記憶されているか否かを判定する動作を繰り返す。
【0023】
そして,情報変換部は,判定部により,認識部により認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けて記憶部に記憶されていないと判定された場合のみ,辞書ファイルを用いて認識された情報伝達データを上記他のデータに変換する動作を繰り返し,メモリ制御部は,認識部により認識された情報伝達データと,情報変換部により変換された他のデータと,認識部により特定された情報伝達データの位置と,を情報伝達データに対応付けて記憶部に記憶する動作を繰り返すようにしてもよい。
【0024】
さらに,情報変換装置は,記憶部に記憶された画像データに含まれる情報伝達データの位置に,その情報伝達データに代えて情報変換部により変換された他のデータまたは記憶部に記憶されている他のデータのいずれかを合成する動作を繰り返す合成部と,その合成部により合成された他のデータを含む画像データを出力する動作を繰り返す出力部とを備えていてもよい。
【0025】
これにより,撮像部により撮像されている画像データに含まれる情報伝達データと意味が共通していて伝達形式が異なる他のデータが,画像データの情報伝達データの位置に(その情報伝達データに代えて)リアルタイムに出力される。この結果,変換されたデータを含んだ画像が,あたかも撮像されているかのようにその画像をリアルタイムに表示することができる。
【0026】
また,メモリ制御部は,記憶部に記憶されているデータのうち,いままで,出力部により出力された頻度と記憶部に記憶されている期間とに基づいて,今後,将来的に出力部により出力される確率が最も低いデータから消去するキャッシュメモリから構成されていてもよい。これにより,この情報変換装置の処理速度をさらに向上させることができる。
【0027】
また,撮像部は,レリーズするための所定の操作を必要とすることなく,電源がオフされるまで,被写体を撮像し続ける。これによれば,ユーザは,煩雑な情報変換装置の操作から解放されつつ,より容易に情報変換装置を作動させることができる。
【0028】
また,本発明の他の観点によれば,データを記憶部に記憶し,被写体を撮像部により撮像し,撮像されている被写体の画像データから情報を伝達するデータを認識し,その認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けて記憶部に記憶されているか否かを判定する。判定の結果,その認識された情報伝達データと,その認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けて記憶部に記憶されていないと判定された場合のみ,情報伝達データとその情報伝達データと意味が共通していて伝達形式が異なる他の情報伝達データとを対応づけて複数記憶している辞書ファイルを用いて,認識部により認識された情報伝達データを上記他のデータに変換し,それらの認識された情報伝達データと変換された他のデータとを対応づけて記憶部に記憶する情報変換方法が提供される。
【0029】
これによれば,撮像されている画像データに含まれる情報伝達データとその情報伝達データに対応する他のデータとが記憶部に記憶されている場合,認識された情報伝達データを他のデータに変換する処理は行われない。この結果,各処理を実行する際に情報変換装置により消費される消費電力を低減することができるとともに,各処理を実行する際の処理速度を向上させることができる。
【発明の効果】
【0030】
以上説明したように,本発明によれば,消費電力の低減および処理速度の向上を考慮した情報変換装置および情報変換方法を提供することができる。
【発明を実施するための最良の形態】
【0031】
以下に添付図面を参照しながら,本発明の好適な実施形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0032】
まず,本発明のある実施形態にかかる携帯ゲーム機について,図1および図2を参照しながら概略を説明する。携帯ゲーム機100は,情報変換装置の一例である。携帯ゲーム機100には,電源ボタン105,ディスプレイ110,第1スロット115,第2スロット120,レリーズボタン125,英語選択ボタン130,日本語選択ボタン135およびスピーカ140が設けられている。
【0033】
電源ボタン105は,携帯ゲーム機100の電源をオンまたはオフするときに操作される。ディスプレイ110には,ユーザが実行するゲームやカメラにより撮像された映像が表示される。
【0034】
図2に示したように,第1スロット115および第2スロット120には,UMD(Universal Media Disc)205およびカメラ210がそれぞれ着脱可能に装着される。UMD205には,日本語を英語に変換する翻訳プログラム,および/または,英語を日本語に変換する翻訳プログラムが格納されている。UMD205は,直径60mm程度の超小型光ディスクであり、容量1.8GB程度のデジタルデータを保持できる。これにより,翻訳プログラムが格納された辞書ファイルの供給や,ミュージッククリップなどの音楽コンテンツ、映画やスポーツなどの広範なデジタルコンテンツの供給が可能になる。
【0035】
カメラ210は,風景等の被写体を撮像する。カメラ210は,内蔵されていてもよい。カメラ210は,被写体を撮像する撮像部に相当する。
【0036】
レリーズボタン125は,カメラ210が捉えた映像(動画像)を静止画像として記録するためにユーザにより操作される。英語選択ボタン130および日本語選択ボタン135は,ディスプレイ110に表示される言語を選択するためにユーザにより操作される。たとえば,ユーザが英語選択ボタン130を押すと,ディスプレイ110に表示される言語として英語が選択される。また,ユーザが日本語選択ボタン135を押すと,ディスプレイ110に表示される言語として日本語が選択される。また,スピーカ140は,音声を出力するために用いられる。
【0037】
通常の状態では,携帯ゲーム機100は,ゲームを実行する機器として機能するようになっている。すなわち,ユーザが電源ボタン105を押し,右側の略中央に設けられた4つのボタンをそれぞれ操作すると,携帯ゲーム機100は,これに応答してユーザに所定のゲームを実行させるための所定のプログラムを制御するようになっている。
【0038】
一方,カメラ210が第2スロット120に装着されると,携帯ゲーム機100は,ビデオカメラとして機能することができる。すなわち,カメラ210が捉えた映像が,ディスプレイ110に映し出され,その映像を録画することができる。この場合,右側の略中央に設けられた4つのボタンのうち,円マークのボタンがレリーズボタン125として機能する。
【0039】
さらに,UMD205が第1スロット115に装着されると,携帯ゲーム機100は,カメラ210により撮像されている画像の文字を翻訳する翻訳機として機能することができる。具体的には,携帯ゲーム機100は,画像に含まれる目視可能な文字情報(文字列)を,これらが伝達する情報と意味が共通していて(同じであって)伝達形式が異なる他の言語(日本語選択ボタン135がユーザにより押された場合には日本語)に翻訳し,翻訳された文字情報をカメラ210が捉えた画像にリアルタイムに重ね合わせてディスプレイ110に表示する。このようにして,携帯ゲーム機100は,撮像機能付き翻訳機として機能するようになっている。
【0040】
次に,携帯ゲーム機100の内部構成を,図3を参照しながら詳細に説明する。携帯ゲーム機100は,電源スイッチ105a,ディスプレイ110,レリーズスイッチ125a,英語選択スイッチ130a,日本語選択スイッチ135a,スピーカ140,インタフェース145,CPU150,SRAM155(Static Random Access Memory),フラッシュメモリ160(Flash EPROM(EPROM:Erasable Programmable Read Only Memory)),画像処理回路165および外部インタフェース170から構成されている。
【0041】
CPU150には,電源スイッチ105a,レリーズスイッチ125a,英語選択スイッチ130a,日本語選択スイッチ135a,インタフェース145および画像処理回路165が接続されていて,これらから信号を入力するようになっている。
【0042】
電源スイッチ105a,レリーズスイッチ125a,英語選択スイッチ130aおよび日本語選択スイッチ135aは,図1に示した電源ボタン105,レリーズボタン125,英語選択ボタン130および日本語選択ボタン135にそれぞれ対応していて,これらのボタンがユーザによりそれぞれ操作されると,これに伴って各スイッチがオンまたはオフするようになっている。
【0043】
インタフェース145には,UMD205が接続されていて,UMD205のインタフェースを介してUMD205とCPU150との間でデータをやり取りするようになっている。
【0044】
画像処理回路165には,カメラ210が接続されている。カメラ210は,レンズ等の光学系210aとCCDイメージセンサ210bとを備えている。カメラ210は,レンズ等の光学系210aから入射された光をCCD(Charge Coupled Device)210bにて光電変換し,撮像信号として出力する。
【0045】
画像処理回路165は,A/Dコンバータ165a,信号処理回路165bおよび圧縮回路165cから構成されている。画像処理回路165は,カメラ210から出力された撮像信号をA/Dコンバータ165aにてデジタル信号に変換し,信号処理回路165bにて所定の信号処理を行い,圧縮回路165cにて圧縮してCPU150に出力するようになっている。
【0046】
また,CPU150には,SRAM155およびフラッシュメモリ160が接続されていて,これらに記憶されたデータを入出力するようになっている。フラッシュメモリ160には,外部インタフェース170が接続されていて,図示しない外部記憶装置とデータをやり取りするようになっている。フラッシュメモリ160は,キャッシュメモリの一例である。フラッシュメモリ160の一例としては,NAND型のフラッシュメモリ等の不揮発性の半導体メモリが挙げられる。
【0047】
また,CPU150には,ディスプレイ110およびスピーカ140が接続されていて,これらに信号を出力するようになっている。
【0048】
次に,携帯ゲーム機100の機能について,図4に示した機能ブロック図を参照しながら詳細に説明する。携帯ゲーム機100は,記憶部405,メモリ制御部410,抽出部415,認識部420,判定部425,翻訳部430,合成部435および出力部440により示した機能ブロックを有している。
【0049】
記憶部405は,SRAM155およびフラッシュメモリ160から構成される記憶領域である。SRAM155は,CPUにて実行される各種のプログラムを記憶している。フラッシュメモリ160は,カメラ210により撮像された画像処理後の画像データ,カメラ210にて撮像された映像に含まれる文字データおよび翻訳された文字データ等を一時的に記憶している。
【0050】
メモリ制御部410は,抽出部415,認識部420,判定部425,翻訳部430および合成部435からの要求に応じて,各機能を実現するためにSRAM155に記憶された各種のプログラムをそれぞれ読み出すようになっている。また,メモリ制御部410は,フラッシュメモリ160へのデータの書き込み(たとえば,カメラ210により撮像された画像データの書き込み)やフラッシュメモリ160からのデータの読み出しを制御する。
【0051】
抽出部415は,カメラ210により撮像された被写体の画像データであって,フラッシュメモリ160に記憶されている画像データをメモリ制御部410を介して入力し,入力した画像データのうち,所定の範囲を文字エリアとして抽出する。
【0052】
たとえば,図5の上部に示したように,抽出部415は,カメラ210により撮像された画像データ(以下,画像1とする。)から文字エリアとして「NEW YORK」および「WASHINGTON」が含まれる領域を切り出し,文字部分の位置,コントラスト,明るさ,文字の大きさ,文字の色,文字の種類等を検出する。たとえば,抽出部415は,文字部分「NEW YORK」の位置を,画像1の座標(X1,Y1),座標(X2,Y2),座標(X3,Y3)および座標(X4,Y4)に特定する。また,抽出部415は,文字部分「WASHINGTON」の位置を,画像1の座標(X5,Y5),座標(X6,Y6),座標(X7,Y7)および座標(X8,Y8)に特定する。
【0053】
認識部420は,図示しない認識エンジンを用いて,抽出部415により抽出された文字エリアから文字(文字列)を認識し,テキストデータ(翻訳前テキストデータ)に変換するようになっている。認識エンジンには、各種の文字のパターンが予め記憶されているので、認識部420は,そのパターンと文字エリアの画素データとを比較し、文字エリア中に文字が含まれているか否かを認識する。たとえば,図5に示したように,認識部420は,文字エリア中に「NEW YORK」および「WASHINGTON」の文字列が含まれていると認識し,これらの情報をテキストデータに変換する。
【0054】
判定部425は,認識部420により認識/変換された翻訳前テキストデータと,その翻訳前テキストデータと意味が共通していて伝達形式が異なる他のデータ(翻訳後テキストデータ)と,が対応付けられてフラッシュメモリ160に記憶されているか否かを判定するようになっている。
【0055】
判定部425が,認識部420により認識された翻訳前テキストデータと翻訳後テキストデータとが対応付けられてフラッシュメモリ160に記憶されていないと判定した場合のみ,翻訳部430は,UMD205に記憶された翻訳プログラムを用いて翻訳前テキストデータを翻訳して,翻訳後テキストデータを生成するようになっている。たとえば,翻訳部430は,「NEW YORK」および「WASHINGTON」を「ニューヨーク」および「ワシントン」にそれぞれ翻訳する。
【0056】
合成部435は,翻訳後テキストデータを画像データの文字エリアの位置に重ね合わせるようになっている。また,出力部440は,ディスプレイ110およびスピーカ140によりデータを出力するようになっている。これにより,翻訳前テキストデータに代えて,翻訳前テキストデータの位置に翻訳後テキストデータを表示した画像データをディスプレイ110に表示させることができる。なお,重ね合わせる翻訳後テキストデータの種類,色,大きさは,翻訳前テキストデータと同じ種類,色,大きさとすることが好ましい。
【0057】
たとえば,図5の下部に示したように,合成部435は,画像データの座標(X1,Y1),座標(X2,Y2),座標(X3,Y3)および座標(X4,Y4)の位置にて特定されるエリアに「ニューヨーク」を重ね合わせ,座標(X5,Y5),座標(X6,Y6),座標(X7,Y7)および座標(X8,Y8)の位置にて特定されるエリアに「ワシントン」を重ね合わせる。これにより,撮像されている画像があたかも翻訳後の文字列にて撮像されているように,翻訳後の文字列を翻訳前の文字列に代えてリアルタイムにディスプレイ110に表示することができる。
【0058】
なお,図6に示したように,メモリ制御部410は,画像データ600とともに,画像データ600中の文字エリアの位置605,翻訳前テキストデータ610および翻訳後テキストデータ615を対応付けてフラッシュメモリ160に記憶する。たとえば,この時点では,メモリ制御部410により,フラッシュメモリ160には,画像1,位置(X1,Y1)〜(X4,Y4),「NEW YORK」および「ニューヨーク」が対応付けられて記憶され,画像1,位置(X5,Y5)〜(X8,Y8),「WASHINGTON」および「ワシントン」が対応付けられて記憶される。
【0059】
また,メモリ制御部410は,新しい画像データ600をフラッシュメモリ160に記憶する際に,フラッシュメモリ160に記憶されたデータのうち,いままでにヒットされた確率(ディスプレイ110に出力された頻度)とキャッシュインされてからの期間とに基づいて,今後,ヒットされる確率の最も低いと予想されるデータから順に消去するようになっている。フラッシュメモリ160からキャッシュアウトされたデータは,外部インタフェース170を介して接続された外部記憶装置に保存されるようになっている。
【0060】
次に,携帯ゲーム機100が,画像を取り込む動作について説明する。図3の画像処理回路165およびCPU150は,図7のフローチャートにより示された画像取込処理ルーチン(プログラム)を所定時間の経過ごと(たとえば,1/30〜1/15秒ごと)に繰り返し実行する。
【0061】
まず,携帯ゲーム機100の電源ボタン105がオンされると,画像処理回路165は,ユーザによるレリーズボタン125の操作を必要とすることなく,直ちに図7のステップ700から処理を開始し,ステップ705に進んでカメラ210にて撮像されている被写体の画像データ(たとえば,図8の画像データ600)を入力してステップ710に進み,画像処理した後,ステップ715に進む。次に,CPU150は,ステップ715にて画像処理後の画像データをフラッシュメモリ160に記憶し,ステップ795に進んで本ルーチンの処理を一旦終了する。
【0062】
次に,携帯ゲーム機100が,画像データ中の文字を翻訳/合成する動作について説明する。CPU150は,図9のフローチャートにより示された文字翻訳/合成処理ルーチン(プログラム)を所定時間の経過ごとに繰り返し実行する。
【0063】
まず,CPU150は,ステップ900から処理を開始し,ステップ905に進んでフラッシュメモリ160に記憶された画像データ600から文字エリアを抽出するとともに,文字エリアの位置を検出し,ステップ910に進む。
【0064】
次に,CPU150は,ステップ910にて文字エリアに含まれる文字を認識し,認識された文字をテキストデータ(翻訳前テキストデータ610)に変換してステップ915に進む。次いで,CPU150は,ステップ915にて翻訳前テキストデータ610と翻訳後テキストデータ615とが対応付けられてフラッシュメモリ160に記憶されているか否かを判定する。
【0065】
翻訳前テキストデータ610と翻訳後テキストデータ615とが,フラッシュメモリ160に記憶されていると判定されたとき,CPU150は,ステップ915にて「Yes」と判定し,ステップ920に進んで,抽出された画像データの文字エリアの位置に,フラッシュメモリ160に記憶されている翻訳後テキストデータ615を合成して(重ね合わせて)ステップ925に進む。
【0066】
次いで,CPU150は,ステップ925にて翻訳後テキストデータ615を音声に変換してステップ930に進み,翻訳後テキストデータ615が重ね合わされた画像データ(たとえば,図10の画像データ600)をディスプレイ110に表示するとともに,音声に変換された翻訳後テキストデータ615をスピーカ140から出力し,ステップ995に進んで本ルーチンの処理を一旦終了する。
【0067】
一方,翻訳前テキストデータ610と翻訳後テキストデータ615とが,フラッシュメモリ160に記憶されていないと判定されたとき,CPU150は,ステップ915にて「No」と判定してステップ935に進み,UMD205に記憶されている翻訳プログラムを使用して翻訳前テキストデータ610を翻訳して翻訳後テキストデータ615を生成し,ステップ940に進む。
【0068】
次に,CPU150は,ステップ940にて,図6に示したように,フラッシュメモリ160に画像データ600,文字エリアの位置605,翻訳前テキストデータ610および翻訳後テキストデータ615を記憶してステップ920に進む。
【0069】
次いで,CPU150は,ステップ920にて,画像データ600の文字エリアの位置605に翻訳した翻訳後テキストデータ615を合成した後,ステップ925,ステップ930に進み,翻訳後テキストデータ615が重ね合わされた画像データをディスプレイ110に表示するとともに,音声に変換された翻訳後テキストデータ615をスピーカ140から出力し,ステップ995に進んで本ルーチンの処理を一旦終了する。
【0070】
以上に説明したように,本実施形態の携帯ゲーム機100によれば,カメラ210により撮像された図8の画像データ600に含まれる特定言語(英語)の文字列は,言語選択ボタン(日本語選択ボタン135)により選択された言語(日本語)に変換されて図10の画像データ600に示したように,ディスプレイ110に表示される。
【0071】
そして,この動作は,ユーザのレリーズ操作を必要とすることなく,携帯ゲーム機100の電源がオフされるまで繰り返される。カメラ210は,一秒間に15〜30フレーム程度の画像を処理することができる。よって,各フレームを携帯ゲーム機100にて翻訳する上記動作を繰り返すことにより,ディスプレイ110に映し出される画像を直ちに翻訳して,リアルタイムにディスプレイ110に表示し続けることができる。この結果,ユーザは,翻訳前の文字列と翻訳後の文字列とを区別することなく,撮像されている画像があたかも翻訳後の文字列にて撮像されているかのように目視することができる。
【0072】
また,以上に説明したように,携帯ゲーム機100は,認識部420により認識された特定言語の文字列(たとえば英語)と,この文字列と意味が共通していて伝達形式が異なる他の言語の文字列(たとえば,日本語)と,が対応付けられてフラッシュメモリ160に記憶されていない場合のみ,特定言語の文字列を他の言語の文字列に翻訳する。換言すれば,認識部420により認識された特定言語の文字列と他の言語の文字列とが対応付けられてフラッシュメモリ160に記憶されている場合,翻訳は行わない。
【0073】
これにより,同じ翻訳処理の繰り返しを回避することができる。この結果,携帯ゲーム機100により消費される消費電力が低減される。この結果,ユーザは,携帯ゲーム機100を長時間使用することができる。また,携帯ゲーム機100の処理速度を向上させることができる。この結果,ユーザは,携帯ゲーム機100をより快適に使用することができる。
【0074】
なお,抽出部415が,画像データから所定の範囲を文字エリアとして抽出することに失敗したとき,認識部420が,抽出部415により抽出された文字エリアから文字列を認識することに失敗したとき,翻訳部430が,認識部420により変換された翻訳前テキストデータを翻訳することに失敗したとき,および合成部435が,背景の画像と翻訳後テキストデータを合成することに失敗したときには,上述した文字翻訳/合成処理は中止され,カメラ210から入力された画像をそのままディスプレイ110に表示する。
【0075】
メモリ制御部410の機能は,CPU150がステップ715の処理を実行することにより達成される。また,抽出部415の機能は,CPU150がステップ905の処理を実行することにより達成される。また,認識部420の機能は,CPU150がステップ910の処理を実行することにより達成される。
【0076】
また,判定部425の機能は,CPU150がステップ915の処理を実行することにより達成される。また,翻訳部430の機能は,CPU150がステップ935およびステップ940の処理を実行することにより達成される。
【0077】
また,合成部435の機能は,CPU150がステップ920の処理を実行することにより達成される。また,出力部440のうちの表示部および音声出力部の機能は,CPU150がステップ925およびステップ930の処理をそれぞれ実行することにより達成される。
【0078】
上記実施形態において,各部の動作はお互いに関連しており,互いの関連を考慮しながら,一連の動作として置き換えることができる。そして,このように置き換えることにより,方法の発明の実施形態とすることができる。
【0079】
また,上記各部の動作を,各部の処理と置き換えることにより,プログラムの実施の形態とすることができる。また,プログラムを,プログラムを記録したコンピュータ読み取り可能な記録媒体に記憶させることで,プログラムに記録したコンピュータ読み取り可能な記録媒体の実施の形態とすることができる。
【0080】
したがって,情報変換方法の実施形態は,被写体を撮像部により撮像する処理と,上記撮像されている被写体の画像データから情報を伝達するデータを認識する処理と,データを記憶部に記憶する処理と,上記認識された情報伝達データと,上記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けて上記記憶部に記憶されているか否かを判定する処理と,上記認識された情報伝達データと上記他のデータとが対応付けて上記記憶部に記憶されていないと判定された場合,情報伝達データと上記情報伝達データと意味が共通していて伝達形式が異なる他の情報伝達データとを対応づけて複数記憶している辞書ファイルを用いて,上記認識された情報伝達データを上記他のデータに変換する処理と,上記認識された情報伝達データと上記変換された他のデータとを対応づけて上記記憶部に記憶する処理と,をコンピュータに実行させる情報変換プログラム,および,この情報変換プログラムを記憶したコンピュータ読み取り可能な記録媒体の実施形態とすることができる。
【0081】
このプログラムの実施形態およびプログラムを記録したコンピュータ読み取り可能な記録媒体の実施形態における各処理は,コンピュータがプログラムを実行することにより達成される。
【0082】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明は係る例に限定されないことは言うまでもない。当業者であれば,特許請求の範囲に記載された範疇内において,各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【0083】
たとえば,以上に説明した携帯ゲーム機100は,情報変換装置の一例であって,情報変換装置は,撮像および翻訳が可能な電子機器であれば携帯ゲーム機100に限られない。具体的には,情報変換装置は,携帯電話,PDA(Personal Digital Assistants),デジタルカメラ,デジタルビデオカメラ,ヘッドマウントディスプレイ等の外付けまたは内蔵のカメラおよび翻訳機能を備えた携帯デバイスであればよい。また,情報変換装置は,撮像および翻訳が可能なコンタクトレンズや義眼であってもよい。
【0084】
また,第1スロット115に挿入する対象は,UMD205に限られず,翻訳プログラムを格納したメディア(たとえば,CR−ROM等)であればよい。また,翻訳プログラムは,HDD(Hard Disk Drive)や内蔵メモリ等のように,携帯ゲーム機100内部の記憶装置に格納されていてもよい。
【0085】
また,携帯ゲーム機100に備えられた英語選択ボタン130および日本語選択ボタン135は,言語選択ボタンの一例であり,このボタンにより他の言語が選択されるようにしてもよい。たとえば,言語選択ボタンを一つ設け,そのボタンが押される度に選択される言語が変更されるようにしてもよい。
【0086】
たとえば,言語選択ボタンが,フランス語を日本語に翻訳するようにユーザにより操作された場合,カメラ210により撮られた図11の風景の文字部分(フランス語)は,図12に示したように,日本語の文字に翻訳される。
【0087】
このとき,翻訳(変換)される対象は,カメラ210により撮像されている画像データに含まれる文字列に限られず,各種のマークまたはシンボル等,情報を伝達することができるデータであればよい。この場合,抽出部415は,所定のマークエリアを抽出する。そして,図11に示したように,認識部420は,所定のマークエリアからマーク1100を認識する。認識エンジンには、文字だけでなく,各種のマークまたはシンボルのパターンが予め記憶されており,認識部420は,その認識エンジンを使用して,マークエリアにマーク1100が含まれていると認識する。翻訳部430は,マークまたはシンボルが伝達する情報と意味が共通していて伝達形式が異なる他のデータに変換するプログラムを用いて,マーク1100を図12のマーク1200に変換(翻訳)する。
【0088】
これにより,画像に含まれる文字のみならず,その国特有のマークやシンボルをユーザがその意味を理解することができる情報(ユーザに伝達できる形式の情報)にリアルタイムに変換してディスプレイ110に表示することができる。
【0089】
また,認識部420は,撮像されている画像データから情報を伝達することができる最小単位の文字列毎に特定言語の文字列を認識するようにしてもよい。たとえば,図6に示したように,画像2の翻訳前テキストデータ610の「shopping center of your town」の各単語「shopping」「center」「of」「your」「town」が,情報を伝達することができる最小単位の文字列となる。
【0090】
また,出力部440は,認識部420により認識された特定言語の文字列を含む文字列が,他の言語の文字列に対応付けてフラッシュメモリ160に記憶されている場合,対応付けて記憶されている他の言語の文字列のうち,認識された特定言語の文字列に対応する部分の文字列を出力するようにしてもよい。たとえば,特定言語の文字列が「town」の場合,出力部440は,特定言語の文字列を含む文字列「shopping center of your town」(図6の画像2)に対応付けてフラッシュメモリ160に記憶されている文字列「あなたの街のショッピングセンター」のうち,認識された特定言語の文字列「town」に対応する部分の文字列「街」を出力するようにしてもよい。
【0091】
また,出力部440は,認識された特定言語の文字列を含む文字列がフラッシュメモリ160に複数記憶されている場合,フラッシュメモリ160に記憶されている最新の文字列に対応付けて記憶されている他の言語の文字列のうち,認識された特定言語の文字列に対応する部分の文字列を出力するようにしてもよい。
【0092】
たとえば,特定言語の文字列が「town」の場合,フラッシュメモリ160には,特定言語の文字列を含む文字列(図6の画像2の翻訳前テキストデータ610「shopping center of your town」および画像3の翻訳前テキストデータ610「your town」)が二つ記憶されている。フラッシュメモリ160に記憶されている最新の文字列が画像3の翻訳前テキストデータ610「your town」である場合,出力部440は,画像3の翻訳前テキストデータ610のうちの「town」に対応付けて記憶されている「街」を出力するようにしてもよい。
【0093】
また,上述したように,フラッシュメモリ160からキャッシュアウトされた各データは,外部インタフェース170を介して接続された外部記憶装置に対応付けて保存されている。すなわち,外部記憶装置には,撮像部により撮像された画像データ600,画像データ中の文字エリアの位置605,特定言語の文字列(翻訳前テキストデータ610),および,この特定言語の文字列と意味が共通していて伝達形式が異なる他の言語の文字列(翻訳後テキストデータ615)が対応付けて保存されている。
【0094】
携帯ゲーム機100は,ユーザの要求に従い,これらのデータを用いて,翻訳前の画像または翻訳後の画像のいずれかをディスプレイ110に再生させることができる。たとえば,翻訳前テキストデータ610が英語,翻訳後テキストデータ615が日本語であるとき,英語ユーザが所定の操作(言語選択ボタンの操作)により日本語による画像600の再生を要求したとき,合成部435は,外部記憶装置に保存された画像データ600の文字エリアの位置605に翻訳後テキストデータ615を合成する。そして,表示部は,合成部435により合成された(日本語の文字が含まれた)画像をディスプレイ110に再生する。
【0095】
また,ユーザが英語による画像600の再生を要求したとき,合成部435は,外部記憶装置に保存された画像データ600の文字エリアの位置605に翻訳前テキストデータ610を合成する。そして,表示部は,合成部435により合成された(英語の文字が含まれた)画像をディスプレイ110に再生する。また,音声出力部は,ユーザが要求している言語によるテキストデータ(翻訳前テキストデータ610または翻訳後テキストデータ615のいずれか)を音声にて出力する。
【0096】
以上の動作を繰り返すことにより,携帯ゲーム機100は,言語選択ボタンを切り替えるだけで,翻訳前または翻訳後のいずれかの言語にて画像を再生することができる。その結果,ユーザは,所望の言語を用いて再生された動画像を視聴することができる。
【産業上の利用可能性】
【0097】
本発明は,撮像された画像データに含まれる情報伝達データを意味が共通していて伝達形式が異なる他のデータに変換する情報変換装置に適用可能である。特に,撮像された画像データに含まれる特定言語の文字列をその文字列と意味が共通していて伝達形式が異なる他の言語の文字列に変換する情報変換装置に適用可能である。
【図面の簡単な説明】
【0098】
【図1】本発明の実施形態にかかる携帯ゲーム機の概略を説明する図である。
【図2】同実施形態の携帯ゲーム機に各モジュールを装着した図である。
【図3】同実施形態の携帯ゲーム機の内部構成図である。
【図4】同実施形態の携帯ゲーム機の機能ブロック図である。
【図5】画像に含まれる文字を変換する過程を説明するための図である。
【図6】同実施形態のフラッシュメモリに記憶されている情報を示した図である。
【図7】同実施形態にて携帯ゲーム機が実行する画像取込処理ルーチンを示したフローチャートである。
【図8】同実施形態のカメラにて撮像されている画像データをディスプレイに表示した図である。
【図9】同実施形態にて携帯ゲーム機が実行する文字翻訳/合成処理ルーチンを示したフローチャートである。
【図10】英語から日本語に翻訳された文字列を含んだ画像データをディスプレイに表示した図である。
【図11】同実施形態のカメラにて撮像されている画像データをディスプレイに表示した図である。
【図12】フランス語から日本語に翻訳された文字列を含んだ画像データをディスプレイに表示した図である。
【符号の説明】
【0099】
100 携帯ゲーム機
110 ディスプレイ
130 英語選択ボタン
135 日本語選択ボタン
140 スピーカ
150 CPU
155 SRAM
160 フラッシュメモリ
165 画像処理回路
205 UMD
210 カメラ
405 記憶部
410 メモリ制御部
415 抽出部
420 認識部
425 判定部
430 翻訳部
435 合成部
440 出力部
610 翻訳前テキストデータ
615 翻訳後テキストデータ

【特許請求の範囲】
【請求項1】
被写体を撮像する撮像部と;
前記撮像されている被写体の画像データのうちから情報を伝達するデータを認識する認識部と;
データが記憶された記憶部と;
情報伝達データと,前記情報伝達データと意味が共通していて伝達形式が異なる他のデータと,を対応付けて複数記憶している辞書ファイルと;
前記認識された情報伝達データと,前記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて前記記憶部に記憶されているか否かを判定する判定部と;
前記判定部により,前記認識された情報伝達データと前記他のデータとが対応付けられて前記記憶部に記憶されていないと判定された場合のみ,前記辞書ファイルを用いて前記認識された情報伝達データを前記他のデータに変換する情報変換部と;を備える情報変換装置。
【請求項2】
前記情報変換装置であって,さらに,
前記認識された情報伝達データと前記変換された他のデータとを対応付けて前記記憶部に記憶するメモリ制御部;を備える請求項1に記載された情報変換装置。
【請求項3】
前記情報変換装置であって,さらに,
前記判定部により,前記認識された情報伝達データと,前記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて前記記憶部に記憶されていると判定された場合,前記情報伝達データに代えて前記記憶部に記憶されている他のデータを出力する出力部を備える請求項1に記載された情報変換装置。
【請求項4】
前記情報変換装置であって,さらに,
前記判定部により,前記認識された情報伝達データと,前記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて前記記憶部に記憶されていないと判定された場合,前記情報伝達データに代えて前記情報変換部により変換された他のデータを出力する出力部,を備える請求項1に記載された情報変換装置。
【請求項5】
前記認識部は,
前記撮像されている画像データから特定言語の文字列を認識し,
前記辞書ファイルは,
前記情報伝達データとしての特定言語の文字列と,前記特定言語の文字列と意味が共通していて伝達形式が異なる他の言語の文字列と,を対応付けて複数記憶し,
前記判定部は,
前記認識された特定言語の文字列を含む文字列が,前記特定言語の文字列と意味が共通していて伝達形式が異なる他の言語の文字列に対応付けられて前記記憶部に記憶されているか否かを判定し,
前記情報変換部は,
前記判定部により,前記認識された特定言語の文字列を含む文字列が,前記他の言語の文字列に対応付けられて前記記憶部に記憶されていないと判定された場合のみ,前記辞書ファイルに基づいて前記認識された特定言語の文字列を前記他の言語の文字列に翻訳する請求項1に記載された情報変換装置。
【請求項6】
前記出力部は,
前記認識された特定言語の文字列を含む文字列が,前記他の言語の文字列に対応付けられて前記記憶部に記憶されていると判定された場合,前記対応付けて記憶されている他の言語の文字列のうち,前記認識された特定言語の文字列に対応する部分の文字列を出力する請求項5に記載された情報変換装置。
【請求項7】
前記出力部は,
前記認識された特定言語の文字列を含む文字列が前記他の言語の文字列に対応付けられて前記記憶部に複数記憶されていると判定された場合,前記記憶部に最も新しく記憶された特定言語の文字列に対応付けて記憶されている他の言語の文字列のうち,前記認識された特定言語の文字列に対応する部分の文字列を出力する請求項5に記載された情報変換装置。
【請求項8】
前記認識部は,
前記撮像されている画像データのうちから情報を伝達することができる最小単位の文字列毎に特定言語の文字列を認識する請求項5に記載された情報変換装置。
【請求項9】
前記撮像部は,
レリーズするための所定の操作を必要とすることなく,電源がオフされるまで被写体を撮像し続ける請求項1に記載された情報変換装置。
【請求項10】
前記認識部は,
前記撮像されている画像データから情報伝達データを認識し,前記認識された情報伝達データの位置を特定する動作を繰り返し,
前記判定部は,
前記認識された情報伝達データと,前記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けられて前記記憶部に記憶されているか否かを判定する動作を繰り返し,
前記情報変換部は,
前記判定部により,前記認識された情報伝達データと前記他のデータとが対応付けられて前記記憶部に記憶されていないと判定された場合のみ,前記辞書ファイルを用いて前記認識された情報伝達データを前記他のデータに変換する動作を繰り返し,
前記メモリ制御部は,
前記認識部により認識された情報伝達データと,前記情報変換部により変換された他のデータと,前記特定された情報伝達データの位置と,を対応付けて前記記憶部に記憶する動作を繰り返し,
前記情報変換装置は,さらに,
前記記憶された画像データに含まれる情報伝達データの位置に,前記情報変換部により変換された他のデータまたは前記記憶部に記憶されている他のデータのいずれかを合成する動作を繰り返す合成部と,
前記合成部により合成された他のデータを含む画像データを出力する動作を繰り返す出力部を備えることにより,前記撮像部により撮像されている画像データに含まれる情報伝達データと意味が共通していて伝達形式が異なる他のデータを画像データの前記情報伝達データの位置にてリアルタイムに出力する請求項2に記載された情報変換装置。
【請求項11】
前記メモリ制御部は,前記記憶部に記憶されているデータのうち,前記出力部により出力された頻度と前記記憶部に記憶されている期間とに基づいて,今後,前記出力部により出力される確率が最も低いデータから消去するキャッシュメモリから構成される請求項1に記載された情報変換装置。
【請求項12】
前記出力部は,
前記情報変換部により変換された他のデータまたは前記記憶部に記憶されている他のデータのいずれかが合成された画像データを表示する表示部と,
前記情報変換部により変換された他のデータまたは前記記憶部に記憶されている他のデータのいずれかを音声により出力する音声出力部と,を有する請求項10に記載された情報変換装置。
【請求項13】
被写体を撮像部により撮像し,
前記撮像されている被写体の画像データから情報を伝達するデータを認識し,
前記認識された情報伝達データと,前記認識された情報伝達データと意味が共通していて伝達形式が異なる他のデータと,が対応付けて記憶部に記憶されているか否かを判定し,
前記認識された情報伝達データと前記他のデータとが対応付けて前記記憶部に記憶されていないと判定された場合のみ,情報伝達データと前記情報伝達データと意味が共通していて伝達形式が異なる他の情報伝達データとを対応づけて複数記憶している辞書ファイルを用いて,前記認識された情報伝達データを前記他のデータに変換し,
前記認識された情報伝達データと前記変換された他のデータとを対応づけて前記記憶部に記憶する情報変換方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2006−146454(P2006−146454A)
【公開日】平成18年6月8日(2006.6.8)
【国際特許分類】
【出願番号】特願2004−333956(P2004−333956)
【出願日】平成16年11月18日(2004.11.18)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】