翻訳装置
【課題】 文字認識率の向上を図ると共に、使用者の負荷を軽減することで実用性の高い翻訳装置を実現すること。
【解決手段】 画像処理部３０は、撮影部１０により測定された被写体までの距離に基づいて、静止画像データにパララックス補正を行う。そして、当該補正後の静止画像データから文字列を抽出し、当該抽出に失敗した場合は、静止画像データに対してエッジ強調や階調補正といった画像処理を施して、再度文字抽出を行う。言語処理部４０は、画像処理部３０により抽出された文字列を翻訳エンジン６０に伝送する。翻訳エンジン６０は、翻訳エンジン６０から言語処理部４０から入力された文字列の訳語を検索して、言語処理部４０に返す。言語処理部４０は、翻訳エンジン６０から返された訳語を表示部７０に表示させる。このとき、訳語の光学像がホログラフィック光学素子に投射されて、回折反射により使用者の眼に導かれる。
【解決手段】 画像処理部３０は、撮影部１０により測定された被写体までの距離に基づいて、静止画像データにパララックス補正を行う。そして、当該補正後の静止画像データから文字列を抽出し、当該抽出に失敗した場合は、静止画像データに対してエッジ強調や階調補正といった画像処理を施して、再度文字抽出を行う。言語処理部４０は、画像処理部３０により抽出された文字列を翻訳エンジン６０に伝送する。翻訳エンジン６０は、翻訳エンジン６０から言語処理部４０から入力された文字列の訳語を検索して、言語処理部４０に返す。言語処理部４０は、翻訳エンジン６０から返された訳語を表示部７０に表示させる。このとき、訳語の光学像がホログラフィック光学素子に投射されて、回折反射により使用者の眼に導かれる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字列を翻訳して、その文字列の訳語を取得して表示する翻訳装置に関する。
【背景技術】
【０００２】
近年、入力した文字列の訳語を表示する電子辞書や、カメラで撮影した静止画像から文字列を抽出して翻訳表示するカメラ付き携帯端末等の様々な形態の翻訳装置が広く普及し、例えば、外国語の文書の閲読や海外旅行等において利用されている。
【０００３】
翻訳装置の一例としては次のようなものが知られている。即ち、動画像を撮影して、その動画像から静止画像を抽出してエッジの検出を行い、エッジの検出が行えた場合は文字認識を行い、エッジの検出が行えなかった場合は、再度動画像から静止画像を抽出して同処理を繰り返すカメラ付き携帯情報端末である（特許文献１参照）。
【０００４】
また、翻訳装置の一例として、ハーフミラーを採用したヘッドマウントディスプレイ（Head Mount Display；以下、「ＨＭＤ」という。）装置が知られている。このＨＭＤ装置は、ＣＣＤ（Charge Coupled Device）カメラにより撮影された撮影画像の中から、使用者の視線の移動に従って指定された領域の画像を抽出し、その画像内の文字列を抽出する。そして、その抽出した文字列を翻訳して使用者の眼に投射する（特許文献２参照）。
【０００５】
【特許文献１】特開２００３−２１６８９３号公報
【特許文献２】特開２００１−５６４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＨＭＤ装置には、装着時に違和感がないこと、使用者の視野を狭くしないこと、視野を暗くしないことといった装着性が要求され、使用者に負荷がかからないことが望ましい。
【０００７】
しかし、特許文献２のＨＭＤ装置は、ハーフミラーを採用しているため、使用者の眼前をハウジングで覆い暗部を作らなければならないため、使用者の視野が暗くなってしまう。また、対物レンズを介して現実画像を見るため使用者の視野は制限されてしまう。また、大きなハウジングが眼前にくるため、使用者に圧迫感を与えてしまう。このため、特許文献１のＨＭＤ装置は、使用者に大きな違和感を生じさせてしまい、当該ＨＭＤ装置を装着して街中を歩行することは現実的ではない。
【０００８】
また、電子辞書は、調べたい外国語の文字をわざわざ手入力で入力しなければならなくその操作は煩わしいものである。これに対して特許文献１のカメラ付き携帯端末は、文字の入力の手間を省ける。しかし、使用者は、翻訳したい文字列が含まれた被写体を、カメラ付き携帯端末がエッジ検出できるように、当該端末を用いて適切に撮影しなければならない。しかし、現実には、被写体が遠距離であり文字列が小さく撮影されたり、撮影画像にピンぼけやブレが生じてしまうことがあるように、被写体の画像が不明瞭となってしまった場合には、カメラ付き携帯端末の文字認識が困難となり、文字認識に成功する確率、即ち、文字認識率が低下してしまった。
【０００９】
また、使用者がカメラ付き携帯端末を把持して所望の被写体にカメラを向けて撮影を行わなければならなく、使用者の手を塞いでしまうため、傘や荷物を更に把持する場合には使用者に負担を与えてしまう。また、被写体にカメラを向ける動作は、撮影動作であることが第３者から見ても明らかであるため、使用者に抵抗感を与えてしまう場合があった。このように、特許文献１や２の翻訳装置は実用性に欠けるため、例えば、歩行中に翻訳が多用される海外旅行先での使用には不向きであった。
【００１０】
本発明は、上述した課題に鑑みて為されたものであり、その目的とするところは、文字認識率の向上を図ると共に、使用者の負荷を軽減することで実用性の高い翻訳装置を実現することである。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、請求項１に記載の翻訳装置は、
被写体を撮影して、撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像の文字認識を行う文字認識手段と、
前記文字認識手段により文字認識された文字列を翻訳して、当該文字列の訳語を取得する翻訳手段と、
前記翻訳手段により取得された訳語の光学像を投射する映像投射手段と、
ホログラフィック光学素子を含む透過型の素材で形成され、前記映像投射手段により投射された光学像を当該ホログラフィック光学素子の光学効果によって使用者の眼に導く接眼光学系と、
を備えることを特徴としている。
【００１２】
請求項２に記載の発明は、請求項１に記載の翻訳装置であって、
前記撮影手段は、前記使用者の視野内の被写体を撮影可能に当該翻訳装置に配設されることを特徴としている。
【００１３】
請求項３に記載の発明は、請求項１又は２に記載の翻訳装置において、
前記使用者の視野の中心位置と、前記撮影画像の中心位置とのズレを推測する推測手段と、
前記推測手段により推測されたズレに基づいて、前記撮影画像の中心位置を前記使用者の視野の中心位置に合わせる補正手段と、を更に備えることを特徴としている。
【００１４】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の翻訳装置において、
前記推測手段は、前記被写体と前記撮影手段との間の距離を測定する測定手段を有し、
前記補正手段は、前記使用者の視野の中心位置と前記撮影手段の中心位置との間の距離と、前記測定手段により測定された距離とに基づいて、前記撮影画像の中心位置を当該使用者の視野の中心位置に合わせることを特徴としている。
【００１５】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の翻訳装置において、
撮影条件を設定する設定手段を更に備え、
前記撮影手段は、前記設定手段により設定された撮影条件に基づいて前記被写体の撮影を行うことを特徴としている。
【００１６】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の翻訳装置において、
前記撮影手段のブレを補正するブレ補正手段を更に備えることを特徴としている。
【００１７】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の翻訳装置において、
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段を更に備え、
前記文字認識手段は、前記画像処理手段により画像処理が施された撮影画像の文字認識を行うことを特徴としている。
【００１８】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の翻訳装置であって、 前記映像投射手段は、前記文字認識手段により文字認識された文字列の光学像を投射する認識文字投射手段を有することを特徴としている。
【００１９】
請求項９に記載の発明は、請求項１〜８の何れか一項に記載の翻訳装置であって、
前記翻訳手段は、前記文字認識された文字列の訳語を複数取得する複数訳語取得手段を有し、
前記複数訳語取得手段により取得された複数の訳語の中から訳語選択条件を満たす訳語を選択する訳語選択手段を更に備え、
前記映像投射手段は、前記訳語選択手段により選択された訳語の光学像を投射することを特徴としている。
【００２０】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の翻訳装置において、
使用者の頭部に装着可能なメガネ型に形成され、装着時に前記接眼光学系が使用者の眼前に配置することを特徴としている。
【発明の効果】
【００２１】
請求項１に記載の発明によれば、撮影画像を文字認識することで得られた文字列を翻訳して、その文字列の訳語の光学像をホログラフィック光学素子を介して使用者の眼に導く。ホログラフィック光学素子を介することで、使用者の眼に入射する光量を維持でき、また、使用者の視界を遮ることがないため、使用者に与える負荷を軽減できる。また、接眼光学系を介して使用者の眼に訳語を投射することで、使用者の眼に当該訳語を映し出すことができる。このため、使用者は、わざわざ辞書を引いたり、その辞書を参照するために視線を移動したりすることなく、容易に当該訳語を視認することができる。これにより、撮影動作を行う必要がなく使用者の手が自由になる。従って、実用的な翻訳装置が実現でき、使用者は、海外旅行先での観光や買い物を違和感なく快適に楽しむことができるようになる。
【００２２】
請求項２に記載の発明によれば、使用者の視野内の被写体を撮影できるため、使用者が見た被写体に含まれる文字列の訳語を、使用者の眼に投射することができる。従って、使用者は同一の視野内で文字列と、その訳語を視認することができる。
【００２３】
請求項３に記載の発明によれば、請求項１又は２に記載の発明と同様の効果が得られるのは無論のこと、使用者の視野の中心位置と、撮影画像の中心位置とのズレを推測して、撮影画像の中心位置を使用者の視野の中心位置に合わせることで、使用者の視野の中心位置と、撮影画像の中心位置との誤差が補正される。従って、文字認識手段は、使用者の視野の中心位置に対する被写体の文字列を適切に文字認識することができる。
【００２４】
請求項４に記載の発明によれば、請求項１〜３の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、視野の中心位置及び撮影手段の中心位置の間の距離と、被写体及び撮影手段の間の距離とに基づいて、撮影画像の中心位置を、使用者の視野の中心位置に合わせる。これにより、使用者の視野の中心位置と、撮影画像の中心位置との誤差を適切に補正することができる。
【００２５】
請求項５に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影条件を適切に設定することで、明瞭な撮影画像が得られるようになるため、文字認識率を向上させることができる。
【００２６】
請求項６に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影手段のブレを補正するため、撮影画像にブレが生じしてしまうことを低減でき、明瞭な撮影画像が得られる。従って、文字認識率の向上が図れる。
【００２７】
請求項７に記載の発明によれば、請求項１〜６の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影画像に画像処理を施すことで、明瞭な撮影画像が得られるようになる。このため、例えば、文字認識に失敗した場合であっても、撮影画像に画像処理に施すことで、文字認識に成功する確率、即ち文字認識率の向上が図れる。
【００２８】
請求項８に記載の発明によれば、請求項１〜７の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、映像投射手段は、文字認識された文字列の光学像を投射するため、使用者の眼にはその文字列の光学像と、訳語の光学像とが投射される。これにより、使用者は、翻訳の対象となった文字列を容易に視認することができるため、例えば、当該文字列と共に投射された訳語が、所望の文字列の訳語であるかを判断することができる。
【００２９】
請求項９に記載の発明によれば、請求項１〜８の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、複数の訳語の中から訳語選択条件を満たす訳語を選択して、その選択した訳語の光学像を使用者の眼に投射することができる。このため、例えば、翻訳頻度の高い訳語や、一般的に用いられる頻度の高い訳語といった妥当性の高い訳語を投射することができる。
【００３０】
請求項１０に記載の発明によれば、請求項１〜９の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、メガネ型の翻訳装置の装着時に、接眼光学系が使用者の眼前に配置される。このため、使用者は、例えば、日常生活や海外旅行先等で翻訳装置を装着して違和感なく使用することができる。また、使用者の視界を覆ったり、暗くしたりすることもないため、使用者の負荷を軽減することができる。
【発明を実施するための最良の形態】
【００３１】
〔実施形態〕
以下、本発明を実施形態について図１〜図９を参照して詳細に説明する。また、以下の実施形態においては、図１に示すメガネ型の翻訳装置（以下、単に「翻訳装置」と称す。）を例にとって説明するが、その適用可能な範囲は、図示例に限定されないものとする。
【００３２】
〔翻訳装置の概観及び機構〕
図１は、翻訳装置１の斜視図の一例である。図１によれば、翻訳装置１は、使用者の頭部に装着可能に形成されたヘッドマウントディスプレイ（Head Mount Display；以下、「ＨＭＤ」という。）２００と、コントロールユニット３００とがケーブル２９０によって接続されて構成されている。
【００３３】
ＨＭＤ２００は、左右対称に設けられたメガネレンズ（以下、単に「レンズ」という。）２１０Ｒ及び２１０Ｌと、鼻あて２３０Ｒ及び２３０Ｌと、テンプル２４０Ｒ及び２４０Ｌと、ブリッジ２７０とを備えて構成される。
【００３４】
テンプル２４０Ｒ及び２４０Ｌは、使用者の頭部にＨＭＤ２００を支持するための支持部材である。使用者は、テンプル２４０Ｒ及び２４０Ｌそれぞれを側頭部を介して左右の耳介にかけ、鼻あて２３０Ｒ及び２３０Ｌを鼻の付け根部分に載せるように装着すると、レンズ２１０Ｒ及び２１０Ｌそれぞれが左右の眼Ｅの前に配置される。
【００３５】
また、ＨＭＤ２００は、表示ユニット２５０と、カメラユニット２６０とを備えて構成されている。この表示ユニット２５０、カメラユニット２６０及びコントロールユニットは、ケーブル２９０を介して通信可能に接続される。ケーブル２９０は、各ユニット間を電気的に接続する通信媒体である。尚、翻訳装置１００は、ケーブル２９０を介して各種データ通信を行うこととするが、各ユニットに無線通信機を設けて無線方式のデータ通信を行うこととしてもよい。無線方式を採用することで、遊動可能なケーブル２９０が使用者に掛かって邪魔になることなくなる。
【００３６】
表示ユニット２５０（映像投射手段、認識文字投射手段）は、接眼光学系２２０に対して光学像を投射し、レンズ２１０Ｒの上部に設けられる。接眼光学系２２０は、レンズ２１０Ｒと一体的に形成され、表示ユニット２５０から投射された光学像を使用者の眼Ｅに導く機能部である。
【００３７】
接眼光学系２２０により投影された光学像は、使用者の眼Ｅに虚像映像として映し出される。これにより、表示ユニット２５０及び接眼光学系２２０が、仮想的な映像を表示する表示装置として機能することとなる。
【００３８】
図２に、表示ユニット２５０及び接眼光学系２２０の断面図の一例を示す。図２に示すように、表示ユニット２５０は、ＬＥＤ（Light Emitting Diode）等により構成される光源２５２と、コンデンサレンズ等により構成される集光レンズ２５４と、ＬＣＤ（Liquid Crystal Display）等により構成される透過型の表示パネル２５６とが筐体２５８内に保持されて構成される。
【００３９】
光源２５２が、表示パネル２５６へ照射光を出射すると、その照射光は集光レンズ２５４により表示パネル２５６全面に均一に導かれる。プリズム２１４の上面に対して傾斜して配設された表示パネル２５６は、使用者の眼Ｅに映し出すための映像を表示すると、光源２５２からの照明光を受けて、当該映像の光学像、即ち映像光を接眼光学系２２０のプリズム２１４に対して発することとなる。
【００４０】
筐体２５８は、プリズム２１４の上部を狭持するように設けられ、光源２５２、集光レンズ２５４及び表示パネル２５６を覆い保持する。
【００４１】
接眼光学系２２０は、プリズム２１４と、ホログラフィック光学素子（Holographic Optical Element；以下「ＨＯＥ」という。）２１２とを有し、レンズ２１０Ｒと一体的に形成されて構成される。
【００４２】
プリズム２１４は、透明なガラス又は樹脂等からなり、平板状に形成されたものである。プリズム２１４は、右眼用のレンズ２１０Ｒの一部に埋め込まれており、その下端部にＨＯＥ２１２が接合形成されている。ＨＯＥ２１２は、プリズム２１４とレンズ２１０Ｒとをホログラム基板として、その間に挟まれるように配置されている。
【００４３】
ＨＯＥ２１２は、ホログラム基板面に対して平行でない干渉縞からなる２つの干渉縞パターンを有している。ＨＯＥ２１２に入射した光学像は、その干渉縞パターンの回折作用によって回折反射して使用者の眼Ｅに導かれる。
【００４４】
また、表示ユニット２５０は、ケーブル２９０を介してコントロールユニット３００に接続され、コントロールユニット３００からの指示に基づいた映像を表示する。即ち、表示パネル２５６から発せられた映像光が、プリズム２１４により反射を複数回繰り返しながらＨＯＥ２１２に導かれると、ＨＯＥ２１２により回折して平行光に近い光束となって利用者の眼Ｅに入射する。これにより、使用者に対して映像を仮想的に表示せしめることができる。
【００４５】
また、接眼光学系２２０及びレンズ２１０Ｒは、使用者の視界にある像の光学像を透過して、使用者の眼Ｅに導く。このため、使用者の眼Ｅには、レンズ２１０Ｒ前方（図２の矢印Ｖ２の方向）の映像に、表示パネル２５６が表示した映像を重ね合わせた映像が映し出されることとなる。
【００４６】
カメラユニット２６０は、光学レンズ、ＣＣＤ等の光電変換素子と、Ａ／Ｄ変換部とを有して構成される。光学レンズを介して入力される被写体の光学像をＣＣＤにより光電変換する。そして、この光電変換により得られた電気信号を、Ａ／Ｄ変換部によってＡ／Ｄ変換して、デジタルデータの画像データ（撮影画像）を生成する。この光電変換及びＡ／Ｄ変換を連続的に行うことにより、被写体の動画撮影が行われる。
【００４７】
コントロールユニット３００は、図１に示すように、操作スイッチ群３１０を備えて構成される。操作スイッチ３１０は、電源ボタンやカーソルキー、決定スイッチ、モード設定スイッチなどにより構成される。使用者は、この操作スイッチ３１０を押下することにより、翻訳装置１を操作し、翻訳装置１の動作モードの切り替えや動画撮影の開始指示、翻訳の継続指示等を行う。
【００４８】
翻訳装置１の動作モードとしては翻訳モードや音楽モードや道案内モード等が設けられている。翻訳モードは、カメラユニット２６０により撮影・生成された撮影画像に含まれた文字列の訳語を表示するモードである。音楽モードは、記憶部５０に記憶された音楽データを再生して、イヤホン（図示略）から音声出力するモードである。また、道案内モードは、ＧＰＳ受信装置（図示略）により受信したＧＰＳ信号に基づいて現在位置を測位し、記憶部５０に記憶された地図情報に従って当該現在位置から目的地までの地図を表示するモードである。
【００４９】
使用者は、モード設定スイッチを操作することにより、所望の動作モードに切り替える。尚、翻訳装置１の動作モードは、上述した動作モードに限らず、適宜追加変更可能である。
【００５０】
〔翻訳装置の機能構成〕
図３は、翻訳装置１の機能構成の一例を示すブロック図である。図３によれば、翻訳装置１は、撮影部１０、操作入力部２０、画像処理部３０、言語処理部４０、記憶部５０、翻訳エンジン６０及び表示部７０を備えて構成される。また、操作入力部２０、画像処理部３０、言語処理部４０、記憶部５０及び翻訳エンジン６０（翻訳手段）は、コントロールユニット３００内に設けられる。
【００５１】
撮影部１０（撮影手段）は、ガラスやプラスチック等からなる光学レンズプリズムと、ＣＣＤやＣＭＯＳ等の撮像素子と、Ａ／Ｄ変換器とを有して構成される機能部であり、上述したカメラユニット２６０に相当する。撮影部１０は、光学レンズを介して入力される被写体の光学像を撮像素子によりフレーム単位で電気信号に変換して画像データを生成することで動画撮影を行い、そのフレーム単位の画像データを随時画像処理部３０に出力する。
【００５２】
また、撮影部１０は、複数の光学レンズプリズムを組み合わせたり、光学レンズプリズムと撮像素子との距離を調整したりすることにより、ピント（焦点）を自動的に合わせるオートフォーカス（Auto Focus；以下、「ＡＦ」と略す。）機能を実現する。本実施形態では、ピントが合っていないときに撮像素子上のコントラストが低下することを利用してピント合わせを行う所謂パッシブ方式によりＡＦ機能を実現する。そして、撮影部１０（測定手段）は、ＡＦ機能によるピント調整の結果に基づいて焦点距離を取得し、この焦点距離から撮影部１０から被写体までの距離を測定する。この測定した距離（測定距離５３）は、後述するパララックス補正に用いられる。
【００５３】
尚、ＡＦ機能の実現方法及び被写体までの距離の測定方法として、パッシブ方式を採用することとしたが、撮影部１０に赤外線照射部を設けて、被写体に向けて照射した赤外線の反射を利用して被写体との距離を測定し、ピント合わせを行うアクティブ方式を採用することとしても勿論よい。
【００５４】
また、撮影部１０（ブレ補正手段）は、角速度センサを有して構成され、当該角速度センサによりアンチシェイク（Anti Shake；以下、「ＡＳ」という。）機能を有している。ＡＳ機能は、撮影時のブレを補正する機能であり、次のようにして実現される。即ち、角速度センサによりブレの量、速度及び方向を検知して、光学レンズの画角特性に合わせてＣＣＤ上でのズレ量をリアルタイムで算出する。そして、そのズレ量に基づいてＣＣＤを上下左右に駆動することでブレを解消する。このＡＳ機能により、使用者の頭部の動きや細かな振動によるブレを補正することで、より明瞭な撮影画像が得られるようになる。
【００５５】
尚、ズレ量に基づいてＣＣＤを駆動するＣＣＤシフト方式によりＡＳ機能を実現することとしたが、例えば、ブレ量に基づいて光学レンズプリズムを動かすことでブレを補正する光学式により実現することとしてもよい。
【００５６】
操作入力部２０は、上述した操作スイッチ３１０や、文字入力キー、カーソルキー備えて構成され、使用者により押下されたスイッチの押下信号を出力する入力装置である。
【００５７】
画像処理部３０（画像処理手段）は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成され、ＣＰＵが、ＲＯＭに記憶された各種プログラムをＲＡＭに展開することで、当該プログラムに従った処理を実行する。特に、画像処理部３０は、動画像の画像データからの静止画像データの作成、パララックス補正処理、静止画像データのコントラストを強調する画像処理、文字認識処理等を行う。
【００５８】
ここで、画像処理部３０の動作を説明すると次のようになる。即ち、画像処理部３０は、使用者の操作入力部２０の押下により動作撮影の開始指示を示す操作信号が入力されると、撮影部１０を駆動して動画撮影を開始させる。そして、撮影部１０から随時入力されてくる動画像の画像データから静止画像の画像データ（以下、静止画像の画像データを「静止画像データ」という。）を作成して、静止画像データ５１として記憶部５０に記憶させる。
【００５９】
この静止画像データの作成方法は、適宜公知技術を採用可能であり、例えば、撮影部１０から入力されたフレーム単位の画像データから、任意のタイミングの画像データを選択して取得することで静止画像データ５１としてもよいし、数フレーム分（例えば、３フレーム分）の画像データを取得して、それらの画像データを合成することで静止画像データ５１を作成することとしてもよい。
【００６０】
この画像処理部３０が作成した静止画像データ５１、即ち、撮影画像の中心位置と、使用者がレンズ２１０Ｒを介して見た被写体の中心位置とには、カメラユニット２６０とレンズ２１０ＲとのＨＭＤ１００上における設置位置の違いから視差（パララックス）が生じる。
【００６１】
より具体的には、例えば、図６（ａ）のように遠景の景色を被写体ＯＢ２として、被写体ＯＢ２とＨＭＤ１００との距離が充分に長い場合、カメラユニット２６０の画角の中心点Ｐ１は、レンズ２１０Ｒを介した使用者の視界の中心点Ｐ２（レンズ２１０Ｒの画角の中心位置）と略同一となり、パララックスの影響は小さい。
【００６２】
しかし、例えば、図６（ｂ）のように、使用者が把持した文書を被写体ＯＢ３として、ＨＭＤ１００と被写体ＯＢ２との距離が近ければ近いほど、カメラユニット２６０の画角の中心点Ｐ１と、レンズ２１０Ｒを介した使用者の視界の中心点Ｐ２とのパララックスが大きくなる。
【００６３】
そこで、画像処理部３０は、レンズ２１０Ｒに対する被写体の中心点Ｐ２（使用者の視点の中心）に合わせるように、カメラユニット２６０の画角の中心点Ｐ１（カメラユニット２６０の視点）を補正するパララックス補正を行う。パララックス補正は公知の手法であるが、簡単に説明すると次のようになる。
【００６４】
先ず、図５（ｂ）に示すように、カメラユニット２６０の前方方向（矢印Ｖ１の方向）の中心点Ｐ１と当該カメラユニット２６０との距離Ｄ１（測定距離５３）を、上述したＡＦ機能を用いて撮影部１０が測定する。そして、画像処理部３０（距離算出手段）は、カメラユニット２６０の中心とレンズ２１０Ｒの中心との距離Ｄ２と測定した距離Ｄ１とから、三角関数を用いることにより、なす角Ｒを算出する。このなす角Ｒは、カメラユニット２６０からレンズ２１０Ｒの前方方向Ｖ２の方向の中心点Ｐ２に対する方向Ｖ３と、カメラユニット２６０の前方方向Ｖ１とのなす角である。画像処理部３０（推測手段、補正手段）は、静止画像データ５１をなす角Ｒに基づいてずらすことで、静止画像データ５１の中心位置（撮影画像の中心位置）をレンズ２１０Ｒから見た被写体ＯＢ１の中心点Ｐ２の位置（使用者の視野の中心位置）に合わせる。
【００６５】
画像処理部３０は、パララックス補正を行って静止画像データ５１を更新する。このパララックス補正により、レンズ２１０Ｒの中心点を介して使用者の眼Ｅに映し出される文字列と、画像処理部３０が文字認識の対象とする文字列とを一致させることができる。
【００６６】
画像処理部３０（文字認識手段）は、静止画像データ５１の周辺部位を切り出して（カットして）、残りの一定領域に対して文字認識を行う。具体的には、予めアルファベットやハングル文字等といった外国語の表記文字のテンプレートを用意しておく。そして、静止画像データ５１の中心の一定領域内における画素毎に当該テンプレートと比較する。その比較の結果、テンプレートの文字と略一致した場合には、当該テンプレートの文字が静止画像データ５１中に含まれているとして抽出する。尚、この文字認識の手法は、パターンマッチングに限らず、ゾンデ法やストロークアナリシス法など適宜公知技術を採用可能である。画像処理部３０は、文字認識により抽出した文字列を抽出文字列５５として記憶部５０に記憶させる。
【００６７】
言語処理部４０は、ＣＰＵやＲＯＭ、ＲＡＭ等を備えて構成され、抽出文字列５５の言語種別５７の判定と、翻訳エンジン６０により取得された複数の訳語から訳語選択条件に基づいた訳語の選択と、表示部７０に対する訳語の表示制御等を行う。
【００６８】
言語処理部４０の具体的な動作は次のようになる。先ず、画像処理部３０により抽出された抽出文字列５５内の個々の文字の表記形式と、文字の配列等から言語の種別を決定する。例えば、抽出文字列５５の表記形式から文字種がハングル文字であれば言語の種別を韓国語として判定して、言語種別５７として記憶部５０に記憶する。また、抽出文字列５５の文字種がアルファベットであった場合は、個々のアルファベットの配列から英語、独語、仏語等といった言語種別５７を判定する。
【００６９】
そして、記憶部５０に記憶された抽出文字列５５及び言語種別５７を翻訳エンジン６０に送信し、翻訳エンジン６０の翻訳処理の結果得られた抽出文字列５５の訳語を受信して記憶部５０に記憶させる。言語処理部４０は、訳語５９が複数ある場合は、一般的に使用頻度の高い訳語であるという訳語選択条件を満たす訳語を選択する。
【００７０】
訳語選択条件としては、例えば、観光、英文学等の使用者の翻訳装置１の使用目的に応じた分野に関わるか否か、過去に翻訳エンジン６０によって取得された訳語の分野に近似するか否か等があり適宜変更可能である。このように訳語選択条件を満たす訳語を選択することで、表示する訳語を使用者の使用目的に近いものや、よく使われるもの等に制限することができる。
【００７１】
言語処理部４０（訳語選択手段）は、訳語選択条件を満たす訳語５９を選択した後、当該訳語５９と、抽出文字列５５とを、例えば、図８の一覧リストＬＳＴように表示させるための表示データを生成して表示部７０に出力する。
【００７２】
記憶部５０は、光学的又は磁気的な記憶媒体にデータの読み書きを行う機能部であり、例えば、ＨＤＤ（Hard Disk Drive）等により構成される。図４は、記憶部５０のデータ構成の一例を示す図である。図４によれば、記憶部５０は、静止画像データ５１、測定距離５３、抽出文字列５５、言語種別５７及び訳語５９を記憶している。
【００７３】
翻訳エンジン６０（翻訳手段、複数訳語取得手段）は、ＣＰＵやＲＯＭ、ＲＡＭ等の他に、翻訳データベース（以下、データベースを「ＤＢ」という。）を備えて構成され、言語処理部４０から入力された抽出文字列５５の言語種別５７とに基づいて、抽出文字列５５の訳語を翻訳データベースから検索して、その検索結果を全て言語処理部４０に出力する。
【００７４】
翻訳ＤＢは、見出語と、当該見出語の訳語（和語）とを対応付けて記憶するデータテーブルであり、言語種別毎に設けられている。例えば、言語処理部４０から出力された言語種別５７が韓国語であった場合、翻訳エンジン６０は、韓国語の翻訳ＤＢを選択し、この翻訳ＤＢに記憶された見出語の中から、抽出文字列５５と一致する見出語を検索する。そして、一致する見出語があったならば、当該見出語に対応する訳語を翻訳ＤＢから読み出して言語処理部４０に出力する。
【００７５】
表示部７０は、言語処理部４０から入力される表示データに基づいて各種画面を表示させるものであり、図２に示した表示パネル２５６に相当する。静止画像データ５１の中から抽出された文字列の訳語が表示部７０に表示されることで、当該訳語の光学像が接眼光学系２２０を介して使用者の眼Ｅに映し出されることとなる。
【００７６】
〔翻訳装置の具体的な動作〕
次に、翻訳装置１の具体的な動作について図７のフローチャートを用い、図８を参照しつつ説明する。
【００７７】
先ず、使用者のモード設定スイッチの操作に従って動作モードの設定を行い（モード設定処理；ステップＳ１）、操作入力部２０は、翻訳モードが選択されたと判定した場合は（ステップＳ３；Ｙｅｓ）、翻訳モードＯＮを示す操作信号を画像処理部３０に出力する。また、他の動作モードが選択されたと判定した場合には（ステップＳ３；Ｎｏ）、当該動作モードに応じた処理を開始する（ステップＳ５）。
【００７８】
画像処理部３０は、使用者の操作入力部２０の操作により、動画撮影の開始指示（例えば、決定スイッチの押下操作）が入力されるまで待機し、当該開始指示が入力されたならば（ステップＳ７；Ｙｅｓ）、撮影部１０を駆動して動画撮影を開始させる（ステップＳ９）。
【００７９】
そして、画像処理部３０は、撮影部１０から随時入力される動画像の画像データから静止画像データ５１を作成して記憶部５０に記憶した後（ステップＳ１１）、当該静止画像データ５１に対してパララックス補正を行う（ステップＳ１７）。
【００８０】
そして、パララックス補正後の、静止画像データ５１に含まれる文字列の抽出を行い（ステップＳ１７）、当該抽出に成功したか否かを判定する（ステップＳ１９）。画像処理部３０は、文字列の抽出に失敗したと判定した場合（ステップＳ１９；Ｎｏ）、静止画像データ５１に対して各種画像処理を施した後に（ステップＳ２１）、再度文字列の抽出を行う。
【００８１】
ステップＳ２３の画像処理では、例えば、静止画像データ５１に含まれる文字列の輪郭を明瞭にするエッジ強調や、静止画像データ５１全体のコントラストの増加（又は低減）させる階調補正を行う。尚、ステップＳ２１で行う画像処理は、エッジ強調や階調補正に限らず、例えば、拡大縮小処理、２値化処理やノイズ除去等、適宜公知技術を採用可能である。
【００８２】
このような画像処理を施した静止画像データ５１に対して文字列の抽出を行って、再度失敗した場合には（ステップＳ１９；Ｎｏ）、他の画像処理を順次施していく（ステップＳ２１→Ｓ２３）。尚、パラメータを変更してエッジ強調を数回行うといったように、同じ種類の画像処理を段階的に行うこととしてもよい。
【００８３】
このため、ステップＳ１１において作成した静止画像データ５１が文字認識に不向きな画像であっても、文字認識しやすい画像となるように画像処理を繰り返し施すことで、文字認識の成功率、即ち、文字認識率の向上を図ることができる。
【００８４】
画像処理部３０は、文字列の抽出に失敗したと判定した際、ステップＳ２１において画像処理を行うが、全ての種類の画像処理を施してしまった場合には（ステップＳ２１；Ｙｅｓ）、ステップＳ９の処理に移行して、再度動画撮影を行ってステップＳ１１〜Ｓ１９の処理を行う。
【００８５】
画像処理部３０が文字列の抽出に成功したと判定した場合（ステップＳ１９；Ｙｅｓ）、言語処理部４０は、抽出文字列５５の言語の種別を判定し（ステップＳ２５）、言語種別５７と抽出文字列５５とを翻訳エンジン６０に伝達する（ステップＳ２７）。
【００８６】
翻訳エンジン６０は、言語種別５７に応じた翻訳ＤＢを選択して、抽出文字列５５に対する訳語を検索する（翻訳処理；ステップＳ２９）。そして、翻訳処理により得られた訳語５９を言語処理部４０に返して記憶部５０に記憶させる。
【００８７】
言語処理部４０は、訳語５９の中から訳語選択条件を満たす訳語を選択、即ち妥当性の高い訳語を選択する（ステップＳ３１）。そして、抽出文字列５５と、選択した訳語（選択訳語）とを出力して表示部７０に表示させる（ステップＳ３３）。
【００８８】
例えば、使用者が図６（ａ）に示した遠景の被写体ＯＢ２を見ながら、レンズ２１０Ｒの中心点Ｐ２を看板ＳＢに合わせてから動作撮影の開始指示を入力すると、撮影部１０が被写体ＯＢ２の撮影を開始する。このとき、ＡＦ機能によりカメラユニット２６０と被写体ＯＢ２との距離が例えば、１００ｍと測定された場合は、測定距離５３が充分に遠い、即ちパララックスが小さいために、ステップＳ１５におけるパララックス補正は行わなくてよい。
【００８９】
そして、静止画像データ５１中から看板ＳＢ上に描かれている「ＨＯＴＥＬ」という文字列が画像処理部３０により抽出される。そして、抽出文字列５５「ＨＯＴＥＬ」の言語種別５７が「英語」と判定されて、英語の翻訳ＤＢから「ＨＯＴＥＬ」に対する訳語が検索される。
【００９０】
表示部７０が、抽出文字列５５「ＨＯＴＥＬ」と、その訳語である「旅館」と「ホテル」とを一覧リストＬＳＴで表示部７０に表示すると、レンズ２１０Ｒを介して被写体ＯＢ２の光学像と、一覧リストＬＳＴの光学像とが使用者の眼Ｅに導かれて、図８（ａ）のような映像が映し出される。このため、使用者は翻訳装置１を装着して、例えば、街中を歩きながら興味のあるものを見ながら動画撮影の開始指示を行うだけで、その訳語を確認することができる。
【００９１】
また、６（ｂ）の使用者が把持した被写体ＯＢ３を見ながら、レンズ２１０Ｒの中心点Ｐ２を「ＨＯＴＥＬ Ｂ」に合わせると、画像処理部３０は、カメラユニット２６０を介して被写体ＯＢ３を撮影する。このとき、カメラユニット２６０と被写体ＯＢ３との距離が例えば３０ｃｍと測定された場合、測定距離５３が近い、即ちパララックスが大きいため、カメラユニット２６０の画角の中心点Ｐ１を使用者の視点の中心点Ｐ２に合わせるようにパララックス補正を行う。
【００９２】
このパララックス補正により、静止画像データ５１上の中心点Ｐ２上にある「ＨＯＴＥＬ」という文字列が画像処理部３０により抽出されて、遠景の被写体ＯＢ２を見た場合と同様に、一覧リストＬＳＴを表示部７０に表示すると、図８（ｂ）のような映像が使用者の眼Ｅに映し出される。
【００９３】
このように、一覧リストＬＳＴ内に、抽出文字列５５が表示されることで、翻訳装置１により文字認識された文字列が所望の文字列であるかを確認することができる。
【００９４】
ステップＳ３３による一覧リストＬＳＴの表示後、使用者は、翻訳装置１により翻訳された文字列が所望の文字列ではなかった、表示された訳語が所望のものではなかった、又は別の文字列の訳語が知りたい場合等に、翻訳継続操作（例えば、決定スイッチの押下操作）を行う。
【００９５】
操作入力部２０は、翻訳継続操作が為されたか否かを判定し（ステップＳ３５）、当該操作が為されたと判定した場合は（ステップＳ３５；Ｙｅｓ）、ステップＳ９の処理へ移行する。また、当該操作が為されなかった場合は（ステップＳ３５；Ｎｏ）、翻訳モードにおける図７の処理を終了する。
【００９６】
尚、図８（ａ）及び（ｂ）のように一覧リストＬＳＴを、使用者の視界の中心点Ｐ２からずらした位置に表示することとしたが、図８（ｃ）に示すように、被写体ＯＢ２の中心位置（使用者の視界の中心）に表示することで、看板ＳＢに重畳表示させることとしてもよい。また、一覧リストＬＳＴの表示する静止画像データ５１の背景の色（背景色）を検出し、一覧リストＬＳＴの表示色を、検出した背景色と異なる色にすることとしてもよい。これにより、例えば、背景色が黒であった場合に、一覧リストＬＳＴの色とすることで、一覧リストＬＳＴが明確になる。
【００９７】
また、ステップＳ３３において抽出文字列５５を使用者の眼Ｅに投射すると共に、当該抽出文字列５５を音声出力することとしてもよい。この場合、翻訳装置１００にイヤホンを設け、更に、記憶部５０に表記文字毎の発音を表す音声データを予め記憶しておく。そして、言語処理部４０が、抽出文字列５５に応じた音声データを読み出して、その音声データを合成して抽出文字列５５の発音を表す音声をイヤホンを介して音声出力する。これにより、使用者は、翻訳しようとする外国語の発音を知ることもできる。尚、翻訳エンジン６０が訳語の発音を表す音声データを訳語毎に記憶し、この音声データを言語処理部４０に出力することとしてもよい。
【００９８】
〔翻訳装置の評価〕
次に、機能仕様の異なる７つの翻訳装置１ａ〜１ｇを用意し、翻訳装置それぞれを評価した評価結果について説明する。先ず、翻訳装置１ａ〜１ｇの評価方法は、次のようにした。
【００９９】
（１）図９（ａ）に示すような模擬セット５００を作成して、分岐点に看板５０２〜５１８を設置する。
（２）看板５０２〜５１８上に、評価者に対する歩行指示（例えば、「右折」、「左折」）を外国語（例えば、韓国語）で表記する。
（３）評価者は、翻訳装置１ａ〜１ｇそれぞれを装着して、模擬セット５００内を歩行する。
（４）評価者は、翻訳装置によって表示される歩行指示の訳語に従って歩行する。
（５）５つの看板に従って歩行して、所定のポジションに到達したら評価を終了し、その到達するまでの所要時間と、歩行の容易性とを評価結果として記録する。
（６）評価者は２０人とする。
（７）評価の都度、看板５０２〜５１８の表記内容は変更する。
（８）翻訳装置の使用方法が分からないことによる時間のロスを軽減するために、各評価者は、同一の翻訳装置を２回ずつ評価して良好な評価結果を評価対象とする。
（９）翻訳装置１ａ〜１ｇそれぞれについての、２０人分の評価結果の平均を取る。
【０１００】
翻訳装置１ａ〜１ｇそれぞれの機能仕様は、図９（ｂ）に示すように変えた。翻訳装置１ａ〜１ｅは、表示手段としてＨＯＥを採用して、パララックス補正処理、ＡＳ機能及び画像処理の組み合わせを変えたものである。特に翻訳装置１ａは、表示手段としてＨＯＥを採用して、パララックス補正、ブレ補正及び画像処理全てを行うものであり、上述した翻訳装置１に相当する。
【０１０１】
また、表示手段として小型のハーフミラーを採用した翻訳装置１ｆと、大型のハーフミラーを採用した翻訳装置１ｇとを用意した。この翻訳装置１ｇは、上述した特許文献１のＨＭＤ装置に相当するものである。
【０１０２】
図９（ｂ）の評価結果によれば、ハーフミラーを採用した翻訳装置１ｆ及び１ｇは、評価者の眼前がハウジングにより覆われてしまうため、視界が暗くなり、更に視野が狭くなるために歩行自体が困難になってしまうという結果が得られた。
【０１０３】
これに対して、ＨＯＥを採用した翻訳装置１ａ〜１ｅは、評価者の視界が開けるため、歩行の容易性に優れているという結果が得られた。また、所定のポジションに到達するまでの所要時間の平均に関し、翻訳装置１ｆ及び１ｇの場合は、４分以上かかってしまうため実用性に欠けていたが、翻訳装置１ａ〜１ｅは、２分未満という良好な結果が得られ、街中や公道等で使用しても大きな影響がないことが分かった。
【０１０４】
また、翻訳装置１ｅにパララック補正、ＡＳ機能及び画像処理それぞれを追加構成した翻訳装置１ｂ〜１ｄは、翻訳装置１ｅよりも平均所要時間が短くなるという結果が得られ、それぞれの機能が有用であることが分かった。また、本実施形態の翻訳装置１に相当する翻訳装置１ａは、動画撮影から訳語の表示までの処理時間を他の翻訳装置１ｂ〜１ｅよりも早くすることができ、翻訳装置１ａ〜１ｇの中で最短の平均所要時間となった。
【０１０５】
以上、本実施形態によれば、静止画像データ５１から文字列を抽出し、当該文字列の訳語を表示部７０に表示することにより、その訳語の光学像がＨＯＥ２１２を介して使用者の眼Ｅに投影される。翻訳装置１を装着した使用者は、レンズ２１０Ｒを介して所望の文字列を見ながら操作入力部２０を操作すると、その文字列の訳語が仮想的に表示されるため、街中を自然に歩きながら違和感なく簡単に外国語の訳語を知ることができる。また、海外旅行先で辞書を引く動作を行わなくても良いため、旅行者であることを分かりにくくすることができ防犯上の効果も得られる。また、従来のように辞書を引いたり、カメラ付き携帯端末で撮影を行う必要がないため、使用者の両手が自由になる。
【０１０６】
また、翻訳装置１は、静止画像データ５１に対してパララックス補正を行うため、使用者の視界の中心にある文字列を適切に抽出することができる。また、撮影部１０に、ＡＳ機能を搭載することで、静止画像データ５１にブレが生ずることを防止できるため、使用者の動きが文字列の抽出に与える影響を低減できる。
【０１０７】
また、文字列の抽出に失敗した場合は、エッジ強調や階調補正等の各種画像処理を順次施して再度文字列の抽出を行う。このように画像処理を施すことで、静止画像データ５１中の文字列を浮き上がらせることができるため、文字抽出の精度を向上させることができる。また、一度文字抽出に失敗したとしても、他の画像処理を順次行って更新される静止画像データ５１に対して文字抽出を行うことで、文字列の抽出に成功しうる確率、即ち文字認識率を向上させることができる。
【０１０８】
〔変形例〕
尚、本実施形態において、使用者の操作入力部２０の操作によって動画撮影を開始することとしたが、例えば、次のようにしてもよい。先ず、使用者の眼球運動を検知して、視線方向を検出する視線検出部を設ける。この視線検出部は、赤外線発光部、赤外線受光部、光学系、演算部等を備えて構成される。
【０１０９】
赤外線発光部から使用者の眼球に対して赤外線を照射し、その反射光を赤外線受光部が受光する。そして、赤外線受光部から得られた反射光に基づいて眼球の瞳孔の中心を抽出して使用者の視線を検出する。画像処理部３０は、視線検出部により検出された使用者の視線の方向が所定時間（例えば、３秒）一定だった場合に、撮影部１０を駆動して動画撮影を開始させる。
【０１１０】
これにより、使用者は、翻訳したい文字列を見つめるといった動作をするだけで、その訳語を確認することができるようになり、コントロールユニット３００を操作する必要がなくなる。
【０１１１】
また、静止画像データ５１に対する画像処理は、ステップＳ１７における文字抽出の後に行うこととしたが、例えば、ステップＳ１５においてパララックス補正を行った後の静止画像データ５１に前処理として画像処理を行うこととしてもよい。これにより、ステップＳ１７〜Ｓ２１で繰り返し行う文字抽出において、最初の文字抽出が成功する確率を高めることができる。
【０１１２】
また、画像処理部３０、言語処理部４０、記憶部５０及び翻訳エンジン６０を、コントロールユニット３００内に設けることとしたが、これら全ての機能部を小型化して表示ユニット２５０内に設けることとしてもよいし、操作入力部２０を表示ユニット２５０に一体的に形成して、翻訳装置１の操作をＨＭＤ２００上で行えるようにしてもよい。
【０１１３】
また、翻訳エンジン６０を翻訳装置１が内蔵することとしたが、例えば、インターネット回線上のサーバに翻訳エンジン６０を設けることとしてもよい。この場合、翻訳装置１は、インターネット回線との通信接続を行う通信部を更に備え、当該通信部を介して翻訳エンジン６０とのデータ通信を行う。翻訳エンジン６０は、上述したように翻訳ＤＢを備えて構成され、その翻訳ＤＢのデータ量は膨大なものである。このように、翻訳エンジン６０を翻訳装置１と別体で設けることにより、翻訳装置１の処理性能を向上させることができる。
【０１１４】
また、サーバに設けられた翻訳エンジン６０は、抽出文字列５５に関する各種情報をインターネット上で検索して、その検索結果を言語処理部４０に返すこととしてもよい。例えば、抽出文字列５５が観光地名であった場合は、その観光地名でインターネット上を検索し、その観光地名に関する情報を言語処理部４０に返す。言語処理部４０は、翻訳エンジン６０から返された観光地名に関する情報を表示部７０に表示させる。このため、使用者は、抽出文字列５５に関する様々な情報を確認することができる。また、サーバ上の翻訳エンジン６０が記憶する内容は、最新のものに更新可能であるため、常に最新の情報を翻訳装置１に表示させることができる。
【０１１５】
また、翻訳エンジン６０に言語処理部４０から伝送された抽出文字列５５と言語種別５７に基づいて訳語の検索を行うこととしたが、例えば、使用者により予め設定されたキーワードを、その訳語の検索に利用することとしてもよい。
【０１１６】
例えば、翻訳ＤＢに記憶された訳語に対してＡ〜Ｃといった難易度が対応付けられているとする。そして、使用者の文字入力キーの操作により「難易度Ｃ」というキーワードが入力された場合は、検索した訳語のうち、難易度がＣのものを選択して言語処理部４０に出力することとしてもよい。また、キーワードとして、「日常会話」が入力された場合は、日常会話で使用される頻度の高いものを検索して出力することとしてもよい。これにより、言語処理部４０に入力される訳語の数を減らし、言語処理部４０における訳語の選択の処理負荷を低減することができる。
【０１１７】
また、翻訳エンジン６０は、単語の抽出文字列５５の訳語を検索することとしたが、抽出文字列５５が文章であった場合には、言語種別５７の文法規則に則って翻訳することとしてもよい。尚、この文法規則に則った翻訳の手法は、公知技術であるためその説明は省略する。
【０１１８】
また、言語処理部４０が、抽出文字列５５の文字種や文字配列から言語種別５７を判定することとしたが、ＧＰＳ衛星から送信されるＧＰＳ信号を受信して、翻訳装置１の現在位置を測位する測位モジュールを設けて、その現在位置に基づいて言語種別５７を判定雨することとしてもよい。より詳しくは、言語処理部４０が、測位モジュールにより測位された現在位置に基づいて翻訳装置１が存在する国を判定する。
【０１１９】
そして、国名（例えば、ドイツ）と、当該国で使用されている言語種別（例えば、独語）とを対応付けて予め記憶した使用言語テーブルから、翻訳装置１が存在する国に対応する言語種別を読み出す。次いで、その読み出した言語種別の翻訳ＤＢを選択して、当該翻訳ＤＢに基づいて抽出文字列５５の訳語を取得する。このように、測位モジュールにより測位された現在位置に基づいて言語種別５７を判定することで、例えば、アルファベットを表記文字とした言語種別である英語、独語、仏語の中から、簡単に言語種別を選択・決定することができる。
【０１２０】
また、ステップＳ９の動画撮影に先だって、撮影部１０のズーム率や露出量等の撮影条件を予め設定することとしてもよい。例えば、外光の強い中、翻訳装置１を使用する場合は、操作入力部２０（設定手段）によって予め露出量を低く設定しておく。また、屋外で翻訳装置１を使用する場合は、ズーム率を高く設定する。このように、動画撮影の前に、撮影条件を適切に設定することで、適切な大きさの文字列を含み、文字列の輪郭が明瞭な静止画像データ５１が得られるようになり、文字認識率の向上が図れる。
【図面の簡単な説明】
【０１２１】
【図１】翻訳装置の斜視図の一例。
【図２】表示ユニット及び接眼光学系の断面図の一例。
【図３】翻訳装置の機能構成の一例を示すブロック図。
【図４】記憶部のデータ構成の一例を示す図。
【図５】パララック補正を説明するための図。
【図６】被写体を遠景及び近景とした際の、使用者の視界の中心と、カメラユニットの画角の中心との位置関係を表す図。
【図７】翻訳装置の具体的な動作を説明するためのフローチャート。
【図８】翻訳装置が使用者の眼に投影する映像の一例。
【図９】翻訳装置の評価を行った模擬セットの一例を示す図（ａ）、評価結果を示す表（ｂ）。
【符号の説明】
【０１２２】
１ 翻訳装置
１０ 撮影部
２０ 操作入力部
３０ 画像処理部
４０ 言語処理部
５０ 記憶部
５１ 静止画像データ
５３ 測定距離
５５ 抽出文字列
５７ 言語種別
５９ 訳語
６０ 翻訳エンジン
７０ 表示部
２２０ 接眼光学系
２１０Ｒ レンズ
２１４ プリズム
２５０ 表示ユニット
２５２ 光源
２５４ 集光レンズ
２５６ 表示パネル
２６０ カメラユニット
２９０ ケーブル
３００ コントロールユニット
３１０ 操作スイッチ
Ｅ 眼
【技術分野】
【０００１】
本発明は、文字列を翻訳して、その文字列の訳語を取得して表示する翻訳装置に関する。
【背景技術】
【０００２】
近年、入力した文字列の訳語を表示する電子辞書や、カメラで撮影した静止画像から文字列を抽出して翻訳表示するカメラ付き携帯端末等の様々な形態の翻訳装置が広く普及し、例えば、外国語の文書の閲読や海外旅行等において利用されている。
【０００３】
翻訳装置の一例としては次のようなものが知られている。即ち、動画像を撮影して、その動画像から静止画像を抽出してエッジの検出を行い、エッジの検出が行えた場合は文字認識を行い、エッジの検出が行えなかった場合は、再度動画像から静止画像を抽出して同処理を繰り返すカメラ付き携帯情報端末である（特許文献１参照）。
【０００４】
また、翻訳装置の一例として、ハーフミラーを採用したヘッドマウントディスプレイ（Head Mount Display；以下、「ＨＭＤ」という。）装置が知られている。このＨＭＤ装置は、ＣＣＤ（Charge Coupled Device）カメラにより撮影された撮影画像の中から、使用者の視線の移動に従って指定された領域の画像を抽出し、その画像内の文字列を抽出する。そして、その抽出した文字列を翻訳して使用者の眼に投射する（特許文献２参照）。
【０００５】
【特許文献１】特開２００３−２１６８９３号公報
【特許文献２】特開２００１−５６４４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＨＭＤ装置には、装着時に違和感がないこと、使用者の視野を狭くしないこと、視野を暗くしないことといった装着性が要求され、使用者に負荷がかからないことが望ましい。
【０００７】
しかし、特許文献２のＨＭＤ装置は、ハーフミラーを採用しているため、使用者の眼前をハウジングで覆い暗部を作らなければならないため、使用者の視野が暗くなってしまう。また、対物レンズを介して現実画像を見るため使用者の視野は制限されてしまう。また、大きなハウジングが眼前にくるため、使用者に圧迫感を与えてしまう。このため、特許文献１のＨＭＤ装置は、使用者に大きな違和感を生じさせてしまい、当該ＨＭＤ装置を装着して街中を歩行することは現実的ではない。
【０００８】
また、電子辞書は、調べたい外国語の文字をわざわざ手入力で入力しなければならなくその操作は煩わしいものである。これに対して特許文献１のカメラ付き携帯端末は、文字の入力の手間を省ける。しかし、使用者は、翻訳したい文字列が含まれた被写体を、カメラ付き携帯端末がエッジ検出できるように、当該端末を用いて適切に撮影しなければならない。しかし、現実には、被写体が遠距離であり文字列が小さく撮影されたり、撮影画像にピンぼけやブレが生じてしまうことがあるように、被写体の画像が不明瞭となってしまった場合には、カメラ付き携帯端末の文字認識が困難となり、文字認識に成功する確率、即ち、文字認識率が低下してしまった。
【０００９】
また、使用者がカメラ付き携帯端末を把持して所望の被写体にカメラを向けて撮影を行わなければならなく、使用者の手を塞いでしまうため、傘や荷物を更に把持する場合には使用者に負担を与えてしまう。また、被写体にカメラを向ける動作は、撮影動作であることが第３者から見ても明らかであるため、使用者に抵抗感を与えてしまう場合があった。このように、特許文献１や２の翻訳装置は実用性に欠けるため、例えば、歩行中に翻訳が多用される海外旅行先での使用には不向きであった。
【００１０】
本発明は、上述した課題に鑑みて為されたものであり、その目的とするところは、文字認識率の向上を図ると共に、使用者の負荷を軽減することで実用性の高い翻訳装置を実現することである。
【課題を解決するための手段】
【００１１】
以上の課題を解決するために、請求項１に記載の翻訳装置は、
被写体を撮影して、撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像の文字認識を行う文字認識手段と、
前記文字認識手段により文字認識された文字列を翻訳して、当該文字列の訳語を取得する翻訳手段と、
前記翻訳手段により取得された訳語の光学像を投射する映像投射手段と、
ホログラフィック光学素子を含む透過型の素材で形成され、前記映像投射手段により投射された光学像を当該ホログラフィック光学素子の光学効果によって使用者の眼に導く接眼光学系と、
を備えることを特徴としている。
【００１２】
請求項２に記載の発明は、請求項１に記載の翻訳装置であって、
前記撮影手段は、前記使用者の視野内の被写体を撮影可能に当該翻訳装置に配設されることを特徴としている。
【００１３】
請求項３に記載の発明は、請求項１又は２に記載の翻訳装置において、
前記使用者の視野の中心位置と、前記撮影画像の中心位置とのズレを推測する推測手段と、
前記推測手段により推測されたズレに基づいて、前記撮影画像の中心位置を前記使用者の視野の中心位置に合わせる補正手段と、を更に備えることを特徴としている。
【００１４】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の翻訳装置において、
前記推測手段は、前記被写体と前記撮影手段との間の距離を測定する測定手段を有し、
前記補正手段は、前記使用者の視野の中心位置と前記撮影手段の中心位置との間の距離と、前記測定手段により測定された距離とに基づいて、前記撮影画像の中心位置を当該使用者の視野の中心位置に合わせることを特徴としている。
【００１５】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の翻訳装置において、
撮影条件を設定する設定手段を更に備え、
前記撮影手段は、前記設定手段により設定された撮影条件に基づいて前記被写体の撮影を行うことを特徴としている。
【００１６】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の翻訳装置において、
前記撮影手段のブレを補正するブレ補正手段を更に備えることを特徴としている。
【００１７】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の翻訳装置において、
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段を更に備え、
前記文字認識手段は、前記画像処理手段により画像処理が施された撮影画像の文字認識を行うことを特徴としている。
【００１８】
請求項８に記載の発明は、請求項１〜７の何れか一項に記載の翻訳装置であって、 前記映像投射手段は、前記文字認識手段により文字認識された文字列の光学像を投射する認識文字投射手段を有することを特徴としている。
【００１９】
請求項９に記載の発明は、請求項１〜８の何れか一項に記載の翻訳装置であって、
前記翻訳手段は、前記文字認識された文字列の訳語を複数取得する複数訳語取得手段を有し、
前記複数訳語取得手段により取得された複数の訳語の中から訳語選択条件を満たす訳語を選択する訳語選択手段を更に備え、
前記映像投射手段は、前記訳語選択手段により選択された訳語の光学像を投射することを特徴としている。
【００２０】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の翻訳装置において、
使用者の頭部に装着可能なメガネ型に形成され、装着時に前記接眼光学系が使用者の眼前に配置することを特徴としている。
【発明の効果】
【００２１】
請求項１に記載の発明によれば、撮影画像を文字認識することで得られた文字列を翻訳して、その文字列の訳語の光学像をホログラフィック光学素子を介して使用者の眼に導く。ホログラフィック光学素子を介することで、使用者の眼に入射する光量を維持でき、また、使用者の視界を遮ることがないため、使用者に与える負荷を軽減できる。また、接眼光学系を介して使用者の眼に訳語を投射することで、使用者の眼に当該訳語を映し出すことができる。このため、使用者は、わざわざ辞書を引いたり、その辞書を参照するために視線を移動したりすることなく、容易に当該訳語を視認することができる。これにより、撮影動作を行う必要がなく使用者の手が自由になる。従って、実用的な翻訳装置が実現でき、使用者は、海外旅行先での観光や買い物を違和感なく快適に楽しむことができるようになる。
【００２２】
請求項２に記載の発明によれば、使用者の視野内の被写体を撮影できるため、使用者が見た被写体に含まれる文字列の訳語を、使用者の眼に投射することができる。従って、使用者は同一の視野内で文字列と、その訳語を視認することができる。
【００２３】
請求項３に記載の発明によれば、請求項１又は２に記載の発明と同様の効果が得られるのは無論のこと、使用者の視野の中心位置と、撮影画像の中心位置とのズレを推測して、撮影画像の中心位置を使用者の視野の中心位置に合わせることで、使用者の視野の中心位置と、撮影画像の中心位置との誤差が補正される。従って、文字認識手段は、使用者の視野の中心位置に対する被写体の文字列を適切に文字認識することができる。
【００２４】
請求項４に記載の発明によれば、請求項１〜３の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、視野の中心位置及び撮影手段の中心位置の間の距離と、被写体及び撮影手段の間の距離とに基づいて、撮影画像の中心位置を、使用者の視野の中心位置に合わせる。これにより、使用者の視野の中心位置と、撮影画像の中心位置との誤差を適切に補正することができる。
【００２５】
請求項５に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影条件を適切に設定することで、明瞭な撮影画像が得られるようになるため、文字認識率を向上させることができる。
【００２６】
請求項６に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影手段のブレを補正するため、撮影画像にブレが生じしてしまうことを低減でき、明瞭な撮影画像が得られる。従って、文字認識率の向上が図れる。
【００２７】
請求項７に記載の発明によれば、請求項１〜６の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、撮影画像に画像処理を施すことで、明瞭な撮影画像が得られるようになる。このため、例えば、文字認識に失敗した場合であっても、撮影画像に画像処理に施すことで、文字認識に成功する確率、即ち文字認識率の向上が図れる。
【００２８】
請求項８に記載の発明によれば、請求項１〜７の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、映像投射手段は、文字認識された文字列の光学像を投射するため、使用者の眼にはその文字列の光学像と、訳語の光学像とが投射される。これにより、使用者は、翻訳の対象となった文字列を容易に視認することができるため、例えば、当該文字列と共に投射された訳語が、所望の文字列の訳語であるかを判断することができる。
【００２９】
請求項９に記載の発明によれば、請求項１〜８の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、複数の訳語の中から訳語選択条件を満たす訳語を選択して、その選択した訳語の光学像を使用者の眼に投射することができる。このため、例えば、翻訳頻度の高い訳語や、一般的に用いられる頻度の高い訳語といった妥当性の高い訳語を投射することができる。
【００３０】
請求項１０に記載の発明によれば、請求項１〜９の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、メガネ型の翻訳装置の装着時に、接眼光学系が使用者の眼前に配置される。このため、使用者は、例えば、日常生活や海外旅行先等で翻訳装置を装着して違和感なく使用することができる。また、使用者の視界を覆ったり、暗くしたりすることもないため、使用者の負荷を軽減することができる。
【発明を実施するための最良の形態】
【００３１】
〔実施形態〕
以下、本発明を実施形態について図１〜図９を参照して詳細に説明する。また、以下の実施形態においては、図１に示すメガネ型の翻訳装置（以下、単に「翻訳装置」と称す。）を例にとって説明するが、その適用可能な範囲は、図示例に限定されないものとする。
【００３２】
〔翻訳装置の概観及び機構〕
図１は、翻訳装置１の斜視図の一例である。図１によれば、翻訳装置１は、使用者の頭部に装着可能に形成されたヘッドマウントディスプレイ（Head Mount Display；以下、「ＨＭＤ」という。）２００と、コントロールユニット３００とがケーブル２９０によって接続されて構成されている。
【００３３】
ＨＭＤ２００は、左右対称に設けられたメガネレンズ（以下、単に「レンズ」という。）２１０Ｒ及び２１０Ｌと、鼻あて２３０Ｒ及び２３０Ｌと、テンプル２４０Ｒ及び２４０Ｌと、ブリッジ２７０とを備えて構成される。
【００３４】
テンプル２４０Ｒ及び２４０Ｌは、使用者の頭部にＨＭＤ２００を支持するための支持部材である。使用者は、テンプル２４０Ｒ及び２４０Ｌそれぞれを側頭部を介して左右の耳介にかけ、鼻あて２３０Ｒ及び２３０Ｌを鼻の付け根部分に載せるように装着すると、レンズ２１０Ｒ及び２１０Ｌそれぞれが左右の眼Ｅの前に配置される。
【００３５】
また、ＨＭＤ２００は、表示ユニット２５０と、カメラユニット２６０とを備えて構成されている。この表示ユニット２５０、カメラユニット２６０及びコントロールユニットは、ケーブル２９０を介して通信可能に接続される。ケーブル２９０は、各ユニット間を電気的に接続する通信媒体である。尚、翻訳装置１００は、ケーブル２９０を介して各種データ通信を行うこととするが、各ユニットに無線通信機を設けて無線方式のデータ通信を行うこととしてもよい。無線方式を採用することで、遊動可能なケーブル２９０が使用者に掛かって邪魔になることなくなる。
【００３６】
表示ユニット２５０（映像投射手段、認識文字投射手段）は、接眼光学系２２０に対して光学像を投射し、レンズ２１０Ｒの上部に設けられる。接眼光学系２２０は、レンズ２１０Ｒと一体的に形成され、表示ユニット２５０から投射された光学像を使用者の眼Ｅに導く機能部である。
【００３７】
接眼光学系２２０により投影された光学像は、使用者の眼Ｅに虚像映像として映し出される。これにより、表示ユニット２５０及び接眼光学系２２０が、仮想的な映像を表示する表示装置として機能することとなる。
【００３８】
図２に、表示ユニット２５０及び接眼光学系２２０の断面図の一例を示す。図２に示すように、表示ユニット２５０は、ＬＥＤ（Light Emitting Diode）等により構成される光源２５２と、コンデンサレンズ等により構成される集光レンズ２５４と、ＬＣＤ（Liquid Crystal Display）等により構成される透過型の表示パネル２５６とが筐体２５８内に保持されて構成される。
【００３９】
光源２５２が、表示パネル２５６へ照射光を出射すると、その照射光は集光レンズ２５４により表示パネル２５６全面に均一に導かれる。プリズム２１４の上面に対して傾斜して配設された表示パネル２５６は、使用者の眼Ｅに映し出すための映像を表示すると、光源２５２からの照明光を受けて、当該映像の光学像、即ち映像光を接眼光学系２２０のプリズム２１４に対して発することとなる。
【００４０】
筐体２５８は、プリズム２１４の上部を狭持するように設けられ、光源２５２、集光レンズ２５４及び表示パネル２５６を覆い保持する。
【００４１】
接眼光学系２２０は、プリズム２１４と、ホログラフィック光学素子（Holographic Optical Element；以下「ＨＯＥ」という。）２１２とを有し、レンズ２１０Ｒと一体的に形成されて構成される。
【００４２】
プリズム２１４は、透明なガラス又は樹脂等からなり、平板状に形成されたものである。プリズム２１４は、右眼用のレンズ２１０Ｒの一部に埋め込まれており、その下端部にＨＯＥ２１２が接合形成されている。ＨＯＥ２１２は、プリズム２１４とレンズ２１０Ｒとをホログラム基板として、その間に挟まれるように配置されている。
【００４３】
ＨＯＥ２１２は、ホログラム基板面に対して平行でない干渉縞からなる２つの干渉縞パターンを有している。ＨＯＥ２１２に入射した光学像は、その干渉縞パターンの回折作用によって回折反射して使用者の眼Ｅに導かれる。
【００４４】
また、表示ユニット２５０は、ケーブル２９０を介してコントロールユニット３００に接続され、コントロールユニット３００からの指示に基づいた映像を表示する。即ち、表示パネル２５６から発せられた映像光が、プリズム２１４により反射を複数回繰り返しながらＨＯＥ２１２に導かれると、ＨＯＥ２１２により回折して平行光に近い光束となって利用者の眼Ｅに入射する。これにより、使用者に対して映像を仮想的に表示せしめることができる。
【００４５】
また、接眼光学系２２０及びレンズ２１０Ｒは、使用者の視界にある像の光学像を透過して、使用者の眼Ｅに導く。このため、使用者の眼Ｅには、レンズ２１０Ｒ前方（図２の矢印Ｖ２の方向）の映像に、表示パネル２５６が表示した映像を重ね合わせた映像が映し出されることとなる。
【００４６】
カメラユニット２６０は、光学レンズ、ＣＣＤ等の光電変換素子と、Ａ／Ｄ変換部とを有して構成される。光学レンズを介して入力される被写体の光学像をＣＣＤにより光電変換する。そして、この光電変換により得られた電気信号を、Ａ／Ｄ変換部によってＡ／Ｄ変換して、デジタルデータの画像データ（撮影画像）を生成する。この光電変換及びＡ／Ｄ変換を連続的に行うことにより、被写体の動画撮影が行われる。
【００４７】
コントロールユニット３００は、図１に示すように、操作スイッチ群３１０を備えて構成される。操作スイッチ３１０は、電源ボタンやカーソルキー、決定スイッチ、モード設定スイッチなどにより構成される。使用者は、この操作スイッチ３１０を押下することにより、翻訳装置１を操作し、翻訳装置１の動作モードの切り替えや動画撮影の開始指示、翻訳の継続指示等を行う。
【００４８】
翻訳装置１の動作モードとしては翻訳モードや音楽モードや道案内モード等が設けられている。翻訳モードは、カメラユニット２６０により撮影・生成された撮影画像に含まれた文字列の訳語を表示するモードである。音楽モードは、記憶部５０に記憶された音楽データを再生して、イヤホン（図示略）から音声出力するモードである。また、道案内モードは、ＧＰＳ受信装置（図示略）により受信したＧＰＳ信号に基づいて現在位置を測位し、記憶部５０に記憶された地図情報に従って当該現在位置から目的地までの地図を表示するモードである。
【００４９】
使用者は、モード設定スイッチを操作することにより、所望の動作モードに切り替える。尚、翻訳装置１の動作モードは、上述した動作モードに限らず、適宜追加変更可能である。
【００５０】
〔翻訳装置の機能構成〕
図３は、翻訳装置１の機能構成の一例を示すブロック図である。図３によれば、翻訳装置１は、撮影部１０、操作入力部２０、画像処理部３０、言語処理部４０、記憶部５０、翻訳エンジン６０及び表示部７０を備えて構成される。また、操作入力部２０、画像処理部３０、言語処理部４０、記憶部５０及び翻訳エンジン６０（翻訳手段）は、コントロールユニット３００内に設けられる。
【００５１】
撮影部１０（撮影手段）は、ガラスやプラスチック等からなる光学レンズプリズムと、ＣＣＤやＣＭＯＳ等の撮像素子と、Ａ／Ｄ変換器とを有して構成される機能部であり、上述したカメラユニット２６０に相当する。撮影部１０は、光学レンズを介して入力される被写体の光学像を撮像素子によりフレーム単位で電気信号に変換して画像データを生成することで動画撮影を行い、そのフレーム単位の画像データを随時画像処理部３０に出力する。
【００５２】
また、撮影部１０は、複数の光学レンズプリズムを組み合わせたり、光学レンズプリズムと撮像素子との距離を調整したりすることにより、ピント（焦点）を自動的に合わせるオートフォーカス（Auto Focus；以下、「ＡＦ」と略す。）機能を実現する。本実施形態では、ピントが合っていないときに撮像素子上のコントラストが低下することを利用してピント合わせを行う所謂パッシブ方式によりＡＦ機能を実現する。そして、撮影部１０（測定手段）は、ＡＦ機能によるピント調整の結果に基づいて焦点距離を取得し、この焦点距離から撮影部１０から被写体までの距離を測定する。この測定した距離（測定距離５３）は、後述するパララックス補正に用いられる。
【００５３】
尚、ＡＦ機能の実現方法及び被写体までの距離の測定方法として、パッシブ方式を採用することとしたが、撮影部１０に赤外線照射部を設けて、被写体に向けて照射した赤外線の反射を利用して被写体との距離を測定し、ピント合わせを行うアクティブ方式を採用することとしても勿論よい。
【００５４】
また、撮影部１０（ブレ補正手段）は、角速度センサを有して構成され、当該角速度センサによりアンチシェイク（Anti Shake；以下、「ＡＳ」という。）機能を有している。ＡＳ機能は、撮影時のブレを補正する機能であり、次のようにして実現される。即ち、角速度センサによりブレの量、速度及び方向を検知して、光学レンズの画角特性に合わせてＣＣＤ上でのズレ量をリアルタイムで算出する。そして、そのズレ量に基づいてＣＣＤを上下左右に駆動することでブレを解消する。このＡＳ機能により、使用者の頭部の動きや細かな振動によるブレを補正することで、より明瞭な撮影画像が得られるようになる。
【００５５】
尚、ズレ量に基づいてＣＣＤを駆動するＣＣＤシフト方式によりＡＳ機能を実現することとしたが、例えば、ブレ量に基づいて光学レンズプリズムを動かすことでブレを補正する光学式により実現することとしてもよい。
【００５６】
操作入力部２０は、上述した操作スイッチ３１０や、文字入力キー、カーソルキー備えて構成され、使用者により押下されたスイッチの押下信号を出力する入力装置である。
【００５７】
画像処理部３０（画像処理手段）は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成され、ＣＰＵが、ＲＯＭに記憶された各種プログラムをＲＡＭに展開することで、当該プログラムに従った処理を実行する。特に、画像処理部３０は、動画像の画像データからの静止画像データの作成、パララックス補正処理、静止画像データのコントラストを強調する画像処理、文字認識処理等を行う。
【００５８】
ここで、画像処理部３０の動作を説明すると次のようになる。即ち、画像処理部３０は、使用者の操作入力部２０の押下により動作撮影の開始指示を示す操作信号が入力されると、撮影部１０を駆動して動画撮影を開始させる。そして、撮影部１０から随時入力されてくる動画像の画像データから静止画像の画像データ（以下、静止画像の画像データを「静止画像データ」という。）を作成して、静止画像データ５１として記憶部５０に記憶させる。
【００５９】
この静止画像データの作成方法は、適宜公知技術を採用可能であり、例えば、撮影部１０から入力されたフレーム単位の画像データから、任意のタイミングの画像データを選択して取得することで静止画像データ５１としてもよいし、数フレーム分（例えば、３フレーム分）の画像データを取得して、それらの画像データを合成することで静止画像データ５１を作成することとしてもよい。
【００６０】
この画像処理部３０が作成した静止画像データ５１、即ち、撮影画像の中心位置と、使用者がレンズ２１０Ｒを介して見た被写体の中心位置とには、カメラユニット２６０とレンズ２１０ＲとのＨＭＤ１００上における設置位置の違いから視差（パララックス）が生じる。
【００６１】
より具体的には、例えば、図６（ａ）のように遠景の景色を被写体ＯＢ２として、被写体ＯＢ２とＨＭＤ１００との距離が充分に長い場合、カメラユニット２６０の画角の中心点Ｐ１は、レンズ２１０Ｒを介した使用者の視界の中心点Ｐ２（レンズ２１０Ｒの画角の中心位置）と略同一となり、パララックスの影響は小さい。
【００６２】
しかし、例えば、図６（ｂ）のように、使用者が把持した文書を被写体ＯＢ３として、ＨＭＤ１００と被写体ＯＢ２との距離が近ければ近いほど、カメラユニット２６０の画角の中心点Ｐ１と、レンズ２１０Ｒを介した使用者の視界の中心点Ｐ２とのパララックスが大きくなる。
【００６３】
そこで、画像処理部３０は、レンズ２１０Ｒに対する被写体の中心点Ｐ２（使用者の視点の中心）に合わせるように、カメラユニット２６０の画角の中心点Ｐ１（カメラユニット２６０の視点）を補正するパララックス補正を行う。パララックス補正は公知の手法であるが、簡単に説明すると次のようになる。
【００６４】
先ず、図５（ｂ）に示すように、カメラユニット２６０の前方方向（矢印Ｖ１の方向）の中心点Ｐ１と当該カメラユニット２６０との距離Ｄ１（測定距離５３）を、上述したＡＦ機能を用いて撮影部１０が測定する。そして、画像処理部３０（距離算出手段）は、カメラユニット２６０の中心とレンズ２１０Ｒの中心との距離Ｄ２と測定した距離Ｄ１とから、三角関数を用いることにより、なす角Ｒを算出する。このなす角Ｒは、カメラユニット２６０からレンズ２１０Ｒの前方方向Ｖ２の方向の中心点Ｐ２に対する方向Ｖ３と、カメラユニット２６０の前方方向Ｖ１とのなす角である。画像処理部３０（推測手段、補正手段）は、静止画像データ５１をなす角Ｒに基づいてずらすことで、静止画像データ５１の中心位置（撮影画像の中心位置）をレンズ２１０Ｒから見た被写体ＯＢ１の中心点Ｐ２の位置（使用者の視野の中心位置）に合わせる。
【００６５】
画像処理部３０は、パララックス補正を行って静止画像データ５１を更新する。このパララックス補正により、レンズ２１０Ｒの中心点を介して使用者の眼Ｅに映し出される文字列と、画像処理部３０が文字認識の対象とする文字列とを一致させることができる。
【００６６】
画像処理部３０（文字認識手段）は、静止画像データ５１の周辺部位を切り出して（カットして）、残りの一定領域に対して文字認識を行う。具体的には、予めアルファベットやハングル文字等といった外国語の表記文字のテンプレートを用意しておく。そして、静止画像データ５１の中心の一定領域内における画素毎に当該テンプレートと比較する。その比較の結果、テンプレートの文字と略一致した場合には、当該テンプレートの文字が静止画像データ５１中に含まれているとして抽出する。尚、この文字認識の手法は、パターンマッチングに限らず、ゾンデ法やストロークアナリシス法など適宜公知技術を採用可能である。画像処理部３０は、文字認識により抽出した文字列を抽出文字列５５として記憶部５０に記憶させる。
【００６７】
言語処理部４０は、ＣＰＵやＲＯＭ、ＲＡＭ等を備えて構成され、抽出文字列５５の言語種別５７の判定と、翻訳エンジン６０により取得された複数の訳語から訳語選択条件に基づいた訳語の選択と、表示部７０に対する訳語の表示制御等を行う。
【００６８】
言語処理部４０の具体的な動作は次のようになる。先ず、画像処理部３０により抽出された抽出文字列５５内の個々の文字の表記形式と、文字の配列等から言語の種別を決定する。例えば、抽出文字列５５の表記形式から文字種がハングル文字であれば言語の種別を韓国語として判定して、言語種別５７として記憶部５０に記憶する。また、抽出文字列５５の文字種がアルファベットであった場合は、個々のアルファベットの配列から英語、独語、仏語等といった言語種別５７を判定する。
【００６９】
そして、記憶部５０に記憶された抽出文字列５５及び言語種別５７を翻訳エンジン６０に送信し、翻訳エンジン６０の翻訳処理の結果得られた抽出文字列５５の訳語を受信して記憶部５０に記憶させる。言語処理部４０は、訳語５９が複数ある場合は、一般的に使用頻度の高い訳語であるという訳語選択条件を満たす訳語を選択する。
【００７０】
訳語選択条件としては、例えば、観光、英文学等の使用者の翻訳装置１の使用目的に応じた分野に関わるか否か、過去に翻訳エンジン６０によって取得された訳語の分野に近似するか否か等があり適宜変更可能である。このように訳語選択条件を満たす訳語を選択することで、表示する訳語を使用者の使用目的に近いものや、よく使われるもの等に制限することができる。
【００７１】
言語処理部４０（訳語選択手段）は、訳語選択条件を満たす訳語５９を選択した後、当該訳語５９と、抽出文字列５５とを、例えば、図８の一覧リストＬＳＴように表示させるための表示データを生成して表示部７０に出力する。
【００７２】
記憶部５０は、光学的又は磁気的な記憶媒体にデータの読み書きを行う機能部であり、例えば、ＨＤＤ（Hard Disk Drive）等により構成される。図４は、記憶部５０のデータ構成の一例を示す図である。図４によれば、記憶部５０は、静止画像データ５１、測定距離５３、抽出文字列５５、言語種別５７及び訳語５９を記憶している。
【００７３】
翻訳エンジン６０（翻訳手段、複数訳語取得手段）は、ＣＰＵやＲＯＭ、ＲＡＭ等の他に、翻訳データベース（以下、データベースを「ＤＢ」という。）を備えて構成され、言語処理部４０から入力された抽出文字列５５の言語種別５７とに基づいて、抽出文字列５５の訳語を翻訳データベースから検索して、その検索結果を全て言語処理部４０に出力する。
【００７４】
翻訳ＤＢは、見出語と、当該見出語の訳語（和語）とを対応付けて記憶するデータテーブルであり、言語種別毎に設けられている。例えば、言語処理部４０から出力された言語種別５７が韓国語であった場合、翻訳エンジン６０は、韓国語の翻訳ＤＢを選択し、この翻訳ＤＢに記憶された見出語の中から、抽出文字列５５と一致する見出語を検索する。そして、一致する見出語があったならば、当該見出語に対応する訳語を翻訳ＤＢから読み出して言語処理部４０に出力する。
【００７５】
表示部７０は、言語処理部４０から入力される表示データに基づいて各種画面を表示させるものであり、図２に示した表示パネル２５６に相当する。静止画像データ５１の中から抽出された文字列の訳語が表示部７０に表示されることで、当該訳語の光学像が接眼光学系２２０を介して使用者の眼Ｅに映し出されることとなる。
【００７６】
〔翻訳装置の具体的な動作〕
次に、翻訳装置１の具体的な動作について図７のフローチャートを用い、図８を参照しつつ説明する。
【００７７】
先ず、使用者のモード設定スイッチの操作に従って動作モードの設定を行い（モード設定処理；ステップＳ１）、操作入力部２０は、翻訳モードが選択されたと判定した場合は（ステップＳ３；Ｙｅｓ）、翻訳モードＯＮを示す操作信号を画像処理部３０に出力する。また、他の動作モードが選択されたと判定した場合には（ステップＳ３；Ｎｏ）、当該動作モードに応じた処理を開始する（ステップＳ５）。
【００７８】
画像処理部３０は、使用者の操作入力部２０の操作により、動画撮影の開始指示（例えば、決定スイッチの押下操作）が入力されるまで待機し、当該開始指示が入力されたならば（ステップＳ７；Ｙｅｓ）、撮影部１０を駆動して動画撮影を開始させる（ステップＳ９）。
【００７９】
そして、画像処理部３０は、撮影部１０から随時入力される動画像の画像データから静止画像データ５１を作成して記憶部５０に記憶した後（ステップＳ１１）、当該静止画像データ５１に対してパララックス補正を行う（ステップＳ１７）。
【００８０】
そして、パララックス補正後の、静止画像データ５１に含まれる文字列の抽出を行い（ステップＳ１７）、当該抽出に成功したか否かを判定する（ステップＳ１９）。画像処理部３０は、文字列の抽出に失敗したと判定した場合（ステップＳ１９；Ｎｏ）、静止画像データ５１に対して各種画像処理を施した後に（ステップＳ２１）、再度文字列の抽出を行う。
【００８１】
ステップＳ２３の画像処理では、例えば、静止画像データ５１に含まれる文字列の輪郭を明瞭にするエッジ強調や、静止画像データ５１全体のコントラストの増加（又は低減）させる階調補正を行う。尚、ステップＳ２１で行う画像処理は、エッジ強調や階調補正に限らず、例えば、拡大縮小処理、２値化処理やノイズ除去等、適宜公知技術を採用可能である。
【００８２】
このような画像処理を施した静止画像データ５１に対して文字列の抽出を行って、再度失敗した場合には（ステップＳ１９；Ｎｏ）、他の画像処理を順次施していく（ステップＳ２１→Ｓ２３）。尚、パラメータを変更してエッジ強調を数回行うといったように、同じ種類の画像処理を段階的に行うこととしてもよい。
【００８３】
このため、ステップＳ１１において作成した静止画像データ５１が文字認識に不向きな画像であっても、文字認識しやすい画像となるように画像処理を繰り返し施すことで、文字認識の成功率、即ち、文字認識率の向上を図ることができる。
【００８４】
画像処理部３０は、文字列の抽出に失敗したと判定した際、ステップＳ２１において画像処理を行うが、全ての種類の画像処理を施してしまった場合には（ステップＳ２１；Ｙｅｓ）、ステップＳ９の処理に移行して、再度動画撮影を行ってステップＳ１１〜Ｓ１９の処理を行う。
【００８５】
画像処理部３０が文字列の抽出に成功したと判定した場合（ステップＳ１９；Ｙｅｓ）、言語処理部４０は、抽出文字列５５の言語の種別を判定し（ステップＳ２５）、言語種別５７と抽出文字列５５とを翻訳エンジン６０に伝達する（ステップＳ２７）。
【００８６】
翻訳エンジン６０は、言語種別５７に応じた翻訳ＤＢを選択して、抽出文字列５５に対する訳語を検索する（翻訳処理；ステップＳ２９）。そして、翻訳処理により得られた訳語５９を言語処理部４０に返して記憶部５０に記憶させる。
【００８７】
言語処理部４０は、訳語５９の中から訳語選択条件を満たす訳語を選択、即ち妥当性の高い訳語を選択する（ステップＳ３１）。そして、抽出文字列５５と、選択した訳語（選択訳語）とを出力して表示部７０に表示させる（ステップＳ３３）。
【００８８】
例えば、使用者が図６（ａ）に示した遠景の被写体ＯＢ２を見ながら、レンズ２１０Ｒの中心点Ｐ２を看板ＳＢに合わせてから動作撮影の開始指示を入力すると、撮影部１０が被写体ＯＢ２の撮影を開始する。このとき、ＡＦ機能によりカメラユニット２６０と被写体ＯＢ２との距離が例えば、１００ｍと測定された場合は、測定距離５３が充分に遠い、即ちパララックスが小さいために、ステップＳ１５におけるパララックス補正は行わなくてよい。
【００８９】
そして、静止画像データ５１中から看板ＳＢ上に描かれている「ＨＯＴＥＬ」という文字列が画像処理部３０により抽出される。そして、抽出文字列５５「ＨＯＴＥＬ」の言語種別５７が「英語」と判定されて、英語の翻訳ＤＢから「ＨＯＴＥＬ」に対する訳語が検索される。
【００９０】
表示部７０が、抽出文字列５５「ＨＯＴＥＬ」と、その訳語である「旅館」と「ホテル」とを一覧リストＬＳＴで表示部７０に表示すると、レンズ２１０Ｒを介して被写体ＯＢ２の光学像と、一覧リストＬＳＴの光学像とが使用者の眼Ｅに導かれて、図８（ａ）のような映像が映し出される。このため、使用者は翻訳装置１を装着して、例えば、街中を歩きながら興味のあるものを見ながら動画撮影の開始指示を行うだけで、その訳語を確認することができる。
【００９１】
また、６（ｂ）の使用者が把持した被写体ＯＢ３を見ながら、レンズ２１０Ｒの中心点Ｐ２を「ＨＯＴＥＬ Ｂ」に合わせると、画像処理部３０は、カメラユニット２６０を介して被写体ＯＢ３を撮影する。このとき、カメラユニット２６０と被写体ＯＢ３との距離が例えば３０ｃｍと測定された場合、測定距離５３が近い、即ちパララックスが大きいため、カメラユニット２６０の画角の中心点Ｐ１を使用者の視点の中心点Ｐ２に合わせるようにパララックス補正を行う。
【００９２】
このパララックス補正により、静止画像データ５１上の中心点Ｐ２上にある「ＨＯＴＥＬ」という文字列が画像処理部３０により抽出されて、遠景の被写体ＯＢ２を見た場合と同様に、一覧リストＬＳＴを表示部７０に表示すると、図８（ｂ）のような映像が使用者の眼Ｅに映し出される。
【００９３】
このように、一覧リストＬＳＴ内に、抽出文字列５５が表示されることで、翻訳装置１により文字認識された文字列が所望の文字列であるかを確認することができる。
【００９４】
ステップＳ３３による一覧リストＬＳＴの表示後、使用者は、翻訳装置１により翻訳された文字列が所望の文字列ではなかった、表示された訳語が所望のものではなかった、又は別の文字列の訳語が知りたい場合等に、翻訳継続操作（例えば、決定スイッチの押下操作）を行う。
【００９５】
操作入力部２０は、翻訳継続操作が為されたか否かを判定し（ステップＳ３５）、当該操作が為されたと判定した場合は（ステップＳ３５；Ｙｅｓ）、ステップＳ９の処理へ移行する。また、当該操作が為されなかった場合は（ステップＳ３５；Ｎｏ）、翻訳モードにおける図７の処理を終了する。
【００９６】
尚、図８（ａ）及び（ｂ）のように一覧リストＬＳＴを、使用者の視界の中心点Ｐ２からずらした位置に表示することとしたが、図８（ｃ）に示すように、被写体ＯＢ２の中心位置（使用者の視界の中心）に表示することで、看板ＳＢに重畳表示させることとしてもよい。また、一覧リストＬＳＴの表示する静止画像データ５１の背景の色（背景色）を検出し、一覧リストＬＳＴの表示色を、検出した背景色と異なる色にすることとしてもよい。これにより、例えば、背景色が黒であった場合に、一覧リストＬＳＴの色とすることで、一覧リストＬＳＴが明確になる。
【００９７】
また、ステップＳ３３において抽出文字列５５を使用者の眼Ｅに投射すると共に、当該抽出文字列５５を音声出力することとしてもよい。この場合、翻訳装置１００にイヤホンを設け、更に、記憶部５０に表記文字毎の発音を表す音声データを予め記憶しておく。そして、言語処理部４０が、抽出文字列５５に応じた音声データを読み出して、その音声データを合成して抽出文字列５５の発音を表す音声をイヤホンを介して音声出力する。これにより、使用者は、翻訳しようとする外国語の発音を知ることもできる。尚、翻訳エンジン６０が訳語の発音を表す音声データを訳語毎に記憶し、この音声データを言語処理部４０に出力することとしてもよい。
【００９８】
〔翻訳装置の評価〕
次に、機能仕様の異なる７つの翻訳装置１ａ〜１ｇを用意し、翻訳装置それぞれを評価した評価結果について説明する。先ず、翻訳装置１ａ〜１ｇの評価方法は、次のようにした。
【００９９】
（１）図９（ａ）に示すような模擬セット５００を作成して、分岐点に看板５０２〜５１８を設置する。
（２）看板５０２〜５１８上に、評価者に対する歩行指示（例えば、「右折」、「左折」）を外国語（例えば、韓国語）で表記する。
（３）評価者は、翻訳装置１ａ〜１ｇそれぞれを装着して、模擬セット５００内を歩行する。
（４）評価者は、翻訳装置によって表示される歩行指示の訳語に従って歩行する。
（５）５つの看板に従って歩行して、所定のポジションに到達したら評価を終了し、その到達するまでの所要時間と、歩行の容易性とを評価結果として記録する。
（６）評価者は２０人とする。
（７）評価の都度、看板５０２〜５１８の表記内容は変更する。
（８）翻訳装置の使用方法が分からないことによる時間のロスを軽減するために、各評価者は、同一の翻訳装置を２回ずつ評価して良好な評価結果を評価対象とする。
（９）翻訳装置１ａ〜１ｇそれぞれについての、２０人分の評価結果の平均を取る。
【０１００】
翻訳装置１ａ〜１ｇそれぞれの機能仕様は、図９（ｂ）に示すように変えた。翻訳装置１ａ〜１ｅは、表示手段としてＨＯＥを採用して、パララックス補正処理、ＡＳ機能及び画像処理の組み合わせを変えたものである。特に翻訳装置１ａは、表示手段としてＨＯＥを採用して、パララックス補正、ブレ補正及び画像処理全てを行うものであり、上述した翻訳装置１に相当する。
【０１０１】
また、表示手段として小型のハーフミラーを採用した翻訳装置１ｆと、大型のハーフミラーを採用した翻訳装置１ｇとを用意した。この翻訳装置１ｇは、上述した特許文献１のＨＭＤ装置に相当するものである。
【０１０２】
図９（ｂ）の評価結果によれば、ハーフミラーを採用した翻訳装置１ｆ及び１ｇは、評価者の眼前がハウジングにより覆われてしまうため、視界が暗くなり、更に視野が狭くなるために歩行自体が困難になってしまうという結果が得られた。
【０１０３】
これに対して、ＨＯＥを採用した翻訳装置１ａ〜１ｅは、評価者の視界が開けるため、歩行の容易性に優れているという結果が得られた。また、所定のポジションに到達するまでの所要時間の平均に関し、翻訳装置１ｆ及び１ｇの場合は、４分以上かかってしまうため実用性に欠けていたが、翻訳装置１ａ〜１ｅは、２分未満という良好な結果が得られ、街中や公道等で使用しても大きな影響がないことが分かった。
【０１０４】
また、翻訳装置１ｅにパララック補正、ＡＳ機能及び画像処理それぞれを追加構成した翻訳装置１ｂ〜１ｄは、翻訳装置１ｅよりも平均所要時間が短くなるという結果が得られ、それぞれの機能が有用であることが分かった。また、本実施形態の翻訳装置１に相当する翻訳装置１ａは、動画撮影から訳語の表示までの処理時間を他の翻訳装置１ｂ〜１ｅよりも早くすることができ、翻訳装置１ａ〜１ｇの中で最短の平均所要時間となった。
【０１０５】
以上、本実施形態によれば、静止画像データ５１から文字列を抽出し、当該文字列の訳語を表示部７０に表示することにより、その訳語の光学像がＨＯＥ２１２を介して使用者の眼Ｅに投影される。翻訳装置１を装着した使用者は、レンズ２１０Ｒを介して所望の文字列を見ながら操作入力部２０を操作すると、その文字列の訳語が仮想的に表示されるため、街中を自然に歩きながら違和感なく簡単に外国語の訳語を知ることができる。また、海外旅行先で辞書を引く動作を行わなくても良いため、旅行者であることを分かりにくくすることができ防犯上の効果も得られる。また、従来のように辞書を引いたり、カメラ付き携帯端末で撮影を行う必要がないため、使用者の両手が自由になる。
【０１０６】
また、翻訳装置１は、静止画像データ５１に対してパララックス補正を行うため、使用者の視界の中心にある文字列を適切に抽出することができる。また、撮影部１０に、ＡＳ機能を搭載することで、静止画像データ５１にブレが生ずることを防止できるため、使用者の動きが文字列の抽出に与える影響を低減できる。
【０１０７】
また、文字列の抽出に失敗した場合は、エッジ強調や階調補正等の各種画像処理を順次施して再度文字列の抽出を行う。このように画像処理を施すことで、静止画像データ５１中の文字列を浮き上がらせることができるため、文字抽出の精度を向上させることができる。また、一度文字抽出に失敗したとしても、他の画像処理を順次行って更新される静止画像データ５１に対して文字抽出を行うことで、文字列の抽出に成功しうる確率、即ち文字認識率を向上させることができる。
【０１０８】
〔変形例〕
尚、本実施形態において、使用者の操作入力部２０の操作によって動画撮影を開始することとしたが、例えば、次のようにしてもよい。先ず、使用者の眼球運動を検知して、視線方向を検出する視線検出部を設ける。この視線検出部は、赤外線発光部、赤外線受光部、光学系、演算部等を備えて構成される。
【０１０９】
赤外線発光部から使用者の眼球に対して赤外線を照射し、その反射光を赤外線受光部が受光する。そして、赤外線受光部から得られた反射光に基づいて眼球の瞳孔の中心を抽出して使用者の視線を検出する。画像処理部３０は、視線検出部により検出された使用者の視線の方向が所定時間（例えば、３秒）一定だった場合に、撮影部１０を駆動して動画撮影を開始させる。
【０１１０】
これにより、使用者は、翻訳したい文字列を見つめるといった動作をするだけで、その訳語を確認することができるようになり、コントロールユニット３００を操作する必要がなくなる。
【０１１１】
また、静止画像データ５１に対する画像処理は、ステップＳ１７における文字抽出の後に行うこととしたが、例えば、ステップＳ１５においてパララックス補正を行った後の静止画像データ５１に前処理として画像処理を行うこととしてもよい。これにより、ステップＳ１７〜Ｓ２１で繰り返し行う文字抽出において、最初の文字抽出が成功する確率を高めることができる。
【０１１２】
また、画像処理部３０、言語処理部４０、記憶部５０及び翻訳エンジン６０を、コントロールユニット３００内に設けることとしたが、これら全ての機能部を小型化して表示ユニット２５０内に設けることとしてもよいし、操作入力部２０を表示ユニット２５０に一体的に形成して、翻訳装置１の操作をＨＭＤ２００上で行えるようにしてもよい。
【０１１３】
また、翻訳エンジン６０を翻訳装置１が内蔵することとしたが、例えば、インターネット回線上のサーバに翻訳エンジン６０を設けることとしてもよい。この場合、翻訳装置１は、インターネット回線との通信接続を行う通信部を更に備え、当該通信部を介して翻訳エンジン６０とのデータ通信を行う。翻訳エンジン６０は、上述したように翻訳ＤＢを備えて構成され、その翻訳ＤＢのデータ量は膨大なものである。このように、翻訳エンジン６０を翻訳装置１と別体で設けることにより、翻訳装置１の処理性能を向上させることができる。
【０１１４】
また、サーバに設けられた翻訳エンジン６０は、抽出文字列５５に関する各種情報をインターネット上で検索して、その検索結果を言語処理部４０に返すこととしてもよい。例えば、抽出文字列５５が観光地名であった場合は、その観光地名でインターネット上を検索し、その観光地名に関する情報を言語処理部４０に返す。言語処理部４０は、翻訳エンジン６０から返された観光地名に関する情報を表示部７０に表示させる。このため、使用者は、抽出文字列５５に関する様々な情報を確認することができる。また、サーバ上の翻訳エンジン６０が記憶する内容は、最新のものに更新可能であるため、常に最新の情報を翻訳装置１に表示させることができる。
【０１１５】
また、翻訳エンジン６０に言語処理部４０から伝送された抽出文字列５５と言語種別５７に基づいて訳語の検索を行うこととしたが、例えば、使用者により予め設定されたキーワードを、その訳語の検索に利用することとしてもよい。
【０１１６】
例えば、翻訳ＤＢに記憶された訳語に対してＡ〜Ｃといった難易度が対応付けられているとする。そして、使用者の文字入力キーの操作により「難易度Ｃ」というキーワードが入力された場合は、検索した訳語のうち、難易度がＣのものを選択して言語処理部４０に出力することとしてもよい。また、キーワードとして、「日常会話」が入力された場合は、日常会話で使用される頻度の高いものを検索して出力することとしてもよい。これにより、言語処理部４０に入力される訳語の数を減らし、言語処理部４０における訳語の選択の処理負荷を低減することができる。
【０１１７】
また、翻訳エンジン６０は、単語の抽出文字列５５の訳語を検索することとしたが、抽出文字列５５が文章であった場合には、言語種別５７の文法規則に則って翻訳することとしてもよい。尚、この文法規則に則った翻訳の手法は、公知技術であるためその説明は省略する。
【０１１８】
また、言語処理部４０が、抽出文字列５５の文字種や文字配列から言語種別５７を判定することとしたが、ＧＰＳ衛星から送信されるＧＰＳ信号を受信して、翻訳装置１の現在位置を測位する測位モジュールを設けて、その現在位置に基づいて言語種別５７を判定雨することとしてもよい。より詳しくは、言語処理部４０が、測位モジュールにより測位された現在位置に基づいて翻訳装置１が存在する国を判定する。
【０１１９】
そして、国名（例えば、ドイツ）と、当該国で使用されている言語種別（例えば、独語）とを対応付けて予め記憶した使用言語テーブルから、翻訳装置１が存在する国に対応する言語種別を読み出す。次いで、その読み出した言語種別の翻訳ＤＢを選択して、当該翻訳ＤＢに基づいて抽出文字列５５の訳語を取得する。このように、測位モジュールにより測位された現在位置に基づいて言語種別５７を判定することで、例えば、アルファベットを表記文字とした言語種別である英語、独語、仏語の中から、簡単に言語種別を選択・決定することができる。
【０１２０】
また、ステップＳ９の動画撮影に先だって、撮影部１０のズーム率や露出量等の撮影条件を予め設定することとしてもよい。例えば、外光の強い中、翻訳装置１を使用する場合は、操作入力部２０（設定手段）によって予め露出量を低く設定しておく。また、屋外で翻訳装置１を使用する場合は、ズーム率を高く設定する。このように、動画撮影の前に、撮影条件を適切に設定することで、適切な大きさの文字列を含み、文字列の輪郭が明瞭な静止画像データ５１が得られるようになり、文字認識率の向上が図れる。
【図面の簡単な説明】
【０１２１】
【図１】翻訳装置の斜視図の一例。
【図２】表示ユニット及び接眼光学系の断面図の一例。
【図３】翻訳装置の機能構成の一例を示すブロック図。
【図４】記憶部のデータ構成の一例を示す図。
【図５】パララック補正を説明するための図。
【図６】被写体を遠景及び近景とした際の、使用者の視界の中心と、カメラユニットの画角の中心との位置関係を表す図。
【図７】翻訳装置の具体的な動作を説明するためのフローチャート。
【図８】翻訳装置が使用者の眼に投影する映像の一例。
【図９】翻訳装置の評価を行った模擬セットの一例を示す図（ａ）、評価結果を示す表（ｂ）。
【符号の説明】
【０１２２】
１ 翻訳装置
１０ 撮影部
２０ 操作入力部
３０ 画像処理部
４０ 言語処理部
５０ 記憶部
５１ 静止画像データ
５３ 測定距離
５５ 抽出文字列
５７ 言語種別
５９ 訳語
６０ 翻訳エンジン
７０ 表示部
２２０ 接眼光学系
２１０Ｒ レンズ
２１４ プリズム
２５０ 表示ユニット
２５２ 光源
２５４ 集光レンズ
２５６ 表示パネル
２６０ カメラユニット
２９０ ケーブル
３００ コントロールユニット
３１０ 操作スイッチ
Ｅ 眼
【特許請求の範囲】
【請求項１】
被写体を撮影して、撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像の文字認識を行う文字認識手段と、
前記文字認識手段により文字認識された文字列を翻訳して、当該文字列の訳語を取得する翻訳手段と、
前記翻訳手段により取得された訳語の光学像を投射する映像投射手段と、
ホログラフィック光学素子を含む透過型の素材で形成され、前記映像投射手段により投射された光学像を当該ホログラフィック光学素子の光学効果によって使用者の眼に導く接眼光学系と、
を備えることを特徴とする翻訳装置。
【請求項２】
前記撮影手段は、前記使用者の視野内の被写体を撮影可能に当該翻訳装置に配設されることを特徴とする請求項１に記載の翻訳装置。
【請求項３】
前記使用者の視野の中心位置と、前記撮影画像の中心位置とのズレを推測する推測手段と、
前記推測手段により推測されたズレに基づいて、前記撮影画像の中心位置を前記使用者の視野の中心位置に合わせる補正手段と、
を更に備えることを特徴とする請求項１又は２に記載の翻訳装置。
【請求項４】
前記推測手段は、前記被写体と前記撮影手段との間の距離を測定する測定手段を有し、
前記補正手段は、前記使用者の視野の中心位置と前記撮影手段の中心位置との間の距離と、前記測定手段により測定された距離とに基づいて、前記撮影画像の中心位置を当該使用者の視野の中心位置に合わせることを特徴とする請求項１〜３の何れか一項に記載の翻訳装置。
【請求項５】
撮影条件を設定する設定手段を更に備え、
前記撮影手段は、前記設定手段により設定された撮影条件に基づいて前記被写体の撮影を行うことを特徴とする請求項１〜４の何れか一項に記載の翻訳装置。
【請求項６】
前記撮影手段のブレを補正するブレ補正手段を更に備えることを特徴とする請求項１〜５に記載の翻訳装置。
【請求項７】
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段を更に備え、
前記文字認識手段は、前記画像処理手段により画像処理が施された撮影画像の文字認識を行うことを特徴とする請求項１〜６の何れか一項に記載の翻訳装置。
【請求項８】
前記映像投射手段は、前記文字認識手段により文字認識された文字列の光学像を投射する認識文字投射手段を有することを特徴とする請求項１〜７の何れか一項に記載の翻訳装置。
【請求項９】
前記翻訳手段は、前記文字認識された文字列の訳語を複数取得する複数訳語取得手段を有し、
前記複数訳語取得手段により取得された複数の訳語の中から訳語選択条件を満たす訳語を選択する訳語選択手段を更に備え、
前記映像投射手段は、前記訳語選択手段により選択された訳語の光学像を投射することを特徴とする請求項１〜８の何れか一項に記載の翻訳装置。
【請求項１０】
使用者の頭部に装着可能なメガネ型に形成され、装着時に前記接眼光学系が使用者の眼前に配置されることを特徴とする請求項１〜９の何れか一項に記載の翻訳装置。
【請求項１】
被写体を撮影して、撮影画像を生成する撮影手段と、
前記撮影手段により生成された撮影画像の文字認識を行う文字認識手段と、
前記文字認識手段により文字認識された文字列を翻訳して、当該文字列の訳語を取得する翻訳手段と、
前記翻訳手段により取得された訳語の光学像を投射する映像投射手段と、
ホログラフィック光学素子を含む透過型の素材で形成され、前記映像投射手段により投射された光学像を当該ホログラフィック光学素子の光学効果によって使用者の眼に導く接眼光学系と、
を備えることを特徴とする翻訳装置。
【請求項２】
前記撮影手段は、前記使用者の視野内の被写体を撮影可能に当該翻訳装置に配設されることを特徴とする請求項１に記載の翻訳装置。
【請求項３】
前記使用者の視野の中心位置と、前記撮影画像の中心位置とのズレを推測する推測手段と、
前記推測手段により推測されたズレに基づいて、前記撮影画像の中心位置を前記使用者の視野の中心位置に合わせる補正手段と、
を更に備えることを特徴とする請求項１又は２に記載の翻訳装置。
【請求項４】
前記推測手段は、前記被写体と前記撮影手段との間の距離を測定する測定手段を有し、
前記補正手段は、前記使用者の視野の中心位置と前記撮影手段の中心位置との間の距離と、前記測定手段により測定された距離とに基づいて、前記撮影画像の中心位置を当該使用者の視野の中心位置に合わせることを特徴とする請求項１〜３の何れか一項に記載の翻訳装置。
【請求項５】
撮影条件を設定する設定手段を更に備え、
前記撮影手段は、前記設定手段により設定された撮影条件に基づいて前記被写体の撮影を行うことを特徴とする請求項１〜４の何れか一項に記載の翻訳装置。
【請求項６】
前記撮影手段のブレを補正するブレ補正手段を更に備えることを特徴とする請求項１〜５に記載の翻訳装置。
【請求項７】
前記撮影手段により生成された撮影画像に画像処理を施す画像処理手段を更に備え、
前記文字認識手段は、前記画像処理手段により画像処理が施された撮影画像の文字認識を行うことを特徴とする請求項１〜６の何れか一項に記載の翻訳装置。
【請求項８】
前記映像投射手段は、前記文字認識手段により文字認識された文字列の光学像を投射する認識文字投射手段を有することを特徴とする請求項１〜７の何れか一項に記載の翻訳装置。
【請求項９】
前記翻訳手段は、前記文字認識された文字列の訳語を複数取得する複数訳語取得手段を有し、
前記複数訳語取得手段により取得された複数の訳語の中から訳語選択条件を満たす訳語を選択する訳語選択手段を更に備え、
前記映像投射手段は、前記訳語選択手段により選択された訳語の光学像を投射することを特徴とする請求項１〜８の何れか一項に記載の翻訳装置。
【請求項１０】
使用者の頭部に装着可能なメガネ型に形成され、装着時に前記接眼光学系が使用者の眼前に配置されることを特徴とする請求項１〜９の何れか一項に記載の翻訳装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−３０９３１４（Ｐ２００６−３０９３１４Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１２７７８４（Ｐ２００５−１２７７８４）
【出願日】平成１７年４月２６日（２００５．４．２６）
【出願人】（３０３０５０１５９）コニカミノルタフォトイメージング株式会社 (1,066)
【Ｆターム（参考）】
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２６日（２００５．４．２６）
【出願人】（３０３０５０１５９）コニカミノルタフォトイメージング株式会社 (1,066)
【Ｆターム（参考）】
[ Back to top ]