電子機器及び機械翻訳方法
【課題】 機器の傾きの変化しない提示動作を検出し翻訳に利用することができる技術を提供する。
【解決手段】 文章を入力する入力装置と、翻訳結果を表示する表示装置と、前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、前記センサの測定値を記憶する測定値記憶部と、前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える電子機器。
【解決手段】 文章を入力する入力装置と、翻訳結果を表示する表示装置と、前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、前記センサの測定値を記憶する測定値記憶部と、前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子機器及び機械翻訳方法に関する。
【背景技術】
【０００２】
いわゆる機械翻訳端末などの電子機器が用いられている。例えば、センサとしては加速度センサを含み、実施例には日本語から外国語に翻訳する辞書を有するものがある（例えば、特許文献１参照。）。
【０００３】
そこでは加速度センサによる傾きを検出し翻訳を行っているが、その場合は端末の天地を逆転させる提示動作しか検出することができない。即ち端末を移動した場合は端末の傾きが変化しないため使用できないという問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３３４１４号公報(第１図、段落００１８)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、機器の傾きの変化しない提示動作を検出し翻訳に利用することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば電子機器は、文章を入力する入力装置と、翻訳結果を表示する表示装置と、前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、前記センサの測定値を記憶する測定値記憶部と、前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態にかかる電子機器の外観を模式的に示す図。
【図２】実施形態にかかる電子機器のハードウェア構成の一例を示すブロック構成図。
【図３】この発明の一実施形態を示す機能システム図。
【図４】同実施形態の端末提示動作を説明するために示す図。
【図５】同実施形態に用いられる表示装置の画面構成、端末提示動作中の画面構成例を示す図。
【図６】同実施形態の提示動作判定部のフローチャート。
【図７】同他の形態に用いられる制御部のフローチャート。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態にかかる電子機器及び制御（機械翻訳）方法を説明する。なお、以下の実施形態では、ＰＤＡや携帯電話等、ユーザが把持して使用する電子機器を例に説明する。
【０００９】
図１は、実施形態にかかる電子機器１００の外観を模式的に示す図である。電子機器１００は、表示画面を備えた情報処理装置であり、例えばスレート端末（タブレット端末）や電子書籍リーダ、デジタルフォトフレーム等として実現されている。なお、ここでは、Ｘ軸、Ｙ軸、Ｚ軸の矢印方向（Ｚ軸では図の正面方向）を正方向としている（以下同様）。図３以下では、この電子機器１００を機械翻訳端末として機能される例を後述する。
【００１０】
電子機器１００は、薄い箱状の筐体Ｂを備え、この筐体Ｂの上面に表示部１１０が配置されている。表示部１１０は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネル（図２、タッチパネル１１１参照）を備えている。また、筐体Ｂの正面下部にはユーザが各種操作を行う操作スイッチ等である操作スイッチ１９０、ユーザの音声を取得するためのマイク２１０が配置されている。また、筐体Ｂの正面上部には音声出力を行うためのスピーカ２２０が配置されている。また、筐体Ｂの縁には、地磁気を検知する地磁気センサ２３０が配置されている。なお、図示例ではＸ軸方向の左右の縁に地磁気センサ２３０を備える構成を例示したが、Ｙ軸方向の上下の縁に地磁気センサ２３０を備えてもよい。なお、２箇所に地磁気センサを備えているのは、近くに磁性体などがあった場合にセンサ出力の差分をとるなどしてその影響を捨象するためである。
【００１１】
図２は、実施形態にかかる電子機器１００のハードウェア構成の一例を示すブロック図である。図２に示すように、電子機器１００は、上述の構成に加え、ＣＰＵ１２０、システムコントローラ１３０、グラフィックスコントローラ１４０、タッチパネルコントローラ１５０、加速度センサ１６０、不揮発性メモリ１７０、ＲＡＭ１８０、音声処理部２００、通信部２４０等を備えている。また音声処理部２００には内蔵または外付けのマイク２１０とスピーカ２２０とが接続されている。
【００１２】
表示部１１０は、タッチパネル１１１と、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等のディスプレイ１１２とから構成されている。タッチパネル１１１は、例えばディスプレイ１１２の表示画面上に配置された当面の座標検出装置から構成されている。タッチパネル１１１は、例えば筐体Ｂを把持したユーザの指によってタッチされた表示画面上の位置（タッチ位置）を検知することができる。このタッチパネル１１１の働きにより、ディスプレイ１１２の表示画面はいわゆるタッチスクリーンとして機能する。
【００１３】
ＣＰＵ１２０は、電子機器１００の動作を中央制御するプロセッサであり、システムコントローラ１３０を介して電子機器１００の各部を制御する。ＣＰＵ１２０は、不揮発性メモリ１７０からＲＡＭ１８０にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することで、後述する各機能部（図３など参照）を実現する。ＲＡＭ１８０は、電子機器１００のメインメモリとして、ＣＰＵ１２０がプログラムを実行する際の作業領域を提供する。
【００１４】
システムコントローラ１３０には、不揮発性メモリ１７０及びＲＡＭ１８０をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１３０は、グラフィックスコントローラ１４０との通信を実行する機能も有している。また、システムコントローラ１３０は、通信部２４０、インターネット等を介して図示せぬ外部のサーバへ音声波形等の音声信号を送信しこの音声波形に対する音声認識の結果を必要によっては受信する機能も有している。
【００１５】
グラフィックスコントローラ１４０は、電子機器１００のディスプレイモニタとして使用されるディスプレイ１１２を制御する表示コントローラである。タッチパネルコントローラ１５０は、タッチパネル１１１を制御し、ユーザによってタッチされたディスプレイ１１２の表示画面上のタッチ位置を示す座標データをタッチパネル１１１から取得する。
【００１６】
加速度センサ１６０は、図１に示す３軸方向（Ｘ、Ｙ、Ｚ方向）や、これに各軸周りの回転方向の検出を加えた６軸方向の加速度センサ等であって、電子機器１００に対する外部からの加速度の向きと大きさを検出し、ＣＰＵ１２０に出力する。具体的に、加速度センサ１６０は、加速度を検出した軸、向き（回転の場合、回転角度）、及び大きさを含んだ加速度検出信号（傾き情報）をＣＰＵ１２０に出力する。なおここでは、角速度（回転角度）検出のためのジャイロセンサを、広義の加速度センサとして加速度センサ１６０に統合する形態としている。
【００１７】
音声処理部２００は、マイク２１０より入力される音声信号に、デジタル変換、ノイズ除去、エコーキャンセル等の音声処理を施してＣＰＵ１２０へ出力する。また、音声処理部２００は、ＣＰＵ１２０の制御のもとで、音声合成等の音声処理を施して生成した音声信号をスピーカ２２０へ出力し、スピーカ２２０による音声報知を行う。この音声処理部２００に、後述のユーザ-マイク間距離検出部１６がある。この中の音声処理部２００の詳細について次に説明する。
【００１８】
さて図３は本実施形態の機能構成である。ユーザからの入力を受け付ける入力装置１と、翻訳結果を表示する表示装置２と、文章を第１言語から第２言語へ翻訳する第１翻訳部３と、逆に文章を第２言語から第１言語へ翻訳する第２翻訳部４とに加え、加速度を取得する加速度センサ５，地磁気を取得する地磁気センサ６，角速度を取得するジャイロセンサ７と、角速度を累積（積分）し移動量を得る移動量累積部１０２と、過去のセンサの測定値を記憶する測定値記憶部１０１と、前記センサの測定値と移動量累積部１０２、測定値記憶部１０１の情報から端末の提示動作が発生したかどうかを判定する提示動作判定部８と、提示動作が発生したときの通知を受け取り、翻訳処理を実行し表示装置２に表示する制御部９とを備える機械翻訳端末である。
【００１９】
図４に本実施形態の想定する端末の提示動作を示す。２人のユーザが１台の機械翻訳端末を共有し、互いに対向（図４（ａ）、（ｂ））、または横に並んでいる（図４（ｃ））状態で使用する。ユーザＡは端末の所有者であり、日本語の話者、ユーザＢは英語の話者とする。
【００２０】
図５はユーザＡが端末を持っているときに表示装置２に表示する画面（初期画面）である。図５（ａ）の画面は日本語で構成されており、入力装置１を使って日本語文章の入力が可能な入力部２００と、翻訳機能を終了し別の画面へと遷移するためのボタン２０１を備える。ユーザＡは図４のいずれかの形で端末をユーザＢに提示すると翻訳端末は提示動作中であることを判別し、入力部２００に入力した文章を第１翻訳部３を使用して英語に翻訳し、画面を図５（ｂ）に切り替える。
【００２１】
この図５（ｂ）はユーザＡがユーザＢに端末を提示しているときに表示装置２に表示する画面である。画面は英語で構成されており、入力装置１を使って英語文章の入力が可能な入力部３００と、翻訳機能を終了し別の画面へと遷移するためのボタン３０１を備える。ボタン３０１はボタン２０１と同様、別の画面へと遷移するための機能を持つボタンであるが、ユーザＢは端末の所有者ではないので、制御部９によって無効化されている。
【００２２】
画面が図５（ｂ）に切り替わったとき、入力部３００には入力部２００に入力された日本語の英語への翻訳結果が表示される。この状態でユーザＢは英語の文章を入力することが可能である。ユーザＡが端末の提示をやめ、端末を元の姿勢に戻すと、画面は図５（ａ）に戻る。このとき、入力部２００にはユーザＢが入力部３００に入力した英語文章を第２翻訳部４を使用して日本語に翻訳した結果が表示される。
【００２３】
戻って図４は相手への端末の提示動作を表す。図４（ａ）は端末のピッチ角を回転し提示を行った場合である。この場合、提示後に端末向きの天地が逆転し、重力加速度の向きが１８０度変化するので、先行技術と同様、加速度センサだけで提示動作の発生を検出することが可能である。
【００２４】
一方、図４（ｂ）のように端末のヨー角を回転し提示を行った場合は、端末に対する重力加速度の向きが変化しないため、加速度センサだけでは提示動作の発生を検出することはできない。しかしこの場合、端末の向きが変化しているため、加速度センサと地磁気センサの測定値によって端末の向き（方位）を取得し、その変化によって提示動作を検出することが可能である。この手法は図２の動作の検出でも使用することができる。
【００２５】
図４（ｃ）はユーザが横に並んだ場合の提示動作である。ユーザＡが横にいるユーザＢに端末を提示する場合、端末の横方向への並行移動とヨー角方向の回転のいずれか、または両方が発生する。この場合、センサ測定値の累積によって移動量を計算することで提示の検出が可能である。
【００２６】
以上の原理を元にした提示動作判定部８のフローチャートを図６に示す。処理が開始すると、ステップ初期値設定４００は現在の方位と移動量を原点として測定値記憶部１０１に記憶する。
【００２７】
次に、センサ測定値取得４０１は、加速度センサ５，地磁気センサ６，ジャイロセンサ７からそれぞれ加速度、地磁気、角速度の値を取得する。方位計算４０２は、前記加速度および地磁気から端末の方位を計算する。
【００２８】
方位比較４０３は、測定値記憶部１０１に記憶された方位と最新の方位を比較し、変化が認められる場合は提示動作中であるとして提示状態比較４０４へ、変化が認められない場合は移動量計算４０６へ進む。
【００２９】
提示状態比較４０４は、提示動作の判定結果が前回の判定結果から切り替わったことを検知すると、制御部起動４０５へ進む。制御部起動４０５については後述する制御部９のフローチャート図７で説明する。提示動作の判定結果が変化していない場合は入力判定４０８へ進む。
【００３０】
次に、移動量計算４０６について説明する。移動量計算４０６は、センサ測定値取得４０１で取得した加速度および角速度の値を移動量累積部１０２に入力し累積処理（積分）を行うことで移動量を計算する。
【００３１】
移動量比較４０７は、測定値記憶部１０１に記憶された移動量と最新の移動量を比較し、変化が認められる場合は提示動作中であるとして提示状態比較４０４へ、変化がない場合は入力判定４０８へ進む。
【００３２】
入力判定は４０８は入力装置１の入力が発生したかどうかを判定し、発生した場合は初期値設定４００に進み原点をリセット、発生していない場合はセンサ測定値取得４０１に戻り処理を繰り返す。
【００３３】
次に、制御部９のフローチャートを図７に示す。処理は図６のステップ制御部起動４０５によって開始する。ステップ言語設定判定５０１では、現在表示中の言語を元に以降の処理を切り分ける。第１言語（所有者の使用言語）が表示中の場合、翻訳５０２で第１翻訳部３を使用して入力部２００に新たに入力された文章の第１言語から第２言語への翻訳を行い、表示言語変更５０３で表示装置２の画面を第２言語に切り替え、翻訳結果を入力部３００に表示する。入力言語変更５０４では入力装置１（ソフトウェアキーボード等）の入力言語を第２言語に切り替え、操作制限有効化５０５でボタン２０１に対応する第２言語のボタン３０１を有効化し終了する。
【００３４】
言語設定判定５０１で現在表示中の言語が第２言語（相手の使用言語）と判定した場合は、翻訳５０６で第２翻訳部４を使用して入力部３００に新たに入力された文章の第２言語から第１言語への翻訳を行い、表示言語変更５０７で表示装置２の画面を第１言語に戻し、翻訳結果を入力部２００に表示する。入力言語変更５０８では入力装置１（ソフトウェアキーボード等）の入力言語を第１言語に戻し、操作制限無効化５０９でボタン３０１に対応する第１言語のボタン２０１を有効にして終了し図６の入力判定４０８へ戻る。
【００３５】
先行技術では翻訳方向が一方向に限られている（日→英、日→中、日→韓）ため、２人のユーザによる双方向のコミュニケーションが考慮されていない。本実施形態では、一般的なタブレット端末にも搭載されている地磁気センサ、ジャイロセンサを併用することにより、図４（ａ）の提示動作に加え、図４（ｂ）、図４（ｃ）のような傾きの変化しない提示動作を検出し翻訳に使用することができる。
【００３６】
さらに、本実施形態の制御部では、翻訳と同時に翻訳方向の切り替えを行う。これにより、１台の端末を利用言語の異なる２人が共有して使用することができることが特徴である。また、相手に端末を提示しているときは利用機能に制限をかけることが可能であるので、端末を安心して渡すことができる。
【００３７】
即ち本実施形態により、提示の方法を選ばずに相手に端末を提示するだけで翻訳操作を完了させることができる。さらに、翻訳と同時に表示言語、入力言語、翻訳部が切り替わっているので、電子機器、機械翻訳装置として例えば以下に列挙するような１台の端末を外国人と共有し双方向の翻訳によるコミュニケーションを図ることができる。相手の入力を待ち受けている状態のときは、文章入力以外の操作を無効にすることができるため、安心して端末を渡すことができる。
【００３８】
（１）文章を入力する入力装置と、翻訳結果を表示する表示装置と、文章の第１言語から第２言語への翻訳を行う第１翻訳部と、文章の第２言語から第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、各センサの測定値を記憶する測定値記憶部と、端末の移動量を累積する移動量累積部と、現在のセンサ測定結果と測定値記憶部の記憶したセンサ測定結果の差をもとに端末の提示動作の発生を検知する提示動作判定部と、提示動作判定部の出力である提示動作の発生または中止によって入力装置、表示装置の言語と翻訳部を切り替える制御部を備えることを特徴とする機械翻訳端末。
【００３９】
（２）前記提示動作判定部は、加速度センサで重力加速度を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４０】
（３）前記端末提示判定手段は、加速度センサと地磁気センサにより方位を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４１】
（４）前記端末提示判定手段は、ジャイロセンサで端末の移動角速度を測定、その累積値によって最後に操作を行ったときときからの移動量を計算し、閾値を超えたと判定したときに提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４２】
（５）前記制御部が言語を切り替えるのと連動し端末の操作を制限し、言語を元に戻したときに操作の制限を解除することを特徴とする（１）の機械翻訳端末。
【００４３】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００４４】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００４５】
１１…音声復号部、１２…ＤＡ変換器、１３…増幅器、１４…増幅器、１５…ＡＤ変換器、１６…ユーザ-マイク間距離検出部、１７…音声符号部、２１…周波数変換部、２２…帯域パワー計算部、２３…雑音推定部、２４…ＳＮＲ計算部、２５…ゲイン算出部、２６…ゲイン加重部、２７…周波数逆変換部、１００…電子機器、１１０…表示部、１２０…ＣＰＵ、１３０…システムコントローラ、１４０…グラフィックスコントローラ、１５０…タッチパネルコントローラ、１６０…加速度センサ、１７０…不揮発性メモリ、１８０…ＲＡＭ、１９０…操作スイッチ、２００…音声処理部、２１０…マイク、２２０…スピーカ、２３０…地磁気センサ、２４０…通信部、１１１…タッチパネル、１１２…ディスプレイ、Ｂ…筐体。
【技術分野】
【０００１】
本発明の実施形態は、電子機器及び機械翻訳方法に関する。
【背景技術】
【０００２】
いわゆる機械翻訳端末などの電子機器が用いられている。例えば、センサとしては加速度センサを含み、実施例には日本語から外国語に翻訳する辞書を有するものがある（例えば、特許文献１参照。）。
【０００３】
そこでは加速度センサによる傾きを検出し翻訳を行っているが、その場合は端末の天地を逆転させる提示動作しか検出することができない。即ち端末を移動した場合は端末の傾きが変化しないため使用できないという問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３３４１４号公報(第１図、段落００１８)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、機器の傾きの変化しない提示動作を検出し翻訳に利用することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば電子機器は、文章を入力する入力装置と、翻訳結果を表示する表示装置と、前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、前記センサの測定値を記憶する測定値記憶部と、前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える。
【図面の簡単な説明】
【０００７】
【図１】実施形態にかかる電子機器の外観を模式的に示す図。
【図２】実施形態にかかる電子機器のハードウェア構成の一例を示すブロック構成図。
【図３】この発明の一実施形態を示す機能システム図。
【図４】同実施形態の端末提示動作を説明するために示す図。
【図５】同実施形態に用いられる表示装置の画面構成、端末提示動作中の画面構成例を示す図。
【図６】同実施形態の提示動作判定部のフローチャート。
【図７】同他の形態に用いられる制御部のフローチャート。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して実施形態にかかる電子機器及び制御（機械翻訳）方法を説明する。なお、以下の実施形態では、ＰＤＡや携帯電話等、ユーザが把持して使用する電子機器を例に説明する。
【０００９】
図１は、実施形態にかかる電子機器１００の外観を模式的に示す図である。電子機器１００は、表示画面を備えた情報処理装置であり、例えばスレート端末（タブレット端末）や電子書籍リーダ、デジタルフォトフレーム等として実現されている。なお、ここでは、Ｘ軸、Ｙ軸、Ｚ軸の矢印方向（Ｚ軸では図の正面方向）を正方向としている（以下同様）。図３以下では、この電子機器１００を機械翻訳端末として機能される例を後述する。
【００１０】
電子機器１００は、薄い箱状の筐体Ｂを備え、この筐体Ｂの上面に表示部１１０が配置されている。表示部１１０は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネル（図２、タッチパネル１１１参照）を備えている。また、筐体Ｂの正面下部にはユーザが各種操作を行う操作スイッチ等である操作スイッチ１９０、ユーザの音声を取得するためのマイク２１０が配置されている。また、筐体Ｂの正面上部には音声出力を行うためのスピーカ２２０が配置されている。また、筐体Ｂの縁には、地磁気を検知する地磁気センサ２３０が配置されている。なお、図示例ではＸ軸方向の左右の縁に地磁気センサ２３０を備える構成を例示したが、Ｙ軸方向の上下の縁に地磁気センサ２３０を備えてもよい。なお、２箇所に地磁気センサを備えているのは、近くに磁性体などがあった場合にセンサ出力の差分をとるなどしてその影響を捨象するためである。
【００１１】
図２は、実施形態にかかる電子機器１００のハードウェア構成の一例を示すブロック図である。図２に示すように、電子機器１００は、上述の構成に加え、ＣＰＵ１２０、システムコントローラ１３０、グラフィックスコントローラ１４０、タッチパネルコントローラ１５０、加速度センサ１６０、不揮発性メモリ１７０、ＲＡＭ１８０、音声処理部２００、通信部２４０等を備えている。また音声処理部２００には内蔵または外付けのマイク２１０とスピーカ２２０とが接続されている。
【００１２】
表示部１１０は、タッチパネル１１１と、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等のディスプレイ１１２とから構成されている。タッチパネル１１１は、例えばディスプレイ１１２の表示画面上に配置された当面の座標検出装置から構成されている。タッチパネル１１１は、例えば筐体Ｂを把持したユーザの指によってタッチされた表示画面上の位置（タッチ位置）を検知することができる。このタッチパネル１１１の働きにより、ディスプレイ１１２の表示画面はいわゆるタッチスクリーンとして機能する。
【００１３】
ＣＰＵ１２０は、電子機器１００の動作を中央制御するプロセッサであり、システムコントローラ１３０を介して電子機器１００の各部を制御する。ＣＰＵ１２０は、不揮発性メモリ１７０からＲＡＭ１８０にロードされる、オペレーティングシステム、各種アプリケーションプログラムを実行することで、後述する各機能部（図３など参照）を実現する。ＲＡＭ１８０は、電子機器１００のメインメモリとして、ＣＰＵ１２０がプログラムを実行する際の作業領域を提供する。
【００１４】
システムコントローラ１３０には、不揮発性メモリ１７０及びＲＡＭ１８０をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１３０は、グラフィックスコントローラ１４０との通信を実行する機能も有している。また、システムコントローラ１３０は、通信部２４０、インターネット等を介して図示せぬ外部のサーバへ音声波形等の音声信号を送信しこの音声波形に対する音声認識の結果を必要によっては受信する機能も有している。
【００１５】
グラフィックスコントローラ１４０は、電子機器１００のディスプレイモニタとして使用されるディスプレイ１１２を制御する表示コントローラである。タッチパネルコントローラ１５０は、タッチパネル１１１を制御し、ユーザによってタッチされたディスプレイ１１２の表示画面上のタッチ位置を示す座標データをタッチパネル１１１から取得する。
【００１６】
加速度センサ１６０は、図１に示す３軸方向（Ｘ、Ｙ、Ｚ方向）や、これに各軸周りの回転方向の検出を加えた６軸方向の加速度センサ等であって、電子機器１００に対する外部からの加速度の向きと大きさを検出し、ＣＰＵ１２０に出力する。具体的に、加速度センサ１６０は、加速度を検出した軸、向き（回転の場合、回転角度）、及び大きさを含んだ加速度検出信号（傾き情報）をＣＰＵ１２０に出力する。なおここでは、角速度（回転角度）検出のためのジャイロセンサを、広義の加速度センサとして加速度センサ１６０に統合する形態としている。
【００１７】
音声処理部２００は、マイク２１０より入力される音声信号に、デジタル変換、ノイズ除去、エコーキャンセル等の音声処理を施してＣＰＵ１２０へ出力する。また、音声処理部２００は、ＣＰＵ１２０の制御のもとで、音声合成等の音声処理を施して生成した音声信号をスピーカ２２０へ出力し、スピーカ２２０による音声報知を行う。この音声処理部２００に、後述のユーザ-マイク間距離検出部１６がある。この中の音声処理部２００の詳細について次に説明する。
【００１８】
さて図３は本実施形態の機能構成である。ユーザからの入力を受け付ける入力装置１と、翻訳結果を表示する表示装置２と、文章を第１言語から第２言語へ翻訳する第１翻訳部３と、逆に文章を第２言語から第１言語へ翻訳する第２翻訳部４とに加え、加速度を取得する加速度センサ５，地磁気を取得する地磁気センサ６，角速度を取得するジャイロセンサ７と、角速度を累積（積分）し移動量を得る移動量累積部１０２と、過去のセンサの測定値を記憶する測定値記憶部１０１と、前記センサの測定値と移動量累積部１０２、測定値記憶部１０１の情報から端末の提示動作が発生したかどうかを判定する提示動作判定部８と、提示動作が発生したときの通知を受け取り、翻訳処理を実行し表示装置２に表示する制御部９とを備える機械翻訳端末である。
【００１９】
図４に本実施形態の想定する端末の提示動作を示す。２人のユーザが１台の機械翻訳端末を共有し、互いに対向（図４（ａ）、（ｂ））、または横に並んでいる（図４（ｃ））状態で使用する。ユーザＡは端末の所有者であり、日本語の話者、ユーザＢは英語の話者とする。
【００２０】
図５はユーザＡが端末を持っているときに表示装置２に表示する画面（初期画面）である。図５（ａ）の画面は日本語で構成されており、入力装置１を使って日本語文章の入力が可能な入力部２００と、翻訳機能を終了し別の画面へと遷移するためのボタン２０１を備える。ユーザＡは図４のいずれかの形で端末をユーザＢに提示すると翻訳端末は提示動作中であることを判別し、入力部２００に入力した文章を第１翻訳部３を使用して英語に翻訳し、画面を図５（ｂ）に切り替える。
【００２１】
この図５（ｂ）はユーザＡがユーザＢに端末を提示しているときに表示装置２に表示する画面である。画面は英語で構成されており、入力装置１を使って英語文章の入力が可能な入力部３００と、翻訳機能を終了し別の画面へと遷移するためのボタン３０１を備える。ボタン３０１はボタン２０１と同様、別の画面へと遷移するための機能を持つボタンであるが、ユーザＢは端末の所有者ではないので、制御部９によって無効化されている。
【００２２】
画面が図５（ｂ）に切り替わったとき、入力部３００には入力部２００に入力された日本語の英語への翻訳結果が表示される。この状態でユーザＢは英語の文章を入力することが可能である。ユーザＡが端末の提示をやめ、端末を元の姿勢に戻すと、画面は図５（ａ）に戻る。このとき、入力部２００にはユーザＢが入力部３００に入力した英語文章を第２翻訳部４を使用して日本語に翻訳した結果が表示される。
【００２３】
戻って図４は相手への端末の提示動作を表す。図４（ａ）は端末のピッチ角を回転し提示を行った場合である。この場合、提示後に端末向きの天地が逆転し、重力加速度の向きが１８０度変化するので、先行技術と同様、加速度センサだけで提示動作の発生を検出することが可能である。
【００２４】
一方、図４（ｂ）のように端末のヨー角を回転し提示を行った場合は、端末に対する重力加速度の向きが変化しないため、加速度センサだけでは提示動作の発生を検出することはできない。しかしこの場合、端末の向きが変化しているため、加速度センサと地磁気センサの測定値によって端末の向き（方位）を取得し、その変化によって提示動作を検出することが可能である。この手法は図２の動作の検出でも使用することができる。
【００２５】
図４（ｃ）はユーザが横に並んだ場合の提示動作である。ユーザＡが横にいるユーザＢに端末を提示する場合、端末の横方向への並行移動とヨー角方向の回転のいずれか、または両方が発生する。この場合、センサ測定値の累積によって移動量を計算することで提示の検出が可能である。
【００２６】
以上の原理を元にした提示動作判定部８のフローチャートを図６に示す。処理が開始すると、ステップ初期値設定４００は現在の方位と移動量を原点として測定値記憶部１０１に記憶する。
【００２７】
次に、センサ測定値取得４０１は、加速度センサ５，地磁気センサ６，ジャイロセンサ７からそれぞれ加速度、地磁気、角速度の値を取得する。方位計算４０２は、前記加速度および地磁気から端末の方位を計算する。
【００２８】
方位比較４０３は、測定値記憶部１０１に記憶された方位と最新の方位を比較し、変化が認められる場合は提示動作中であるとして提示状態比較４０４へ、変化が認められない場合は移動量計算４０６へ進む。
【００２９】
提示状態比較４０４は、提示動作の判定結果が前回の判定結果から切り替わったことを検知すると、制御部起動４０５へ進む。制御部起動４０５については後述する制御部９のフローチャート図７で説明する。提示動作の判定結果が変化していない場合は入力判定４０８へ進む。
【００３０】
次に、移動量計算４０６について説明する。移動量計算４０６は、センサ測定値取得４０１で取得した加速度および角速度の値を移動量累積部１０２に入力し累積処理（積分）を行うことで移動量を計算する。
【００３１】
移動量比較４０７は、測定値記憶部１０１に記憶された移動量と最新の移動量を比較し、変化が認められる場合は提示動作中であるとして提示状態比較４０４へ、変化がない場合は入力判定４０８へ進む。
【００３２】
入力判定は４０８は入力装置１の入力が発生したかどうかを判定し、発生した場合は初期値設定４００に進み原点をリセット、発生していない場合はセンサ測定値取得４０１に戻り処理を繰り返す。
【００３３】
次に、制御部９のフローチャートを図７に示す。処理は図６のステップ制御部起動４０５によって開始する。ステップ言語設定判定５０１では、現在表示中の言語を元に以降の処理を切り分ける。第１言語（所有者の使用言語）が表示中の場合、翻訳５０２で第１翻訳部３を使用して入力部２００に新たに入力された文章の第１言語から第２言語への翻訳を行い、表示言語変更５０３で表示装置２の画面を第２言語に切り替え、翻訳結果を入力部３００に表示する。入力言語変更５０４では入力装置１（ソフトウェアキーボード等）の入力言語を第２言語に切り替え、操作制限有効化５０５でボタン２０１に対応する第２言語のボタン３０１を有効化し終了する。
【００３４】
言語設定判定５０１で現在表示中の言語が第２言語（相手の使用言語）と判定した場合は、翻訳５０６で第２翻訳部４を使用して入力部３００に新たに入力された文章の第２言語から第１言語への翻訳を行い、表示言語変更５０７で表示装置２の画面を第１言語に戻し、翻訳結果を入力部２００に表示する。入力言語変更５０８では入力装置１（ソフトウェアキーボード等）の入力言語を第１言語に戻し、操作制限無効化５０９でボタン３０１に対応する第１言語のボタン２０１を有効にして終了し図６の入力判定４０８へ戻る。
【００３５】
先行技術では翻訳方向が一方向に限られている（日→英、日→中、日→韓）ため、２人のユーザによる双方向のコミュニケーションが考慮されていない。本実施形態では、一般的なタブレット端末にも搭載されている地磁気センサ、ジャイロセンサを併用することにより、図４（ａ）の提示動作に加え、図４（ｂ）、図４（ｃ）のような傾きの変化しない提示動作を検出し翻訳に使用することができる。
【００３６】
さらに、本実施形態の制御部では、翻訳と同時に翻訳方向の切り替えを行う。これにより、１台の端末を利用言語の異なる２人が共有して使用することができることが特徴である。また、相手に端末を提示しているときは利用機能に制限をかけることが可能であるので、端末を安心して渡すことができる。
【００３７】
即ち本実施形態により、提示の方法を選ばずに相手に端末を提示するだけで翻訳操作を完了させることができる。さらに、翻訳と同時に表示言語、入力言語、翻訳部が切り替わっているので、電子機器、機械翻訳装置として例えば以下に列挙するような１台の端末を外国人と共有し双方向の翻訳によるコミュニケーションを図ることができる。相手の入力を待ち受けている状態のときは、文章入力以外の操作を無効にすることができるため、安心して端末を渡すことができる。
【００３８】
（１）文章を入力する入力装置と、翻訳結果を表示する表示装置と、文章の第１言語から第２言語への翻訳を行う第１翻訳部と、文章の第２言語から第１言語への翻訳を行う第２翻訳部と、物理量を測定するセンサと、各センサの測定値を記憶する測定値記憶部と、端末の移動量を累積する移動量累積部と、現在のセンサ測定結果と測定値記憶部の記憶したセンサ測定結果の差をもとに端末の提示動作の発生を検知する提示動作判定部と、提示動作判定部の出力である提示動作の発生または中止によって入力装置、表示装置の言語と翻訳部を切り替える制御部を備えることを特徴とする機械翻訳端末。
【００３９】
（２）前記提示動作判定部は、加速度センサで重力加速度を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４０】
（３）前記端末提示判定手段は、加速度センサと地磁気センサにより方位を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４１】
（４）前記端末提示判定手段は、ジャイロセンサで端末の移動角速度を測定、その累積値によって最後に操作を行ったときときからの移動量を計算し、閾値を超えたと判定したときに提示動作中であると判定することを特徴とする（１）の機械翻訳端末。
【００４２】
（５）前記制御部が言語を切り替えるのと連動し端末の操作を制限し、言語を元に戻したときに操作の制限を解除することを特徴とする（１）の機械翻訳端末。
【００４３】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００４４】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００４５】
１１…音声復号部、１２…ＤＡ変換器、１３…増幅器、１４…増幅器、１５…ＡＤ変換器、１６…ユーザ-マイク間距離検出部、１７…音声符号部、２１…周波数変換部、２２…帯域パワー計算部、２３…雑音推定部、２４…ＳＮＲ計算部、２５…ゲイン算出部、２６…ゲイン加重部、２７…周波数逆変換部、１００…電子機器、１１０…表示部、１２０…ＣＰＵ、１３０…システムコントローラ、１４０…グラフィックスコントローラ、１５０…タッチパネルコントローラ、１６０…加速度センサ、１７０…不揮発性メモリ、１８０…ＲＡＭ、１９０…操作スイッチ、２００…音声処理部、２１０…マイク、２２０…スピーカ、２３０…地磁気センサ、２４０…通信部、１１１…タッチパネル、１１２…ディスプレイ、Ｂ…筐体。
【特許請求の範囲】
【請求項１】
文章を入力する入力装置と、
翻訳結果を表示する表示装置と、
前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、
前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、
物理量を測定するセンサと、
前記センサの測定値を記憶する測定値記憶部と、
前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、
現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、
前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える電子機器。
【請求項２】
前記提示動作判定部は、加速度センサで重力加速度を測定し、その方向が最後に外部から操作が行われたときの測定結果と逆転している場合に提示動作中であると判定する請求項１に記載の電子機器。
【請求項３】
前記提示動作判定部は、加速度センサと地磁気センサにより方位を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定する請求項１に記載の電子機器。
【請求項４】
前記提示動作判定部は、ジャイロセンサで端末の移動角速度を測定、その累積値によって最後に操作を行ったときときからの移動量を計算し、閾値を超えたと判定したときに提示動作中であると判定する請求項１に記載の電子機器。
【請求項５】
前記制御部が言語を切り替えるのと連動し端末の操作を制限し、言語を元に戻したときに操作の制限を解除する請求項１に記載の電子機器。
【請求項６】
文章を入力する入力工程と、
翻訳結果を表示する表示工程と、
前記文章の第１言語から第２言語への翻訳を行う第１翻訳工程と、
前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳工程と、
物理量を測定するセンサの測定値を記憶する測定値記憶工程と、
前記センサの測定値を累積（積分）し、移動量を得る移動量累積工程と、
現在の前記センサの測定結果および前記移動量累積工程で算出した移動量と前記測定値記憶工程で記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定工程と、
前記提示動作判定工程の出力である提示動作の発生または中止によって前記入力工程、前記表示工程の言語と前記第１翻訳工程と前記第２翻訳工程を切り替える制御工程とを含む機械翻訳方法。
【請求項１】
文章を入力する入力装置と、
翻訳結果を表示する表示装置と、
前記文章の第１言語から第２言語への翻訳を行う第１翻訳部と、
前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳部と、
物理量を測定するセンサと、
前記センサの測定値を記憶する測定値記憶部と、
前記センサの測定値を累積（積分）し、移動量を得る移動量累積部と、
現在の前記センサの測定結果および前記移動量累積部で算出した移動量と前記測定値記憶部の記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定部と、
前記提示動作判定部の出力である提示動作の発生または中止によって前記入力装置、前記表示装置の言語と前記第１翻訳部と前記第２翻訳部を切り替える制御部とを備える電子機器。
【請求項２】
前記提示動作判定部は、加速度センサで重力加速度を測定し、その方向が最後に外部から操作が行われたときの測定結果と逆転している場合に提示動作中であると判定する請求項１に記載の電子機器。
【請求項３】
前記提示動作判定部は、加速度センサと地磁気センサにより方位を測定し、その方向が最後に操作を行ったときの測定結果と逆転している場合に提示動作中であると判定する請求項１に記載の電子機器。
【請求項４】
前記提示動作判定部は、ジャイロセンサで端末の移動角速度を測定、その累積値によって最後に操作を行ったときときからの移動量を計算し、閾値を超えたと判定したときに提示動作中であると判定する請求項１に記載の電子機器。
【請求項５】
前記制御部が言語を切り替えるのと連動し端末の操作を制限し、言語を元に戻したときに操作の制限を解除する請求項１に記載の電子機器。
【請求項６】
文章を入力する入力工程と、
翻訳結果を表示する表示工程と、
前記文章の第１言語から第２言語への翻訳を行う第１翻訳工程と、
前記文章の前記第２言語から前記第１言語への翻訳を行う第２翻訳工程と、
物理量を測定するセンサの測定値を記憶する測定値記憶工程と、
前記センサの測定値を累積（積分）し、移動量を得る移動量累積工程と、
現在の前記センサの測定結果および前記移動量累積工程で算出した移動量と前記測定値記憶工程で記憶した前記センサの測定結果の差をもとに外部から与えられた提示動作の発生を検知する提示動作判定工程と、
前記提示動作判定工程の出力である提示動作の発生または中止によって前記入力工程、前記表示工程の言語と前記第１翻訳工程と前記第２翻訳工程を切り替える制御工程とを含む機械翻訳方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−１１４４３３（Ｐ２０１３−１１４４３３Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９６３４（Ｐ２０１１−２５９６３４）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]