端末装置及びプログラム
【課題】ある文字列を別の文字列に変換して表示部に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御できるようにする。
【解決手段】表示部１６に翻訳対象である原文（文字列）として“お元気ですか”が表示されている状態において、原文に対する翻訳が行われると、第１視野角方向から原文（第１文字列）が視認されるとともに、第２視野角方向から翻訳文（第２文字列）である“How are you?”が視認されるように、原文とその翻訳文を表示部１６に同時に表示させる。
【解決手段】表示部１６に翻訳対象である原文（文字列）として“お元気ですか”が表示されている状態において、原文に対する翻訳が行われると、第１視野角方向から原文（第１文字列）が視認されるとともに、第２視野角方向から翻訳文（第２文字列）である“How are you?”が視認されるように、原文とその翻訳文を表示部１６に同時に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示部を制御する端末装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、携帯電話機などの端末装置においては、文字列を変換する様々な変換機能として、例えば、ある文字種の文字列を別の文字種の文字列に変換する機能（例えば、ひらがなを漢字に変換する仮名漢字変換機能、入力された文字列を英字や数字に変換する英数字変換機能など）、ある言語の文字列を別の言語の文字列に変換する翻訳機能などが存在している。これらの変換機能においては、ある文字列と変換後の文字列を表示する際の表示方法として、様々な方法が提案されている。例えば、ある文字列が表示されている状態においてその文字列を変換した場合に、ある文字列に代えて変換後の文字列を表示する方法、また、ある文字列が表示されている状態においてその文字列を変換した場合に、ある文字列と変換後の文字列を、表示領域を区切って同時に表示する方法などである。なお、後者の方法としては、機械翻訳装置において、原文と一次翻訳文及び二次翻訳文を、表示領域を区切って同時に表示するようにした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した前者の方法では、変換前の文字列が表示されていないためそれを確認することができない。後者の方法ではそれぞれの文字列の表示領域が狭くなってしまい、特に、携帯電話機などの携帯端末装置においては、表示領域が制限されているため、特に顕著なものとなる。このように従来では、ある文字列を別の文字列に変換して表示部に表示させる場合に、その表示を適切に制御できているとは言えなかった。
【０００５】
本発明の課題は、ある文字列を別の文字列に変換して表示部に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、
表示部を制御する端末装置であって、
第１文字列の変換を指示する指示手段と、
前記指示手段による変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第１表示制御手段と、
を備えることを特徴とする。
【０００７】
請求項１に従属する発明として、
前記指示手段は、前記第１文字列の異なる言語への翻訳を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の言語とは異なる言語で記述された前記第２文字列に翻訳された翻訳結果を取得する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。
【０００８】
請求項１に従属する発明として、
前記指示手段は、前記第１文字列の異なる文字種への変換を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の文字種とは異なる文字種で記述された前記第２文字列に変換された変換結果を取得する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。
【０００９】
請求項１に従属する発明として、
前記第１視野角方向と第２視野角方向との位置関係を指定する指定手段をさらに備え、
前記第１表示制御手段は、前記指定手段によって指定された位置関係に基づいて、前記第１視野角方向から前記第１文字列が視認されるとともに、前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。
【００１０】
請求項４に従属する発明として、
前記表示部を見ているユーザを撮像する撮像手段と、
前記撮像手段によって撮像されたユーザに基づいて、ユーザの位置を検出する検出手段と、
をさらに備え、
前記指定手段は、前記検出手段によって検出されたユーザの位置に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。
【００１１】
請求項４に従属する発明として、
前記指定手段は、ユーザ操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。
【００１２】
請求項６に従属する発明として、
前記指示手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１文字列の変換を指示し、
前記指定手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、
前記取得手段が変換結果として取得した前記第２文字列を音声出力する音声出力手段をさらに備える、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、
前記取得手段が変換結果として取得した前記第２文字列を前記表示部に表示させる場合に、前記第１視野角方向と前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第２表示制御手段をさらに備える、
ようにしたことを特徴とする、請求項９記載の発明であってもよい。
【００１５】
また、上述した課題を解決するために請求項１０記載の発明は、
表示部を制御する端末装置であって、
第１言語で記述された第１文字列の翻訳を指示する指示手段と、
前記指示手段による翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する表示制御手段と、
を備えることを特徴とする。
【００１６】
また、上述した課題を解決するために請求項１１記載の発明は、
コンピュータに対して、
第１文字列の変換を指示する機能と、
前記変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。
【００１７】
また、上述した課題を解決するために請求項１２記載の発明は、
コンピュータに対して、
第１言語で記述された第１文字列の翻訳を指示する機能と、
前記翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ある文字列を別の文字列に変換して表示部に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【図面の簡単な説明】
【００１９】
【図１】端末装置として適用した携帯電話機が利用可能な通信ネットワークシステムを示したブロック図。
【図２】携帯電話機１の基本的な構成要素を示したブロック図。
【図３】電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したメインのフローチャート。
【図４】変換アプリ起動操作に応答して実行開始される翻訳アプリ処理（図３のステップＡ６）を詳述するためのフローチャート。
【図５】翻訳指示操作に応答して実行開始される翻訳処理Ａ（図４のステップＢ５）を詳述するためのフローチャート。
【図６】翻訳指示＋方向指示操作に応答して実行開始される翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【図７】変換アプリ起動操作に応答して実行開始される変換アプリ処理（図３のステップＡ８）を詳述するためのフローチャート。
【図８】（１）、（２）は、翻訳処理Ｂ（図４のステップＢ６）を具体的に説明するための図。
【図９】（１）、（２）は、変換アプリ処理（図３のステップＡ８）を具体的に説明するための図。
【図１０】実施形態の変形例を説明するための図で、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【図１１】図１０で示した実施形態の変形例を具体的に説明するための図で、（１）、（２）は、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合に、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向として表示部１６に表示させた状態を示した図。
【図１２】実施形態の他の変形例を説明するための図で、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２０】
以下、図１〜図９を参照して本発明の実施形態を説明する。
この実施形態は、端末装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機が利用可能な通信ネットワークシステムを示したブロック図である。
携帯電話機１は、例えば、一つの筐体から成るストレートタイプの携帯電話機で、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、カメラ機能などを備えている。携帯電話機１は、筐体の表面略全域を表示面ＤＰとするもので、筐体の中央部分にはカメラ機能を構成する撮像レンズＦＲが取り付けられている。このカメラ機能は、所定のカメラ切り替え操作により表示面ＤＰ側（ユーザ側）を撮像するインカメラとして使用したり、表示面ＤＰの反対側を撮像するアウトカメラとして使用したりすることが可能なもので、インカメラとして使用する場合には、広角撮像により表示面ＤＰを視認している複数の人を同時に撮像可能となっている。
【００２１】
携帯電話機１は、最寄りの基地局２Ａ、交換機２Ｂから無線通信網（移動体通信網）２に接続されると、この無線通信網２を介して他の携帯電話機（図示省略）との間で通話可能な状態となる。また、携帯電話機１は、無線通信網２を介してインターネット３に接続されると、Ｗｅｂサイトをアクセスして閲覧可能となったり、翻訳装置・変換装置４との間でインターネット３及び無線通信網２を介して文字列の送受信が可能となったりする。翻訳装置・変換装置４は、翻訳・変換サービスを提供する業者側のサーバ装置であり、翻訳辞書データベースや変換辞書データベースを備え、会員ユーザ側の携帯電話機１から翻訳や変換依頼を受け付けると、その依頼に応じて翻訳処理や変換処理を実行してその処理結果を依頼元の携帯電話機１に送信するようにしている。
【００２２】
図２は、携帯電話機１の基本的な構成要素を示したブロック図である。
中央制御部１１は、二次電池を備えた電池部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯電話機１の全体動作を制御する中央演算処理装置やメモリ（図示省略）などを有している。この記憶部１３には、プログラム記憶部Ｍ１、各種情報一時記憶部Ｍ２、原文記憶部Ｍ３、翻訳辞書データベース記憶部Ｍ４、変換辞書データベース記憶部Ｍ５などが設けられている。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（外部記録媒体）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００２３】
プログラム記憶部Ｍ１は、図３〜図７に示した動作手順にしたがって本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする各種の情報などが記憶されている。また、各種情報一時記憶部Ｍ２は、フラグ情報、画面情報など、携帯電話機１が動作するために必要な各種の情報を一時的に記憶するワーク領域である。原文記憶部Ｍ３は、翻訳対象となる各種の原文データを記憶するもので、中央制御部１１は、原文記憶部Ｍ３の内容をリスト表示させている状態において、ユーザ操作によりその原文リストの中から任意の原文（文字列）が選択されると、選択された原文（文字列）を翻訳対象として読み出すようにしている。
【００２４】
翻訳辞書データベース記憶部Ｍ４は、ある言語（例えば、日本語）の文字列を別の言語（例えば、英語）の文字列に変換（例えば、和英翻訳）する翻訳辞書データベースを記憶するもので、中央制御部１１は、原文記憶部Ｍ３から読み出された原文データやユーザ操作に応答して任意に入力された原文（文字列）に対する翻訳を、翻訳辞書データベース記憶部Ｍ４を参照することによって実行したり、上述した翻訳装置・変換装置４に対して翻訳依頼の要求を送信したりするようにしている。変換辞書データベース記憶部Ｍ５は、ある文字種（例えば、ひらがな）の文字列を別の文字種（例えば、漢字）の文字列に変換する機能（仮名漢字変換機能）や、入力された文字列を英字や数字に変換する英数字変換辞書データベースを記憶するもので、中央制御部１１は、入力された文字列に対する変換を、変換辞書データベース記憶部Ｍ５を参照することによって実行したり、上述した翻訳装置・変換装置４に対して変換依頼の要求を送信したりするようにしている。
【００２５】
無線通信部１４は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局２Ａとの間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して中央制御部１１に対して出力すると、中央制御部１１は、音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１５から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナＡＮから発信出力させる。
【００２６】
表示部１６は、上述の表示面ＤＰを構成するもので、高精細液晶を使用し、例えば、文字情報、待受画像、静止画、動画などを表示させる。この表示部１６の表面に対応する指の接触を検出する接触操作部（透明なタッチパネル）を積層配設することによってタッチ画面を構成している。中央制御部１１は、表示部（タッチ画面）１６を構成する接触操作部からの入力操作信号に応じた処理を実行する。なお、タッチパネルは、静電容量方式や抵抗膜方式でもよく、接触の他に操作器具や指の押し込み（押圧）を検出可能する圧電方式であってもよい。また、表示部（タッチ画面）１６の表面には、図示省略したが、細かい透光性スリットを有する視差バリアを生成するための液晶の層が設けられ、この視差バリアを生成することにより視野角方向に応じて異なる表内容を視認させることが可能となっている。
【００２７】
視差バリア制御部１７は、複数の異なる表示内容が表示部１６に同時に表示されている場合に、ある視野角方向からはある表示内容が、別の視野角方向からは別の表示内容が視認されるように視差バリアを表示部１６の表面に生成させるもので、中央制御部１１の制御下で表示部１６の表面に視差バリアを生成させたり、表示部１６の表面から視差バリアを消去させたりする。ここで、中央制御部１１は、第１文字列（例えば、翻訳対象の日本語、漢字変換対象のひらがな）の変換（例えば、和英翻訳、漢字変換）を指示する操作に応答して、この第１文字列が第２文字列（例えば、英語、漢字）に変換された変換結果を取得し、この第１文字列と第２文字列を表示部１６に同時に表示させる場合に、表示部１６に対する第１視野角方向からは第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向からは第２文字列が視認されるように表示部１６を制御するようにしている。
【００２８】
操作部１８は、筐体の側面部に配設されたサイドキーなどの押しボタン式のキーを有し、中央制御部１１は、この操作部１８からの入力操作信号に応じた処理を実行する。例えば、電源オン／オフ操作に応じて電源オン／オフ処理を実行したり、アプリケーション（アプリ）起動操作に応じてそのアプリ処理を実行したりする。ＲＴＣ（リアルタイムクロックモジュール）１９は、時計部を構成するもので、中央制御部１１は、ＲＴＣ１９から現在日時を取得する。報知部２０は、サウンドスピーカ２０Ａ、ＬＥＤ（発光ダイオード）２０Ｂ、振動モータ２０Ｃを備え、着信時に駆動されて着信報知を行うほか、アラーム報知時などでも駆動される。撮像部２１は、上述のカメラ機能を構成する構成要素で、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）を有し、静止画撮像のほかに動画撮像も可能となっている。そして、撮像部１７は、上述の撮像素子や撮像レンズＦＲのほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したりする。
【００２９】
次に、本実施形態における携帯電話機１の動作概念を図３〜図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００３０】
図３は、電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したメインのフローチャートである。
先ず、中央制御部１１は、電源を投入する電源オン操作が行われると（ステップＡ１でＹＥＳ）、電源供給を開始させて所定のメモリなどを初期化する電源オン処理を実行した後、所定の待受画像を読み出して表示させたり、基地局２Ａとの間で通信を行って位置登録をしたりする待受処理を行う（ステップＡ２）。この状態において、設定操作が行われたかを調べたり（ステップＡ３）、翻訳アプリ起動操作が行われたかを調べたり（ステップＡ５）、変換アプリ起動操作が行われたかを調べたり（ステップＡ８）、着信を検出したかを調べたり（ステップＡ９）、電源オフ操作が行われたかを調べたり（ステップＡ１１）、その他の操作が行われたかを調べたりする（ステップＡ１３）。
【００３１】
いま、任意の情報を設定するために設定操作が行われたときには（ステップＡ３でＹＥＳ）、その操作に対応する設定処理を行った後（ステップＡ４）、上述のステップＡ３に戻る。また、翻訳アプリ起動操作が行われたときには（ステップＡ５でＹＥＳ）、後述する翻訳アプリ処理の実行に移り（ステップＡ６）、変換アプリ起動操作が行われたときには（ステップＡ７でＹＥＳ）、後述する変換アプリ処理の実行に移る（ステップＡ８）。他方、着信を検出したときには（ステップＡ９でＹＥＳ）、その応答操作に応じて通話処理を行った後（ステップＡ１０）、上述のステップＡ３に戻る。また、電源オフ操作を検出したときには（ステップＡ１１でＹＥＳ）、電源オフ処理を行った後（ステップＡ１２）、このフローの終了となるが、発信操作など、その他の操作が行われたときには（ステップＡ１３でＹＥＳ）、操作に応じた処理として発信処理などを行った後（ステップＡ１４）、上述のステップＡ３に戻る。
【００３２】
図４は、変換アプリ起動操作に応答して実行開始される翻訳アプリ処理（図３のステップＡ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、翻訳アプリを起動した後（ステップＢ１）、翻訳対象の原文（文字列）の指定を受け付ける（ステップＢ２）。この場合、例えば、原文記憶部Ｍ３の内容を表示部１６にリスト表示させている状態においてユーザ操作によりその原文リストの中から任意に選択された原文（文字列）を翻訳対象として読み出したり、操作部１８や表示部（タッチ画面）１６などから翻訳対象として任意に入力された原文（文字列）を取り込んだりして、この翻訳対象の原文（文字列）を表示部（タッチ画面）１６に表示させる。
【００３３】
この状態において、翻訳指示操作が行われたか（ステップＢ３）、翻訳指示＋方向指示操作が行われたかを調べる（ステップＢ４）。ここで、翻訳指示操作とは、例えば、表示部（タッチ画面）１６に表示されている翻訳対象の原文（文字列）上をタッチしてその位置でタッチを解除する操作であるのに対し、翻訳指示＋方向指示操作とは、例えば、翻訳対象の原文（文字列）上をタッチしたままの状態で、その文字列の先頭文字から末尾文字の方向へ、又は末尾文字から先頭文字の方向へスライドしてからタッチを解除する操作である。なお、スライド方向は、これに限らず、任意である。いま、翻訳指示操作が行われたときには（ステップＢ３でＹＥＳ）、翻訳処理Ａの実行に移り（ステップＢ５）、翻訳指示＋方向指示操作が行われたときには（ステップＢ４でＹＥＳ）、翻訳処理Ｂの実行に移る（ステップＢ６）。
【００３４】
図５は、翻訳指示操作に応答して実行開始される翻訳処理Ａ（図４のステップＢ５）を詳述するためのフローチャートである。
先ず、中央制御部１１は、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を実行して（ステップＣ１）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＣ２）。この場合、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、視差バリアを生成せずに、この翻訳文を表示部１６に表示させるとともに（ステップＣ３）、音声データに変換して（ステップＣ４）、サウンドスピーカ２０Ａから音声出力させる（ステップＣ５）。
【００３５】
図６は、翻訳指示＋方向指示操作に応答して実行開始される翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、第１視野角方向と第２視野角方向との位置関係がユーザ操作により指定された場合に、そのユーザ操作に基づいて第１視野角方向及び第２視野角方向を決定する（ステップＤ１）。すなわち、ユーザによる一連あるいは一体の操作である方向指示操作（スライド操作）に基づいて、第１視野角方向及び第２視野角方向を決定する。例えば、スライドの元を第１視野角方向とし、スライドの先を第２視野角方向とすると、原文（文字列）の先頭文字から末尾文字の方向にスライドした場合には、先頭文字の側を第１視野角方向とし、末尾文字の側を第２視野角方向として決定し、逆に、末尾文字から先頭文字の方向にスライドした場合には、末尾文字の側を第１視野角方向とし、先頭文字の側を第２視野角方向として決定する。
【００３６】
図８は、翻訳処理Ｂの具体的に説明するための図で、（１）は、表示部（タッチ画面）１６に翻訳対象の原文（文字列）として“お元気ですか”が表示されている状態において、当該携帯電話機１の主ユーザが図中左側の位置から、また、この主ユーザ側の横に並んだ他のユーザ（翻訳文を見せたいユーザ）が図中右側の位置から表示部１６の表示内容を見る場合を示している。この場合、その文字列の先頭文字から末尾文字の方向（図中、左方向から右方向）にスライドすると、その先頭文字側が第１視野角方向として決定され、末尾文字の側が第２視野角方向として決定される。
【００３７】
上述のようにして決定した第１視野角方向及び第２視野角方向に基づいて、原文の表示方向と翻訳文の表示方向を決定する（ステップＤ２）。例えば、第１視野角方向と第２視野角方向が左右の関係であれば、原文を見るユーザと翻訳文を見るユーザが横一列に並んで表示部１６を見ている場合であると判断して、原文の表示方向と翻訳文の表示方向を同じ順方向（文字の天を上、地を下）として決定する。また、第１視野角方向が下で第２視野角方向が上の関係であれば、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合であると判断して、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する。
【００３８】
このようにして第１及び第２視野角方向を決定するとともに、原文及び翻訳文の表示方向を決定した後は、上述の場合と同様に、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を行い（ステップＤ３）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＤ４）。この場合においても、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＤ５）、原文と翻訳文とを表示部１６に同時に表示させる（ステップＤ６）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＤ７）、サウンドスピーカ２０Ａから音声出力させる（ステップＤ８）。
【００３９】
図８（２）は、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように表示部１６に同時に表示させた状態を示している。この場合、第１視野角方向と第２視野角方向が左右の関係であり、原文の“お元気ですか”を見る主ユーザと、翻訳文の“How are you?”を見るユーザが横一列に並んで表示部１６を見ている場合であるから、原文の表示方向と翻訳文の表示方向は、同じ順方向となる。
【００４０】
このような翻訳処理Ａ（図４のステップＢ５）又は翻訳処理Ｂ（図４のステップＢ６）が終わると、翻訳対象の他の原文を指定する原文再指定操作が行われたかを調べたり（ステップＢ７）、ユーザ操作又は一定時間経過時などに伴って翻訳アプリの終了が指示されたかを調べたりする（ステップＢ８）。ここで、原文再指定操作が行われたときには（ステップＢ７でＹＥＳ）、上述のステップＢ２に戻り、以下、上述の動作を繰り返すが（ステップＢ２〜Ｂ７）、翻訳アプリの終了が指示されたときには（ステップＢ８でＹＥＳ）、翻訳アプリを終了させた後（ステップＢ９）、図３のステップＡ３に戻る。
【００４１】
図７は、変換アプリ起動操作に応答して実行開始される変換アプリ処理（図３のステップＡ８）を詳述するためのフローチャートである。
先ず、中央制御部１１は、仮名漢字変換や英数字変換などの変換アプリを起動させた後（ステップＥ１）、ユーザ操作などによる変換前文字列（未変換文字列）の指定を受け付けて表示部（タッチ画面）１６に表示させる（ステップＥ２）。そして、変換指示操作待ち状態となるが（ステップＥ３）、いま、表示部（タッチ画面）１６に表示されている変換前文字列（例えば、ひらがな）へのタッチ操作により変換指示操作が行われると（ステップＥ３でＹＥＳ）、表示部１６を見ているユーザの位置に基づいて、第１視野角方向と第２視野角方向を決定する処理を行う（ステップＥ４〜Ｅ７）。すなわち、カメラ機能を起動させて撮像部２１から撮影画像を取り込み（ステップＥ４）、この撮影画像を解析しながら人物が何人写っているかを計数することにより表示部１６を見ているユーザ数Ｐを検出する（ステップＥ５）。
【００４２】
図９は、変換アプリ処理を具体的に説明するための図で、（１）は、表示部（タッチ画面）１６に変換前文字列（未変換文字列）として“がしんしょうたん”が表示されている状態において、当該携帯電話機１の主ユーザが図中左側の位置から、また、この主ユーザ側に横一列に並んだ他のユーザ（変換後文字列を見せたい二人）が図中、中央の位置と右側の位置から表示部１６の表示内容をそれぞれ見ている場合を示している。この場合、主ユーザ側に他の二人のユーザが横一列に並んでいるので、ユーザ数Ｐとして３人が検出される。
【００４３】
そして、表示部１６の全体の視野角をユーザ数Ｐに基づいて分割することにより、図４の左側から順番に第１視野角方向、第２視野角方向、第Ｐ（Ｐ＝３）視野角方向を決定する（ステップＥ６）。この場合、均等分割に限らず、主ユーザの視野角を大きくとるようにしてもよく、また、ユーザの顔の位置に応じて視野角方向を決定するようにしてもよい。図９（１）の例では、図中左側（主ユーザ側）から第１視野角方向、第２視野角方向、第３視野角方向が決定される。そして、変換前文字列と変換後文字列の表示方向を決定する（ステップＥ７）。この場合においても、上述した場合と同様にして表示方向を決定するが、図９（１）の例では、第１視野角方向〜第Ｐ視野角方向が左右の関係にあるために、変換前文字列と変換後文字列の表示方向を同じ順方向（文字の天を上、地を下）として決定する。
【００４４】
このようにして第１視野角方向〜第Ｐ視野角方向を決定するとともに、変換前文字列と変換後文字列の表示方向を決定した後は、変換辞書データベース記憶部Ｍ５を参照して文字列変換処理を実行し（ステップＥ８）、変換後文字列を生成する（ステップＥ９）。この場合、例えば、ひらがな文字列を漢字文字列に変換したり、英字や数字の文字列に変換したりする。なお、図９の例では、変換前文字列は“臥薪嘗胆”の漢字文字列に変換された場合である。そして、第１視野角方向とその他の視野角方向から、それぞれ別の文字列が視認されるような視差バリアを表示部１６の表面に生成するとともに（ステップＥ１０）、変換前文字列及び変換後文字列を表示部１６にそれぞれ同時に表示させる（ステップＥ１１）。この場合、図９（２）に示すように、第１視野角方向から変換前文字列が視認され、その他の第２及び第３視野角方向から変換後文字列が視認されるように変換前文字列及び変換後文字列を表示部１６にそれぞれ同時に表示させる。ここで、各第１〜第３視野角方向は左右の関係であるから、変換前文字列及び変換後文字列の表示方向は、同じ順方向となる。
【００４５】
その後、変換前文字列を再指定する再指定操作が行われたかを調べたり（ステップＥ１２）、ユーザ操作又は一定時間経過時などに伴って変換アプリの終了が指示されたかを調べたりする（ステップＥ１３）。ここで、再指定操作が行われたときには（ステップＥ１２でＹＥＳ）、上述のステップＥ２に戻り、以下、上述の動作を繰り返すが（ステップＥ２〜Ｅ１２）、変換アプリの終了が指示されたときには（ステップＥ１３でＹＥＳ）、変換アプリを終了させた後（ステップＥ１４）、図３のステップＡ３に戻る。
【００４６】
以上のように、本実施形態において中央制御部１１は、変換指示に応じて第１文字列が第２文字列に変換された場合に、表示部１６に対する第１視野角方向から第１文字列が視認されるとともに、第２視野角方向から第２文字列が視認されるように第１文字列と第２文字列とを表示部１６に同時に表示させるようにしたので、ある文字列を別の文字列に変換して表示部１６に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。すなわち、例えば、ある文字列をある視野角方向からＡさんが視認すると同時に、変換後の文字列を別の視野角方向からＢさんが視認することができ、また、ユーザが見る位置を変えるだけで（視野角方向を変えるだけで）、ある文字列と変換後の文字列を視認することができ、さらには、それぞれの文字列の表示領域を狭くすることも無いなど、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【００４７】
第１文字列の異なる言語への翻訳が指示された場合に、この第１文字列の言語とは異なる言語に翻訳された第２文字列を取得するようにしたので、翻訳前の文字列（原文）と翻訳後の文字列（翻訳文）を、表示領域を狭くすること無く、それぞれ異なる視野角方向から視認させることができる。
【００４８】
第１文字列の異なる文字種への変換が指示された場合に、この第１文字列の文字種とは異なる文字種に変換された第２文字列を取得するようにしたので、ある文字種の文字列と別の文字種に変換後の文字列を、表示領域を狭くすること無く、それぞれ異なる視野角方向から視認させることができる。
【００４９】
第１視野角方向と第２視野角方向との位置関係が指定された場合に、その位置関係に基づいて、第１文字列と第２文字列をそれぞれ異なる視野角方向から視認させるように表示部１６に同時に表示するようにしたので、異なる視野角方向の位置関係を指定することができ、柔軟性に富んだものとなる。
【００５０】
表示部１６を見ているユーザを撮像することによりそのユーザの位置に基づいて、第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、ある文字列が視認される方向と、変換後の文字列が視認される方向とを表示部１６を見ているユーザの位置に応じて、適切に指定することができる。
【００５１】
ユーザ操作（方向を指示するスライド操作）に基づいて、第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、ある文字列が視認される方向と、変換後の文字列が視認される方向とをユーザが所望する方向に、適切に指定することができる。
【００５２】
ユーザによる一連あるいは一体の操作（方向を指示するスライド操作）に基づいて、第１文字列の変換を指示するとともに第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、変換の指示と視野角方向の指定の両方をユーザが容易に行うことが可能となる。
【００５３】
第２文字列を音声出力するようにしたので、ユーザにあっては、表示部１６での確認のほかに、変換後の文字列を音声で聴き取ることもできる。
【００５４】
翻訳指示に応じて第１文字列が第２文字列に翻訳された場合に、表示部１６に対する第１視野角方向から第１文字列が視認されるとともに、第２視野角方向から第２文字列が視認されるように、第１文字列と第２文字列とを表示部１６に同時に表示するようにしたので、例えば、ある文字列をある視野角方向からＡさんが視認すると同時に、翻訳後の文字列を別の視野角方向からＢさんが視認することができ、また、ユーザにあっては見る位置を変えるだけで（視野角方向を変えるだけで）、ある文字列と翻訳後の文字列を視認することができ、さらには、それぞれの文字列の表示領域を狭くすることも無いなど、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【００５５】
なお、上述した実施形態で示した翻訳処理Ｂにおいては、ユーザ操作（方向指示操作）に基づいて第１視野角方向及び第２視野角方向を決定するとともに、この視野角方向に基づいて文字列の表示方向を決定するようにしたが、視野角方向を所定の方向（表示部１６の上下方向）に固定し、文字列の表示方向を所定の方向（順方向又は逆方向）に固定するようにしてもよい。
【００５６】
図１０は、実施形態の変形例を説明するための図である。
すなわち、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合において、視野角方向及び文字列の表示方向を所定の方向に固定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、第１視野角方向を表示部１６の下の方向とし、第２視野角方向を表示部１６の上の方向として決定する（ステップＦ１）。そして、原文の表示方向を順方向（文字の天を上、地を下）とし、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する（ステップＦ２）。そして、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を行い（ステップＦ３）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＦ４）。
【００５７】
そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＦ５）、原文と翻訳文を表示部１６に同時に表示させる（ステップＦ６）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＦ７）、サウンドスピーカ２０Ａから音声出力させる（ステップＦ８）。
【００５８】
図１１は、上述した実施形態の変形例を具体的に説明するための図である。
図１１（１）は、表示部（タッチ画面）１６に翻訳対象の原文（文字列）として“お元気ですか”が表示されている状態において、原文を見るユーザが図中下側（手前側）の位置（第１視野角方向）から、他のユーザ（翻訳文を見せたい相手ユーザ）が図中上側（奥側）の位置（第２視野角方向）から表示部１６の表示内容を見る場合を示している。図１１（２）は、上述のように原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合に、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向として表示部１６に同時に表示させた場合である。このように翻訳処理Ｂにおいて、視野角方向及び文字列の表示方向を所定の方向に固定したとしても、上述した実施形態と同様の効果を有する。
【００５９】
また、上述した実施形態で示した翻訳処理Ｂにおいては、ユーザ操作（方向指示操作）に基づいて第１視野角方向及び第２視野角方向を決定するようにしたが、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定するようにしてもよい。この場合、ユーザ数は３人以上であってもよい。
【００６０】
図１２は、実施形態の他の変形例を説明するための図で、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、撮像部２１を起動して撮像部２１から撮影画像を取り込み（ステップＧ１）、この撮影画像を解析しながら人物が何人写っているかを計数することにより表示部１６を見ているユーザ数Ｐを検出する（ステップＧ２）。そして、表示部１６の全体の視野角をユーザ数Ｐに基づいて分割し、図４の左側から順番に第１視野角方向、第２視野角方向、第Ｐ（Ｐ＝３）視野角方向を決定する（ステップＧ３）。この場合、均等分割に限らず、主ユーザの視野角を大きくとるようにしてもよく、また、ユーザの顔の位置に応じて視野角方向を決定するようにしてもよい。
【００６１】
このようにして決定した第１視野角方向〜第Ｐ視野角方向に基づいて、原文の表示方向と翻訳文の表示方向を決定する（ステップＧ４）。すなわち、上述と同様に、第１視野角方向と第２視野角方向が左右の関係であれば、原文を見るユーザと翻訳文を見るユーザが横一列に並んで表示部１６を見ている場合であると判断して、原文の表示方向と翻訳文の表示方向を同じ順方向（文字の天を上、地を下）として決定するが、第１視野角方向が下で第２視野角方向が上の関係であれば、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合であると判断して、原文の表示方向を順方向、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する。
【００６２】
そして、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文に対する翻訳処理を行い（ステップＧ５）、その翻訳結果の翻訳文を生成する（ステップＧ６）。この場合においても、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＧ７）、原文と翻訳文とを表示部１６に同時に表示させる（ステップＧ８）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＧ９）、サウンドスピーカ２０Ａから音声出力させる（ステップＧ１０）。
【００６３】
このように翻訳処理Ｂにおいて、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定するようにしたとしても、上述した実施形態と同様の効果を有する。
【００６４】
また、上述した実施形態においては、変換結果としての第２文字列を表示部１６に表示させる場合に、第２視野角方向から視認されるようにしたが、第１視野角方向と第２視野角方向の両方から第２文字列が視認されるように表示部１６を制御するようにしてもよい。例えば、図８の例では、主ユーザが原文を見る場合、他のユーザが翻訳文を見る場合を示したが、主ユーザ側でも翻訳文が視認されるようにしてもよい。この場合、主ユーザに対して、原文とともに翻訳文が視認されるようにしてもよいが、原文に代わって翻訳文が視認されるようにしてもよい。このことは、図９に示した変換の場合であっても同様である。
【００６５】
このように第１視野角方向と第２視野角方向の両方から第２文字列が視認されるように表示部１６を制御するようにすれば、ユーザにあっては異なる視野角方向から変換後の文字列を視認することができる。
【００６６】
また、上述した実施形態においては、変換指示操作や方向指定操作を行う場合に、表示部（タッチ画面）１６上をスライド操作するようにしたが、変換指示操作や方向指定操作は、スライド操作に限らず、例えば、キーを使用する操作、ダブルタッチ操作など別の態様のタッチ操作など、変換を指示する操作と方向を指定する操作が一体又は一連の操作であれば、任意の操作であってもよい。
【００６７】
また、上述した実施形態においては、翻訳として日本語から英語の場合を例示したが、勿論、これに限らず、ある任意の言語から別の任意の言語への翻訳であればよい。また、上述した実施形態においては、変換として仮名文字から漢字の場合を例示したが、勿論、これに限らず、ある任意の文字種から別の任意の文字種への変換であればよい。
【００６８】
また、上述した実施形態においては、表示部１６は端末装置に備えられている表示部としたが、外部モニタなど、任意の外部表示装置であってもよい。その他、端末装置としては携帯電話機に限らず、パーソナルコンピュータ、ＰＤＡ、デジタルカメラ、音楽プレイヤーなど、任意の端末装置であってもよい。さらに、ストレートタイプの端末装置に限らず、折り畳みタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であってもよい。
【００６９】
また、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００７０】
１ 携帯電話機
２ 無線通信網
３ インターネット
４ 翻訳装置・変換装置
１１ 中央制御部
１３ 記憶部
１６ 表示部（タッチ画面）
１７ 視差バリア制御部
１８ 操作部
２１ 撮像部
Ｍ１ プログラム記憶部
Ｍ２ 各種情報一時記憶部
Ｍ３ 原文記憶部
Ｍ４ 翻訳辞書データベース記憶部
Ｍ５ 変換辞書データベース記憶部
【技術分野】
【０００１】
本発明は、表示部を制御する端末装置及びプログラムに関する。
【背景技術】
【０００２】
一般に、携帯電話機などの端末装置においては、文字列を変換する様々な変換機能として、例えば、ある文字種の文字列を別の文字種の文字列に変換する機能（例えば、ひらがなを漢字に変換する仮名漢字変換機能、入力された文字列を英字や数字に変換する英数字変換機能など）、ある言語の文字列を別の言語の文字列に変換する翻訳機能などが存在している。これらの変換機能においては、ある文字列と変換後の文字列を表示する際の表示方法として、様々な方法が提案されている。例えば、ある文字列が表示されている状態においてその文字列を変換した場合に、ある文字列に代えて変換後の文字列を表示する方法、また、ある文字列が表示されている状態においてその文字列を変換した場合に、ある文字列と変換後の文字列を、表示領域を区切って同時に表示する方法などである。なお、後者の方法としては、機械翻訳装置において、原文と一次翻訳文及び二次翻訳文を、表示領域を区切って同時に表示するようにした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した前者の方法では、変換前の文字列が表示されていないためそれを確認することができない。後者の方法ではそれぞれの文字列の表示領域が狭くなってしまい、特に、携帯電話機などの携帯端末装置においては、表示領域が制限されているため、特に顕著なものとなる。このように従来では、ある文字列を別の文字列に変換して表示部に表示させる場合に、その表示を適切に制御できているとは言えなかった。
【０００５】
本発明の課題は、ある文字列を別の文字列に変換して表示部に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、
表示部を制御する端末装置であって、
第１文字列の変換を指示する指示手段と、
前記指示手段による変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第１表示制御手段と、
を備えることを特徴とする。
【０００７】
請求項１に従属する発明として、
前記指示手段は、前記第１文字列の異なる言語への翻訳を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の言語とは異なる言語で記述された前記第２文字列に翻訳された翻訳結果を取得する、
ようにしたことを特徴とする、請求項２記載の発明であってもよい。
【０００８】
請求項１に従属する発明として、
前記指示手段は、前記第１文字列の異なる文字種への変換を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の文字種とは異なる文字種で記述された前記第２文字列に変換された変換結果を取得する、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。
【０００９】
請求項１に従属する発明として、
前記第１視野角方向と第２視野角方向との位置関係を指定する指定手段をさらに備え、
前記第１表示制御手段は、前記指定手段によって指定された位置関係に基づいて、前記第１視野角方向から前記第１文字列が視認されるとともに、前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。
【００１０】
請求項４に従属する発明として、
前記表示部を見ているユーザを撮像する撮像手段と、
前記撮像手段によって撮像されたユーザに基づいて、ユーザの位置を検出する検出手段と、
をさらに備え、
前記指定手段は、前記検出手段によって検出されたユーザの位置に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。
【００１１】
請求項４に従属する発明として、
前記指定手段は、ユーザ操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。
【００１２】
請求項６に従属する発明として、
前記指示手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１文字列の変換を指示し、
前記指定手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、
前記取得手段が変換結果として取得した前記第２文字列を音声出力する音声出力手段をさらに備える、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、
前記取得手段が変換結果として取得した前記第２文字列を前記表示部に表示させる場合に、前記第１視野角方向と前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第２表示制御手段をさらに備える、
ようにしたことを特徴とする、請求項９記載の発明であってもよい。
【００１５】
また、上述した課題を解決するために請求項１０記載の発明は、
表示部を制御する端末装置であって、
第１言語で記述された第１文字列の翻訳を指示する指示手段と、
前記指示手段による翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する表示制御手段と、
を備えることを特徴とする。
【００１６】
また、上述した課題を解決するために請求項１１記載の発明は、
コンピュータに対して、
第１文字列の変換を指示する機能と、
前記変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。
【００１７】
また、上述した課題を解決するために請求項１２記載の発明は、
コンピュータに対して、
第１言語で記述された第１文字列の翻訳を指示する機能と、
前記翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム、であることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、ある文字列を別の文字列に変換して表示部に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【図面の簡単な説明】
【００１９】
【図１】端末装置として適用した携帯電話機が利用可能な通信ネットワークシステムを示したブロック図。
【図２】携帯電話機１の基本的な構成要素を示したブロック図。
【図３】電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したメインのフローチャート。
【図４】変換アプリ起動操作に応答して実行開始される翻訳アプリ処理（図３のステップＡ６）を詳述するためのフローチャート。
【図５】翻訳指示操作に応答して実行開始される翻訳処理Ａ（図４のステップＢ５）を詳述するためのフローチャート。
【図６】翻訳指示＋方向指示操作に応答して実行開始される翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【図７】変換アプリ起動操作に応答して実行開始される変換アプリ処理（図３のステップＡ８）を詳述するためのフローチャート。
【図８】（１）、（２）は、翻訳処理Ｂ（図４のステップＢ６）を具体的に説明するための図。
【図９】（１）、（２）は、変換アプリ処理（図３のステップＡ８）を具体的に説明するための図。
【図１０】実施形態の変形例を説明するための図で、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【図１１】図１０で示した実施形態の変形例を具体的に説明するための図で、（１）、（２）は、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合に、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向として表示部１６に表示させた状態を示した図。
【図１２】実施形態の他の変形例を説明するための図で、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２０】
以下、図１〜図９を参照して本発明の実施形態を説明する。
この実施形態は、端末装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機が利用可能な通信ネットワークシステムを示したブロック図である。
携帯電話機１は、例えば、一つの筐体から成るストレートタイプの携帯電話機で、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）、カメラ機能などを備えている。携帯電話機１は、筐体の表面略全域を表示面ＤＰとするもので、筐体の中央部分にはカメラ機能を構成する撮像レンズＦＲが取り付けられている。このカメラ機能は、所定のカメラ切り替え操作により表示面ＤＰ側（ユーザ側）を撮像するインカメラとして使用したり、表示面ＤＰの反対側を撮像するアウトカメラとして使用したりすることが可能なもので、インカメラとして使用する場合には、広角撮像により表示面ＤＰを視認している複数の人を同時に撮像可能となっている。
【００２１】
携帯電話機１は、最寄りの基地局２Ａ、交換機２Ｂから無線通信網（移動体通信網）２に接続されると、この無線通信網２を介して他の携帯電話機（図示省略）との間で通話可能な状態となる。また、携帯電話機１は、無線通信網２を介してインターネット３に接続されると、Ｗｅｂサイトをアクセスして閲覧可能となったり、翻訳装置・変換装置４との間でインターネット３及び無線通信網２を介して文字列の送受信が可能となったりする。翻訳装置・変換装置４は、翻訳・変換サービスを提供する業者側のサーバ装置であり、翻訳辞書データベースや変換辞書データベースを備え、会員ユーザ側の携帯電話機１から翻訳や変換依頼を受け付けると、その依頼に応じて翻訳処理や変換処理を実行してその処理結果を依頼元の携帯電話機１に送信するようにしている。
【００２２】
図２は、携帯電話機１の基本的な構成要素を示したブロック図である。
中央制御部１１は、二次電池を備えた電池部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯電話機１の全体動作を制御する中央演算処理装置やメモリ（図示省略）などを有している。この記憶部１３には、プログラム記憶部Ｍ１、各種情報一時記憶部Ｍ２、原文記憶部Ｍ３、翻訳辞書データベース記憶部Ｍ４、変換辞書データベース記憶部Ｍ５などが設けられている。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（外部記録媒体）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００２３】
プログラム記憶部Ｍ１は、図３〜図７に示した動作手順にしたがって本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする各種の情報などが記憶されている。また、各種情報一時記憶部Ｍ２は、フラグ情報、画面情報など、携帯電話機１が動作するために必要な各種の情報を一時的に記憶するワーク領域である。原文記憶部Ｍ３は、翻訳対象となる各種の原文データを記憶するもので、中央制御部１１は、原文記憶部Ｍ３の内容をリスト表示させている状態において、ユーザ操作によりその原文リストの中から任意の原文（文字列）が選択されると、選択された原文（文字列）を翻訳対象として読み出すようにしている。
【００２４】
翻訳辞書データベース記憶部Ｍ４は、ある言語（例えば、日本語）の文字列を別の言語（例えば、英語）の文字列に変換（例えば、和英翻訳）する翻訳辞書データベースを記憶するもので、中央制御部１１は、原文記憶部Ｍ３から読み出された原文データやユーザ操作に応答して任意に入力された原文（文字列）に対する翻訳を、翻訳辞書データベース記憶部Ｍ４を参照することによって実行したり、上述した翻訳装置・変換装置４に対して翻訳依頼の要求を送信したりするようにしている。変換辞書データベース記憶部Ｍ５は、ある文字種（例えば、ひらがな）の文字列を別の文字種（例えば、漢字）の文字列に変換する機能（仮名漢字変換機能）や、入力された文字列を英字や数字に変換する英数字変換辞書データベースを記憶するもので、中央制御部１１は、入力された文字列に対する変換を、変換辞書データベース記憶部Ｍ５を参照することによって実行したり、上述した翻訳装置・変換装置４に対して変換依頼の要求を送信したりするようにしている。
【００２５】
無線通信部１４は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局２Ａとの間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して中央制御部１１に対して出力すると、中央制御部１１は、音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１５から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナＡＮから発信出力させる。
【００２６】
表示部１６は、上述の表示面ＤＰを構成するもので、高精細液晶を使用し、例えば、文字情報、待受画像、静止画、動画などを表示させる。この表示部１６の表面に対応する指の接触を検出する接触操作部（透明なタッチパネル）を積層配設することによってタッチ画面を構成している。中央制御部１１は、表示部（タッチ画面）１６を構成する接触操作部からの入力操作信号に応じた処理を実行する。なお、タッチパネルは、静電容量方式や抵抗膜方式でもよく、接触の他に操作器具や指の押し込み（押圧）を検出可能する圧電方式であってもよい。また、表示部（タッチ画面）１６の表面には、図示省略したが、細かい透光性スリットを有する視差バリアを生成するための液晶の層が設けられ、この視差バリアを生成することにより視野角方向に応じて異なる表内容を視認させることが可能となっている。
【００２７】
視差バリア制御部１７は、複数の異なる表示内容が表示部１６に同時に表示されている場合に、ある視野角方向からはある表示内容が、別の視野角方向からは別の表示内容が視認されるように視差バリアを表示部１６の表面に生成させるもので、中央制御部１１の制御下で表示部１６の表面に視差バリアを生成させたり、表示部１６の表面から視差バリアを消去させたりする。ここで、中央制御部１１は、第１文字列（例えば、翻訳対象の日本語、漢字変換対象のひらがな）の変換（例えば、和英翻訳、漢字変換）を指示する操作に応答して、この第１文字列が第２文字列（例えば、英語、漢字）に変換された変換結果を取得し、この第１文字列と第２文字列を表示部１６に同時に表示させる場合に、表示部１６に対する第１視野角方向からは第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向からは第２文字列が視認されるように表示部１６を制御するようにしている。
【００２８】
操作部１８は、筐体の側面部に配設されたサイドキーなどの押しボタン式のキーを有し、中央制御部１１は、この操作部１８からの入力操作信号に応じた処理を実行する。例えば、電源オン／オフ操作に応じて電源オン／オフ処理を実行したり、アプリケーション（アプリ）起動操作に応じてそのアプリ処理を実行したりする。ＲＴＣ（リアルタイムクロックモジュール）１９は、時計部を構成するもので、中央制御部１１は、ＲＴＣ１９から現在日時を取得する。報知部２０は、サウンドスピーカ２０Ａ、ＬＥＤ（発光ダイオード）２０Ｂ、振動モータ２０Ｃを備え、着信時に駆動されて着信報知を行うほか、アラーム報知時などでも駆動される。撮像部２１は、上述のカメラ機能を構成する構成要素で、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）を有し、静止画撮像のほかに動画撮像も可能となっている。そして、撮像部１７は、上述の撮像素子や撮像レンズＦＲのほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッタ駆動制御、露出、ホワイトバランスなどを制御したりする。
【００２９】
次に、本実施形態における携帯電話機１の動作概念を図３〜図７に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００３０】
図３は、電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したメインのフローチャートである。
先ず、中央制御部１１は、電源を投入する電源オン操作が行われると（ステップＡ１でＹＥＳ）、電源供給を開始させて所定のメモリなどを初期化する電源オン処理を実行した後、所定の待受画像を読み出して表示させたり、基地局２Ａとの間で通信を行って位置登録をしたりする待受処理を行う（ステップＡ２）。この状態において、設定操作が行われたかを調べたり（ステップＡ３）、翻訳アプリ起動操作が行われたかを調べたり（ステップＡ５）、変換アプリ起動操作が行われたかを調べたり（ステップＡ８）、着信を検出したかを調べたり（ステップＡ９）、電源オフ操作が行われたかを調べたり（ステップＡ１１）、その他の操作が行われたかを調べたりする（ステップＡ１３）。
【００３１】
いま、任意の情報を設定するために設定操作が行われたときには（ステップＡ３でＹＥＳ）、その操作に対応する設定処理を行った後（ステップＡ４）、上述のステップＡ３に戻る。また、翻訳アプリ起動操作が行われたときには（ステップＡ５でＹＥＳ）、後述する翻訳アプリ処理の実行に移り（ステップＡ６）、変換アプリ起動操作が行われたときには（ステップＡ７でＹＥＳ）、後述する変換アプリ処理の実行に移る（ステップＡ８）。他方、着信を検出したときには（ステップＡ９でＹＥＳ）、その応答操作に応じて通話処理を行った後（ステップＡ１０）、上述のステップＡ３に戻る。また、電源オフ操作を検出したときには（ステップＡ１１でＹＥＳ）、電源オフ処理を行った後（ステップＡ１２）、このフローの終了となるが、発信操作など、その他の操作が行われたときには（ステップＡ１３でＹＥＳ）、操作に応じた処理として発信処理などを行った後（ステップＡ１４）、上述のステップＡ３に戻る。
【００３２】
図４は、変換アプリ起動操作に応答して実行開始される翻訳アプリ処理（図３のステップＡ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、翻訳アプリを起動した後（ステップＢ１）、翻訳対象の原文（文字列）の指定を受け付ける（ステップＢ２）。この場合、例えば、原文記憶部Ｍ３の内容を表示部１６にリスト表示させている状態においてユーザ操作によりその原文リストの中から任意に選択された原文（文字列）を翻訳対象として読み出したり、操作部１８や表示部（タッチ画面）１６などから翻訳対象として任意に入力された原文（文字列）を取り込んだりして、この翻訳対象の原文（文字列）を表示部（タッチ画面）１６に表示させる。
【００３３】
この状態において、翻訳指示操作が行われたか（ステップＢ３）、翻訳指示＋方向指示操作が行われたかを調べる（ステップＢ４）。ここで、翻訳指示操作とは、例えば、表示部（タッチ画面）１６に表示されている翻訳対象の原文（文字列）上をタッチしてその位置でタッチを解除する操作であるのに対し、翻訳指示＋方向指示操作とは、例えば、翻訳対象の原文（文字列）上をタッチしたままの状態で、その文字列の先頭文字から末尾文字の方向へ、又は末尾文字から先頭文字の方向へスライドしてからタッチを解除する操作である。なお、スライド方向は、これに限らず、任意である。いま、翻訳指示操作が行われたときには（ステップＢ３でＹＥＳ）、翻訳処理Ａの実行に移り（ステップＢ５）、翻訳指示＋方向指示操作が行われたときには（ステップＢ４でＹＥＳ）、翻訳処理Ｂの実行に移る（ステップＢ６）。
【００３４】
図５は、翻訳指示操作に応答して実行開始される翻訳処理Ａ（図４のステップＢ５）を詳述するためのフローチャートである。
先ず、中央制御部１１は、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を実行して（ステップＣ１）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＣ２）。この場合、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、視差バリアを生成せずに、この翻訳文を表示部１６に表示させるとともに（ステップＣ３）、音声データに変換して（ステップＣ４）、サウンドスピーカ２０Ａから音声出力させる（ステップＣ５）。
【００３５】
図６は、翻訳指示＋方向指示操作に応答して実行開始される翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、第１視野角方向と第２視野角方向との位置関係がユーザ操作により指定された場合に、そのユーザ操作に基づいて第１視野角方向及び第２視野角方向を決定する（ステップＤ１）。すなわち、ユーザによる一連あるいは一体の操作である方向指示操作（スライド操作）に基づいて、第１視野角方向及び第２視野角方向を決定する。例えば、スライドの元を第１視野角方向とし、スライドの先を第２視野角方向とすると、原文（文字列）の先頭文字から末尾文字の方向にスライドした場合には、先頭文字の側を第１視野角方向とし、末尾文字の側を第２視野角方向として決定し、逆に、末尾文字から先頭文字の方向にスライドした場合には、末尾文字の側を第１視野角方向とし、先頭文字の側を第２視野角方向として決定する。
【００３６】
図８は、翻訳処理Ｂの具体的に説明するための図で、（１）は、表示部（タッチ画面）１６に翻訳対象の原文（文字列）として“お元気ですか”が表示されている状態において、当該携帯電話機１の主ユーザが図中左側の位置から、また、この主ユーザ側の横に並んだ他のユーザ（翻訳文を見せたいユーザ）が図中右側の位置から表示部１６の表示内容を見る場合を示している。この場合、その文字列の先頭文字から末尾文字の方向（図中、左方向から右方向）にスライドすると、その先頭文字側が第１視野角方向として決定され、末尾文字の側が第２視野角方向として決定される。
【００３７】
上述のようにして決定した第１視野角方向及び第２視野角方向に基づいて、原文の表示方向と翻訳文の表示方向を決定する（ステップＤ２）。例えば、第１視野角方向と第２視野角方向が左右の関係であれば、原文を見るユーザと翻訳文を見るユーザが横一列に並んで表示部１６を見ている場合であると判断して、原文の表示方向と翻訳文の表示方向を同じ順方向（文字の天を上、地を下）として決定する。また、第１視野角方向が下で第２視野角方向が上の関係であれば、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合であると判断して、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する。
【００３８】
このようにして第１及び第２視野角方向を決定するとともに、原文及び翻訳文の表示方向を決定した後は、上述の場合と同様に、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を行い（ステップＤ３）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＤ４）。この場合においても、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＤ５）、原文と翻訳文とを表示部１６に同時に表示させる（ステップＤ６）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＤ７）、サウンドスピーカ２０Ａから音声出力させる（ステップＤ８）。
【００３９】
図８（２）は、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように表示部１６に同時に表示させた状態を示している。この場合、第１視野角方向と第２視野角方向が左右の関係であり、原文の“お元気ですか”を見る主ユーザと、翻訳文の“How are you?”を見るユーザが横一列に並んで表示部１６を見ている場合であるから、原文の表示方向と翻訳文の表示方向は、同じ順方向となる。
【００４０】
このような翻訳処理Ａ（図４のステップＢ５）又は翻訳処理Ｂ（図４のステップＢ６）が終わると、翻訳対象の他の原文を指定する原文再指定操作が行われたかを調べたり（ステップＢ７）、ユーザ操作又は一定時間経過時などに伴って翻訳アプリの終了が指示されたかを調べたりする（ステップＢ８）。ここで、原文再指定操作が行われたときには（ステップＢ７でＹＥＳ）、上述のステップＢ２に戻り、以下、上述の動作を繰り返すが（ステップＢ２〜Ｂ７）、翻訳アプリの終了が指示されたときには（ステップＢ８でＹＥＳ）、翻訳アプリを終了させた後（ステップＢ９）、図３のステップＡ３に戻る。
【００４１】
図７は、変換アプリ起動操作に応答して実行開始される変換アプリ処理（図３のステップＡ８）を詳述するためのフローチャートである。
先ず、中央制御部１１は、仮名漢字変換や英数字変換などの変換アプリを起動させた後（ステップＥ１）、ユーザ操作などによる変換前文字列（未変換文字列）の指定を受け付けて表示部（タッチ画面）１６に表示させる（ステップＥ２）。そして、変換指示操作待ち状態となるが（ステップＥ３）、いま、表示部（タッチ画面）１６に表示されている変換前文字列（例えば、ひらがな）へのタッチ操作により変換指示操作が行われると（ステップＥ３でＹＥＳ）、表示部１６を見ているユーザの位置に基づいて、第１視野角方向と第２視野角方向を決定する処理を行う（ステップＥ４〜Ｅ７）。すなわち、カメラ機能を起動させて撮像部２１から撮影画像を取り込み（ステップＥ４）、この撮影画像を解析しながら人物が何人写っているかを計数することにより表示部１６を見ているユーザ数Ｐを検出する（ステップＥ５）。
【００４２】
図９は、変換アプリ処理を具体的に説明するための図で、（１）は、表示部（タッチ画面）１６に変換前文字列（未変換文字列）として“がしんしょうたん”が表示されている状態において、当該携帯電話機１の主ユーザが図中左側の位置から、また、この主ユーザ側に横一列に並んだ他のユーザ（変換後文字列を見せたい二人）が図中、中央の位置と右側の位置から表示部１６の表示内容をそれぞれ見ている場合を示している。この場合、主ユーザ側に他の二人のユーザが横一列に並んでいるので、ユーザ数Ｐとして３人が検出される。
【００４３】
そして、表示部１６の全体の視野角をユーザ数Ｐに基づいて分割することにより、図４の左側から順番に第１視野角方向、第２視野角方向、第Ｐ（Ｐ＝３）視野角方向を決定する（ステップＥ６）。この場合、均等分割に限らず、主ユーザの視野角を大きくとるようにしてもよく、また、ユーザの顔の位置に応じて視野角方向を決定するようにしてもよい。図９（１）の例では、図中左側（主ユーザ側）から第１視野角方向、第２視野角方向、第３視野角方向が決定される。そして、変換前文字列と変換後文字列の表示方向を決定する（ステップＥ７）。この場合においても、上述した場合と同様にして表示方向を決定するが、図９（１）の例では、第１視野角方向〜第Ｐ視野角方向が左右の関係にあるために、変換前文字列と変換後文字列の表示方向を同じ順方向（文字の天を上、地を下）として決定する。
【００４４】
このようにして第１視野角方向〜第Ｐ視野角方向を決定するとともに、変換前文字列と変換後文字列の表示方向を決定した後は、変換辞書データベース記憶部Ｍ５を参照して文字列変換処理を実行し（ステップＥ８）、変換後文字列を生成する（ステップＥ９）。この場合、例えば、ひらがな文字列を漢字文字列に変換したり、英字や数字の文字列に変換したりする。なお、図９の例では、変換前文字列は“臥薪嘗胆”の漢字文字列に変換された場合である。そして、第１視野角方向とその他の視野角方向から、それぞれ別の文字列が視認されるような視差バリアを表示部１６の表面に生成するとともに（ステップＥ１０）、変換前文字列及び変換後文字列を表示部１６にそれぞれ同時に表示させる（ステップＥ１１）。この場合、図９（２）に示すように、第１視野角方向から変換前文字列が視認され、その他の第２及び第３視野角方向から変換後文字列が視認されるように変換前文字列及び変換後文字列を表示部１６にそれぞれ同時に表示させる。ここで、各第１〜第３視野角方向は左右の関係であるから、変換前文字列及び変換後文字列の表示方向は、同じ順方向となる。
【００４５】
その後、変換前文字列を再指定する再指定操作が行われたかを調べたり（ステップＥ１２）、ユーザ操作又は一定時間経過時などに伴って変換アプリの終了が指示されたかを調べたりする（ステップＥ１３）。ここで、再指定操作が行われたときには（ステップＥ１２でＹＥＳ）、上述のステップＥ２に戻り、以下、上述の動作を繰り返すが（ステップＥ２〜Ｅ１２）、変換アプリの終了が指示されたときには（ステップＥ１３でＹＥＳ）、変換アプリを終了させた後（ステップＥ１４）、図３のステップＡ３に戻る。
【００４６】
以上のように、本実施形態において中央制御部１１は、変換指示に応じて第１文字列が第２文字列に変換された場合に、表示部１６に対する第１視野角方向から第１文字列が視認されるとともに、第２視野角方向から第２文字列が視認されるように第１文字列と第２文字列とを表示部１６に同時に表示させるようにしたので、ある文字列を別の文字列に変換して表示部１６に表示させる場合に、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。すなわち、例えば、ある文字列をある視野角方向からＡさんが視認すると同時に、変換後の文字列を別の視野角方向からＢさんが視認することができ、また、ユーザが見る位置を変えるだけで（視野角方向を変えるだけで）、ある文字列と変換後の文字列を視認することができ、さらには、それぞれの文字列の表示領域を狭くすることも無いなど、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【００４７】
第１文字列の異なる言語への翻訳が指示された場合に、この第１文字列の言語とは異なる言語に翻訳された第２文字列を取得するようにしたので、翻訳前の文字列（原文）と翻訳後の文字列（翻訳文）を、表示領域を狭くすること無く、それぞれ異なる視野角方向から視認させることができる。
【００４８】
第１文字列の異なる文字種への変換が指示された場合に、この第１文字列の文字種とは異なる文字種に変換された第２文字列を取得するようにしたので、ある文字種の文字列と別の文字種に変換後の文字列を、表示領域を狭くすること無く、それぞれ異なる視野角方向から視認させることができる。
【００４９】
第１視野角方向と第２視野角方向との位置関係が指定された場合に、その位置関係に基づいて、第１文字列と第２文字列をそれぞれ異なる視野角方向から視認させるように表示部１６に同時に表示するようにしたので、異なる視野角方向の位置関係を指定することができ、柔軟性に富んだものとなる。
【００５０】
表示部１６を見ているユーザを撮像することによりそのユーザの位置に基づいて、第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、ある文字列が視認される方向と、変換後の文字列が視認される方向とを表示部１６を見ているユーザの位置に応じて、適切に指定することができる。
【００５１】
ユーザ操作（方向を指示するスライド操作）に基づいて、第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、ある文字列が視認される方向と、変換後の文字列が視認される方向とをユーザが所望する方向に、適切に指定することができる。
【００５２】
ユーザによる一連あるいは一体の操作（方向を指示するスライド操作）に基づいて、第１文字列の変換を指示するとともに第１視野角方向と第２視野角方向との位置関係を指定するようにしたので、変換の指示と視野角方向の指定の両方をユーザが容易に行うことが可能となる。
【００５３】
第２文字列を音声出力するようにしたので、ユーザにあっては、表示部１６での確認のほかに、変換後の文字列を音声で聴き取ることもできる。
【００５４】
翻訳指示に応じて第１文字列が第２文字列に翻訳された場合に、表示部１６に対する第１視野角方向から第１文字列が視認されるとともに、第２視野角方向から第２文字列が視認されるように、第１文字列と第２文字列とを表示部１６に同時に表示するようにしたので、例えば、ある文字列をある視野角方向からＡさんが視認すると同時に、翻訳後の文字列を別の視野角方向からＢさんが視認することができ、また、ユーザにあっては見る位置を変えるだけで（視野角方向を変えるだけで）、ある文字列と翻訳後の文字列を視認することができ、さらには、それぞれの文字列の表示領域を狭くすることも無いなど、ユーザの利便性を損なうことなく、その表示を適切に制御することができ、実用性に富んだものとなる。
【００５５】
なお、上述した実施形態で示した翻訳処理Ｂにおいては、ユーザ操作（方向指示操作）に基づいて第１視野角方向及び第２視野角方向を決定するとともに、この視野角方向に基づいて文字列の表示方向を決定するようにしたが、視野角方向を所定の方向（表示部１６の上下方向）に固定し、文字列の表示方向を所定の方向（順方向又は逆方向）に固定するようにしてもよい。
【００５６】
図１０は、実施形態の変形例を説明するための図である。
すなわち、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合において、視野角方向及び文字列の表示方向を所定の方向に固定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、第１視野角方向を表示部１６の下の方向とし、第２視野角方向を表示部１６の上の方向として決定する（ステップＦ１）。そして、原文の表示方向を順方向（文字の天を上、地を下）とし、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する（ステップＦ２）。そして、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文（第１文字列）に対する翻訳処理を行い（ステップＦ３）、その翻訳結果の翻訳文（第２文字列）を生成する（ステップＦ４）。
【００５７】
そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＦ５）、原文と翻訳文を表示部１６に同時に表示させる（ステップＦ６）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＦ７）、サウンドスピーカ２０Ａから音声出力させる（ステップＦ８）。
【００５８】
図１１は、上述した実施形態の変形例を具体的に説明するための図である。
図１１（１）は、表示部（タッチ画面）１６に翻訳対象の原文（文字列）として“お元気ですか”が表示されている状態において、原文を見るユーザが図中下側（手前側）の位置（第１視野角方向）から、他のユーザ（翻訳文を見せたい相手ユーザ）が図中上側（奥側）の位置（第２視野角方向）から表示部１６の表示内容を見る場合を示している。図１１（２）は、上述のように原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合に、原文の表示方向を順方向とし、翻訳文の表示方向を逆方向として表示部１６に同時に表示させた場合である。このように翻訳処理Ｂにおいて、視野角方向及び文字列の表示方向を所定の方向に固定したとしても、上述した実施形態と同様の効果を有する。
【００５９】
また、上述した実施形態で示した翻訳処理Ｂにおいては、ユーザ操作（方向指示操作）に基づいて第１視野角方向及び第２視野角方向を決定するようにしたが、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定するようにしてもよい。この場合、ユーザ数は３人以上であってもよい。
【００６０】
図１２は、実施形態の他の変形例を説明するための図で、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定する場合の翻訳処理Ｂ（図４のステップＢ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、撮像部２１を起動して撮像部２１から撮影画像を取り込み（ステップＧ１）、この撮影画像を解析しながら人物が何人写っているかを計数することにより表示部１６を見ているユーザ数Ｐを検出する（ステップＧ２）。そして、表示部１６の全体の視野角をユーザ数Ｐに基づいて分割し、図４の左側から順番に第１視野角方向、第２視野角方向、第Ｐ（Ｐ＝３）視野角方向を決定する（ステップＧ３）。この場合、均等分割に限らず、主ユーザの視野角を大きくとるようにしてもよく、また、ユーザの顔の位置に応じて視野角方向を決定するようにしてもよい。
【００６１】
このようにして決定した第１視野角方向〜第Ｐ視野角方向に基づいて、原文の表示方向と翻訳文の表示方向を決定する（ステップＧ４）。すなわち、上述と同様に、第１視野角方向と第２視野角方向が左右の関係であれば、原文を見るユーザと翻訳文を見るユーザが横一列に並んで表示部１６を見ている場合であると判断して、原文の表示方向と翻訳文の表示方向を同じ順方向（文字の天を上、地を下）として決定するが、第１視野角方向が下で第２視野角方向が上の関係であれば、原文を見るユーザと翻訳文を見るユーザが対面して表示部１６を見ている場合であると判断して、原文の表示方向を順方向、翻訳文の表示方向を逆方向（文字の天を下、地を上）として決定する。
【００６２】
そして、翻訳辞書データベース記憶部Ｍ４を参照し、翻訳対象の原文に対する翻訳処理を行い（ステップＧ５）、その翻訳結果の翻訳文を生成する（ステップＧ６）。この場合においても、翻訳処理や翻訳文生成を翻訳装置・変換装置４側に対して依頼し、翻訳装置・変換装置４側で生成された翻訳文を受信するようにしてもよい。そして、表示部１６の表面に上述した視差バリアを生成させた後（ステップＧ７）、原文と翻訳文とを表示部１６に同時に表示させる（ステップＧ８）。その際、視差バリアの効果によって、第１視野角方向から原文が視認されるとともに、第２視野角方向から翻訳文が視認されるように原文と翻訳文を、それぞれ決定した表示方向で表示部１６に同時に表示させる。そして、翻訳文を音声データに変換して（ステップＧ９）、サウンドスピーカ２０Ａから音声出力させる（ステップＧ１０）。
【００６３】
このように翻訳処理Ｂにおいて、撮像部２１によりユーザを撮影した画像を解析することにより視野角方向を決定するようにしたとしても、上述した実施形態と同様の効果を有する。
【００６４】
また、上述した実施形態においては、変換結果としての第２文字列を表示部１６に表示させる場合に、第２視野角方向から視認されるようにしたが、第１視野角方向と第２視野角方向の両方から第２文字列が視認されるように表示部１６を制御するようにしてもよい。例えば、図８の例では、主ユーザが原文を見る場合、他のユーザが翻訳文を見る場合を示したが、主ユーザ側でも翻訳文が視認されるようにしてもよい。この場合、主ユーザに対して、原文とともに翻訳文が視認されるようにしてもよいが、原文に代わって翻訳文が視認されるようにしてもよい。このことは、図９に示した変換の場合であっても同様である。
【００６５】
このように第１視野角方向と第２視野角方向の両方から第２文字列が視認されるように表示部１６を制御するようにすれば、ユーザにあっては異なる視野角方向から変換後の文字列を視認することができる。
【００６６】
また、上述した実施形態においては、変換指示操作や方向指定操作を行う場合に、表示部（タッチ画面）１６上をスライド操作するようにしたが、変換指示操作や方向指定操作は、スライド操作に限らず、例えば、キーを使用する操作、ダブルタッチ操作など別の態様のタッチ操作など、変換を指示する操作と方向を指定する操作が一体又は一連の操作であれば、任意の操作であってもよい。
【００６７】
また、上述した実施形態においては、翻訳として日本語から英語の場合を例示したが、勿論、これに限らず、ある任意の言語から別の任意の言語への翻訳であればよい。また、上述した実施形態においては、変換として仮名文字から漢字の場合を例示したが、勿論、これに限らず、ある任意の文字種から別の任意の文字種への変換であればよい。
【００６８】
また、上述した実施形態においては、表示部１６は端末装置に備えられている表示部としたが、外部モニタなど、任意の外部表示装置であってもよい。その他、端末装置としては携帯電話機に限らず、パーソナルコンピュータ、ＰＤＡ、デジタルカメラ、音楽プレイヤーなど、任意の端末装置であってもよい。さらに、ストレートタイプの端末装置に限らず、折り畳みタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であってもよい。
【００６９】
また、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００７０】
１ 携帯電話機
２ 無線通信網
３ インターネット
４ 翻訳装置・変換装置
１１ 中央制御部
１３ 記憶部
１６ 表示部（タッチ画面）
１７ 視差バリア制御部
１８ 操作部
２１ 撮像部
Ｍ１ プログラム記憶部
Ｍ２ 各種情報一時記憶部
Ｍ３ 原文記憶部
Ｍ４ 翻訳辞書データベース記憶部
Ｍ５ 変換辞書データベース記憶部
【特許請求の範囲】
【請求項１】
表示部を制御する端末装置であって、
第１文字列の変換を指示する指示手段と、
前記指示手段による変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第１表示制御手段と、
を備えることを特徴とする端末装置。
【請求項２】
前記指示手段は、前記第１文字列の異なる言語への翻訳を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の言語とは異なる言語で記述された前記第２文字列に翻訳された翻訳結果を取得する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
前記指示手段は、前記第１文字列の異なる文字種への変換を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の文字種とは異なる文字種で記述された前記第２文字列に変換された変換結果を取得する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項４】
前記第１視野角方向と第２視野角方向との位置関係を指定する指定手段をさらに備え、
前記第１表示制御手段は、前記指定手段によって指定された位置関係に基づいて、前記第１視野角方向から前記第１文字列が視認されるとともに、前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項５】
前記表示部を見ているユーザを撮像する撮像手段と、
前記撮像手段によって撮像されたユーザに基づいて、ユーザの位置を検出する検出手段と、
をさらに備え、
前記指定手段は、前記検出手段によって検出されたユーザの位置に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項６】
前記指定手段は、ユーザ操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項７】
前記指示手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１文字列の変換を指示し、
前記指定手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項６記載の端末装置。
【請求項８】
前記取得手段が変換結果として取得した前記第２文字列を音声出力する音声出力手段をさらに備える、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項９】
前記取得手段が変換結果として取得した前記第２文字列を前記表示部に表示させる場合に、前記第１視野角方向と前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第２表示制御手段をさらに備える、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項１０】
表示部を制御する端末装置であって、
第１言語で記述された第１文字列の翻訳を指示する指示手段と、
前記指示手段による翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する表示制御手段と、
を備えることを特徴とする端末装置。
【請求項１１】
コンピュータに対して、
第１文字列の変換を指示する機能と、
前記変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム。
【請求項１２】
コンピュータに対して、
第１言語で記述された第１文字列の翻訳を指示する機能と、
前記翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム。
【請求項１】
表示部を制御する端末装置であって、
第１文字列の変換を指示する指示手段と、
前記指示手段による変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第１表示制御手段と、
を備えることを特徴とする端末装置。
【請求項２】
前記指示手段は、前記第１文字列の異なる言語への翻訳を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の言語とは異なる言語で記述された前記第２文字列に翻訳された翻訳結果を取得する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
前記指示手段は、前記第１文字列の異なる文字種への変換を指示する手段であって、
前記取得手段は、前記第１文字列が該第１文字列の文字種とは異なる文字種で記述された前記第２文字列に変換された変換結果を取得する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項４】
前記第１視野角方向と第２視野角方向との位置関係を指定する指定手段をさらに備え、
前記第１表示制御手段は、前記指定手段によって指定された位置関係に基づいて、前記第１視野角方向から前記第１文字列が視認されるとともに、前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項５】
前記表示部を見ているユーザを撮像する撮像手段と、
前記撮像手段によって撮像されたユーザに基づいて、ユーザの位置を検出する検出手段と、
をさらに備え、
前記指定手段は、前記検出手段によって検出されたユーザの位置に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項６】
前記指定手段は、ユーザ操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項４記載の端末装置。
【請求項７】
前記指示手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１文字列の変換を指示し、
前記指定手段は、前記ユーザによる一連あるいは一体の操作に基づいて、前記第１視野角方向と第２視野角方向との位置関係を指定する、
ようにしたことを特徴とする請求項６記載の端末装置。
【請求項８】
前記取得手段が変換結果として取得した前記第２文字列を音声出力する音声出力手段をさらに備える、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項９】
前記取得手段が変換結果として取得した前記第２文字列を前記表示部に表示させる場合に、前記第１視野角方向と前記第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する第２表示制御手段をさらに備える、
ようにしたことを特徴とする請求項１記載の端末装置。
【請求項１０】
表示部を制御する端末装置であって、
第１言語で記述された第１文字列の翻訳を指示する指示手段と、
前記指示手段による翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する取得手段と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する表示制御手段と、
を備えることを特徴とする端末装置。
【請求項１１】
コンピュータに対して、
第１文字列の変換を指示する機能と、
前記変換指示に応答して、前記第１文字列が第２文字列に変換された変換結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム。
【請求項１２】
コンピュータに対して、
第１言語で記述された第１文字列の翻訳を指示する機能と、
前記翻訳指示に応答して、前記第１文字列が前記第１言語とは異なる第２言語で記述された第２文字列に翻訳された翻訳結果を取得する機能と、
前記第１文字列と前記第２文字列とを前記表示部に同時に表示させる場合に、前記表示部に対する第１視野角方向から前記第１文字列が視認されるとともに、該第１視野角方向とは異なる第２視野角方向から前記第２文字列が視認されるように前記表示部を制御する機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２３７９３９（Ｐ２０１１−２３７９３９Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０７５１８（Ｐ２０１０−１０７５１８）
【出願日】平成２２年５月７日（２０１０．５．７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月７日（２０１０．５．７）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]