情報処理装置、情報処理方法及びソフトウェア
【課題】外国語を翻訳するための翻訳データのデータサイズは小さくし、翻訳の概要と詳細のどちらも表示できる手段を備えた携帯電話を提供すること。
【解決手段】
上記課題を解決するために、例えば、請求項１記載の如く、他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えればよい。
【解決手段】
上記課題を解決するために、例えば、請求項１記載の如く、他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えればよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、携帯電話、PHS（Personal Handy-phone System）、PDA（Personal Digital Assistant）やPC（Personal Computer）等の情報処理装置に関するものである。
【背景技術】
【０００２】
特開２００２−２５２６９１号公報には、OCR（Optical Character Recognition）機能により、撮像した画像情報に含まれる文字を文字情報に変換し、印刷物に掲載された住所や名前、電話番号、URL（Uniform Resource Locator）などを入力できる携帯電話が提案されている。また、特開平５−２７４３４６号公報には、紙面上に印刷された文字列のイメージを読み取り、OCR機能を利用してそのイメージから文字列を認識して文字情報に変換し、翻訳辞書を参照してその文字列に対応する翻訳を表示部に表示する電子辞書が提案されている。
【０００３】
【特許文献１】特開２００２−２５２６９１号公報
【特許文献２】特開平５−２７４３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、印刷物に掲載された住所等の情報を入力できるＯＣＲ機能を搭載した携帯電話が開示されているものの、その入力された情報をどのように使うかといった使い勝手の面での検討が不十分であった。また、上記特許文献２では、例えば、ＯＣＲ機能により入力された単語の翻訳を表示する際、簡単な翻訳しか表示されず、より詳しい翻訳やその単語の使い方などを知りたい場合は、別途英和辞書を引き直さなければならず、使い勝手が悪いといった問題があった。
【０００５】
そこで、本発明は、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、例えば、請求項１記載の如く、他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えればよい。
【発明の効果】
【０００７】
本発明によれば、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を用いて説明する。なお、以下の図面において、同一の構成部については同符号を用いる。
【０００９】
図１は、本実施例（第1の実施例）に係る携帯電話の構成ブロック図である。本実施例においては、携帯電話に搭載された画像認識機能（ＯＣＲ機能）を利用して、紙面等に掲載された英単語の日本語訳を出力する場合を想定する。
【００１０】
携帯電話１００は、入力部１０１、ＣＰＵ１０２、撮像部１０３、記憶部１０４、画像認識部１０５、辞書データ１０６、表示部１０７、通信部１０８、検索部１０９などを含んだものとして構成される。
【００１１】
入力部１０１は、電話番号その他の情報を入力する入力部であり、携帯電話の電源をＯＮ/ＯＦＦするとき、被写体を撮像するときなど、ユーザが携帯電話に入力を与える際に使用するものである。ＣＰＵ１０２は、記憶部１０４に記憶されたプログラムに基づいて動作し、例えば、入力部１０１からの入力に応じて各部を制御するものである。
【００１２】
撮像部１０３は、例えば、カメラなどで構成されたものであり、被写体である人の顔や、景色、文字などを撮像し、ＣＰＵ１０２で扱える画像情報に変換し、変換された画像情報は必要に応じて表示部１０７等に出力する。ユーザは、表示部１０７に出力された画像情報をモニタしながら撮像したい画像を選んでシャッター等により撮像の指示を行う。シャッターが押下されれば、撮像された画像情報は記憶部１０４に記憶される。また、記憶部１０４は、携帯電話１００で扱うデータやソフトウェアなども記憶する。
【００１３】
画像認識部１０５は、画像情報に含まれる文字や記号等の識別情報を認識する。ここで、識別情報とは、文字、記号等で表された情報であり、例えば、ホームページのアドレス、メールアドレス、住所、電話番号、地図情報あるいは英語の単語等のように文字や記号等で表現されたものであり、事物を識別できる情報であれば上記例以外のものでも構わない。
【００１４】
また、ここで、認識とは、撮像部１０３により撮像された画像情報に含まれる識別情報を抽出し、その識別情報を所定の領域ごとに分割し、分割された領域を所定のパラメータ値に変換し、そのパラメータ値に基づいて分割された領域がどのような情報であるかを決定することをいう。
【００１５】
より具体的にいえば、例えば、画像情報内の「abc」という文字を「認識」する場合を考えると、まず、「abc」が画像情報内のどの位置の情報であるかを特定し、次に、「a」「b」「c」に分割し、「a」を所定のパラメータ値（例えば、その文字を縦、横、斜めからの見た線分の構成を、文字の白色部分を「０」、黒色部分を「１」としてパラメータ化された値）に変換する。そして、変換されたパラメータ値に最も類似したパラメータ値と対応付けされた文字を文字パターンデータ表より選び出す。文字パターンデータ表とは、パラメータ値とそのパラメータ値に対応したアルファベット等の文字とが記述されている表であり、予め記憶されているものである。なお、画像認識部１０５はOCR機能を備えており、OCR機能を実現する具体的な構成は、例えば、特許文献１に記されている。
【００１６】
記憶部１０４に記憶された辞書データ１０６には、例えば、外国語の単語等といった識別情報、該識別情報の日本語訳及び該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL等が含まれる。なお、翻訳言語としては、日本語訳に限定されるものではなく、英語やフランス語などでもよい。さらに、識別情報の説明であることがわかれば、絵や音などのデータでもよい。
【００１７】
表示部１０７は、撮像部１０３により撮像された画像や画像認識部１０５により認識された識別情報を表示する。その他、表示部１０７に、例えば、電源状態、電波強度、電池残量、サーバ接続状態、未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データの表示、また、携帯電話の機能を利用するために必要な画面を表示する。通信部１０８は、携帯電話１００がインターネットや他の情報処理装置などにアクセスするための通信処理を行う。検索部１０９は、辞書データ１０６を参照し、画像認識部１０５により得られた識別情報と一致する識別情報を検索する。
【００１８】
また、ＣＰＵ１０２は、モード判定フラグを利用して、撮像モードが通常の静止画又は動画を撮像する通常撮像モードであるか、画像認識部１０５を利用して識別情報を認識するモードである認識モードであるかを判定する。ここで、モード判定フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数で、認識モードの場合と通常撮像モードとでは異なる値になるようにし、ＣＰＵ１０２はこの変数に基づいて認識モードと通常撮像モードと、例えば、入力部１０１による操作により切り換える。以下、実施例では、「認識モード」と「通常撮像モード」との２種類を有する場合を考えるが、これに限定されるものではなく、それ以外にモードがあっても構わない。
【００１９】
図２は、辞書データ１０６の例を示している。列２０１は、外国語の単語が書かれた列であり、列２０２は、２０１の単語に対応した翻訳の概要が書かれた列である。列２０３は、列２０１の単語に対応した関連情報、例えば、翻訳の詳細が掲載されているホームページのURLが書かれた列である。なお、ここで、列２０１の列には例として英単語を記述したが、フランス語やドイツ語などどんな言語でもよいのは言うまでもない。 また、ここでは、列２０３にはURL全体を記述したが、URLの一部だけを記述してもよい。
【００２０】
図３は、URLの一部だけが記述された場合の辞書データ１０６の例である。図２の場合は、”http://www.○○○.com”が共通であるので、この共通部分はURL共通部分２０４に記述しておき、”a”や”abacus”などのような固有の部分だけは列２０６にURL固有部分として記述しておく。また、URL作成方法２０５には、URL共通部分２０４とURL固有部分２０６とを組み合わせて、詳細翻訳が掲載されたホームページのURLを作成する方法を記述しておく。このように、URLの共通部分を辞書データ１０６内の予め定められた場所に代表して記述し、異なる部分だけを各英単語に対応して記述するようにしておくことで、辞書データ１０６のデータサイズを減らすことができ、携帯電話で保持すべきデータ量が削減できるというメリットがある。
【００２１】
さらに、図３のように、列２０６に記述される情報と列２０１の列に記述された単語と同じである場合は、URL固有部分が記述された列２０６を辞書データ１
０６から省略するようにしても構わない。これにより、更に辞書データのデータサイズを減らすことができる。
【００２２】
次に、図４のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。まず、「認識モード」が入力部１０１を介してユーザにより選択された後、入力部１０１のうち撮像部１０３に撮像するように指示を出すスイッチ（以下、これをシャッターボタンと呼ぶ）が押下されれば、ＣＰＵ１０２が撮像部１０３に対して撮像するように指示を出す（ステップS401）。そして、撮像部１０３により撮像（変換）された被写体である対象物の画像情報はＣＰＵ１０２を介して記憶部１０４に保存する（ステップS402）。
【００２３】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS403）。この結果を、検索部１０９が読み取り、記憶部１０４により記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する（ステップS404）。
【００２４】
検索する方法としては、まず識別情報が完全に一致するものを探し出し、完全に一致するものがなかった場合は一文字だけ異なるがその他の文字は一致している単語を探し出すという方法が好ましい。この方法を採用することで、画像認識部１０５が紙面上の文字を誤って認識した場合でも、その文字列に一番近い単語を探し出すことができ、何度も撮像して文字認識をやり直す手間が省くことができ、使い勝手がよい。
【００２５】
また、一文字だけ異なる単語もない場合は、二文字異なる単語、三文字異なる単語、というふうに異なる文字数をだんだん増やして検索してもよく、この場合は認識率が低くても該当する単語を探し出すことができる。
【００２６】
ステップS405において、該当する単語が見つかった場合はステップS406に進む。もし該当する単語が見つからなかった場合はステップS410に進み、該当する単語が見つからなかったことをユーザに通知する画面を表示部１０７に表示して終了する。
【００２７】
ステップS406では、ステップS404において検索部１０９により辞書データから検索され、当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が読み取り、表示部１０７に表示する（ステップS406）。
【００２８】
この後、ＣＰＵ１０２は、入力部１０１や表示部１０７を介して、より詳細な翻訳の要求が指示されたか否かを判断し（ステップS407）、要求指示がされた場合はステップS408に進む。
【００２９】
ステップS408では、ステップS404において検索部１０９により検索された単語に対応するURLをＣＰＵ１０２が読み取り、ＣＰＵ１０２は、通信部１０８に対して該URLに接続するように指示信号を出力する。
【００３０】
ステップS409で、ＣＰＵ１０２が通信部１０８を介して上記ホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【００３１】
以上のように、簡単な翻訳だけでなく詳細な翻訳を参照したい場合に、詳細な翻訳が記載されたホームページ等を表示させることができるため、わざわざ英和辞書等を引き直さなくてもその単語の詳細な意味を知ることができ、使い勝手がよい。
【００３２】
また、携帯電話などの携帯端末では、大容量のメモリを搭載することができないため、本実施例のように、端末内では必要最低限の情報（簡単な訳や代表的な訳等）を記憶させて置き、詳細な情報が欲しいときはインターネットなどのような別の情報処理装置上に保存された情報を取得して参照できるようにすることは非常に有効である。
【００３３】
図５は、本実施例の表示画面例であり、紙面などの上に書かれた文字列が撮像され、その画像を文字認識により文字情報に変換し、辞書データ１０６の保持する概要翻訳を表示部に表示した後、詳細翻訳の表示を要求する入力があった場合は、辞書データ１０６の保持するURLに接続し、そのURLに記された内容を表示部１０７に表示する際の表示画面の例を示している。なお、表示部１０７の下部に表示された「メニュー」等の機能に対応したボタンは、入力部１０１のうち、例えば、上部に配置されたボタンなどであり、当該ボタン等がユーザにより押下されると、「メニュー」等の機能に対応した表示画面が表示部１０７に表示される。同様に、表示画面が遷移される度に、当該ボタン等は各表示画面の下部に表示された機能を実行するためのボタンとして割り当てられる。以下、表示画面の下部に表示された機能を実行するためのボタンは、本明細書において便宜上、当該表示された機能名と対応付けて呼ぶことにする。例えば、「メニュー」機能に対応したボタンを「メニューボタン」、あるいは、「戻る」機能に対応したボタンを「戻るボタン」と呼ぶ。なお、上述した実行ボタンは、右下や左下等の各機能が表示される位置に応じて各ボタンを割り当てるようにしても構わないし、一つのボタンで実現しても構わない。
【００３４】
画面５０１は、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている画面例である。なお、ここで、上記英単語「「Recognition」を特定する手段として、例えば、表示部１０７の中心に表示された「＋」マークを識別情報である「Recognition」の上に持っていけば、「＋」マークの位置から近傍のスペース情報からスペース情報までの部分を一区切りの単語として「Recognition」という単語を自動的に特定するようにしてもよいし、ユーザが入力部１０４を利用して、例えば、上記メールアドレス情報等の認識部分をカーソル等で指定できるようにしても構わない。認識対象を決定する方法が複数ある場合に、選択できるようにしても構わない。また、動画の場合は、動画を静止画でコマ送りできるように設定しておき、そのコマ送り画面で認識対象部を選択できるようにしても構わない。
【００３５】
また、ここでは、認識対象である英単語「Recognition」を点線等で囲み明確化したが、画像編集部において認識対象となる「Recognition」を拡大または縮小した画像を作成し、その画像を表示してもよい。拡大するには、例えば、１×１画素で表示していたところを２×２画素で表示する。さらに、画像編集部で認識対象となる文字の画像部分を白黒に変換したものやセピア色に変換したり、または、白黒反転したものを作成しその画像を表示したりしてもよく、画像内でどれが認識対象であるかが明確に分かるように表示すれば、上記例に限定されるものではない。
【００３６】
待受状態からこの画面５０１の状態にするには、例えば、「認識モード」ボタンを押下したり、または待受状態からメニュー画面に進み、そのメニュー画面に沿ってボタン操作を行うことにより画面５０１に移行してもよい。画面５０１において、画面下部の「認識」ボタンを押下すると、画面５０２に遷移する。
【００３７】
画面５０２は、撮像した画像の中でURLなどの認識可能な部分を文字認識部１０３が検出し、認識処理を行っている最中であることを表す画面である。認識処理が終了すると、画面５０３に遷移する。
【００３８】
画面５０３は、画像認識部１０５が認識した結果と、その文字列に対応した概要翻訳２０２を表示部１０７に表示した画面である。認識対象となる文字以外の部分の画像は、例えば、認識対象が何であるかを明確化するために、黒色で塗りつぶしたり、撮像した画像やアイコンなどが表示されていない部分の色と同じ色で塗りつぶしたりしている。ユーザが、単語の意味や使い方をもっと詳しく知りたい場合は、画面５０３の左下部に表示された詳細表示に対応したボタンを押すと、画面５０４に遷移する。
【００３９】
画面５０４は、通信部１０８が列２０３に接続する処理を実行していることを表した画面である。列２０３に接続できると、画面５０５に遷移する。
【００４０】
画面５０５は、列２０３のホームページの内容を表示した画面を表している。
【００４１】
以上のような表示画面を利用することで、ユーザは簡単な翻訳を知った後、簡単な操作で、単語の詳細な意味やその使い方・用例を知ることができ、使い勝手がよい。
【００４２】
なお、上記実施例では、詳細な単語の意味や使い方を参照するために1種類のホームページのURLを利用することを想定したが、特段これに限定するものではなく、例えば、複数のURL情報を記憶部１０４に記憶させておき、詳細な訳等を要求する際にその複数のURLの中から好みのURLを選択できるようにしても構わない。これにより、ユーザは、単語に関する詳細な訳等を豊富な情報源から選択することができ、使い勝手がよい。当然、単語に関して詳細な情報を参照するための情報としてURL情報に限定する必要もない。
更にまた、上記例において、英単語の翻訳に関する詳細な情報として、単語の翻訳に関して詳細に記載されたホームページのURLを想定したが、これに限定するものではなく、単語の訳に関して詳細な情報を参照できるものであれば、なんでもよい。
【００４３】
また、上記例では詳細な情報を入手するためにホームページを利用したが、携帯電話の記憶部１０４に訳の詳細な情報を記憶しておくようにすればよい。この場合、単語の簡単な訳と詳細な訳とで区別して記憶するようにし、通常の認識結果は簡単な訳で表示し、更に、ユーザにより詳細な情報の要求指示がなされた場合は、記憶部１０４に記憶された詳細な情報を表示する。これにより、携帯電話内に訳の詳細な情報が記憶されているためにホームページと接続することなく、速やかに該詳細な情報を表示することができるため、無駄な時間を節約することができ、また、通信圏外においても詳細情報を参照できる。
【００４４】
また、詳細な情報が蓄えられたＰＣ（Personal computer）等の装置を利用して詳細な情報を取得できるようにしても構わない。
【００４５】
この場合、携帯電話と辞書データ１０６の列２０６には、ＰＣに記憶された翻訳等の詳細情報を読み取るために必要な情報を記載しておく。ここで、翻訳の詳細な情報を参照するために必要な情報（以下、参照必要情報）とは、例えば、翻訳の詳細情報を保持するPCを特定するための情報（IPアドレスなどの識別子）、翻訳の詳細が記載されたファイルのパス名及びファイル名、あるいは、ＰＣの記憶部における詳細翻訳が記載された部分を示すアドレスなどである。
【００４６】
そして、例えば、「abalone」という単語を認識する場合に、より詳細な翻訳情報が欲しいときは、ユーザは図５（３）のような表示画面例等を利用して詳細情報の要求指示を行い、要求指示信号を受信したＣＰＵ１０２は、記憶部１０４に記憶された辞書データの「abalone」に対応した参照必要情報を通信部１０８を介してＰＣに送信する。ＰＣが参照必要情報を受信すれば、参照必要情報に基づいて外部情報処理装置の記憶部に蓄えられた単語の訳等の詳細な情報を携帯電話に送信する。単語の訳等の詳細な情報を受信した携帯電話のＣＰＵ１０２は、それを表示部１０７に表示する。なお、携帯電話とＰＣとを接続する手段としては、有線であっても無線であっても構わない。
【００４７】
これによれば、携帯電話内に単語訳等の詳細な情報をＰＣの記憶部を利用して参照できるため、記憶部１０４における記憶容量を低減できる。また、通信圏外においても詳細な情報を参照でき、使い勝手がよい。また、同様に、詳細な情報が記憶されている記憶媒体を介して参照できるようにしても構わない。この場合は、携帯電話に記録媒体の情報を読み取るための記録媒体読取部を設けるようにする。処理は前述と同様にすればよい。
【００４８】
また、英単語等の詳細な情報自体をユーザ自らが作成や編集ができるようにしても構わない。この場合、詳細な情報をユーザが作成や編集（追加や削除等）するための設定画面などを表示部１０７に表示させる。そうした設定画面を介して入力された情報は、辞書データの列２０３に記憶されるようにする。そして、認識した単語の詳細な情報を参照する際には、詳細情報要求指示を受けたＣＰＵ１０２は、記憶部１０４に記憶された辞書データに基づいて詳細な情報を表示部１０７に表示する。
【００４９】
これにより、自分オリジナルの辞書を作成や編集することができ、さらに、作成されたオリジナル辞書で単語の詳細な情報を参照することができるため、予め設定された詳細な情報には記載されていない情報を追加もしくは削除等することができ、更に使い勝手が向上する。
【００５０】
更にまた、上記では、簡易な情報を知りたい場合は携帯電話内に記憶された情報を利用し、詳細な情報を知りたい場合はＰＣや記憶媒体を利用するようにしたが、簡易な情報を参照する際もＰＣや記憶媒体に記憶された情報を利用するようにしても構わない。
【００５１】
次に、第２の実施例について説明する。上記第１の実施例は、英単語を認識して日本語訳を表示する例であるが、これだと、フランス語やドイツ語などの他言語は翻訳できないといった問題がある。本実施例は、この点に留意してなされた実施例である。
【００５２】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００５３】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００５４】
辞書フラグは、ＣＰＵ１０２がどの辞書データを使用するかを選択するために使うフラグである。辞書フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数であり、辞書データに割り当てられた識別番号を代入するようにし、ＣＰＵ１０２はこの変数に基づいて使用する辞書データを選択する。辞書フラグの値は、入力部１０１を介したユーザの操作によって変更が可能となるようにしておくことで、ユーザは多言語の単語に対して翻訳を得ることができ、使い勝手がよい。
【００５５】
図６は、ユーザが使用する辞書を選択する際の、携帯電話１００の画面表示例を示している。画面６０１は、携帯電話が撮像部１０３による撮像を行なえる状態を表した画面である。待ち受け状態からこの状態にするには、例えば携帯電話の側面についているスイッチを押下したり、または待ち受け状態からメニュー画面に進みボタンを数回押下するといった操作を行なう。画面６０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面６０２に遷移する。
【００５６】
画面６０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「(1)辞書選択」が入力部１０１を介して選択されると画面６０３に遷移する。
【００５７】
画面６０３は、使用する辞書を選択する画面である。この状態で、「(3)△△△和英」が入力部１０１を介して選択されると画面６０４に遷移する。
【００５８】
画面６０４は、使用する辞書が△△△和英辞書になったことをユーザに知らせる画面である。ここで「確認」に対応したボタンを押下すると画面６０５に遷移し、再び携帯電話が撮像部１０３による撮像を行なえる状態になる。
【００５９】
このように、辞書データを複数持つことで、多言語に対応した電子辞書機能を有することができ、使い勝手よい。
【００６０】
また、使用する辞書データが、例えば、英和辞書に設定されている場合、ドイツ語の単語を認識したときは、該当する単語を見つけることができない。こういった場合に、携帯電話が保持する辞書データ全てを検索させるように構成することで、英和辞書以外に独和辞書を保持していればドイツ語の単語に対しても翻訳を表示することが可能となる。全ての辞書データを検索する方法としては、全ての辞書データの識別番号を入れた配列を用意し、ＣＰＵ１０２が辞書フラグに設定された辞書データを検索した後、該配列の第１番目の要素に格納された識別番号に対応する辞書データを検索し、この中でも見つからない場合は、第２番目、第３番目といったように辞書データを変更して検索していく。このようにすることで、ユーザがわざわざ辞書データを選択する手間を省け、使い勝手のよい辞書機能を実現できる。
【００６１】
また、上記第２の実施例は、辞書データを複数保持することで多言語の翻訳を出力できるようにした例であるが、これは画像認識部１０５が認識できる言語に限られてしまう。例えば、英語だけを認識できる画像認識部１０５では、タイ語やアラビア語は認識できない。よって、タイ語やアラビア語の辞書データを保持しても、認識ができないために翻訳を出力できないという問題がある。
【００６２】
こうした問題を解決するために、通信部１０８を介してインターネットに接続し、多言語の文字パターンデータをダウンロードし、上記文字パターンデータ表に追加するようにすればよい。この場合の処理を以下に説明する。
【００６３】
図１０のフローチャートを用いて、本実施例に係る携帯電話がインターネットから文字パターンデータをダウンロードする際の処理手順を説明する。
【００６４】
まず、文字パターンデータ表のダウンロード指示を受けたＣＰＵ１０２は、通信部１０８を介してインターネット上に存在する上記文字パターンデータが書かれたサイトに接続する（ステップS1001）。このサイトを表示した状態で、ユーザが文字パターンのダウンロードを指示するために入力部１０１のボタンを押下する（S1002）。これを受けてＣＰＵ１０２は、通信部１０８を介して、上記サイトから文字パターンデータをダウンロードし、記憶部１０４に保存する（ステップS1003）。
【００６５】
この後、ＣＰＵ１０２は、上記文字パターンデータを文字パターンデータ表に追加する（ステップS1004）。
【００６６】
図１１は、本実施形態の携帯電話帯が、文字パターンデータをダウンロードできるサイトに接続し、アラビア語の文字パターンデータをダウンロードする画面の例を示している。
【００６７】
画面１１０１は、文字パターンをダウンロードできるインターネット上のサイトを表示した画面である。ここで、「アラビア語」を選択すると、画面１１０２に遷移する。画面１１０２は、アラビア語の文字パターンデータをダウンロードするかどうかをユーザに確認する画面である。ここで、「はい」を選択すると、画面１１０３に遷移する。画面１１０３は、アラビア語の文字パターンをダウンロードしていることを表す画面である。この状態でしばらく待ち、ダウンロードが終了すると画面１１０４に遷移する。画面１１０４は、アラビア語の文字パターンデータをダウンロードしたことを表す画面である。同様にして、各言語の文字パターンに対応した辞書データをダウンロードする。
【００６８】
このように、文字パターンデータ及び種々の言語の辞書をダウンロードできるように構成したことにより、多言語に対して文字認識及び翻訳参照を行うことができるため、使い勝手が向上する。
【００６９】
なお、予め記憶部１０４に記憶されていた文字パターンデータ表以外の文字を認識する際に、認識不可能であることをユーザに通知し、その場合に文字パターンデータ表のダウンロードをするように促す画面を表示部１０７に表示させるようにしてもよい。これにより、たとえ認識対象の文字が認識不可能であったとしても、速やかに認識できるようになり、使い勝手が向上する。
【００７０】
更に、例えば、辞書データとして英単語に関するものしかない場合に英単語以外の単語を認識しようとしたときに、翻訳不可能であることをユーザに通知し、その場合に辞書データをダウンロードするように促す画面を表示部１０７に表示させるようにしてもよい。
【００７１】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００７２】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００７３】
また、インターネット上には英和辞書などのホームページが複数あり、誰でも閲覧可能なホームページと、登録されたユーザのみが閲覧できるホームページがある。登録されたユーザのみが閲覧できるホームページは、ユーザＩＤとパスワードをユーザが入力することで閲覧できる。詳細な翻訳の要求が指示された場合に、登録されたユーザのみが閲覧できるサイトを表示してもよい。しかし、この場合は詳細な翻訳を表示するたびにユーザがユーザＩＤとパスワードを入力しなければならず、使い勝手が悪い。そこで、ユーザＩＤとパスワードを辞書データの予め定められた部分に記載しておく、という工夫を施す。図１２に、複数の辞書データを保持し、その辞書データに含まれる詳細な翻訳のホームページがユーザ認証の必要なものである場合の具体例を示す。携帯端末は、辞書提供者から辞書データを取得することができる。その辞書データには、ＩＤとパスワードが付属している。そのＩＤとパスワードは、辞書データに記載された詳細な翻訳が書かれたホームページにアクセスする際、ユーザ認証に使用する。
【００７４】
図１３に、本実施例の辞書データを用いて詳細な翻訳が記載されたホームページを表示する際のフローチャートを示す。
【００７５】
ステップS1301で、携帯電話が辞書データを取得する。その方法としては、インターネット上に存在する辞書データファイルを、通信部１０８を介してダウンロードしてもよいし、記憶媒体に記憶された辞書データを携帯電話に接続させることで取得してもよい。
【００７６】
このように辞書データを保持した状態で、文字認識を行ない（ステップS1302）、概要翻訳を表示する（ステップS1303）。
【００７７】
詳細翻訳を表示するように要求する信号をＣＰＵ１０２が受信すると（ステップS1304）、ＣＰＵ１０２は辞書データからサーバにアクセスするために必要なユーザＩＤとパスワードを取得する。取得する方法としては、辞書データの中のユーザＩＤとパスワードが記載されている場所を予め定めておき、ＣＰＵ１０２がその場所を読み取るという方法が考えられる。また、ユーザＩＤとパスワードが記載されている場所を辞書データのヘッダ部分に記載しておき、ＣＰＵ１０２がヘッダ部分を読み取ってユーザＩＤとパスワードの記載された場所を取得し、ユーザＩＤとパスワードを読み取る、という方法も考えられる
ステップS1306では、ＣＰＵ１０２が通信部１０８を介してサーバにアクセス信号を送信する。この際、ユーザＩＤとパスワードも一緒に送信する。アクセス信号、ユーザＩＤ、パスワードを受信したサーバでは、ユーザ認証を行ない、認証が成功すると詳細翻訳データを端末に送信する。
【００７８】
ステップS1307では、ＣＰＵ１０２が通信部１０８を介して詳細翻訳データを取得し、記憶部に記憶する。ステップS1308では、ＣＰＵ１０２が記憶部に記憶された詳細翻訳データを読み取り、表示部に表示させる。
【００７９】
このように、ユーザＩＤとパスワードが必要なホームページにアクセスする際にも、ユーザは入力操作をせずにユーザ認証が行われ、使い勝手がよい。
【００８０】
次に、第３の実施例について説明する。人間の記憶容量には限界があり、以前調べた英語の単語でも時間が経てばその意味等を忘れてしまうことも多いにあり得る。そうした場合に再度認識し直すのは手間がかかって面倒である。
【００８１】
本実施例は、こうした問題に対して検討されたものであり、認識された単語の翻訳等の履歴情報を残す点に特徴がある。以下、このような履歴情報を作成していく処理と、履歴情報を利用する処理に分けて説明する。
【００８２】
まず、履歴情報を作成する処理について説明する。図7は、検索された結果が履歴情報として記憶部１０４に記憶される場合の１例であり、例えば、図７のように、検索部１０９により検索された単語、検索したときの時刻などの履歴が記されてある。
【００８３】
列７０１は、辞書データの列２０１のうち文字認識された単語である。列７０２は、各単語が認識された回数を表している。列７０３は、今までに認識された時刻のうちで最新の時刻を表している。列７０４は、履歴情報を利用して英単語等の意味を確認した回数を示すものであり、列７０５は、最後に確認した時刻を表している。
【００８４】
図８は、本発明の第３の実施例に係る携帯電話が、文字認識をした後、例えば、図７のような履歴表を作成する際のフローチャートを表した図である。ステップS406、ステップS407はそれぞれ図４のステップS406、ステップS407を表しており、その間にステップS801〜ステップS804の処理がなされるフローになる。
【００８５】
ステップS406は、辞書データ１０６の概要翻訳、すなわち代表的な訳や簡単な訳を表示した状態である。ここで、検索部１０９が検索した結果の単語が記憶部１０４に記憶された履歴情報に存在するかどうかを判定し（ステップS801）、存在した場合はステップS802に進む。ステップS802では、ＣＰＵ１０２は、履歴情報の認識回数７０２を１つ増やす更新処理を行う。ステップS803では、ＣＰＵ１０２によりなされる処理がステップS803に到達した時点の時刻を時刻取得部９０２が取得し、その時刻を履歴情報の最終認識時刻７０３に記載する。
【００８６】
ステップS801で単語が履歴情報に存在しなかった場合は、ステップS804に進み、履歴情報に単語、最終認識時刻を追加記載する。最終認識時刻は、ステップS804に処理が到達した時点の時刻を記憶部１０４に記載する。以上の処理を経ることにより、履歴表に新たな認識結果の履歴情報を更新していく。なお、この場合、後述するように、履歴を利用して単語の意味等を再度確認するようなことを考えると、記憶部１０４に記憶された履歴表データと辞書データとを対応付けて記憶するのが望ましい。対応付けて記憶する方法としては、例えば、辞書データ内に履歴情報を追加できるスペースを設けて、そのスペースに履歴情報を次々書き込む方法などが考えられる。
【００８７】
次に、作成された履歴情報を利用する場合の処理を説明する。まず、記憶部１０４により記憶された履歴情報の参照指示がユーザの入力部１０１による操作を介してなされれば、履歴参照指示信号がＣＰＵ１０２に入力される。履歴参照指示信号が入力されたＣＰＵ１０２は、記憶部１０４に記憶された履歴表データや辞書データに基づいて英単語の意味を表示部１０７に表示するように処理する。
【００８８】
図９は、本実施形態の携帯電話が、履歴情報を用いて文字認識をせずに単語の翻訳を表示する画面の例を示している。
【００８９】
画面９０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面９０２に遷移する。画面９０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「(5)履歴表」を選択すると画面９０３に遷移する。画面９０３は、履歴情報のうち、単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。この状態で、“recognition”を選択すると画面９０４に遷移する。
【００９０】
画面９０４は、“recognition”の翻訳を表示した画面である。この状態で、「確認」に対応したボタンを押下すると、画面９０５に遷移する。
【００９１】
画面９０５は、画面９０３と同じく、履歴表９０１のうちの単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。画面９０３では“recognition”に対する確認回数が０であったのに対し、画面９０４で“recognition”の訳を確認したため、画面９０５では“recognition”に対する確認回数が１に増えている。
【００９２】
以上により、ユーザは、一度認識した単語の意味等を再度認識する操作を行うことなくいつでも、どこでも、更に何度でも確認できるために使い勝手が向上する。
【００９３】
また、図９のような表示画面を表示することにより、認識回数、確認回数をユーザは容易に通知することができる。さらに、ユーザが何度も調べた単語が一目瞭然となるために、この認識回数や確認回数が多い順に上から表示すれば、なかなか覚えられない単語が容易に理解できるため、意識して覚えることができ、更に使い勝手がよい。
【００９４】
なお、第1の実施例のように、更なる操作で訳や用例などの詳細な情報（例えば、詳細な情報が記載されたホームページのアドレス等）を参照できるように構成した場合には、簡単な訳と詳細な訳とを区別するように記憶部１０４に履歴情報として記憶し、ユーザが履歴情報を利用して英単語等の意味を確認する場合に、「簡単な訳」と「詳細な訳」とのいずれかを選択できるようにすれば、使い勝手は更に向上する。また、ここで履歴情報としては、図７に列挙されるような情報に限定されるものではなく、履歴に関する情報であれば何でもよい。
【００９５】
更にまた、撮像部１０３により表示部１０７に出力された画像情報のうち画像認識部１０５により識別情報を認識する際に、履歴情報があるか否かをユーザに通知するように構成してもよい。例えば、認識対象を決定するためにひとまず対象を決定する仮決定と仮決定された対象でいい場合に本決定を行うように構成した場合では、仮決定の段階で、記憶部１０４に記憶された履歴情報の有無を表示部１０７に表示するようにすれば、わざわざ再度認識することなく、履歴情報を参照して識別情報の意味等を確認することができるため、使い勝手がよい。また、カーソルを認識対象の上に移動させるだけで、例えば、「履歴あり」といった簡易な表示でユーザに通知しても構わない。認識対象の英単語等の識別情報が今までに認識された情報である場合にその履歴の有無を通知する形態としては、文字、アイコンあるいはマークなどを用いた表示だけでなく、音声出力部（図示せず）などを介して音で通知してもよいのは言うまでもない。
【００９６】
更にまた、ＧＰＳなどの携帯電話に位置情報取得部を備えて、当該位置取得部により取得された位置情報を履歴情報として記憶部１０４に記憶するように構成してもよい。これによれば、どこで単語を認識したかを容易に確認できる。
【００９７】
また、履歴情報として記憶された場所に再度訪れた場合に、その旨及びそのときに認識した単語やその意味をユーザに通知するようにしても構わない。
【００９８】
次に、第４の実施例について説明する。図１４は、第４の実施例に係る携帯電話の外観を表した図である。本実施例の携帯電話は、図１４に示されるように、表示部１０７を有する筐体２００と入力部１０１を有する筐体３００とがヒンジ部１４０３を介して折畳み可能であり、ヒンジ部に回転可能な撮像部を備えた携帯電話を考える。
【００９９】
本実施例の携帯電話は、携帯電話が図１４（１）のように開いた状態であるか図１４（２）のように閉じた状態であるかを検出する折畳検出部を備えている。折畳検出部は、例えば、筐体２００に磁石、筐体３００にホール素子を備え、磁石により磁界を加えられたホール素子の電圧値のHiレベル or Lowレベルに基づいて開閉状態の検出を行う。なお、折畳検出部は、開閉状態の検出ができれば、センサー又は凹凸係合等を利用したものであっても構わない。なお、表示部１０７は、主に開いた状態で利用される表示部（メイン表示部）であるが、本実施例の携帯電話は、メイン表示部以外に携帯電話が折り畳まれた（閉じた）状態においても視認可能なサブ表示部１４０７を備える。
【０１００】
撮像モードの選択を容易にするために、通常撮像ボタン１４０１と認識撮像ボタン１４０２とが、例えば、筐体の側面に備えている。
【０１０１】
通常撮像ボタン１４０１が押下されると、撮像部１０４で撮像対象物を撮像し、撮像した画像を記憶部１０４に保存し、必要に応じて撮像画像を表示する。認識撮像ボタン１４０２を押下すると、撮像部１０４で撮像対象物を撮像し、画像認識部１０５が文字認識を行った後、ＣＰＵ１０２は、認識結果を表示部１０７もしくはサブ表示部１４０７に表示する処理を行う。
【０１０２】
以上のように、認識モードと通常撮像モードのそれぞれ専用ボタンを設けることで、ユーザは簡単に各モードを選択でき、使い勝手がよい。また、図１４（１）に示すように、筐体３００の側面に配置すれば、携帯電話が開いた状態でも折畳まれた状態でも操作が同様なものとなり、わざわざ開閉時で操作を変えることがないため使い勝手が向上する。更に、図１４のように、筐体の側面等の携帯電話が閉じた状態で視認できる位置に操作キーを配置すると、閉じた状態においても認識モードを実行可能になるため、わざわざ携帯電話を開くことなく文字認識等を行うことができ、使い勝手はよい。
【０１０３】
なお、通常撮像ボタン１４０１と認識撮像ボタン１４０２とは異なるボタンであることが好ましいが、同一のボタンでもよい。ただし、この場合、同一のボタンである場合は、撮像するためのボタン操作と認識するためのボタン操作を区別させる必要がある。この場合、例えば、ボタンを押下する時間に応じて、あるいは、ボタンを押下する回数に応じて（ダブルクリック等）撮像モードと認識モードとを切り換えたりして区別すればよい。また、このようにボタンを同一にすることで、スペースを取らず、携帯電話を小さくすることができる。通常撮像ボタン１４０１と認識撮像ボタン１４０２とは、携帯電話１００に付属するセンサのうち、ユーザが取り扱うことのできるものならばどれでもよい。
【０１０４】
また、上記では、通常撮像ボタン１４０１と認識撮像ボタン１４０２とを筐体側面に備える場合について説明したが、これに限定するものではなく、閉じた状態で操作可能な位置に配置されたボタンであれば、例えば、携帯電話の背面に配置されているような構成をとっても構わない。ここで、携帯電話の背面とは、図１４（２）の１４０７に示されているように、携帯電話が折り畳まれた（閉じた）状態で視認可能な表示部１０７に対向するような面であり、主としてバッテリにより構成される面とは異なる面である。
【０１０５】
次に、第５の実施例について説明する。本実施例の携帯電話の外観は、第４の実施例と同様に図１４のように折畳み可能な携帯電話を考える。以下、認識結果に対する概要翻訳等をメインの表示部１０７に表示しておき、携帯電話が開かれた場合には、該認識結果に対する詳細翻訳等をサブ表示部１４０７に表示する例について説明する。
【０１０６】
図１５のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１０７】
まず、ステップS1501は、携帯電話が入力部１０１からのキー入力を待ち受けている状態である。この状態で、携帯電話のカメラ機能を起動させるための信号をＣＰＵ１０２が検出する（ステップS1502）と、携帯電話が折畳み状態であるかどうかを折畳検出部によって検出する。
【０１０８】
携帯電話が折畳み状態であった場合には、折畳検出部によって携帯電話が折畳み状態であることを伝える信号がＣＰＵ１０２に入力され（ステップS1503）、これを受けてＣＰＵ１０２は静止画モニタ表示をサブ表示部１４０７に表示する（ステップS1504）。次に、ユーザなどによってシャッターボタンが押下されると、撮像を指示する信号がＣＰＵ１０２に入力され（ステップS1505）、撮像部１０３により撮像（変換）された被写体の画像情報がＣＰＵ１０２を介して記憶部１０４に保存される（ステップS1506）。
【０１０９】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS1507）。この結果を、検索部１０９が読み取り、記憶部１０４に記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する。再び、携帯電話が折畳み状態であるかどうかを折畳検出部が検出し、ＣＰＵ１０２に開閉状態の情報を信号として入力する。該開閉状態情報をＣＰＵ１０２が参照し（ステップS1508）、ステップS1509において、携帯電話が閉じた状態であると判断された場合は、ステップS1510に進む。ステップS1510では当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が辞書データから読み取り、サブ表示部１４０７に表示する。
【０１１０】
また、ステップS1509において、携帯電話が開いた状態であると判断された場合は、当該検索された単語に対応するURLをＣＰＵ１０２が辞書データから読み取り（ステップS1511）、ＣＰＵ１０２は通信部１０８に対して該URLに接続するように指示信号を出す。ステップS1512で、ＣＰＵ１０２が通信部１０８を介して上記URLのホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【０１１１】
図１６は、本実施例の表示画面例であり、ユーザによって携帯電話が閉じた状態から開いた状態になった場合に、辞書データ１０６の保持する詳細な翻訳が記載されたURLのホームページの内容（記載情報）を表示部１０７に表示する画面の例を示している。なお、画面１６０１〜１６０３では、画面左下に表示された「メニュー」などといった表示はボタン１４０８ａ、画面右下に表示された「認識」などといった表示はボタン１４０８ｂに関連付けされ、ユーザが携帯電話に入力をする際にはそれぞれ関連付けされたボタンを押下することにより、画面が遷移する。これらのボタンを、例えば、画面左下に「メニュー」と表示されていた場合は、ボタン１４０８ａのことを「メニュー」ボタンと呼ぶことにする。
【０１１２】
画面１６０１は、携帯電話が折畳まれた状態において、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている場合の、サブ表示部１４０７に表示された画面例である。この状態で、「認識」ボタンを押下すると、画面１６０２に遷移する。
【０１１３】
画面１６０２は、認識対象として「Recognition」が選択されたことを示している。この画面では、画面中の「Recognition」以外の画像部分が黒く塗りつぶされて表示されており、「Recognition」が強調される。また、文字以外の部分を黒く塗りつぶすことで、盗撮も防止できる。この状態で「決定」ボタンを押下すると、画面１６０３に遷移する。
【０１１４】
画面１６０３は、認識対象となった「Recognition」の概要翻訳がサブ表示部１４０７に表示されている画面を表している。この状態で携帯電話を開くと、表示部１０７に画面１６０４が表示される。
【０１１５】
画面１６０４は、携帯電話を開いた状態で表示部１０７に詳細な翻訳を表示した画面例である。
【０１１６】
このように、携帯電話を折畳んだ状態でも文字認識ができるため、いちいち携帯電話を開く手間も省け、手軽に文字認識ができる。さらに、ユーザが詳細な翻訳を知りたい場合は、概要翻訳が表示されている状態で携帯電話を開くだけで、詳細な翻訳を表示部１０７に表示できるため、非常に使い勝手がよい。
【０１１７】
次に、第６の実施例について説明する。本実施例の携帯電話は、撮像部１０３が撮像した画像や、該画像に含まれる文字などの識別情報を画像認識部１０５が認識した結果や、該認識結果に対する概要翻訳等を表示部１０７に表示した場合、認識結果の各文字を異なる文字に変換する認識結果編集手段を備えたものとする。
図１７は、本実施例の携帯電話が、例えば、紙面上に書かれた“Recognition”という文字列を撮像し、画像認識部１０５が認識した結果が“Reconifiom”であった場合に、該認識結果を編集する画面例を表したものである。
【０１１８】
画面１７０１は、撮像部１０３が被写体である対象物を撮像し、該画像に含まれる文字列“Recognition”を画像認識部１０５が誤って、例えば“Reconifiom”と認識してしまい、“Reconifiom”に一番近い単語を検索部１０９が辞書データ１０６から検索し、検索した結果が“reconfirm”であった場合に、認識結果である“Reconifiom”、検索結果である“reconfirm”と、その概要翻訳“[動詞] 再確認する”を表示部１０７に表示した画面例である。ここで、「メニュー」ボタンを押下すると、画面１７０２に遷移する。
【０１１９】
画面１７０２は、撮像機能や認識機能に関するメニューを表示した画面である。ここで、「(1)結果編集」を選択して「決定」ボタンを押下すると、認識結果を編集できる画面に遷移する。
【０１２０】
画面１７０３は、認識結果を編集できる画面において、“Reconifiom”の“Reco”と“nifiom”の間に“g”を追記した画面を表している。認識結果を編集できる画面では、認識結果の文字が表示される領域１７０５内に、カーソル１７０６が表示される。このカーソル１７０６を使って編集する位置を選択し、入力部１０１のうち文字を入力に関するボタンを数回押下することで、文字を入力・削除することができる。このようにして編集した認識結果の文字は、ＣＰＵ１０２によって記憶部１０４に記憶される。この状態で、「検索」ボタンを押下すると、入力部１０１によりＣＰＵ１０２に検索するように指示する入力信号が入力される。これを受けてＣＰＵ１０２は、記憶部１０４を参照して編集された認識結果文字を読み取り、検索部１０９に渡す。検索部１０９はこれを受けて、辞書データ１０６の中から一致する単語を検索し、検索結果表示領域に表示する。
【０１２１】
その画面例が画面１７０４である。画面１７０４は、認識結果を編集できる画面において、認識結果の文字を“Recognitiom”に編集した後、「検索」ボタンを押下した場合に表示される画面例である。検索結果として“Recognition”が表示されている。
【０１２２】
このようにして、認識結果が誤認識であり、ユーザが認識させたかった英単語とは異なる文字が検索結果として表示されてしまった場合、もう一度撮像し直して認識させる必要がなく、使い勝手がよい。
【０１２３】
なお、上記では、「検索」ボタンが押下されたことで、認識結果と一番近い単語を辞書データ１０６から検索部１０９が検索するようにしたが、認識結果を編集できる画面において、認識結果の文字を編集したら、認識結果編集手段がＣＰＵ１０２に検索をするように指示する入力信号を入力し、検索部１０９によって検索をするようにしてもよい。この場合、ユーザは検索結果を表示させたいときにいちいち「検索」ボタンを押さなくて済み、使い勝手がよい。
【０１２４】
次に、第７の実施例について説明する。本実施例は、携帯電話等に予め備わっているメール機能等を利用して画像認識部１０５により認識された結果、つまり、簡易情報あるいは詳細情報を送信する場合を想定する。
【０１２５】
この場合、例えば、入力部１０１により所定の操作がなされ、その入力信号を受信したＣＰＵ１０２は、認識モードに移行するように処理する。ユーザが認識モードにおいて、認識対象である文字等を認識した後にメール機能を起動するための操作を入力部１０１を介して行えば（例えば、メール起動キーを押下）、その入力信号を受信したＣＰＵ１０２は、表示部１０７に記憶部１０４に予め記憶されているメールソフトを起動し、メール送信できるようにメール作成画面を表示する。その際、ＣＰＵ１０２は、認識され、例えば、「abalone」といった英単語の代表的な訳「あわび」を表示する場合、「abalone→あわび」といったようにメール作成の本文欄に自動的に挿入するように処理する。また、第１の実施例のように、簡易な情報のみならず、詳細な情報、例えば、用例や類似後のような詳細な情報が記載されたＵＲＬ情報などを取得できる場合には、その詳細な情報を自動的に本文欄に挿入するように処理する。
【０１２６】
また、記憶部１０４に記憶されたアドレス情報（名前、電話番号あるいはメールアドレスの情報）からユーザが選択して送信相手の宛先欄に挿入できるように構成しても構わない。
【０１２７】
以上により、画像認識部１０５による認識結果を簡単な操作で送信したい相手に伝えることができ、使い勝手が向上する。さらに、件名の欄も「ＯＣＲ結果」等の件名を自動的に挿入記載するようにすれば、更に入力の手間が省け、使い勝手がよい。
【０１２８】
また、認識結果を利用してメールを作成する際に、メールアドレスを認識した場合は自動的に当該メールアドレスを宛先として宛先欄に設定する方法も考えられる。しかし、この方法では、例えば、メールアドレスを認識してそのメールアドレスをメールの本文欄に記載したい場合においても、メールの宛先として設定されてしまうため、認識結果を利用することはできない。
【０１２９】
こういった問題を解決するために、例えば、メール作成の場合は、メールの宛先、件名、本文欄等といった項目うち、どの項目に認識結果を挿入するかを選択できるようにする。この機能を、図１８を使って説明する。
【０１３０】
画面（１）は、認識対象である“yamazaki@xxx.jp”を認識した際に、認識画像と認識結果を表示した画面である。この状態で「メニュー」ボタンを押下すると、画面（２）に遷移する。画面（２）は、認識結果である“yamazaki@xxx.jp”を使ってどの機能に利用するかを選択する画面である。メールを作成する場合は、「(2)メール作成」を選択すると、画面（３）に遷移する。画面（３）は、認識結果をメール作成の項目のうちどの項目に挿入するかを選択する画面である。この画面で、「(3)本文」を選択すると、メールの本文に“yamazaki@xxx.jp”が代入されたメールの作成画面へと遷移する（画面（４））。
【０１３１】
このように、認識結果をメールのどの項目に挿入するかをユーザが選択できるようにすれば、認識結果を表示してから数回の入力操作を行うだけで、メールの本文中に認識結果を挿入したメールの作成画面へと移行することができ、使い勝手が向上する。
【０１３２】
さらに、画面（２）のメニューを表示する際に、認識結果である文字列の種類によってカーソルの位置を決定することもできる。その方法は、例えば、認識結果に“＠”が含まれていればメールアドレス、“http”が含まれていればURLであるとＣＰＵ１０２によって判定させ、メールアドレスであると判定された場合は、画面（２）を表示する際にカーソルの位置を「(2)メール作成」、URLであると判定された場合はカーソルの位置を「(1)インターネット」等に合わせて表示部１０７に表示させればよい。このようにすれば、画面（２）においてメニューを選択する操作が省けるので、使い勝手がさらに向上する。
【０１３３】
また、認識結果がメールアドレスであった場合に、当該メールアドレスをアドレス帳に登録したいときは、画面（２）で「(4)アドレス帳登録」を選択すればよい。この場合も同様に、認識結果のメールアドレスをアドレス帳のどの項目に挿入するかを選択できるようにすれば、上述と同じ効果が得られる。
【０１３４】
なお、上記では、メールソフトの作成画面の欄として、「宛先」「件名」「本文」欄を考えたが、これに限定されるものではない。そのほかに欄を設けたとしても自動的に関係した情報を挿入するようにすれば、入力手間が省け、使い勝手がよい。
【０１３５】
また、上記では、自動的にメール作成画面欄に認識結果（例：ＵＲＬ情報）が挿入されるような構成をとったが、それだけでなく、ユーザ自らが入力部１０１を介してコメント等を入力できるようにしても構わない。これにより、ＯＣＲ機能を行い、その結果を通話相手先に送信する際に、ユーザが単に結果のみを送信するだけでなく、その結果に対するコメント等を添えることができる。なお、その際に、予め記憶部１０４に記憶された定型文や絵文字等を利用すれば更に使い勝手はよくなる。
【０１３６】
なお、上記実施例においては、英語等の単語に関して、意味や用例等を詳細に知りたいといった利用シーンを想定したが、これに限定されるものではなく、例えば、スポーツ、映画、歴史、レストラン、科学、恐竜、動植物、芸能人等といった様々なジャンルの単語に関する情報を参照できるようにしても構わない。これにより、参照可能なカテゴリが増えて、ユーザの使い勝手は向上する。このように、参照可能である情報が多いと、例えば、ユーザが雑誌や新聞等の記事を見ているときや、街を何気なく歩いている場合に、興味のある単語が目にとまり、その詳細な情報を参照したいと思った状況などにおいても、速やかにその単語の意味等を参照できるため非常に使い勝手がよい。
【０１３７】
また、例えば、「ガメラン」といった恐竜の詳細情報を参照したいのに、植物の「ガメラン」の詳細情報を取得したところでユーザの満足度は低い。そこで、詳細情報の要求を行う際に、例えば、表示部１０７に「どのジャンルの詳細情報が欲しいですか？」などの通知がされ、ユーザが表示画面等を介して種々のジャンルを選択できるようにすれば、更に使い勝手はよい。
【０１３８】
次に、第８の実施例について説明する。本実施例は、認識した英単語の的確な意味を通知するために、単語の共起関係を利用するものである。共起とは、複数の単語が同一の文書に出現することである。
【０１３９】
そもそも単語は、同一の単語でも複数の異なる意味を持っている場合が多く、予め用意された辞書の日本語訳をそのまま表示させた場合、認識させた英単語がどの意味で使われているのかを、ユーザが文脈を読み取る等して考えなければならない。その際、もし間違った意味で捉えてしまうと、その英単語を含んだ文章自体も間違った意味で捉えてしまう、という問題がある。本実施例は、この点に留意してなされた実施例である。
【０１４０】
図１９は、本発明の第８の実施例に係る構成例を示す図である。本実施例は、携帯電話１００、サーバ１９００で構成される。
【０１４１】
サーバ１９００は、SV-ＣＰＵ１９０２、共起関係データベース１９０３、SV記憶部１９０４、SV画像認識部１９０５、SV辞書データ１９０６、SV通信部１９０８、SV検索部１９０９、ユーザ登録データベース１９１０などを含んだものとして構成される。
【０１４２】
SV通信部１９０８は、サーバ１９００がインターネットや他の情報処理装置などとアクセスするための通信処理を行う。
【０１４３】
SV-ＣＰＵ１９０２は、SV記憶部１９０４に記憶されたプログラムに基づいて動作し、例えば、SV通信部１９０８からの信号に応じて各部を制御するものである。
【０１４４】
共起関係データベースは、共起関係に関するデータであり、例えば、図２０に示すように、単語、その単語の訳、共起する単語（以下、共起単語と呼ぶ）及び共起されている単語に対応した訳になる割合等を含んだものとして構成される。なお、図２０は、単語が「character」であり、その「character」の訳として「文字」、「登場人物」を想定した例である。
【０１４５】
共起関係データベース１９０３は複数の単語に対するデータを保持し、それぞれの単語についてその訳とその訳として使われる確率値などを保持するものとする。
【０１４６】
認識した単語と当該単語と共起する単語があった場合に、共起関係データベース１９０３を使って、当該単語に対する値a、値bを比べることで、認識した単語に対する最も適切な訳を得ることができる。例えば、「character」の日本語訳には「文字」や「登場人物」などがあるが、「recognition」という単語が共起した場合、「character」の日本語訳として「文字」が適切である割合が0.95、また、「登場人物」が適切である割合が0.05とする。この場合、「character」の日本語訳としてはその適切な割合を表す値が大きい「文字」を選択すればよい。
【０１４７】
SV記憶部１９０４は、通信部から受信するデータなど、サーバ１９００で扱うデータを記憶しておく。SV画像認識部１９０５は、画像情報に含まれる文字や記号等の識別情報を認識する。
【０１４８】
記憶部１０４に記憶されたSV辞書データ１９０６には、例えば、外国語の単語等といった識別情報、当該識別情報の日本語訳及び当該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL、当該識別情報に関する画像や音声等が含まれる。
【０１４９】
SV検索部１９０９は、単語および当該単語と共起する単語を用い、共起関係データベース１９０３を参照して、単語２００１の適切な日本語訳を選択する。
【０１５０】
ユーザ登録データベース１９１０は、サーバ１９００に接続できるユーザであることを証明するためのユーザIDやパスワードを記録しているデータベースである。
【０１５１】
次に、図２１のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１５２】
図１５のステップS1501〜ステップS1507と同様の処理を行うことにより、モニタ表示をしている状態（ステップS2101）から、画像を撮像して文字認識した結果を記憶部１０４に保存した状態になる（ステップS1502〜ステップS1504）。ステップS2105では、記憶された認識結果から認識位置データ及び認識単語データを抽出する。ここで、認識位置データとは、撮像部１０３により撮像された画像に含まれる認識対象となる単語の画像上の位置に関するデータのことであり、また、認識単語データとは、ステップS2105において検索部１０９により検索された結果見つけられた単語のことである。
【０１５３】
次に、サーバ１９００と接続するように指示を出すアクセス信号が入力部１０１などを介してＣＰＵ１０２に入力されると、ＣＰＵ１０２は、通信部１０８を介して所定のサーバにアクセス信号を送信する（ステップＳ2107）。
【０１５４】
次に、アクセス信号を受信したサーバ１９００よりユーザＩＤ及びユーザＩＤに対応したパスワードの入力要求信号が送信される。その要求信号を携帯電話１００が受信すれば（ステップＳ2108）、ＣＰＵ１０２は、表示部１０７にユーザＩＤ及びパスワードの入力用画面を表示する。入力画面等を介してユーザＩＤ及びパスワードが入力されれば、それをサーバ１９００に送信する（ステップＳ2109）。ここで、ユーザＩＤ及びパスワードをユーザが入力する認証する形態を考えたが、ユーザの認証が行うことができればこれに限定されるものではない。例えば、声紋、指紋、虹彩などを用いて認証を行ってもよい。
【０１５５】
ＣＰＵ１０２は、サーバから受信した信号が認証成功データか認証失敗データのいずれであるかを判定し（ステップＳ2110）、当該信号が認証失敗データの場合は、入力用画面を再度表示部１０７に表示し、当該信号が認証成功データの場合は、撮像部１０３により撮像された画像、認識位置データ及び認識単語データなどをサーバ１９００に送信する（ステップS2111）。
【０１５６】
その後、サーバ１９００から認識単語データに対する訳を示す最適翻訳データを受信すると、ＣＰＵ１０２は（ステップS2112）、最適翻訳データを表示部１０７に表示する（ステップS2113）。
【０１５７】
次に、図２２のフローチャートを用いて、本実施例におけるサーバ１９００の処理手順を説明する。
【０１５８】
サーバ１９００が携帯電話１００などの端末からのアクセス信号を受信する（ステップS2201）と、続いて携帯電話１００にユーザＩＤとパスワードの入力を要求する（ステップＳ2201）、携帯電話１００からユーザＩＤとパスワードを受信すると（ステップS2202）、SV-ＣＰＵ１９０２がユーザ登録データ１９１０を参照する。ユーザ登録データ１９１０に登録されているユーザＩＤとパスワードに一致するものが見つかれば、SV-ＣＰＵ１９０２は、SV通信部１９０８を介してユーザ認証が確認できたことを携帯電話１００に通知し（ステップS2204）、携帯電話１００から画像、認識位置データ及び認識単語データを受信する（ステップS2205）。
【０１５９】
次に、SV画像認識部１９０５は、受信した画像に含まれる文字を認識する。図２３は、受信した画像の例を示している。SV画像認識部１９０５は認識処理を行う際に、まず、画像に含まれる全部の単語を抽出し、その認識位置データを求める。このうち、抽出領域の一辺が画像の端にかかる単語は認識対象外の単語としてみなされる。
【０１６０】
図２３の画像例では、単語２３０１のように網掛けの四角で囲んだ単語は認識対象外の単語としてみなされる。それ以外の単語、図２３の画像例では、単語２３０３「The」のように抽出領域が画像の端にかからない単語を認識し、認識結果と一致する、もしくは、一番類似する単語をSV辞書データ１９０６からSV検索部１９０９が検索する（ステップS2206）。
【０１６１】
ここで、ユーザが認識したい単語を「認識対象単語」、実際に携帯電話が認識した対象の単語を「認識単語」と定義する。通常は、認識対象単語と認識単語は一致するが、認識精度が低いなどの理由で両者が異なる場合がある。例えば、「abalone」の翻訳をユーザが欲する場合に「abalone」ではなく誤って認識してしまい、認識対象単語は「abalone」、認識単語は「abalome」となる場合がある。その場合は、誤って認識された「abalome」が辞書データにあるかどうかが検索され、もし無ければ辞書データが有する単語の中で一番類似した単語（例えば、abalone）を認識単語とみなすような処理が行われる。
【０１６２】
次に、携帯電話から受信した認識位置データおよび認識単語データに基づいて確定される単語（以後、翻訳対象単語）以外の認識対象単語（以後、共起単語）の数ｎを計測する（ステップS2207）。ステップS2208において、共起単語数ｎが１つ以上ある場合は、共起関係データベース１９０３に翻訳対象単語があるかどうかを判定し（ステップS2209）、あった場合は、共起関係データベース１９０３の列２００４に共起単語と一致する単語があるかどうかを判定する（ステップS2210）。
【０１６３】
共起単語と一致した単語が共起関係データベースにあった場合は、翻訳対象単語の訳のうちで最も適切な訳を決定する（ステップＳ2211）。
【０１６４】
決定方法としては、共起関係データベース１９０３の共起単語に対するそれぞれの訳に基づいて確率を計算する。例えば、翻訳対象単語が「character」、共起単語が「string」と「recognition」であった場合を考える。共起単語に「string」が存在した場合の訳が「文字」となる割合は0.90、また共起単語に「recognition」が存在した場合の訳が「文字」となる割合は0.95、これらの値を足し合わせると1.85となる。また、同様の計算を訳「登場人物」に対して行なうと、合計の値は0.08となる。これらの値が最大となる訳を、最も適切な訳として扱うことができる。なお、上記では、割合値を足し合わせて最適な訳を決定したが、これに限定するものではなく、乗算、割算又は除算等を組合せたりして決定してもよい。最後に、最適翻訳データを端末に送信するステップ（S2212）。
【０１６５】
また、ステップS2208において共起単語数ｎが０であった場合、ステップS2213に進み、代表となる訳をSV辞書データ１９０６から検索する。ステップS2214で、その訳を端末に送信する。
【０１６６】
また、ステップS2209において共起関係データベース１９０３に翻訳対象単語がなかった場合と、ステップS2210において共起関係データベース１９０３に共起単語と一致する単語がなかった場合は、同様にステップS2213に進み、代表訳を端末に送信する。
【０１６７】
なお、上記フローではステップS2211で最適翻訳データを決定したが、複数の訳の候補を決定してもよい。共起単語に対応した割合の合計値を、大きい順に、例えば、６個求める。このデータを翻訳表示順序データと呼ぶ。図２５（１）は、「character」の訳を並び替える前の状態であり、（２）は訳の意味として適切な順に並び替えた後の状態である。
【０１６８】
この翻訳表示順序データに基づいて訳を端末に送信する。翻訳表示順序データを受信した携帯電話のＣＰＵ１０２は、当該翻訳表示順序データに基いて翻訳を並び替えて表示部１０７に表示するように制御する。
【０１６９】
これにより、ユーザは、認識対象単語の意味を知ることができるうえ、その認識対象単語が文脈上どのような意味を持つ可能性が高いかを容易に知ることができ、使い勝手がよい
また、サーバにより選択された最適な訳が間違っている場合も想定されるが、そうした場合でも、図２５のように最適な訳だけでなく、その他の訳の候補を並べて列挙することにより、ユーザ自身が文脈上から判断する際の大きな手助けとなり得る。
【０１７０】
次に、携帯電話とサーバとのやり取りに係る処理例を図２４を用いて説明する。ここでは、携帯電話である単語を文字認識してその最適な訳をサーバから受信する場合を想定する。
【０１７１】
まず、ある単語（以下、認識対象単語）を撮像部１０３及び画像認識部１０５により認識すると（ステップS2401）、ＣＰＵ１０２は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データを抽出する（ステップS2402）。次に、ユーザが当該認識対象単語の詳細な訳を参照する指示を入力部１０１等を介して行うと、ＣＰＵ１０２は、サーバと接続するためのアクセス信号を送信する（ステップS2403）。
【０１７２】
アクセス信号を受信したサーバは、携帯電話にユーザＩＤとパスワードを要求するためにＩＤ・パスワード要求信号を送信し（ステップＳ2404、ステップＳ2405）、ＩＤ・パスワード要求信号を受信した携帯電話のＣＰＵ１０２は、ユーザによりＩＤ及びパスワードを入力画面等を介して入力された後にサーバにＩＤ及びパスワードを送信する（ステップＳ2406）。
【０１７３】
次に、サーバは受信したユーザＩＤ及びパスワードに基づいて正規の登録者か否かの認証を行う。認証を行った結果、正規の登録者と認められた場合（有効）には、サーバ１９００は認証成功データを送信し、正規の登録者と認められない場合（無効）には認証失敗データを送信する（ステップＳ2407〜ステップＳ2409）。ここでは、認証が有効であった場合を考える。
【０１７４】
認証成功データを受信した携帯電話は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データをサーバに送信する（ステップＳ2410、ステップＳ2411）。
【０１７５】
画像データ、認識単語データ及び認識位置データを受信したサーバは、前述したように、認識単語データから画像データ内に含まれる認識対象単語を特定し（ステップＳ2413）、画像データ内に含まれる認識単語データ以外の単語で、かつ、画像データの上下左右の端などで単語の途中で途切れて画像データの枠からはみ出した単語（共起単語）を抽出し、認識処理を行う（ステップＳ2412〜ステップＳ2414）。その後、サーバが所有する共起関係データベースを参照して、認識対象単語の最適な訳を示す最適翻訳データを携帯電話に送信する（ステップＳ2415、ステップＳ2416）。
【０１７６】
最適翻訳データを受信した携帯電話は、最適翻訳データを表示部１０７に表示する（ステップＳ2417、ステップＳ2418）。
【０１７７】
以上により、ユーザは、ある単語の翻訳をその文脈に沿った最適な訳を参照することができ、使い勝手がよい。また、処理能力及び記憶容量が通常携帯電話より優れているサーバに共起関係データベースの蓄積及び共起データベースから最適な翻訳を決定する処理等を負担させることにより、携帯電話の処理負担及び記憶容量の軽減に貢献するとともに、処理能力や記憶容量の面でバランスのとれたシステムを実現できる。
【０１７８】
更に、サーバの立場から見ると、上述したような情報処理を行うサーバを利用して、「最適翻訳サービス」等のサービスを想定すれば、例えば、毎月定額の収入を得られて経済的な面でも効果的である。
【０１７９】
また、ユーザには無料又は低額で提供する代わりに広告会社と契約してその広告会社から広告代としての収入を得るようにしても構わない。この場合、サーバは、その広告に関するデータを最適翻訳データに付加して携帯電話に送信し、その広告データ及び最適翻訳データを受信した携帯電話は、最適翻訳データとともに広告データも表示するようにすればよい。その際に、広告データを最適翻訳データと重ならないように両者を表示するための位置データもサーバが送信し、その位置データを受信した携帯電話がその位置データに基いて表示するようにすれば、ユーザは、最適な翻訳と広告が混在せずに見ることができる。
【０１８０】
なお、上述してきた種々の機能をソフトウェアで実現してもよく、ユーザは、例えば、記録媒体やサーバから当該ソフトウェアを受信して当該種々の機能を実現できる。これにより、必要な機能だけを搭載したり、また、好みに応じて色々な機能を追加もしくは削除、あるいは更新することが容易となる。
【０１８１】
なお、携帯電話及びサーバが有する画像認識部および検索部はＣＰＵで構成してもよい。更に、上述してきた実施例を組み合わせて構成することができることは言うまでもない。
【０１８２】
また、本発明は、上記に示された実施例に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。
【図面の簡単な説明】
【０１８３】
【図１】第１の実施例に係る携帯電話の構成ブロック図である。
【図２】辞書データの内容例を示した図である。
【図３】辞書データの内容例を示した図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第１の実施例における表示画面例である。
【図６】第２の実施例における表示画面例である。
【図７】第３の実施例に係る履歴表の例である。
【図８】第３の実施例における処理手順を示すフローチャートである。
【図９】第３の実施例における表示画面例である。
【図１０】文字パターンデータをダウンロードする実施例の処理フロー図である。
【図１１】文字パターンデータをダウンロードする実施例の表画面例である。
【図１２】辞書データにＩＤ・パスワードが関連付けされている実施例のイメージ図である。
【図１３】辞書データにＩＤ・パスワードが関連付けされている実施例の処理フロー図である。
【図１４】第４又は第５の実施例における携帯電話の概観図である。
【図１５】第５の実施例における処理手順を示すフローチャートである。
【図１６】第５の実施例における携帯電話の表示画面例である。
【図１７】第６の実施例における携帯電話の表示画面例である。
【図１８】第７の実施例における携帯電話の表示画面例である。
【図１９】第８の実施例における全体システム図である。
【図２０】共起関係データベース例である。
【図２１】第８の実施例の携帯電話の処理手順を示すフローチャートである。
【図２２】第８の実施例のサーバの処理手順を示すフローチャートである。
【図２３】第８の実施例において撮像画像、認識対象単語、共起単語との位置関係を説明する図である。
【図２４】第８の実施例における携帯電話とサーバの処理シーケンス図である
【図２５】第８の実施例における携帯電話の表示画面例である。
【符号の説明】
【０１８４】
１００ 携帯電話
１０１ 入力部
１０２ ＣＰＵ
１０３ 撮像部
１０４ 記憶部
１０５ 画像認識部
１０６ 辞書データ
１０７ 表示部
１０８ 通信部
１０９ 検索部
１１０ 辞書フラグ
２００ メイン表示部を有する筐体
３００ 入力部を有する筐体
２０１ 外国語
２０２ 概要翻訳
２０３ 詳細翻訳URL
２０４ URL共通部分
２０５ URL作成方法
７０１ 単語
７０２ 認識回数
７０３ 最終認識時刻
７０４ 確認回数
７０５ 最終確認時刻
１４０１ 通常撮像ボタン
１４０２ 認識撮像ボタン
１４０３ ヒンジ部
１４０７ サブ表示部
１４０８a 入力部
１４０８b 入力部
１９００ サーバ
１９０２ SV-ＣＰＵ
１９０３ 共起関係データベース
１９０４ SV記憶部
１９０５ SV画像認識部
１９０６ SV辞書データ
１９０８ SV通信部
１９０９ SV検索部
１９１０ ユーザ登録データベース
２３０１ 認識対象外の単語
２３０３ 認識対象単語
【技術分野】
【０００１】
本発明は、例えば、携帯電話、PHS（Personal Handy-phone System）、PDA（Personal Digital Assistant）やPC（Personal Computer）等の情報処理装置に関するものである。
【背景技術】
【０００２】
特開２００２−２５２６９１号公報には、OCR（Optical Character Recognition）機能により、撮像した画像情報に含まれる文字を文字情報に変換し、印刷物に掲載された住所や名前、電話番号、URL（Uniform Resource Locator）などを入力できる携帯電話が提案されている。また、特開平５−２７４３４６号公報には、紙面上に印刷された文字列のイメージを読み取り、OCR機能を利用してそのイメージから文字列を認識して文字情報に変換し、翻訳辞書を参照してその文字列に対応する翻訳を表示部に表示する電子辞書が提案されている。
【０００３】
【特許文献１】特開２００２−２５２６９１号公報
【特許文献２】特開平５−２７４３４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、印刷物に掲載された住所等の情報を入力できるＯＣＲ機能を搭載した携帯電話が開示されているものの、その入力された情報をどのように使うかといった使い勝手の面での検討が不十分であった。また、上記特許文献２では、例えば、ＯＣＲ機能により入力された単語の翻訳を表示する際、簡単な翻訳しか表示されず、より詳しい翻訳やその単語の使い方などを知りたい場合は、別途英和辞書を引き直さなければならず、使い勝手が悪いといった問題があった。
【０００５】
そこで、本発明は、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、例えば、請求項１記載の如く、他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えればよい。
【発明の効果】
【０００７】
本発明によれば、使い勝手の向上した情報処理装置、情報処理方法及びソフトウェアを提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を、図面を用いて説明する。なお、以下の図面において、同一の構成部については同符号を用いる。
【０００９】
図１は、本実施例（第1の実施例）に係る携帯電話の構成ブロック図である。本実施例においては、携帯電話に搭載された画像認識機能（ＯＣＲ機能）を利用して、紙面等に掲載された英単語の日本語訳を出力する場合を想定する。
【００１０】
携帯電話１００は、入力部１０１、ＣＰＵ１０２、撮像部１０３、記憶部１０４、画像認識部１０５、辞書データ１０６、表示部１０７、通信部１０８、検索部１０９などを含んだものとして構成される。
【００１１】
入力部１０１は、電話番号その他の情報を入力する入力部であり、携帯電話の電源をＯＮ/ＯＦＦするとき、被写体を撮像するときなど、ユーザが携帯電話に入力を与える際に使用するものである。ＣＰＵ１０２は、記憶部１０４に記憶されたプログラムに基づいて動作し、例えば、入力部１０１からの入力に応じて各部を制御するものである。
【００１２】
撮像部１０３は、例えば、カメラなどで構成されたものであり、被写体である人の顔や、景色、文字などを撮像し、ＣＰＵ１０２で扱える画像情報に変換し、変換された画像情報は必要に応じて表示部１０７等に出力する。ユーザは、表示部１０７に出力された画像情報をモニタしながら撮像したい画像を選んでシャッター等により撮像の指示を行う。シャッターが押下されれば、撮像された画像情報は記憶部１０４に記憶される。また、記憶部１０４は、携帯電話１００で扱うデータやソフトウェアなども記憶する。
【００１３】
画像認識部１０５は、画像情報に含まれる文字や記号等の識別情報を認識する。ここで、識別情報とは、文字、記号等で表された情報であり、例えば、ホームページのアドレス、メールアドレス、住所、電話番号、地図情報あるいは英語の単語等のように文字や記号等で表現されたものであり、事物を識別できる情報であれば上記例以外のものでも構わない。
【００１４】
また、ここで、認識とは、撮像部１０３により撮像された画像情報に含まれる識別情報を抽出し、その識別情報を所定の領域ごとに分割し、分割された領域を所定のパラメータ値に変換し、そのパラメータ値に基づいて分割された領域がどのような情報であるかを決定することをいう。
【００１５】
より具体的にいえば、例えば、画像情報内の「abc」という文字を「認識」する場合を考えると、まず、「abc」が画像情報内のどの位置の情報であるかを特定し、次に、「a」「b」「c」に分割し、「a」を所定のパラメータ値（例えば、その文字を縦、横、斜めからの見た線分の構成を、文字の白色部分を「０」、黒色部分を「１」としてパラメータ化された値）に変換する。そして、変換されたパラメータ値に最も類似したパラメータ値と対応付けされた文字を文字パターンデータ表より選び出す。文字パターンデータ表とは、パラメータ値とそのパラメータ値に対応したアルファベット等の文字とが記述されている表であり、予め記憶されているものである。なお、画像認識部１０５はOCR機能を備えており、OCR機能を実現する具体的な構成は、例えば、特許文献１に記されている。
【００１６】
記憶部１０４に記憶された辞書データ１０６には、例えば、外国語の単語等といった識別情報、該識別情報の日本語訳及び該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL等が含まれる。なお、翻訳言語としては、日本語訳に限定されるものではなく、英語やフランス語などでもよい。さらに、識別情報の説明であることがわかれば、絵や音などのデータでもよい。
【００１７】
表示部１０７は、撮像部１０３により撮像された画像や画像認識部１０５により認識された識別情報を表示する。その他、表示部１０７に、例えば、電源状態、電波強度、電池残量、サーバ接続状態、未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データの表示、また、携帯電話の機能を利用するために必要な画面を表示する。通信部１０８は、携帯電話１００がインターネットや他の情報処理装置などにアクセスするための通信処理を行う。検索部１０９は、辞書データ１０６を参照し、画像認識部１０５により得られた識別情報と一致する識別情報を検索する。
【００１８】
また、ＣＰＵ１０２は、モード判定フラグを利用して、撮像モードが通常の静止画又は動画を撮像する通常撮像モードであるか、画像認識部１０５を利用して識別情報を認識するモードである認識モードであるかを判定する。ここで、モード判定フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数で、認識モードの場合と通常撮像モードとでは異なる値になるようにし、ＣＰＵ１０２はこの変数に基づいて認識モードと通常撮像モードと、例えば、入力部１０１による操作により切り換える。以下、実施例では、「認識モード」と「通常撮像モード」との２種類を有する場合を考えるが、これに限定されるものではなく、それ以外にモードがあっても構わない。
【００１９】
図２は、辞書データ１０６の例を示している。列２０１は、外国語の単語が書かれた列であり、列２０２は、２０１の単語に対応した翻訳の概要が書かれた列である。列２０３は、列２０１の単語に対応した関連情報、例えば、翻訳の詳細が掲載されているホームページのURLが書かれた列である。なお、ここで、列２０１の列には例として英単語を記述したが、フランス語やドイツ語などどんな言語でもよいのは言うまでもない。 また、ここでは、列２０３にはURL全体を記述したが、URLの一部だけを記述してもよい。
【００２０】
図３は、URLの一部だけが記述された場合の辞書データ１０６の例である。図２の場合は、”http://www.○○○.com”が共通であるので、この共通部分はURL共通部分２０４に記述しておき、”a”や”abacus”などのような固有の部分だけは列２０６にURL固有部分として記述しておく。また、URL作成方法２０５には、URL共通部分２０４とURL固有部分２０６とを組み合わせて、詳細翻訳が掲載されたホームページのURLを作成する方法を記述しておく。このように、URLの共通部分を辞書データ１０６内の予め定められた場所に代表して記述し、異なる部分だけを各英単語に対応して記述するようにしておくことで、辞書データ１０６のデータサイズを減らすことができ、携帯電話で保持すべきデータ量が削減できるというメリットがある。
【００２１】
さらに、図３のように、列２０６に記述される情報と列２０１の列に記述された単語と同じである場合は、URL固有部分が記述された列２０６を辞書データ１
０６から省略するようにしても構わない。これにより、更に辞書データのデータサイズを減らすことができる。
【００２２】
次に、図４のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。まず、「認識モード」が入力部１０１を介してユーザにより選択された後、入力部１０１のうち撮像部１０３に撮像するように指示を出すスイッチ（以下、これをシャッターボタンと呼ぶ）が押下されれば、ＣＰＵ１０２が撮像部１０３に対して撮像するように指示を出す（ステップS401）。そして、撮像部１０３により撮像（変換）された被写体である対象物の画像情報はＣＰＵ１０２を介して記憶部１０４に保存する（ステップS402）。
【００２３】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS403）。この結果を、検索部１０９が読み取り、記憶部１０４により記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する（ステップS404）。
【００２４】
検索する方法としては、まず識別情報が完全に一致するものを探し出し、完全に一致するものがなかった場合は一文字だけ異なるがその他の文字は一致している単語を探し出すという方法が好ましい。この方法を採用することで、画像認識部１０５が紙面上の文字を誤って認識した場合でも、その文字列に一番近い単語を探し出すことができ、何度も撮像して文字認識をやり直す手間が省くことができ、使い勝手がよい。
【００２５】
また、一文字だけ異なる単語もない場合は、二文字異なる単語、三文字異なる単語、というふうに異なる文字数をだんだん増やして検索してもよく、この場合は認識率が低くても該当する単語を探し出すことができる。
【００２６】
ステップS405において、該当する単語が見つかった場合はステップS406に進む。もし該当する単語が見つからなかった場合はステップS410に進み、該当する単語が見つからなかったことをユーザに通知する画面を表示部１０７に表示して終了する。
【００２７】
ステップS406では、ステップS404において検索部１０９により辞書データから検索され、当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が読み取り、表示部１０７に表示する（ステップS406）。
【００２８】
この後、ＣＰＵ１０２は、入力部１０１や表示部１０７を介して、より詳細な翻訳の要求が指示されたか否かを判断し（ステップS407）、要求指示がされた場合はステップS408に進む。
【００２９】
ステップS408では、ステップS404において検索部１０９により検索された単語に対応するURLをＣＰＵ１０２が読み取り、ＣＰＵ１０２は、通信部１０８に対して該URLに接続するように指示信号を出力する。
【００３０】
ステップS409で、ＣＰＵ１０２が通信部１０８を介して上記ホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【００３１】
以上のように、簡単な翻訳だけでなく詳細な翻訳を参照したい場合に、詳細な翻訳が記載されたホームページ等を表示させることができるため、わざわざ英和辞書等を引き直さなくてもその単語の詳細な意味を知ることができ、使い勝手がよい。
【００３２】
また、携帯電話などの携帯端末では、大容量のメモリを搭載することができないため、本実施例のように、端末内では必要最低限の情報（簡単な訳や代表的な訳等）を記憶させて置き、詳細な情報が欲しいときはインターネットなどのような別の情報処理装置上に保存された情報を取得して参照できるようにすることは非常に有効である。
【００３３】
図５は、本実施例の表示画面例であり、紙面などの上に書かれた文字列が撮像され、その画像を文字認識により文字情報に変換し、辞書データ１０６の保持する概要翻訳を表示部に表示した後、詳細翻訳の表示を要求する入力があった場合は、辞書データ１０６の保持するURLに接続し、そのURLに記された内容を表示部１０７に表示する際の表示画面の例を示している。なお、表示部１０７の下部に表示された「メニュー」等の機能に対応したボタンは、入力部１０１のうち、例えば、上部に配置されたボタンなどであり、当該ボタン等がユーザにより押下されると、「メニュー」等の機能に対応した表示画面が表示部１０７に表示される。同様に、表示画面が遷移される度に、当該ボタン等は各表示画面の下部に表示された機能を実行するためのボタンとして割り当てられる。以下、表示画面の下部に表示された機能を実行するためのボタンは、本明細書において便宜上、当該表示された機能名と対応付けて呼ぶことにする。例えば、「メニュー」機能に対応したボタンを「メニューボタン」、あるいは、「戻る」機能に対応したボタンを「戻るボタン」と呼ぶ。なお、上述した実行ボタンは、右下や左下等の各機能が表示される位置に応じて各ボタンを割り当てるようにしても構わないし、一つのボタンで実現しても構わない。
【００３４】
画面５０１は、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている画面例である。なお、ここで、上記英単語「「Recognition」を特定する手段として、例えば、表示部１０７の中心に表示された「＋」マークを識別情報である「Recognition」の上に持っていけば、「＋」マークの位置から近傍のスペース情報からスペース情報までの部分を一区切りの単語として「Recognition」という単語を自動的に特定するようにしてもよいし、ユーザが入力部１０４を利用して、例えば、上記メールアドレス情報等の認識部分をカーソル等で指定できるようにしても構わない。認識対象を決定する方法が複数ある場合に、選択できるようにしても構わない。また、動画の場合は、動画を静止画でコマ送りできるように設定しておき、そのコマ送り画面で認識対象部を選択できるようにしても構わない。
【００３５】
また、ここでは、認識対象である英単語「Recognition」を点線等で囲み明確化したが、画像編集部において認識対象となる「Recognition」を拡大または縮小した画像を作成し、その画像を表示してもよい。拡大するには、例えば、１×１画素で表示していたところを２×２画素で表示する。さらに、画像編集部で認識対象となる文字の画像部分を白黒に変換したものやセピア色に変換したり、または、白黒反転したものを作成しその画像を表示したりしてもよく、画像内でどれが認識対象であるかが明確に分かるように表示すれば、上記例に限定されるものではない。
【００３６】
待受状態からこの画面５０１の状態にするには、例えば、「認識モード」ボタンを押下したり、または待受状態からメニュー画面に進み、そのメニュー画面に沿ってボタン操作を行うことにより画面５０１に移行してもよい。画面５０１において、画面下部の「認識」ボタンを押下すると、画面５０２に遷移する。
【００３７】
画面５０２は、撮像した画像の中でURLなどの認識可能な部分を文字認識部１０３が検出し、認識処理を行っている最中であることを表す画面である。認識処理が終了すると、画面５０３に遷移する。
【００３８】
画面５０３は、画像認識部１０５が認識した結果と、その文字列に対応した概要翻訳２０２を表示部１０７に表示した画面である。認識対象となる文字以外の部分の画像は、例えば、認識対象が何であるかを明確化するために、黒色で塗りつぶしたり、撮像した画像やアイコンなどが表示されていない部分の色と同じ色で塗りつぶしたりしている。ユーザが、単語の意味や使い方をもっと詳しく知りたい場合は、画面５０３の左下部に表示された詳細表示に対応したボタンを押すと、画面５０４に遷移する。
【００３９】
画面５０４は、通信部１０８が列２０３に接続する処理を実行していることを表した画面である。列２０３に接続できると、画面５０５に遷移する。
【００４０】
画面５０５は、列２０３のホームページの内容を表示した画面を表している。
【００４１】
以上のような表示画面を利用することで、ユーザは簡単な翻訳を知った後、簡単な操作で、単語の詳細な意味やその使い方・用例を知ることができ、使い勝手がよい。
【００４２】
なお、上記実施例では、詳細な単語の意味や使い方を参照するために1種類のホームページのURLを利用することを想定したが、特段これに限定するものではなく、例えば、複数のURL情報を記憶部１０４に記憶させておき、詳細な訳等を要求する際にその複数のURLの中から好みのURLを選択できるようにしても構わない。これにより、ユーザは、単語に関する詳細な訳等を豊富な情報源から選択することができ、使い勝手がよい。当然、単語に関して詳細な情報を参照するための情報としてURL情報に限定する必要もない。
更にまた、上記例において、英単語の翻訳に関する詳細な情報として、単語の翻訳に関して詳細に記載されたホームページのURLを想定したが、これに限定するものではなく、単語の訳に関して詳細な情報を参照できるものであれば、なんでもよい。
【００４３】
また、上記例では詳細な情報を入手するためにホームページを利用したが、携帯電話の記憶部１０４に訳の詳細な情報を記憶しておくようにすればよい。この場合、単語の簡単な訳と詳細な訳とで区別して記憶するようにし、通常の認識結果は簡単な訳で表示し、更に、ユーザにより詳細な情報の要求指示がなされた場合は、記憶部１０４に記憶された詳細な情報を表示する。これにより、携帯電話内に訳の詳細な情報が記憶されているためにホームページと接続することなく、速やかに該詳細な情報を表示することができるため、無駄な時間を節約することができ、また、通信圏外においても詳細情報を参照できる。
【００４４】
また、詳細な情報が蓄えられたＰＣ（Personal computer）等の装置を利用して詳細な情報を取得できるようにしても構わない。
【００４５】
この場合、携帯電話と辞書データ１０６の列２０６には、ＰＣに記憶された翻訳等の詳細情報を読み取るために必要な情報を記載しておく。ここで、翻訳の詳細な情報を参照するために必要な情報（以下、参照必要情報）とは、例えば、翻訳の詳細情報を保持するPCを特定するための情報（IPアドレスなどの識別子）、翻訳の詳細が記載されたファイルのパス名及びファイル名、あるいは、ＰＣの記憶部における詳細翻訳が記載された部分を示すアドレスなどである。
【００４６】
そして、例えば、「abalone」という単語を認識する場合に、より詳細な翻訳情報が欲しいときは、ユーザは図５（３）のような表示画面例等を利用して詳細情報の要求指示を行い、要求指示信号を受信したＣＰＵ１０２は、記憶部１０４に記憶された辞書データの「abalone」に対応した参照必要情報を通信部１０８を介してＰＣに送信する。ＰＣが参照必要情報を受信すれば、参照必要情報に基づいて外部情報処理装置の記憶部に蓄えられた単語の訳等の詳細な情報を携帯電話に送信する。単語の訳等の詳細な情報を受信した携帯電話のＣＰＵ１０２は、それを表示部１０７に表示する。なお、携帯電話とＰＣとを接続する手段としては、有線であっても無線であっても構わない。
【００４７】
これによれば、携帯電話内に単語訳等の詳細な情報をＰＣの記憶部を利用して参照できるため、記憶部１０４における記憶容量を低減できる。また、通信圏外においても詳細な情報を参照でき、使い勝手がよい。また、同様に、詳細な情報が記憶されている記憶媒体を介して参照できるようにしても構わない。この場合は、携帯電話に記録媒体の情報を読み取るための記録媒体読取部を設けるようにする。処理は前述と同様にすればよい。
【００４８】
また、英単語等の詳細な情報自体をユーザ自らが作成や編集ができるようにしても構わない。この場合、詳細な情報をユーザが作成や編集（追加や削除等）するための設定画面などを表示部１０７に表示させる。そうした設定画面を介して入力された情報は、辞書データの列２０３に記憶されるようにする。そして、認識した単語の詳細な情報を参照する際には、詳細情報要求指示を受けたＣＰＵ１０２は、記憶部１０４に記憶された辞書データに基づいて詳細な情報を表示部１０７に表示する。
【００４９】
これにより、自分オリジナルの辞書を作成や編集することができ、さらに、作成されたオリジナル辞書で単語の詳細な情報を参照することができるため、予め設定された詳細な情報には記載されていない情報を追加もしくは削除等することができ、更に使い勝手が向上する。
【００５０】
更にまた、上記では、簡易な情報を知りたい場合は携帯電話内に記憶された情報を利用し、詳細な情報を知りたい場合はＰＣや記憶媒体を利用するようにしたが、簡易な情報を参照する際もＰＣや記憶媒体に記憶された情報を利用するようにしても構わない。
【００５１】
次に、第２の実施例について説明する。上記第１の実施例は、英単語を認識して日本語訳を表示する例であるが、これだと、フランス語やドイツ語などの他言語は翻訳できないといった問題がある。本実施例は、この点に留意してなされた実施例である。
【００５２】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００５３】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００５４】
辞書フラグは、ＣＰＵ１０２がどの辞書データを使用するかを選択するために使うフラグである。辞書フラグは、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数であり、辞書データに割り当てられた識別番号を代入するようにし、ＣＰＵ１０２はこの変数に基づいて使用する辞書データを選択する。辞書フラグの値は、入力部１０１を介したユーザの操作によって変更が可能となるようにしておくことで、ユーザは多言語の単語に対して翻訳を得ることができ、使い勝手がよい。
【００５５】
図６は、ユーザが使用する辞書を選択する際の、携帯電話１００の画面表示例を示している。画面６０１は、携帯電話が撮像部１０３による撮像を行なえる状態を表した画面である。待ち受け状態からこの状態にするには、例えば携帯電話の側面についているスイッチを押下したり、または待ち受け状態からメニュー画面に進みボタンを数回押下するといった操作を行なう。画面６０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面６０２に遷移する。
【００５６】
画面６０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「(1)辞書選択」が入力部１０１を介して選択されると画面６０３に遷移する。
【００５７】
画面６０３は、使用する辞書を選択する画面である。この状態で、「(3)△△△和英」が入力部１０１を介して選択されると画面６０４に遷移する。
【００５８】
画面６０４は、使用する辞書が△△△和英辞書になったことをユーザに知らせる画面である。ここで「確認」に対応したボタンを押下すると画面６０５に遷移し、再び携帯電話が撮像部１０３による撮像を行なえる状態になる。
【００５９】
このように、辞書データを複数持つことで、多言語に対応した電子辞書機能を有することができ、使い勝手よい。
【００６０】
また、使用する辞書データが、例えば、英和辞書に設定されている場合、ドイツ語の単語を認識したときは、該当する単語を見つけることができない。こういった場合に、携帯電話が保持する辞書データ全てを検索させるように構成することで、英和辞書以外に独和辞書を保持していればドイツ語の単語に対しても翻訳を表示することが可能となる。全ての辞書データを検索する方法としては、全ての辞書データの識別番号を入れた配列を用意し、ＣＰＵ１０２が辞書フラグに設定された辞書データを検索した後、該配列の第１番目の要素に格納された識別番号に対応する辞書データを検索し、この中でも見つからない場合は、第２番目、第３番目といったように辞書データを変更して検索していく。このようにすることで、ユーザがわざわざ辞書データを選択する手間を省け、使い勝手のよい辞書機能を実現できる。
【００６１】
また、上記第２の実施例は、辞書データを複数保持することで多言語の翻訳を出力できるようにした例であるが、これは画像認識部１０５が認識できる言語に限られてしまう。例えば、英語だけを認識できる画像認識部１０５では、タイ語やアラビア語は認識できない。よって、タイ語やアラビア語の辞書データを保持しても、認識ができないために翻訳を出力できないという問題がある。
【００６２】
こうした問題を解決するために、通信部１０８を介してインターネットに接続し、多言語の文字パターンデータをダウンロードし、上記文字パターンデータ表に追加するようにすればよい。この場合の処理を以下に説明する。
【００６３】
図１０のフローチャートを用いて、本実施例に係る携帯電話がインターネットから文字パターンデータをダウンロードする際の処理手順を説明する。
【００６４】
まず、文字パターンデータ表のダウンロード指示を受けたＣＰＵ１０２は、通信部１０８を介してインターネット上に存在する上記文字パターンデータが書かれたサイトに接続する（ステップS1001）。このサイトを表示した状態で、ユーザが文字パターンのダウンロードを指示するために入力部１０１のボタンを押下する（S1002）。これを受けてＣＰＵ１０２は、通信部１０８を介して、上記サイトから文字パターンデータをダウンロードし、記憶部１０４に保存する（ステップS1003）。
【００６５】
この後、ＣＰＵ１０２は、上記文字パターンデータを文字パターンデータ表に追加する（ステップS1004）。
【００６６】
図１１は、本実施形態の携帯電話帯が、文字パターンデータをダウンロードできるサイトに接続し、アラビア語の文字パターンデータをダウンロードする画面の例を示している。
【００６７】
画面１１０１は、文字パターンをダウンロードできるインターネット上のサイトを表示した画面である。ここで、「アラビア語」を選択すると、画面１１０２に遷移する。画面１１０２は、アラビア語の文字パターンデータをダウンロードするかどうかをユーザに確認する画面である。ここで、「はい」を選択すると、画面１１０３に遷移する。画面１１０３は、アラビア語の文字パターンをダウンロードしていることを表す画面である。この状態でしばらく待ち、ダウンロードが終了すると画面１１０４に遷移する。画面１１０４は、アラビア語の文字パターンデータをダウンロードしたことを表す画面である。同様にして、各言語の文字パターンに対応した辞書データをダウンロードする。
【００６８】
このように、文字パターンデータ及び種々の言語の辞書をダウンロードできるように構成したことにより、多言語に対して文字認識及び翻訳参照を行うことができるため、使い勝手が向上する。
【００６９】
なお、予め記憶部１０４に記憶されていた文字パターンデータ表以外の文字を認識する際に、認識不可能であることをユーザに通知し、その場合に文字パターンデータ表のダウンロードをするように促す画面を表示部１０７に表示させるようにしてもよい。これにより、たとえ認識対象の文字が認識不可能であったとしても、速やかに認識できるようになり、使い勝手が向上する。
【００７０】
更に、例えば、辞書データとして英単語に関するものしかない場合に英単語以外の単語を認識しようとしたときに、翻訳不可能であることをユーザに通知し、その場合に辞書データをダウンロードするように促す画面を表示部１０７に表示させるようにしてもよい。
【００７１】
第１の実施例と異なる点は、記憶部１０４に記憶される辞書データに、辞書データaと辞書データbの２つに増えた点と、辞書フラグが含まれる点である。
【００７２】
例えば、辞書データaは英和辞書で、辞書データbは独和辞書である。なお、ここでは、辞書データとして２種類の言語（英語とドイツ語）を想定したが、３種類以上の言語を想定してそれぞれに対応した辞書データを記憶するようにしてもよい。
【００７３】
また、インターネット上には英和辞書などのホームページが複数あり、誰でも閲覧可能なホームページと、登録されたユーザのみが閲覧できるホームページがある。登録されたユーザのみが閲覧できるホームページは、ユーザＩＤとパスワードをユーザが入力することで閲覧できる。詳細な翻訳の要求が指示された場合に、登録されたユーザのみが閲覧できるサイトを表示してもよい。しかし、この場合は詳細な翻訳を表示するたびにユーザがユーザＩＤとパスワードを入力しなければならず、使い勝手が悪い。そこで、ユーザＩＤとパスワードを辞書データの予め定められた部分に記載しておく、という工夫を施す。図１２に、複数の辞書データを保持し、その辞書データに含まれる詳細な翻訳のホームページがユーザ認証の必要なものである場合の具体例を示す。携帯端末は、辞書提供者から辞書データを取得することができる。その辞書データには、ＩＤとパスワードが付属している。そのＩＤとパスワードは、辞書データに記載された詳細な翻訳が書かれたホームページにアクセスする際、ユーザ認証に使用する。
【００７４】
図１３に、本実施例の辞書データを用いて詳細な翻訳が記載されたホームページを表示する際のフローチャートを示す。
【００７５】
ステップS1301で、携帯電話が辞書データを取得する。その方法としては、インターネット上に存在する辞書データファイルを、通信部１０８を介してダウンロードしてもよいし、記憶媒体に記憶された辞書データを携帯電話に接続させることで取得してもよい。
【００７６】
このように辞書データを保持した状態で、文字認識を行ない（ステップS1302）、概要翻訳を表示する（ステップS1303）。
【００７７】
詳細翻訳を表示するように要求する信号をＣＰＵ１０２が受信すると（ステップS1304）、ＣＰＵ１０２は辞書データからサーバにアクセスするために必要なユーザＩＤとパスワードを取得する。取得する方法としては、辞書データの中のユーザＩＤとパスワードが記載されている場所を予め定めておき、ＣＰＵ１０２がその場所を読み取るという方法が考えられる。また、ユーザＩＤとパスワードが記載されている場所を辞書データのヘッダ部分に記載しておき、ＣＰＵ１０２がヘッダ部分を読み取ってユーザＩＤとパスワードの記載された場所を取得し、ユーザＩＤとパスワードを読み取る、という方法も考えられる
ステップS1306では、ＣＰＵ１０２が通信部１０８を介してサーバにアクセス信号を送信する。この際、ユーザＩＤとパスワードも一緒に送信する。アクセス信号、ユーザＩＤ、パスワードを受信したサーバでは、ユーザ認証を行ない、認証が成功すると詳細翻訳データを端末に送信する。
【００７８】
ステップS1307では、ＣＰＵ１０２が通信部１０８を介して詳細翻訳データを取得し、記憶部に記憶する。ステップS1308では、ＣＰＵ１０２が記憶部に記憶された詳細翻訳データを読み取り、表示部に表示させる。
【００７９】
このように、ユーザＩＤとパスワードが必要なホームページにアクセスする際にも、ユーザは入力操作をせずにユーザ認証が行われ、使い勝手がよい。
【００８０】
次に、第３の実施例について説明する。人間の記憶容量には限界があり、以前調べた英語の単語でも時間が経てばその意味等を忘れてしまうことも多いにあり得る。そうした場合に再度認識し直すのは手間がかかって面倒である。
【００８１】
本実施例は、こうした問題に対して検討されたものであり、認識された単語の翻訳等の履歴情報を残す点に特徴がある。以下、このような履歴情報を作成していく処理と、履歴情報を利用する処理に分けて説明する。
【００８２】
まず、履歴情報を作成する処理について説明する。図7は、検索された結果が履歴情報として記憶部１０４に記憶される場合の１例であり、例えば、図７のように、検索部１０９により検索された単語、検索したときの時刻などの履歴が記されてある。
【００８３】
列７０１は、辞書データの列２０１のうち文字認識された単語である。列７０２は、各単語が認識された回数を表している。列７０３は、今までに認識された時刻のうちで最新の時刻を表している。列７０４は、履歴情報を利用して英単語等の意味を確認した回数を示すものであり、列７０５は、最後に確認した時刻を表している。
【００８４】
図８は、本発明の第３の実施例に係る携帯電話が、文字認識をした後、例えば、図７のような履歴表を作成する際のフローチャートを表した図である。ステップS406、ステップS407はそれぞれ図４のステップS406、ステップS407を表しており、その間にステップS801〜ステップS804の処理がなされるフローになる。
【００８５】
ステップS406は、辞書データ１０６の概要翻訳、すなわち代表的な訳や簡単な訳を表示した状態である。ここで、検索部１０９が検索した結果の単語が記憶部１０４に記憶された履歴情報に存在するかどうかを判定し（ステップS801）、存在した場合はステップS802に進む。ステップS802では、ＣＰＵ１０２は、履歴情報の認識回数７０２を１つ増やす更新処理を行う。ステップS803では、ＣＰＵ１０２によりなされる処理がステップS803に到達した時点の時刻を時刻取得部９０２が取得し、その時刻を履歴情報の最終認識時刻７０３に記載する。
【００８６】
ステップS801で単語が履歴情報に存在しなかった場合は、ステップS804に進み、履歴情報に単語、最終認識時刻を追加記載する。最終認識時刻は、ステップS804に処理が到達した時点の時刻を記憶部１０４に記載する。以上の処理を経ることにより、履歴表に新たな認識結果の履歴情報を更新していく。なお、この場合、後述するように、履歴を利用して単語の意味等を再度確認するようなことを考えると、記憶部１０４に記憶された履歴表データと辞書データとを対応付けて記憶するのが望ましい。対応付けて記憶する方法としては、例えば、辞書データ内に履歴情報を追加できるスペースを設けて、そのスペースに履歴情報を次々書き込む方法などが考えられる。
【００８７】
次に、作成された履歴情報を利用する場合の処理を説明する。まず、記憶部１０４により記憶された履歴情報の参照指示がユーザの入力部１０１による操作を介してなされれば、履歴参照指示信号がＣＰＵ１０２に入力される。履歴参照指示信号が入力されたＣＰＵ１０２は、記憶部１０４に記憶された履歴表データや辞書データに基づいて英単語の意味を表示部１０７に表示するように処理する。
【００８８】
図９は、本実施形態の携帯電話が、履歴情報を用いて文字認識をせずに単語の翻訳を表示する画面の例を示している。
【００８９】
画面９０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面９０２に遷移する。画面９０２は、撮像および文字認識に関するメニューを選択する画面である。この状態で、「(5)履歴表」を選択すると画面９０３に遷移する。画面９０３は、履歴情報のうち、単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。この状態で、“recognition”を選択すると画面９０４に遷移する。
【００９０】
画面９０４は、“recognition”の翻訳を表示した画面である。この状態で、「確認」に対応したボタンを押下すると、画面９０５に遷移する。
【００９１】
画面９０５は、画面９０３と同じく、履歴表９０１のうちの単語、その単語に対する認識回数、その単語に対する確認回数などを表示した画面である。画面９０３では“recognition”に対する確認回数が０であったのに対し、画面９０４で“recognition”の訳を確認したため、画面９０５では“recognition”に対する確認回数が１に増えている。
【００９２】
以上により、ユーザは、一度認識した単語の意味等を再度認識する操作を行うことなくいつでも、どこでも、更に何度でも確認できるために使い勝手が向上する。
【００９３】
また、図９のような表示画面を表示することにより、認識回数、確認回数をユーザは容易に通知することができる。さらに、ユーザが何度も調べた単語が一目瞭然となるために、この認識回数や確認回数が多い順に上から表示すれば、なかなか覚えられない単語が容易に理解できるため、意識して覚えることができ、更に使い勝手がよい。
【００９４】
なお、第1の実施例のように、更なる操作で訳や用例などの詳細な情報（例えば、詳細な情報が記載されたホームページのアドレス等）を参照できるように構成した場合には、簡単な訳と詳細な訳とを区別するように記憶部１０４に履歴情報として記憶し、ユーザが履歴情報を利用して英単語等の意味を確認する場合に、「簡単な訳」と「詳細な訳」とのいずれかを選択できるようにすれば、使い勝手は更に向上する。また、ここで履歴情報としては、図７に列挙されるような情報に限定されるものではなく、履歴に関する情報であれば何でもよい。
【００９５】
更にまた、撮像部１０３により表示部１０７に出力された画像情報のうち画像認識部１０５により識別情報を認識する際に、履歴情報があるか否かをユーザに通知するように構成してもよい。例えば、認識対象を決定するためにひとまず対象を決定する仮決定と仮決定された対象でいい場合に本決定を行うように構成した場合では、仮決定の段階で、記憶部１０４に記憶された履歴情報の有無を表示部１０７に表示するようにすれば、わざわざ再度認識することなく、履歴情報を参照して識別情報の意味等を確認することができるため、使い勝手がよい。また、カーソルを認識対象の上に移動させるだけで、例えば、「履歴あり」といった簡易な表示でユーザに通知しても構わない。認識対象の英単語等の識別情報が今までに認識された情報である場合にその履歴の有無を通知する形態としては、文字、アイコンあるいはマークなどを用いた表示だけでなく、音声出力部（図示せず）などを介して音で通知してもよいのは言うまでもない。
【００９６】
更にまた、ＧＰＳなどの携帯電話に位置情報取得部を備えて、当該位置取得部により取得された位置情報を履歴情報として記憶部１０４に記憶するように構成してもよい。これによれば、どこで単語を認識したかを容易に確認できる。
【００９７】
また、履歴情報として記憶された場所に再度訪れた場合に、その旨及びそのときに認識した単語やその意味をユーザに通知するようにしても構わない。
【００９８】
次に、第４の実施例について説明する。図１４は、第４の実施例に係る携帯電話の外観を表した図である。本実施例の携帯電話は、図１４に示されるように、表示部１０７を有する筐体２００と入力部１０１を有する筐体３００とがヒンジ部１４０３を介して折畳み可能であり、ヒンジ部に回転可能な撮像部を備えた携帯電話を考える。
【００９９】
本実施例の携帯電話は、携帯電話が図１４（１）のように開いた状態であるか図１４（２）のように閉じた状態であるかを検出する折畳検出部を備えている。折畳検出部は、例えば、筐体２００に磁石、筐体３００にホール素子を備え、磁石により磁界を加えられたホール素子の電圧値のHiレベル or Lowレベルに基づいて開閉状態の検出を行う。なお、折畳検出部は、開閉状態の検出ができれば、センサー又は凹凸係合等を利用したものであっても構わない。なお、表示部１０７は、主に開いた状態で利用される表示部（メイン表示部）であるが、本実施例の携帯電話は、メイン表示部以外に携帯電話が折り畳まれた（閉じた）状態においても視認可能なサブ表示部１４０７を備える。
【０１００】
撮像モードの選択を容易にするために、通常撮像ボタン１４０１と認識撮像ボタン１４０２とが、例えば、筐体の側面に備えている。
【０１０１】
通常撮像ボタン１４０１が押下されると、撮像部１０４で撮像対象物を撮像し、撮像した画像を記憶部１０４に保存し、必要に応じて撮像画像を表示する。認識撮像ボタン１４０２を押下すると、撮像部１０４で撮像対象物を撮像し、画像認識部１０５が文字認識を行った後、ＣＰＵ１０２は、認識結果を表示部１０７もしくはサブ表示部１４０７に表示する処理を行う。
【０１０２】
以上のように、認識モードと通常撮像モードのそれぞれ専用ボタンを設けることで、ユーザは簡単に各モードを選択でき、使い勝手がよい。また、図１４（１）に示すように、筐体３００の側面に配置すれば、携帯電話が開いた状態でも折畳まれた状態でも操作が同様なものとなり、わざわざ開閉時で操作を変えることがないため使い勝手が向上する。更に、図１４のように、筐体の側面等の携帯電話が閉じた状態で視認できる位置に操作キーを配置すると、閉じた状態においても認識モードを実行可能になるため、わざわざ携帯電話を開くことなく文字認識等を行うことができ、使い勝手はよい。
【０１０３】
なお、通常撮像ボタン１４０１と認識撮像ボタン１４０２とは異なるボタンであることが好ましいが、同一のボタンでもよい。ただし、この場合、同一のボタンである場合は、撮像するためのボタン操作と認識するためのボタン操作を区別させる必要がある。この場合、例えば、ボタンを押下する時間に応じて、あるいは、ボタンを押下する回数に応じて（ダブルクリック等）撮像モードと認識モードとを切り換えたりして区別すればよい。また、このようにボタンを同一にすることで、スペースを取らず、携帯電話を小さくすることができる。通常撮像ボタン１４０１と認識撮像ボタン１４０２とは、携帯電話１００に付属するセンサのうち、ユーザが取り扱うことのできるものならばどれでもよい。
【０１０４】
また、上記では、通常撮像ボタン１４０１と認識撮像ボタン１４０２とを筐体側面に備える場合について説明したが、これに限定するものではなく、閉じた状態で操作可能な位置に配置されたボタンであれば、例えば、携帯電話の背面に配置されているような構成をとっても構わない。ここで、携帯電話の背面とは、図１４（２）の１４０７に示されているように、携帯電話が折り畳まれた（閉じた）状態で視認可能な表示部１０７に対向するような面であり、主としてバッテリにより構成される面とは異なる面である。
【０１０５】
次に、第５の実施例について説明する。本実施例の携帯電話の外観は、第４の実施例と同様に図１４のように折畳み可能な携帯電話を考える。以下、認識結果に対する概要翻訳等をメインの表示部１０７に表示しておき、携帯電話が開かれた場合には、該認識結果に対する詳細翻訳等をサブ表示部１４０７に表示する例について説明する。
【０１０６】
図１５のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１０７】
まず、ステップS1501は、携帯電話が入力部１０１からのキー入力を待ち受けている状態である。この状態で、携帯電話のカメラ機能を起動させるための信号をＣＰＵ１０２が検出する（ステップS1502）と、携帯電話が折畳み状態であるかどうかを折畳検出部によって検出する。
【０１０８】
携帯電話が折畳み状態であった場合には、折畳検出部によって携帯電話が折畳み状態であることを伝える信号がＣＰＵ１０２に入力され（ステップS1503）、これを受けてＣＰＵ１０２は静止画モニタ表示をサブ表示部１４０７に表示する（ステップS1504）。次に、ユーザなどによってシャッターボタンが押下されると、撮像を指示する信号がＣＰＵ１０２に入力され（ステップS1505）、撮像部１０３により撮像（変換）された被写体の画像情報がＣＰＵ１０２を介して記憶部１０４に保存される（ステップS1506）。
【０１０９】
次に、画像認識部１０５が記憶部１０４に保存された画像情報を読み取り、該画像情報に含まれる識別情報、例えば、洋書の文中にある単語“recognition”を読み取って、認識結果を記憶部１０４に保存する（ステップS1507）。この結果を、検索部１０９が読み取り、記憶部１０４に記憶された辞書データ１０６の列２０１にある単語の中から一致するものを検索する。再び、携帯電話が折畳み状態であるかどうかを折畳検出部が検出し、ＣＰＵ１０２に開閉状態の情報を信号として入力する。該開閉状態情報をＣＰＵ１０２が参照し（ステップS1508）、ステップS1509において、携帯電話が閉じた状態であると判断された場合は、ステップS1510に進む。ステップS1510では当該検索された単語に対応する列２０２（翻訳の概要）をＣＰＵ１０２が辞書データから読み取り、サブ表示部１４０７に表示する。
【０１１０】
また、ステップS1509において、携帯電話が開いた状態であると判断された場合は、当該検索された単語に対応するURLをＣＰＵ１０２が辞書データから読み取り（ステップS1511）、ＣＰＵ１０２は通信部１０８に対して該URLに接続するように指示信号を出す。ステップS1512で、ＣＰＵ１０２が通信部１０８を介して上記URLのホームページに記された内容を読み取り、記憶部１０４に保存する。その後、その内容をＣＰＵ１０２が表示部１０７に表示する。
【０１１１】
図１６は、本実施例の表示画面例であり、ユーザによって携帯電話が閉じた状態から開いた状態になった場合に、辞書データ１０６の保持する詳細な翻訳が記載されたURLのホームページの内容（記載情報）を表示部１０７に表示する画面の例を示している。なお、画面１６０１〜１６０３では、画面左下に表示された「メニュー」などといった表示はボタン１４０８ａ、画面右下に表示された「認識」などといった表示はボタン１４０８ｂに関連付けされ、ユーザが携帯電話に入力をする際にはそれぞれ関連付けされたボタンを押下することにより、画面が遷移する。これらのボタンを、例えば、画面左下に「メニュー」と表示されていた場合は、ボタン１４０８ａのことを「メニュー」ボタンと呼ぶことにする。
【０１１２】
画面１６０１は、携帯電話が折畳まれた状態において、撮像モードとして「認識モード」が選択され、例えば、英文中の「Recognition」という単語を特定し、認識することを試みている場合の、サブ表示部１４０７に表示された画面例である。この状態で、「認識」ボタンを押下すると、画面１６０２に遷移する。
【０１１３】
画面１６０２は、認識対象として「Recognition」が選択されたことを示している。この画面では、画面中の「Recognition」以外の画像部分が黒く塗りつぶされて表示されており、「Recognition」が強調される。また、文字以外の部分を黒く塗りつぶすことで、盗撮も防止できる。この状態で「決定」ボタンを押下すると、画面１６０３に遷移する。
【０１１４】
画面１６０３は、認識対象となった「Recognition」の概要翻訳がサブ表示部１４０７に表示されている画面を表している。この状態で携帯電話を開くと、表示部１０７に画面１６０４が表示される。
【０１１５】
画面１６０４は、携帯電話を開いた状態で表示部１０７に詳細な翻訳を表示した画面例である。
【０１１６】
このように、携帯電話を折畳んだ状態でも文字認識ができるため、いちいち携帯電話を開く手間も省け、手軽に文字認識ができる。さらに、ユーザが詳細な翻訳を知りたい場合は、概要翻訳が表示されている状態で携帯電話を開くだけで、詳細な翻訳を表示部１０７に表示できるため、非常に使い勝手がよい。
【０１１７】
次に、第６の実施例について説明する。本実施例の携帯電話は、撮像部１０３が撮像した画像や、該画像に含まれる文字などの識別情報を画像認識部１０５が認識した結果や、該認識結果に対する概要翻訳等を表示部１０７に表示した場合、認識結果の各文字を異なる文字に変換する認識結果編集手段を備えたものとする。
図１７は、本実施例の携帯電話が、例えば、紙面上に書かれた“Recognition”という文字列を撮像し、画像認識部１０５が認識した結果が“Reconifiom”であった場合に、該認識結果を編集する画面例を表したものである。
【０１１８】
画面１７０１は、撮像部１０３が被写体である対象物を撮像し、該画像に含まれる文字列“Recognition”を画像認識部１０５が誤って、例えば“Reconifiom”と認識してしまい、“Reconifiom”に一番近い単語を検索部１０９が辞書データ１０６から検索し、検索した結果が“reconfirm”であった場合に、認識結果である“Reconifiom”、検索結果である“reconfirm”と、その概要翻訳“[動詞] 再確認する”を表示部１０７に表示した画面例である。ここで、「メニュー」ボタンを押下すると、画面１７０２に遷移する。
【０１１９】
画面１７０２は、撮像機能や認識機能に関するメニューを表示した画面である。ここで、「(1)結果編集」を選択して「決定」ボタンを押下すると、認識結果を編集できる画面に遷移する。
【０１２０】
画面１７０３は、認識結果を編集できる画面において、“Reconifiom”の“Reco”と“nifiom”の間に“g”を追記した画面を表している。認識結果を編集できる画面では、認識結果の文字が表示される領域１７０５内に、カーソル１７０６が表示される。このカーソル１７０６を使って編集する位置を選択し、入力部１０１のうち文字を入力に関するボタンを数回押下することで、文字を入力・削除することができる。このようにして編集した認識結果の文字は、ＣＰＵ１０２によって記憶部１０４に記憶される。この状態で、「検索」ボタンを押下すると、入力部１０１によりＣＰＵ１０２に検索するように指示する入力信号が入力される。これを受けてＣＰＵ１０２は、記憶部１０４を参照して編集された認識結果文字を読み取り、検索部１０９に渡す。検索部１０９はこれを受けて、辞書データ１０６の中から一致する単語を検索し、検索結果表示領域に表示する。
【０１２１】
その画面例が画面１７０４である。画面１７０４は、認識結果を編集できる画面において、認識結果の文字を“Recognitiom”に編集した後、「検索」ボタンを押下した場合に表示される画面例である。検索結果として“Recognition”が表示されている。
【０１２２】
このようにして、認識結果が誤認識であり、ユーザが認識させたかった英単語とは異なる文字が検索結果として表示されてしまった場合、もう一度撮像し直して認識させる必要がなく、使い勝手がよい。
【０１２３】
なお、上記では、「検索」ボタンが押下されたことで、認識結果と一番近い単語を辞書データ１０６から検索部１０９が検索するようにしたが、認識結果を編集できる画面において、認識結果の文字を編集したら、認識結果編集手段がＣＰＵ１０２に検索をするように指示する入力信号を入力し、検索部１０９によって検索をするようにしてもよい。この場合、ユーザは検索結果を表示させたいときにいちいち「検索」ボタンを押さなくて済み、使い勝手がよい。
【０１２４】
次に、第７の実施例について説明する。本実施例は、携帯電話等に予め備わっているメール機能等を利用して画像認識部１０５により認識された結果、つまり、簡易情報あるいは詳細情報を送信する場合を想定する。
【０１２５】
この場合、例えば、入力部１０１により所定の操作がなされ、その入力信号を受信したＣＰＵ１０２は、認識モードに移行するように処理する。ユーザが認識モードにおいて、認識対象である文字等を認識した後にメール機能を起動するための操作を入力部１０１を介して行えば（例えば、メール起動キーを押下）、その入力信号を受信したＣＰＵ１０２は、表示部１０７に記憶部１０４に予め記憶されているメールソフトを起動し、メール送信できるようにメール作成画面を表示する。その際、ＣＰＵ１０２は、認識され、例えば、「abalone」といった英単語の代表的な訳「あわび」を表示する場合、「abalone→あわび」といったようにメール作成の本文欄に自動的に挿入するように処理する。また、第１の実施例のように、簡易な情報のみならず、詳細な情報、例えば、用例や類似後のような詳細な情報が記載されたＵＲＬ情報などを取得できる場合には、その詳細な情報を自動的に本文欄に挿入するように処理する。
【０１２６】
また、記憶部１０４に記憶されたアドレス情報（名前、電話番号あるいはメールアドレスの情報）からユーザが選択して送信相手の宛先欄に挿入できるように構成しても構わない。
【０１２７】
以上により、画像認識部１０５による認識結果を簡単な操作で送信したい相手に伝えることができ、使い勝手が向上する。さらに、件名の欄も「ＯＣＲ結果」等の件名を自動的に挿入記載するようにすれば、更に入力の手間が省け、使い勝手がよい。
【０１２８】
また、認識結果を利用してメールを作成する際に、メールアドレスを認識した場合は自動的に当該メールアドレスを宛先として宛先欄に設定する方法も考えられる。しかし、この方法では、例えば、メールアドレスを認識してそのメールアドレスをメールの本文欄に記載したい場合においても、メールの宛先として設定されてしまうため、認識結果を利用することはできない。
【０１２９】
こういった問題を解決するために、例えば、メール作成の場合は、メールの宛先、件名、本文欄等といった項目うち、どの項目に認識結果を挿入するかを選択できるようにする。この機能を、図１８を使って説明する。
【０１３０】
画面（１）は、認識対象である“yamazaki@xxx.jp”を認識した際に、認識画像と認識結果を表示した画面である。この状態で「メニュー」ボタンを押下すると、画面（２）に遷移する。画面（２）は、認識結果である“yamazaki@xxx.jp”を使ってどの機能に利用するかを選択する画面である。メールを作成する場合は、「(2)メール作成」を選択すると、画面（３）に遷移する。画面（３）は、認識結果をメール作成の項目のうちどの項目に挿入するかを選択する画面である。この画面で、「(3)本文」を選択すると、メールの本文に“yamazaki@xxx.jp”が代入されたメールの作成画面へと遷移する（画面（４））。
【０１３１】
このように、認識結果をメールのどの項目に挿入するかをユーザが選択できるようにすれば、認識結果を表示してから数回の入力操作を行うだけで、メールの本文中に認識結果を挿入したメールの作成画面へと移行することができ、使い勝手が向上する。
【０１３２】
さらに、画面（２）のメニューを表示する際に、認識結果である文字列の種類によってカーソルの位置を決定することもできる。その方法は、例えば、認識結果に“＠”が含まれていればメールアドレス、“http”が含まれていればURLであるとＣＰＵ１０２によって判定させ、メールアドレスであると判定された場合は、画面（２）を表示する際にカーソルの位置を「(2)メール作成」、URLであると判定された場合はカーソルの位置を「(1)インターネット」等に合わせて表示部１０７に表示させればよい。このようにすれば、画面（２）においてメニューを選択する操作が省けるので、使い勝手がさらに向上する。
【０１３３】
また、認識結果がメールアドレスであった場合に、当該メールアドレスをアドレス帳に登録したいときは、画面（２）で「(4)アドレス帳登録」を選択すればよい。この場合も同様に、認識結果のメールアドレスをアドレス帳のどの項目に挿入するかを選択できるようにすれば、上述と同じ効果が得られる。
【０１３４】
なお、上記では、メールソフトの作成画面の欄として、「宛先」「件名」「本文」欄を考えたが、これに限定されるものではない。そのほかに欄を設けたとしても自動的に関係した情報を挿入するようにすれば、入力手間が省け、使い勝手がよい。
【０１３５】
また、上記では、自動的にメール作成画面欄に認識結果（例：ＵＲＬ情報）が挿入されるような構成をとったが、それだけでなく、ユーザ自らが入力部１０１を介してコメント等を入力できるようにしても構わない。これにより、ＯＣＲ機能を行い、その結果を通話相手先に送信する際に、ユーザが単に結果のみを送信するだけでなく、その結果に対するコメント等を添えることができる。なお、その際に、予め記憶部１０４に記憶された定型文や絵文字等を利用すれば更に使い勝手はよくなる。
【０１３６】
なお、上記実施例においては、英語等の単語に関して、意味や用例等を詳細に知りたいといった利用シーンを想定したが、これに限定されるものではなく、例えば、スポーツ、映画、歴史、レストラン、科学、恐竜、動植物、芸能人等といった様々なジャンルの単語に関する情報を参照できるようにしても構わない。これにより、参照可能なカテゴリが増えて、ユーザの使い勝手は向上する。このように、参照可能である情報が多いと、例えば、ユーザが雑誌や新聞等の記事を見ているときや、街を何気なく歩いている場合に、興味のある単語が目にとまり、その詳細な情報を参照したいと思った状況などにおいても、速やかにその単語の意味等を参照できるため非常に使い勝手がよい。
【０１３７】
また、例えば、「ガメラン」といった恐竜の詳細情報を参照したいのに、植物の「ガメラン」の詳細情報を取得したところでユーザの満足度は低い。そこで、詳細情報の要求を行う際に、例えば、表示部１０７に「どのジャンルの詳細情報が欲しいですか？」などの通知がされ、ユーザが表示画面等を介して種々のジャンルを選択できるようにすれば、更に使い勝手はよい。
【０１３８】
次に、第８の実施例について説明する。本実施例は、認識した英単語の的確な意味を通知するために、単語の共起関係を利用するものである。共起とは、複数の単語が同一の文書に出現することである。
【０１３９】
そもそも単語は、同一の単語でも複数の異なる意味を持っている場合が多く、予め用意された辞書の日本語訳をそのまま表示させた場合、認識させた英単語がどの意味で使われているのかを、ユーザが文脈を読み取る等して考えなければならない。その際、もし間違った意味で捉えてしまうと、その英単語を含んだ文章自体も間違った意味で捉えてしまう、という問題がある。本実施例は、この点に留意してなされた実施例である。
【０１４０】
図１９は、本発明の第８の実施例に係る構成例を示す図である。本実施例は、携帯電話１００、サーバ１９００で構成される。
【０１４１】
サーバ１９００は、SV-ＣＰＵ１９０２、共起関係データベース１９０３、SV記憶部１９０４、SV画像認識部１９０５、SV辞書データ１９０６、SV通信部１９０８、SV検索部１９０９、ユーザ登録データベース１９１０などを含んだものとして構成される。
【０１４２】
SV通信部１９０８は、サーバ１９００がインターネットや他の情報処理装置などとアクセスするための通信処理を行う。
【０１４３】
SV-ＣＰＵ１９０２は、SV記憶部１９０４に記憶されたプログラムに基づいて動作し、例えば、SV通信部１９０８からの信号に応じて各部を制御するものである。
【０１４４】
共起関係データベースは、共起関係に関するデータであり、例えば、図２０に示すように、単語、その単語の訳、共起する単語（以下、共起単語と呼ぶ）及び共起されている単語に対応した訳になる割合等を含んだものとして構成される。なお、図２０は、単語が「character」であり、その「character」の訳として「文字」、「登場人物」を想定した例である。
【０１４５】
共起関係データベース１９０３は複数の単語に対するデータを保持し、それぞれの単語についてその訳とその訳として使われる確率値などを保持するものとする。
【０１４６】
認識した単語と当該単語と共起する単語があった場合に、共起関係データベース１９０３を使って、当該単語に対する値a、値bを比べることで、認識した単語に対する最も適切な訳を得ることができる。例えば、「character」の日本語訳には「文字」や「登場人物」などがあるが、「recognition」という単語が共起した場合、「character」の日本語訳として「文字」が適切である割合が0.95、また、「登場人物」が適切である割合が0.05とする。この場合、「character」の日本語訳としてはその適切な割合を表す値が大きい「文字」を選択すればよい。
【０１４７】
SV記憶部１９０４は、通信部から受信するデータなど、サーバ１９００で扱うデータを記憶しておく。SV画像認識部１９０５は、画像情報に含まれる文字や記号等の識別情報を認識する。
【０１４８】
記憶部１０４に記憶されたSV辞書データ１９０６には、例えば、外国語の単語等といった識別情報、当該識別情報の日本語訳及び当該識別情報の様々な日本語訳や使い方・用例等について詳しく書かれたホームページのURL、当該識別情報に関する画像や音声等が含まれる。
【０１４９】
SV検索部１９０９は、単語および当該単語と共起する単語を用い、共起関係データベース１９０３を参照して、単語２００１の適切な日本語訳を選択する。
【０１５０】
ユーザ登録データベース１９１０は、サーバ１９００に接続できるユーザであることを証明するためのユーザIDやパスワードを記録しているデータベースである。
【０１５１】
次に、図２１のフローチャートを用いて、本実施例における携帯電話の処理手順を説明する。
【０１５２】
図１５のステップS1501〜ステップS1507と同様の処理を行うことにより、モニタ表示をしている状態（ステップS2101）から、画像を撮像して文字認識した結果を記憶部１０４に保存した状態になる（ステップS1502〜ステップS1504）。ステップS2105では、記憶された認識結果から認識位置データ及び認識単語データを抽出する。ここで、認識位置データとは、撮像部１０３により撮像された画像に含まれる認識対象となる単語の画像上の位置に関するデータのことであり、また、認識単語データとは、ステップS2105において検索部１０９により検索された結果見つけられた単語のことである。
【０１５３】
次に、サーバ１９００と接続するように指示を出すアクセス信号が入力部１０１などを介してＣＰＵ１０２に入力されると、ＣＰＵ１０２は、通信部１０８を介して所定のサーバにアクセス信号を送信する（ステップＳ2107）。
【０１５４】
次に、アクセス信号を受信したサーバ１９００よりユーザＩＤ及びユーザＩＤに対応したパスワードの入力要求信号が送信される。その要求信号を携帯電話１００が受信すれば（ステップＳ2108）、ＣＰＵ１０２は、表示部１０７にユーザＩＤ及びパスワードの入力用画面を表示する。入力画面等を介してユーザＩＤ及びパスワードが入力されれば、それをサーバ１９００に送信する（ステップＳ2109）。ここで、ユーザＩＤ及びパスワードをユーザが入力する認証する形態を考えたが、ユーザの認証が行うことができればこれに限定されるものではない。例えば、声紋、指紋、虹彩などを用いて認証を行ってもよい。
【０１５５】
ＣＰＵ１０２は、サーバから受信した信号が認証成功データか認証失敗データのいずれであるかを判定し（ステップＳ2110）、当該信号が認証失敗データの場合は、入力用画面を再度表示部１０７に表示し、当該信号が認証成功データの場合は、撮像部１０３により撮像された画像、認識位置データ及び認識単語データなどをサーバ１９００に送信する（ステップS2111）。
【０１５６】
その後、サーバ１９００から認識単語データに対する訳を示す最適翻訳データを受信すると、ＣＰＵ１０２は（ステップS2112）、最適翻訳データを表示部１０７に表示する（ステップS2113）。
【０１５７】
次に、図２２のフローチャートを用いて、本実施例におけるサーバ１９００の処理手順を説明する。
【０１５８】
サーバ１９００が携帯電話１００などの端末からのアクセス信号を受信する（ステップS2201）と、続いて携帯電話１００にユーザＩＤとパスワードの入力を要求する（ステップＳ2201）、携帯電話１００からユーザＩＤとパスワードを受信すると（ステップS2202）、SV-ＣＰＵ１９０２がユーザ登録データ１９１０を参照する。ユーザ登録データ１９１０に登録されているユーザＩＤとパスワードに一致するものが見つかれば、SV-ＣＰＵ１９０２は、SV通信部１９０８を介してユーザ認証が確認できたことを携帯電話１００に通知し（ステップS2204）、携帯電話１００から画像、認識位置データ及び認識単語データを受信する（ステップS2205）。
【０１５９】
次に、SV画像認識部１９０５は、受信した画像に含まれる文字を認識する。図２３は、受信した画像の例を示している。SV画像認識部１９０５は認識処理を行う際に、まず、画像に含まれる全部の単語を抽出し、その認識位置データを求める。このうち、抽出領域の一辺が画像の端にかかる単語は認識対象外の単語としてみなされる。
【０１６０】
図２３の画像例では、単語２３０１のように網掛けの四角で囲んだ単語は認識対象外の単語としてみなされる。それ以外の単語、図２３の画像例では、単語２３０３「The」のように抽出領域が画像の端にかからない単語を認識し、認識結果と一致する、もしくは、一番類似する単語をSV辞書データ１９０６からSV検索部１９０９が検索する（ステップS2206）。
【０１６１】
ここで、ユーザが認識したい単語を「認識対象単語」、実際に携帯電話が認識した対象の単語を「認識単語」と定義する。通常は、認識対象単語と認識単語は一致するが、認識精度が低いなどの理由で両者が異なる場合がある。例えば、「abalone」の翻訳をユーザが欲する場合に「abalone」ではなく誤って認識してしまい、認識対象単語は「abalone」、認識単語は「abalome」となる場合がある。その場合は、誤って認識された「abalome」が辞書データにあるかどうかが検索され、もし無ければ辞書データが有する単語の中で一番類似した単語（例えば、abalone）を認識単語とみなすような処理が行われる。
【０１６２】
次に、携帯電話から受信した認識位置データおよび認識単語データに基づいて確定される単語（以後、翻訳対象単語）以外の認識対象単語（以後、共起単語）の数ｎを計測する（ステップS2207）。ステップS2208において、共起単語数ｎが１つ以上ある場合は、共起関係データベース１９０３に翻訳対象単語があるかどうかを判定し（ステップS2209）、あった場合は、共起関係データベース１９０３の列２００４に共起単語と一致する単語があるかどうかを判定する（ステップS2210）。
【０１６３】
共起単語と一致した単語が共起関係データベースにあった場合は、翻訳対象単語の訳のうちで最も適切な訳を決定する（ステップＳ2211）。
【０１６４】
決定方法としては、共起関係データベース１９０３の共起単語に対するそれぞれの訳に基づいて確率を計算する。例えば、翻訳対象単語が「character」、共起単語が「string」と「recognition」であった場合を考える。共起単語に「string」が存在した場合の訳が「文字」となる割合は0.90、また共起単語に「recognition」が存在した場合の訳が「文字」となる割合は0.95、これらの値を足し合わせると1.85となる。また、同様の計算を訳「登場人物」に対して行なうと、合計の値は0.08となる。これらの値が最大となる訳を、最も適切な訳として扱うことができる。なお、上記では、割合値を足し合わせて最適な訳を決定したが、これに限定するものではなく、乗算、割算又は除算等を組合せたりして決定してもよい。最後に、最適翻訳データを端末に送信するステップ（S2212）。
【０１６５】
また、ステップS2208において共起単語数ｎが０であった場合、ステップS2213に進み、代表となる訳をSV辞書データ１９０６から検索する。ステップS2214で、その訳を端末に送信する。
【０１６６】
また、ステップS2209において共起関係データベース１９０３に翻訳対象単語がなかった場合と、ステップS2210において共起関係データベース１９０３に共起単語と一致する単語がなかった場合は、同様にステップS2213に進み、代表訳を端末に送信する。
【０１６７】
なお、上記フローではステップS2211で最適翻訳データを決定したが、複数の訳の候補を決定してもよい。共起単語に対応した割合の合計値を、大きい順に、例えば、６個求める。このデータを翻訳表示順序データと呼ぶ。図２５（１）は、「character」の訳を並び替える前の状態であり、（２）は訳の意味として適切な順に並び替えた後の状態である。
【０１６８】
この翻訳表示順序データに基づいて訳を端末に送信する。翻訳表示順序データを受信した携帯電話のＣＰＵ１０２は、当該翻訳表示順序データに基いて翻訳を並び替えて表示部１０７に表示するように制御する。
【０１６９】
これにより、ユーザは、認識対象単語の意味を知ることができるうえ、その認識対象単語が文脈上どのような意味を持つ可能性が高いかを容易に知ることができ、使い勝手がよい
また、サーバにより選択された最適な訳が間違っている場合も想定されるが、そうした場合でも、図２５のように最適な訳だけでなく、その他の訳の候補を並べて列挙することにより、ユーザ自身が文脈上から判断する際の大きな手助けとなり得る。
【０１７０】
次に、携帯電話とサーバとのやり取りに係る処理例を図２４を用いて説明する。ここでは、携帯電話である単語を文字認識してその最適な訳をサーバから受信する場合を想定する。
【０１７１】
まず、ある単語（以下、認識対象単語）を撮像部１０３及び画像認識部１０５により認識すると（ステップS2401）、ＣＰＵ１０２は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データを抽出する（ステップS2402）。次に、ユーザが当該認識対象単語の詳細な訳を参照する指示を入力部１０１等を介して行うと、ＣＰＵ１０２は、サーバと接続するためのアクセス信号を送信する（ステップS2403）。
【０１７２】
アクセス信号を受信したサーバは、携帯電話にユーザＩＤとパスワードを要求するためにＩＤ・パスワード要求信号を送信し（ステップＳ2404、ステップＳ2405）、ＩＤ・パスワード要求信号を受信した携帯電話のＣＰＵ１０２は、ユーザによりＩＤ及びパスワードを入力画面等を介して入力された後にサーバにＩＤ及びパスワードを送信する（ステップＳ2406）。
【０１７３】
次に、サーバは受信したユーザＩＤ及びパスワードに基づいて正規の登録者か否かの認証を行う。認証を行った結果、正規の登録者と認められた場合（有効）には、サーバ１９００は認証成功データを送信し、正規の登録者と認められない場合（無効）には認証失敗データを送信する（ステップＳ2407〜ステップＳ2409）。ここでは、認証が有効であった場合を考える。
【０１７４】
認証成功データを受信した携帯電話は、撮像した画像データ、画像データに含まれる認識対象単語をデータ化した認識単語データ及び当該認識対象単語の位置を示す認識位置データをサーバに送信する（ステップＳ2410、ステップＳ2411）。
【０１７５】
画像データ、認識単語データ及び認識位置データを受信したサーバは、前述したように、認識単語データから画像データ内に含まれる認識対象単語を特定し（ステップＳ2413）、画像データ内に含まれる認識単語データ以外の単語で、かつ、画像データの上下左右の端などで単語の途中で途切れて画像データの枠からはみ出した単語（共起単語）を抽出し、認識処理を行う（ステップＳ2412〜ステップＳ2414）。その後、サーバが所有する共起関係データベースを参照して、認識対象単語の最適な訳を示す最適翻訳データを携帯電話に送信する（ステップＳ2415、ステップＳ2416）。
【０１７６】
最適翻訳データを受信した携帯電話は、最適翻訳データを表示部１０７に表示する（ステップＳ2417、ステップＳ2418）。
【０１７７】
以上により、ユーザは、ある単語の翻訳をその文脈に沿った最適な訳を参照することができ、使い勝手がよい。また、処理能力及び記憶容量が通常携帯電話より優れているサーバに共起関係データベースの蓄積及び共起データベースから最適な翻訳を決定する処理等を負担させることにより、携帯電話の処理負担及び記憶容量の軽減に貢献するとともに、処理能力や記憶容量の面でバランスのとれたシステムを実現できる。
【０１７８】
更に、サーバの立場から見ると、上述したような情報処理を行うサーバを利用して、「最適翻訳サービス」等のサービスを想定すれば、例えば、毎月定額の収入を得られて経済的な面でも効果的である。
【０１７９】
また、ユーザには無料又は低額で提供する代わりに広告会社と契約してその広告会社から広告代としての収入を得るようにしても構わない。この場合、サーバは、その広告に関するデータを最適翻訳データに付加して携帯電話に送信し、その広告データ及び最適翻訳データを受信した携帯電話は、最適翻訳データとともに広告データも表示するようにすればよい。その際に、広告データを最適翻訳データと重ならないように両者を表示するための位置データもサーバが送信し、その位置データを受信した携帯電話がその位置データに基いて表示するようにすれば、ユーザは、最適な翻訳と広告が混在せずに見ることができる。
【０１８０】
なお、上述してきた種々の機能をソフトウェアで実現してもよく、ユーザは、例えば、記録媒体やサーバから当該ソフトウェアを受信して当該種々の機能を実現できる。これにより、必要な機能だけを搭載したり、また、好みに応じて色々な機能を追加もしくは削除、あるいは更新することが容易となる。
【０１８１】
なお、携帯電話及びサーバが有する画像認識部および検索部はＣＰＵで構成してもよい。更に、上述してきた実施例を組み合わせて構成することができることは言うまでもない。
【０１８２】
また、本発明は、上記に示された実施例に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。
【図面の簡単な説明】
【０１８３】
【図１】第１の実施例に係る携帯電話の構成ブロック図である。
【図２】辞書データの内容例を示した図である。
【図３】辞書データの内容例を示した図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第１の実施例における表示画面例である。
【図６】第２の実施例における表示画面例である。
【図７】第３の実施例に係る履歴表の例である。
【図８】第３の実施例における処理手順を示すフローチャートである。
【図９】第３の実施例における表示画面例である。
【図１０】文字パターンデータをダウンロードする実施例の処理フロー図である。
【図１１】文字パターンデータをダウンロードする実施例の表画面例である。
【図１２】辞書データにＩＤ・パスワードが関連付けされている実施例のイメージ図である。
【図１３】辞書データにＩＤ・パスワードが関連付けされている実施例の処理フロー図である。
【図１４】第４又は第５の実施例における携帯電話の概観図である。
【図１５】第５の実施例における処理手順を示すフローチャートである。
【図１６】第５の実施例における携帯電話の表示画面例である。
【図１７】第６の実施例における携帯電話の表示画面例である。
【図１８】第７の実施例における携帯電話の表示画面例である。
【図１９】第８の実施例における全体システム図である。
【図２０】共起関係データベース例である。
【図２１】第８の実施例の携帯電話の処理手順を示すフローチャートである。
【図２２】第８の実施例のサーバの処理手順を示すフローチャートである。
【図２３】第８の実施例において撮像画像、認識対象単語、共起単語との位置関係を説明する図である。
【図２４】第８の実施例における携帯電話とサーバの処理シーケンス図である
【図２５】第８の実施例における携帯電話の表示画面例である。
【符号の説明】
【０１８４】
１００ 携帯電話
１０１ 入力部
１０２ ＣＰＵ
１０３ 撮像部
１０４ 記憶部
１０５ 画像認識部
１０６ 辞書データ
１０７ 表示部
１０８ 通信部
１０９ 検索部
１１０ 辞書フラグ
２００ メイン表示部を有する筐体
３００ 入力部を有する筐体
２０１ 外国語
２０２ 概要翻訳
２０３ 詳細翻訳URL
２０４ URL共通部分
２０５ URL作成方法
７０１ 単語
７０２ 認識回数
７０３ 最終認識時刻
７０４ 確認回数
７０５ 最終確認時刻
１４０１ 通常撮像ボタン
１４０２ 認識撮像ボタン
１４０３ ヒンジ部
１４０７ サブ表示部
１４０８a 入力部
１４０８b 入力部
１９００ サーバ
１９０２ SV-ＣＰＵ
１９０３ 共起関係データベース
１９０４ SV記憶部
１９０５ SV画像認識部
１９０６ SV辞書データ
１９０８ SV通信部
１９０９ SV検索部
１９１０ ユーザ登録データベース
２３０１ 認識対象外の単語
２３０３ 認識対象単語
【特許請求の範囲】
【請求項１】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、
該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記関連情報の取得を行うためのＩＤ及びパスワードを受信する受信部を備え、
前記制御部は、前記関連情報取得指示部により前記関連情報の取得が指示された場合に該受信部により受信されたＩＤ及びパスワードを送信するように制御することを特徴とする情報処理装置。
【請求項３】
請求項２記載の情報処理装置において、
前記関連情報が外国語の翻訳が記載されたホームページアドレスであることを特徴とする情報処理装置。
【請求項４】
請求項１記載の情報処理装置において、
前記識別情報が外国語の単語であり、前記関連情報が該外国語の単語に関する情報であることを特徴とする情報処理装置。
【請求項５】
請求項４記載の情報処理装置において、
前記関連情報が、前記外国語の用例もしくは翻訳を含むことを特徴とする情報処理装置。
【請求項６】
請求項４記載の情報処理装置において、
前記関連情報が、複数の外国語の辞書情報を含み、該辞書情報を選択する辞書選択部を備えることを特徴とする情報処理装置。
【請求項７】
請求項４記載の情報処理装置において、
複数の言語を認識するための文字パターンを受信する受信部と、
該受信部により受信された該文字パターンを記憶する言語パターン記憶部とを備え、
前記認識部は、該言語パターン記憶部により記憶された該文字パターンに基いて前記外国語の単語を認識することを特徴とする情報処理装置。
【請求項８】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
単語情報と該単語情報に関する情報とを対応付けて記憶する記憶部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該認識部により認識された単語情報に関する情報の取得を指示する詳細情報取得指示部と、
該詳細情報取得指示部により該単語情報に関する情報の取得が指示された場合に該記憶部により記憶された該単語情報に関する情報を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項９】
請求項８記載の情報処理装置において、
前記記憶部に記憶された前記単語情報に関する情報を作成もしくは編集する編集部とを備えることを特徴とする情報処理装置。
【請求項１０】
他の装置と通信を行う通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる単語情報を認識する認識部と、
単語情報に関する詳細な情報が記載されたホームページのアドレスの情報を記憶する記憶部と、
該認識部により認識された該単語情報に関する詳細な情報を表示する指示を行う詳細情報表示指示部と、
該詳細情報表示指示部により該詳細な情報を表示する指示がなされた場合に、
該通信部を介して該記憶部により記憶された該ホームページのアドレスに基づいて該ホームページにアクセスし、該ホームページの内容を表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１１】
請求項１０記載の情報処理装置において、
前記記憶部は、前記ホームページのアドレスにおいて共通する部分と前記単語
情報ごとに固有の部分とを区別して記憶することを特徴とする情報処理装置。
【請求項１２】
他の装置と通信を行う通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
単語と該単語に関する簡易な情報と該単語に関する詳細な情報が記載されたホームページのアドレスの情報とを対応付けて記憶する記憶部と、
該表示部により表示された画像情報に含まれる単語を認識する認識部と、
該認識部により認識された該単語に関する詳細な情報の表示を指示する詳細情報表示指示部と、
該認識部により該単語の認識を行う場合に該認識された結果と該単語に関する簡易な情報を該表示部に表示し、さらに該詳細情報表示指示部により該詳細な情報の表示の指示がなされた場合に該通信部を介して該記憶部により記憶された該ホームページにアクセスし、該ホームページの内容を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１３】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を認識する認識部と、
識別情報と識別情報に関連した関連情報とを対応付けて記憶する記憶部と、
該認識部により認識された識別情報を履歴情報として記憶する履歴記憶部と、
該履歴記憶部により記憶された履歴情報の取得を指示する履歴取得指示部と、
該履歴取得指示部により指示された履歴情報のうち少なくとも１つを選択する履歴選択部と、
該履歴選択部により該履歴情報を選択すると該履歴情報に対応した該関連情報を表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１４】
請求項１３記載の情報処理装置において、
前記記憶部により記憶された前記関連情報は、前記識別情報の簡易な情報と前記識別情報の詳細な情報とに区別されて記憶されていることを特徴とする情報処理装置。
【請求項１５】
請求項１３記載の情報処理装置において、
前記履歴選択部により履歴情報を選択した場合に該履歴情報の簡易な情報あるいは該履歴情報の詳細な情報のいずれを前記表示部に表示するかを選択する関連情報選択部を有することを特徴とする情報処理装置。
【請求項１６】
請求項１３記載の情報処理装置において、
前記関連情報は、前記識別情報に関して詳細に記載されたホームページのアドレス情報を少なくとも含むことを特徴とする情報処理装置。
【請求項１７】
請求項１３記載の情報処理装置において、
前記制御部は、前記認識部により認識された前記識別情報が前記記憶部により記憶されていた場合にその旨を通知するように制御することを特徴とする情報処理装置。
【請求項１８】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語を認識する認識部と、
該認識部により認識された単語を履歴情報として記憶する履歴記憶部と、
該履歴記憶部により記憶された該単語の表示を指示する履歴表示指示部と、
該履歴表示指示部により表示の指示がされた場合、該単語を選択するための表示画面を該表示部に表示し、選択された該単語の関連情報を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１９】
請求項１３又は１８記載の情報処理装置において
前記履歴記憶部は、前記認識部により認識された前記識別情報もしくは前記単語の認識回数を記憶することを特徴とする情報処理装置。
【請求項２０】
第１の表示部を有する第１の筐体と第１の操作部を有する第２の筐体を有し、ヒンジ部を介して該第１の表示部と該第1の操作部とが対向するように折畳み可能である情報処理装置において、
画像情報を出力する撮像部と、
該情報処理装置が折畳まれた状態で参照可能な位置に配置され、該撮像部により出力された画像情報を表示する第２の表示部と、
該情報処理装置が折畳まれた状態で押下可能な位置に配置された第２の操作部と、
該第２の表示部に表示された画像情報に含まれる識別情報を認識する認識部と、
該第２の操作部を介して該第２の表示部に表示された該識別情報の認識を行う指示をした場合に、該第２の表示部に表示された該識別情報を該認識部により認識するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２１】
請求項２０記載の情報処理装置において、
前記情報処理装置が折畳まれた状態であるか否かを検出する折畳検出部と、
前記識別情報に関連する関連情報を記憶する記憶部とを備え、
前記制御部は、前記該第２の操作部を介して前記第２の表示部に表示された前記識別情報を認識した後に、該折畳検出部により開いた状態であると検出された場合に該関連情報を前記第１の表示部に表示するように制御することを特徴とする情報処理装置。
【請求項２２】
請求項２１記載の情報処理装置において、
他の装置と通信する通信部とを備え、
前記関連情報が前記識別情報の詳細な情報が記載されたホームページアドレスを含み、
前記制御部は、前記折畳検出部により開いた状態であると検出された場合に該通信部を介して該ホームページにアクセスして該ホームページの内容を前記メイン表示部に表示するように制御することを特徴とする情報処理装置。
【請求項２３】
メイン表示部を有する第１の筐体とメイン操作部を有する第２の筐体を有し、ヒンジ部を介して該メイン表示部と該メイン操作部とが対向するように折畳み可能であり、画像情報を出力する撮像部が該ヒンジ部に備わって回転可能である情報処理装置において、
該情報処理装置が折畳まれた状態で参照可能な位置に配置され、該撮像部により出力された画像情報を表示するサブ表示部と、
該情報処理装置が折畳まれた状態で押下可能な位置に配置されたサブ操作部と、
該サブ表示部に表示された画像情報に含まれる単語を認識する認識部と、
該サブ操作部を介して該第２の表示部に表示された該単語の認識を行う指示をした場合に、該サブ表示部に表示された該単語を該認識部により認識するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２４】
他の装置と通信する通信部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、
該関連情報取得指示部により該関連情報の取得が指示され該関連情報を該表示部に表示した後に該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するソフトウェア起動選択部と、
該認識部により該識別情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されるとメール作成用の表示画面を少なくとも送信相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該本文欄には該認識部により認識された該識別情報と該関連情報のうち少なくともいずれか一方を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２５】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該認識部により認識された単語情報がメールアドレスか否かを判定するメールアドレス判定部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該単語情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該認識部により認識された単語情報が該メールアドレス判定部によりメールアドレスであると判定された場合は該宛先欄に該単語情報を挿入し、一方、該認識部により認識された単語情報が該メールアドレス判定部によりメールアドレスでないと判定された場合は該宛先欄以外の欄に該単語情報を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２６】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該単語情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該認識部により認識された単語情報が該メールアドレスである場合は該宛先欄に該単語情報を挿入し、該認識部により認識された単語情報がメールアドレスでない場合は該宛先欄以外の欄に該単語情報を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２７】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる識別情報を認識する認識部と、
該通信部を介してメールの送受信を行うためのソフトウェアを少なくとも記憶するソフトウェア記憶部と、
該ソフト記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該識別情報を認識した後で該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄び送信したい文字を入力するための本文欄とから構成されるメール作成画面のうちどの欄に該認識部により認識された該識別情報を挿入するかを選択できる表示画面を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２８】
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された該識別情報の位置情報を抽出する認識位置抽出部と、
該認識位置抽出部により抽出された位置情報、該認識部により認識された識別情報、該撮像部により出力された画像情報を送信する送信部とを備えることを特徴とする情報処理装置。
【請求項２９】
請求項２８記載の情報処理装置において
前記送信部により前記位置情報、前記識別情報及び前記画像情報を送信した後に前記識別情報に関連する関連情報を受信する受信部とを備えることを特徴とする情報処理装置。
【請求項３０】
請求項２９記載の情報処理装置において
前記識別情報が外国語の単語であり、前記関連情報が該外国語の翻訳であることを特徴とする情報処理装置。
【請求項３１】
少なくとも１つ以上の単語を含む画像情報と該画像情報に含まれる所定の単語を特定するための単語特定情報とを受信し、
該画像情報及び該単語特定情報に基づいて該受信した画像情報に含まれる該所定の単語を特定し、
該画像情報に含まれる単語のうちで該特定された単語以外の単語を抽出し、
予め記憶された第１の単語と第２の単語との組み合わせに応じて該第１の単語の関連情報を決定するためのデータベースを参照して該特定された単語の関連情報を決定し、該決定された関連情報を送信することを特徴とする情報処理方法。
【請求項３２】
請求項３１記載の情報処理方法において、
前記単語特定情報が、前記所定の単語の位置情報を含むことを特徴とする情報処理方法。
【請求項３３】
請求項３１又は３２記載の情報処理方法において、
前記単語が外国語の単語であり、前記関連情報が該外国語の単語の翻訳であることを特徴とする情報処理方法。
【請求項３４】
請求項３１記載の情報処理方法において、
前記画像情報に含まれる単語のうちで前記特定された単語以外の単語を抽出する際に、
前記画像情報に含まれる単語のうちで前記特定された単語以外の単語の領域を指定し、
該指定された領域と前記画像情報の端とが重ならない場合にその単語を前記画像情報に含まれる単語として抽出することを特徴とする情報処理方法。
【請求項３５】
英単語の翻訳を要求する翻訳要求データを受信し、
該受信した翻訳要求データに含まれる翻訳対象となる単語及び翻訳対象以外の単語とから当該単語情報の意味を、予め記憶された、第１の単語と第２の単語との組み合わせに応じて該第１の単語の意味を決定するための統計データが含まれるデータベースから抽出し、
該抽出した意味を該データベースに基づいて並び替え、該並び替えられた意味を表示するための翻訳表示順序データを送信することを特徴とする情報処理方法。
【請求項３６】
他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部とを有した情報処理装置を実行させるソフトウェアにおいて、
該認識部により認識された識別情報に関連した関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように該情報処理装置を実行させることを特徴とするソフトウェア。
【請求項１】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、
該関連情報取得指示部により該関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記関連情報の取得を行うためのＩＤ及びパスワードを受信する受信部を備え、
前記制御部は、前記関連情報取得指示部により前記関連情報の取得が指示された場合に該受信部により受信されたＩＤ及びパスワードを送信するように制御することを特徴とする情報処理装置。
【請求項３】
請求項２記載の情報処理装置において、
前記関連情報が外国語の翻訳が記載されたホームページアドレスであることを特徴とする情報処理装置。
【請求項４】
請求項１記載の情報処理装置において、
前記識別情報が外国語の単語であり、前記関連情報が該外国語の単語に関する情報であることを特徴とする情報処理装置。
【請求項５】
請求項４記載の情報処理装置において、
前記関連情報が、前記外国語の用例もしくは翻訳を含むことを特徴とする情報処理装置。
【請求項６】
請求項４記載の情報処理装置において、
前記関連情報が、複数の外国語の辞書情報を含み、該辞書情報を選択する辞書選択部を備えることを特徴とする情報処理装置。
【請求項７】
請求項４記載の情報処理装置において、
複数の言語を認識するための文字パターンを受信する受信部と、
該受信部により受信された該文字パターンを記憶する言語パターン記憶部とを備え、
前記認識部は、該言語パターン記憶部により記憶された該文字パターンに基いて前記外国語の単語を認識することを特徴とする情報処理装置。
【請求項８】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
単語情報と該単語情報に関する情報とを対応付けて記憶する記憶部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該認識部により認識された単語情報に関する情報の取得を指示する詳細情報取得指示部と、
該詳細情報取得指示部により該単語情報に関する情報の取得が指示された場合に該記憶部により記憶された該単語情報に関する情報を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項９】
請求項８記載の情報処理装置において、
前記記憶部に記憶された前記単語情報に関する情報を作成もしくは編集する編集部とを備えることを特徴とする情報処理装置。
【請求項１０】
他の装置と通信を行う通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる単語情報を認識する認識部と、
単語情報に関する詳細な情報が記載されたホームページのアドレスの情報を記憶する記憶部と、
該認識部により認識された該単語情報に関する詳細な情報を表示する指示を行う詳細情報表示指示部と、
該詳細情報表示指示部により該詳細な情報を表示する指示がなされた場合に、
該通信部を介して該記憶部により記憶された該ホームページのアドレスに基づいて該ホームページにアクセスし、該ホームページの内容を表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１１】
請求項１０記載の情報処理装置において、
前記記憶部は、前記ホームページのアドレスにおいて共通する部分と前記単語
情報ごとに固有の部分とを区別して記憶することを特徴とする情報処理装置。
【請求項１２】
他の装置と通信を行う通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
単語と該単語に関する簡易な情報と該単語に関する詳細な情報が記載されたホームページのアドレスの情報とを対応付けて記憶する記憶部と、
該表示部により表示された画像情報に含まれる単語を認識する認識部と、
該認識部により認識された該単語に関する詳細な情報の表示を指示する詳細情報表示指示部と、
該認識部により該単語の認識を行う場合に該認識された結果と該単語に関する簡易な情報を該表示部に表示し、さらに該詳細情報表示指示部により該詳細な情報の表示の指示がなされた場合に該通信部を介して該記憶部により記憶された該ホームページにアクセスし、該ホームページの内容を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１３】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を認識する認識部と、
識別情報と識別情報に関連した関連情報とを対応付けて記憶する記憶部と、
該認識部により認識された識別情報を履歴情報として記憶する履歴記憶部と、
該履歴記憶部により記憶された履歴情報の取得を指示する履歴取得指示部と、
該履歴取得指示部により指示された履歴情報のうち少なくとも１つを選択する履歴選択部と、
該履歴選択部により該履歴情報を選択すると該履歴情報に対応した該関連情報を表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１４】
請求項１３記載の情報処理装置において、
前記記憶部により記憶された前記関連情報は、前記識別情報の簡易な情報と前記識別情報の詳細な情報とに区別されて記憶されていることを特徴とする情報処理装置。
【請求項１５】
請求項１３記載の情報処理装置において、
前記履歴選択部により履歴情報を選択した場合に該履歴情報の簡易な情報あるいは該履歴情報の詳細な情報のいずれを前記表示部に表示するかを選択する関連情報選択部を有することを特徴とする情報処理装置。
【請求項１６】
請求項１３記載の情報処理装置において、
前記関連情報は、前記識別情報に関して詳細に記載されたホームページのアドレス情報を少なくとも含むことを特徴とする情報処理装置。
【請求項１７】
請求項１３記載の情報処理装置において、
前記制御部は、前記認識部により認識された前記識別情報が前記記憶部により記憶されていた場合にその旨を通知するように制御することを特徴とする情報処理装置。
【請求項１８】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語を認識する認識部と、
該認識部により認識された単語を履歴情報として記憶する履歴記憶部と、
該履歴記憶部により記憶された該単語の表示を指示する履歴表示指示部と、
該履歴表示指示部により表示の指示がされた場合、該単語を選択するための表示画面を該表示部に表示し、選択された該単語の関連情報を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項１９】
請求項１３又は１８記載の情報処理装置において
前記履歴記憶部は、前記認識部により認識された前記識別情報もしくは前記単語の認識回数を記憶することを特徴とする情報処理装置。
【請求項２０】
第１の表示部を有する第１の筐体と第１の操作部を有する第２の筐体を有し、ヒンジ部を介して該第１の表示部と該第1の操作部とが対向するように折畳み可能である情報処理装置において、
画像情報を出力する撮像部と、
該情報処理装置が折畳まれた状態で参照可能な位置に配置され、該撮像部により出力された画像情報を表示する第２の表示部と、
該情報処理装置が折畳まれた状態で押下可能な位置に配置された第２の操作部と、
該第２の表示部に表示された画像情報に含まれる識別情報を認識する認識部と、
該第２の操作部を介して該第２の表示部に表示された該識別情報の認識を行う指示をした場合に、該第２の表示部に表示された該識別情報を該認識部により認識するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２１】
請求項２０記載の情報処理装置において、
前記情報処理装置が折畳まれた状態であるか否かを検出する折畳検出部と、
前記識別情報に関連する関連情報を記憶する記憶部とを備え、
前記制御部は、前記該第２の操作部を介して前記第２の表示部に表示された前記識別情報を認識した後に、該折畳検出部により開いた状態であると検出された場合に該関連情報を前記第１の表示部に表示するように制御することを特徴とする情報処理装置。
【請求項２２】
請求項２１記載の情報処理装置において、
他の装置と通信する通信部とを備え、
前記関連情報が前記識別情報の詳細な情報が記載されたホームページアドレスを含み、
前記制御部は、前記折畳検出部により開いた状態であると検出された場合に該通信部を介して該ホームページにアクセスして該ホームページの内容を前記メイン表示部に表示するように制御することを特徴とする情報処理装置。
【請求項２３】
メイン表示部を有する第１の筐体とメイン操作部を有する第２の筐体を有し、ヒンジ部を介して該メイン表示部と該メイン操作部とが対向するように折畳み可能であり、画像情報を出力する撮像部が該ヒンジ部に備わって回転可能である情報処理装置において、
該情報処理装置が折畳まれた状態で参照可能な位置に配置され、該撮像部により出力された画像情報を表示するサブ表示部と、
該情報処理装置が折畳まれた状態で押下可能な位置に配置されたサブ操作部と、
該サブ表示部に表示された画像情報に含まれる単語を認識する認識部と、
該サブ操作部を介して該第２の表示部に表示された該単語の認識を行う指示をした場合に、該サブ表示部に表示された該単語を該認識部により認識するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２４】
他の装置と通信する通信部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された識別情報に関連した関連情報の取得を指示する関連情報取得指示部と、
該関連情報取得指示部により該関連情報の取得が指示され該関連情報を該表示部に表示した後に該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するソフトウェア起動選択部と、
該認識部により該識別情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されるとメール作成用の表示画面を少なくとも送信相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該本文欄には該認識部により認識された該識別情報と該関連情報のうち少なくともいずれか一方を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２５】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該認識部により認識された単語情報がメールアドレスか否かを判定するメールアドレス判定部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該単語情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該認識部により認識された単語情報が該メールアドレス判定部によりメールアドレスであると判定された場合は該宛先欄に該単語情報を挿入し、一方、該認識部により認識された単語情報が該メールアドレス判定部によりメールアドレスでないと判定された場合は該宛先欄以外の欄に該単語情報を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２６】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる単語情報を認識する認識部と、
該通信部を介してメールの送受信を行うためのソフトウェアを記憶するメールソフトウェア記憶部と、
該メールソフトウェア記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該単語情報を認識した後に該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄及び送信したい文字を入力するための本文欄とから構成されるメール作成画面を該表示部に表示するとともに、該認識部により認識された単語情報が該メールアドレスである場合は該宛先欄に該単語情報を挿入し、該認識部により認識された単語情報がメールアドレスでない場合は該宛先欄以外の欄に該単語情報を挿入するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２７】
他の装置と通信する通信部と、
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該表示部により表示された画像情報に含まれる識別情報を認識する認識部と、
該通信部を介してメールの送受信を行うためのソフトウェアを少なくとも記憶するソフトウェア記憶部と、
該ソフト記憶部により記憶された該ソフトウェアを起動するか否かを選択するメールソフトウェア起動選択部と、
該認識部により該識別情報を認識した後で該メールソフトウェア起動選択部により該ソフトウェアの起動が選択されると少なくとも送信相手の相手先を入力するための宛先欄び送信したい文字を入力するための本文欄とから構成されるメール作成画面のうちどの欄に該認識部により認識された該識別情報を挿入するかを選択できる表示画面を該表示部に表示するように制御する制御部とを備えることを特徴とする情報処理装置。
【請求項２８】
画像情報を出力する撮像部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該認識部により認識された該識別情報の位置情報を抽出する認識位置抽出部と、
該認識位置抽出部により抽出された位置情報、該認識部により認識された識別情報、該撮像部により出力された画像情報を送信する送信部とを備えることを特徴とする情報処理装置。
【請求項２９】
請求項２８記載の情報処理装置において
前記送信部により前記位置情報、前記識別情報及び前記画像情報を送信した後に前記識別情報に関連する関連情報を受信する受信部とを備えることを特徴とする情報処理装置。
【請求項３０】
請求項２９記載の情報処理装置において
前記識別情報が外国語の単語であり、前記関連情報が該外国語の翻訳であることを特徴とする情報処理装置。
【請求項３１】
少なくとも１つ以上の単語を含む画像情報と該画像情報に含まれる所定の単語を特定するための単語特定情報とを受信し、
該画像情報及び該単語特定情報に基づいて該受信した画像情報に含まれる該所定の単語を特定し、
該画像情報に含まれる単語のうちで該特定された単語以外の単語を抽出し、
予め記憶された第１の単語と第２の単語との組み合わせに応じて該第１の単語の関連情報を決定するためのデータベースを参照して該特定された単語の関連情報を決定し、該決定された関連情報を送信することを特徴とする情報処理方法。
【請求項３２】
請求項３１記載の情報処理方法において、
前記単語特定情報が、前記所定の単語の位置情報を含むことを特徴とする情報処理方法。
【請求項３３】
請求項３１又は３２記載の情報処理方法において、
前記単語が外国語の単語であり、前記関連情報が該外国語の単語の翻訳であることを特徴とする情報処理方法。
【請求項３４】
請求項３１記載の情報処理方法において、
前記画像情報に含まれる単語のうちで前記特定された単語以外の単語を抽出する際に、
前記画像情報に含まれる単語のうちで前記特定された単語以外の単語の領域を指定し、
該指定された領域と前記画像情報の端とが重ならない場合にその単語を前記画像情報に含まれる単語として抽出することを特徴とする情報処理方法。
【請求項３５】
英単語の翻訳を要求する翻訳要求データを受信し、
該受信した翻訳要求データに含まれる翻訳対象となる単語及び翻訳対象以外の単語とから当該単語情報の意味を、予め記憶された、第１の単語と第２の単語との組み合わせに応じて該第１の単語の意味を決定するための統計データが含まれるデータベースから抽出し、
該抽出した意味を該データベースに基づいて並び替え、該並び替えられた意味を表示するための翻訳表示順序データを送信することを特徴とする情報処理方法。
【請求項３６】
他の装置と通信する通信部と、画像情報を出力する撮像部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部とを有した情報処理装置を実行させるソフトウェアにおいて、
該認識部により認識された識別情報に関連した関連情報の取得が指示された場合に該関連情報を該通信部を介して取得し表示するように該情報処理装置を実行させることを特徴とするソフトウェア。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２００８−１６０８５２（Ｐ２００８−１６０８５２Ａ）
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願番号】特願２００７−３３５６０２（Ｐ２００７−３３５６０２）
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【分割の表示】特願２００３−１９４００７（Ｐ２００３−１９４００７）の分割
【原出願日】平成１５年７月９日（２００３．７．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【分割の表示】特願２００３−１９４００７（Ｐ２００３−１９４００７）の分割
【原出願日】平成１５年７月９日（２００３．７．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]