携帯端末、文字読取方法および文字読取プログラム
【課題】 連続する単語や文字列を撮影して容易に読み取る。
【解決手段】 文字列切り出し部２０は、画像撮像装置１０から画像データから文字列の画像を切り出す。文字認識部３０は、切り出された文字列の画像を認識し、該文字列に対応する文字コード列を取得する。文字列追尾部４０は、上記文字コード列を追尾対象文字列とし、該追尾対象文字列が撮影可能範囲の外に出そうになると、マーカ文字列を随時更新しながら最終的に入力文字列とする追尾対象文字列またはマーカー文字列を追尾する。表示部５０は、追尾対象文字列を強調表示するとともに、追尾対象文字列が画像撮像装置１０の撮影可能範囲から外に出そうになると、その方向を示す矢印を表示する。
【解決手段】 文字列切り出し部２０は、画像撮像装置１０から画像データから文字列の画像を切り出す。文字認識部３０は、切り出された文字列の画像を認識し、該文字列に対応する文字コード列を取得する。文字列追尾部４０は、上記文字コード列を追尾対象文字列とし、該追尾対象文字列が撮影可能範囲の外に出そうになると、マーカ文字列を随時更新しながら最終的に入力文字列とする追尾対象文字列またはマーカー文字列を追尾する。表示部５０は、追尾対象文字列を強調表示するとともに、追尾対象文字列が画像撮像装置１０の撮影可能範囲から外に出そうになると、その方向を示す矢印を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話機やＰＨＳ（Personal Handyphone System）や携帯情報端末などの携帯端末に係わり、特に、カメラを搭載し撮影機能を備えた携帯端末、文字認識方法および文字認識プログラムに関する。
【背景技術】
【０００２】
近年、携帯電話やＰＨＳなどの携帯端末においては、電子メールを作成し送信したり、インターネットを利用するためにＵＲＬ（Uniform Resource Locator）を入力したり、インターネット上の検索サイトを利用するためにキーワードを入力したりすることが広まり、携帯端末に文字データを入力する機会が増えている。しかし、携帯端末は、小型であるため、少数のキーしか搭載できず、ＰＣ（Personal Computer）で広く用いられている文字を入力するのに適したＱｗｅｒｔｙ配列のキーボードを搭載するのが困難である。
【０００３】
そこで携帯端末では、１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させるというのが一般的である。しかしながら、上記のような１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させる携帯端末では、文字を入力するのに多くのキー押下が必要になり、操作が煩雑で、時間がかかる。そこで、従来技術では、画像撮像装置を利用して撮影した文字の画像を利用し、それに対応する文字コードを取得することによって入力する技術が提案されている（例えば特許文献１参照）。
【特許文献１】特開２００２−１１１８４１公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、撮像装置を搭載した携帯端末で文字を撮影するには、携帯端末を文字にかなり近づけなければならず、わずかな携帯端末の動きでも撮影に大きく影響する。特に、連続して文字を入力したいときは、１つの文字を撮影した後、携帯端末を動かさなければならないので、直前まで撮影していた文字を容易に見失ってしまうという問題がある。
【０００５】
そこで本発明は、直前に撮影し入力した文字を追尾することによって、連続する単語や文字列を撮影して容易に読み取ることができる携帯端末、文字読取方法および文字読取プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による携帯端末は、文章を撮影する画像撮像手段と、前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段とを具備することを特徴とする。
【０００７】
また、好ましい態様として、例えば請求項２記載のように、請求項１記載の携帯端末において、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしてもよい。
【０００８】
また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の携帯端末において、前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備するようにしてもよい。
【０００９】
また、好ましい態様として、例えば請求項４記載のように、請求項１ないし３のいずれかに記載の携帯端末において、前記画像撮像手段は、所定の時間間隔で文章を連続撮影するようにしてもよい。
【００１０】
また、好ましい態様として、例えば請求項５記載のように、請求項１ないし４のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示するようにしてもよい。
【００１１】
また、好ましい態様として、例えば請求項６記載のように、請求項１ないし５のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００１２】
また、好ましい態様として、例えば請求項７記載のように、請求項１ないし５のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００１３】
また、好ましい態様として、例えば請求項８記載のように、請求項５記載の携帯端末において、前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するようにしてもよい。
【００１４】
また、好ましい態様として、例えば請求項９記載のように、請求項８記載の携帯端末において、前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識するようにしてもよい。
【００１５】
また、好ましい態様として、例えば請求項１０記載のように、請求項８または９記載の携帯端末において、前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するようにしてもよい。
【００１６】
また、好ましい態様として、例えば請求項１１記載のように、請求項１０記載の携帯端末において、前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示するようにしてもよい。
【００１７】
また、好ましい態様として、例えば請求項１２記載のように、請求項８ないし１１のいずれかに記載の携帯端末において、前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしてもよい。
【００１８】
また、上記目的達成のため、請求項１３記載の発明による文字読取方法は、撮像部を備える携帯端末の文字読取方法において、前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする。
【００１９】
また、好ましい態様として、例えば請求項１４記載のように、請求項１３記載の文字読取方法において、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしてもよい。
【００２０】
また、好ましい態様として、例えば請求項１５記載のように、請求項１３または１４に記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するようにしてもよい。
【００２１】
また、好ましい態様として、例えば請求項１６記載のように、請求項１３ないし１５のいずれかに記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００２２】
また、好ましい態様として、例えば請求項１７記載のように、請求項１３ないし１５のいずれかに記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００２３】
また、好ましい態様として、例えば請求項１８記載のように、請求項１３ないし１７のいずれかに記載の文字読取方法において、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識するようにしてもよい。
【００２４】
また、好ましい態様として、例えば請求項１９記載のように、請求項１３ないし１８のいずれかに記載の文字読取方法において、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしてもよい。
【００２５】
また、上記目的達成のため、請求項２０記載の発明による文字読取プログラムは、撮像部を備える携帯端末による文字読取プログラムにおいて、前記撮影部により文章を撮影するステップと、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップとをコンピュータに実行させることを特徴とする。
【００２６】
また、好ましい態様として、例えば請求項２１記載のように、請求項２０記載の文字読取プログラムにおいて、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させるようにしてもよい。
【００２７】
また、好ましい態様として、例えば請求項２２記載のように、請求項２０または２１に記載の文字読取プログラムにおいて、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップとをさらにコンピュータに実行させるようにしてもよい。
【発明の効果】
【００２８】
請求項１記載の発明によれば、文字列切り出し手段により、画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出し、文字認識手段により、切り出した画像に含まれる文字列を認識して該文字列の文字コード列を取得し、文字列追尾手段により、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００２９】
また、請求項２記載の発明によれば、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３０】
また、請求項３記載の発明によれば、前記画像撮像手段により撮影された文章の画像を表示手段に表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３１】
また、請求項４記載の発明によれば、前記画像撮像手段により、所定の時間間隔で文章を連続撮影するようにしたので、連続した撮影において随時、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３２】
また、請求項５記載によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段により、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３３】
また、請求項６記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３４】
また、請求項７記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３５】
また、請求項８記載の発明によれば、前記文字列追尾手段により、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３６】
また、請求項９記載の発明によれば、前記文字列追尾手段により、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３７】
また、請求項１０記載の発明によれば、前記文字列追尾手段により、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３８】
また、請求項１１記載によれば、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に前記表示手段に表示するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３９】
また、請求項１２記載の発明によれば、前記文字列追尾手段により、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４０】
また、請求項１３記載によれば、前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４１】
また、請求項１４記載の発明によれば、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４２】
また、請求項１５記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４３】
また、請求項１６記載によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４４】
また、請求項１７記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４５】
また、請求項１８記載の発明によれば、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４６】
また、請求項１９記載によれば、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４７】
また、請求項２０記載の発明によれば、前記撮影部により文章を撮影するステップと、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップとをコンピュータに実行させるようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４８】
また、請求項２１記載によれば、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させるようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４９】
また、請求項２２記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップとをさらにコンピュータに実行させるようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【発明を実施するための最良の形態】
【００５０】
以下、本発明の実施の形態を、図面を参照して説明する。なお、以下では、英文が記述された文章を読み取る場合について説明する。本実施形態による携帯端末は、単語毎に文字列を読み取るものとする。
【００５１】
Ａ．実施形態の構成
図１は、本発明の実施形態による携帯端末の略構成を示すブロック図である。図において、携帯端末は、画像撮像装置１０、文字列切り出し部２０、文字認識部３０、文字列追尾部４０および表示部５０を備えている。画像撮像装置１０は、文章の画像を撮影する。文字列切り出し部２０は、画像撮像装置１０から画像データを受け取り、そのデータから文字列の画像を切り出し、その文字列の画像が画像撮像装置１０から受け取った画像データのどこに位置するかを示す文字列画像位置情報や文字列の画像サイズを示す画像サイズ情報を取得する。文字認識部３０は、文字列切り出し部２０から受け取った文字列の画像とその文字列画像位置情報とからその文字列に対応する文字コード列を取得する。
【００５２】
文字列追尾部４０は、文字認識部３０から受け取った２つの文字列の文字コードや文字列画像位置情報、画像サイズ情報などを比較し、同じかどうか判定し、同じか、もしくは部分的に同じであれば、最終的に入力文字列とする追尾対象文字列または該追尾対象文字列を追尾するためのマーカー文字列として認識する。また、文字列追尾部４０は、文字列画像位置情報および画像サイズ情報に従って、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出たか、または撮影可能範囲から外に出る可能性があるかを判定し、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出た場合または撮影可能範囲から外に出ることが予想される場合に、文字列切り出し部２０に対して、その追尾対象文字列またはマーカー文字列に隣接し、かつ画像撮像装置１０の撮影可能範囲にある文字列を切り出すように命令を出す。表示部５０は、画像撮像装置１０から受け取った画像データを表示し、文字列追尾部４０から追尾対象文字列の文字列画像位置情報を受け取った場合に、その文字列画像を強調表示し、文字列追尾部４０から追尾対象文字列の有る方向の情報を受け取った場合に、その方向を示す。
【００５３】
なお、図１に示す文字列切り出し部２０、文字認識部３０および文字列追尾部４０は、ＣＰＵのソフトウェアとして実現されてもよい。
【００５４】
Ｂ．実施形態の動作
次に、上述した実施形態の動作について図を参照して説明する。ここで、図２および図３は、本実施形態による携帯端末の動作を示すフローチャートである。端末使用者が文章を画像撮像装置１０で写すと（ステップＳ１０）、画像撮像装置１０は、文字列切り出し部２０と表示部５０にその画像データを転送する。表示部５０は、その画像データを表示する（ステップＳ１０）。文字列切り出し部２０は、単語の画像を切り出し（ステップＳ１２）、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。
【００５５】
文字認識部３０は、単語の画像から文字列を認識し（ステップＳ１４）、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。文字列追尾部４０は、文字コード列と文字列画像位置情報とを受け取ると、それらを記憶し、前に受け取った文字コード列と文字列画像位置情報との有無を調べる（ステップＳ１６）。そして、前に受け取った文字コード列と文字列画像位置情報とが無い場合には、ステップＳ１０に戻り、上述した処理を繰り返す。
【００５６】
一方、前に受け取った文字コード列と文字列画像位置情報とが有る場合には、前に受け取った文字コード列と、今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じか調べる（ステップＳ１８）。そして、同じでなければ、ステップＳ１０に戻り、上述した処理を繰り返す。一方、全部、若しくは、一部が同じなら、その単語を追尾対象文字列として認識し、その追尾対象文字列の文字列画像位置情報および画像サイズ情報に従って、その画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ２０）。そして、撮影可能な領域の外に出ていなければ、その追尾対象文字列を強調表示し（ステップＳ２２）、ステップＳ１０に戻り、上述した処理を繰り返す。
【００５７】
一方、追尾対象文字列の画像データが画像撮像装置１０の撮影可能な領域外に出ていれば、文字切り出し部２０に追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように命令を出す。文字切り出し部２０は、追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する（ステップＳ２４）。文字列追尾部４０は、追尾対象文字列の隣の単語の文字コード列とその文字列画像位置情報とをマーカー文字列の情報と認識して記憶し、マーカー文字列追尾処理に移行する（ステップＳ２６）。
【００５８】
文字列追尾部４０は、図３に示すマーカー文字列追尾処理に移行する際、そのマーカー文字列が追尾対象文字列の上下に何行ずれた位置にあるか、若しくは、横に何単語ずれた位置にあるかを記憶する。マーカー文字列が追尾対象文字列から下にｘ単語、右にｙ行ずれた位置にある場合の位置情報をマーカー文字列位置情報Ｐ（ｘ、ｙ）と表す。本実施形態では、マーカー文字列が追尾対象文字列に対してどちらの方向に位置するかをグラフィカルに示すために、その方向を示す矢印を表示する。そこで、マーカー文字列位置情報Ｐ（ｘ、ｙ）のｘ、ｙの値の組み合わせに応じて取り得る、マーカー文字列の追尾対象文字列に対する方向について、予め矢印（マーク）を、図４に示すように、テーブル化して記憶している。その後、Ｐ（ｘ、ｙ）から追尾対象文字列がどの方向にあるか調べ、図４に示すテーブルからその方向を向いている矢印を取得して表示部５０に表示し（ステップＳ３０）、画像撮像装置１０に文字列を撮影し、処理を続けることを命令する（ステップＳ３２）。
【００５９】
画像撮像装置１０は、文字列を撮影し、その画像データを文字列切り出し部２０に転送する。文字列切り出し部２０は、マーカー文字列の文字列画像位置情報が示す位置付近にある文字列を切り出し、その画像データとその文字列画像位置情報とを文字認識部３０に転送する（ステップＳ３４）。文字認識部３０は、受け取った文字列の画像データを認識し、対応する文字コード列を取得し（ステップＳ３６）、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。
【００６０】
文字列追尾部４０は、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じかどうか調べる（ステップＳ３８）。そして、同じでなければ、文字列追尾部４０は、追尾対象文字列の文字コード列と文字列画像位置情報、及び、マーカー文字列の文字コード列と文字列画像位置情報を廃棄し、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。
【００６１】
一方、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とが同じであれば、文字列追尾部４０は、文字列切り出し部２０に、マーカー文字列に隣接し、追尾対象文字列がある方向に存在する文字列を切り出すように命令を出し、文字列切り出し部２０にその文字列を切り出させ（ステップＳ４０）、文字列の画像データが切り出すことができたか否かを判断する（ステップＳ４２）。そして、文字列切り出し部２０がその文字列を切り出すことができなければ、マーカー文字列をそのままとし、次の処理（ステップＳ４６）に進む。
【００６２】
一方、文字列切り出し部２０がその文字列を切り出すことができれば、その画像データとその文字列画像位置情報とを文字認識部３０に転送し、文字認識部３０は受け取った文字列の画像データから対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送し、文字列追尾部４０は受け取った文字コード列と文字列画像位置情報から、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ４４）。
【００６３】
文字列追尾部４０は、マーカー文字列の更新の有無にかかわらず、そのマーカー文字列の文字列画像位置情報および画像サイズ情報に従って、マーカー文字列の画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ４６）。そして、撮影可能な領域の外に出ていなければ、ステップＳ３０に戻り、上述した処理を繰り返す。
【００６４】
一方、マーカー文字列の画像データが撮影可能な領域の外に出ていれば、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語の認識を行う（ステップＳ４８）。すなわち、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように、文字切り出し部２０に命令を出す。文字切り出し部２０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。
【００６５】
文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する。文字列追尾部４０は、受け取った文字コード列と文字列画像位置情報とから、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ５０）。
【００６６】
次に、そのマーカー文字列が追尾対象文字列であるか判断する（ステップＳ５２）。すなわち、文字列追尾部４０は、Ｐ（ｘ、ｙ）がｘ＝０、かつ、ｙ＝０ならば、そのマーカー文字列を追尾対象文字列とし、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。これに対して、Ｐ（ｘ、ｙ）において、ｘが０でないか、または、ｙが０でなければ、マーカー文字列追尾処理のステップＳ３０に戻り、マーカー文字列の追尾を継続する。
【００６７】
次に、上述した本実施形態の携帯端末の動作例を、図５を参照して説明する。英文を撮影すると、画像の中央付近にある文字「Hitachi」が追尾対象文字列として認識され、枠Ｂ１で囲まれて強調表示される（図５（ａ））。その後、手ぶれ等で端末が左に動き、追尾対象文字列「Hitachi」が撮影範囲外に出そうになった場合、「Hitachi」の隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この状態において、追尾対象文字列の在る方向は右なので、「are」に隣接し、右にある文字列「Hita」が認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（０、０）となる。
【００６８】
したがって、「Hita」は追尾対象文字列と認識され、枠Ｂ２で囲まれて強調表示される（図５（ｃ））。しかし、「Hita」は撮影範囲外に出そうであるので、隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この場合、図５（ｂ）と図５（ｃ）の動作が繰り返される。
【００６９】
さらに、手ぶれ等によって端末が左下に動いた場合、マーカー文字列「are」が撮影範囲外に出そうになるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とする。この場合、「Inspire」は下に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、１）となり、追尾対象文字列が在る方向が矢印Ａ２で示される（図５（ｄ））。
【００７０】
次に、マーカー文字列に隣接し、追尾対象文字列が在る方向に存在する文字を認識する。この場合、「are」なので、それを新たなマーカー文字列として更新し、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、０）とする（図５（ｅ））。しかし、マーカー文字列「are」が撮影範囲外に出そうであるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とし、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、１）とする（図５（ｄ））。以降、端末が動くまで図５（ｄ）と図５（ｅ）の動作が繰り返される。
【００７１】
次に、ユーザが追尾対象文字列を探すために、図５（ｅ）の状態から端末を右に動かす。これにより、追尾対象文字列が在る方向に存在し、マーカー文字列に隣接する文字列「the」を認識する。認識した文字列「the」はマーカー文字列の右に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（０、１）とし、認識した文字列「the」を新たなマーカー文字列とする（図４（ｆ））。このとき、追尾対象文字列が在る方向に隣接する文字列は撮影範囲内に無いので、「the」がマーカー文字列のままになり、追尾対象文字列が在る方向が矢印Ａ３で示される。
【００７２】
さらに、追尾対象文字列の在る方向は上を指しているので、ユーザは端末を上に動かす。追尾対象文字列の在る方向に存在し、マーカー文字列に隣接する文字列を認識すると、「Hi」が認識できる。この文字列「Hi」はマーカー文字列の上に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）を更新し、Ｐ（０、０）とする。Ｐ（０、０）となったので、この文字列「Hi」を追尾対象文字列とし、枠Ｂ３で囲んで強調表示する（図５（ｇ））。
【００７３】
以降、上述したように、手ぶれなどにより端末を大きく動かしてしまい、表示部５０に表示される直前に撮影していた単語や文字列（追尾対象文字列）が移動してしまっても、リアルタイムで、追尾対象文字列を強調表示するとともに、該追尾対象文字列の近傍の文字列をマーカー文字列として認識し、該マーカー文字列と追尾対象文字列との位置関係から、追尾対象文字列が存在する方向をグラフィカルな矢印で示すという動作を繰り返すようにしたので、直前に撮影していた単語や文字列（追尾対象文字列）を容易に探し出すことができる。
【００７４】
なお、上述した実施形態において、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の文字列画像位置情報を比較し、２つの単語の文字列画像位置の横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の文字列画像位置の縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。
【００７５】
また、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の画像サイズを比較し、２つの単語の画像サイズの横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の画像サイズの縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。
【００７６】
また、文字列追尾部４０が２つの単語の比較を行う際、上記２つの単語の文字列画像位置情報を比較するとともに、上記２つの単語の画像サイズを比較し、これら２種類の比較において両方とも同じ単語と判定できた場合に、同じ単語と判定するようにしても良い。
【００７７】
また、本実施形態においては、文字列切り出し部２０は、英文を前提にして単語を切り出すとしたが、日本語のように単語の切り出しが困難な言語の場合は、漢字とひらがなのように、複雑な文字と単純な文字との境目を区切りとして切り出しても良い。
【００７８】
上述した実施形態によれば、画像撮像装置１０で文字を撮影する際、直前に撮影していた単語や文字列を容易に認知することができる。すなわち、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、表示部５０に表示される直前に撮影していた単語や文字列のある方向を示す印によって、直前に撮影していた単語や文字列を容易に探し出すことができる。
【図面の簡単な説明】
【００７９】
【図１】この発明の実施の形態に係る携帯端末の構成を示すブロック図である。
【図２】この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。
【図３】この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。
【図４】マーカー文字列位置情報Ｐ（ｘ、ｙ）値に応じて表示部に表示する矢印の例を示す概念図である。
【図５】この発明の実施の形態に係る携帯端末の動作例を示す模式図である。
【符号の説明】
【００８０】
１０ 画像撮像装置（画像撮像手段）
２０ 文字列切り出し部（文字列切り出し手段）
３０ 文字認識部（文字認識手段）
４０ 文字列追尾部（文字列追尾手段）
５０ 表示部（表示手段）
【技術分野】
【０００１】
本発明は、携帯電話機やＰＨＳ（Personal Handyphone System）や携帯情報端末などの携帯端末に係わり、特に、カメラを搭載し撮影機能を備えた携帯端末、文字認識方法および文字認識プログラムに関する。
【背景技術】
【０００２】
近年、携帯電話やＰＨＳなどの携帯端末においては、電子メールを作成し送信したり、インターネットを利用するためにＵＲＬ（Uniform Resource Locator）を入力したり、インターネット上の検索サイトを利用するためにキーワードを入力したりすることが広まり、携帯端末に文字データを入力する機会が増えている。しかし、携帯端末は、小型であるため、少数のキーしか搭載できず、ＰＣ（Personal Computer）で広く用いられている文字を入力するのに適したＱｗｅｒｔｙ配列のキーボードを搭載するのが困難である。
【０００３】
そこで携帯端末では、１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させるというのが一般的である。しかしながら、上記のような１つのキーに複数の文字を割り当て、キーを押下した回数によって入力する文字を変化させる携帯端末では、文字を入力するのに多くのキー押下が必要になり、操作が煩雑で、時間がかかる。そこで、従来技術では、画像撮像装置を利用して撮影した文字の画像を利用し、それに対応する文字コードを取得することによって入力する技術が提案されている（例えば特許文献１参照）。
【特許文献１】特開２００２−１１１８４１公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、撮像装置を搭載した携帯端末で文字を撮影するには、携帯端末を文字にかなり近づけなければならず、わずかな携帯端末の動きでも撮影に大きく影響する。特に、連続して文字を入力したいときは、１つの文字を撮影した後、携帯端末を動かさなければならないので、直前まで撮影していた文字を容易に見失ってしまうという問題がある。
【０００５】
そこで本発明は、直前に撮影し入力した文字を追尾することによって、連続する単語や文字列を撮影して容易に読み取ることができる携帯端末、文字読取方法および文字読取プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による携帯端末は、文章を撮影する画像撮像手段と、前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段とを具備することを特徴とする。
【０００７】
また、好ましい態様として、例えば請求項２記載のように、請求項１記載の携帯端末において、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしてもよい。
【０００８】
また、好ましい態様として、例えば請求項３記載のように、請求項１または２に記載の携帯端末において、前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備するようにしてもよい。
【０００９】
また、好ましい態様として、例えば請求項４記載のように、請求項１ないし３のいずれかに記載の携帯端末において、前記画像撮像手段は、所定の時間間隔で文章を連続撮影するようにしてもよい。
【００１０】
また、好ましい態様として、例えば請求項５記載のように、請求項１ないし４のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示するようにしてもよい。
【００１１】
また、好ましい態様として、例えば請求項６記載のように、請求項１ないし５のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００１２】
また、好ましい態様として、例えば請求項７記載のように、請求項１ないし５のいずれかに記載の携帯端末において、前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００１３】
また、好ましい態様として、例えば請求項８記載のように、請求項５記載の携帯端末において、前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するようにしてもよい。
【００１４】
また、好ましい態様として、例えば請求項９記載のように、請求項８記載の携帯端末において、前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識するようにしてもよい。
【００１５】
また、好ましい態様として、例えば請求項１０記載のように、請求項８または９記載の携帯端末において、前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するようにしてもよい。
【００１６】
また、好ましい態様として、例えば請求項１１記載のように、請求項１０記載の携帯端末において、前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示するようにしてもよい。
【００１７】
また、好ましい態様として、例えば請求項１２記載のように、請求項８ないし１１のいずれかに記載の携帯端末において、前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしてもよい。
【００１８】
また、上記目的達成のため、請求項１３記載の発明による文字読取方法は、撮像部を備える携帯端末の文字読取方法において、前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする。
【００１９】
また、好ましい態様として、例えば請求項１４記載のように、請求項１３記載の文字読取方法において、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしてもよい。
【００２０】
また、好ましい態様として、例えば請求項１５記載のように、請求項１３または１４に記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するようにしてもよい。
【００２１】
また、好ましい態様として、例えば請求項１６記載のように、請求項１３ないし１５のいずれかに記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００２２】
また、好ましい態様として、例えば請求項１７記載のように、請求項１３ないし１５のいずれかに記載の文字読取方法において、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしてもよい。
【００２３】
また、好ましい態様として、例えば請求項１８記載のように、請求項１３ないし１７のいずれかに記載の文字読取方法において、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識するようにしてもよい。
【００２４】
また、好ましい態様として、例えば請求項１９記載のように、請求項１３ないし１８のいずれかに記載の文字読取方法において、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしてもよい。
【００２５】
また、上記目的達成のため、請求項２０記載の発明による文字読取プログラムは、撮像部を備える携帯端末による文字読取プログラムにおいて、前記撮影部により文章を撮影するステップと、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップとをコンピュータに実行させることを特徴とする。
【００２６】
また、好ましい態様として、例えば請求項２１記載のように、請求項２０記載の文字読取プログラムにおいて、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させるようにしてもよい。
【００２７】
また、好ましい態様として、例えば請求項２２記載のように、請求項２０または２１に記載の文字読取プログラムにおいて、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップとをさらにコンピュータに実行させるようにしてもよい。
【発明の効果】
【００２８】
請求項１記載の発明によれば、文字列切り出し手段により、画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出し、文字認識手段により、切り出した画像に含まれる文字列を認識して該文字列の文字コード列を取得し、文字列追尾手段により、前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００２９】
また、請求項２記載の発明によれば、前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３０】
また、請求項３記載の発明によれば、前記画像撮像手段により撮影された文章の画像を表示手段に表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３１】
また、請求項４記載の発明によれば、前記画像撮像手段により、所定の時間間隔で文章を連続撮影するようにしたので、連続した撮影において随時、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３２】
また、請求項５記載によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列追尾手段により、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３３】
また、請求項６記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３４】
また、請求項７記載の発明によれば、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列切り出し手段により、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、前記文字列追尾手段により、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３５】
また、請求項８記載の発明によれば、前記文字列追尾手段により、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３６】
また、請求項９記載の発明によれば、前記文字列追尾手段により、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３７】
また、請求項１０記載の発明によれば、前記文字列追尾手段により、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３８】
また、請求項１１記載によれば、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に前記表示手段に表示するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００３９】
また、請求項１２記載の発明によれば、前記文字列追尾手段により、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４０】
また、請求項１３記載によれば、前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４１】
また、請求項１４記載の発明によれば、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４２】
また、請求項１５記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４３】
また、請求項１６記載によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４４】
また、請求項１７記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定するようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４５】
また、請求項１８記載の発明によれば、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識するようにしたので、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４６】
また、請求項１９記載によれば、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定するようにしたので、マーカー文字列を随時更新することで、追尾対象文字列を随時追跡することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４７】
また、請求項２０記載の発明によれば、前記撮影部により文章を撮影するステップと、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップとをコンピュータに実行させるようにしたので、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４８】
また、請求項２１記載によれば、前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させるようにしたので、直前に撮影していた単語や文字列を容易に認知することができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【００４９】
また、請求項２２記載の発明によれば、前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップとをさらにコンピュータに実行させるようにしたので、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、直前に撮影していた単語や文字列を容易に探し出すことができ、撮影した連続する単語や文字列の中から特定の文字列を容易に読み取ることができるという利点が得られる。
【発明を実施するための最良の形態】
【００５０】
以下、本発明の実施の形態を、図面を参照して説明する。なお、以下では、英文が記述された文章を読み取る場合について説明する。本実施形態による携帯端末は、単語毎に文字列を読み取るものとする。
【００５１】
Ａ．実施形態の構成
図１は、本発明の実施形態による携帯端末の略構成を示すブロック図である。図において、携帯端末は、画像撮像装置１０、文字列切り出し部２０、文字認識部３０、文字列追尾部４０および表示部５０を備えている。画像撮像装置１０は、文章の画像を撮影する。文字列切り出し部２０は、画像撮像装置１０から画像データを受け取り、そのデータから文字列の画像を切り出し、その文字列の画像が画像撮像装置１０から受け取った画像データのどこに位置するかを示す文字列画像位置情報や文字列の画像サイズを示す画像サイズ情報を取得する。文字認識部３０は、文字列切り出し部２０から受け取った文字列の画像とその文字列画像位置情報とからその文字列に対応する文字コード列を取得する。
【００５２】
文字列追尾部４０は、文字認識部３０から受け取った２つの文字列の文字コードや文字列画像位置情報、画像サイズ情報などを比較し、同じかどうか判定し、同じか、もしくは部分的に同じであれば、最終的に入力文字列とする追尾対象文字列または該追尾対象文字列を追尾するためのマーカー文字列として認識する。また、文字列追尾部４０は、文字列画像位置情報および画像サイズ情報に従って、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出たか、または撮影可能範囲から外に出る可能性があるかを判定し、追尾対象文字列またはマーカー文字列が画像撮像装置１０の撮影可能範囲から外に出た場合または撮影可能範囲から外に出ることが予想される場合に、文字列切り出し部２０に対して、その追尾対象文字列またはマーカー文字列に隣接し、かつ画像撮像装置１０の撮影可能範囲にある文字列を切り出すように命令を出す。表示部５０は、画像撮像装置１０から受け取った画像データを表示し、文字列追尾部４０から追尾対象文字列の文字列画像位置情報を受け取った場合に、その文字列画像を強調表示し、文字列追尾部４０から追尾対象文字列の有る方向の情報を受け取った場合に、その方向を示す。
【００５３】
なお、図１に示す文字列切り出し部２０、文字認識部３０および文字列追尾部４０は、ＣＰＵのソフトウェアとして実現されてもよい。
【００５４】
Ｂ．実施形態の動作
次に、上述した実施形態の動作について図を参照して説明する。ここで、図２および図３は、本実施形態による携帯端末の動作を示すフローチャートである。端末使用者が文章を画像撮像装置１０で写すと（ステップＳ１０）、画像撮像装置１０は、文字列切り出し部２０と表示部５０にその画像データを転送する。表示部５０は、その画像データを表示する（ステップＳ１０）。文字列切り出し部２０は、単語の画像を切り出し（ステップＳ１２）、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。
【００５５】
文字認識部３０は、単語の画像から文字列を認識し（ステップＳ１４）、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。文字列追尾部４０は、文字コード列と文字列画像位置情報とを受け取ると、それらを記憶し、前に受け取った文字コード列と文字列画像位置情報との有無を調べる（ステップＳ１６）。そして、前に受け取った文字コード列と文字列画像位置情報とが無い場合には、ステップＳ１０に戻り、上述した処理を繰り返す。
【００５６】
一方、前に受け取った文字コード列と文字列画像位置情報とが有る場合には、前に受け取った文字コード列と、今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じか調べる（ステップＳ１８）。そして、同じでなければ、ステップＳ１０に戻り、上述した処理を繰り返す。一方、全部、若しくは、一部が同じなら、その単語を追尾対象文字列として認識し、その追尾対象文字列の文字列画像位置情報および画像サイズ情報に従って、その画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ２０）。そして、撮影可能な領域の外に出ていなければ、その追尾対象文字列を強調表示し（ステップＳ２２）、ステップＳ１０に戻り、上述した処理を繰り返す。
【００５７】
一方、追尾対象文字列の画像データが画像撮像装置１０の撮影可能な領域外に出ていれば、文字切り出し部２０に追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように命令を出す。文字切り出し部２０は、追尾対象文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する（ステップＳ２４）。文字列追尾部４０は、追尾対象文字列の隣の単語の文字コード列とその文字列画像位置情報とをマーカー文字列の情報と認識して記憶し、マーカー文字列追尾処理に移行する（ステップＳ２６）。
【００５８】
文字列追尾部４０は、図３に示すマーカー文字列追尾処理に移行する際、そのマーカー文字列が追尾対象文字列の上下に何行ずれた位置にあるか、若しくは、横に何単語ずれた位置にあるかを記憶する。マーカー文字列が追尾対象文字列から下にｘ単語、右にｙ行ずれた位置にある場合の位置情報をマーカー文字列位置情報Ｐ（ｘ、ｙ）と表す。本実施形態では、マーカー文字列が追尾対象文字列に対してどちらの方向に位置するかをグラフィカルに示すために、その方向を示す矢印を表示する。そこで、マーカー文字列位置情報Ｐ（ｘ、ｙ）のｘ、ｙの値の組み合わせに応じて取り得る、マーカー文字列の追尾対象文字列に対する方向について、予め矢印（マーク）を、図４に示すように、テーブル化して記憶している。その後、Ｐ（ｘ、ｙ）から追尾対象文字列がどの方向にあるか調べ、図４に示すテーブルからその方向を向いている矢印を取得して表示部５０に表示し（ステップＳ３０）、画像撮像装置１０に文字列を撮影し、処理を続けることを命令する（ステップＳ３２）。
【００５９】
画像撮像装置１０は、文字列を撮影し、その画像データを文字列切り出し部２０に転送する。文字列切り出し部２０は、マーカー文字列の文字列画像位置情報が示す位置付近にある文字列を切り出し、その画像データとその文字列画像位置情報とを文字認識部３０に転送する（ステップＳ３４）。文字認識部３０は、受け取った文字列の画像データを認識し、対応する文字コード列を取得し（ステップＳ３６）、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送する。
【００６０】
文字列追尾部４０は、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とを比較し、全部、若しくは、一部が同じかどうか調べる（ステップＳ３８）。そして、同じでなければ、文字列追尾部４０は、追尾対象文字列の文字コード列と文字列画像位置情報、及び、マーカー文字列の文字コード列と文字列画像位置情報を廃棄し、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。
【００６１】
一方、前に記憶したマーカー文字列の文字コード列と今回受け取った文字コード列とが同じであれば、文字列追尾部４０は、文字列切り出し部２０に、マーカー文字列に隣接し、追尾対象文字列がある方向に存在する文字列を切り出すように命令を出し、文字列切り出し部２０にその文字列を切り出させ（ステップＳ４０）、文字列の画像データが切り出すことができたか否かを判断する（ステップＳ４２）。そして、文字列切り出し部２０がその文字列を切り出すことができなければ、マーカー文字列をそのままとし、次の処理（ステップＳ４６）に進む。
【００６２】
一方、文字列切り出し部２０がその文字列を切り出すことができれば、その画像データとその文字列画像位置情報とを文字認識部３０に転送し、文字認識部３０は受け取った文字列の画像データから対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報とを転送し、文字列追尾部４０は受け取った文字コード列と文字列画像位置情報から、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ４４）。
【００６３】
文字列追尾部４０は、マーカー文字列の更新の有無にかかわらず、そのマーカー文字列の文字列画像位置情報および画像サイズ情報に従って、マーカー文字列の画像データが画像撮像装置１０の撮影可能な領域の外に出ているか調べる（ステップＳ４６）。そして、撮影可能な領域の外に出ていなければ、ステップＳ３０に戻り、上述した処理を繰り返す。
【００６４】
一方、マーカー文字列の画像データが撮影可能な領域の外に出ていれば、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語の認識を行う（ステップＳ４８）。すなわち、文字列追尾部４０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出すように、文字切り出し部２０に命令を出す。文字切り出し部２０は、マーカー文字列の隣にあり、かつ画像撮像装置１０の撮影可能な領域にある単語を切り出し、切り出した画像データとその文字列画像位置情報とを文字認識部３０に転送する。
【００６５】
文字認識部３０は、単語の画像から文字列を認識し、それに対応する文字コード列を取得し、文字列追尾部４０にその文字コード列と文字列画像位置情報を転送する。文字列追尾部４０は、受け取った文字コード列と文字列画像位置情報とから、その文字列がマーカー文字列に対してどの方向にあるか調べ、Ｐ（ｘ、ｙ）を更新し、その文字列を新たなマーカー文字列とする（ステップＳ５０）。
【００６６】
次に、そのマーカー文字列が追尾対象文字列であるか判断する（ステップＳ５２）。すなわち、文字列追尾部４０は、Ｐ（ｘ、ｙ）がｘ＝０、かつ、ｙ＝０ならば、そのマーカー文字列を追尾対象文字列とし、マーカー文字列追尾処理を終了し、図２のステップＳ１０に戻る。これに対して、Ｐ（ｘ、ｙ）において、ｘが０でないか、または、ｙが０でなければ、マーカー文字列追尾処理のステップＳ３０に戻り、マーカー文字列の追尾を継続する。
【００６７】
次に、上述した本実施形態の携帯端末の動作例を、図５を参照して説明する。英文を撮影すると、画像の中央付近にある文字「Hitachi」が追尾対象文字列として認識され、枠Ｂ１で囲まれて強調表示される（図５（ａ））。その後、手ぶれ等で端末が左に動き、追尾対象文字列「Hitachi」が撮影範囲外に出そうになった場合、「Hitachi」の隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この状態において、追尾対象文字列の在る方向は右なので、「are」に隣接し、右にある文字列「Hita」が認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（０、０）となる。
【００６８】
したがって、「Hita」は追尾対象文字列と認識され、枠Ｂ２で囲まれて強調表示される（図５（ｃ））。しかし、「Hita」は撮影範囲外に出そうであるので、隣にある単語「are」がマーカー文字列として認識され、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、０）となり、追尾対象文字列の在る方向が矢印Ａ１で示される（図５（ｂ））。この場合、図５（ｂ）と図５（ｃ）の動作が繰り返される。
【００６９】
さらに、手ぶれ等によって端末が左下に動いた場合、マーカー文字列「are」が撮影範囲外に出そうになるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とする。この場合、「Inspire」は下に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）はＰ（−１、１）となり、追尾対象文字列が在る方向が矢印Ａ２で示される（図５（ｄ））。
【００７０】
次に、マーカー文字列に隣接し、追尾対象文字列が在る方向に存在する文字を認識する。この場合、「are」なので、それを新たなマーカー文字列として更新し、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、０）とする（図５（ｅ））。しかし、マーカー文字列「are」が撮影範囲外に出そうであるので、撮影範囲内に有り、かつ隣接する文字列「Inspire」を新たなマーカー文字列とし、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（−１、１）とする（図５（ｄ））。以降、端末が動くまで図５（ｄ）と図５（ｅ）の動作が繰り返される。
【００７１】
次に、ユーザが追尾対象文字列を探すために、図５（ｅ）の状態から端末を右に動かす。これにより、追尾対象文字列が在る方向に存在し、マーカー文字列に隣接する文字列「the」を認識する。認識した文字列「the」はマーカー文字列の右に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）をＰ（０、１）とし、認識した文字列「the」を新たなマーカー文字列とする（図４（ｆ））。このとき、追尾対象文字列が在る方向に隣接する文字列は撮影範囲内に無いので、「the」がマーカー文字列のままになり、追尾対象文字列が在る方向が矢印Ａ３で示される。
【００７２】
さらに、追尾対象文字列の在る方向は上を指しているので、ユーザは端末を上に動かす。追尾対象文字列の在る方向に存在し、マーカー文字列に隣接する文字列を認識すると、「Hi」が認識できる。この文字列「Hi」はマーカー文字列の上に在るので、マーカー文字列位置情報Ｐ（ｘ、ｙ）を更新し、Ｐ（０、０）とする。Ｐ（０、０）となったので、この文字列「Hi」を追尾対象文字列とし、枠Ｂ３で囲んで強調表示する（図５（ｇ））。
【００７３】
以降、上述したように、手ぶれなどにより端末を大きく動かしてしまい、表示部５０に表示される直前に撮影していた単語や文字列（追尾対象文字列）が移動してしまっても、リアルタイムで、追尾対象文字列を強調表示するとともに、該追尾対象文字列の近傍の文字列をマーカー文字列として認識し、該マーカー文字列と追尾対象文字列との位置関係から、追尾対象文字列が存在する方向をグラフィカルな矢印で示すという動作を繰り返すようにしたので、直前に撮影していた単語や文字列（追尾対象文字列）を容易に探し出すことができる。
【００７４】
なお、上述した実施形態において、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の文字列画像位置情報を比較し、２つの単語の文字列画像位置の横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の文字列画像位置の縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。
【００７５】
また、文字列追尾部４０が２つの単語の比較を行う際、文字コード列の比較ではなく、２つの単語の画像サイズを比較し、２つの単語の画像サイズの横方向の差が一文字の横方向の大きさ以内であり、かつ、２つの単語の画像サイズの縦方向の差が一文字の縦方向の大きさ以内であれば、同じ単語と判定するようにしても良い。
【００７６】
また、文字列追尾部４０が２つの単語の比較を行う際、上記２つの単語の文字列画像位置情報を比較するとともに、上記２つの単語の画像サイズを比較し、これら２種類の比較において両方とも同じ単語と判定できた場合に、同じ単語と判定するようにしても良い。
【００７７】
また、本実施形態においては、文字列切り出し部２０は、英文を前提にして単語を切り出すとしたが、日本語のように単語の切り出しが困難な言語の場合は、漢字とひらがなのように、複雑な文字と単純な文字との境目を区切りとして切り出しても良い。
【００７８】
上述した実施形態によれば、画像撮像装置１０で文字を撮影する際、直前に撮影していた単語や文字列を容易に認知することができる。すなわち、手ぶれなどにより端末を大きく動かしてしまい、直前に撮影していた単語や文字列を見失ってしまっても、表示部５０に表示される直前に撮影していた単語や文字列のある方向を示す印によって、直前に撮影していた単語や文字列を容易に探し出すことができる。
【図面の簡単な説明】
【００７９】
【図１】この発明の実施の形態に係る携帯端末の構成を示すブロック図である。
【図２】この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。
【図３】この発明の実施の形態に係る携帯端末の動作を示すフローチャートである。
【図４】マーカー文字列位置情報Ｐ（ｘ、ｙ）値に応じて表示部に表示する矢印の例を示す概念図である。
【図５】この発明の実施の形態に係る携帯端末の動作例を示す模式図である。
【符号の説明】
【００８０】
１０ 画像撮像装置（画像撮像手段）
２０ 文字列切り出し部（文字列切り出し手段）
３０ 文字認識部（文字認識手段）
４０ 文字列追尾部（文字列追尾手段）
５０ 表示部（表示手段）
【特許請求の範囲】
【請求項１】
文章を撮影する画像撮像手段と、
前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、
前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、
前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段と
を具備することを特徴とする携帯端末。
【請求項２】
前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする請求項１記載の携帯端末。
【請求項３】
前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備することを特徴とする請求項１または２に記載の携帯端末。
【請求項４】
前記画像撮像手段は、所定の時間間隔で文章を連続撮影することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、
前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項７】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項８】
前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識することを特徴とする請求項５記載の携帯端末。
【請求項９】
前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識することを特徴とする請求項８記載の携帯端末。
【請求項１０】
前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得することを特徴とする請求項８または９記載の携帯端末。
【請求項１１】
前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１０記載の携帯端末。
【請求項１２】
前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項８ないし１１のいずれかに記載の携帯端末。
【請求項１３】
撮像部を備える携帯端末の文字読取方法において、
前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする文字読取方法。
【請求項１４】
前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示することを特徴とする請求項１３記載の文字入力方法。
【請求項１５】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１３または１４に記載の文字読取方法。
【請求項１６】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１３ないし１５のいずれかに記載の文字読取方法。
【請求項１７】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１３ないし１５のいずれかに記載の文字読取方法。
【請求項１８】
前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識することを特徴とする請求項１３ないし１７のいずれかに記載の文字読取方法。
【請求項１９】
前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項１３ないし１８のいずれかに記載の文字読取方法。
【請求項２０】
撮像部を備える携帯端末による文字読取プログラムにおいて、
前記撮影部により文章を撮影するステップと、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップと
をコンピュータに実行させることを特徴とする文字読取プログラム。
【請求項２１】
前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させることを特徴とする請求項２０記載の文字読取プログラム。
【請求項２２】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、
前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、
前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、
前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、
前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、
前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップと
をさらにコンピュータに実行させることを特徴とする請求項２０または２１に記載の文字読取プログラム。
【特許請求の範囲】
【請求項１】
文章を撮影する画像撮像手段と、
前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、
前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、
前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段と
を具備することを特徴とする携帯端末。
【請求項２】
前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする請求項１記載の携帯端末。
【請求項３】
前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備することを特徴とする請求項１または２に記載の携帯端末。
【請求項４】
前記画像撮像手段は、所定の時間間隔で文章を連続撮影することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、
前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項７】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項８】
前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識することを特徴とする請求項５記載の携帯端末。
【請求項９】
前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識することを特徴とする請求項８記載の携帯端末。
【請求項１０】
前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得することを特徴とする請求項８または９記載の携帯端末。
【請求項１１】
前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１０記載の携帯端末。
【請求項１２】
前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項８ないし１１のいずれかに記載の携帯端末。
【請求項１３】
撮像部を備える携帯端末の文字読取方法において、
前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする文字読取方法。
【請求項１４】
撮像部を備える携帯端末による文字読取プログラムにおいて、
前記撮影部により文章を撮影するステップと、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップと
をコンピュータに実行させることを特徴とする文字読取プログラム。
【請求項１】
文章を撮影する画像撮像手段と、
前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、
前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、
前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段と
を具備することを特徴とする携帯端末。
【請求項２】
前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする請求項１記載の携帯端末。
【請求項３】
前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備することを特徴とする請求項１または２に記載の携帯端末。
【請求項４】
前記画像撮像手段は、所定の時間間隔で文章を連続撮影することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、
前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項７】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項８】
前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識することを特徴とする請求項５記載の携帯端末。
【請求項９】
前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識することを特徴とする請求項８記載の携帯端末。
【請求項１０】
前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得することを特徴とする請求項８または９記載の携帯端末。
【請求項１１】
前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１０記載の携帯端末。
【請求項１２】
前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項８ないし１１のいずれかに記載の携帯端末。
【請求項１３】
撮像部を備える携帯端末の文字読取方法において、
前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする文字読取方法。
【請求項１４】
前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示することを特徴とする請求項１３記載の文字入力方法。
【請求項１５】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識し、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得し、前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１３または１４に記載の文字読取方法。
【請求項１６】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１３ないし１５のいずれかに記載の文字読取方法。
【請求項１７】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１３ないし１５のいずれかに記載の文字読取方法。
【請求項１８】
前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記撮像部の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出し、該切り出した文字列を次のマーカー文字列として認識することを特徴とする請求項１３ないし１７のいずれかに記載の文字読取方法。
【請求項１９】
前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出す際、その文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項１３ないし１８のいずれかに記載の文字読取方法。
【請求項２０】
撮像部を備える携帯端末による文字読取プログラムにおいて、
前記撮影部により文章を撮影するステップと、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップと
をコンピュータに実行させることを特徴とする文字読取プログラム。
【請求項２１】
前記撮影された文章の画像を表示する際、前記追尾対象文字列とされた文字列を、前記文章の画像上で強調表示するステップをさらにコンピュータに実行させることを特徴とする請求項２０記載の文字読取プログラム。
【請求項２２】
前記撮像部が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得するステップと、
前記文字列画像位置情報に基づいて前記追尾対象文字列が前記撮像部の撮影可能範囲外に在るか否かを判断するステップと、
前記追尾対象文字列が前記撮影可能範囲外に出ようとしている場合には、次回の撮影時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記撮影可能範囲内に在る文字列を切り出すステップと、
前記追尾対象文字列の近傍に在り、かつ前記撮影可能範囲内に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識するステップと、
前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得するステップと、
前記方向情報に基づいて前記追尾対象文字列が在る方向を認知可能に表示するステップと
をさらにコンピュータに実行させることを特徴とする請求項２０または２１に記載の文字読取プログラム。
【特許請求の範囲】
【請求項１】
文章を撮影する画像撮像手段と、
前記画像撮像手段により撮影された文章の画像から、少なくとも１つの文字列を含む画像を切り出す文字列切り出し手段と、
前記文字列切り出し手段が切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得する文字認識手段と、
前記文字認識手段によって取得された文字コード列と、直前に前記画像撮像手段によって撮像された文章の画像の切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とする文字列追尾手段と
を具備することを特徴とする携帯端末。
【請求項２】
前記文字列追尾手段により追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする請求項１記載の携帯端末。
【請求項３】
前記画像撮像手段により撮影された文章の画像を表示する際、前記文字列追尾手段により追尾対象文字列とされた文字列を、前記文章の画像上で強調表示する表示手段を具備することを特徴とする請求項１または２に記載の携帯端末。
【請求項４】
前記画像撮像手段は、所定の時間間隔で文章を連続撮影することを特徴とする請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、前記文字列の画像が前記画像撮像手段によって撮影された画像上のどこに位置するかを示す文字列画像位置情報を取得し、
前記文字列追尾手段は、前記文字列画像位置情報に基づいて前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記追尾対象文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示することを特徴とする請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、もしくは、略同一画像サイズであるか判断し、比較する文字列が略同一位置、もしくは、略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項７】
前記文字列切り出し手段は、前記画像撮像手段が撮影した画像から文字列の画像を切り出すとき、さらに、前記切り出した文字列の画像サイズを示す画像サイズ情報を取得し、
前記文字列追尾手段は、同じ文字列か判定する際、前記文字列画像位置情報と前記画像サイズ情報とに基づいて、文字列が略同一位置、かつ略同一画像サイズであるか判断し、比較する文字列が略同一位置、かつ略同一画像サイズであれば、同じ文字列であると判定することを特徴とする請求項１ないし５のいずれかに記載の携帯端末。
【請求項８】
前記文字列追尾手段は、前記文字列切り出し手段に対して、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示した結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記追尾対象文字列の近傍に在る文字列を、前記追尾対象文字列を追尾するためのマーカー文字列として認識することを特徴とする請求項５記載の携帯端末。
【請求項９】
前記文字列追尾手段は、前記識マーカー文字列の文字列画像位置情報に基づいて前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に在るか否かを判断し、前記マーカー文字列が前記画像撮像手段の撮影可能範囲外に出ようとしている場合には、前記文字列切り出し手段に対して、次回の動作時に、前記文字列画像位置情報によって示される位置の付近にあり、かつ前記画像撮像手段の撮影可能範囲内に在る文字列を切り出すよう指示し、その結果、前記文字列切り出し手段によって前記追尾対象文字列の近傍に在る文字列が切り出されると、前記マーカー文字列の近傍に在る文字列を次のマーカー文字列として認識することを特徴とする請求項８記載の携帯端末。
【請求項１０】
前記文字列追尾手段は、前記マーカー文字列の文字列画像位置情報と前記追尾対象文字列の文字列画像位置情報とに基づいて、前記マーカー文字列に対して前記追尾対象文字列がどの方向に在るかを示す方向情報を取得することを特徴とする請求項８または９記載の携帯端末。
【請求項１１】
前記表示手段は、前記文字列追尾手段によって取得された方向情報に基づいて、前記追尾対象文字列が在る方向を認知可能に表示することを特徴とする請求項１０記載の携帯端末。
【請求項１２】
前記文字列追尾手段は、前記文字列切り出し手段に対して、次回の動作時に、前記マーカー文字列の在る位置から前記追尾対象文字列が在る方向へ隣接する文字列を切り出すように命令を出し、前記文字列切り出し手段がその文字列を切り出すことができれば、それを新たなマーカー文字列とし、前記追尾対象文字列が在る方向を前記新たなマーカー文字列の文字列画像位置情報から判定することを特徴とする請求項８ないし１１のいずれかに記載の携帯端末。
【請求項１３】
撮像部を備える携帯端末の文字読取方法において、
前記撮影部により文章を所定の時間間隔で連続して撮影し、撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出し、切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得し、前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列し、追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とすることを特徴とする文字読取方法。
【請求項１４】
撮像部を備える携帯端末による文字読取プログラムにおいて、
前記撮影部により文章を撮影するステップと、
撮影した文章の画像から、少なくとも１つの文字列を含む画像を切り出すステップと、
切り出した画像に含まれる文字列を認識し、該文字列の文字コード列を取得するステップと、
前記取得した文字コード列と、直前に撮像された文章の画像から切り出された文字列から取得された文字コード列とを比較し、文字コードの並びが少なくとも部分的に同じであれば、前記文字コード列の文字列を追尾対象文字列とするステップと、
前記追尾対象文字列とされた文字列の文字コード列を最終的な入力文字列とするステップと
をコンピュータに実行させることを特徴とする文字読取プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００６−２０９５９９（Ｐ２００６−２０９５９９Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−２３０３６（Ｐ２００５−２３０３６）
【出願日】平成１７年１月３１日（２００５．１．３１）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年１月３１日（２００５．１．３１）
【出願人】（５０４１４９１００）株式会社カシオ日立モバイルコミュニケーションズ (893)
【Ｆターム（参考）】
[ Back to top ]