情報処理装置および方法、プログラム、並びに撮像装置
【課題】文字認識処理の結果をより容易に確認する。
【解決手段】文字認識処理部は、画像における文字列領域に対して文字認識処理を行い、文字列情報抽出部は、文字認識処理部によって文字認識された文字列から、文字列に関する情報である文字列情報を抽出し、表示用文字列生成部は、文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成し、表示制御部は、表示用文字列を、画像における文字列領域の近傍に表示するよう制御する。本技術は、デジタルスチルカメラに適用することができる。
【解決手段】文字認識処理部は、画像における文字列領域に対して文字認識処理を行い、文字列情報抽出部は、文字認識処理部によって文字認識された文字列から、文字列に関する情報である文字列情報を抽出し、表示用文字列生成部は、文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成し、表示制御部は、表示用文字列を、画像における文字列領域の近傍に表示するよう制御する。本技術は、デジタルスチルカメラに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、プログラム、並びに撮像装置に関し、特に、文字認識処理の結果を確認することができるようにする情報処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、画像に含まれる文字列の文字を認識する文字認識処理を行い、その文字認識処理の結果を、その文字列を含む画像上の所定の位置に表示する技術がある（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０７４８７号公報
【特許文献２】特開２００４−２０６５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術においては、画像に含まれる文字列の位置と、文字認識処理の結果としての文字列の位置とが離れていたり、画像に含まれる文字列の書体とは異なる書体で、文字認識処理の結果としての文字列が表示されていた。
【０００５】
したがって、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しにくく、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字に気づかない恐れがあった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、文字認識処理の結果をより容易に確認することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
【０００８】
前記文字列情報抽出部には、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出させ、前記表示用文字列生成部には、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成させることができる。
【０００９】
前記文字列情報抽出部には、前記文字列情報として、前記画像における前記文字列領域の位置を抽出させ、前記表示制御部には、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御させることができる。
【００１０】
前記文字列情報抽出部には、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出させ、前記表示制御部には、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御させることができる。
【００１１】
前記情報処理装置には、前記画像における前記文字列領域の色を識別する色識別部をさらに設け、前記表示用文字列生成部には、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
【００１２】
前記色識別部には、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別させ、前記表示用文字列生成部には、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
【００１３】
本技術の一側面の情報処理方法は、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップとを含む。
【００１４】
本技術の一側面のプログラムは、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップとを含む処理をコンピュータに実行させる。
【００１５】
本技術の一側面の撮像装置は、被写体を撮像する撮像部と、前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
【００１６】
本技術の一側面においては、画像における文字列領域に対して文字認識処理が行われ、文字認識された文字列から、文字列に関する情報である文字列情報が抽出され、抽出された文字列情報に応じた文字フォントの表示用文字列が生成され、表示用文字列が、画像における文字列領域の近傍に表示されるよう制御される。
【発明の効果】
【００１７】
本技術の一側面によれば、文字認識処理の結果をより容易に確認することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した情報処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。
【図２】文字列情報抽出部の機能構成例を示すブロック図である。
【図３】文字列領域色識別部の機能構成例を示すブロック図である。
【図４】表示用文字列生成部の機能構成例を示すブロック図である。
【図５】認識文字列表示処理について説明するフローチャートである。
【図６】文字列情報抽出処理について説明するフローチャートである。
【図７】文字列情報について説明する図である。
【図８】文字列情報の構成を示す図である。
【図９】文字列領域色識別処理について説明するフローチャートである。
【図１０】表示用文字列生成処理について説明するフローチャートである。
【図１１】表示用文字列の表示の例について説明する図である。
【図１２】表示用文字列の表示の例について説明する図である。
【図１３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．撮像装置の機能構成
２．認識文字列表示処理
【００２０】
＜１．撮像装置の機能構成＞
図１は、本技術を適用した情報処理装置としての撮像装置の一実施の形態の構成を示している。
【００２１】
図１の撮像装置１１は、例えば、デジタルスチルカメラとして構成され、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像（静止画像）を蓄積したり、ユーザに提示する。また、撮像装置１１は、ユーザの操作にしたがって、撮像画像に含まれる文字列に対して文字認識処理を行い、文字認識処理の結果をユーザに提示する。なお、撮像装置１１は、被写体の撮像画像として、動画像を蓄積したり、ユーザに提示するデジタルビデオカメラとして構成されるようにしてもよい。
【００２２】
図１の撮像装置１１は、レンズ３１、撮像部３２、文字列領域抽出部３３、文字パターンデータベース３４、文字認識処理部３５、文字列情報抽出部３６、文字列領域色識別部３７、表示用文字列生成部３８、表示制御部３９、および表示部４０から構成される。
【００２３】
撮像部３２は、撮像素子やA/D(Analog/Digital)変換部を含むように構成され、レンズ３１からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部３２は、A/D変換の結果得られたデジタルの画像データ（以下、撮像画像という）を文字列領域抽出部３３および表示制御部３９に供給する。
【００２４】
文字列領域抽出部３３は、被写体の撮像時に、図示せぬ操作部に対するユーザの操作によって設定される、認識対象となる文字列を含む領域（文字列領域）の画像（文字列領域画像）を、撮像部３２からの撮像画像から抽出し、文字認識処理部３５および表示制御部３９に供給する。
【００２５】
文字パターンデータベース３４は、文字認識処理部３５によって行われる文字認識処理の結果となる文字の候補である文字パターンを記憶している。
【００２６】
文字認識処理部３５は、文字パターンデータベース３４に記憶されている文字パターンを用いて、文字列領域抽出部３３からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部３６および文字列領域色識別部３７に供給する。
【００２７】
文字列情報抽出部３６は、文字認識処理部３５からの文字認識処理の結果に基づいて、文字認識処理部３５からの文字列領域画像から、文字認識された文字列に関する情報である文字列情報を抽出し、表示用文字列生成部３８および表示制御部３９に供給する。
【００２８】
文字列領域色識別部３７は、文字認識処理部３５からの文字認識処理の結果と文字列領域画像とに基づいて、文字列領域の色を識別し、識別された色を示す情報である文字列領域色情報を、表示用文字列生成部３８に供給する。
【００２９】
表示用文字列生成部３８は、文字列領域色識別部３７からの文字列領域色情報に基づいて、文字列情報抽出部３６からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成し、表示制御部３９に供給する。ここで、文字フォントは、文字の書体を表すデータ（書体データ）を示すものとする。
【００３０】
表示制御部３９は、表示用文字列生成部３８からの表示用文字列を、撮像部３２からの撮像画像における文字列領域の近傍に表示するように、表示部４０の表示を制御する。
【００３１】
表示部４０は、表示制御部３９の制御の下、表示用文字列が重畳された撮影画像を表示する。
【００３２】
［文字列情報抽出部の構成］
ここで、図２を参照して、文字列情報抽出部３６の構成について説明する。
【００３３】
図２の文字列情報抽出部３６は、文字列サイズ測定部５１、文字列位置測定部５２、文字サイズ測定部５３、文字コード化処理部５４、および文字列情報生成部５５から構成される。
【００３４】
文字列サイズ測定部５１は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ（文字列サイズ）を測定し、文字列情報生成部５５に供給する。
【００３５】
文字列位置測定部５２は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域の位置（文字列位置）を測定し、文字列情報生成部５５に供給する。
【００３６】
文字サイズ測定部５３は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ（文字サイズ）を測定し、文字列情報生成部５５に供給する。
【００３７】
文字コード化処理部５４は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれを、所定の文字コードに変換し、文字列情報生成部５５に供給する。
【００３８】
文字列情報生成部５５は、文字列サイズ測定部５１からの文字列サイズ、文字列位置測定部５２からの文字列位置、文字サイズ測定部５３からの文字サイズ、および文字コード化処理部５４からの文字コードを構成要素とする文字列情報を生成する。
【００３９】
［文字列領域色識別部の構成］
次に、図３を参照して、文字列領域色識別部３７の構成について説明する。
【００４０】
図３の文字列領域色識別部３７は、文字色判定部７１、背景色判定部７２、および文字列領域色情報生成部７３から構成される。
【００４１】
文字色判定部７１は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部７３に供給する。
【００４２】
背景色判定部７２は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部７３に供給する。
【００４３】
文字列領域色情報生成部７３は、文字色判定部７１からの文字色情報および背景色判定部７２からの背景色情報を構成要素とする文字列領域色情報を生成する。
【００４４】
［表示用文字列生成部の構成］
次に、図４を参照して、表示用文字列生成部３８の構成について説明する。
【００４５】
図４の表示用文字列生成部３８は、文字フォント決定部９１および文字列生成部９２から構成される。
【００４６】
文字フォント決定部９１は、文字列情報抽出部３６からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部９２に供給する。
【００４７】
文字列生成部９２は、文字フォント決定部９１からの文字フォント、文字列情報抽出部３６からの文字列情報、および文字列領域色識別部３７からの文字列領域色情報に基づいて、表示用文字列を生成する。
【００４８】
＜２．認識文字列表示処理＞
次に、図５を参照して、撮像装置１１による認識文字列表示処理について説明する。
【００４９】
撮像装置１１の動作モードが被写体を撮像する撮像モードで、表示部４０において、撮像対象となる被写体をユーザに確認させるためのスルー画像上に、文字列領域として設定された領域を示す枠が表示され、その枠内に所定の文字列が含まれた状態で、ユーザにより、例えば、図示せぬシャッタボタンが半押しされることで、認識文字列表示処理が開始される。
【００５０】
ステップＳ１１において、撮像部３２は、ユーザによりシャッタボタンが半押しされたときの被写体を撮像し、得られた撮像画像を、文字列領域抽出部３３および表示制御部３９に供給する。
【００５１】
ステップＳ１２において、文字列領域抽出部３３は、撮像部３２からの撮像画像において、文字列領域の文字列領域画像を抽出し、文字認識処理部３５および表示制御部３９に供給する。
【００５２】
ステップＳ１３において、文字認識処理部３５は、文字パターンデータベース３４に記憶されている文字パターンを用いて、文字列領域抽出部３３からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部３６および文字列領域色識別部３７に供給する。
【００５３】
ステップＳ１４において、文字列情報抽出部３６は、文字認識処理部３５からの文字認識処理の結果に基づいて、文字認識処理部３５からの文字列領域画像から文字列情報を抽出する文字列情報抽出処理を実行する。
【００５４】
［文字列情報抽出処理の例］
ここで、図６のフローチャートを参照して、文字列情報抽出部３６による文字列情報抽出処理について説明する。
【００５５】
ステップＳ３１において、文字列サイズ測定部５１は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ（文字列サイズ）として、文字列領域の高さ、幅、および傾きを測定し、文字列情報生成部５５に供給する。
【００５６】
図７は、撮像装置１１の表示部４０において、撮像画像（スルー画像）に設定された文字列領域の例を示している。図７においては、文字列領域を示す枠１５０内には、「ＤＳＧ−ＴＸ７」の文字列が含まれている。
【００５７】
すなわち、ステップＳ３１においては、例えば、文字列領域の高さおよび幅として、図７Ａに示される、文字列領域を示す枠１５０の高さおよび幅が測定される。また、例えば、文字列領域の傾きとしては、図７Ｂに示されるように、撮像画像の水平方向に対する、文字列領域を示す枠１５０の傾きが測定される。
【００５８】
次に、ステップＳ３２において、文字列位置測定部５２は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域の位置（文字列位置）として、図７Ａに示されるように、表示部４０（撮像画像）の左上の頂点を原点としたときの、文字列領域を示す枠１５０の左上の頂点の位置（縦位置および横位置）を測定し、文字列情報生成部５５に供給する。なお、文字列位置は、撮像画像における文字列領域の位置を特定するものであればよく、文字列領域を示す枠１５０の左上の頂点以外の位置であってもよい。
【００５９】
ステップＳ３３において、文字サイズ測定部５３は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ（文字サイズ）として、文字列の文字それぞれの高さおよび幅を測定し、文字列情報生成部５５に供給する。
【００６０】
すなわち、ステップＳ３３においては、例えば、図７Ａの右側に示されるように、文字認識処理された文字列「ＤＳＧ−ＴＸ７」の文字「Ｄ」、「Ｓ」、「Ｇ」、「−」、「Ｔ」、「Ｘ」、「７」それぞれ高さおよび幅が測定される。
【００６１】
ステップＳ３４において、文字コード化処理部５４は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、例えば、図７に示される、文字認識処理された文字列「ＤＳＧ−ＴＸ７」の文字「Ｄ」、「Ｓ」、「Ｇ」、「−」、「Ｔ」、「Ｘ」、「７」それぞれを、例えばUnicode等の文字コードに変換し、文字列情報生成部５５に供給する。
【００６２】
ステップＳ３５において、文字列情報生成部５５は、文字列サイズ測定部５１からの文字列サイズ、文字列位置測定部５２からの文字列位置、文字サイズ測定部５３からの文字サイズ、および文字コード化処理部５４からの文字コードを構成要素とする文字列情報を生成する。
【００６３】
図８は、文字列情報生成部５５によって生成される文字列情報の構成例を示している。
【００６４】
図８に示されるように、文字列情報は、文字列の高さ、幅、および傾きからなる文字列サイズ、文字列位置、文字の高さおよび幅からなる文字サイズ、並びに文字コードから構成される。図８の文字列情報においては、文字サイズおよび文字コードは、文字列に含まれるｎ個の文字それぞれについて存在する。
【００６５】
このようにして生成された文字列情報は、表示用文字列生成部３８および表示制御部３９に供給され、処理は、図５のフローチャートのステップＳ１４に戻る。
【００６６】
ステップＳ１４の後、処理はステップＳ１５に進み、文字列領域色識別部３７は、文字認識処理部３５からの文字認識処理の結果と文字認識処理部３５からの文字列領域画像とに基づいて、文字列領域色識別処理を実行し、文字列領域色情報を生成する。
【００６７】
［文字列情報抽出処理の例］
ここで、図９のフローチャートを参照して、文字列領域色識別部３７による文字列領域色識別処理について説明する。
【００６８】
ステップＳ５１において、文字色判定部７１は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部７３に供給する。
【００６９】
ステップＳ５２において、背景色判定部７２は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部７３に供給する。
【００７０】
ステップＳ５３において、文字列領域色情報生成部７３は、文字色判定部７１からの文字色情報および背景色判定部７２からの背景色情報を構成要素とする文字列領域色情報を生成する。
【００７１】
このようにして生成された文字列領域色情報は、表示用文字列生成部３８に供給され、処理は、図５のフローチャートのステップＳ１５に戻る。
【００７２】
ステップＳ１５の後、処理はステップＳ１６に進み、表示用文字列生成部３８は、文字列領域色識別部３７からの文字列領域色情報に基づいて、文字列情報抽出部３６からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成する表示用文字列生成処理を実行する。
【００７３】
［表示用文字列生成処理の例］
ここで、図１０のフローチャートを参照して、表示用文字列生成部３８による表示用文字列生成処理について説明する。
【００７４】
ステップＳ７１において、文字フォント決定部９１は、文字列情報抽出部３６からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部９２に供給する。
【００７５】
具体的には、文字フォント決定部９１は、文字列情報における文字列の文字それぞれの文字サイズ（高さおよび幅）および文字コードに基づいて、文字列領域の文字の縦横比に近似し、文字列領域の文字の高さが略一致する文字フォントを決定する。
【００７６】
ステップＳ７２において、文字列生成部９２は、文字フォント決定部９１からの文字フォント、文字列情報抽出部３６からの文字列情報、および文字列領域色認識部３７からの文字列領域色情報に基づいて、表示用文字列を生成する。
【００７７】
具体的には、文字列生成部９２は、文字列情報抽出部３６からの文字列情報における文字列の文字それぞれの文字コードに基づいて、文字フォント決定部９１からの文字フォントの文字列である表示用文字列を生成する。また、文字列生成部９２は、文字列情報の文字列サイズ（高さおよび幅）に基づいて、表示用文字列を表示するための表示領域を設定する。そして、文字列生成部９２は、表示領域における表示用文字列の文字の色を、文字列領域色識別部３７からの文字列領域色情報の文字色情報で表わされる色とし、表示領域における表示用文字列の背景の色を、文字列領域色情報の背景色情報で表わされる色とした表示用文字列画像を生成する。
【００７８】
このようにして生成された表示用文字列（表示用文字列画像）は、表示制御部３９に供給され、処理は、図５のフローチャートのステップＳ１６に戻る。
【００７９】
ステップＳ１６の後、処理はステップＳ１７に進み、表示制御部３９は、表示用文字列生成部３８からの表示用文字列（表示用文字列画像）を、撮像画像における文字列領域の近傍に表示するように、表示部４０の表示を制御する。
【００８０】
具体的には、表示制御部３９は、文字列情報の文字列位置に基づいて、表示用文字列生成部３８からの表示用文字列画像を、撮像画像における文字列領域に並べて表示するように、表示部４０の表示を制御する。
【００８１】
例えば、図１１に示されるように、表示部４０において、撮像画像における文字列領域を示す枠１５０内の文字列の最初の文字「Ｄ」と、表示用文字列画像２００における最初の文字「Ｄ」の水平方向の位置が揃うように、表示用文字列画像２００が、文字列領域を示す枠１５０内の下側に配置され表示される。
【００８２】
また、文字列情報抽出部３６からの文字列情報の文字列サイズにおいて、文字列の傾きがある場合、すなわち、図７Ｂで説明したように、撮像画像の水平方向に対して文字列領域を示す枠１５０が傾いている場合、表示制御部３９は、表示用文字列生成部３８からの表示用文字列（表示用文字列画像）を、文字列領域抽出部３３からの文字列領域画像の傾きを補正した傾き補正文字列領域画像の近傍に表示するように、表示部４０の表示を制御する。
【００８３】
例えば、図１２に示されるように、表示部４０において、撮像画像における文字列領域を示す枠１５０で示される文字列領域画像の傾きを補正した傾き補正文字列領域画像２５０が、撮像画像の所定の位置に表示され、傾き補正文字列領域画像２５０における文字列の最初の文字「Ｄ」と、表示用文字列画像２００における最初の文字「Ｄ」の水平方向の位置が揃うように、表示用文字列画像２００が、傾き補正文字列領域画像２５０の下側に配置され表示される。
【００８４】
なお、表示用文字列画像２００は、文字列領域を示す枠１５０内や傾き補正文字列領域画像２５０の下側に配置されるようにしたが、例えば、それぞれの上側等、文字列領域の文字列と表示用文字列画像２００の文字列とを比較しやすくなる位置に配置されればよい。
【００８５】
以上の処理によれば、撮像画像において、文字認識処理が行われた文字列領域の近傍に、文字認識された文字列の文字のサイズに応じた文字フォントの文字列が表示されるようになる。これにより、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しやすくなり、ユーザは、文字認識処理の結果を容易に確認することができるようになる。したがって、例えば、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字を簡単に見つけること可能となる。
【００８６】
また、表示用文字列画像における文字部分の色および背景部分の色を、それぞれ、撮像画像における文字列領域画像の文字部分の色および背景部分の色とすることで、画像に含まれる文字列と、文字認識処理の結果としての文字列をより比較しやすくなるので、ユーザに、文字認識処理の結果をより容易に確認させることができるようになる。
【００８７】
なお、文字列領域画像や撮像画像全体が、白黒画像かまたはそれに近い場合には、撮像装置１１において、文字列領域色識別部３７を設けないようにし、文字列領域色識別処理を行わないようにしてもよい。
【００８８】
また、以上においては、文字列領域は、撮像時にユーザにより設定されるものとしたが、スルー画像に含まれる複数の文字列を認識し、その中で所定の条件を満たす文字列が含まれる領域を文字列領域として設定するようにしてもよい。
【００８９】
さらに、以上においては、本技術を、撮像部を備える撮像装置に適用した構成について説明したが、撮像装置に限らず、本技術を、入力された画像に対して所定の処理を施して表示する情報処理装置に適用することができる。
【００９０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【００９１】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９２】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【００９３】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【００９４】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【００９５】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９６】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【００９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９９】
さらに、本技術は以下のような構成をとることができる。
（１） 画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える情報処理装置。
（２） 前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
（１）に記載の情報処理装置。
（３） 前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示させる
（１）または（２）に記載の情報処理装置。
（４） 前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示させる
（１）または（２）に記載の情報処理装置。
（５） 前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
（５）に記載の情報処理装置。
（７） 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
を含む情報処理方法。
（８） 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
（１０） 被写体を撮像する撮像部と、
前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える撮像装置。
【符号の説明】
【０１００】
１１ 撮像装置， ３１ レンズ， ３２ 撮像部， ３３ 文字列領域抽出部， ３５ 文字認識処理部， ３６ 文字列情報抽出部， ３７ 文字列領域色識別部， ３８ 表示用文字列生成部， ３９ 表示制御部， ４０ 表示部
【技術分野】
【０００１】
本技術は、情報処理装置および方法、プログラム、並びに撮像装置に関し、特に、文字認識処理の結果を確認することができるようにする情報処理装置および方法、プログラム、並びに撮像装置に関する。
【背景技術】
【０００２】
従来、画像に含まれる文字列の文字を認識する文字認識処理を行い、その文字認識処理の結果を、その文字列を含む画像上の所定の位置に表示する技術がある（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２０７４８７号公報
【特許文献２】特開２００４−２０６５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した技術においては、画像に含まれる文字列の位置と、文字認識処理の結果としての文字列の位置とが離れていたり、画像に含まれる文字列の書体とは異なる書体で、文字認識処理の結果としての文字列が表示されていた。
【０００５】
したがって、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しにくく、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字に気づかない恐れがあった。
【０００６】
本技術は、このような状況に鑑みてなされたものであり、文字認識処理の結果をより容易に確認することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
【０００８】
前記文字列情報抽出部には、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出させ、前記表示用文字列生成部には、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成させることができる。
【０００９】
前記文字列情報抽出部には、前記文字列情報として、前記画像における前記文字列領域の位置を抽出させ、前記表示制御部には、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御させることができる。
【００１０】
前記文字列情報抽出部には、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出させ、前記表示制御部には、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御させることができる。
【００１１】
前記情報処理装置には、前記画像における前記文字列領域の色を識別する色識別部をさらに設け、前記表示用文字列生成部には、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
【００１２】
前記色識別部には、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別させ、前記表示用文字列生成部には、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成させることができる。
【００１３】
本技術の一側面の情報処理方法は、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップとを含む。
【００１４】
本技術の一側面のプログラムは、画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップとを含む処理をコンピュータに実行させる。
【００１５】
本技術の一側面の撮像装置は、被写体を撮像する撮像部と、前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部とを備える。
【００１６】
本技術の一側面においては、画像における文字列領域に対して文字認識処理が行われ、文字認識された文字列から、文字列に関する情報である文字列情報が抽出され、抽出された文字列情報に応じた文字フォントの表示用文字列が生成され、表示用文字列が、画像における文字列領域の近傍に表示されるよう制御される。
【発明の効果】
【００１７】
本技術の一側面によれば、文字認識処理の結果をより容易に確認することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本技術を適用した情報処理装置としての撮像装置の一実施の形態の機能構成例を示すブロック図である。
【図２】文字列情報抽出部の機能構成例を示すブロック図である。
【図３】文字列領域色識別部の機能構成例を示すブロック図である。
【図４】表示用文字列生成部の機能構成例を示すブロック図である。
【図５】認識文字列表示処理について説明するフローチャートである。
【図６】文字列情報抽出処理について説明するフローチャートである。
【図７】文字列情報について説明する図である。
【図８】文字列情報の構成を示す図である。
【図９】文字列領域色識別処理について説明するフローチャートである。
【図１０】表示用文字列生成処理について説明するフローチャートである。
【図１１】表示用文字列の表示の例について説明する図である。
【図１２】表示用文字列の表示の例について説明する図である。
【図１３】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．撮像装置の機能構成
２．認識文字列表示処理
【００２０】
＜１．撮像装置の機能構成＞
図１は、本技術を適用した情報処理装置としての撮像装置の一実施の形態の構成を示している。
【００２１】
図１の撮像装置１１は、例えば、デジタルスチルカメラとして構成され、ユーザの操作にしたがって、被写体を撮像し、その被写体の撮像画像（静止画像）を蓄積したり、ユーザに提示する。また、撮像装置１１は、ユーザの操作にしたがって、撮像画像に含まれる文字列に対して文字認識処理を行い、文字認識処理の結果をユーザに提示する。なお、撮像装置１１は、被写体の撮像画像として、動画像を蓄積したり、ユーザに提示するデジタルビデオカメラとして構成されるようにしてもよい。
【００２２】
図１の撮像装置１１は、レンズ３１、撮像部３２、文字列領域抽出部３３、文字パターンデータベース３４、文字認識処理部３５、文字列情報抽出部３６、文字列領域色識別部３７、表示用文字列生成部３８、表示制御部３９、および表示部４０から構成される。
【００２３】
撮像部３２は、撮像素子やA/D(Analog/Digital)変換部を含むように構成され、レンズ３１からの光を受光して光電変換することにより被写体を撮像し、得られたアナログの画像信号をA/D変換する。撮像部３２は、A/D変換の結果得られたデジタルの画像データ（以下、撮像画像という）を文字列領域抽出部３３および表示制御部３９に供給する。
【００２４】
文字列領域抽出部３３は、被写体の撮像時に、図示せぬ操作部に対するユーザの操作によって設定される、認識対象となる文字列を含む領域（文字列領域）の画像（文字列領域画像）を、撮像部３２からの撮像画像から抽出し、文字認識処理部３５および表示制御部３９に供給する。
【００２５】
文字パターンデータベース３４は、文字認識処理部３５によって行われる文字認識処理の結果となる文字の候補である文字パターンを記憶している。
【００２６】
文字認識処理部３５は、文字パターンデータベース３４に記憶されている文字パターンを用いて、文字列領域抽出部３３からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部３６および文字列領域色識別部３７に供給する。
【００２７】
文字列情報抽出部３６は、文字認識処理部３５からの文字認識処理の結果に基づいて、文字認識処理部３５からの文字列領域画像から、文字認識された文字列に関する情報である文字列情報を抽出し、表示用文字列生成部３８および表示制御部３９に供給する。
【００２８】
文字列領域色識別部３７は、文字認識処理部３５からの文字認識処理の結果と文字列領域画像とに基づいて、文字列領域の色を識別し、識別された色を示す情報である文字列領域色情報を、表示用文字列生成部３８に供給する。
【００２９】
表示用文字列生成部３８は、文字列領域色識別部３７からの文字列領域色情報に基づいて、文字列情報抽出部３６からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成し、表示制御部３９に供給する。ここで、文字フォントは、文字の書体を表すデータ（書体データ）を示すものとする。
【００３０】
表示制御部３９は、表示用文字列生成部３８からの表示用文字列を、撮像部３２からの撮像画像における文字列領域の近傍に表示するように、表示部４０の表示を制御する。
【００３１】
表示部４０は、表示制御部３９の制御の下、表示用文字列が重畳された撮影画像を表示する。
【００３２】
［文字列情報抽出部の構成］
ここで、図２を参照して、文字列情報抽出部３６の構成について説明する。
【００３３】
図２の文字列情報抽出部３６は、文字列サイズ測定部５１、文字列位置測定部５２、文字サイズ測定部５３、文字コード化処理部５４、および文字列情報生成部５５から構成される。
【００３４】
文字列サイズ測定部５１は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ（文字列サイズ）を測定し、文字列情報生成部５５に供給する。
【００３５】
文字列位置測定部５２は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域の位置（文字列位置）を測定し、文字列情報生成部５５に供給する。
【００３６】
文字サイズ測定部５３は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ（文字サイズ）を測定し、文字列情報生成部５５に供給する。
【００３７】
文字コード化処理部５４は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれを、所定の文字コードに変換し、文字列情報生成部５５に供給する。
【００３８】
文字列情報生成部５５は、文字列サイズ測定部５１からの文字列サイズ、文字列位置測定部５２からの文字列位置、文字サイズ測定部５３からの文字サイズ、および文字コード化処理部５４からの文字コードを構成要素とする文字列情報を生成する。
【００３９】
［文字列領域色識別部の構成］
次に、図３を参照して、文字列領域色識別部３７の構成について説明する。
【００４０】
図３の文字列領域色識別部３７は、文字色判定部７１、背景色判定部７２、および文字列領域色情報生成部７３から構成される。
【００４１】
文字色判定部７１は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部７３に供給する。
【００４２】
背景色判定部７２は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部７３に供給する。
【００４３】
文字列領域色情報生成部７３は、文字色判定部７１からの文字色情報および背景色判定部７２からの背景色情報を構成要素とする文字列領域色情報を生成する。
【００４４】
［表示用文字列生成部の構成］
次に、図４を参照して、表示用文字列生成部３８の構成について説明する。
【００４５】
図４の表示用文字列生成部３８は、文字フォント決定部９１および文字列生成部９２から構成される。
【００４６】
文字フォント決定部９１は、文字列情報抽出部３６からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部９２に供給する。
【００４７】
文字列生成部９２は、文字フォント決定部９１からの文字フォント、文字列情報抽出部３６からの文字列情報、および文字列領域色識別部３７からの文字列領域色情報に基づいて、表示用文字列を生成する。
【００４８】
＜２．認識文字列表示処理＞
次に、図５を参照して、撮像装置１１による認識文字列表示処理について説明する。
【００４９】
撮像装置１１の動作モードが被写体を撮像する撮像モードで、表示部４０において、撮像対象となる被写体をユーザに確認させるためのスルー画像上に、文字列領域として設定された領域を示す枠が表示され、その枠内に所定の文字列が含まれた状態で、ユーザにより、例えば、図示せぬシャッタボタンが半押しされることで、認識文字列表示処理が開始される。
【００５０】
ステップＳ１１において、撮像部３２は、ユーザによりシャッタボタンが半押しされたときの被写体を撮像し、得られた撮像画像を、文字列領域抽出部３３および表示制御部３９に供給する。
【００５１】
ステップＳ１２において、文字列領域抽出部３３は、撮像部３２からの撮像画像において、文字列領域の文字列領域画像を抽出し、文字認識処理部３５および表示制御部３９に供給する。
【００５２】
ステップＳ１３において、文字認識処理部３５は、文字パターンデータベース３４に記憶されている文字パターンを用いて、文字列領域抽出部３３からの文字列領域画像に対して文字認識処理を行い、その文字認識処理の結果を文字列領域画像とともに、文字列情報抽出部３６および文字列領域色識別部３７に供給する。
【００５３】
ステップＳ１４において、文字列情報抽出部３６は、文字認識処理部３５からの文字認識処理の結果に基づいて、文字認識処理部３５からの文字列領域画像から文字列情報を抽出する文字列情報抽出処理を実行する。
【００５４】
［文字列情報抽出処理の例］
ここで、図６のフローチャートを参照して、文字列情報抽出部３６による文字列情報抽出処理について説明する。
【００５５】
ステップＳ３１において、文字列サイズ測定部５１は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域のサイズ（文字列サイズ）として、文字列領域の高さ、幅、および傾きを測定し、文字列情報生成部５５に供給する。
【００５６】
図７は、撮像装置１１の表示部４０において、撮像画像（スルー画像）に設定された文字列領域の例を示している。図７においては、文字列領域を示す枠１５０内には、「ＤＳＧ−ＴＸ７」の文字列が含まれている。
【００５７】
すなわち、ステップＳ３１においては、例えば、文字列領域の高さおよび幅として、図７Ａに示される、文字列領域を示す枠１５０の高さおよび幅が測定される。また、例えば、文字列領域の傾きとしては、図７Ｂに示されるように、撮像画像の水平方向に対する、文字列領域を示す枠１５０の傾きが測定される。
【００５８】
次に、ステップＳ３２において、文字列位置測定部５２は、文字認識処理部３５からの文字列領域画像に基づいて、撮像画像における文字列領域の位置（文字列位置）として、図７Ａに示されるように、表示部４０（撮像画像）の左上の頂点を原点としたときの、文字列領域を示す枠１５０の左上の頂点の位置（縦位置および横位置）を測定し、文字列情報生成部５５に供給する。なお、文字列位置は、撮像画像における文字列領域の位置を特定するものであればよく、文字列領域を示す枠１５０の左上の頂点以外の位置であってもよい。
【００５９】
ステップＳ３３において、文字サイズ測定部５３は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域画像における文字列の文字それぞれのサイズ（文字サイズ）として、文字列の文字それぞれの高さおよび幅を測定し、文字列情報生成部５５に供給する。
【００６０】
すなわち、ステップＳ３３においては、例えば、図７Ａの右側に示されるように、文字認識処理された文字列「ＤＳＧ−ＴＸ７」の文字「Ｄ」、「Ｓ」、「Ｇ」、「−」、「Ｔ」、「Ｘ」、「７」それぞれ高さおよび幅が測定される。
【００６１】
ステップＳ３４において、文字コード化処理部５４は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、例えば、図７に示される、文字認識処理された文字列「ＤＳＧ−ＴＸ７」の文字「Ｄ」、「Ｓ」、「Ｇ」、「−」、「Ｔ」、「Ｘ」、「７」それぞれを、例えばUnicode等の文字コードに変換し、文字列情報生成部５５に供給する。
【００６２】
ステップＳ３５において、文字列情報生成部５５は、文字列サイズ測定部５１からの文字列サイズ、文字列位置測定部５２からの文字列位置、文字サイズ測定部５３からの文字サイズ、および文字コード化処理部５４からの文字コードを構成要素とする文字列情報を生成する。
【００６３】
図８は、文字列情報生成部５５によって生成される文字列情報の構成例を示している。
【００６４】
図８に示されるように、文字列情報は、文字列の高さ、幅、および傾きからなる文字列サイズ、文字列位置、文字の高さおよび幅からなる文字サイズ、並びに文字コードから構成される。図８の文字列情報においては、文字サイズおよび文字コードは、文字列に含まれるｎ個の文字それぞれについて存在する。
【００６５】
このようにして生成された文字列情報は、表示用文字列生成部３８および表示制御部３９に供給され、処理は、図５のフローチャートのステップＳ１４に戻る。
【００６６】
ステップＳ１４の後、処理はステップＳ１５に進み、文字列領域色識別部３７は、文字認識処理部３５からの文字認識処理の結果と文字認識処理部３５からの文字列領域画像とに基づいて、文字列領域色識別処理を実行し、文字列領域色情報を生成する。
【００６７】
［文字列情報抽出処理の例］
ここで、図９のフローチャートを参照して、文字列領域色識別部３７による文字列領域色識別処理について説明する。
【００６８】
ステップＳ５１において、文字色判定部７１は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分の色を判定し、判定された文字部分の色を表す文字色情報を文字列領域色情報生成部７３に供給する。
【００６９】
ステップＳ５２において、背景色判定部７２は、文字認識処理部３５からの文字認識処理の結果および文字列領域画像に基づいて、文字列領域における文字列の文字部分以外の背景部分の色を判定し、判定された背景部分の色を表す背景色情報を文字列領域色情報生成部７３に供給する。
【００７０】
ステップＳ５３において、文字列領域色情報生成部７３は、文字色判定部７１からの文字色情報および背景色判定部７２からの背景色情報を構成要素とする文字列領域色情報を生成する。
【００７１】
このようにして生成された文字列領域色情報は、表示用文字列生成部３８に供給され、処理は、図５のフローチャートのステップＳ１５に戻る。
【００７２】
ステップＳ１５の後、処理はステップＳ１６に進み、表示用文字列生成部３８は、文字列領域色識別部３７からの文字列領域色情報に基づいて、文字列情報抽出部３６からの文字列情報に応じた文字フォントの文字列である表示用文字列を生成する表示用文字列生成処理を実行する。
【００７３】
［表示用文字列生成処理の例］
ここで、図１０のフローチャートを参照して、表示用文字列生成部３８による表示用文字列生成処理について説明する。
【００７４】
ステップＳ７１において、文字フォント決定部９１は、文字列情報抽出部３６からの文字列情報に基づいて、表示用文字列の文字フォントを決定し、文字列生成部９２に供給する。
【００７５】
具体的には、文字フォント決定部９１は、文字列情報における文字列の文字それぞれの文字サイズ（高さおよび幅）および文字コードに基づいて、文字列領域の文字の縦横比に近似し、文字列領域の文字の高さが略一致する文字フォントを決定する。
【００７６】
ステップＳ７２において、文字列生成部９２は、文字フォント決定部９１からの文字フォント、文字列情報抽出部３６からの文字列情報、および文字列領域色認識部３７からの文字列領域色情報に基づいて、表示用文字列を生成する。
【００７７】
具体的には、文字列生成部９２は、文字列情報抽出部３６からの文字列情報における文字列の文字それぞれの文字コードに基づいて、文字フォント決定部９１からの文字フォントの文字列である表示用文字列を生成する。また、文字列生成部９２は、文字列情報の文字列サイズ（高さおよび幅）に基づいて、表示用文字列を表示するための表示領域を設定する。そして、文字列生成部９２は、表示領域における表示用文字列の文字の色を、文字列領域色識別部３７からの文字列領域色情報の文字色情報で表わされる色とし、表示領域における表示用文字列の背景の色を、文字列領域色情報の背景色情報で表わされる色とした表示用文字列画像を生成する。
【００７８】
このようにして生成された表示用文字列（表示用文字列画像）は、表示制御部３９に供給され、処理は、図５のフローチャートのステップＳ１６に戻る。
【００７９】
ステップＳ１６の後、処理はステップＳ１７に進み、表示制御部３９は、表示用文字列生成部３８からの表示用文字列（表示用文字列画像）を、撮像画像における文字列領域の近傍に表示するように、表示部４０の表示を制御する。
【００８０】
具体的には、表示制御部３９は、文字列情報の文字列位置に基づいて、表示用文字列生成部３８からの表示用文字列画像を、撮像画像における文字列領域に並べて表示するように、表示部４０の表示を制御する。
【００８１】
例えば、図１１に示されるように、表示部４０において、撮像画像における文字列領域を示す枠１５０内の文字列の最初の文字「Ｄ」と、表示用文字列画像２００における最初の文字「Ｄ」の水平方向の位置が揃うように、表示用文字列画像２００が、文字列領域を示す枠１５０内の下側に配置され表示される。
【００８２】
また、文字列情報抽出部３６からの文字列情報の文字列サイズにおいて、文字列の傾きがある場合、すなわち、図７Ｂで説明したように、撮像画像の水平方向に対して文字列領域を示す枠１５０が傾いている場合、表示制御部３９は、表示用文字列生成部３８からの表示用文字列（表示用文字列画像）を、文字列領域抽出部３３からの文字列領域画像の傾きを補正した傾き補正文字列領域画像の近傍に表示するように、表示部４０の表示を制御する。
【００８３】
例えば、図１２に示されるように、表示部４０において、撮像画像における文字列領域を示す枠１５０で示される文字列領域画像の傾きを補正した傾き補正文字列領域画像２５０が、撮像画像の所定の位置に表示され、傾き補正文字列領域画像２５０における文字列の最初の文字「Ｄ」と、表示用文字列画像２００における最初の文字「Ｄ」の水平方向の位置が揃うように、表示用文字列画像２００が、傾き補正文字列領域画像２５０の下側に配置され表示される。
【００８４】
なお、表示用文字列画像２００は、文字列領域を示す枠１５０内や傾き補正文字列領域画像２５０の下側に配置されるようにしたが、例えば、それぞれの上側等、文字列領域の文字列と表示用文字列画像２００の文字列とを比較しやすくなる位置に配置されればよい。
【００８５】
以上の処理によれば、撮像画像において、文字認識処理が行われた文字列領域の近傍に、文字認識された文字列の文字のサイズに応じた文字フォントの文字列が表示されるようになる。これにより、画像に含まれる文字列と、文字認識処理の結果としての文字列とを比較しやすくなり、ユーザは、文字認識処理の結果を容易に確認することができるようになる。したがって、例えば、文字認識処理の結果に、誤認識された文字が含まれていたとしても、ユーザは、その誤認識された文字を簡単に見つけること可能となる。
【００８６】
また、表示用文字列画像における文字部分の色および背景部分の色を、それぞれ、撮像画像における文字列領域画像の文字部分の色および背景部分の色とすることで、画像に含まれる文字列と、文字認識処理の結果としての文字列をより比較しやすくなるので、ユーザに、文字認識処理の結果をより容易に確認させることができるようになる。
【００８７】
なお、文字列領域画像や撮像画像全体が、白黒画像かまたはそれに近い場合には、撮像装置１１において、文字列領域色識別部３７を設けないようにし、文字列領域色識別処理を行わないようにしてもよい。
【００８８】
また、以上においては、文字列領域は、撮像時にユーザにより設定されるものとしたが、スルー画像に含まれる複数の文字列を認識し、その中で所定の条件を満たす文字列が含まれる領域を文字列領域として設定するようにしてもよい。
【００８９】
さらに、以上においては、本技術を、撮像部を備える撮像装置に適用した構成について説明したが、撮像装置に限らず、本技術を、入力された画像に対して所定の処理を施して表示する情報処理装置に適用することができる。
【００９０】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【００９１】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９２】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【００９３】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【００９４】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【００９５】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９６】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【００９７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９９】
さらに、本技術は以下のような構成をとることができる。
（１） 画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える情報処理装置。
（２） 前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
（１）に記載の情報処理装置。
（３） 前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示させる
（１）または（２）に記載の情報処理装置。
（４） 前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示させるとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示させる
（１）または（２）に記載の情報処理装置。
（５） 前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
（１）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
（５）に記載の情報処理装置。
（７） 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
を含む情報処理方法。
（８） 画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
（１０） 被写体を撮像する撮像部と、
前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える撮像装置。
【符号の説明】
【０１００】
１１ 撮像装置， ３１ レンズ， ３２ 撮像部， ３３ 文字列領域抽出部， ３５ 文字認識処理部， ３６ 文字列情報抽出部， ３７ 文字列領域色識別部， ３８ 表示用文字列生成部， ３９ 表示制御部， ４０ 表示部
【特許請求の範囲】
【請求項１】
画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える情報処理装置。
【請求項２】
前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する
請求項１に記載の情報処理装置。
【請求項４】
前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御するとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御する
請求項１に記載の情報処理装置。
【請求項５】
前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
請求項１に記載の情報処理装置。
【請求項６】
前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
請求項５に記載の情報処理装置。
【請求項７】
画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
を含む情報処理方法。
【請求項８】
画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項９】
被写体を撮像する撮像部と、
前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える撮像装置。
【請求項１】
画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える情報処理装置。
【請求項２】
前記文字列情報抽出部は、前記文字列情報として、前記文字列における文字それぞれの文字サイズおよび文字コードを抽出し、
前記表示用文字列生成部は、前記文字サイズに基づいて前記文字フォントを決定し、前記文字コードに基づいて、前記文字フォントの前記表示用文字列を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記文字列情報抽出部は、前記文字列情報として、前記画像における前記文字列領域の位置を抽出し、
前記表示制御部は、前記文字列領域の位置に基づいて、前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する
請求項１に記載の情報処理装置。
【請求項４】
前記文字列情報抽出部は、前記文字列情報として、前記画像の所定方向に対する前記文字列領域の傾きを抽出し、
前記表示制御部は、前記文字列領域が前記画像の所定方向に対して傾いている場合、傾きを補正した前記文字列領域の画像を表示するよう制御するとともに、前記表示用文字列を、傾きが補正された前記文字列領域の画像の近傍に表示するよう制御する
請求項１に記載の情報処理装置。
【請求項５】
前記画像における前記文字列領域の色を識別する色識別部をさらに備え、
前記表示用文字列生成部は、前記色識別部によって識別された前記文字列領域の色に基づいて、前記文字フォントの表示用文字列を生成する
請求項１に記載の情報処理装置。
【請求項６】
前記色識別部は、前記文字列領域における文字部分の色、および前記文字部分以外の背景部分の色を識別し、
前記表示用文字列生成部は、前記文字部分の色および前記背景部分の色に基づいて、前記文字フォントの表示用文字列を生成する
請求項５に記載の情報処理装置。
【請求項７】
画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示する表示ステップと
を含む情報処理方法。
【請求項８】
画像における文字列領域に対して文字認識処理を行う文字認識処理ステップと、
前記文字認識処理ステップの処理によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出ステップと、
前記文字列情報抽出ステップの処理によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成ステップと、
前記表示用文字列を、前記画像における前記文字列領域の近傍に表示するよう制御する表示制御ステップと
を含む処理をコンピュータに実行させるプログラム。
【請求項９】
被写体を撮像する撮像部と、
前記撮像部による撮像によって得られた撮像画像における文字列領域に対して文字認識処理を行う文字認識処理部と、
前記文字認識処理部によって文字認識された文字列から、前記文字列に関する情報である文字列情報を抽出する文字列情報抽出部と、
前記文字列情報抽出部によって抽出された文字列情報に応じた文字フォントの表示用文字列を生成する表示用文字列生成部と、
前記表示用文字列を、前記撮像画像における前記文字列領域の近傍に表示するよう制御する表示制御部と
を備える撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２１０９５（Ｐ２０１２−２２１０９５Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８４５０１（Ｐ２０１１−８４５０１）
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月６日（２０１１．４．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]