画像処理装置及び画像処理プログラム
【課題】画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して利用者による書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させるようにした画像処理装置を提供する。
【解決手段】画像処理装置の画像受付手段は、書き込みを含む画像を受け付け、書込検出手段は、画像内の書き込みの位置を検出し、書込削除手段は、検出された書き込みの位置に基づいて、該書き込みを削除し、文字認識手段は、書き込みが削除された画像内の文字を認識し、翻訳対象文字列作成手段は、検出された書き込みの位置に基づいて、認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成し、翻訳手段は、前記作成された翻訳対象の文字列を翻訳し、翻訳画像生成手段は、翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する。
【解決手段】画像処理装置の画像受付手段は、書き込みを含む画像を受け付け、書込検出手段は、画像内の書き込みの位置を検出し、書込削除手段は、検出された書き込みの位置に基づいて、該書き込みを削除し、文字認識手段は、書き込みが削除された画像内の文字を認識し、翻訳対象文字列作成手段は、検出された書き込みの位置に基づいて、認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成し、翻訳手段は、前記作成された翻訳対象の文字列を翻訳し、翻訳画像生成手段は、翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
文書画像内の文字画像に対して文字認識をし、その後に他の言語に翻訳する技術がある。
また、文書に記載されている書き込みに基づいて、その文書を加工する技術がある。
【０００３】
これに関連する技術として、例えば、特許文献１には、簡単な原稿画像入力操作で、１つの言語に基づく文字画像を他の言語に翻訳してレイアウト印字すること、あるいは同一記録媒体の各面に振り分けて両面印刷することができる画像処理装置を提供することを目的とし、第１の言語に基づく第１の文字及び画像を含む原稿を画像入力する原稿入力手段と、この原稿入力手段から画像入力された原稿画像データを解析して文書データ領域と画像データ領域とに領域分離する分離手段と、この分離手段により分離された前記文書データ領域から文字画像を切り出して第１の文字を認識する認識手段と、この認識手段により認識された第１の文字に対応する文字データを第２の言語に基づく第２の文字データに翻訳する翻訳手段と、前記分離手段により領域分離された文書データ領域情報及び前記第２の文字データに基づいてレイアウトされた印刷データを生成するデータ生成手段と、このデータ生成手段により生成された前記印刷データに基づいて第２の文字データと前記原稿画像データをそれぞれ記録媒体の各片面に振り分けて両面印刷する印刷手段とを有する画像処理装置が開示されている。
【０００４】
また、例えば、特許文献２には、原稿の領域加工（例えば、領域の抽出、消去、白黒反転等）エリアをマークによって指定し、複数の領域加工を施したい原稿間の画像合成を行うことができるように、原稿画像を読み取り、画像情報を発生する読取手段と、原稿の所望領域をマークによって指定する指定手段と、前記指定手段による領域指定にしたがって前記所望領域を示す領域信号を発生する発生手段と、前記発生手段から発生される前記領域信号したがって、前記読取手段により発生された画像情報を加工する加工手段と、複数の画像情報を記憶可能な複数の記憶手段と、前記複数の記憶手段の書き込み、読み出しを制御する制御手段と、前記複数の記憶手段から読み出された画像情報を合成する手段を有し、複数の原稿画像を読み取り、前記複数の原稿に各々所望領域を前記指定手段により指定し、前記領域発生手段によって得られた領域信号によって発生された画像情報を加工手段によって加工し、加工された画像情報を、前記複数の記憶手段に記憶させ、複数の加工された画像情報を記憶している記憶手段より読み出し、前記合成手段により合成出力させる画像編集装置が開示されている。
【０００５】
また、例えば、特許文献３には、原稿画像中に存在する単語に対応する訳語の位置を明確にし、また、訳語付加により出力画像の内容が大幅に変更したとしても、複写画像の内容を読みやすくレイアウトして出力することを目的とし、原稿画像情報と該情報の対訳情報を上下位置に合成するとき、原稿画像情報の情報幅より対訳情報の情報幅が小さくなるように制御することが開示されている。
【特許文献１】特許第３６３６４９０号公報
【特許文献２】特開平０２−２５３３７７号公報
【特許文献３】特開平０５−３２４７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して利用者による書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、書き込みを含む画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段を具備することを特徴とする画像処理装置である。
【０００８】
請求項２の発明は、前記書込検出手段によって検出された書き込みと該書き込み以外である他の画像構成要素との位置関係を検出する位置関係検出手段と、前記位置関係検出手段によって検出された位置関係に基づいて、前記書き込みと前記他の画像構成要素との連結関係を検出する連結関係検出手段をさらに具備し、前記翻訳対象文字列作成手段は、前記連結関係検出手段によって検出された連結関係に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成することを特徴とする請求項１に記載の画像処理装置である。
【０００９】
請求項３の発明は、前記翻訳手段による翻訳結果内の前記書き込みを示す符号に対応する翻訳結果から、書き込みの画像を生成するための符号に変換する翻訳文変換手段をさらに具備し、前記翻訳画像生成手段は、前記翻訳文変換手段によって変換された翻訳結果の画像を生成することを特徴とする請求項１又は２に記載の画像処理装置である。
【００１０】
請求項４の発明は、前記翻訳手段は、前記書き込みを示す符号を名詞として扱って翻訳処理を行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。
【００１１】
請求項５の発明は、前記書き込みは、画像内の文字を隠蔽する画像であり、前記書込検出手段は、さらに前記書き込みの長さを検出し、前記翻訳画像生成手段は、前記書込検出手段によって検出された書き込みの長さに応じて、前記書き込みに対応する画像として隠蔽する画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。
【００１２】
請求項６の発明は、コンピュータを、書き込みを含む画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段として機能させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１３】
請求項１の画像処理装置によれば、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させることができる。
【００１４】
請求項２の画像処理装置によれば、本構成を有していない場合に比較して、書き込みが行われた画像部分を含む部分の翻訳の質劣化を抑制することができる。
【００１５】
請求項３の画像処理装置によれば、翻訳結果に基づいて、書き込みの画像部分を翻訳結果の画像に反映させることができる。
【００１６】
請求項４の画像処理装置によれば、書き込みを示す特殊な符号に対応していない翻訳技術を用いることができる。
【００１７】
請求項５の画像処理装置によれば、元の画像内の隠蔽画像に合わせて、翻訳画像における隠蔽する画像を生成することができる。
【００１８】
請求項６の画像処理プログラムによれば、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前であることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
【００２０】
本実施の形態は、図１に示すように、画像受付モジュール１１０、書込処理モジュール１２０、文字処理モジュール１３０、連結関係検出モジュール１４０、翻訳対象文字列作成モジュール１５０、翻訳モジュール１６０、翻訳文変更モジュール１７０、画像生成モジュール１８０、出力モジュール１９０を有している。本実施の形態は、例えば、文書を翻訳して公開する場合に、個人情報等を隠蔽するために黒塗りが施されている元の文書を対象として、それを文字認識し、翻訳して、翻訳文書を生成するものである。
【００２１】
画像受付モジュール１１０は、書込処理モジュール１２０と接続されており、画像を受け付けて、その画像を書込処理モジュール１２０へ渡す。画像を受け付けるとは、スキャナで画像を読み込むこと、ファックスで画像を受信すること、画像データベース等から画像を読み出すこと等が含まれる。画像には、利用者による書き込みが含まれている。その画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、ビジネス用に用いられる文書、広告宣伝用のパンフレット等であってもよい。この画像は、翻訳対象となる画像である。また、その画像に含まれている書き込みとは、例えば、具体的には、文書を公開するに際して、その文書に記載されている情報を隠蔽する箇所を指し示すために加筆された画像、例えば、より具体的には、文字を隠蔽する目的の黒マーカー（黒色の領域）等がある。以後、黒マーカーを主に例示して説明する。それは、手書きであると否とにかかわらない。
【００２２】
書込処理モジュール１２０は、画像受付モジュール１１０、文字処理モジュール１３０と接続されており、書込検出モジュール１２１、書込削除モジュール１２２を有している。書込処理モジュール１２０は、画像受付モジュール１１０から画像を受け取り、書込検出モジュール１２１、書込削除モジュール１２２を用いて、その画像内にある黒マーカーを検出し、その黒マーカーを削除して、黒マーカーのない画像を生成する。そして、その画像を文字処理モジュール１３０に渡す。
【００２３】
書込検出モジュール１２１は、書込削除モジュール１２２と接続されている。書込検出モジュール１２１は、画像受付モジュール１１０によって受け付けられた画像内の黒マーカーの位置を検出する。ここでの黒マーカーの検出処理は、黒マーカーの特徴（例えば、予め定められた閾値以上の黒画素数からなる領域であること、矩形内で黒画素の占有割合が予め定められた閾値以上であること等）を抽出し、その特徴を有している領域を検出する。検出結果としては、その黒マーカーの位置（長さを含めてもよい）となる。検出結果を、例えば指定箇所テーブル４００に記憶する。
【００２４】
図４は、指定箇所テーブル４００のデータ構造例を示す説明図である。指定箇所テーブル４００は、ＩＤ欄４１０、位置情報欄４２０を有している。ＩＤ欄４１０は、その黒マーカーを一意に識別する識別子である黒マーカーＩＤを記憶する。位置情報欄４２０は、その黒マーカーがある位置を記憶する。位置情報欄４２０は、Ｘ座標欄４２１、Ｙ座標欄４２２、幅欄４２３、高さ欄４２４を有している。Ｘ座標欄４２１、Ｙ座標欄４２２はその書き込みがある領域（例えば、矩形）の左上の座標を記憶し、幅欄４２３はその領域の幅（黒マーカーの長さに該当する）を記憶し、高さ欄４２４はその領域の高さを記憶する。以後、座標は、その画像内における絶対座標（画像内の左上を原点として、右方向にＸ軸、下方向にＹ軸を対応）の他、相対座標であってもよい。
【００２５】
書込削除モジュール１２２は、書込検出モジュール１２１と接続されている。書込削除モジュール１２２は、書込検出モジュール１２１によって検出された黒マーカーの位置に基づいて、その黒マーカーを画像受付モジュール１１０が受け付けた画像内から削除する。例えば、指定箇所テーブル４００を受け取り、その領域内の黒画素を白画素に置換することによって黒マーカーを削除する。これによって、画像は黒マーカーがなくなった画像となる。黒マーカーを削除した画像を文字処理モジュール１３０に渡す。
【００２６】
文字処理モジュール１３０は、書込処理モジュール１２０、連結関係検出モジュール１４０と接続されており、レイアウト検出モジュール１３１、文字認識モジュール１３２を有している。文字処理モジュール１３０は、書込処理モジュール１２０から黒マーカーが削除された画像を受け取り、レイアウト検出モジュール１３１、文字認識モジュール１３２を用いて、その画像内のレイアウト（文字画像、行、文章領域等の位置等）を検出し、画像内の文字画像を文字認識する。そして、その検出結果と認識結果を連結関係検出モジュール１４０に渡す。
【００２７】
レイアウト検出モジュール１３１は、文字認識モジュール１３２と接続されている。レイアウト検出モジュール１３１は、書込削除モジュール１２２によって黒マーカーが削除された画像内の文字画像の位置を検出する。文字画像の位置検出は、一般的に知られている文字認識技術における文字画像の抽出処理を用いればよい。例えば、画像内の横方向又は縦方向における黒画素のヒストグラム（黒画素の頻度分布）を生成して、その頻度が予め定められた閾値以上である領域を抽出することによって、行を抽出して、その行内における縦方向又は横方向における黒画素のヒストグラムを生成して、文字画像を検出する。また、空白領域と予め定められた文字画像の大きさを用いて文字画像を検出するようにしてもよい。そして、文字画像が予め定められた方向（例えば、横方向、縦方向）に予め定められた間隔以内で並んでいる領域を文字行領域として検出するようにしてもよい。さらに、その文字行領域が予め定められた間隔以内で並んでいる領域を文章領域として検出するようにしてもよい。つまり、文章領域内には複数の文字行領域があり、文字行領域内には複数の文字画像がある。そして、その検出結果である文字画像の位置を文字認識モジュール１３２に渡す。また、検出結果を、例えばレイアウト情報テーブル５００に記憶する。
【００２８】
図５は、レイアウト情報テーブル５００のデータ構造例を示す説明図である。レイアウト情報テーブル５００は、文章領域ＩＤ欄５１０、文章領域情報欄５２０、文字行領域ＩＤ欄５３０、文字行領域情報欄５４０、文字ＩＤ欄５５０、文字コード欄５６０、文字位置情報欄５７０を有している。文章領域ＩＤ欄５１０は、文章領域を一意に識別する識別子である文章領域ＩＤを記憶する。文章領域情報欄５２０は、Ｘ座標欄５２１、Ｙ座標欄５２２、幅欄５２３、高さ欄５２４を有している。Ｘ座標欄５２１、Ｙ座標欄５２２はその文章領域（例えば、矩形）の左上の座標を記憶し、幅欄５２３はその文章領域の幅を記憶し、高さ欄５２４はその文章領域の高さを記憶する。文字行領域ＩＤ欄５３０は、文字行領域を一意に識別する識別子である文字行領域ＩＤを記憶する。文字行領域情報欄５４０は、Ｘ座標欄５４１、Ｙ座標欄５４２、幅欄５４３、高さ欄５４４を有している。Ｘ座標欄５４１、Ｙ座標欄５４２はその文字行領域（例えば、矩形）の左上の座標を記憶し、幅欄５４３はその文字行領域の幅を記憶し、高さ欄５４４はその文字行領域の高さを記憶する。文字ＩＤ欄５５０は、文字画像を一意に識別する識別子である文字画像ＩＤを記憶する。文字コード欄５６０は、その文字画像に対する文字認識モジュール１３２による認識結果を記憶する。文字位置情報欄５７０は、Ｘ座標欄５７１、Ｙ座標欄５７２、幅欄５７３、高さ欄５７４を有している。Ｘ座標欄５７１、Ｙ座標欄５７２はその文字画像（例えば、矩形）の左上の座標を記憶し、幅欄５７３はその文字画像の幅を記憶し、高さ欄５７４はその文字画像の高さを記憶する。また、レイアウト情報テーブル５００によって、文章領域、文字行領域、文字画像間の包含関係を表している。また、文字認識モジュール１３２による文字認識結果に応じて、その文字画像の抽出をやり直して、文字位置情報欄５７０内の内容を修正するようにしてもよい。
【００２９】
文字認識モジュール１３２は、レイアウト検出モジュール１３１と接続されている。文字認識モジュール１３２は、レイアウト検出モジュール１３１によって検出された文字画像に対して、文字認識を行う。文字認識処理は、一般的に知られている文字認識技術を用いればよい。例えば、その文字画像の特徴（線の数等）を抽出して、特徴空間における位置を辞書内の文字と比較して、文字認識（文字コードの対応付け）を行うようにしてもよい。文字認識結果は、レイアウト情報テーブル５００内の文字コード欄５６０に記憶させる。そして、文字画像の位置とその文字認識結果を対応させて連結関係検出モジュール１４０に渡す。
なお、文字認識モジュール１３２による文字認識処理を行ってから、レイアウト検出モジュール１３１によるレイアウト検出の処理を行うようにしてもよい。つまり、文字認識モジュール１３２が、文字認識処理とともにその文字画像の位置を検出するようにしてもよい。
【００３０】
連結関係検出モジュール１４０は、文字処理モジュール１３０、翻訳対象文字列作成モジュール１５０と接続されている。連結関係検出モジュール１４０は、書込検出モジュール１２１によって検出された黒マーカーとレイアウト検出モジュール１３１によって検出された黒マーカー以外である他の画像構成要素（文字画像、文字行領域、文章領域等）との位置関係を検出する。そして、その検出された位置関係に基づいて、黒マーカーと他の画像構成要素との連結関係を検出する。つまり、この連結関係は、文の連結関係となる。そして、検出した連結関係を翻訳対象文字列作成モジュール１５０に渡す。
文字認識モジュール１３２は、黒マーカーが削除された画像を認識しているので、そのままの認識結果を翻訳してしまうと、自然言語処理を行う翻訳の質を低下させてしまうことになる。そこで、翻訳対象文字列作成モジュール１５０は認識結果内に黒マーカーを示す符号（黒マーカーが隠蔽している文字の代替）を挿入するが、連結関係検出モジュール１４０はその挿入すべき位置を決定するための処理を行うものである。
【００３１】
翻訳対象文字列作成モジュール１５０は、連結関係検出モジュール１４０、翻訳モジュール１６０と接続されている。翻訳対象文字列作成モジュール１５０は、書込検出モジュール１２１によって検出された黒マーカーの位置に基づいて、文字認識モジュール１３２による認識結果に黒マーカーを示す符号を挿入して、翻訳対象とする文字列を作成する。例えば、具体的には、連結関係検出モジュール１４０によって検出された連結関係に基づいて、文字認識モジュール１３２による認識結果に黒マーカーを示す符号を挿入して、翻訳対象とする文字列を作成する。そして、作成した文字列を翻訳モジュール１６０に渡す。なお、黒マーカーを示す符号としては、例えば、具体的には、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等の言語におけるマーカーや、予め定められた名詞がある。つまり、翻訳モジュール１６０がＸＭＬを扱える場合には、黒マーカーを示すマーカーを挿入する。翻訳モジュール１６０がＸＭＬを扱えない場合には、予め定められた名詞を挿入する。名詞（特に固有名詞、数詞等）は、隠蔽される可能性の高いものであり、翻訳処理において、そのままの形で翻訳結果となる場合が多いからである。また、翻訳対象文字列作成モジュール１５０は、名詞を挿入する場合は、その挿入する名詞が、認識結果内にないことを確認するようにしてもよい。そして、認識結果内にあった場合は、他の名詞を選択するようにしてもよい。
【００３２】
翻訳モジュール１６０は、翻訳対象文字列作成モジュール１５０、翻訳文変更モジュール１７０と接続されている。翻訳モジュール１６０は、翻訳対象文字列作成モジュール１５０によって作成された翻訳対象の文字列を翻訳する。また、黒マーカーを示す符号を名詞として扱って翻訳処理を行うようにしてもよい。例えば、具体的には、翻訳モジュール１６０がＸＭＬを扱える場合には、黒マーカーを示すマーカーを名詞として扱ってもよい。翻訳モジュール１６０がＸＭＬを扱えない場合には、予め定められた名詞が含まれた翻訳対象の文字列を翻訳することとなる。そして、翻訳した文字列を翻訳文変更モジュール１７０に渡す。
【００３３】
翻訳文変更モジュール１７０は、翻訳モジュール１６０、画像生成モジュール１８０と接続されている。翻訳文変更モジュール１７０は、翻訳モジュール１６０による翻訳結果内の黒マーカーを示す符号に対応する翻訳結果から、黒マーカーの画像を生成するための符号に変換する。黒マーカーの画像を生成するための符号とは、画像生成モジュール１８０が、翻訳結果の画像において、元の画像で黒マーカーが付された部分に対応する画像を生成するためのものであり、例えば、具体的には、黒四角形を表す文字コード等である。そして、変換した翻訳結果を画像生成モジュール１８０に渡す。
【００３４】
画像生成モジュール１８０は、翻訳文変更モジュール１７０、出力モジュール１９０と接続されている。画像生成モジュール１８０は、翻訳文変更モジュール１７０による翻訳結果に基づいて、黒マーカーに対応する画像を含めてその翻訳結果の画像を生成する。また、翻訳文変更モジュール１７０によって変換された翻訳結果の画像を生成するようにしてもよい。また、書込検出モジュール１２１によって検出された黒マーカーの長さに応じて、その黒マーカーに対応する画像として隠蔽する画像を生成するようにしてもよい。そして、生成した画像を出力モジュール１９０に渡す。なお、画像生成モジュール１８０が生成する画像は、ページ記述言語等によって記述されたファイルであってもよい。
【００３５】
出力モジュール１９０は、画像生成モジュール１８０と接続されている。出力モジュール１９０は、画像生成モジュール１８０から画像を受け取り、その画像を出力する。画像を出力するとは、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと等が含まれる。
【００３６】
図２は、本実施の形態による処理例を示すフローチャートである。図６から図１４に示した具体例を用いて説明する。
ステップＳ２０２では、書込検出モジュール１２１は、画像受付モジュール１１０が受け付けた画像内から黒マーカーを抽出し、その黒マーカーの画像内における位置を検出する。例えば、図６は、画像受付モジュール１１０が受け付ける画像の例を示す説明図である。対象画像６００は、黒マーカー６１０、６２０を有している。つまり、２つの領域が隠蔽されており、書込検出モジュール１２１は、この黒マーカー６１０、６２０を抽出する。
【００３７】
ステップＳ２０４では、書込削除モジュール１２２は、ステップＳ２０２で検出した黒マーカーの位置を用いて、その黒マーカーを画像から削除する。図７は、書込削除モジュール１２２が黒マーカー６１０を削除した後の画像の例を示す説明図である。つまり、ステップＳ２０２で抽出した黒マーカー６１０、黒マーカー６２０を削除する。その後は、黒マーカー削除領域７１０、７２０となる。
【００３８】
ステップＳ２０６では、レイアウト検出モジュール１３１は、ステップＳ２０４で黒マーカーが削除された画像内のレイアウトを解析し、文字認識モジュール１３２は、その画像に対して文字認識処理を実行する。
図８は、レイアウト検出モジュール１３１による対象画像６００に対する処理例を示す説明図である。レイアウト解析の結果、対象画像６００は、文章領域（文字行領域）８１０、文章領域８２０、文章領域８３０を有しており、文章領域８２０は、文字行領域８２１、文字行領域８２２、文字行領域８２３、文字行領域８２４を有しており、文字行領域８２１は、黒マーカー削除領域７１０と隣接しており、文章領域８３０は、文字行領域８３１、文字行領域８３２、文字行領域８３３、文字行領域８３４を有しており、文字行領域８３１は、黒マーカー削除領域７２０と隣接していることが判明する。そして、各文字行領域内の文字画像に対して、文字認識モジュール１３２が文字認識処理を行う。
【００３９】
ステップＳ２０８では、連結関係検出モジュール１４０は、ステップＳ２０６で認識した文字を含む行（文字行領域）の位置情報（レイアウト情報テーブル５００の文字行領域情報欄５４０）と黒マーカーの位置情報（指定箇所テーブル４００の位置情報欄４２０）とを比較して、文の連結関係を検出する。この検出処理については、図３の例に示すフローチャートを用いて後述する。
ステップＳ２１０では、翻訳対象文字列作成モジュール１５０は、翻訳モジュール１６０が翻訳対象としてＸＭＬで記述されたものに対応可能であるか否かを判断する。かかる判断において、対応可能であると判断した場合はステップＳ２１２へ進み、それ以外の場合はステップＳ２１８へ進む。
【００４０】
ステップＳ２１２では、翻訳対象文字列作成モジュール１５０は、ステップＳ２０８で検出された連結関係に基づいて、黒マーカーに対応したタグを、ステップＳ２０６での認識結果に挿入して、翻訳対象用のＸＭＬを作成する。図９は、翻訳対象ＸＭＬ９００の例を示す説明図である。翻訳対象ＸＭＬ９００は、マーカータグ９１０、マーカータグ９２０を有している。つまり、文字認識結果内には、レイアウト情報をタグ（＜ｒｅｇｉｏｎ１＞等）として含み、さらに黒マーカーに対応したタグであるマーカータグ９１０、９２０（＜ｍａｒｋｅｒ／＞）を、ステップＳ２０８で検出した連結関係に基づいて挿入する。
【００４１】
ステップＳ２１４では、翻訳モジュール１６０は、ステップＳ２１２で作成された翻訳対象用のＸＭＬに対して（機械）翻訳処理を実行する。ここでの翻訳処理は、黒マーカーに対応したタグを名詞として扱うようにして、そのタグのまま翻訳結果として出力する。図１０は、翻訳結果である翻訳後ＸＭＬ１０００の例を示す説明図である。翻訳後ＸＭＬ１０００は、マーカータグ９１０、マーカータグ９２０を有している。つまり、翻訳結果内には、レイアウト情報をタグ（＜ｒｅｇｉｏｎ１＞等）として含み、さらに黒マーカーに対応したタグであるマーカータグ９１０、９２０（＜ｍａｒｋｅｒ／＞）を名詞として扱って翻訳を行い、その結果、図１０の例に示す位置に、マーカータグ９１０、９２０がある。
ステップＳ２１６では、翻訳文変更モジュール１７０は、ステップＳ２１４での翻訳結果内にあるタグを黒四角形を表す文字コードに置換する。
【００４２】
ステップＳ２１８では、翻訳対象文字列作成モジュール１５０は、ステップＳ２０８で検出された連結関係に基づいて、黒マーカーに対応した文字列を、ステップＳ２０６での認識結果に挿入して、翻訳対象用文章を作成する。なお、黒マーカーに対応した文字列は、固有名詞等であってもよい。特に、翻訳先の言語が英語である場合は数詞でもよい。図１１は、翻訳対象文章１１００の例を示す説明図である。翻訳対象文章１１００は、マーカー文字列１１１０、マーカー文字列１１２０を有している。つまり、文字認識結果内には、黒マーカーに対応した文字列であるマーカー文字列１１１０（「Ｍａｒｋｅｒ」）、マーカー文字列１１２０（「２００８０３１４」）を、ステップＳ２０８で検出した連結関係に基づいて挿入する。
【００４３】
ステップＳ２２０では、翻訳モジュール１６０は、ステップＳ２１８で作成された翻訳対象用文章に対して（機械）翻訳処理を実行する。ステップＳ２１８で挿入された文字列は名詞であるので、そのまま（つまりそれ自体は翻訳されずに）翻訳結果として出力される。図１２は、翻訳結果である翻訳後文章１２００の例を示す説明図である。翻訳後文章１２００は、翻訳後マーカー文字列１２１０、翻訳後マーカー文字列１２２０を有している。つまり、翻訳結果内には、黒マーカーに対応した文字列であるマーカー文字列１１１０、１１２０を翻訳し、その結果、図１２の例に示す位置に、翻訳後マーカー文字列１２１０、１２２０がある。
ステップＳ２２２では、翻訳文変更モジュール１７０は、ステップＳ２２０での翻訳結果内にあって、ステップＳ２１８で挿入された文字列を黒四角形を表す文字コードに置換する。
【００４４】
ステップＳ２２４では、画像生成モジュール１８０は、出力の形態として、置換翻訳（元の画像の文字画像を残すことをせずに、翻訳結果を上書きするようにした出力、図１３参照）か、ルビ風翻訳（元の画像の文字画像はそのまま残し、翻訳結果をルビのように対応させるようにして出力、図１４参照）かを判断する。これは、本実施の形態の利用者による操作又は予め定められた出力の形態に応じて、判断されるものである。
【００４５】
ステップＳ２２６では、画像生成モジュール１８０は、ステップＳ２０４で黒マーカーが削除された画像から、ステップＳ２０６で解析されたレイアウト内の文字画像を除去する。つまり、翻訳対象とした文字画像を元の画像から削除する。これによって、画像内には文字画像以外の画像（例えば、図形、写真画像等）が残る。
ステップＳ２２８では、画像生成モジュール１８０は、画像受付モジュール１１０が受け付けた画像を出力対象の画像として選択する。この選択した画像がステップＳ２３０での処理対象となる。
【００４６】
ステップＳ２３０では、画像生成モジュール１８０は、ステップＳ２０６で解析されたレイアウト内の文章領域情報（レイアウト情報テーブル５００の文章領域情報欄５２０）を用いて、翻訳結果（ステップＳ２１６、ステップＳ２２２の処理結果）の文字画像を配置する。その際、置換翻訳の出力の形態である場合は、文章領域内にその翻訳結果の言語に合わせた配置を行う。ルビ風翻訳の出力の形態である場合は、文章領域内には元の文字画像があるので、その行間に翻訳結果の文字画像を配置する。そして、出力モジュール１９０は、翻訳結果の文字画像が配置された画像を出力する。なお、黒マーカーに対応する画像、つまり黒四角形を表す文字コードの文字画像を生成する場合に、その隠蔽する文字画像全体の長さを、ステップＳ２０２で抽出した黒マーカーの長さに比例させて決定するようにしてもよい。
【００４７】
図１３は、置換翻訳が行われた翻訳画像１３００の例を示す説明図である。翻訳画像１３００は、ステップＳ２２６の処理が行われた場合の翻訳画像である。つまり、ステップＳ２０６でのレイアウト解析の結果を用いることによって、翻訳画像１３００は対象画像６００と同等のレイアウトを有している。そして、対象画像６００から抽出した文章領域内に翻訳結果を配置したものである。翻訳画像１３００内には、黒マーカー６１０、６２０にそれぞれ対応したマスキング領域１３１０、１３２０がある。また、抽出した黒マーカーの順番にしたがって、マスキング領域の形態（色、形状、矩形内に提示する文字列、それらの組み合わせ）を異ならせてもよい。マスキング領域１３２０は、図１３では「言葉Ａ」としているが、隠蔽している文字であることを示すような文字列であってもよい。
【００４８】
図１４は、ルビ風翻訳が行われた翻訳画像１４００の例を示す説明図である。翻訳画像１４００は、ステップＳ２２８の処理が行われた場合の翻訳画像である。つまり、画像受付モジュール１１０が受け付けた画像をそのまま用いて、ステップＳ２０６でのレイアウト解析の結果を用いることによって、その行間に翻訳結果を配置したものである。
ただし、抽出した黒マーカーの順番にしたがって、黒マーカー及びマスキング領域の形態を異ならせてもよい。つまり、翻訳画像１４００内には、マスキング領域１４１０、１４１１、１４２０、１４２１を有しているが、マスキング領域１４１０は黒マーカー６１０の形態を変更したものであり、マスキング領域１４１１は黒マーカー６１０に対応した翻訳部分であり、マスキング領域１４１０と同等の形態にしたものであり、マスキング領域１４２０は黒マーカー６２０の形態を変更したものであり、マスキング領域１４２１は黒マーカー６２０に対応した翻訳部分であり、マスキング領域１４２０と同等の形態にしたものである。
【００４９】
図３は、連結関係を判断する処理例を示すフローチャートである。つまり、図２の例に示したフローチャート内の連結関係検出モジュール１４０が行うステップＳ２０８の処理について説明する。その際、図１５、図１６に示した具体例を用いて説明する。
【００５０】
ステップＳ３０２では、レイアウト検出モジュール１３１によって検出されたレイアウト内の文字行領域情報から、文字行の縦横比を求め、文の方向（横書き、縦書き）を取得する。
ステップＳ３０４では、レイアウト検出モジュール１３１によって検出されたレイアウト内の文章領域内にある文字画像の平均文字サイズ（横書きの場合は文字画像の幅、縦書きの場合は文字画像の高さ）、平均文字間隔を計算する。なお、平均の計算をするのに、文章領域内にある文字画像数を総数とする。
【００５１】
ステップＳ３０６では、書込検出モジュール１２１が検出した黒マーカーと、その黒マーカーにステップＳ３０２で抽出した文の方向で隣接する文字行領域との距離を算出する。例えば、図１５の例に示すように、文の方向が横である場合に、文字行領域１５２０は黒マーカー１５１０と隣接しており、距離１５３０を算出する。なお、算出した距離が２つある場合（文字行内に黒マーカーが挟まれている場合）、その距離のうち短いものを採用するようにしてもよい。
【００５２】
ステップＳ３０８では、ステップＳ３０６で算出した距離とステップＳ３０４で計算した平均文字サイズと平均文字間隔を用いて、黒マーカーと隣接している文字行領域とは文として連結しているか否かを判断する。例えば、以下の条件式１を満たす場合はステップＳ３１６へ進み、それ以外の場合はステップＳ３１０へ進む。
距離＜（平均文字サイズ＋平均文字間隔） （条件式１）
この条件式１は、黒マーカーが文字行内の文字を隠蔽しているのか否かを判断するためのものである。
【００５３】
ステップＳ３１０では、書込検出モジュール１２１が検出した黒マーカーと、その黒マーカーを含む文章領域の境界との距離を算出する。例えば、図１６の例に示すように、文章領域１６２０は黒マーカー１６１０を含んでおり、文章領域１６２０の境界との距離１６３０を算出する。なお、黒マーカーに対して、ステップＳ３０２で抽出した文の方向にある文章領域の境界との距離を算出するようにしてもよく、その距離のうち短いものを採用するようにしてもよい。
【００５４】
ステップＳ３１２では、ステップＳ３１０で算出した距離とステップＳ３０４で計算した平均文字サイズと平均文字間隔を用いて、黒マーカーはその黒マーカーを含む文章領域内で、文として連結しているか否かを判断する。例えば、以下の条件式２を満たす場合はステップＳ３１６へ進み、それ以外の場合はステップＳ３１４へ進む。
距離＜（２×平均文字サイズ＋平均文字間隔） （条件式２）
この条件式２は、黒マーカーが文章領域内の文字を隠蔽しているのか否かを判断するためのものである。
【００５５】
ステップＳ３１４では、文が途切れていると判断する。つまり、黒マーカーに対応した符号は、独立している文字列（その前後には、改行又は空白文字がある）として取り扱えるようにする。
ステップＳ３１６では、文が連結していると判断する。つまり、黒マーカーは文の一部であるとして取り扱えるようにする。
【００５６】
図１７を参照して、本実施の形態のハードウェア構成例について説明する。図１７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１７１７と、プリンタなどのデータ出力部１７１８を備えたハードウェア構成例を示している。
【００５７】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０１は、前述の実施の形態において説明した各種のモジュール、すなわち、書込処理モジュール１２０、文字処理モジュール１３０、連結関係検出モジュール１４０、翻訳対象文字列作成モジュール１５０、翻訳モジュール１６０、翻訳文変更モジュール１７０、画像生成モジュール１８０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００５８】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０２は、ＣＰＵ１７０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７０３は、ＣＰＵ１７０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１７０４により相互に接続されている。
【００５９】
ホストバス１７０４は、ブリッジ１７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１７０６に接続されている。
【００６０】
キーボード１７０８、マウス等のポインティングデバイス１７０９は、操作者により操作される入力デバイスである。ディスプレイ１７１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
【００６１】
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１７０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール１１０が受け付けた画像、文字認識モジュール１３２による認識結果、翻訳モジュール１６０による翻訳結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００６２】
ドライブ１７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１７１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１７０７、外部バス１７０６、ブリッジ１７０５、及びホストバス１７０４を介して接続されているＲＡＭ１７０３に供給する。リムーバブル記録媒体１７１３も、ハードディスクと同等のデータ記録領域として利用可能である。
【００６３】
接続ポート１７１４は、外部接続機器１７１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１７１４は、インタフェース１７０７、及び外部バス１７０６、ブリッジ１７０５、ホストバス１７０４等を介してＣＰＵ１７０１等に接続されている。通信部１７１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１７１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１７１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００６４】
なお、図１７に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００６５】
前記実施の形態においては、書き込みとして、黒マーカーを示したが、削除線等であってもよい。本実施の形態は、書き込みを行うことによって、文字認識率を低下させ、その結果、翻訳の質も低下させてしまうような場合に特に適している。
【００６６】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕｅ−ｒａｙ Ｄｉｓｋ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【図面の簡単な説明】
【００６７】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態による処理例を示すフローチャートである。
【図３】連結関係を判断する処理例を示すフローチャートである。
【図４】指定箇所テーブルのデータ構造例を示す説明図である。
【図５】レイアウト情報テーブルのデータ構造例を示す説明図である。
【図６】画像受付モジュールが受け付ける画像の例を示す説明図である。
【図７】書込削除モジュールが黒マーカーを削除した後の画像の例を示す説明図である。
【図８】レイアウト検出モジュールによる対象画像に対する処理例を示す説明図である。
【図９】翻訳対象ＸＭＬの例を示す説明図である。
【図１０】翻訳後ＸＭＬの例を示す説明図である。
【図１１】翻訳対象文章の例を示す説明図である。
【図１２】翻訳後文章の例を示す説明図である。
【図１３】置換翻訳が行われた翻訳画像の例を示す説明図である。
【図１４】ルビ風翻訳が行われた翻訳画像の例を示す説明図である。
【図１５】黒マーカーと文字行領域との関係例を示す説明図である。
【図１６】黒マーカーと文章領域との関係例を示す説明図である。
【図１７】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【００６８】
１１０…画像受付モジュール
１２０…書込処理モジュール
１２１…書込検出モジュール
１２２…書込削除モジュール
１３０…文字処理モジュール
１３１…レイアウト検出モジュール
１３２…文字認識モジュール
１４０…連結関係検出モジュール
１５０…翻訳対象文字列作成モジュール
１６０…翻訳モジュール
１７０…翻訳文変更モジュール
１８０…画像生成モジュール
１９０…出力モジュール
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
文書画像内の文字画像に対して文字認識をし、その後に他の言語に翻訳する技術がある。
また、文書に記載されている書き込みに基づいて、その文書を加工する技術がある。
【０００３】
これに関連する技術として、例えば、特許文献１には、簡単な原稿画像入力操作で、１つの言語に基づく文字画像を他の言語に翻訳してレイアウト印字すること、あるいは同一記録媒体の各面に振り分けて両面印刷することができる画像処理装置を提供することを目的とし、第１の言語に基づく第１の文字及び画像を含む原稿を画像入力する原稿入力手段と、この原稿入力手段から画像入力された原稿画像データを解析して文書データ領域と画像データ領域とに領域分離する分離手段と、この分離手段により分離された前記文書データ領域から文字画像を切り出して第１の文字を認識する認識手段と、この認識手段により認識された第１の文字に対応する文字データを第２の言語に基づく第２の文字データに翻訳する翻訳手段と、前記分離手段により領域分離された文書データ領域情報及び前記第２の文字データに基づいてレイアウトされた印刷データを生成するデータ生成手段と、このデータ生成手段により生成された前記印刷データに基づいて第２の文字データと前記原稿画像データをそれぞれ記録媒体の各片面に振り分けて両面印刷する印刷手段とを有する画像処理装置が開示されている。
【０００４】
また、例えば、特許文献２には、原稿の領域加工（例えば、領域の抽出、消去、白黒反転等）エリアをマークによって指定し、複数の領域加工を施したい原稿間の画像合成を行うことができるように、原稿画像を読み取り、画像情報を発生する読取手段と、原稿の所望領域をマークによって指定する指定手段と、前記指定手段による領域指定にしたがって前記所望領域を示す領域信号を発生する発生手段と、前記発生手段から発生される前記領域信号したがって、前記読取手段により発生された画像情報を加工する加工手段と、複数の画像情報を記憶可能な複数の記憶手段と、前記複数の記憶手段の書き込み、読み出しを制御する制御手段と、前記複数の記憶手段から読み出された画像情報を合成する手段を有し、複数の原稿画像を読み取り、前記複数の原稿に各々所望領域を前記指定手段により指定し、前記領域発生手段によって得られた領域信号によって発生された画像情報を加工手段によって加工し、加工された画像情報を、前記複数の記憶手段に記憶させ、複数の加工された画像情報を記憶している記憶手段より読み出し、前記合成手段により合成出力させる画像編集装置が開示されている。
【０００５】
また、例えば、特許文献３には、原稿画像中に存在する単語に対応する訳語の位置を明確にし、また、訳語付加により出力画像の内容が大幅に変更したとしても、複写画像の内容を読みやすくレイアウトして出力することを目的とし、原稿画像情報と該情報の対訳情報を上下位置に合成するとき、原稿画像情報の情報幅より対訳情報の情報幅が小さくなるように制御することが開示されている。
【特許文献１】特許第３６３６４９０号公報
【特許文献２】特開平０２−２５３３７７号公報
【特許文献３】特開平０５−３２４７２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して利用者による書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させるようにした画像処理装置及び画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、書き込みを含む画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段を具備することを特徴とする画像処理装置である。
【０００８】
請求項２の発明は、前記書込検出手段によって検出された書き込みと該書き込み以外である他の画像構成要素との位置関係を検出する位置関係検出手段と、前記位置関係検出手段によって検出された位置関係に基づいて、前記書き込みと前記他の画像構成要素との連結関係を検出する連結関係検出手段をさらに具備し、前記翻訳対象文字列作成手段は、前記連結関係検出手段によって検出された連結関係に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成することを特徴とする請求項１に記載の画像処理装置である。
【０００９】
請求項３の発明は、前記翻訳手段による翻訳結果内の前記書き込みを示す符号に対応する翻訳結果から、書き込みの画像を生成するための符号に変換する翻訳文変換手段をさらに具備し、前記翻訳画像生成手段は、前記翻訳文変換手段によって変換された翻訳結果の画像を生成することを特徴とする請求項１又は２に記載の画像処理装置である。
【００１０】
請求項４の発明は、前記翻訳手段は、前記書き込みを示す符号を名詞として扱って翻訳処理を行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置である。
【００１１】
請求項５の発明は、前記書き込みは、画像内の文字を隠蔽する画像であり、前記書込検出手段は、さらに前記書き込みの長さを検出し、前記翻訳画像生成手段は、前記書込検出手段によって検出された書き込みの長さに応じて、前記書き込みに対応する画像として隠蔽する画像を生成することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置である。
【００１２】
請求項６の発明は、コンピュータを、書き込みを含む画像を受け付ける画像受付手段と、前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段として機能させることを特徴とする画像処理プログラムである。
【発明の効果】
【００１３】
請求項１の画像処理装置によれば、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させることができる。
【００１４】
請求項２の画像処理装置によれば、本構成を有していない場合に比較して、書き込みが行われた画像部分を含む部分の翻訳の質劣化を抑制することができる。
【００１５】
請求項３の画像処理装置によれば、翻訳結果に基づいて、書き込みの画像部分を翻訳結果の画像に反映させることができる。
【００１６】
請求項４の画像処理装置によれば、書き込みを示す特殊な符号に対応していない翻訳技術を用いることができる。
【００１７】
請求項５の画像処理装置によれば、元の画像内の隠蔽画像に合わせて、翻訳画像における隠蔽する画像を生成することができる。
【００１８】
請求項６の画像処理プログラムによれば、画像を文字認識し、その文字認識結果を翻訳し、さらにその翻訳結果の画像を生成する場合にあって、元の画像に対して書き込みがあるとき、その書き込みの画像部分を翻訳結果の画像に反映させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。「予め定められた」とは、対象としている処理の前であることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。
【００２０】
本実施の形態は、図１に示すように、画像受付モジュール１１０、書込処理モジュール１２０、文字処理モジュール１３０、連結関係検出モジュール１４０、翻訳対象文字列作成モジュール１５０、翻訳モジュール１６０、翻訳文変更モジュール１７０、画像生成モジュール１８０、出力モジュール１９０を有している。本実施の形態は、例えば、文書を翻訳して公開する場合に、個人情報等を隠蔽するために黒塗りが施されている元の文書を対象として、それを文字認識し、翻訳して、翻訳文書を生成するものである。
【００２１】
画像受付モジュール１１０は、書込処理モジュール１２０と接続されており、画像を受け付けて、その画像を書込処理モジュール１２０へ渡す。画像を受け付けるとは、スキャナで画像を読み込むこと、ファックスで画像を受信すること、画像データベース等から画像を読み出すこと等が含まれる。画像には、利用者による書き込みが含まれている。その画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、ビジネス用に用いられる文書、広告宣伝用のパンフレット等であってもよい。この画像は、翻訳対象となる画像である。また、その画像に含まれている書き込みとは、例えば、具体的には、文書を公開するに際して、その文書に記載されている情報を隠蔽する箇所を指し示すために加筆された画像、例えば、より具体的には、文字を隠蔽する目的の黒マーカー（黒色の領域）等がある。以後、黒マーカーを主に例示して説明する。それは、手書きであると否とにかかわらない。
【００２２】
書込処理モジュール１２０は、画像受付モジュール１１０、文字処理モジュール１３０と接続されており、書込検出モジュール１２１、書込削除モジュール１２２を有している。書込処理モジュール１２０は、画像受付モジュール１１０から画像を受け取り、書込検出モジュール１２１、書込削除モジュール１２２を用いて、その画像内にある黒マーカーを検出し、その黒マーカーを削除して、黒マーカーのない画像を生成する。そして、その画像を文字処理モジュール１３０に渡す。
【００２３】
書込検出モジュール１２１は、書込削除モジュール１２２と接続されている。書込検出モジュール１２１は、画像受付モジュール１１０によって受け付けられた画像内の黒マーカーの位置を検出する。ここでの黒マーカーの検出処理は、黒マーカーの特徴（例えば、予め定められた閾値以上の黒画素数からなる領域であること、矩形内で黒画素の占有割合が予め定められた閾値以上であること等）を抽出し、その特徴を有している領域を検出する。検出結果としては、その黒マーカーの位置（長さを含めてもよい）となる。検出結果を、例えば指定箇所テーブル４００に記憶する。
【００２４】
図４は、指定箇所テーブル４００のデータ構造例を示す説明図である。指定箇所テーブル４００は、ＩＤ欄４１０、位置情報欄４２０を有している。ＩＤ欄４１０は、その黒マーカーを一意に識別する識別子である黒マーカーＩＤを記憶する。位置情報欄４２０は、その黒マーカーがある位置を記憶する。位置情報欄４２０は、Ｘ座標欄４２１、Ｙ座標欄４２２、幅欄４２３、高さ欄４２４を有している。Ｘ座標欄４２１、Ｙ座標欄４２２はその書き込みがある領域（例えば、矩形）の左上の座標を記憶し、幅欄４２３はその領域の幅（黒マーカーの長さに該当する）を記憶し、高さ欄４２４はその領域の高さを記憶する。以後、座標は、その画像内における絶対座標（画像内の左上を原点として、右方向にＸ軸、下方向にＹ軸を対応）の他、相対座標であってもよい。
【００２５】
書込削除モジュール１２２は、書込検出モジュール１２１と接続されている。書込削除モジュール１２２は、書込検出モジュール１２１によって検出された黒マーカーの位置に基づいて、その黒マーカーを画像受付モジュール１１０が受け付けた画像内から削除する。例えば、指定箇所テーブル４００を受け取り、その領域内の黒画素を白画素に置換することによって黒マーカーを削除する。これによって、画像は黒マーカーがなくなった画像となる。黒マーカーを削除した画像を文字処理モジュール１３０に渡す。
【００２６】
文字処理モジュール１３０は、書込処理モジュール１２０、連結関係検出モジュール１４０と接続されており、レイアウト検出モジュール１３１、文字認識モジュール１３２を有している。文字処理モジュール１３０は、書込処理モジュール１２０から黒マーカーが削除された画像を受け取り、レイアウト検出モジュール１３１、文字認識モジュール１３２を用いて、その画像内のレイアウト（文字画像、行、文章領域等の位置等）を検出し、画像内の文字画像を文字認識する。そして、その検出結果と認識結果を連結関係検出モジュール１４０に渡す。
【００２７】
レイアウト検出モジュール１３１は、文字認識モジュール１３２と接続されている。レイアウト検出モジュール１３１は、書込削除モジュール１２２によって黒マーカーが削除された画像内の文字画像の位置を検出する。文字画像の位置検出は、一般的に知られている文字認識技術における文字画像の抽出処理を用いればよい。例えば、画像内の横方向又は縦方向における黒画素のヒストグラム（黒画素の頻度分布）を生成して、その頻度が予め定められた閾値以上である領域を抽出することによって、行を抽出して、その行内における縦方向又は横方向における黒画素のヒストグラムを生成して、文字画像を検出する。また、空白領域と予め定められた文字画像の大きさを用いて文字画像を検出するようにしてもよい。そして、文字画像が予め定められた方向（例えば、横方向、縦方向）に予め定められた間隔以内で並んでいる領域を文字行領域として検出するようにしてもよい。さらに、その文字行領域が予め定められた間隔以内で並んでいる領域を文章領域として検出するようにしてもよい。つまり、文章領域内には複数の文字行領域があり、文字行領域内には複数の文字画像がある。そして、その検出結果である文字画像の位置を文字認識モジュール１３２に渡す。また、検出結果を、例えばレイアウト情報テーブル５００に記憶する。
【００２８】
図５は、レイアウト情報テーブル５００のデータ構造例を示す説明図である。レイアウト情報テーブル５００は、文章領域ＩＤ欄５１０、文章領域情報欄５２０、文字行領域ＩＤ欄５３０、文字行領域情報欄５４０、文字ＩＤ欄５５０、文字コード欄５６０、文字位置情報欄５７０を有している。文章領域ＩＤ欄５１０は、文章領域を一意に識別する識別子である文章領域ＩＤを記憶する。文章領域情報欄５２０は、Ｘ座標欄５２１、Ｙ座標欄５２２、幅欄５２３、高さ欄５２４を有している。Ｘ座標欄５２１、Ｙ座標欄５２２はその文章領域（例えば、矩形）の左上の座標を記憶し、幅欄５２３はその文章領域の幅を記憶し、高さ欄５２４はその文章領域の高さを記憶する。文字行領域ＩＤ欄５３０は、文字行領域を一意に識別する識別子である文字行領域ＩＤを記憶する。文字行領域情報欄５４０は、Ｘ座標欄５４１、Ｙ座標欄５４２、幅欄５４３、高さ欄５４４を有している。Ｘ座標欄５４１、Ｙ座標欄５４２はその文字行領域（例えば、矩形）の左上の座標を記憶し、幅欄５４３はその文字行領域の幅を記憶し、高さ欄５４４はその文字行領域の高さを記憶する。文字ＩＤ欄５５０は、文字画像を一意に識別する識別子である文字画像ＩＤを記憶する。文字コード欄５６０は、その文字画像に対する文字認識モジュール１３２による認識結果を記憶する。文字位置情報欄５７０は、Ｘ座標欄５７１、Ｙ座標欄５７２、幅欄５７３、高さ欄５７４を有している。Ｘ座標欄５７１、Ｙ座標欄５７２はその文字画像（例えば、矩形）の左上の座標を記憶し、幅欄５７３はその文字画像の幅を記憶し、高さ欄５７４はその文字画像の高さを記憶する。また、レイアウト情報テーブル５００によって、文章領域、文字行領域、文字画像間の包含関係を表している。また、文字認識モジュール１３２による文字認識結果に応じて、その文字画像の抽出をやり直して、文字位置情報欄５７０内の内容を修正するようにしてもよい。
【００２９】
文字認識モジュール１３２は、レイアウト検出モジュール１３１と接続されている。文字認識モジュール１３２は、レイアウト検出モジュール１３１によって検出された文字画像に対して、文字認識を行う。文字認識処理は、一般的に知られている文字認識技術を用いればよい。例えば、その文字画像の特徴（線の数等）を抽出して、特徴空間における位置を辞書内の文字と比較して、文字認識（文字コードの対応付け）を行うようにしてもよい。文字認識結果は、レイアウト情報テーブル５００内の文字コード欄５６０に記憶させる。そして、文字画像の位置とその文字認識結果を対応させて連結関係検出モジュール１４０に渡す。
なお、文字認識モジュール１３２による文字認識処理を行ってから、レイアウト検出モジュール１３１によるレイアウト検出の処理を行うようにしてもよい。つまり、文字認識モジュール１３２が、文字認識処理とともにその文字画像の位置を検出するようにしてもよい。
【００３０】
連結関係検出モジュール１４０は、文字処理モジュール１３０、翻訳対象文字列作成モジュール１５０と接続されている。連結関係検出モジュール１４０は、書込検出モジュール１２１によって検出された黒マーカーとレイアウト検出モジュール１３１によって検出された黒マーカー以外である他の画像構成要素（文字画像、文字行領域、文章領域等）との位置関係を検出する。そして、その検出された位置関係に基づいて、黒マーカーと他の画像構成要素との連結関係を検出する。つまり、この連結関係は、文の連結関係となる。そして、検出した連結関係を翻訳対象文字列作成モジュール１５０に渡す。
文字認識モジュール１３２は、黒マーカーが削除された画像を認識しているので、そのままの認識結果を翻訳してしまうと、自然言語処理を行う翻訳の質を低下させてしまうことになる。そこで、翻訳対象文字列作成モジュール１５０は認識結果内に黒マーカーを示す符号（黒マーカーが隠蔽している文字の代替）を挿入するが、連結関係検出モジュール１４０はその挿入すべき位置を決定するための処理を行うものである。
【００３１】
翻訳対象文字列作成モジュール１５０は、連結関係検出モジュール１４０、翻訳モジュール１６０と接続されている。翻訳対象文字列作成モジュール１５０は、書込検出モジュール１２１によって検出された黒マーカーの位置に基づいて、文字認識モジュール１３２による認識結果に黒マーカーを示す符号を挿入して、翻訳対象とする文字列を作成する。例えば、具体的には、連結関係検出モジュール１４０によって検出された連結関係に基づいて、文字認識モジュール１３２による認識結果に黒マーカーを示す符号を挿入して、翻訳対象とする文字列を作成する。そして、作成した文字列を翻訳モジュール１６０に渡す。なお、黒マーカーを示す符号としては、例えば、具体的には、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）等の言語におけるマーカーや、予め定められた名詞がある。つまり、翻訳モジュール１６０がＸＭＬを扱える場合には、黒マーカーを示すマーカーを挿入する。翻訳モジュール１６０がＸＭＬを扱えない場合には、予め定められた名詞を挿入する。名詞（特に固有名詞、数詞等）は、隠蔽される可能性の高いものであり、翻訳処理において、そのままの形で翻訳結果となる場合が多いからである。また、翻訳対象文字列作成モジュール１５０は、名詞を挿入する場合は、その挿入する名詞が、認識結果内にないことを確認するようにしてもよい。そして、認識結果内にあった場合は、他の名詞を選択するようにしてもよい。
【００３２】
翻訳モジュール１６０は、翻訳対象文字列作成モジュール１５０、翻訳文変更モジュール１７０と接続されている。翻訳モジュール１６０は、翻訳対象文字列作成モジュール１５０によって作成された翻訳対象の文字列を翻訳する。また、黒マーカーを示す符号を名詞として扱って翻訳処理を行うようにしてもよい。例えば、具体的には、翻訳モジュール１６０がＸＭＬを扱える場合には、黒マーカーを示すマーカーを名詞として扱ってもよい。翻訳モジュール１６０がＸＭＬを扱えない場合には、予め定められた名詞が含まれた翻訳対象の文字列を翻訳することとなる。そして、翻訳した文字列を翻訳文変更モジュール１７０に渡す。
【００３３】
翻訳文変更モジュール１７０は、翻訳モジュール１６０、画像生成モジュール１８０と接続されている。翻訳文変更モジュール１７０は、翻訳モジュール１６０による翻訳結果内の黒マーカーを示す符号に対応する翻訳結果から、黒マーカーの画像を生成するための符号に変換する。黒マーカーの画像を生成するための符号とは、画像生成モジュール１８０が、翻訳結果の画像において、元の画像で黒マーカーが付された部分に対応する画像を生成するためのものであり、例えば、具体的には、黒四角形を表す文字コード等である。そして、変換した翻訳結果を画像生成モジュール１８０に渡す。
【００３４】
画像生成モジュール１８０は、翻訳文変更モジュール１７０、出力モジュール１９０と接続されている。画像生成モジュール１８０は、翻訳文変更モジュール１７０による翻訳結果に基づいて、黒マーカーに対応する画像を含めてその翻訳結果の画像を生成する。また、翻訳文変更モジュール１７０によって変換された翻訳結果の画像を生成するようにしてもよい。また、書込検出モジュール１２１によって検出された黒マーカーの長さに応じて、その黒マーカーに対応する画像として隠蔽する画像を生成するようにしてもよい。そして、生成した画像を出力モジュール１９０に渡す。なお、画像生成モジュール１８０が生成する画像は、ページ記述言語等によって記述されたファイルであってもよい。
【００３５】
出力モジュール１９０は、画像生成モジュール１８０と接続されている。出力モジュール１９０は、画像生成モジュール１８０から画像を受け取り、その画像を出力する。画像を出力するとは、プリンタ等の印刷装置で印刷すること、ディスプレイ等の表示装置に表示すること、ファックス等の画像送信装置で画像を送信すること、画像データベース等の画像記憶装置へ画像を書き込むこと等が含まれる。
【００３６】
図２は、本実施の形態による処理例を示すフローチャートである。図６から図１４に示した具体例を用いて説明する。
ステップＳ２０２では、書込検出モジュール１２１は、画像受付モジュール１１０が受け付けた画像内から黒マーカーを抽出し、その黒マーカーの画像内における位置を検出する。例えば、図６は、画像受付モジュール１１０が受け付ける画像の例を示す説明図である。対象画像６００は、黒マーカー６１０、６２０を有している。つまり、２つの領域が隠蔽されており、書込検出モジュール１２１は、この黒マーカー６１０、６２０を抽出する。
【００３７】
ステップＳ２０４では、書込削除モジュール１２２は、ステップＳ２０２で検出した黒マーカーの位置を用いて、その黒マーカーを画像から削除する。図７は、書込削除モジュール１２２が黒マーカー６１０を削除した後の画像の例を示す説明図である。つまり、ステップＳ２０２で抽出した黒マーカー６１０、黒マーカー６２０を削除する。その後は、黒マーカー削除領域７１０、７２０となる。
【００３８】
ステップＳ２０６では、レイアウト検出モジュール１３１は、ステップＳ２０４で黒マーカーが削除された画像内のレイアウトを解析し、文字認識モジュール１３２は、その画像に対して文字認識処理を実行する。
図８は、レイアウト検出モジュール１３１による対象画像６００に対する処理例を示す説明図である。レイアウト解析の結果、対象画像６００は、文章領域（文字行領域）８１０、文章領域８２０、文章領域８３０を有しており、文章領域８２０は、文字行領域８２１、文字行領域８２２、文字行領域８２３、文字行領域８２４を有しており、文字行領域８２１は、黒マーカー削除領域７１０と隣接しており、文章領域８３０は、文字行領域８３１、文字行領域８３２、文字行領域８３３、文字行領域８３４を有しており、文字行領域８３１は、黒マーカー削除領域７２０と隣接していることが判明する。そして、各文字行領域内の文字画像に対して、文字認識モジュール１３２が文字認識処理を行う。
【００３９】
ステップＳ２０８では、連結関係検出モジュール１４０は、ステップＳ２０６で認識した文字を含む行（文字行領域）の位置情報（レイアウト情報テーブル５００の文字行領域情報欄５４０）と黒マーカーの位置情報（指定箇所テーブル４００の位置情報欄４２０）とを比較して、文の連結関係を検出する。この検出処理については、図３の例に示すフローチャートを用いて後述する。
ステップＳ２１０では、翻訳対象文字列作成モジュール１５０は、翻訳モジュール１６０が翻訳対象としてＸＭＬで記述されたものに対応可能であるか否かを判断する。かかる判断において、対応可能であると判断した場合はステップＳ２１２へ進み、それ以外の場合はステップＳ２１８へ進む。
【００４０】
ステップＳ２１２では、翻訳対象文字列作成モジュール１５０は、ステップＳ２０８で検出された連結関係に基づいて、黒マーカーに対応したタグを、ステップＳ２０６での認識結果に挿入して、翻訳対象用のＸＭＬを作成する。図９は、翻訳対象ＸＭＬ９００の例を示す説明図である。翻訳対象ＸＭＬ９００は、マーカータグ９１０、マーカータグ９２０を有している。つまり、文字認識結果内には、レイアウト情報をタグ（＜ｒｅｇｉｏｎ１＞等）として含み、さらに黒マーカーに対応したタグであるマーカータグ９１０、９２０（＜ｍａｒｋｅｒ／＞）を、ステップＳ２０８で検出した連結関係に基づいて挿入する。
【００４１】
ステップＳ２１４では、翻訳モジュール１６０は、ステップＳ２１２で作成された翻訳対象用のＸＭＬに対して（機械）翻訳処理を実行する。ここでの翻訳処理は、黒マーカーに対応したタグを名詞として扱うようにして、そのタグのまま翻訳結果として出力する。図１０は、翻訳結果である翻訳後ＸＭＬ１０００の例を示す説明図である。翻訳後ＸＭＬ１０００は、マーカータグ９１０、マーカータグ９２０を有している。つまり、翻訳結果内には、レイアウト情報をタグ（＜ｒｅｇｉｏｎ１＞等）として含み、さらに黒マーカーに対応したタグであるマーカータグ９１０、９２０（＜ｍａｒｋｅｒ／＞）を名詞として扱って翻訳を行い、その結果、図１０の例に示す位置に、マーカータグ９１０、９２０がある。
ステップＳ２１６では、翻訳文変更モジュール１７０は、ステップＳ２１４での翻訳結果内にあるタグを黒四角形を表す文字コードに置換する。
【００４２】
ステップＳ２１８では、翻訳対象文字列作成モジュール１５０は、ステップＳ２０８で検出された連結関係に基づいて、黒マーカーに対応した文字列を、ステップＳ２０６での認識結果に挿入して、翻訳対象用文章を作成する。なお、黒マーカーに対応した文字列は、固有名詞等であってもよい。特に、翻訳先の言語が英語である場合は数詞でもよい。図１１は、翻訳対象文章１１００の例を示す説明図である。翻訳対象文章１１００は、マーカー文字列１１１０、マーカー文字列１１２０を有している。つまり、文字認識結果内には、黒マーカーに対応した文字列であるマーカー文字列１１１０（「Ｍａｒｋｅｒ」）、マーカー文字列１１２０（「２００８０３１４」）を、ステップＳ２０８で検出した連結関係に基づいて挿入する。
【００４３】
ステップＳ２２０では、翻訳モジュール１６０は、ステップＳ２１８で作成された翻訳対象用文章に対して（機械）翻訳処理を実行する。ステップＳ２１８で挿入された文字列は名詞であるので、そのまま（つまりそれ自体は翻訳されずに）翻訳結果として出力される。図１２は、翻訳結果である翻訳後文章１２００の例を示す説明図である。翻訳後文章１２００は、翻訳後マーカー文字列１２１０、翻訳後マーカー文字列１２２０を有している。つまり、翻訳結果内には、黒マーカーに対応した文字列であるマーカー文字列１１１０、１１２０を翻訳し、その結果、図１２の例に示す位置に、翻訳後マーカー文字列１２１０、１２２０がある。
ステップＳ２２２では、翻訳文変更モジュール１７０は、ステップＳ２２０での翻訳結果内にあって、ステップＳ２１８で挿入された文字列を黒四角形を表す文字コードに置換する。
【００４４】
ステップＳ２２４では、画像生成モジュール１８０は、出力の形態として、置換翻訳（元の画像の文字画像を残すことをせずに、翻訳結果を上書きするようにした出力、図１３参照）か、ルビ風翻訳（元の画像の文字画像はそのまま残し、翻訳結果をルビのように対応させるようにして出力、図１４参照）かを判断する。これは、本実施の形態の利用者による操作又は予め定められた出力の形態に応じて、判断されるものである。
【００４５】
ステップＳ２２６では、画像生成モジュール１８０は、ステップＳ２０４で黒マーカーが削除された画像から、ステップＳ２０６で解析されたレイアウト内の文字画像を除去する。つまり、翻訳対象とした文字画像を元の画像から削除する。これによって、画像内には文字画像以外の画像（例えば、図形、写真画像等）が残る。
ステップＳ２２８では、画像生成モジュール１８０は、画像受付モジュール１１０が受け付けた画像を出力対象の画像として選択する。この選択した画像がステップＳ２３０での処理対象となる。
【００４６】
ステップＳ２３０では、画像生成モジュール１８０は、ステップＳ２０６で解析されたレイアウト内の文章領域情報（レイアウト情報テーブル５００の文章領域情報欄５２０）を用いて、翻訳結果（ステップＳ２１６、ステップＳ２２２の処理結果）の文字画像を配置する。その際、置換翻訳の出力の形態である場合は、文章領域内にその翻訳結果の言語に合わせた配置を行う。ルビ風翻訳の出力の形態である場合は、文章領域内には元の文字画像があるので、その行間に翻訳結果の文字画像を配置する。そして、出力モジュール１９０は、翻訳結果の文字画像が配置された画像を出力する。なお、黒マーカーに対応する画像、つまり黒四角形を表す文字コードの文字画像を生成する場合に、その隠蔽する文字画像全体の長さを、ステップＳ２０２で抽出した黒マーカーの長さに比例させて決定するようにしてもよい。
【００４７】
図１３は、置換翻訳が行われた翻訳画像１３００の例を示す説明図である。翻訳画像１３００は、ステップＳ２２６の処理が行われた場合の翻訳画像である。つまり、ステップＳ２０６でのレイアウト解析の結果を用いることによって、翻訳画像１３００は対象画像６００と同等のレイアウトを有している。そして、対象画像６００から抽出した文章領域内に翻訳結果を配置したものである。翻訳画像１３００内には、黒マーカー６１０、６２０にそれぞれ対応したマスキング領域１３１０、１３２０がある。また、抽出した黒マーカーの順番にしたがって、マスキング領域の形態（色、形状、矩形内に提示する文字列、それらの組み合わせ）を異ならせてもよい。マスキング領域１３２０は、図１３では「言葉Ａ」としているが、隠蔽している文字であることを示すような文字列であってもよい。
【００４８】
図１４は、ルビ風翻訳が行われた翻訳画像１４００の例を示す説明図である。翻訳画像１４００は、ステップＳ２２８の処理が行われた場合の翻訳画像である。つまり、画像受付モジュール１１０が受け付けた画像をそのまま用いて、ステップＳ２０６でのレイアウト解析の結果を用いることによって、その行間に翻訳結果を配置したものである。
ただし、抽出した黒マーカーの順番にしたがって、黒マーカー及びマスキング領域の形態を異ならせてもよい。つまり、翻訳画像１４００内には、マスキング領域１４１０、１４１１、１４２０、１４２１を有しているが、マスキング領域１４１０は黒マーカー６１０の形態を変更したものであり、マスキング領域１４１１は黒マーカー６１０に対応した翻訳部分であり、マスキング領域１４１０と同等の形態にしたものであり、マスキング領域１４２０は黒マーカー６２０の形態を変更したものであり、マスキング領域１４２１は黒マーカー６２０に対応した翻訳部分であり、マスキング領域１４２０と同等の形態にしたものである。
【００４９】
図３は、連結関係を判断する処理例を示すフローチャートである。つまり、図２の例に示したフローチャート内の連結関係検出モジュール１４０が行うステップＳ２０８の処理について説明する。その際、図１５、図１６に示した具体例を用いて説明する。
【００５０】
ステップＳ３０２では、レイアウト検出モジュール１３１によって検出されたレイアウト内の文字行領域情報から、文字行の縦横比を求め、文の方向（横書き、縦書き）を取得する。
ステップＳ３０４では、レイアウト検出モジュール１３１によって検出されたレイアウト内の文章領域内にある文字画像の平均文字サイズ（横書きの場合は文字画像の幅、縦書きの場合は文字画像の高さ）、平均文字間隔を計算する。なお、平均の計算をするのに、文章領域内にある文字画像数を総数とする。
【００５１】
ステップＳ３０６では、書込検出モジュール１２１が検出した黒マーカーと、その黒マーカーにステップＳ３０２で抽出した文の方向で隣接する文字行領域との距離を算出する。例えば、図１５の例に示すように、文の方向が横である場合に、文字行領域１５２０は黒マーカー１５１０と隣接しており、距離１５３０を算出する。なお、算出した距離が２つある場合（文字行内に黒マーカーが挟まれている場合）、その距離のうち短いものを採用するようにしてもよい。
【００５２】
ステップＳ３０８では、ステップＳ３０６で算出した距離とステップＳ３０４で計算した平均文字サイズと平均文字間隔を用いて、黒マーカーと隣接している文字行領域とは文として連結しているか否かを判断する。例えば、以下の条件式１を満たす場合はステップＳ３１６へ進み、それ以外の場合はステップＳ３１０へ進む。
距離＜（平均文字サイズ＋平均文字間隔） （条件式１）
この条件式１は、黒マーカーが文字行内の文字を隠蔽しているのか否かを判断するためのものである。
【００５３】
ステップＳ３１０では、書込検出モジュール１２１が検出した黒マーカーと、その黒マーカーを含む文章領域の境界との距離を算出する。例えば、図１６の例に示すように、文章領域１６２０は黒マーカー１６１０を含んでおり、文章領域１６２０の境界との距離１６３０を算出する。なお、黒マーカーに対して、ステップＳ３０２で抽出した文の方向にある文章領域の境界との距離を算出するようにしてもよく、その距離のうち短いものを採用するようにしてもよい。
【００５４】
ステップＳ３１２では、ステップＳ３１０で算出した距離とステップＳ３０４で計算した平均文字サイズと平均文字間隔を用いて、黒マーカーはその黒マーカーを含む文章領域内で、文として連結しているか否かを判断する。例えば、以下の条件式２を満たす場合はステップＳ３１６へ進み、それ以外の場合はステップＳ３１４へ進む。
距離＜（２×平均文字サイズ＋平均文字間隔） （条件式２）
この条件式２は、黒マーカーが文章領域内の文字を隠蔽しているのか否かを判断するためのものである。
【００５５】
ステップＳ３１４では、文が途切れていると判断する。つまり、黒マーカーに対応した符号は、独立している文字列（その前後には、改行又は空白文字がある）として取り扱えるようにする。
ステップＳ３１６では、文が連結していると判断する。つまり、黒マーカーは文の一部であるとして取り扱えるようにする。
【００５６】
図１７を参照して、本実施の形態のハードウェア構成例について説明する。図１７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１７１７と、プリンタなどのデータ出力部１７１８を備えたハードウェア構成例を示している。
【００５７】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０１は、前述の実施の形態において説明した各種のモジュール、すなわち、書込処理モジュール１２０、文字処理モジュール１３０、連結関係検出モジュール１４０、翻訳対象文字列作成モジュール１５０、翻訳モジュール１６０、翻訳文変更モジュール１７０、画像生成モジュール１８０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。
【００５８】
ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０２は、ＣＰＵ１７０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７０３は、ＣＰＵ１７０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１７０４により相互に接続されている。
【００５９】
ホストバス１７０４は、ブリッジ１７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１７０６に接続されている。
【００６０】
キーボード１７０８、マウス等のポインティングデバイス１７０９は、操作者により操作される入力デバイスである。ディスプレイ１７１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。
【００６１】
ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１７０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール１１０が受け付けた画像、文字認識モジュール１３２による認識結果、翻訳モジュール１６０による翻訳結果などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００６２】
ドライブ１７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１７１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１７０７、外部バス１７０６、ブリッジ１７０５、及びホストバス１７０４を介して接続されているＲＡＭ１７０３に供給する。リムーバブル記録媒体１７１３も、ハードディスクと同等のデータ記録領域として利用可能である。
【００６３】
接続ポート１７１４は、外部接続機器１７１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１７１４は、インタフェース１７０７、及び外部バス１７０６、ブリッジ１７０５、ホストバス１７０４等を介してＣＰＵ１７０１等に接続されている。通信部１７１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部１７１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１７１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【００６４】
なお、図１７に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。
【００６５】
前記実施の形態においては、書き込みとして、黒マーカーを示したが、削除線等であってもよい。本実施の形態は、書き込みを行うことによって、文字認識率を低下させ、その結果、翻訳の質も低下させてしまうような場合に特に適している。
【００６６】
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕｅ−ｒａｙ Ｄｉｓｋ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。
【図面の簡単な説明】
【００６７】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】本実施の形態による処理例を示すフローチャートである。
【図３】連結関係を判断する処理例を示すフローチャートである。
【図４】指定箇所テーブルのデータ構造例を示す説明図である。
【図５】レイアウト情報テーブルのデータ構造例を示す説明図である。
【図６】画像受付モジュールが受け付ける画像の例を示す説明図である。
【図７】書込削除モジュールが黒マーカーを削除した後の画像の例を示す説明図である。
【図８】レイアウト検出モジュールによる対象画像に対する処理例を示す説明図である。
【図９】翻訳対象ＸＭＬの例を示す説明図である。
【図１０】翻訳後ＸＭＬの例を示す説明図である。
【図１１】翻訳対象文章の例を示す説明図である。
【図１２】翻訳後文章の例を示す説明図である。
【図１３】置換翻訳が行われた翻訳画像の例を示す説明図である。
【図１４】ルビ風翻訳が行われた翻訳画像の例を示す説明図である。
【図１５】黒マーカーと文字行領域との関係例を示す説明図である。
【図１６】黒マーカーと文章領域との関係例を示す説明図である。
【図１７】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【００６８】
１１０…画像受付モジュール
１２０…書込処理モジュール
１２１…書込検出モジュール
１２２…書込削除モジュール
１３０…文字処理モジュール
１３１…レイアウト検出モジュール
１３２…文字認識モジュール
１４０…連結関係検出モジュール
１５０…翻訳対象文字列作成モジュール
１６０…翻訳モジュール
１７０…翻訳文変更モジュール
１８０…画像生成モジュール
１９０…出力モジュール
【特許請求の範囲】
【請求項１】
書き込みを含む画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、
前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、
前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、
前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記書込検出手段によって検出された書き込みと該書き込み以外である他の画像構成要素との位置関係を検出する位置関係検出手段と、
前記位置関係検出手段によって検出された位置関係に基づいて、前記書き込みと前記他の画像構成要素との連結関係を検出する連結関係検出手段
をさらに具備し、
前記翻訳対象文字列作成手段は、前記連結関係検出手段によって検出された連結関係に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記翻訳手段による翻訳結果内の前記書き込みを示す符号に対応する翻訳結果から、書き込みの画像を生成するための符号に変換する翻訳文変換手段
をさらに具備し、
前記翻訳画像生成手段は、前記翻訳文変換手段によって変換された翻訳結果の画像を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記翻訳手段は、前記書き込みを示す符号を名詞として扱って翻訳処理を行う
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記書き込みは、画像内の文字を隠蔽する画像であり、
前記書込検出手段は、さらに前記書き込みの長さを検出し、
前記翻訳画像生成手段は、前記書込検出手段によって検出された書き込みの長さに応じて、前記書き込みに対応する画像として隠蔽する画像を生成する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
書き込みを含む画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、
前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、
前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、
前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段
として機能させることを特徴とする画像処理プログラム。
【請求項１】
書き込みを含む画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、
前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、
前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、
前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段
を具備することを特徴とする画像処理装置。
【請求項２】
前記書込検出手段によって検出された書き込みと該書き込み以外である他の画像構成要素との位置関係を検出する位置関係検出手段と、
前記位置関係検出手段によって検出された位置関係に基づいて、前記書き込みと前記他の画像構成要素との連結関係を検出する連結関係検出手段
をさらに具備し、
前記翻訳対象文字列作成手段は、前記連結関係検出手段によって検出された連結関係に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記翻訳手段による翻訳結果内の前記書き込みを示す符号に対応する翻訳結果から、書き込みの画像を生成するための符号に変換する翻訳文変換手段
をさらに具備し、
前記翻訳画像生成手段は、前記翻訳文変換手段によって変換された翻訳結果の画像を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記翻訳手段は、前記書き込みを示す符号を名詞として扱って翻訳処理を行う
ことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記書き込みは、画像内の文字を隠蔽する画像であり、
前記書込検出手段は、さらに前記書き込みの長さを検出し、
前記翻訳画像生成手段は、前記書込検出手段によって検出された書き込みの長さに応じて、前記書き込みに対応する画像として隠蔽する画像を生成する
ことを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
コンピュータを、
書き込みを含む画像を受け付ける画像受付手段と、
前記画像受付手段によって受け付けられた画像内の書き込みの位置を検出する書込検出手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、該書き込みを削除する書込削除手段と、
前記書込削除手段によって書き込みが削除された画像内の文字を認識する文字認識手段と、
前記書込検出手段によって検出された書き込みの位置に基づいて、前記文字認識手段による認識結果に前記書き込みを示す符号を挿入して、翻訳対象とする文字列を作成する翻訳対象文字列作成手段と、
前記翻訳対象文字列作成手段によって作成された翻訳対象の文字列を翻訳する翻訳手段と、
前記翻訳手段による翻訳結果に基づいて、前記書き込みに対応する画像を含めて該翻訳結果の画像を生成する翻訳画像生成手段
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−５５３５４（Ｐ２０１０−５５３５４Ａ）
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願番号】特願２００８−２１９３３９（Ｐ２００８−２１９３３９）
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年３月１１日（２０１０．３．１１）
【国際特許分類】
【出願日】平成２０年８月２８日（２００８．８．２８）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]