画像処理装置
【課題】文書に含まれる図面等の幾何特性を変えることなく、文書の印刷時に情報の埋め込みを行う。
【解決手段】形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段とを備える。
【解決手段】形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、印刷した文書に埋め込まれた情報を抽出する技術に関する。
【背景技術】
【０００２】
セキュリティ的に機微な文書には、出力者情報等をマーキングしておき、漏洩事故が起きたときには漏洩元を特定したい等の社会的要請が高くなってきている。かかる要請に応えることのできる技術として、文書の印刷時に再生可能な情報埋め込みを同時に行い、スキャン時にその情報を取り出して様々な用途に利用するマーキング技術（情報埋込技術）が種々提案されている（特許文献１等を参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した情報埋込技術を用いて機器を制御する場合、埋め込まれた情報の抽出を高速に行う必要がある。例えば、抽出情報に基づいて複写の許可・不許可やその他の機能の制限等を行う場合、即座に情報抽出が行えなければ、使い勝手が非常に悪いものとなってしまう。
【０００４】
しかし、高速に情報抽出が行える情報埋込方式では、一般に埋め込める情報量が少なく、セキュリティ管理のための書誌情報等を埋め込むのは困難である。反面、充分な情報量を埋め込める情報埋込方式では、一般に情報抽出に時間がかかり、高速処理は困難である。
【０００５】
そこで、埋め込める情報量は少ないが高速に情報抽出が行える情報埋込方式と、低速ではあるが充分な情報量を埋め込める情報埋込方式とを組み合わせ、機器の制御は前者の抽出情報により行い、セキュリティ管理のための情報は後者の抽出情報から得ることが考えられる。
【０００６】
しかしながら、異なる情報埋込方式を同時に適用することで、一方の情報抽出の精度が低下するという問題がある。特に、形状の異なる文字を文字展開する情報埋込方式（低速）と展開された文字・罫線・図形の輪郭部を微小に変形する情報埋込方式（高速）とを同時に適用した場合、後者による変形が前者の情報抽出精度に大きく影響する。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、低速ではあるが埋め込める情報量の多い情報埋込方式と高速ではあるが埋め込める情報量の少ない情報埋込方式とを組み合わせることで機器の制御等に適用しやすい情報抽出技術を提供するとともに、情報抽出の精度を高めることにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段とを備える画像処理装置を要旨としている。
【０００９】
また、請求項２に記載されるように、請求項１に記載の画像処理装置において、前記復元手段は、前記第２の情報抽出手段の情報抽出結果と矛盾しない変形部分のみを選択的に復元するようにすることができる。
【００１０】
また、請求項３に記載されるように、請求項１または２のいずれか一項に記載の画像処理装置において、前記復元手段は、前記第２の情報抽出手段の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元するようにすることができる。
【００１１】
また、請求項４に記載されるように、形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換工程と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出工程と、前記第２の情報抽出工程により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元工程と、前記復元工程による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出工程とを備える画像処理方法として構成することができる。
【００１２】
また、請求項５に記載されるように、請求項４に記載の画像処理方法をコンピュータに実行させる画像処理プログラムとして構成することができる。
【００１３】
また、請求項６に記載されるように、請求項５に記載の画像処理プログラムを記録したプログラム記録媒体として構成することができる。
【発明の効果】
【００１４】
本発明の画像処理装置にあっては、低速ではあるが埋め込める情報量の多い情報埋込方式と高速ではあるが埋め込める情報量の少ない情報埋込方式とを組み合わせることで機器の制御等に適用しやすい情報抽出技術を提供するとともに、情報抽出の精度を高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】フォント辞書のデータ構造例を示す図である。
【図３】エンコードテーブルのデータ構造例を示す図である。
【図４】アウトラインフォントを構成するベクトルの例を示す図（その１）である。
【図５】アウトラインフォントを構成するベクトルの例を示す図（その２）である。
【図６】輪郭方式による情報の埋め込みの例を示す図である。
【図７】実施形態の処理例を示すフローチャートである。
【図８】輪郭部の変形の復元の例を示す図（その１）である。
【図９】実施形態のより詳細な処理例を示すフローチャート（その１）である。
【図１０】輪郭部の変形の復元の例を示す図（その２）である。
【図１１】輪郭部の変形の復元の例を示す図（その３）である。
【図１２】実施形態のより詳細な処理例を示すフローチャート（その２）である。
【図１３】輪郭部の変形の復元の例を示す図（その４）である。
【図１４】輪郭部の変形の復元の例を示す図（その５）である。
【図１５】輪郭部の変形の復元の例を示す図（その６）である。
【図１６】輪郭部の変形の復元の例を示す図（その７）である。
【図１７】輪郭部の変形の復元の例を示す図（その８）である。
【図１８】輪郭部の変形の復元の例を示す図（その９）である。
【図１９】輪郭部の変形の復元の例を示す図（その１０）である。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施形態につき説明する。
【００１７】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。
【００１８】
図１において、ＭＦＰ（Multi Function Printer）等の画像処理装置１はネットワーク２に接続されている。ネットワーク２には、他にＰＣ（Personal Computer）３やスキャナ４やプリンタ５が接続されている。
【００１９】
画像処理装置１は、システムバス１０１に接続されたキーボード１０２、ＣＰＵ（Central Processing Unit）１０３、メモリ１０４、ディスプレイ１０５、ＨＤＤ（Hard Disk Drive）１０６、スキャナエンジン１０７、プリンタエンジン１０８、ネットワークＩ／Ｆ（Interface）１０９、第１情報抽出部１１０、第２情報抽出部１１４、輪郭変形修正部１１８を備えている。
【００２０】
キーボード１０２は、ユーザ操作を受け付ける入力装置である。
【００２１】
ＣＰＵ１０３は、画像処理装置１の全体の制御を行う処理部である。
【００２２】
メモリ１０４は、ＣＰＵ１０３の動作のための作業領域としてプログラムやデータを一時的に保存する記憶装置である。
【００２３】
ディスプレイ１０５は、ユーザに情報を提示する表示装置である。
【００２４】
ＨＤＤ１０６は、プログラムやデータを永続的に保存する記憶装置である。
【００２５】
スキャナエンジン１０７は、文書原稿を読み込み、画像データに変換する入力装置である。なお、スキャナエンジン１０７に代えて、ネットワーク２に接続されたスキャナ４を用いることもできる。
【００２６】
プリンタエンジン１０８は、文書を用紙等に印刷する出力装置である。なお、プリンタエンジン１０８に代えて、ネットワーク２に接続されたプリンタ５を用いることもできる。
【００２７】
ネットワークＩ／Ｆ１０９は、ネットワーク２を介してＰＣ３やプリンタ５やスキャナ４等と通信を行う通信装置である。
【００２８】
第１情報抽出部１１０は、形状の異なる文字を展開する情報埋込方式（フォント方式）によって埋め込まれた情報を抽出する部分である。なお、第１情報抽出部１１０は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００２９】
ここで、フォント方式は、第１に、文書に含まれる図面等の幾何特性を変えることなく情報埋め込みを行うために、図面等の寸法や注意書き等の印刷時に展開対象となる文字（画像ではなく、文字コードにより表現される文字）に情報を埋め込み、デザインとしての文字には埋め込まないものとしている。デザインとしての文字に厳密な意味がある場合は既に画像として扱われていると考えてよい。従って、印刷時に展開される文字は寸法や注意書き等の文字である。そこで、文字の展開時に埋め込み情報によって形状の異なる文字画像として展開するようにすることで、デザインとしての文字は変形されずに、情報を埋め込むことができる。第２に、情報埋め込みの処理を可能な限り高速に実現するために、予めフォントデータとして文字形状を複数通り保持している。これにより、情報を埋め込む際の処理量が埋め込まない場合と殆ど変わらないものとすることができる。
【００３０】
第１情報抽出部１１０は、文字抽出部１１１とベクトル化部１１２と復号部１１３とを備えている。
【００３１】
文字抽出部１１１は、文書原稿の画像データから文字を抽出する部分である。
【００３２】
ベクトル化部１１２は、文字抽出部１１１が抽出した文字をベクトル化する部分である。ベクトル化は文字の輪郭を３次ベジェ曲線等のベクトル（ベクトル群）に変換するものである。
【００３３】
復号部１１３は、ベクトル化部１１２によるベクトル化の結果から、埋め込まれた情報（第１情報）である文字コードや制御コードを復号する部分である。復号時には誤り訂正を併せて行う。後述する第２情報抽出部１１４の誤り訂正部１１６も利用してもよい。
【００３４】
図２と図３は復号部１１３での復号に使用されるフォント辞書とエンコードテーブルの例を示している。
【００３５】
図２に示すフォント辞書は、印刷やディスプレイ表示に利用するフォントデータを保持するものであり、「フォント名（フォント種）」「文字コード」「ベクトル」「始点」「制御点＃１」「制御点＃２」「終点」等の項目を有している。「ベクトル」は、「フォント名」および「文字コード」により特定される１つの文字の輪郭を構成する３次ベジェ曲線等のベクトルの識別子である。なお、ここでは便宜上、文字の輪郭（アウトライン）ではなく、文字の中心部を通る曲線を表わすベクトルについて示している。実際の文字との対応関係については後述する。「始点」は、各ベクトルの描画開始位置座標を示す。「制御点＃１」「制御点＃２」は、各ベクトルの曲線を特徴付ける位置座標を示す。「終点」は、各ベクトルの描画終了位置座標を示す。
【００３６】
図３に示すエンコードテーブルは、印刷対象の文書に含まれる印刷時展開対象の文字への情報埋め込みのためのルールや埋め込み可能な情報量を保持するものであり、「フォント名」「文字コード」「情報量」「コード」「使用ベクトル」等の項目を有している。「情報量」は、「フォント名」および「文字コード」により特定される１つの文字に埋め込める情報量を示す。「コード」は、埋め込む情報の内容を示す。「使用ベクトル」は、該当する「コード」を埋め込んだ文字の描画に使用するベクトル（図２のフォント辞書の「ベクトル」の組み合わせ）を示す。
【００３７】
図４はアウトラインフォントを構成するベクトルの例を示す図である。なお、便宜上、文字の輪郭ではなく、文字の中心部を通る曲線を表わすベクトルについて示している。また、３次ベジェ曲線を用いた場合を例とするが、Ｂスプライン等の他の曲線を利用することもできる。制御方法はほぼ同様である。
【００３８】
図４（ａ）は、文字「3」（１６進表示での文字コード：「33」）についての例であり、文字を４つのベクトルＶ１、Ｖ２，Ｖ３，Ｖ４に分割し、夫々のベクトルＶ１、Ｖ２，Ｖ３，Ｖ４を始点、終点、制御点＃１、制御点＃２の４点の座標で表現している。ベクトルＶ１の始点がＶＣ１−１、終点がＶＣ１−４、制御点がＶＣ１−２およびＶＣ１−３である。ベクトルＶ２の始点がＶＣ２−１（＝ＶＣ１−４）、終点がＶＣ２−４、制御点がＶＣ２−２およびＶＣ２−３である。ベクトルＶ３の始点がＶＣ３−１（＝ＶＣ２−４）、終点がＶＣ３−４、制御点がＶＣ３−２およびＶＣ３−３である。ベクトルＶ４の始点がＶＣ４−１（＝ＶＣ３−４）、終点がＶＣ４−４、制御点がＶＣ４−２およびＶＣ４−３である。
【００３９】
図４（ｂ）は、図４（ａ）の文字を変形した例である。この例では、ベクトルＶ２をベクトルＶ２'、ベクトルＶ３をベクトルＶ３'に、制御点を移動することで変形している。ベクトルＶ２'，Ｖ３'を使うと、文字「3」を展開する際には、以下のようなベクトルの選択肢が存在する。
（１） Ｖ１→Ｖ２→Ｖ３→Ｖ４
（２） Ｖ１→Ｖ２'→Ｖ３→Ｖ４
（３） Ｖ１→Ｖ２→Ｖ３'→Ｖ４
（４） Ｖ１→Ｖ２'→Ｖ３'→Ｖ４
つまり、４通り（２ｂｉｔ）の情報を埋め込むことが可能である。
【００４０】
図２のフォント辞書および図３のエンコードテーブルにおける文字コード「33」の内容は、図４（ｂ）に示したベクトル等に対応している。すなわち、図２のフォント辞書のフォント名「ｘｘｘ」の文字コード「33」に対応する「ベクトル」は、図４（ｂ）のベクトルＶ１、Ｖ２、Ｖ２'、Ｖ３、Ｖ３'、Ｖ４であり、「始点」「制御点＃１」「制御点＃２」「終点」はそれぞれのベクトルの始点、制御点（２個）、終点である。
【００４１】
図３のエンコードテーブルのフォント名「ｘｘｘ」の文字コード「33」に対応する「情報量」は、図４（ｂ）について説明したように４通りのベクトルの組み合わせが存在するため、「2bit」となっている。「コード」は、2bit分の情報の組み合わせとして「00」「01」「10」「11」が設定されている。「使用ベクトル」は、図４（ｂ）について説明した４通りのベクトルの組み合わせがコードに対応して設定されている。
【００４２】
図５はアウトラインフォントを構成するベクトルの他の例を示す図である。
【００４３】
図５（ａ）は、文字「4」（１６進表示での文字コード：「34」）についての例であり、文字を３つのベクトルｖ１、ｖ２，ｖ３に分割し、夫々のベクトルｖ１、ｖ２，ｖ３を始点、終点、制御点＃１、制御点＃２の４点の座標で表現している。ベクトルｖ１の始点がｖｃ１−１、終点がｖｃ１−４、制御点がｖｃ１−２およびｖｃ１−３である。ベクトルｖ２の始点がｖｃ２−１（＝ｖｃ１−４）、終点がｖｃ２−４、制御点がｖｃ２−２およびｖｃ２−３である。ベクトルｖ３の始点がｖｃ３−１（＝ｖｃ２−４）、終点がｖｃ３−４、制御点がｖｃ３−２およびｖｃ３−３である。
【００４４】
図５（ｂ）は、図５（ａ）の文字を変形した例である。この例では、ベクトルｖ１をベクトルｖ１'に始点を移動することで変形している。ベクトルｖ１'を使うと、文字「4」を展開する際には、以下のようなベクトルの選択肢が存在する。
（１） ｖ１→ｖ２→ｖ３
（２） ｖ１'→ｖ２→ｖ３
つまり、２通り（１ｂｉｔ）の情報を埋め込み可能である。
【００４５】
図２のフォント辞書および図３のエンコードテーブルにおける文字コード「34」の内容は、図５（ｂ）に示したベクトル等に対応している。すなわち、図２のフォント辞書のフォント名「ｘｘｘ」の文字コード「34」に対応する「ベクトル」は、図５（ｂ）のベクトルｖ１、ｖ１'、ｖ２、ｖ３であり、「始点」「制御点＃１」「制御点＃２」「終点」はそれぞれのベクトルの始点、制御点（２個）、終点である。
【００４６】
図３のエンコードテーブルのフォント名「ｘｘｘ」の文字コード「34」に対応する「情報量」は、図５（ｂ）について説明したように２通りのベクトルの組み合わせが存在するため、「1bit」となっている。「コード」は、1bit分の情報の組み合わせとして「0」「1」が設定されている。「使用ベクトル」は、図５（ｂ）について説明した２通りのベクトルの組み合わせがコードに対応して設定されている。
【００４７】
なお、どの文字が情報埋め込み可能かが分からないので、通常は文字の数だけエンコードテーブルのサイズも必要になる。しかし、図面等で利用される文字種は、数字やアルファベット等に限定されることが多い。そこで、情報埋め込み可能な文字を予め限定しておけば、そのサイズ分だけエンコードテーブルを作れば十分である。もちろん、フォント辞書のサイズも小さくて済む。
【００４８】
図１に戻り、第１情報抽出部１１０の復号部１１３は、ベクトル化部１１２により取得されたベクトル（ベクトル群）を図２のフォント辞書の始点・制御点・終点と照合して使用されているベクトル（ベクトル群）を特定し、そのベクトル（ベクトル群）に対応付けられている情報のコードを図３のエンコードテーブルから取得することで第１情報を得る。
【００４９】
次に、画像処理装置１の第２情報抽出部１１４は、展開された文字・罫線・図形の輪郭部を微小に変形する情報埋込方式（輪郭方式）によって埋め込みされた情報を抽出する部分である。なお、第２情報抽出部１１４は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００５０】
図６は輪郭方式による情報（第２情報）の埋め込みの例を示す図である。左側がフォント方式による情報埋め込みにより展開された文字であり、この文字に情報「１０１０」を埋め込む例である。文字の輪郭部に等間隔で、「１」は凸、「０」は凹として埋め込んでいる。右側が埋め込んだ文字画像である。
【００５１】
図１に戻り、第２情報抽出部１１４は、輪郭変形抽出部１１５と誤り訂正部１１６と復号部１１７とを備えている。
【００５２】
輪郭変形抽出部１１５は、文書原稿の画像データの文字・罫線・図形の輪郭部の微小な変形（例えば、凹凸）を抽出（検出）する部分である。
【００５３】
誤り訂正部１１６は、輪郭変形抽出部１１５により抽出された微小な変形をコード化して誤り訂正を行う部分である。
【００５４】
復号部１１７は、誤り訂正部１１６による誤り訂正後のコードから文字コードや制御コードを復号する部分である。
【００５５】
次に、輪郭変形修正部１１８は、輪郭の微小な変形を元に戻す部分である。なお、輪郭変形修正部１１８は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００５６】
＜動作＞
図７は上記の実施形態の処理例を示すフローチャートである。
【００５７】
図７において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ１０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ１０２）。
【００５８】
次いで、第２情報が存在したか否か判断し（ステップＳ１０３）、存在した場合、第２情報の埋め込みによる輪郭部の微小変化を復元する（ステップＳ１０４）。
【００５９】
図８は第２情報の抽出後に、第２情報の埋め込みによる凹凸を平坦化して復元した例である。左が埋め込まれた凹凸位置で、その凹凸に対して平坦化したものが右である。平坦化されたものは、第２情報の埋め込みの影響が排除されており、第１情報の抽出に影響を与えないので、第１情報が安定的に抽出できる。
【００６０】
次いで、図７に戻り、第１情報抽出部１１０により第１情報の抽出を行い（ステップＳ１０５）、情報抽出の処理を終了する（ステップＳ１０６）。
【００６１】
次に、図９は上記の実施形態のより詳細な処理例を示すフローチャートである。
【００６２】
図９において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ２０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ２０２）。
【００６３】
この第２情報の抽出（ステップＳ２０２）では、輪郭変形抽出部１１５により輪郭部の変形を抽出し（ステップＳ２０３）、誤り訂正部１１６により、抽出された微小な変形をコード列に変換して（ステップＳ２０４）、誤り訂正を行い（ステップＳ２０５）、復号部１１７により文字コードや制御コードを復号する（ステップＳ２０６）。
【００６４】
次いで、第２情報が存在したか否か判断し（ステップＳ２０７）、存在した場合、第２情報抽出部１１４による復号結果と矛盾しない変形部のみを復元する（ステップＳ２０８）。すなわち、誤り訂正で正しいと判断された部分に対応する輪郭変形部についてのみ修正し、誤りと判断された部分に対応する輪郭変形部については修正しない。
【００６５】
図１０は輪郭部の変形の復元の例を示す図である。左が発見された凹凸位置である。最右の変形が誤った位置を抽出してしまっている例である。この凹凸位置情報に従って、コード列に変換すると「１０１１・・・」となる。このコード列を誤り訂正した上で復号して「１０１０・・・」を得たとしたら、４つ目の「１」が誤りであったことが分かる。この場合は、この誤りに対応した凸部については平坦化を行わない。図１１は、比較のために、発見された変形全てに対して平坦化を行ったものである。図１０の右と図１１を比較すると、明らかに図１０の右の方が元の画像に近いことがわかる。従って、復号結果と矛盾しない変形部のみを復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００６６】
次いで、図９に戻り、第１情報抽出部１１０により第１情報の抽出を行う（ステップＳ２０９）。
【００６７】
この第１情報の抽出（ステップＳ２０９）では、文字抽出部１１１により文書原稿の画像データから文字を抽出し（ステップＳ２１０）、抽出した文字をベクトル化部１１２によりベクトル化し（ステップＳ２１１）ベクトル化の結果から復号部１１３により文字コードや制御コードを復号する（ステップＳ２１２）。そして、処理を終了する（ステップＳ２１３）。
【００６８】
図１２は上記の実施形態のより詳細な他の処理例を示すフローチャートである。
【００６９】
図１２において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ３０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ３０２）。
【００７０】
この第２情報の抽出（ステップＳ３０２）では、輪郭変形抽出部１１５により輪郭部の変形を抽出し（ステップＳ３０３）、誤り訂正部１１６により、抽出された微小な変形をコード列に変換して（ステップＳ３０４）、誤り訂正を行い（ステップＳ３０５）、復号部１１７により文字コードや制御コードを復号する（ステップＳ３０６）。
【００７１】
次いで、第２情報が存在したか否か判断し（ステップＳ３０７）、存在した場合、変形が検知できなかった部分についても、第２情報抽出部１１４による復号結果と矛盾しないように復元する（ステップＳ３０８）。すなわち、変形が検知できなかった部分に対しても、埋め込みされているはずである部分に対して平坦化処理を行う。
【００７２】
図１３は輪郭部の変形の復元の例を示す図である。左が発見された凹凸の位置である。３つ目の位置の凸が、少し小さかったために抽出できなかった例である。これをコード列に変形すると「１０？１・・・」となり、誤り訂正した上で復号を行い「１０１０・・・」を得たとしたら、抽出できなかった場所も変形されているはずであると判断し、その部分についても平坦化処理を行う。右はその結果である。図１４は、比較のために、検知された変形のみに対して平坦化を行ったものである。図１３の右と図１４を比較すると、明らかに図１３の右の方が元の画像に近いことが分かる。従って、変形が検知できなかった部分についても復号結果と矛盾しないように復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００７３】
上記の例では、輪郭の微小変化として凹凸を０／１に対応させて埋め込んだ。埋め込み情報量も多くなるが、処理量も多くなる。そこで、埋め込み情報量は少ないが、検出の処理量が少ない埋め込み例について以下に説明する。
【００７４】
図１５の例は、埋め込む情報は、ある／なしのフラグ的な情報である。例えば、この埋め込みがなされていたら、複写不可を表すというような具合である。微小変化としては、輪郭部を等距離間隔で凸に変化させている。検出時は、輪郭部を周波数解析するなどして、所定の周期で凸があることを検出したら、複写動作を中止するなどの制御を行う。埋め込み情報量は少ないが、検知処理も少なく、容易に実装可能である。
【００７５】
このような埋め込み方法に対しても、埋め込み情報と矛盾しないものについてのみを平坦化した例を図１６に示す。凸として検出されたが、等間隔で埋め込まれているはずであるから、最も右の検知位置は矛盾する。従って平坦化しない。図１７は、比較のために、発見された凸を全て平坦化した例である。図１６の右と図１７を比較すると明らかに図１６の右の方が元の画像に近いことが分かる。
【００７６】
図１８は、変形が検知できなかった部分に対しても、埋め込まれているという判断なら、埋め込まれているはずの部分についても平坦化する例である。図１９は、比較のために、検知された変形のみに対して平坦化を行ったものである。図１８の右と図１９を比較すると、明らかに図１８の右の方が元の画像に近いことが分かる。従って、変形が検知できなかった部分についても復号結果と矛盾しないように復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００７７】
＜総括＞
以上説明したように、本実施形態によれば、次のような利点がある。
（１）低速ではあるが埋め込める情報量の多い情報埋込方式であるフォント方式と、高速ではあるが埋め込める情報量の少ない情報埋込方式である輪郭方式とを組み合わせることで、機器の制御には輪郭方式に対応した高速な抽出情報を用い、セキュリティ管理のための書誌情報等はフォント方式に対応した抽出情報を用いるといった使い分けを行うことができ、機器の制御等に適用しやすくなる。
（２）輪郭方式の情報抽出の後に輪郭方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元することで、フォント方式による抽出精度を高めることができる。
（３）輪郭方式の情報抽出結果と矛盾しない変形部分のみを選択的に復元することで、情報埋め込み時に変形したものではないものまで復元することがなくなり、抽出精度をより高めることができる。
（４）輪郭方式の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元することで、抽出精度をより高めることができる。
【００７８】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００７９】
１ 画像処理装置
１０１ システムバス
１０２ キーボード
１０３ ＣＰＵ
１０４ メモリ
１０５ ディスプレイ
１０６ ＨＤＤ
１０７ スキャナエンジン
１０８ プリンタエンジン
１０９ ネットワークＩ／Ｆ
１１０ 第１情報抽出部
１１１ 文字抽出部
１１２ ベクトル化部
１１３ 復号部
１１４ 第２情報抽出部
１１５ 輪郭変形抽出部
１１６ 誤り訂正部
１１７ 復号部
１１８ 輪郭変形修正部
２ ネットワーク
３ ＰＣ
４ スキャナ
５ プリンタ
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００６−２３７８５８号公報
【技術分野】
【０００１】
本発明は、印刷した文書に埋め込まれた情報を抽出する技術に関する。
【背景技術】
【０００２】
セキュリティ的に機微な文書には、出力者情報等をマーキングしておき、漏洩事故が起きたときには漏洩元を特定したい等の社会的要請が高くなってきている。かかる要請に応えることのできる技術として、文書の印刷時に再生可能な情報埋め込みを同時に行い、スキャン時にその情報を取り出して様々な用途に利用するマーキング技術（情報埋込技術）が種々提案されている（特許文献１等を参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した情報埋込技術を用いて機器を制御する場合、埋め込まれた情報の抽出を高速に行う必要がある。例えば、抽出情報に基づいて複写の許可・不許可やその他の機能の制限等を行う場合、即座に情報抽出が行えなければ、使い勝手が非常に悪いものとなってしまう。
【０００４】
しかし、高速に情報抽出が行える情報埋込方式では、一般に埋め込める情報量が少なく、セキュリティ管理のための書誌情報等を埋め込むのは困難である。反面、充分な情報量を埋め込める情報埋込方式では、一般に情報抽出に時間がかかり、高速処理は困難である。
【０００５】
そこで、埋め込める情報量は少ないが高速に情報抽出が行える情報埋込方式と、低速ではあるが充分な情報量を埋め込める情報埋込方式とを組み合わせ、機器の制御は前者の抽出情報により行い、セキュリティ管理のための情報は後者の抽出情報から得ることが考えられる。
【０００６】
しかしながら、異なる情報埋込方式を同時に適用することで、一方の情報抽出の精度が低下するという問題がある。特に、形状の異なる文字を文字展開する情報埋込方式（低速）と展開された文字・罫線・図形の輪郭部を微小に変形する情報埋込方式（高速）とを同時に適用した場合、後者による変形が前者の情報抽出精度に大きく影響する。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、低速ではあるが埋め込める情報量の多い情報埋込方式と高速ではあるが埋め込める情報量の少ない情報埋込方式とを組み合わせることで機器の制御等に適用しやすい情報抽出技術を提供するとともに、情報抽出の精度を高めることにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段とを備える画像処理装置を要旨としている。
【０００９】
また、請求項２に記載されるように、請求項１に記載の画像処理装置において、前記復元手段は、前記第２の情報抽出手段の情報抽出結果と矛盾しない変形部分のみを選択的に復元するようにすることができる。
【００１０】
また、請求項３に記載されるように、請求項１または２のいずれか一項に記載の画像処理装置において、前記復元手段は、前記第２の情報抽出手段の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元するようにすることができる。
【００１１】
また、請求項４に記載されるように、形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換工程と、前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出工程と、前記第２の情報抽出工程により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元工程と、前記復元工程による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出工程とを備える画像処理方法として構成することができる。
【００１２】
また、請求項５に記載されるように、請求項４に記載の画像処理方法をコンピュータに実行させる画像処理プログラムとして構成することができる。
【００１３】
また、請求項６に記載されるように、請求項５に記載の画像処理プログラムを記録したプログラム記録媒体として構成することができる。
【発明の効果】
【００１４】
本発明の画像処理装置にあっては、低速ではあるが埋め込める情報量の多い情報埋込方式と高速ではあるが埋め込める情報量の少ない情報埋込方式とを組み合わせることで機器の制御等に適用しやすい情報抽出技術を提供するとともに、情報抽出の精度を高めることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態にかかるシステムの構成例を示す図である。
【図２】フォント辞書のデータ構造例を示す図である。
【図３】エンコードテーブルのデータ構造例を示す図である。
【図４】アウトラインフォントを構成するベクトルの例を示す図（その１）である。
【図５】アウトラインフォントを構成するベクトルの例を示す図（その２）である。
【図６】輪郭方式による情報の埋め込みの例を示す図である。
【図７】実施形態の処理例を示すフローチャートである。
【図８】輪郭部の変形の復元の例を示す図（その１）である。
【図９】実施形態のより詳細な処理例を示すフローチャート（その１）である。
【図１０】輪郭部の変形の復元の例を示す図（その２）である。
【図１１】輪郭部の変形の復元の例を示す図（その３）である。
【図１２】実施形態のより詳細な処理例を示すフローチャート（その２）である。
【図１３】輪郭部の変形の復元の例を示す図（その４）である。
【図１４】輪郭部の変形の復元の例を示す図（その５）である。
【図１５】輪郭部の変形の復元の例を示す図（その６）である。
【図１６】輪郭部の変形の復元の例を示す図（その７）である。
【図１７】輪郭部の変形の復元の例を示す図（その８）である。
【図１８】輪郭部の変形の復元の例を示す図（その９）である。
【図１９】輪郭部の変形の復元の例を示す図（その１０）である。
【発明を実施するための形態】
【００１６】
以下、本発明の好適な実施形態につき説明する。
【００１７】
＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。
【００１８】
図１において、ＭＦＰ（Multi Function Printer）等の画像処理装置１はネットワーク２に接続されている。ネットワーク２には、他にＰＣ（Personal Computer）３やスキャナ４やプリンタ５が接続されている。
【００１９】
画像処理装置１は、システムバス１０１に接続されたキーボード１０２、ＣＰＵ（Central Processing Unit）１０３、メモリ１０４、ディスプレイ１０５、ＨＤＤ（Hard Disk Drive）１０６、スキャナエンジン１０７、プリンタエンジン１０８、ネットワークＩ／Ｆ（Interface）１０９、第１情報抽出部１１０、第２情報抽出部１１４、輪郭変形修正部１１８を備えている。
【００２０】
キーボード１０２は、ユーザ操作を受け付ける入力装置である。
【００２１】
ＣＰＵ１０３は、画像処理装置１の全体の制御を行う処理部である。
【００２２】
メモリ１０４は、ＣＰＵ１０３の動作のための作業領域としてプログラムやデータを一時的に保存する記憶装置である。
【００２３】
ディスプレイ１０５は、ユーザに情報を提示する表示装置である。
【００２４】
ＨＤＤ１０６は、プログラムやデータを永続的に保存する記憶装置である。
【００２５】
スキャナエンジン１０７は、文書原稿を読み込み、画像データに変換する入力装置である。なお、スキャナエンジン１０７に代えて、ネットワーク２に接続されたスキャナ４を用いることもできる。
【００２６】
プリンタエンジン１０８は、文書を用紙等に印刷する出力装置である。なお、プリンタエンジン１０８に代えて、ネットワーク２に接続されたプリンタ５を用いることもできる。
【００２７】
ネットワークＩ／Ｆ１０９は、ネットワーク２を介してＰＣ３やプリンタ５やスキャナ４等と通信を行う通信装置である。
【００２８】
第１情報抽出部１１０は、形状の異なる文字を展開する情報埋込方式（フォント方式）によって埋め込まれた情報を抽出する部分である。なお、第１情報抽出部１１０は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００２９】
ここで、フォント方式は、第１に、文書に含まれる図面等の幾何特性を変えることなく情報埋め込みを行うために、図面等の寸法や注意書き等の印刷時に展開対象となる文字（画像ではなく、文字コードにより表現される文字）に情報を埋め込み、デザインとしての文字には埋め込まないものとしている。デザインとしての文字に厳密な意味がある場合は既に画像として扱われていると考えてよい。従って、印刷時に展開される文字は寸法や注意書き等の文字である。そこで、文字の展開時に埋め込み情報によって形状の異なる文字画像として展開するようにすることで、デザインとしての文字は変形されずに、情報を埋め込むことができる。第２に、情報埋め込みの処理を可能な限り高速に実現するために、予めフォントデータとして文字形状を複数通り保持している。これにより、情報を埋め込む際の処理量が埋め込まない場合と殆ど変わらないものとすることができる。
【００３０】
第１情報抽出部１１０は、文字抽出部１１１とベクトル化部１１２と復号部１１３とを備えている。
【００３１】
文字抽出部１１１は、文書原稿の画像データから文字を抽出する部分である。
【００３２】
ベクトル化部１１２は、文字抽出部１１１が抽出した文字をベクトル化する部分である。ベクトル化は文字の輪郭を３次ベジェ曲線等のベクトル（ベクトル群）に変換するものである。
【００３３】
復号部１１３は、ベクトル化部１１２によるベクトル化の結果から、埋め込まれた情報（第１情報）である文字コードや制御コードを復号する部分である。復号時には誤り訂正を併せて行う。後述する第２情報抽出部１１４の誤り訂正部１１６も利用してもよい。
【００３４】
図２と図３は復号部１１３での復号に使用されるフォント辞書とエンコードテーブルの例を示している。
【００３５】
図２に示すフォント辞書は、印刷やディスプレイ表示に利用するフォントデータを保持するものであり、「フォント名（フォント種）」「文字コード」「ベクトル」「始点」「制御点＃１」「制御点＃２」「終点」等の項目を有している。「ベクトル」は、「フォント名」および「文字コード」により特定される１つの文字の輪郭を構成する３次ベジェ曲線等のベクトルの識別子である。なお、ここでは便宜上、文字の輪郭（アウトライン）ではなく、文字の中心部を通る曲線を表わすベクトルについて示している。実際の文字との対応関係については後述する。「始点」は、各ベクトルの描画開始位置座標を示す。「制御点＃１」「制御点＃２」は、各ベクトルの曲線を特徴付ける位置座標を示す。「終点」は、各ベクトルの描画終了位置座標を示す。
【００３６】
図３に示すエンコードテーブルは、印刷対象の文書に含まれる印刷時展開対象の文字への情報埋め込みのためのルールや埋め込み可能な情報量を保持するものであり、「フォント名」「文字コード」「情報量」「コード」「使用ベクトル」等の項目を有している。「情報量」は、「フォント名」および「文字コード」により特定される１つの文字に埋め込める情報量を示す。「コード」は、埋め込む情報の内容を示す。「使用ベクトル」は、該当する「コード」を埋め込んだ文字の描画に使用するベクトル（図２のフォント辞書の「ベクトル」の組み合わせ）を示す。
【００３７】
図４はアウトラインフォントを構成するベクトルの例を示す図である。なお、便宜上、文字の輪郭ではなく、文字の中心部を通る曲線を表わすベクトルについて示している。また、３次ベジェ曲線を用いた場合を例とするが、Ｂスプライン等の他の曲線を利用することもできる。制御方法はほぼ同様である。
【００３８】
図４（ａ）は、文字「3」（１６進表示での文字コード：「33」）についての例であり、文字を４つのベクトルＶ１、Ｖ２，Ｖ３，Ｖ４に分割し、夫々のベクトルＶ１、Ｖ２，Ｖ３，Ｖ４を始点、終点、制御点＃１、制御点＃２の４点の座標で表現している。ベクトルＶ１の始点がＶＣ１−１、終点がＶＣ１−４、制御点がＶＣ１−２およびＶＣ１−３である。ベクトルＶ２の始点がＶＣ２−１（＝ＶＣ１−４）、終点がＶＣ２−４、制御点がＶＣ２−２およびＶＣ２−３である。ベクトルＶ３の始点がＶＣ３−１（＝ＶＣ２−４）、終点がＶＣ３−４、制御点がＶＣ３−２およびＶＣ３−３である。ベクトルＶ４の始点がＶＣ４−１（＝ＶＣ３−４）、終点がＶＣ４−４、制御点がＶＣ４−２およびＶＣ４−３である。
【００３９】
図４（ｂ）は、図４（ａ）の文字を変形した例である。この例では、ベクトルＶ２をベクトルＶ２'、ベクトルＶ３をベクトルＶ３'に、制御点を移動することで変形している。ベクトルＶ２'，Ｖ３'を使うと、文字「3」を展開する際には、以下のようなベクトルの選択肢が存在する。
（１） Ｖ１→Ｖ２→Ｖ３→Ｖ４
（２） Ｖ１→Ｖ２'→Ｖ３→Ｖ４
（３） Ｖ１→Ｖ２→Ｖ３'→Ｖ４
（４） Ｖ１→Ｖ２'→Ｖ３'→Ｖ４
つまり、４通り（２ｂｉｔ）の情報を埋め込むことが可能である。
【００４０】
図２のフォント辞書および図３のエンコードテーブルにおける文字コード「33」の内容は、図４（ｂ）に示したベクトル等に対応している。すなわち、図２のフォント辞書のフォント名「ｘｘｘ」の文字コード「33」に対応する「ベクトル」は、図４（ｂ）のベクトルＶ１、Ｖ２、Ｖ２'、Ｖ３、Ｖ３'、Ｖ４であり、「始点」「制御点＃１」「制御点＃２」「終点」はそれぞれのベクトルの始点、制御点（２個）、終点である。
【００４１】
図３のエンコードテーブルのフォント名「ｘｘｘ」の文字コード「33」に対応する「情報量」は、図４（ｂ）について説明したように４通りのベクトルの組み合わせが存在するため、「2bit」となっている。「コード」は、2bit分の情報の組み合わせとして「00」「01」「10」「11」が設定されている。「使用ベクトル」は、図４（ｂ）について説明した４通りのベクトルの組み合わせがコードに対応して設定されている。
【００４２】
図５はアウトラインフォントを構成するベクトルの他の例を示す図である。
【００４３】
図５（ａ）は、文字「4」（１６進表示での文字コード：「34」）についての例であり、文字を３つのベクトルｖ１、ｖ２，ｖ３に分割し、夫々のベクトルｖ１、ｖ２，ｖ３を始点、終点、制御点＃１、制御点＃２の４点の座標で表現している。ベクトルｖ１の始点がｖｃ１−１、終点がｖｃ１−４、制御点がｖｃ１−２およびｖｃ１−３である。ベクトルｖ２の始点がｖｃ２−１（＝ｖｃ１−４）、終点がｖｃ２−４、制御点がｖｃ２−２およびｖｃ２−３である。ベクトルｖ３の始点がｖｃ３−１（＝ｖｃ２−４）、終点がｖｃ３−４、制御点がｖｃ３−２およびｖｃ３−３である。
【００４４】
図５（ｂ）は、図５（ａ）の文字を変形した例である。この例では、ベクトルｖ１をベクトルｖ１'に始点を移動することで変形している。ベクトルｖ１'を使うと、文字「4」を展開する際には、以下のようなベクトルの選択肢が存在する。
（１） ｖ１→ｖ２→ｖ３
（２） ｖ１'→ｖ２→ｖ３
つまり、２通り（１ｂｉｔ）の情報を埋め込み可能である。
【００４５】
図２のフォント辞書および図３のエンコードテーブルにおける文字コード「34」の内容は、図５（ｂ）に示したベクトル等に対応している。すなわち、図２のフォント辞書のフォント名「ｘｘｘ」の文字コード「34」に対応する「ベクトル」は、図５（ｂ）のベクトルｖ１、ｖ１'、ｖ２、ｖ３であり、「始点」「制御点＃１」「制御点＃２」「終点」はそれぞれのベクトルの始点、制御点（２個）、終点である。
【００４６】
図３のエンコードテーブルのフォント名「ｘｘｘ」の文字コード「34」に対応する「情報量」は、図５（ｂ）について説明したように２通りのベクトルの組み合わせが存在するため、「1bit」となっている。「コード」は、1bit分の情報の組み合わせとして「0」「1」が設定されている。「使用ベクトル」は、図５（ｂ）について説明した２通りのベクトルの組み合わせがコードに対応して設定されている。
【００４７】
なお、どの文字が情報埋め込み可能かが分からないので、通常は文字の数だけエンコードテーブルのサイズも必要になる。しかし、図面等で利用される文字種は、数字やアルファベット等に限定されることが多い。そこで、情報埋め込み可能な文字を予め限定しておけば、そのサイズ分だけエンコードテーブルを作れば十分である。もちろん、フォント辞書のサイズも小さくて済む。
【００４８】
図１に戻り、第１情報抽出部１１０の復号部１１３は、ベクトル化部１１２により取得されたベクトル（ベクトル群）を図２のフォント辞書の始点・制御点・終点と照合して使用されているベクトル（ベクトル群）を特定し、そのベクトル（ベクトル群）に対応付けられている情報のコードを図３のエンコードテーブルから取得することで第１情報を得る。
【００４９】
次に、画像処理装置１の第２情報抽出部１１４は、展開された文字・罫線・図形の輪郭部を微小に変形する情報埋込方式（輪郭方式）によって埋め込みされた情報を抽出する部分である。なお、第２情報抽出部１１４は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００５０】
図６は輪郭方式による情報（第２情報）の埋め込みの例を示す図である。左側がフォント方式による情報埋め込みにより展開された文字であり、この文字に情報「１０１０」を埋め込む例である。文字の輪郭部に等間隔で、「１」は凸、「０」は凹として埋め込んでいる。右側が埋め込んだ文字画像である。
【００５１】
図１に戻り、第２情報抽出部１１４は、輪郭変形抽出部１１５と誤り訂正部１１６と復号部１１７とを備えている。
【００５２】
輪郭変形抽出部１１５は、文書原稿の画像データの文字・罫線・図形の輪郭部の微小な変形（例えば、凹凸）を抽出（検出）する部分である。
【００５３】
誤り訂正部１１６は、輪郭変形抽出部１１５により抽出された微小な変形をコード化して誤り訂正を行う部分である。
【００５４】
復号部１１７は、誤り訂正部１１６による誤り訂正後のコードから文字コードや制御コードを復号する部分である。
【００５５】
次に、輪郭変形修正部１１８は、輪郭の微小な変形を元に戻す部分である。なお、輪郭変形修正部１１８は独立したユニットを想定しているが、ＣＰＵ１０３およびメモリ１０４上で動作するプログラムにより実現することもできる。この場合、プログラムはＨＤＤ１０６に格納され、実行時にメモリ１０４にロードされてＣＰＵ１０３により実行される。
【００５６】
＜動作＞
図７は上記の実施形態の処理例を示すフローチャートである。
【００５７】
図７において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ１０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ１０２）。
【００５８】
次いで、第２情報が存在したか否か判断し（ステップＳ１０３）、存在した場合、第２情報の埋め込みによる輪郭部の微小変化を復元する（ステップＳ１０４）。
【００５９】
図８は第２情報の抽出後に、第２情報の埋め込みによる凹凸を平坦化して復元した例である。左が埋め込まれた凹凸位置で、その凹凸に対して平坦化したものが右である。平坦化されたものは、第２情報の埋め込みの影響が排除されており、第１情報の抽出に影響を与えないので、第１情報が安定的に抽出できる。
【００６０】
次いで、図７に戻り、第１情報抽出部１１０により第１情報の抽出を行い（ステップＳ１０５）、情報抽出の処理を終了する（ステップＳ１０６）。
【００６１】
次に、図９は上記の実施形態のより詳細な処理例を示すフローチャートである。
【００６２】
図９において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ２０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ２０２）。
【００６３】
この第２情報の抽出（ステップＳ２０２）では、輪郭変形抽出部１１５により輪郭部の変形を抽出し（ステップＳ２０３）、誤り訂正部１１６により、抽出された微小な変形をコード列に変換して（ステップＳ２０４）、誤り訂正を行い（ステップＳ２０５）、復号部１１７により文字コードや制御コードを復号する（ステップＳ２０６）。
【００６４】
次いで、第２情報が存在したか否か判断し（ステップＳ２０７）、存在した場合、第２情報抽出部１１４による復号結果と矛盾しない変形部のみを復元する（ステップＳ２０８）。すなわち、誤り訂正で正しいと判断された部分に対応する輪郭変形部についてのみ修正し、誤りと判断された部分に対応する輪郭変形部については修正しない。
【００６５】
図１０は輪郭部の変形の復元の例を示す図である。左が発見された凹凸位置である。最右の変形が誤った位置を抽出してしまっている例である。この凹凸位置情報に従って、コード列に変換すると「１０１１・・・」となる。このコード列を誤り訂正した上で復号して「１０１０・・・」を得たとしたら、４つ目の「１」が誤りであったことが分かる。この場合は、この誤りに対応した凸部については平坦化を行わない。図１１は、比較のために、発見された変形全てに対して平坦化を行ったものである。図１０の右と図１１を比較すると、明らかに図１０の右の方が元の画像に近いことがわかる。従って、復号結果と矛盾しない変形部のみを復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００６６】
次いで、図９に戻り、第１情報抽出部１１０により第１情報の抽出を行う（ステップＳ２０９）。
【００６７】
この第１情報の抽出（ステップＳ２０９）では、文字抽出部１１１により文書原稿の画像データから文字を抽出し（ステップＳ２１０）、抽出した文字をベクトル化部１１２によりベクトル化し（ステップＳ２１１）ベクトル化の結果から復号部１１３により文字コードや制御コードを復号する（ステップＳ２１２）。そして、処理を終了する（ステップＳ２１３）。
【００６８】
図１２は上記の実施形態のより詳細な他の処理例を示すフローチャートである。
【００６９】
図１２において、対象となる文書原稿をスキャナエンジン１０７で読み込んで画像データを取得した状態で情報抽出の処理を開始すると（ステップＳ３０１）、先ず、第２情報抽出部１１４により第２情報の抽出を行う（ステップＳ３０２）。
【００７０】
この第２情報の抽出（ステップＳ３０２）では、輪郭変形抽出部１１５により輪郭部の変形を抽出し（ステップＳ３０３）、誤り訂正部１１６により、抽出された微小な変形をコード列に変換して（ステップＳ３０４）、誤り訂正を行い（ステップＳ３０５）、復号部１１７により文字コードや制御コードを復号する（ステップＳ３０６）。
【００７１】
次いで、第２情報が存在したか否か判断し（ステップＳ３０７）、存在した場合、変形が検知できなかった部分についても、第２情報抽出部１１４による復号結果と矛盾しないように復元する（ステップＳ３０８）。すなわち、変形が検知できなかった部分に対しても、埋め込みされているはずである部分に対して平坦化処理を行う。
【００７２】
図１３は輪郭部の変形の復元の例を示す図である。左が発見された凹凸の位置である。３つ目の位置の凸が、少し小さかったために抽出できなかった例である。これをコード列に変形すると「１０？１・・・」となり、誤り訂正した上で復号を行い「１０１０・・・」を得たとしたら、抽出できなかった場所も変形されているはずであると判断し、その部分についても平坦化処理を行う。右はその結果である。図１４は、比較のために、検知された変形のみに対して平坦化を行ったものである。図１３の右と図１４を比較すると、明らかに図１３の右の方が元の画像に近いことが分かる。従って、変形が検知できなかった部分についても復号結果と矛盾しないように復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００７３】
上記の例では、輪郭の微小変化として凹凸を０／１に対応させて埋め込んだ。埋め込み情報量も多くなるが、処理量も多くなる。そこで、埋め込み情報量は少ないが、検出の処理量が少ない埋め込み例について以下に説明する。
【００７４】
図１５の例は、埋め込む情報は、ある／なしのフラグ的な情報である。例えば、この埋め込みがなされていたら、複写不可を表すというような具合である。微小変化としては、輪郭部を等距離間隔で凸に変化させている。検出時は、輪郭部を周波数解析するなどして、所定の周期で凸があることを検出したら、複写動作を中止するなどの制御を行う。埋め込み情報量は少ないが、検知処理も少なく、容易に実装可能である。
【００７５】
このような埋め込み方法に対しても、埋め込み情報と矛盾しないものについてのみを平坦化した例を図１６に示す。凸として検出されたが、等間隔で埋め込まれているはずであるから、最も右の検知位置は矛盾する。従って平坦化しない。図１７は、比較のために、発見された凸を全て平坦化した例である。図１６の右と図１７を比較すると明らかに図１６の右の方が元の画像に近いことが分かる。
【００７６】
図１８は、変形が検知できなかった部分に対しても、埋め込まれているという判断なら、埋め込まれているはずの部分についても平坦化する例である。図１９は、比較のために、検知された変形のみに対して平坦化を行ったものである。図１８の右と図１９を比較すると、明らかに図１８の右の方が元の画像に近いことが分かる。従って、変形が検知できなかった部分についても復号結果と矛盾しないように復元することによって、正確な画像が得られるので、第１情報の抽出を精度よく行うことができる。
【００７７】
＜総括＞
以上説明したように、本実施形態によれば、次のような利点がある。
（１）低速ではあるが埋め込める情報量の多い情報埋込方式であるフォント方式と、高速ではあるが埋め込める情報量の少ない情報埋込方式である輪郭方式とを組み合わせることで、機器の制御には輪郭方式に対応した高速な抽出情報を用い、セキュリティ管理のための書誌情報等はフォント方式に対応した抽出情報を用いるといった使い分けを行うことができ、機器の制御等に適用しやすくなる。
（２）輪郭方式の情報抽出の後に輪郭方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元することで、フォント方式による抽出精度を高めることができる。
（３）輪郭方式の情報抽出結果と矛盾しない変形部分のみを選択的に復元することで、情報埋め込み時に変形したものではないものまで復元することがなくなり、抽出精度をより高めることができる。
（４）輪郭方式の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元することで、抽出精度をより高めることができる。
【００７８】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００７９】
１ 画像処理装置
１０１ システムバス
１０２ キーボード
１０３ ＣＰＵ
１０４ メモリ
１０５ ディスプレイ
１０６ ＨＤＤ
１０７ スキャナエンジン
１０８ プリンタエンジン
１０９ ネットワークＩ／Ｆ
１１０ 第１情報抽出部
１１１ 文字抽出部
１１２ ベクトル化部
１１３ 復号部
１１４ 第２情報抽出部
１１５ 輪郭変形抽出部
１１６ 誤り訂正部
１１７ 復号部
１１８ 輪郭変形修正部
２ ネットワーク
３ ＰＣ
４ スキャナ
５ プリンタ
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２００６−２３７８５８号公報
【特許請求の範囲】
【請求項１】
形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、
前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、
前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、
前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記復元手段は、前記第２の情報抽出手段の情報抽出結果と矛盾しない変形部分のみを選択的に復元する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２のいずれか一項に記載の画像処理装置において、
前記復元手段は、前記第２の情報抽出手段の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元する
ことを特徴とする画像処理装置。
【請求項４】
形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換工程と、
前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出工程と、
前記第２の情報抽出工程により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元工程と、
前記復元工程による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出工程と
を備えたことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項６】
請求項５に記載の画像処理プログラムを記録したコンピュータ読取可能なプログラム記録媒体。
【請求項１】
形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換手段と、
前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出手段と、
前記第２の情報抽出手段により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元手段と、
前記復元手段による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記復元手段は、前記第２の情報抽出手段の情報抽出結果と矛盾しない変形部分のみを選択的に復元する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または２のいずれか一項に記載の画像処理装置において、
前記復元手段は、前記第２の情報抽出手段の情報抽出結果に矛盾しない変形部分を、変形として検出できなかったものについても復元する
ことを特徴とする画像処理装置。
【請求項４】
形状の異なる文字を文字展開する第１の情報埋込方式により埋め込まれた第１の情報と、展開された文字・罫線・図形の輪郭部を微小に変形する第２の情報埋込方式により埋め込まれた第２の情報とを含む文書原稿を読み取って画像データに変換する変換工程と、
前記第２の情報を前記第２の情報埋込方式に対応する第２の情報抽出方式により抽出する第２の情報抽出工程と、
前記第２の情報抽出工程により前記第２の情報の抽出が行われた後に、前記第２の情報埋込方式による文字・罫線・図形の輪郭部の微小な変形を変形のない状態に復元する復元工程と、
前記復元工程による復元が行われた後に、前記第１の情報を前記第１の情報埋込方式に対応する第１の情報抽出方式により抽出する第１の情報抽出工程と
を備えたことを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【請求項６】
請求項５に記載の画像処理プログラムを記録したコンピュータ読取可能なプログラム記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１３８７８２（Ｐ２０１２−１３８７８２Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９００６９（Ｐ２０１０−２９００６９）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]