化学構造図認識システム及び化学構造図認識システム用のコンピュータプログラム
【課題】認識結果を効率よく修正することを可能にする化学構造図認識システムを提供する。
【解決手段】構成要素データ修正部３３が、構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。構成要素再認識部３４は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。また構成要素マニュアル修正部３５は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態または構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する機能を有している。
【解決手段】構成要素データ修正部３３が、構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。構成要素再認識部３４は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。また構成要素マニュアル修正部３５は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態または構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する機能を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識して、認識結果を修正できるようにした化学構造図認識システム及び該システム用のコンピュータプログラムに関するものである。
【背景技術】
【０００２】
新規の化学物質に関する研究開発において、重複研究・重複投資を回避することは重要である。そのため、従来は、化学物質名で文献や特許公報等を検索することが行われていた。しかし、化学物質名には様々な別名や商品名等があり、検索すべき化学物質を一意に特定できないので、化学物質名を使って所望の検索をすることは困難であった。
【０００３】
そこで検索を可能にするために、化学構造図の画像データを検索可能な電子データに変換する技術として、特公平４−８１２２５号公報（特許文献１）に示される技術が提案された。この従来の技術では、紙面上に記録された図面を走査して得られた画像を文字領域と線図領域に分類するとともに分類した領域群の属性を記憶手段に記憶し、領域群のうち文字領域と判定された領域の文字の認識を行ってその候補を求めて文字候補群とし、この文字候補群から化学構造式に許容される文字列を生成する文字列生成手段を設けることが開示されている。この技術によれば、化学構造式に許容される文字列のみを抽出するため、文字認識により正解が第１位に挙げられなかった場合でも、解釈可能な文字列を選択することが可能になる。これは、文字列生成手段または疑似ノード生成手段によって抽出されたノードを、ノード検出手段がその文字列の種類と文字列に接続する接続線の数に基づいて検証するため、文字列生成手段において唯一の文字列に定められない場合にも解釈可能な文字列を選択することができ、ひいては文字認識手段の文字認識機能を補うことにより可能になっている。
【０００４】
また文献や特許公報等に記載されている化学構造式が、検索可能な形でデータベースに蓄積され、化学構造式を使って化学物質の検索できるような検索システムが待望され、実際にデータ検索システムとして提供されている。例えば、Chemical Abstracts Service（P.O. Box 3012 Columbus, Ohio 43210 U.S.A.）が提供するデータベースCASや日本ではエルゼビア・ジャパン株式会社が提供するデータベースReaxys（商標）などが現実に稼働している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平４−８１２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のデータベースサービスを利用するのではなく、次に述べる理由から独自にデータを作成し、検索システムを持つことが望まれている。（１）利用料が高価である。（２）機密性の高いデータの独自管理が不可能である。（３）検索する化学構造を知られたくない（４）柔軟性の高い検索ができない。このようなデータベースの作成のためには、まず、文献や特許公報等に記載されている化学構造式を収集し、検索可能な電子ファイル形式に変換しデータベースに蓄積する必要がある。
【０００７】
しかしながら、特許文献１には、より正確な文字列を選択できる技術が開示されているだけで、文字の修正に加えて線図の修正をより簡単に行えるようにすることについては特に開示されておらず、特許文献１に記載の技術を採用しても、実際の修正には、人手による作業が増大し、化学構造式の電子化に莫大なコストがかかる。
【０００８】
特許文献１等に示された化学構造式認識装置は、文献や特許公報等に記載されている化学構造式の画像を読み込み、それを文字や線といった構成要素に分解し、その構成要素のつながりを解析し、化学構造式として認識し、標準的なフォーマットの電子ファイルを出力する。しかしながら、公知の化学構造式認識技術において、完全な認識をすることは極めて難しいことである。これは、文字のＯＣＲシステムの現状からみても推し量れるが、人間でも判断が分かれるような判別が困難な画像が存在するためである。そのため、効率的なデータ作成には、認識結果を修正する効率的なシステムが必要とされるが、これまでにこの問題を解決する実用的な方法は提案されていない。
【０００９】
本発明の目的は、認識結果を効率よく修正することを可能にする化学構造図認識システム及び該システム用のコンピュータプログラムを提供することにある。
【００１０】
本発明の他の目的は、上記目的に加えて、化学構造式としての整合性の情報を用いて修正作業の効率化をはかることができる化学構造図認識システム及び該システム用のコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の化学構造図認識システムにおいて構成要素の認識と修正の実行を行うために、表示画面を備えた表示装置と、マニュアルで操作される修正入力部と、紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データ、ＰＤＦから抽出した画像データ、ＳＶＧなどのベクター形式の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、構成要素データを記憶する構成要素データ記憶部と、構成要素データを修正する構成要素データ修正部と、構成要素データ修正部で修正した修正データを蓄積する修正構成要素データ蓄積部とを備えている。特に、本発明では、構成要素データ修正部が、構成要素再認識部と構成要素マニュアル修正部とを備えている。構成要素再認識部は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。また構成要素マニュアル修正部は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態または構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する機能を有している。
【００１２】
本発明によれば、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で構成要素再認識部が画像データを再認識する。すなわち文字の部分を線図として誤認識している場合には、その線図と認識した領域部分を文字領域であると型指定し、線図を文字と誤認識している場合には、その文字と認識した領域部分を線図領域であると型指定した上で、構成要素再認識部で再認識を行うと、再認識結果の精度は相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【００１３】
構成要素再認識部は、さらに文字領域に含まれる文字の標準サイズを指定するパラメータと、線図領域に含まれる線図の太さ及び長さを指定するパラメータを設定して画像データを再認識するように構成されていてもよい。再認識の際に指定するパラメータが増えるほど、再認識の精度が上がる。特にこれら２つのパラメータの追加は、再認識の精度向上に大きく寄与する。
【００１４】
化学構造式図の認識結果の修正においては、正しい化学構造の情報に照らして、認識結果及び修正結果の化学的な誤り（化学的不整合）があれば、その情報を用いて修正するのが好ましい。化学的不整合の発生は、構成要素の認識誤りや化学構造の認識誤りの場合もあれば、修正ミスに起因する場合もある。この修正は、マニュアルまたは自動のいずれで行われてもよい。
【００１５】
また、化学構造データの修正を行うためには、構成要素データの修正を行ったのち、その情報に基づき、化学構造を認識して実行するほうが、修正の効率を高めることができる。そこで化学構造データを修正するためには、修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、化学構造認識部が認識した化学構造を化学構造データとして記憶する化学構造データ記憶部と、予め用意した正しい化学構造の情報に基づいて化学構造認識部が認識した化学構造の化学的不整合を検出する不整合検出部と、化学構造データ修正部と修正化学構造データ蓄積部とをさらに備えているのが好ましい。化学構造データ修正部は、修正構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、不整合検出部が検出した化学的不整合と該化学的不整合のための１以上の修正候補を表示画面上に表示し、修正入力部のマニュアル操作により修正候補を選択して化学的不整合を修正するマニュアル不整合修正部を含んで構成することができる。そして修正化学構造データ蓄積部は、化学構造データ修正部で修正した化学構造データの修正データを蓄積する。不整合検出部が検出した化学的不整合と化学的不整合のための１以上の修正候補を表示画面上に表示すれば、化学構造データの修正作業を簡単にすることができる。
【００１６】
前述のように修正を自動で行う場合には、修正候補の選択と連動して構成要素データの修正が行われるようにするのが好ましい。そのためには、化学構造データ修正部に、修正結果を構成要素修正データ蓄積部に蓄積された修正データの修正に反映する機能を持たせればよい。また化学構造データ修正部も、不整合検出部が検出した化学的不整合を自動修正する自動不整合修正部を備えているのが好ましい。
【００１７】
構成要素データ修正部は、画像表示に隣接して構成要素認識部による認識結果として構成要素データを表示するのが好ましい。このようにすると認識結果を画像だけでなく構成要素データによっても確認できる。そのため認識誤りの発見をスピーディに行えるようになり、修正効率を高めることができる。
【００１８】
また構成要素データ修正部は、構成要素認識部が認識した文字と線図の違いが判るように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。このような機能を設けると、表示態様の相異から文字表示と線図表示とを確認できるので、修正効率をさらに高めることができるようになる。表示態様の相異としては、例えば、文字表示と線図表示の色を変えてもよい。色の相異は、ユーザの判断速度を高めるのに効果的である。
【００１９】
また構成要素データ修正部は、構成要素認識部が認識した大文字、小文字及び数字の相違が判るように、表示画面に表示した画像表示中の大文字、小文字及び数字の色を変える機能を有していてもよい。この場合にも、色の相異により、ユーザの判断速度を高めることができる。
【００２０】
構成要素データ修正部は、光学読み取り装置により読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する第１の表示態様と、原画像表示のみを表示する第２の表示態様とを選択できるように構成されていてもよい。原画像を同じ表示画面上で見ることができれば、認識結果の修正作業を視点の移動なしに効率的に実施できる。
【００２１】
構成要素認識部は、文字認識及び線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備えていてもよい。この場合、構成要素データ修正部は、確信度判定部の判定結果が分かるように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。確信度が画面に表示されていれば、修正の際に確信度の低いものから修正作業をすればよいため、修正効率を飛躍的に高めることができる。
【００２２】
修正入力部が、表示画面中の線図を修正する際に、表示画面上にポインタを表示するポインタ表示機能を備えている場合において、線図認識結果の修正作業を容易にするためには、以下の構成を具備しているのが好ましい。構成要素データ修正部は、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する際に、読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部には、ユーザが修正入力部を操作して、修正対象の線図部分を削除した後、ポインタで始点を指示し、その後ポインタをドラッグし、ポインタで終点を指示する動作を修正入力部を用いて行うと、表示画面中の線図部分を始点と終点との間の直線として修正するように構成する。さらに構成要素マニュアル修正部は、ポインタで始点または終点が指示された際に、ポインタの位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも小さいときには、始点または終点を原画像中の最短距離にある画素から一番近い中心線の画素の位置と定める吸着機能を持たせる。このような吸着機能を構成要素マニュアル修正部に持たせると、ポインタを使用したポインティング作業を雑にしても、ポインタを最適な位置に自動移動させることができるので、修正作業が大幅に速くなる。
【００２３】
構成要素データ修正部は、構成要素マニュアル修正部により、線図部分の修正をする際に、原画像を細線化する機能を有していてもよい。このような機能があれば、ポインタの移動先が明確になり、ポインティング作業が大幅に楽になる。
【００２４】
修正入力部は、表示画面中の文字を修正する際に、表示画面上の文字領域を指定するためのポインタを表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有していてもよい。この場合、構成要素データ修正部は、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する際に、化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部は、ユーザが修正入力部を操作して、修正対象の文字領域をポインタで指定した後、変更する文字を入力すると、文字領域内の認識文字を変更する文字で置き換える修正をするように構成する。また構成要素マニュアル修正部は、修正対象の文字領域をポインタで指定すると、文字領域を原画像中の修正対象の文字と外接する大きさに変更する機能を有しているように構成する。このようにすると文字修正作業が容易になる。
【００２５】
修正入力部は、表示画面中の文字領域または線図領域の型指定を変更する際に、表示画面上の文字領域または線図領域を指定するためのポインタを表示するポインタ表示機能を有していてもよい。この場合、構成要素マニュアル修正部には、修正対象の領域をポインタで指定して領域の型を変更すると、その指定された領域内に対応するデータのみを変更された型で再認識する機能を持たせる。このようにすると、再認識のデータ量が減るため、再認識の作業時間が大幅に短くなる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態の化学構造図認識システムを、コンピュータを用いて実現する場合の基本構成を示すブロック図である。
【図２】（Ａ）は塩酸HClの画像の構成要素データの一例を示す図であり、（Ｂ）は構成要素データ（Ａ）を図式化したものであり、（Ｃ）は化学構造データの一例を示す図であり、（Ｄ）は化学構造データ（Ｃ）を図式化したものである。
【図３】（Ａ）は認識結果の一例を示す図であり、（Ｂ）は認識結果の一例を示す図である。
【図４】化学構造データの修正用画面の一例を示す図である。
【図５】自動修正を含む不整合解消処理のプログラムのアルゴリズムの一例のフローチャートである。
【図６】図１の化学構造図認識システムをコンピュータで実現する場合のプログラムの上位アルゴリズムを示すフローチャートである。
【図７】構成要素データ及び化学構造データの修正を実行するプログラムのアルゴリズムの一例を示すフローチャートである。
【図８】構成要素再認識部と構成要素マニュアル修正部をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。
【図９】構成要素データを修正する際に表示装置の表示画面に表示されるレイアウトの一例を示す図である。
【図１０】構成要素再認識部をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。
【図１１】（Ａ）は表示画面上の表示態様の一例を示す図であり、（Ｂ）は原画像を示す図である。
【図１２】（Ａ）は原画像を示す図であり、（Ｂ）は表示の一例を示す図である。
【図１３】（Ａ）及び（Ｂ）は吸着点処理を説明するために用いる図である。
【図１４】線を新規に作成する際の吸着動作をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図１５】（Ａ）は原画像を示す図であり、（Ｂ）は原画像を線化した図である。
【図１６】吸着点処理を行うプログラムのアルゴリズムのフローチャートを示す図である。
【図１７】（Ａ）〜（Ｅ）は、領域の指定について説明するために用いる図である。
【図１８】（Ａ）〜（Ｃ）は、文字修正を説明するために用いる図である。
【図１９】（Ａ）〜（Ｄ）は、文字領域への変更を説明するために用いる図である。
【図２０】（Ａ）及び（Ｂ）は、化学構造データの修正を説明するために用いる図である。
【図２１】構成要素認識部の処理の基本的なアルゴリズムを示すフローチャートである。
【図２２】構成要素認識部及び構成要素再認識部で用いられるプログラムのアルゴリズムを説明するために用いられる図である。
【図２３】セグメントグループの一例を示す図である。
【発明を実施するための形態】
【００２７】
以下図面を参照して本発明の化学構造図認識システムの一実施の形態について説明する。図１は、本実施の形態の化学構造図認識システムを、コンピュータを用いて実現する場合の基本構成を示すブロック図である。図１において、符号１で示したブロックは、表示画面を備えた表示装置であり、例えばパーソナルコンピュータであればモニタが表示装置に相当する。この化学構造図認識システムは、大きく分けて、構成要素認識及び修正部３と、化学構造認識及び修正部５と、修正入力部７と、修正構成要素データ蓄積部９と修正化学構造データ蓄積部１１と、ＭＯＬ形式変換部１３と化学構造データベース１５とを備えている。入力修正部７は、パーソナルコンピュータのキーボード及びマウスまたはポインタによって構成される。
【００２８】
本実施の形態では、認識及び修正結果は化学構造認識データとして蓄積される。構成要素認識及び修正部３では、化学構造認識データ中の構成要素データを認識し、化学構造認識及び修正部５では、化学構造認識データ中の化学構造データを認識する。まず構成要素データと化学構造データがどのようなものかを具体例を用いて説明する。図２（Ａ）は、図２（Ｂ）の塩酸の画像H-Clの構成要素データの一例を示してある。図２（Ａ）の例では、識別子がgid1 からgid4 まである４つのオブジェクトが蓄積されており、それぞれの型が文字（Char）か線（Line）で指定されている。それぞれのオブジェクトには始点と終点の座標の情報が蓄積されている。さらに型が文字であるときには、その文字の種別の情報が格納されている。図２（Ｃ）は、図２（Ａ）に対応した化学構造データの一例であり、図２（Ｄ）はこの化学構造データを図式化したものである。図２（Ｃ）及び（Ｄ）においては、化学構造データとして３つのオブジェクトが格納されており、識別子nid1 とnid2 によって識別される原子オブジェクトと識別子bid1 によって識別される結合オブジェクトが蓄積されている。それぞれのオブジェクトには、Atom（原子）やSingle（一重結合）といった型がある。原子オブジェクトは、それを構成する文字オブジェクトを参照している。例えば、識別子nid2 の原子Cl は、文字オブジェクト gid2 とgid3 を参照することにより、その文字の構成を表現している。また結合オブジェクトbid1 は、識別子nid1 とnid2 及び線オブジェクトgid4を参照することにより、原子H と原子Cl を結ぶ結合を表している。図２の例は、簡潔な説明のために本質的な部分を抽象化して表現したものであり、実際はもっと多くの型や属性があり、より複雑な構成になっている。
【００２９】
＜構成要素認識及び修正部の概略＞
構成要素認識及び修正部３は、原画像保存部３０と、構成要素認識部３１と、構成要素データ記憶部３２と、構成要素データ修正部３３とから構成される。構成要素認識部３１は、紙面上に記録された化学構造図を光学式読み取り装置１７により読み取って得た画像データや、特許出願書類のＴＩＦＦ形式の画像データや、ＰＤＦデータの画像データを入力として、入力された化学構造図の画像を文字領域と線図領域とに分けて文字認識及び線図認識をする。文字領域と線図領域の認識については、予め文字を含む領域の画像上の特徴量と線図を含む領域の画像上の特徴量について特徴量判断基準を定めておく。そして入力画像を複数の領域に分けてその領域中に含まれる特徴量が、文字を含む領域の画像上の特徴量が多いか、また線図を含む領域の画像上の特徴量が多いか否かにより、その領域が文字領域か線図領域を判断する。そしてその領域が文字領域であると判断した場合には、その領域からパターン認識等により文字情報を読み取り、予め用意した辞書に基づいて文字認識を行い、その結果を文字認識の構成要素データとする。またその領域が線図領域であると判断した場合には、その領域から線抽出アルゴリズム等により線図情報を読み取り、線図情報を認識した構成要素データとする。構成要素データ記憶部３２は、構成要素認識部３１が認識した構成要素データを記憶する。
【００３０】
構成要素データ修正部３３は、構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。構成要素再認識部３４は、構成要素データ記憶部３２に記憶された構成要素データに基づいて、認識結果を表示装置１の表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。本実施の形態では、再認識のパラメータとしては、後に詳しく説明するその他のパラメータも設定することができる。パラメータの設定は、修正入力部７からの修正がマニュアル（手動）の場合は、数字を入力することによって、またはスライダーバーなどによって指定する。自動の場合は、修正構成要素データ蓄積部９中のオブジェクトから設定することができる。
【００３１】
また構成要素マニュアル修正部３５は、構成要素データに基づいて認識結果を表示装置１の表示画面に画像表示させた状態または構成要素再認識部３４が再認識して得た再認識構成要素データに基づいて再認識結果を表示装置１の表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する機能を有している。
【００３２】
本実施の形態では、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で、さらに必要なパラメータを指定した上で、構成要素再認識部３４が画像データを再認識する。すなわち文字の部分を線図として誤認識している場合には、その線図が占める領域部分を文字領域であると型指定し、線図を文字と誤認識している場合には、その文字が占める領域部分を線図領域であると型指定した上で、構成要素再認識部で再認識を行うと、再認識結果の精度は型の誤判定が避けられるため相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【００３３】
構成要素マニュアル修正部３５は、構成要素データ記憶部３２に記憶された構成要素データに基づいて、認識結果を表示装置１の表示画面に画像表示させた状態または構成要素再認識部３４が再認識して得た再認識構成要素データに基づいて、再認識結果を表示装置１の表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する機能を有している。そして構成要素データ修正部３５で修正した修正データは、構成要素修正データ蓄積部９に蓄積される。なお構成要素マニュアル修正部３５における修正及び各種の機能については後に詳しく説明する。
【００３４】
本実施の形態では、構成要素データ記憶部３２と修正構成要素データ蓄積部９とを別のメモリとして構成しているが、構成要素データ記憶部３２と修正構成要素データ蓄積部９とを１つのメモリで構成してもよい。すなわち構成要素データ記憶部３２と修正構成要素データ蓄積部９とを共用するようにしてもよい。
【００３５】
＜化学構造認識及び修正部の概略＞
化学構造式図の認識結果の修正においては、正しい化学構造の情報に照らして、認識結果及び修正結果の化学的な誤り（化学的不整合）があれば、その情報を用いて修正するのが好ましい。化学的不整合の発生は、構成要素の認識誤りや化学構造の認識誤りの場合もあれば、修正ミスに起因する場合もある。この修正は、マニュアルまたは自動のいずれで行われてもよい。
【００３６】
また、化学構造データの修正を行うためには、構成要素データの修正を行ったのち、その情報に基づき、化学構造を認識して実行するほうが、修正の効率を高めることができる。そこで本実施の形態では、化学構造認識及び修正部５を備えている。化学構造認識及び修正部５は、化学構造データを修正するために、修正構成要素データ蓄積部９に蓄積された修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部５１と、化学構造認識部が認識した化学構造を化学構造データとして記憶する化学構造データ記憶部５２と、予め用意した正しい化学構造の情報に基づいて化学構造認識部が認識した化学構造の化学的不整合を検出する不整合検出部５３と、化学整合データベース５４と、化学構造データ修正部５５とをさらに備えている。化学構造データ修正部５５は、修正構成要素データに基づいて認識結果を表示装置１の表示画面に画像表示させた状態で、不整合検出部５３が検出した化学的不整合と該化学的不整合のための１以上の修正候補を表示画面上に表示し、修正入力部７のマニュアル操作により修正候補を選択して化学的不整合を修正するマニュアル不整合修正部５６と自動不整合修正部５７とを含んでいる。また本実施の形態では、化学構造データ修正部５５で修正した化学構造データの修正データを蓄積する修正化学構造データ蓄積部１１を備えている。
【００３７】
化学構造データ修正部５５は、不整合検出部５３が検出した化学的不整合と化学的不整合のための１以上の修正候補を表示装置１の表示画面上に表示すれば、化学構造データの修正作業を簡単にすることができる。修正を自動で行う場合には、修正候補の選択と連動して構成要素データの修正が行われるようにするのが好ましい。そこで本実施の形態の化学構造データ修正部５５に、修正結果を修正構成要素データ蓄積部９に蓄積された修正データの修正に反映する機能を持たせている。また化学構造データ修正部５５は、不整合検出部５３が検出した化学的不整合を自動修正する自動不整合修正部５７を備えている。
【００３８】
不整合検出部５３は、化学整合データベース５４に予め記憶されている化学情報に基づいて、認識結果の化学的不整合を検出する。化学的不整合とは、原子からでる結合手の数の不整合や、修正構成要素データ蓄積部９中に構成要素としての線は存在するがそれに対する化学的な意味が付されていない、つまりそれに対する化学構造データが修正化学構造データ蓄積部１１に存在しないなどである。例えば、化学整合データベース５４は、ホウ素‘B’の結合手は３本であるという正しい化学情報を蓄積している。認識結果が、図３（Ａ）に示すように結合の手が４本出ている状態であれば、不整合検出部５３は、結合手の数に不整合が起こっていることを検出する。また図３（Ｂ）では、‘CO’という部分式から結合の手が２本出ているが、実際には、‘Cから結合の手が２本出るのが正解である。化学整合データベース５４は、‘CO’という部分式からは結合手が‘C’から２本出て、なおかつ‘O’と‘C’が二重結合で繋がっているという正しい結合知識を持っている。そのため不整合検出部５３は、化学整合データベース５４に記憶されている知識に基づいて、不整合が起こっていることを検出する。
【００３９】
マニュアル不整合修正部５６により修正する場合、化学構造データ修正部５５は、表示装置１において、図４の表示画面２のように不整合修正のための画像を表示する。そして、図４の「不整合チェックボタン」が押されることによって、不整合検出部５３による不整合の検出が起動される。不整合が検出されると表示画面の不整合解消操作部に不整合箇所が表示される。（ちなみに、化学構造表示部の右側の化学構造オブジェクトリストアップ部には、検出された化学構造データが表示される。例えば、図２（Ｃ）及び（Ｄ）の例で言えば、以下のような表示になる。
【００４０】
nid1: Atom: H
nid2: Atom: Cl
bid1:Single:(
nid1: Atom: H-
nid2: Atom: Cl）
不整合解消操作部には、不整合及びその修正候補がリストアップされる。マニュアル不整合修正部５６は、修正入力部７からの指令に基づいて修正作業を実行する。例えば、図３（Ａ）のように、ホウ素‘B’の結合手に不整合がある場合には、この不整合を解消させる方法としては、３つの修正候補がリストアップされる。
【００４１】
（１）‘B’を炭素‘C’にして結合手の整合性をとる
（２）‘B’から伸びる二重結合を一重結合にする
（３）‘B’から伸びる一重結合を消去する
これらの候補の中から修正入力部７を用いてユーザが選択を行い（例えば修正候補文字列をクリックする）、図４の修正実行ボタンを押すことによって、その修正が反映されたデータが修正化学構造データ蓄積部１１に蓄積される。本実施の形態では、この修正において修正構成要素データ蓄積部９の変更も必要な場合には、この修正が構成要素修正データ蓄積部９に蓄積された修正データにも反映される。
【００４２】
本実施の形態では、修正入力部７からのユーザの指定がある場合、自動不整合修正部５７による自動修正を実行する。図５は、自動修正を含む不整合解消処理のプログラムのアルゴリズムの一例のフローチャートを示している。このアルゴリズムでは、まず、ユーザが現在ある不整合解消を「全自動で解消」するか否かを選択する。全自動で解消する場合には、「不整合検出」→「不整合選択」→「不整合解消方法選択」→「不整合解消」の順で自動解消処理が行われ、この作業が「解消可能な不整合」がなくなるまで続けられる。全自動で解消しない場合には、ユーザが、図４の「不整合チェックボタン」を押す。「不整合検出」された後に、その不整合のリストが図４の「不整合解消操作部」に「不整合提示」される。そこで、ユーザがその時点で解消すべき不整合を選択し、それに対して「対話的」に不整合解消方法の選択を行うかを選ぶ。この選択は、図４の修正実行ボタンを押すことにより実行される。対話的に行わない場合（図４の修正実行ボタンが押されない場合）は、不整合解消方法が自動的に選択される。対話的に行う場合には、図４の不整合解消操作部に「不整合解消方法のリストがユーザに提示」される。ユーザはこのリストの中から選択を行う。そして、選択された不整合解消方法にしたがって、不整合が解消される。
【００４３】
なお、不整合が構成要素認識のフェーズに起因する場合があるので、その際には不整合の情報を構成要素認識及び修正部３へとフィードバックし、構成要素の再認識を実施する。構成要素認識及び修正部３へフィードバックすることなく解消が可能な場合は、化学構造情報だけでなく修正構成要素データ蓄積部９のデータ更新を行う。したがって本実施の形態の構成要素データ修正部５５は、修正結果を修正構成要素データ蓄積部９に蓄積された修正データの修正に反映する機能を有している。
【００４４】
修正されたデータは、修正構成要素データ蓄積部９及び修正化学構造データ蓄積部１１からなる「修正データ蓄積部」に蓄積されており、これらのデータはＭＯＬ形式変換部１３によりＭＯＬ形式に変換される。そして、既存の化学構造式データベース１５へと格納することにより、化学構造式の検索システムが構築される。
【００４５】
＜全体説明及び構成要素認識及び修正部の機能の具体例＞
図６は、図１の化学構造図認識システムをコンピュータで実現する場合のプログラムの上位アルゴリズムである。本実施の形態の化学構造図認識システムでは、ＴＩＦＦ形式等の画像データや、紙媒体をスキャナーでスキャンすることより得たビットマップ画像を入力とする。これらのビットマップ画像は、構成要素認識及び修正部３の入力となり、構成要素認識が実行される。また別の入力として、ＳＶＧなどのベクター形式のデータも入力とすることができる。なおベクター形式のデータの場合には、構成要素認識部３１は、ビットマップ画像の場合とは異なる抽出技術により構成要素データを抽出する。そこで図６のフローチャートでは、入力データの種別により構成要素データの認識または抽出を分岐している。なお図１の実施の形態では、構成要素認識部３１がこの工程を実施する。構成要素の認識が終了すると、化学構造認識及び修正部５による化学構造の認識が実行される。図６のフローチャートでは、化学構造認識のステップの後に認識結果の蓄積のステップが実行される。なおこの認識結果の蓄積のステップは、構成要素データの蓄積と化学構造データの蓄積の両方を含むものである。なお図１の実施の形態では、構成要素の認識をした後に、構成要素データを修正した結果（修正構成要素データ）に基づいて化学構造の認識を行っている。
【００４６】
図１の構成要素認識及び修正部３における構成要素の認識及び化学構造認識及び修正部５における化学構造の認識は、完全なものではない。そのため構成要素認識及び修正部３及び化学構造認識及び修正部５の両方において、認識結果の修正を実施する。図７は、構成要素データ及び化学構造データの修正を実行するプログラムのアルゴリズムの一例を示すフローチャートである。図７のアルゴリズムでは、修正が開始すると図１の修正入力７から修正するデータの指定が行われる。次に、修正すべきデータが構成要素データ記憶部３２または修正構成要素データ蓄積部９から修正対象のデータが読み出される。次に修正モードを指定する変数ｍに構成要素データ修正モードを代入する。このため、最初に構成要素データの修正が実行されることになる。すなわち「ｍで分岐？」のステップで、最初に構成要素データ修正モードが選択されて実行される。構成要素データの修正が実行された後、「終了？」の判定が実施される。終了の判定は、例えば、「構成要素データの修正を少なくとも１回、化学構造データの修正を少なくとも１回」行ったという所定の条件の下で判定が行われる。「終了？」の判定で、未終了が判定されると「ｍを逆のモードにする」ステップが実行される。その結果、修正モードは構成要素データ修正モードから化学構造データ修正モードに変更され、構成要素データの修正に続いて、化学構造データの修正が実施される。「終了？」判定で、終了条件が判定されると、最終の修正データが修正構成要素データ蓄積部９及び修正化学構造データ蓄積部１１に保存されて、修正が終了する。
【００４７】
図１の実施の形態では、構成要素認識及び修正部３の構成要素データ修正部３３内には構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。図８は、構成要素再度認識部３４と構成要素マニュアル修正部３５をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。このアルゴリズムでは、「オブジェクト選択操作」により、構成要素オブジェクト（修正の対象）の選択が行われる。そのオブジェクトに対して、ユーザはそのまま「修正」作業を行うか（構成要素マニュアル修正部３５を選択するか）、または「再認識」を行うか（構成要素再認識部３４を選択するか）の「操作指定」を行う。「修正」作業の場合は、オブジェクトが何かしら選択されていれば「修正か削除」を行い、そうでなければ「新規作成」を行う。「再認識」を行う場合には、「パラメータ指定」を行い「再認識」処理を行う。そして修正構成要素データ蓄積部９のデータ更新を行う。その後、「化学構造データ修正」モードに移行しないのであれば、また「オブジェクト選択操作」に戻り、移行するのであれば、構成要素データ修正を終了する。
【００４８】
次に構成要素データの具体的な修正操作について説明する。図９は、構成要素データを修正する際に図１の表示装置１画面２に表示される画面レイアウトの一例を示している。構成要素データ修正部３３は、構成要素データ（オブジェクト）の新規作成、移動、サイズ変更、削除といったドローエディタで用意される機能に加え、修正の効率をあげるための特徴的な機能を備えている。図９の「構成要素の表示部」には認識された文字や線が描画される。そして構成要素オブジェクトリストアップ部には、構成要素データ記憶部３２に記憶された構成要素データ（オブジェクト）の内容がリストアップして表示される。例えば、図２（Ａ）の例で言えば、以下のような表示が構成要素オブジェクトリストアップ部に表示される。
【００４９】
gid1:Char:H:(4,60)-(29,93)
gid2:Char:C:(87,61)-(116,95)
gid3:Char:l:(125,63)-(138,97)
gid4:Line: (44,81)-(73,81)
また、「再認識パラメータ指定部」では、先に説明した構成要素再認識部３４に与えるパラメータの設定が行われる。本実施の形態において設定可能なパラメータとしては以下のものがある。
【００５０】
［部分領域情報］
文字領域及び線図領域を全体的にまたは部分的に指定するパラメータである。主にユーザが領域を範囲指定する。文字オブジェクトのみまたは線オブジェクトのみといった型による選択の仕方により指定することもできる。
【００５１】
［型情報］
型即ち線図領域か文字領域かといったパラメータである。このパラメータを与えることにより、指定された部分領域が線図領域か文字領域であるという前提のもとに認識を行う。例えば、線のみからなる画像の場合は、構成要素再認識部３４に「線のみからなる画像である」という型情報のパラメータを与えることによって、文字の可能性を排除でき、認識の精度を上げることができる。
【００５２】
［標準文字サイズ］
標準文字サイズは構成要素認識部３１がはじめに推定するパラメータであり、この推定に誤りがあると、それ以降の認識に誤りが多く出てしまう。このパラメータは、修正構成要素データ蓄積部９内の文字オブジェクトの平均サイズをとったりすることにより自動指定される。
【００５３】
［線の幅（太さ）及び長さ］
線の幅（太さ）や長さを指定するパラメータである。線として認識させる場合の最小の長さをパラメータとして指定すれば、それ以下のものは、ノイズとして除去することができる。修正構成要素データ蓄積部９内の線オブジェクトのなかで一番短いものの長さをとったりすることなどにより指定する。線の幅は、原画像から幅を検出することができる。これによって、線として大体の太さが分かるため、それより大幅に違うものはノイズとして判別が付きやすくなる。
【００５４】
［文字辞書情報］
一般的に、文字認識の際には、それぞれの文字を認識するための特徴を格納した辞書が存在する。同じ描画エンジンで書かれた同一の文字は、文字の特徴は非常に似通っている。そのため、一画像中において、文字の情報とそれに対応する原画像から辞書を再構築することにより、残りの文字の認識精度を向上させることが可能になる。また、それ以外の画像で同じ描画エンジンで書かれたと分かっている場合には、作成した辞書で文字認識を行うことによって、認識率向上が望める。
【００５５】
［修正経過情報］
修正経過情報のパラメータには以下のものがある。修正において、ユーザが文字を‘C’から‘O’へ変更したことが頻繁に起こった場合、その他の文字‘C’が‘O’である可能性が非常に高く、この‘C’が‘O’に変更されているという修正経過をパラメータとすることにより、認識精度をあげる。
【００５６】
図１０は、構成要素再認識部３４をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。構成要素認識部３１における構成要素の認識の際には、文字の大きさなどのパラメータを推定し、その推定の仮定のもとで認識を実行する。この推定が誤っている場合は当然のことながら認識結果が誤ってしまう。構成要素再認識部３４において、この推定値をユーザがパラメータとして認識エンジンに与えることにより、認識する際の探索空間が減り、認識精度を向上させることができる。この再認識させる機能は、もちろん少数の構成要素データの再認識にも適用できる。しかし構成要素データが少数の場合はマニュアル修正処理を行ったほうが実用的であり、比較的多量の構成要素データに対しては再認識を適用するほうが実用的である。図１０に示すように、それぞれのパラメータは、修正状況や現在の修正構成要素データ蓄積部９内の情報から自動設定されたり、ユーザが手動で指定したりする。自動手動の区別については、後に具体的な例を示す。その後、指定されたパラメータで再認識処理が実行される。部分領域内の座標にかかる領域のオブジェクトを構成要素データ記憶部３２または修正構成要素データ蓄積部９から読み出した構成要素データから削除し、再認識結果を修正構成要素データ蓄積部９に追加した後、再認識した構成要素データ（オブジェクト）を再描画させると、再認識処理は終了する。パラメータを手動で入力する場合は、数字を入力することによって、またはスライダーバーなどによって指定する。パラメータの自動設定の場合は、修正構成要素データ記憶部９に記憶されている構成要素データ（オブジェクト）の種類から設定することができる。
【００５７】
本実施の形態においては、構成要素データ修正部３３に、構成要素認識部が認識した文字と線図の違いが判るように表示装置１の表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有している。表示態様の相異としては、例えば、文字表示と線図表示の色を変えてもよい。色の相異は、ユーザの判断速度を高めるのに効果的である。このよう機能を設けると、表示態様の相異から文字表示と線図表示とを確認できるので、修正効率をさらに高めることができるようになる。
【００５８】
また構成要素データ修正部３３は、構成要素認識部３１が認識した大文字、小文字及び数字の相違が判るように、表示画面に表示した画像表示中の大文字、小文字及び数字の色を変える機能を有していてもよい。具体的には、文字はその種別（大文字、小文字、数字）によって色が変えられるようになっており、修正すべき箇所が即座に判別できるようになっている。例えばお互いに判別がしづらいＩ（大文字アイ）とｌ（小文字エル）が色を変えて表示されるので、即座に判別できる。また、文字の色と線の色を変えて表示するので、これもまた即座に判別できる。これによって、前述のＩ（大文字アイ）やｌ（小文字エル）と縦線の区別が即座にできる。
【００５９】
また構成要素データ修正部３３は、表示装置１の表示画面に、化学構造図の読み取り原画像を画像表示と重ねて表示する第１の表示態様と、原画像表示のみを表示する第２の表示態様とを選択できるように構成されている。すなわち図１１（Ａ）に示すように、線や文字などの構成要素は、薄色で表示された原画像の背景に色付きで重ねて表示される（第１の表示態様）。修正入力部７に設けた特定のキーを押すことにより、図１１（Ｂ）のように原画像のみの表示に切り替わる（第２の表示態様）。これにより、ユーザは即座に修正箇所を確認することができ、修正効率の向上に寄与できる。原画像を同じ表示画面上で見ることができれば、認識結果の修正作業を視点の移動なしに効率的に実施できる。
【００６０】
構成要素データ修正部３３は、確信度判定部の判定結果が分かるように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。確信度が画面に表示されていれば、修正の際に確信度の低いものか修正作業をすればよいため、修正効率を飛躍的に高めることができる。そこで構成要素認識部３１は、図示していないが、文字認識及び線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備えている。構成要素認識部３１の確信度演算部は、認識の際に認識候補をあげ、それぞれの認識候補の確信度を計算している。そして確信度判定部は、確信度の一番高いものを認識結果として出力する。構成要素データ修正部３３は、表示装置１の表示画面に、確信度がある程度低い場合にはそれがわかるように背景色の色を特定の色とすることにより表示している。すなわち確信度の違いによって色を変えることにより、ユーザに注目させ、修正効率の向上につなげる。例えば、図１２（Ａ）は原画像である。図１２（Ｂ）の表示では、原画像の数字の２が２として認識されているが確信度が低いため、所定の色系の背景で２が囲まれている。また、原画像の数字の３はｑとして認識されている。しかし確信度がさらに低いため別の色系の背景でｑが囲まれており、ユーザに確認を促している。
【００６１】
構成要素データ修正部３３は、認識された線を原画像どおりに引く操作を簡単にするための機能を備えている。修正入力部７は、表示画面中の線図を修正する際に、表示画面上にポインタを表示するポインタ表示機能を備えている。構成要素データ修正部３３は、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する際に、読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部３５には、ユーザが修正入力部７を操作して、修正対象の線図部分を削除した後、ポインタで始点を指示し、その後ポインタをドラッグし、ポインタで終点を指示する動作を修正入力を用いて行うと、表示画面中の線図部分を始点と終点との間の直線として修正するように構成する。さらに構成要素マニュアル修正部３５は、ポインタで始点または終点が指示された際に、ポインタの位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも小さいときには、始点または終点を原画像中の最短距離にある画素の位置と定める吸着機能を持たせる。このような吸着機能を構成要素マニュアル修正部３５に持たせると、ポインタを使用したポインティング作業を雑にしても、ポインタを最適な位置に自動移動させることができるので、修正作業が大幅に速くなる。
【００６２】
例えば、図１３（Ａ）は始点を指定したあと、ポインタを操作するマウスボタンを押したままでドラックしている状態である。この際にポインタ（マウスカーソル）の場所が原画像から一定の間隔より離れていれば、図１３（Ａ）のように線の終点はポインタ（マウスカーソル）の位置に定まる。すなわち原画像と離れた位置に終点の位置が定められる。しかし、原画像からその一定の間隔以内であれば、線の終点は図１３（Ｂ）のように原画像の上に吸着する。この動作が吸着点処理動作である。
【００６３】
図１４は、線を新規に作成する際の動作をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。図１４において、Ｐ１は始点の座標であり、Ｐ２は終点の座標である。まず最初にマウスクリックされた点の座標を仮の始点の座標Ｐ１とする。そして吸着点処理が行われる。すなわちマウスクリックされた点の位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも離れていれば、マウスクリックされた点が始点の座標Ｐ１となる。また最短距離が予め定めた基準距離よりも小さいときには、始点の座標Ｐ１を原画像中の最短距離にある画素の位置と定める。次に終点に向かってマウス（カーソル）を移動し、マウスが離されたか否かが判定される。マウスが離された場合には、線の作成が終了する。マウスが離されずにマウスが移動されてマウスが停止すると、その位置を仮の終点の座標Ｐ２とする。そしてその位置で吸着点処理が実行され、座標Ｐ２への吸着点座標が決定される。座標Ｐ１と座標Ｐ２が決定されると、線がＰ１からＰ２に描画される。
【００６４】
なお構成要素データ修正部３３は、線図部分の修正をする際に、原画像を細線化する機能を有している。前述の吸着機能には細線化画像を用いる。細線化とは、原画像の中心線(幅１ピクセル)を抽出する処理のことである。例えば、図１５（Ａ）が原画像であるとすると、図１５（Ｂ）が細線化した図である。吸着点の候補は細線化画像に現れる点に限定する。これによって、画像に沿った線をほぼ一意に簡単に引くことができるため、線を引いたあとに位置を調整する手間が省け、修正効率が向上する。
【００６５】
図１６は、前述の吸着点処理を行うプログラムのアルゴリズムのフローチャートを示している。なおこのアルゴリズムは、前述の細線化処理が実施されていて、原画像が細線化されていることを前提としている。まず、マウスカーソルの座標Ｐを入力として取得する。はじめにマウスカーソルの座標から始めて徐々にその近傍に該当の黒画素がないかを探索していく。この際に用いるのが距離変数ｄであり、まずこの距離変数ｄを０に初期化する。もし、近傍を示す距離の閾値ｔｈよりｄが小さくない場合は該当の黒画像が存在しないとして終了する。そうでない場合は、条件「細線化画像中で黒画素であり、かつ［Ｐとの距離］≦ｄを満たす点Ｘが存在する」を満たすならばその点Ｘを出力する。そうでない場合は、ｄを１増やし再度ループを回す。このようにして吸着点処理が実行される。
【００６６】
修正入力部７は、表示画面中の文字を修正する際に、表示画面上の文字領域を指定するためのポインタ（マウスカーソル）を表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有していてもよい。この場合、構成要素データ修正部３３は、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する際に、化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部３５は、ユーザが修正入力部７を操作して、修正対象の文字領域をポインタで指定した後、変更する文字を入力すると、文字領域内の認識文字を変更する文字で置き換える修正をするように構成する。
【００６７】
また構成要素マニュアル修正部３３は、新規作成の文字領域をポインタで指定すると、文字領域を原画像中の新規作成対象の文字と外接する大きさに変更する機能を有しているように構成する。このようにすると文字新規作成作業が容易になる。具体的には、構成要素データ修正部３３が次の機能を有する。まず新規作成文字領域を指定するときは、始点と終点をマウスで指定する。その際に、図１７（Ａ）に示すように、指定する領域を原画像の文字領域より大きく指定してもよい。マウスボタンを離すと、その領域と原画像の文字領域の間の空白を検知して、新規作成領域を原画像の大きさに自動的に縮小する（図１７（Ｂ））。ここで、その文字に対応するキーを押すと文字が入力される（図１７（Ｃ））。また、図１７（Ｄ）のように領域が指定された場合には、選択領域は図１７（Ｅ）のようになるが、この際に文字としての入力記号としては認められないキー（例えばスペースキー）を押すことにより、自動的に空白の際まで領域が拡大し、図１７（Ｂ）のような領域に拡大される。こうすると、文字新規作成後に原画像の文字の大きさにあわせてサイズを調整する必要がなく、修正効率があがる。
【００６８】
文字の領域はあっているが、文字の種類が違う場合は、その文字を選択し、該当の文字キーを一度押すだけで、文字の修正を行うことができる。例えば、図１８（Ａ）が原画像であるとしたときに、認識結果が図１８（Ｂ）のように‘O’が‘C’となっている場合には、キー‘O’を押すだけで、文字が‘C’から‘O’に修正される（図１８Ｃ））。
【００６９】
修正入力部７は、表示画面中の文字領域または線図領域の型指定を変更する際に、表示画面上の文字領域または線図領域を指定するためのポインタ（マウスカーソル）を表示するポインタ表示機能を有していてもよい。この場合、構成要素マニュアル修正部３３には、修正対象の領域をポインタで指定して領域の型を変更すると、その指定された領域内に対応するデータのみを変更された型で再認識する機能を持たせる。このようにすると、再認識のデータ量が減るため、再認識の作業時間が大幅に短くなる。
【００７０】
認識の結果においては、文字が線と認識されていたり、線が文字と認識されていたりする場合など、すなわち型（文字や線の種別）が誤認識している場合がある。この際に、それら誤認識の結果を削除し新たに作成するのではなく、対象領域の構成要素を選択し、キーボードショートカットなどで、正しい型に変換することにより、効率のよい修正作業を行えるようにする。例えば、図１９において、原画像（Ａ）を認識した結果が（Ｂ）とすると、（Ｃ）のように線を選択し、キー‘Ｏ’を押すだけで、複数のラインオブジェクトの型が文字オブジェクトに変換され、（Ｄ）の状態になる。
【００７１】
＜化学構造データの修正の効率向上機能＞
例えば、化学構造データの修正では、図１１の構成要素データを図２０（Ａ）のように表示する。ユーザは、これらの構成要素が化学的にどのような意味を持つかを指定し修正する。例えば、文字‘Ｏ’や‘Ｎ’を選択し、それぞれ原子‘Ｏ’と‘Ｎ’に意味付けをする。意味付けをされたことは、‘Ｏ’や‘Ｎ’が枠で囲まれていることで表す。また、図２０（Ｂ）では、構成要素としては現れてこない、炭素原子‘Ｃ’が薄い色で表示する。この炭素原子‘Ｃ’、酸素原子‘Ｏ’及びその間の二本の線を選択し結合を作ると、原子‘Ｏ’と‘Ｃ’の間に二重結合の意味が付加される（濃い色の二重線で表されている）。
【００７２】
＜構成要素再認識部でのアルゴリズム＞
図２１には、構成要素認識部３１の処理の基本的なアルゴリズムを示してある。まず、前処理で画像から明らかなノイズを排除したりする。次に細線化処理を施し（図２２（Ａ））、それに対して、分岐点や屈曲点を探して、セグメントへ分割する（図２２（Ｂ））。次にこれをセグメントグループにまとめる（図２２（Ｂ））。そして、次にセグメントグループの中で文字と判定されたものに対して文字認識を行う。例えば、図２３は文字セグメントグループである。そうして、構成要素認識処理は終了する。このようにして構成要素はセグメントグループを基本にして実施される。
【産業上の利用可能性】
【００７３】
本発明によれば、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で構成要素再認識部が画像データを再認識するので、再認識結果の精度は相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【符号の説明】
【００７４】
１ 表示装置
３ 構成要素認識及び修正部
５ 化学構造認識及び修正部
７ 修正入力部
９ 修正構成要素データ蓄積部
１１ 修正化学構造データ蓄積部
１３ ＭＯＬ形式変換部
１５ 化学構造式データベース
【技術分野】
【０００１】
本発明は、紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識して、認識結果を修正できるようにした化学構造図認識システム及び該システム用のコンピュータプログラムに関するものである。
【背景技術】
【０００２】
新規の化学物質に関する研究開発において、重複研究・重複投資を回避することは重要である。そのため、従来は、化学物質名で文献や特許公報等を検索することが行われていた。しかし、化学物質名には様々な別名や商品名等があり、検索すべき化学物質を一意に特定できないので、化学物質名を使って所望の検索をすることは困難であった。
【０００３】
そこで検索を可能にするために、化学構造図の画像データを検索可能な電子データに変換する技術として、特公平４−８１２２５号公報（特許文献１）に示される技術が提案された。この従来の技術では、紙面上に記録された図面を走査して得られた画像を文字領域と線図領域に分類するとともに分類した領域群の属性を記憶手段に記憶し、領域群のうち文字領域と判定された領域の文字の認識を行ってその候補を求めて文字候補群とし、この文字候補群から化学構造式に許容される文字列を生成する文字列生成手段を設けることが開示されている。この技術によれば、化学構造式に許容される文字列のみを抽出するため、文字認識により正解が第１位に挙げられなかった場合でも、解釈可能な文字列を選択することが可能になる。これは、文字列生成手段または疑似ノード生成手段によって抽出されたノードを、ノード検出手段がその文字列の種類と文字列に接続する接続線の数に基づいて検証するため、文字列生成手段において唯一の文字列に定められない場合にも解釈可能な文字列を選択することができ、ひいては文字認識手段の文字認識機能を補うことにより可能になっている。
【０００４】
また文献や特許公報等に記載されている化学構造式が、検索可能な形でデータベースに蓄積され、化学構造式を使って化学物質の検索できるような検索システムが待望され、実際にデータ検索システムとして提供されている。例えば、Chemical Abstracts Service（P.O. Box 3012 Columbus, Ohio 43210 U.S.A.）が提供するデータベースCASや日本ではエルゼビア・ジャパン株式会社が提供するデータベースReaxys（商標）などが現実に稼働している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特公平４−８１２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のデータベースサービスを利用するのではなく、次に述べる理由から独自にデータを作成し、検索システムを持つことが望まれている。（１）利用料が高価である。（２）機密性の高いデータの独自管理が不可能である。（３）検索する化学構造を知られたくない（４）柔軟性の高い検索ができない。このようなデータベースの作成のためには、まず、文献や特許公報等に記載されている化学構造式を収集し、検索可能な電子ファイル形式に変換しデータベースに蓄積する必要がある。
【０００７】
しかしながら、特許文献１には、より正確な文字列を選択できる技術が開示されているだけで、文字の修正に加えて線図の修正をより簡単に行えるようにすることについては特に開示されておらず、特許文献１に記載の技術を採用しても、実際の修正には、人手による作業が増大し、化学構造式の電子化に莫大なコストがかかる。
【０００８】
特許文献１等に示された化学構造式認識装置は、文献や特許公報等に記載されている化学構造式の画像を読み込み、それを文字や線といった構成要素に分解し、その構成要素のつながりを解析し、化学構造式として認識し、標準的なフォーマットの電子ファイルを出力する。しかしながら、公知の化学構造式認識技術において、完全な認識をすることは極めて難しいことである。これは、文字のＯＣＲシステムの現状からみても推し量れるが、人間でも判断が分かれるような判別が困難な画像が存在するためである。そのため、効率的なデータ作成には、認識結果を修正する効率的なシステムが必要とされるが、これまでにこの問題を解決する実用的な方法は提案されていない。
【０００９】
本発明の目的は、認識結果を効率よく修正することを可能にする化学構造図認識システム及び該システム用のコンピュータプログラムを提供することにある。
【００１０】
本発明の他の目的は、上記目的に加えて、化学構造式としての整合性の情報を用いて修正作業の効率化をはかることができる化学構造図認識システム及び該システム用のコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の化学構造図認識システムにおいて構成要素の認識と修正の実行を行うために、表示画面を備えた表示装置と、マニュアルで操作される修正入力部と、紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データ、ＰＤＦから抽出した画像データ、ＳＶＧなどのベクター形式の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、構成要素データを記憶する構成要素データ記憶部と、構成要素データを修正する構成要素データ修正部と、構成要素データ修正部で修正した修正データを蓄積する修正構成要素データ蓄積部とを備えている。特に、本発明では、構成要素データ修正部が、構成要素再認識部と構成要素マニュアル修正部とを備えている。構成要素再認識部は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。また構成要素マニュアル修正部は、構成要素データに基づいて認識結果を表示画面に画像表示させた状態または構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する機能を有している。
【００１２】
本発明によれば、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で構成要素再認識部が画像データを再認識する。すなわち文字の部分を線図として誤認識している場合には、その線図と認識した領域部分を文字領域であると型指定し、線図を文字と誤認識している場合には、その文字と認識した領域部分を線図領域であると型指定した上で、構成要素再認識部で再認識を行うと、再認識結果の精度は相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【００１３】
構成要素再認識部は、さらに文字領域に含まれる文字の標準サイズを指定するパラメータと、線図領域に含まれる線図の太さ及び長さを指定するパラメータを設定して画像データを再認識するように構成されていてもよい。再認識の際に指定するパラメータが増えるほど、再認識の精度が上がる。特にこれら２つのパラメータの追加は、再認識の精度向上に大きく寄与する。
【００１４】
化学構造式図の認識結果の修正においては、正しい化学構造の情報に照らして、認識結果及び修正結果の化学的な誤り（化学的不整合）があれば、その情報を用いて修正するのが好ましい。化学的不整合の発生は、構成要素の認識誤りや化学構造の認識誤りの場合もあれば、修正ミスに起因する場合もある。この修正は、マニュアルまたは自動のいずれで行われてもよい。
【００１５】
また、化学構造データの修正を行うためには、構成要素データの修正を行ったのち、その情報に基づき、化学構造を認識して実行するほうが、修正の効率を高めることができる。そこで化学構造データを修正するためには、修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、化学構造認識部が認識した化学構造を化学構造データとして記憶する化学構造データ記憶部と、予め用意した正しい化学構造の情報に基づいて化学構造認識部が認識した化学構造の化学的不整合を検出する不整合検出部と、化学構造データ修正部と修正化学構造データ蓄積部とをさらに備えているのが好ましい。化学構造データ修正部は、修正構成要素データに基づいて認識結果を表示画面に画像表示させた状態で、不整合検出部が検出した化学的不整合と該化学的不整合のための１以上の修正候補を表示画面上に表示し、修正入力部のマニュアル操作により修正候補を選択して化学的不整合を修正するマニュアル不整合修正部を含んで構成することができる。そして修正化学構造データ蓄積部は、化学構造データ修正部で修正した化学構造データの修正データを蓄積する。不整合検出部が検出した化学的不整合と化学的不整合のための１以上の修正候補を表示画面上に表示すれば、化学構造データの修正作業を簡単にすることができる。
【００１６】
前述のように修正を自動で行う場合には、修正候補の選択と連動して構成要素データの修正が行われるようにするのが好ましい。そのためには、化学構造データ修正部に、修正結果を構成要素修正データ蓄積部に蓄積された修正データの修正に反映する機能を持たせればよい。また化学構造データ修正部も、不整合検出部が検出した化学的不整合を自動修正する自動不整合修正部を備えているのが好ましい。
【００１７】
構成要素データ修正部は、画像表示に隣接して構成要素認識部による認識結果として構成要素データを表示するのが好ましい。このようにすると認識結果を画像だけでなく構成要素データによっても確認できる。そのため認識誤りの発見をスピーディに行えるようになり、修正効率を高めることができる。
【００１８】
また構成要素データ修正部は、構成要素認識部が認識した文字と線図の違いが判るように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。このような機能を設けると、表示態様の相異から文字表示と線図表示とを確認できるので、修正効率をさらに高めることができるようになる。表示態様の相異としては、例えば、文字表示と線図表示の色を変えてもよい。色の相異は、ユーザの判断速度を高めるのに効果的である。
【００１９】
また構成要素データ修正部は、構成要素認識部が認識した大文字、小文字及び数字の相違が判るように、表示画面に表示した画像表示中の大文字、小文字及び数字の色を変える機能を有していてもよい。この場合にも、色の相異により、ユーザの判断速度を高めることができる。
【００２０】
構成要素データ修正部は、光学読み取り装置により読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する第１の表示態様と、原画像表示のみを表示する第２の表示態様とを選択できるように構成されていてもよい。原画像を同じ表示画面上で見ることができれば、認識結果の修正作業を視点の移動なしに効率的に実施できる。
【００２１】
構成要素認識部は、文字認識及び線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備えていてもよい。この場合、構成要素データ修正部は、確信度判定部の判定結果が分かるように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。確信度が画面に表示されていれば、修正の際に確信度の低いものから修正作業をすればよいため、修正効率を飛躍的に高めることができる。
【００２２】
修正入力部が、表示画面中の線図を修正する際に、表示画面上にポインタを表示するポインタ表示機能を備えている場合において、線図認識結果の修正作業を容易にするためには、以下の構成を具備しているのが好ましい。構成要素データ修正部は、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する際に、読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部には、ユーザが修正入力部を操作して、修正対象の線図部分を削除した後、ポインタで始点を指示し、その後ポインタをドラッグし、ポインタで終点を指示する動作を修正入力部を用いて行うと、表示画面中の線図部分を始点と終点との間の直線として修正するように構成する。さらに構成要素マニュアル修正部は、ポインタで始点または終点が指示された際に、ポインタの位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも小さいときには、始点または終点を原画像中の最短距離にある画素から一番近い中心線の画素の位置と定める吸着機能を持たせる。このような吸着機能を構成要素マニュアル修正部に持たせると、ポインタを使用したポインティング作業を雑にしても、ポインタを最適な位置に自動移動させることができるので、修正作業が大幅に速くなる。
【００２３】
構成要素データ修正部は、構成要素マニュアル修正部により、線図部分の修正をする際に、原画像を細線化する機能を有していてもよい。このような機能があれば、ポインタの移動先が明確になり、ポインティング作業が大幅に楽になる。
【００２４】
修正入力部は、表示画面中の文字を修正する際に、表示画面上の文字領域を指定するためのポインタを表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有していてもよい。この場合、構成要素データ修正部は、構成要素データまたは再認識構成要素データを修正入力部のマニュアル操作により修正する際に、化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部は、ユーザが修正入力部を操作して、修正対象の文字領域をポインタで指定した後、変更する文字を入力すると、文字領域内の認識文字を変更する文字で置き換える修正をするように構成する。また構成要素マニュアル修正部は、修正対象の文字領域をポインタで指定すると、文字領域を原画像中の修正対象の文字と外接する大きさに変更する機能を有しているように構成する。このようにすると文字修正作業が容易になる。
【００２５】
修正入力部は、表示画面中の文字領域または線図領域の型指定を変更する際に、表示画面上の文字領域または線図領域を指定するためのポインタを表示するポインタ表示機能を有していてもよい。この場合、構成要素マニュアル修正部には、修正対象の領域をポインタで指定して領域の型を変更すると、その指定された領域内に対応するデータのみを変更された型で再認識する機能を持たせる。このようにすると、再認識のデータ量が減るため、再認識の作業時間が大幅に短くなる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施の形態の化学構造図認識システムを、コンピュータを用いて実現する場合の基本構成を示すブロック図である。
【図２】（Ａ）は塩酸HClの画像の構成要素データの一例を示す図であり、（Ｂ）は構成要素データ（Ａ）を図式化したものであり、（Ｃ）は化学構造データの一例を示す図であり、（Ｄ）は化学構造データ（Ｃ）を図式化したものである。
【図３】（Ａ）は認識結果の一例を示す図であり、（Ｂ）は認識結果の一例を示す図である。
【図４】化学構造データの修正用画面の一例を示す図である。
【図５】自動修正を含む不整合解消処理のプログラムのアルゴリズムの一例のフローチャートである。
【図６】図１の化学構造図認識システムをコンピュータで実現する場合のプログラムの上位アルゴリズムを示すフローチャートである。
【図７】構成要素データ及び化学構造データの修正を実行するプログラムのアルゴリズムの一例を示すフローチャートである。
【図８】構成要素再認識部と構成要素マニュアル修正部をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。
【図９】構成要素データを修正する際に表示装置の表示画面に表示されるレイアウトの一例を示す図である。
【図１０】構成要素再認識部をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。
【図１１】（Ａ）は表示画面上の表示態様の一例を示す図であり、（Ｂ）は原画像を示す図である。
【図１２】（Ａ）は原画像を示す図であり、（Ｂ）は表示の一例を示す図である。
【図１３】（Ａ）及び（Ｂ）は吸着点処理を説明するために用いる図である。
【図１４】線を新規に作成する際の吸着動作をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図１５】（Ａ）は原画像を示す図であり、（Ｂ）は原画像を線化した図である。
【図１６】吸着点処理を行うプログラムのアルゴリズムのフローチャートを示す図である。
【図１７】（Ａ）〜（Ｅ）は、領域の指定について説明するために用いる図である。
【図１８】（Ａ）〜（Ｃ）は、文字修正を説明するために用いる図である。
【図１９】（Ａ）〜（Ｄ）は、文字領域への変更を説明するために用いる図である。
【図２０】（Ａ）及び（Ｂ）は、化学構造データの修正を説明するために用いる図である。
【図２１】構成要素認識部の処理の基本的なアルゴリズムを示すフローチャートである。
【図２２】構成要素認識部及び構成要素再認識部で用いられるプログラムのアルゴリズムを説明するために用いられる図である。
【図２３】セグメントグループの一例を示す図である。
【発明を実施するための形態】
【００２７】
以下図面を参照して本発明の化学構造図認識システムの一実施の形態について説明する。図１は、本実施の形態の化学構造図認識システムを、コンピュータを用いて実現する場合の基本構成を示すブロック図である。図１において、符号１で示したブロックは、表示画面を備えた表示装置であり、例えばパーソナルコンピュータであればモニタが表示装置に相当する。この化学構造図認識システムは、大きく分けて、構成要素認識及び修正部３と、化学構造認識及び修正部５と、修正入力部７と、修正構成要素データ蓄積部９と修正化学構造データ蓄積部１１と、ＭＯＬ形式変換部１３と化学構造データベース１５とを備えている。入力修正部７は、パーソナルコンピュータのキーボード及びマウスまたはポインタによって構成される。
【００２８】
本実施の形態では、認識及び修正結果は化学構造認識データとして蓄積される。構成要素認識及び修正部３では、化学構造認識データ中の構成要素データを認識し、化学構造認識及び修正部５では、化学構造認識データ中の化学構造データを認識する。まず構成要素データと化学構造データがどのようなものかを具体例を用いて説明する。図２（Ａ）は、図２（Ｂ）の塩酸の画像H-Clの構成要素データの一例を示してある。図２（Ａ）の例では、識別子がgid1 からgid4 まである４つのオブジェクトが蓄積されており、それぞれの型が文字（Char）か線（Line）で指定されている。それぞれのオブジェクトには始点と終点の座標の情報が蓄積されている。さらに型が文字であるときには、その文字の種別の情報が格納されている。図２（Ｃ）は、図２（Ａ）に対応した化学構造データの一例であり、図２（Ｄ）はこの化学構造データを図式化したものである。図２（Ｃ）及び（Ｄ）においては、化学構造データとして３つのオブジェクトが格納されており、識別子nid1 とnid2 によって識別される原子オブジェクトと識別子bid1 によって識別される結合オブジェクトが蓄積されている。それぞれのオブジェクトには、Atom（原子）やSingle（一重結合）といった型がある。原子オブジェクトは、それを構成する文字オブジェクトを参照している。例えば、識別子nid2 の原子Cl は、文字オブジェクト gid2 とgid3 を参照することにより、その文字の構成を表現している。また結合オブジェクトbid1 は、識別子nid1 とnid2 及び線オブジェクトgid4を参照することにより、原子H と原子Cl を結ぶ結合を表している。図２の例は、簡潔な説明のために本質的な部分を抽象化して表現したものであり、実際はもっと多くの型や属性があり、より複雑な構成になっている。
【００２９】
＜構成要素認識及び修正部の概略＞
構成要素認識及び修正部３は、原画像保存部３０と、構成要素認識部３１と、構成要素データ記憶部３２と、構成要素データ修正部３３とから構成される。構成要素認識部３１は、紙面上に記録された化学構造図を光学式読み取り装置１７により読み取って得た画像データや、特許出願書類のＴＩＦＦ形式の画像データや、ＰＤＦデータの画像データを入力として、入力された化学構造図の画像を文字領域と線図領域とに分けて文字認識及び線図認識をする。文字領域と線図領域の認識については、予め文字を含む領域の画像上の特徴量と線図を含む領域の画像上の特徴量について特徴量判断基準を定めておく。そして入力画像を複数の領域に分けてその領域中に含まれる特徴量が、文字を含む領域の画像上の特徴量が多いか、また線図を含む領域の画像上の特徴量が多いか否かにより、その領域が文字領域か線図領域を判断する。そしてその領域が文字領域であると判断した場合には、その領域からパターン認識等により文字情報を読み取り、予め用意した辞書に基づいて文字認識を行い、その結果を文字認識の構成要素データとする。またその領域が線図領域であると判断した場合には、その領域から線抽出アルゴリズム等により線図情報を読み取り、線図情報を認識した構成要素データとする。構成要素データ記憶部３２は、構成要素認識部３１が認識した構成要素データを記憶する。
【００３０】
構成要素データ修正部３３は、構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。構成要素再認識部３４は、構成要素データ記憶部３２に記憶された構成要素データに基づいて、認識結果を表示装置１の表示画面に画像表示させた状態で、少なくとも文字領域及び線図領域を全体的にまたは部分的に指定するパラメータと、文字領域及び線図領域の型指定を変更するパラメータとを設定して、画像データを再認識する機能を有している。本実施の形態では、再認識のパラメータとしては、後に詳しく説明するその他のパラメータも設定することができる。パラメータの設定は、修正入力部７からの修正がマニュアル（手動）の場合は、数字を入力することによって、またはスライダーバーなどによって指定する。自動の場合は、修正構成要素データ蓄積部９中のオブジェクトから設定することができる。
【００３１】
また構成要素マニュアル修正部３５は、構成要素データに基づいて認識結果を表示装置１の表示画面に画像表示させた状態または構成要素再認識部３４が再認識して得た再認識構成要素データに基づいて再認識結果を表示装置１の表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する機能を有している。
【００３２】
本実施の形態では、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で、さらに必要なパラメータを指定した上で、構成要素再認識部３４が画像データを再認識する。すなわち文字の部分を線図として誤認識している場合には、その線図が占める領域部分を文字領域であると型指定し、線図を文字と誤認識している場合には、その文字が占める領域部分を線図領域であると型指定した上で、構成要素再認識部で再認識を行うと、再認識結果の精度は型の誤判定が避けられるため相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【００３３】
構成要素マニュアル修正部３５は、構成要素データ記憶部３２に記憶された構成要素データに基づいて、認識結果を表示装置１の表示画面に画像表示させた状態または構成要素再認識部３４が再認識して得た再認識構成要素データに基づいて、再認識結果を表示装置１の表示画面に画像表示させた状態で、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する機能を有している。そして構成要素データ修正部３５で修正した修正データは、構成要素修正データ蓄積部９に蓄積される。なお構成要素マニュアル修正部３５における修正及び各種の機能については後に詳しく説明する。
【００３４】
本実施の形態では、構成要素データ記憶部３２と修正構成要素データ蓄積部９とを別のメモリとして構成しているが、構成要素データ記憶部３２と修正構成要素データ蓄積部９とを１つのメモリで構成してもよい。すなわち構成要素データ記憶部３２と修正構成要素データ蓄積部９とを共用するようにしてもよい。
【００３５】
＜化学構造認識及び修正部の概略＞
化学構造式図の認識結果の修正においては、正しい化学構造の情報に照らして、認識結果及び修正結果の化学的な誤り（化学的不整合）があれば、その情報を用いて修正するのが好ましい。化学的不整合の発生は、構成要素の認識誤りや化学構造の認識誤りの場合もあれば、修正ミスに起因する場合もある。この修正は、マニュアルまたは自動のいずれで行われてもよい。
【００３６】
また、化学構造データの修正を行うためには、構成要素データの修正を行ったのち、その情報に基づき、化学構造を認識して実行するほうが、修正の効率を高めることができる。そこで本実施の形態では、化学構造認識及び修正部５を備えている。化学構造認識及び修正部５は、化学構造データを修正するために、修正構成要素データ蓄積部９に蓄積された修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部５１と、化学構造認識部が認識した化学構造を化学構造データとして記憶する化学構造データ記憶部５２と、予め用意した正しい化学構造の情報に基づいて化学構造認識部が認識した化学構造の化学的不整合を検出する不整合検出部５３と、化学整合データベース５４と、化学構造データ修正部５５とをさらに備えている。化学構造データ修正部５５は、修正構成要素データに基づいて認識結果を表示装置１の表示画面に画像表示させた状態で、不整合検出部５３が検出した化学的不整合と該化学的不整合のための１以上の修正候補を表示画面上に表示し、修正入力部７のマニュアル操作により修正候補を選択して化学的不整合を修正するマニュアル不整合修正部５６と自動不整合修正部５７とを含んでいる。また本実施の形態では、化学構造データ修正部５５で修正した化学構造データの修正データを蓄積する修正化学構造データ蓄積部１１を備えている。
【００３７】
化学構造データ修正部５５は、不整合検出部５３が検出した化学的不整合と化学的不整合のための１以上の修正候補を表示装置１の表示画面上に表示すれば、化学構造データの修正作業を簡単にすることができる。修正を自動で行う場合には、修正候補の選択と連動して構成要素データの修正が行われるようにするのが好ましい。そこで本実施の形態の化学構造データ修正部５５に、修正結果を修正構成要素データ蓄積部９に蓄積された修正データの修正に反映する機能を持たせている。また化学構造データ修正部５５は、不整合検出部５３が検出した化学的不整合を自動修正する自動不整合修正部５７を備えている。
【００３８】
不整合検出部５３は、化学整合データベース５４に予め記憶されている化学情報に基づいて、認識結果の化学的不整合を検出する。化学的不整合とは、原子からでる結合手の数の不整合や、修正構成要素データ蓄積部９中に構成要素としての線は存在するがそれに対する化学的な意味が付されていない、つまりそれに対する化学構造データが修正化学構造データ蓄積部１１に存在しないなどである。例えば、化学整合データベース５４は、ホウ素‘B’の結合手は３本であるという正しい化学情報を蓄積している。認識結果が、図３（Ａ）に示すように結合の手が４本出ている状態であれば、不整合検出部５３は、結合手の数に不整合が起こっていることを検出する。また図３（Ｂ）では、‘CO’という部分式から結合の手が２本出ているが、実際には、‘Cから結合の手が２本出るのが正解である。化学整合データベース５４は、‘CO’という部分式からは結合手が‘C’から２本出て、なおかつ‘O’と‘C’が二重結合で繋がっているという正しい結合知識を持っている。そのため不整合検出部５３は、化学整合データベース５４に記憶されている知識に基づいて、不整合が起こっていることを検出する。
【００３９】
マニュアル不整合修正部５６により修正する場合、化学構造データ修正部５５は、表示装置１において、図４の表示画面２のように不整合修正のための画像を表示する。そして、図４の「不整合チェックボタン」が押されることによって、不整合検出部５３による不整合の検出が起動される。不整合が検出されると表示画面の不整合解消操作部に不整合箇所が表示される。（ちなみに、化学構造表示部の右側の化学構造オブジェクトリストアップ部には、検出された化学構造データが表示される。例えば、図２（Ｃ）及び（Ｄ）の例で言えば、以下のような表示になる。
【００４０】
nid1: Atom: H
nid2: Atom: Cl
bid1:Single:(
nid1: Atom: H-
nid2: Atom: Cl）
不整合解消操作部には、不整合及びその修正候補がリストアップされる。マニュアル不整合修正部５６は、修正入力部７からの指令に基づいて修正作業を実行する。例えば、図３（Ａ）のように、ホウ素‘B’の結合手に不整合がある場合には、この不整合を解消させる方法としては、３つの修正候補がリストアップされる。
【００４１】
（１）‘B’を炭素‘C’にして結合手の整合性をとる
（２）‘B’から伸びる二重結合を一重結合にする
（３）‘B’から伸びる一重結合を消去する
これらの候補の中から修正入力部７を用いてユーザが選択を行い（例えば修正候補文字列をクリックする）、図４の修正実行ボタンを押すことによって、その修正が反映されたデータが修正化学構造データ蓄積部１１に蓄積される。本実施の形態では、この修正において修正構成要素データ蓄積部９の変更も必要な場合には、この修正が構成要素修正データ蓄積部９に蓄積された修正データにも反映される。
【００４２】
本実施の形態では、修正入力部７からのユーザの指定がある場合、自動不整合修正部５７による自動修正を実行する。図５は、自動修正を含む不整合解消処理のプログラムのアルゴリズムの一例のフローチャートを示している。このアルゴリズムでは、まず、ユーザが現在ある不整合解消を「全自動で解消」するか否かを選択する。全自動で解消する場合には、「不整合検出」→「不整合選択」→「不整合解消方法選択」→「不整合解消」の順で自動解消処理が行われ、この作業が「解消可能な不整合」がなくなるまで続けられる。全自動で解消しない場合には、ユーザが、図４の「不整合チェックボタン」を押す。「不整合検出」された後に、その不整合のリストが図４の「不整合解消操作部」に「不整合提示」される。そこで、ユーザがその時点で解消すべき不整合を選択し、それに対して「対話的」に不整合解消方法の選択を行うかを選ぶ。この選択は、図４の修正実行ボタンを押すことにより実行される。対話的に行わない場合（図４の修正実行ボタンが押されない場合）は、不整合解消方法が自動的に選択される。対話的に行う場合には、図４の不整合解消操作部に「不整合解消方法のリストがユーザに提示」される。ユーザはこのリストの中から選択を行う。そして、選択された不整合解消方法にしたがって、不整合が解消される。
【００４３】
なお、不整合が構成要素認識のフェーズに起因する場合があるので、その際には不整合の情報を構成要素認識及び修正部３へとフィードバックし、構成要素の再認識を実施する。構成要素認識及び修正部３へフィードバックすることなく解消が可能な場合は、化学構造情報だけでなく修正構成要素データ蓄積部９のデータ更新を行う。したがって本実施の形態の構成要素データ修正部５５は、修正結果を修正構成要素データ蓄積部９に蓄積された修正データの修正に反映する機能を有している。
【００４４】
修正されたデータは、修正構成要素データ蓄積部９及び修正化学構造データ蓄積部１１からなる「修正データ蓄積部」に蓄積されており、これらのデータはＭＯＬ形式変換部１３によりＭＯＬ形式に変換される。そして、既存の化学構造式データベース１５へと格納することにより、化学構造式の検索システムが構築される。
【００４５】
＜全体説明及び構成要素認識及び修正部の機能の具体例＞
図６は、図１の化学構造図認識システムをコンピュータで実現する場合のプログラムの上位アルゴリズムである。本実施の形態の化学構造図認識システムでは、ＴＩＦＦ形式等の画像データや、紙媒体をスキャナーでスキャンすることより得たビットマップ画像を入力とする。これらのビットマップ画像は、構成要素認識及び修正部３の入力となり、構成要素認識が実行される。また別の入力として、ＳＶＧなどのベクター形式のデータも入力とすることができる。なおベクター形式のデータの場合には、構成要素認識部３１は、ビットマップ画像の場合とは異なる抽出技術により構成要素データを抽出する。そこで図６のフローチャートでは、入力データの種別により構成要素データの認識または抽出を分岐している。なお図１の実施の形態では、構成要素認識部３１がこの工程を実施する。構成要素の認識が終了すると、化学構造認識及び修正部５による化学構造の認識が実行される。図６のフローチャートでは、化学構造認識のステップの後に認識結果の蓄積のステップが実行される。なおこの認識結果の蓄積のステップは、構成要素データの蓄積と化学構造データの蓄積の両方を含むものである。なお図１の実施の形態では、構成要素の認識をした後に、構成要素データを修正した結果（修正構成要素データ）に基づいて化学構造の認識を行っている。
【００４６】
図１の構成要素認識及び修正部３における構成要素の認識及び化学構造認識及び修正部５における化学構造の認識は、完全なものではない。そのため構成要素認識及び修正部３及び化学構造認識及び修正部５の両方において、認識結果の修正を実施する。図７は、構成要素データ及び化学構造データの修正を実行するプログラムのアルゴリズムの一例を示すフローチャートである。図７のアルゴリズムでは、修正が開始すると図１の修正入力７から修正するデータの指定が行われる。次に、修正すべきデータが構成要素データ記憶部３２または修正構成要素データ蓄積部９から修正対象のデータが読み出される。次に修正モードを指定する変数ｍに構成要素データ修正モードを代入する。このため、最初に構成要素データの修正が実行されることになる。すなわち「ｍで分岐？」のステップで、最初に構成要素データ修正モードが選択されて実行される。構成要素データの修正が実行された後、「終了？」の判定が実施される。終了の判定は、例えば、「構成要素データの修正を少なくとも１回、化学構造データの修正を少なくとも１回」行ったという所定の条件の下で判定が行われる。「終了？」の判定で、未終了が判定されると「ｍを逆のモードにする」ステップが実行される。その結果、修正モードは構成要素データ修正モードから化学構造データ修正モードに変更され、構成要素データの修正に続いて、化学構造データの修正が実施される。「終了？」判定で、終了条件が判定されると、最終の修正データが修正構成要素データ蓄積部９及び修正化学構造データ蓄積部１１に保存されて、修正が終了する。
【００４７】
図１の実施の形態では、構成要素認識及び修正部３の構成要素データ修正部３３内には構成要素再認識部３４と構成要素マニュアル修正部３５とを備えている。図８は、構成要素再度認識部３４と構成要素マニュアル修正部３５をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。このアルゴリズムでは、「オブジェクト選択操作」により、構成要素オブジェクト（修正の対象）の選択が行われる。そのオブジェクトに対して、ユーザはそのまま「修正」作業を行うか（構成要素マニュアル修正部３５を選択するか）、または「再認識」を行うか（構成要素再認識部３４を選択するか）の「操作指定」を行う。「修正」作業の場合は、オブジェクトが何かしら選択されていれば「修正か削除」を行い、そうでなければ「新規作成」を行う。「再認識」を行う場合には、「パラメータ指定」を行い「再認識」処理を行う。そして修正構成要素データ蓄積部９のデータ更新を行う。その後、「化学構造データ修正」モードに移行しないのであれば、また「オブジェクト選択操作」に戻り、移行するのであれば、構成要素データ修正を終了する。
【００４８】
次に構成要素データの具体的な修正操作について説明する。図９は、構成要素データを修正する際に図１の表示装置１画面２に表示される画面レイアウトの一例を示している。構成要素データ修正部３３は、構成要素データ（オブジェクト）の新規作成、移動、サイズ変更、削除といったドローエディタで用意される機能に加え、修正の効率をあげるための特徴的な機能を備えている。図９の「構成要素の表示部」には認識された文字や線が描画される。そして構成要素オブジェクトリストアップ部には、構成要素データ記憶部３２に記憶された構成要素データ（オブジェクト）の内容がリストアップして表示される。例えば、図２（Ａ）の例で言えば、以下のような表示が構成要素オブジェクトリストアップ部に表示される。
【００４９】
gid1:Char:H:(4,60)-(29,93)
gid2:Char:C:(87,61)-(116,95)
gid3:Char:l:(125,63)-(138,97)
gid4:Line: (44,81)-(73,81)
また、「再認識パラメータ指定部」では、先に説明した構成要素再認識部３４に与えるパラメータの設定が行われる。本実施の形態において設定可能なパラメータとしては以下のものがある。
【００５０】
［部分領域情報］
文字領域及び線図領域を全体的にまたは部分的に指定するパラメータである。主にユーザが領域を範囲指定する。文字オブジェクトのみまたは線オブジェクトのみといった型による選択の仕方により指定することもできる。
【００５１】
［型情報］
型即ち線図領域か文字領域かといったパラメータである。このパラメータを与えることにより、指定された部分領域が線図領域か文字領域であるという前提のもとに認識を行う。例えば、線のみからなる画像の場合は、構成要素再認識部３４に「線のみからなる画像である」という型情報のパラメータを与えることによって、文字の可能性を排除でき、認識の精度を上げることができる。
【００５２】
［標準文字サイズ］
標準文字サイズは構成要素認識部３１がはじめに推定するパラメータであり、この推定に誤りがあると、それ以降の認識に誤りが多く出てしまう。このパラメータは、修正構成要素データ蓄積部９内の文字オブジェクトの平均サイズをとったりすることにより自動指定される。
【００５３】
［線の幅（太さ）及び長さ］
線の幅（太さ）や長さを指定するパラメータである。線として認識させる場合の最小の長さをパラメータとして指定すれば、それ以下のものは、ノイズとして除去することができる。修正構成要素データ蓄積部９内の線オブジェクトのなかで一番短いものの長さをとったりすることなどにより指定する。線の幅は、原画像から幅を検出することができる。これによって、線として大体の太さが分かるため、それより大幅に違うものはノイズとして判別が付きやすくなる。
【００５４】
［文字辞書情報］
一般的に、文字認識の際には、それぞれの文字を認識するための特徴を格納した辞書が存在する。同じ描画エンジンで書かれた同一の文字は、文字の特徴は非常に似通っている。そのため、一画像中において、文字の情報とそれに対応する原画像から辞書を再構築することにより、残りの文字の認識精度を向上させることが可能になる。また、それ以外の画像で同じ描画エンジンで書かれたと分かっている場合には、作成した辞書で文字認識を行うことによって、認識率向上が望める。
【００５５】
［修正経過情報］
修正経過情報のパラメータには以下のものがある。修正において、ユーザが文字を‘C’から‘O’へ変更したことが頻繁に起こった場合、その他の文字‘C’が‘O’である可能性が非常に高く、この‘C’が‘O’に変更されているという修正経過をパラメータとすることにより、認識精度をあげる。
【００５６】
図１０は、構成要素再認識部３４をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。構成要素認識部３１における構成要素の認識の際には、文字の大きさなどのパラメータを推定し、その推定の仮定のもとで認識を実行する。この推定が誤っている場合は当然のことながら認識結果が誤ってしまう。構成要素再認識部３４において、この推定値をユーザがパラメータとして認識エンジンに与えることにより、認識する際の探索空間が減り、認識精度を向上させることができる。この再認識させる機能は、もちろん少数の構成要素データの再認識にも適用できる。しかし構成要素データが少数の場合はマニュアル修正処理を行ったほうが実用的であり、比較的多量の構成要素データに対しては再認識を適用するほうが実用的である。図１０に示すように、それぞれのパラメータは、修正状況や現在の修正構成要素データ蓄積部９内の情報から自動設定されたり、ユーザが手動で指定したりする。自動手動の区別については、後に具体的な例を示す。その後、指定されたパラメータで再認識処理が実行される。部分領域内の座標にかかる領域のオブジェクトを構成要素データ記憶部３２または修正構成要素データ蓄積部９から読み出した構成要素データから削除し、再認識結果を修正構成要素データ蓄積部９に追加した後、再認識した構成要素データ（オブジェクト）を再描画させると、再認識処理は終了する。パラメータを手動で入力する場合は、数字を入力することによって、またはスライダーバーなどによって指定する。パラメータの自動設定の場合は、修正構成要素データ記憶部９に記憶されている構成要素データ（オブジェクト）の種類から設定することができる。
【００５７】
本実施の形態においては、構成要素データ修正部３３に、構成要素認識部が認識した文字と線図の違いが判るように表示装置１の表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有している。表示態様の相異としては、例えば、文字表示と線図表示の色を変えてもよい。色の相異は、ユーザの判断速度を高めるのに効果的である。このよう機能を設けると、表示態様の相異から文字表示と線図表示とを確認できるので、修正効率をさらに高めることができるようになる。
【００５８】
また構成要素データ修正部３３は、構成要素認識部３１が認識した大文字、小文字及び数字の相違が判るように、表示画面に表示した画像表示中の大文字、小文字及び数字の色を変える機能を有していてもよい。具体的には、文字はその種別（大文字、小文字、数字）によって色が変えられるようになっており、修正すべき箇所が即座に判別できるようになっている。例えばお互いに判別がしづらいＩ（大文字アイ）とｌ（小文字エル）が色を変えて表示されるので、即座に判別できる。また、文字の色と線の色を変えて表示するので、これもまた即座に判別できる。これによって、前述のＩ（大文字アイ）やｌ（小文字エル）と縦線の区別が即座にできる。
【００５９】
また構成要素データ修正部３３は、表示装置１の表示画面に、化学構造図の読み取り原画像を画像表示と重ねて表示する第１の表示態様と、原画像表示のみを表示する第２の表示態様とを選択できるように構成されている。すなわち図１１（Ａ）に示すように、線や文字などの構成要素は、薄色で表示された原画像の背景に色付きで重ねて表示される（第１の表示態様）。修正入力部７に設けた特定のキーを押すことにより、図１１（Ｂ）のように原画像のみの表示に切り替わる（第２の表示態様）。これにより、ユーザは即座に修正箇所を確認することができ、修正効率の向上に寄与できる。原画像を同じ表示画面上で見ることができれば、認識結果の修正作業を視点の移動なしに効率的に実施できる。
【００６０】
構成要素データ修正部３３は、確信度判定部の判定結果が分かるように表示画面に表示した画像表示中の文字表示と線図表示の表示態様を変える機能を有しているのが好ましい。確信度が画面に表示されていれば、修正の際に確信度の低いものか修正作業をすればよいため、修正効率を飛躍的に高めることができる。そこで構成要素認識部３１は、図示していないが、文字認識及び線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備えている。構成要素認識部３１の確信度演算部は、認識の際に認識候補をあげ、それぞれの認識候補の確信度を計算している。そして確信度判定部は、確信度の一番高いものを認識結果として出力する。構成要素データ修正部３３は、表示装置１の表示画面に、確信度がある程度低い場合にはそれがわかるように背景色の色を特定の色とすることにより表示している。すなわち確信度の違いによって色を変えることにより、ユーザに注目させ、修正効率の向上につなげる。例えば、図１２（Ａ）は原画像である。図１２（Ｂ）の表示では、原画像の数字の２が２として認識されているが確信度が低いため、所定の色系の背景で２が囲まれている。また、原画像の数字の３はｑとして認識されている。しかし確信度がさらに低いため別の色系の背景でｑが囲まれており、ユーザに確認を促している。
【００６１】
構成要素データ修正部３３は、認識された線を原画像どおりに引く操作を簡単にするための機能を備えている。修正入力部７は、表示画面中の線図を修正する際に、表示画面上にポインタを表示するポインタ表示機能を備えている。構成要素データ修正部３３は、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する際に、読み取った化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部３５には、ユーザが修正入力部７を操作して、修正対象の線図部分を削除した後、ポインタで始点を指示し、その後ポインタをドラッグし、ポインタで終点を指示する動作を修正入力を用いて行うと、表示画面中の線図部分を始点と終点との間の直線として修正するように構成する。さらに構成要素マニュアル修正部３５は、ポインタで始点または終点が指示された際に、ポインタの位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも小さいときには、始点または終点を原画像中の最短距離にある画素の位置と定める吸着機能を持たせる。このような吸着機能を構成要素マニュアル修正部３５に持たせると、ポインタを使用したポインティング作業を雑にしても、ポインタを最適な位置に自動移動させることができるので、修正作業が大幅に速くなる。
【００６２】
例えば、図１３（Ａ）は始点を指定したあと、ポインタを操作するマウスボタンを押したままでドラックしている状態である。この際にポインタ（マウスカーソル）の場所が原画像から一定の間隔より離れていれば、図１３（Ａ）のように線の終点はポインタ（マウスカーソル）の位置に定まる。すなわち原画像と離れた位置に終点の位置が定められる。しかし、原画像からその一定の間隔以内であれば、線の終点は図１３（Ｂ）のように原画像の上に吸着する。この動作が吸着点処理動作である。
【００６３】
図１４は、線を新規に作成する際の動作をコンピュータを用いて実現する場合に用いるプログラムのアルゴリズムを示すフローチャートである。図１４において、Ｐ１は始点の座標であり、Ｐ２は終点の座標である。まず最初にマウスクリックされた点の座標を仮の始点の座標Ｐ１とする。そして吸着点処理が行われる。すなわちマウスクリックされた点の位置と原画像中の画素との最短距離を演算し、最短距離が予め定めた基準距離よりも離れていれば、マウスクリックされた点が始点の座標Ｐ１となる。また最短距離が予め定めた基準距離よりも小さいときには、始点の座標Ｐ１を原画像中の最短距離にある画素の位置と定める。次に終点に向かってマウス（カーソル）を移動し、マウスが離されたか否かが判定される。マウスが離された場合には、線の作成が終了する。マウスが離されずにマウスが移動されてマウスが停止すると、その位置を仮の終点の座標Ｐ２とする。そしてその位置で吸着点処理が実行され、座標Ｐ２への吸着点座標が決定される。座標Ｐ１と座標Ｐ２が決定されると、線がＰ１からＰ２に描画される。
【００６４】
なお構成要素データ修正部３３は、線図部分の修正をする際に、原画像を細線化する機能を有している。前述の吸着機能には細線化画像を用いる。細線化とは、原画像の中心線(幅１ピクセル)を抽出する処理のことである。例えば、図１５（Ａ）が原画像であるとすると、図１５（Ｂ）が細線化した図である。吸着点の候補は細線化画像に現れる点に限定する。これによって、画像に沿った線をほぼ一意に簡単に引くことができるため、線を引いたあとに位置を調整する手間が省け、修正効率が向上する。
【００６５】
図１６は、前述の吸着点処理を行うプログラムのアルゴリズムのフローチャートを示している。なおこのアルゴリズムは、前述の細線化処理が実施されていて、原画像が細線化されていることを前提としている。まず、マウスカーソルの座標Ｐを入力として取得する。はじめにマウスカーソルの座標から始めて徐々にその近傍に該当の黒画素がないかを探索していく。この際に用いるのが距離変数ｄであり、まずこの距離変数ｄを０に初期化する。もし、近傍を示す距離の閾値ｔｈよりｄが小さくない場合は該当の黒画像が存在しないとして終了する。そうでない場合は、条件「細線化画像中で黒画素であり、かつ［Ｐとの距離］≦ｄを満たす点Ｘが存在する」を満たすならばその点Ｘを出力する。そうでない場合は、ｄを１増やし再度ループを回す。このようにして吸着点処理が実行される。
【００６６】
修正入力部７は、表示画面中の文字を修正する際に、表示画面上の文字領域を指定するためのポインタ（マウスカーソル）を表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有していてもよい。この場合、構成要素データ修正部３３は、構成要素データまたは再認識構成要素データを修正入力部７のマニュアル操作により修正する際に、化学構造図の読み取り原画像を画像表示と重ねて表示する。そして構成要素マニュアル修正部３５は、ユーザが修正入力部７を操作して、修正対象の文字領域をポインタで指定した後、変更する文字を入力すると、文字領域内の認識文字を変更する文字で置き換える修正をするように構成する。
【００６７】
また構成要素マニュアル修正部３３は、新規作成の文字領域をポインタで指定すると、文字領域を原画像中の新規作成対象の文字と外接する大きさに変更する機能を有しているように構成する。このようにすると文字新規作成作業が容易になる。具体的には、構成要素データ修正部３３が次の機能を有する。まず新規作成文字領域を指定するときは、始点と終点をマウスで指定する。その際に、図１７（Ａ）に示すように、指定する領域を原画像の文字領域より大きく指定してもよい。マウスボタンを離すと、その領域と原画像の文字領域の間の空白を検知して、新規作成領域を原画像の大きさに自動的に縮小する（図１７（Ｂ））。ここで、その文字に対応するキーを押すと文字が入力される（図１７（Ｃ））。また、図１７（Ｄ）のように領域が指定された場合には、選択領域は図１７（Ｅ）のようになるが、この際に文字としての入力記号としては認められないキー（例えばスペースキー）を押すことにより、自動的に空白の際まで領域が拡大し、図１７（Ｂ）のような領域に拡大される。こうすると、文字新規作成後に原画像の文字の大きさにあわせてサイズを調整する必要がなく、修正効率があがる。
【００６８】
文字の領域はあっているが、文字の種類が違う場合は、その文字を選択し、該当の文字キーを一度押すだけで、文字の修正を行うことができる。例えば、図１８（Ａ）が原画像であるとしたときに、認識結果が図１８（Ｂ）のように‘O’が‘C’となっている場合には、キー‘O’を押すだけで、文字が‘C’から‘O’に修正される（図１８Ｃ））。
【００６９】
修正入力部７は、表示画面中の文字領域または線図領域の型指定を変更する際に、表示画面上の文字領域または線図領域を指定するためのポインタ（マウスカーソル）を表示するポインタ表示機能を有していてもよい。この場合、構成要素マニュアル修正部３３には、修正対象の領域をポインタで指定して領域の型を変更すると、その指定された領域内に対応するデータのみを変更された型で再認識する機能を持たせる。このようにすると、再認識のデータ量が減るため、再認識の作業時間が大幅に短くなる。
【００７０】
認識の結果においては、文字が線と認識されていたり、線が文字と認識されていたりする場合など、すなわち型（文字や線の種別）が誤認識している場合がある。この際に、それら誤認識の結果を削除し新たに作成するのではなく、対象領域の構成要素を選択し、キーボードショートカットなどで、正しい型に変換することにより、効率のよい修正作業を行えるようにする。例えば、図１９において、原画像（Ａ）を認識した結果が（Ｂ）とすると、（Ｃ）のように線を選択し、キー‘Ｏ’を押すだけで、複数のラインオブジェクトの型が文字オブジェクトに変換され、（Ｄ）の状態になる。
【００７１】
＜化学構造データの修正の効率向上機能＞
例えば、化学構造データの修正では、図１１の構成要素データを図２０（Ａ）のように表示する。ユーザは、これらの構成要素が化学的にどのような意味を持つかを指定し修正する。例えば、文字‘Ｏ’や‘Ｎ’を選択し、それぞれ原子‘Ｏ’と‘Ｎ’に意味付けをする。意味付けをされたことは、‘Ｏ’や‘Ｎ’が枠で囲まれていることで表す。また、図２０（Ｂ）では、構成要素としては現れてこない、炭素原子‘Ｃ’が薄い色で表示する。この炭素原子‘Ｃ’、酸素原子‘Ｏ’及びその間の二本の線を選択し結合を作ると、原子‘Ｏ’と‘Ｃ’の間に二重結合の意味が付加される（濃い色の二重線で表されている）。
【００７２】
＜構成要素再認識部でのアルゴリズム＞
図２１には、構成要素認識部３１の処理の基本的なアルゴリズムを示してある。まず、前処理で画像から明らかなノイズを排除したりする。次に細線化処理を施し（図２２（Ａ））、それに対して、分岐点や屈曲点を探して、セグメントへ分割する（図２２（Ｂ））。次にこれをセグメントグループにまとめる（図２２（Ｂ））。そして、次にセグメントグループの中で文字と判定されたものに対して文字認識を行う。例えば、図２３は文字セグメントグループである。そうして、構成要素認識処理は終了する。このようにして構成要素はセグメントグループを基本にして実施される。
【産業上の利用可能性】
【００７３】
本発明によれば、文字領域及び線図領域を全体的にまたは部分的に指定して、文字領域及び線図領域の型指定を変更した上で構成要素再認識部が画像データを再認識するので、再認識結果の精度は相当に高くなる。再認識後に、修正入力部のマニュアル操作により文字及び線図の修正を行えば、人手作業を大幅に減らして効率よくデータの修正を行うことができる。
【符号の説明】
【００７４】
１ 表示装置
３ 構成要素認識及び修正部
５ 化学構造認識及び修正部
７ 修正入力部
９ 修正構成要素データ蓄積部
１１ 修正化学構造データ蓄積部
１３ ＭＯＬ形式変換部
１５ 化学構造式データベース
【特許請求の範囲】
【請求項１】
表示画面を備えた表示装置と、
マニュアルで操作される修正入力部と
化学構造図の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の型指定を変更するパラメータと、前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータの少なくとも１つを設定して、前記画像データを再認識する構成要素再認識部及び前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する構成要素マニュアル修正部を有する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正構成要素データを蓄積する修正構成要素データ蓄積部と、
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とを備えていることを特徴とする化学構造図認識システム。
【請求項２】
表示画面を備えた表示装置と、
マニュアルで操作される修正入力部と
た化学構造図の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記構成要素データを修正する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正データを蓄積する構成要素修正データ蓄積部とを備え、
前記構成要素データ修正部は、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、少なくとも前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の型指定を変更するパラメータとを設定して、前記画像データを再認識する構成要素再認識部と、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する構成要素マニュアル修正部とを備えていることを特徴とする化学構造図認識システム。
【請求項３】
前記構成要素再認識部は、さらに前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータを設定して前記画像データを再認識するように構成されている請求項２に記載の化学構造図認識システム。
【請求項４】
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とを備えている請求項２に記載の化学構造図認識システム。
【請求項５】
前記構成要素データ修正部は、前記画像表示に隣接して前記構成要素認識部による前記認識結果としての構成要素データを表示している請求項１または２に記載の化学構造図認識システム。
【請求項６】
前記構成要素データ修正部は、前記構成要素認識部が認識した文字と線図の違いが判るように前記表示画面に表示した前記画像表示中の文字表示と線図表示の表示態様を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項７】
前記構成要素データ修正部は、前記文字表示と前記線図表示の色を変えて前記表示態様を変える請求項６に記載の化学構造図認識システム。
【請求項８】
前記構成要素データ修正部は、前記構成要素認識部が認識した大文字、小文字及び数字の相違が判るように、前記表示画面に表示した前記画像表示中の大文字、小文字及び数字の色を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項９】
前記構成要素データ修正部は、前記化学構造図の読み取り原画像を前記画像表示と重ねて表示する第１の表示態様と、前記画像表示のみを表示する第２の表示態様とを選択できるように構成されている請求項１または２に記載の化学構造図認識システム。
【請求項１０】
前記構成要素認識部は、前記文字認識及び前記線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備え、
前記構成要素データ修正部は、前記確信度判定部の判定結果が分かるように前記表示画面に表示した前記画像表示中の文字表示と線図表示の表示態様を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１１】
前記修正入力部は、前記表示画面中の線図を修正する際には、前記表示画面上にポインタを表示するポインタ表示機能を備えており、
前記構成要素データ修正部は、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する際に、前記化学構造図の読み取り原画像を前記画像表示と重ねて表示し、
前記構成要素マニュアル修正部は、ユーザが前記修正入力部を操作して、修正対象の線図部分を削除した後、前記ポインタで始点を指示し、その後前記ポインタをドラッグし、前記ポインタで終点を指示する動作を前記修正入力を用いて行うと、前記表示画面中の前記線図部分を前記始点と前記終点との間の直線として修正するように構成され、
前記構成要素マニュアル修正部は、前記ポインタで前記始点または終点が指示された際に、前記ポインタの位置と前記原画像中の画素との最短距離を演算し、前記最短距離が予め定めた基準距離よりも小さいときには、前記始点または前記終点を前記原画像中の前記最短距離にある前記画素の位置と定める吸着機能を備えている請求項１または２に記載の化学構造図認識システム。
【請求項１２】
前記構成要素データ修正部は、前記構成要素マニュアル修正部により、前記線図部分の修正をする際に、前記原画像を細線化する機能を有している請求項１１に記載の化学構造図認識システム。
【請求項１３】
前記修正入力部は、前記表示画面中の文字を修正する際に、前記表示画面上の前記文字領域を指定するためのポインタを表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有しており、
前記構成要素データ修正部は、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する際に、前記光学読み取り装置により読み取った前記化学構造図の読み取り原画像を前記画像表示と重ねて表示し、
前記構成要素マニュアル修正部は、ユーザが前記修正入力部を操作して、修正対象の文字領域を前記ポインタで指定した後、変更する文字を入力すると、前記文字領域内の認識文字を前記変更する文字で置き換える修正をするように構成され、
前記構成要素マニュアル修正部は、前記修正対象の文字領域を前記ポインタで指定すると、前記文字領域を前記原画像中の修正対象の文字と外接する大きさに変更する機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１４】
前記修正入力部は、前記表示画面中の前記文字領域または前記線図領域の型指定を変更する際に、前記表示画面上の前記文字領域または前記線図領域を指定するためのポインタを表示するポインタ表示機能を有しており、
前記構成要素マニュアル修正部は、前記修正対象の領域を前記ポインタで指定して領域の型を変更すると、その指定された前記領域内に対応するデータのみを変更された型で再認識する機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１５】
前記化学構造データ修正部は、前記不整合検出部が検出した前記化学的不整合を自動修正する自動不整合修正部を備えている請求項１または４に記載の化学構造図認識システム。
【請求項１６】
前記化学構造データ修正部は、修正結果を前記構成要素修正データ蓄積部に蓄積された前記修正データの修正に反映する機能を有する請求項１，４または１５に記載の化学構造図認識システム。
【請求項１７】
紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の指定を変更するパラメータと、前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータの少なくとも１つを設定して、前記画像データを再認識する構成要素再認識部及び前記構成要素データに基づいて認識結果を表示装置の表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データをマニュアルで操作される修正入力部により修正する構成要素マニュアル修正部を有する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正構成要素データを蓄積する修正構成要素データ蓄積部と、
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とをコンピュータを用いて実現するためにコンピュータで実行されるコンピュータプログラム。
【請求項１８】
紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記構成要素データを修正する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正データを蓄積する構成要素修正データ蓄積部とを備え、
前記構成要素データ修正部は、
前記構成要素データに基づいて認識結果を表示装置の表示画面に画像表示させた状態で、少なくとも前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の指定を変更するパラメータとを設定して、前記画像データを再認識する構成要素再認識部と、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データをマニュアルで操作される修正入力部により修正する構成要素マニュアル修正部とをコンピュータを用いて実現するためにコンピュータで実行されるコンピュータプログラム。
【請求項１】
表示画面を備えた表示装置と、
マニュアルで操作される修正入力部と
化学構造図の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の型指定を変更するパラメータと、前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータの少なくとも１つを設定して、前記画像データを再認識する構成要素再認識部及び前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する構成要素マニュアル修正部を有する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正構成要素データを蓄積する修正構成要素データ蓄積部と、
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とを備えていることを特徴とする化学構造図認識システム。
【請求項２】
表示画面を備えた表示装置と、
マニュアルで操作される修正入力部と
た化学構造図の画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記構成要素データを修正する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正データを蓄積する構成要素修正データ蓄積部とを備え、
前記構成要素データ修正部は、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、少なくとも前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の型指定を変更するパラメータとを設定して、前記画像データを再認識する構成要素再認識部と、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する構成要素マニュアル修正部とを備えていることを特徴とする化学構造図認識システム。
【請求項３】
前記構成要素再認識部は、さらに前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータを設定して前記画像データを再認識するように構成されている請求項２に記載の化学構造図認識システム。
【請求項４】
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とを備えている請求項２に記載の化学構造図認識システム。
【請求項５】
前記構成要素データ修正部は、前記画像表示に隣接して前記構成要素認識部による前記認識結果としての構成要素データを表示している請求項１または２に記載の化学構造図認識システム。
【請求項６】
前記構成要素データ修正部は、前記構成要素認識部が認識した文字と線図の違いが判るように前記表示画面に表示した前記画像表示中の文字表示と線図表示の表示態様を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項７】
前記構成要素データ修正部は、前記文字表示と前記線図表示の色を変えて前記表示態様を変える請求項６に記載の化学構造図認識システム。
【請求項８】
前記構成要素データ修正部は、前記構成要素認識部が認識した大文字、小文字及び数字の相違が判るように、前記表示画面に表示した前記画像表示中の大文字、小文字及び数字の色を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項９】
前記構成要素データ修正部は、前記化学構造図の読み取り原画像を前記画像表示と重ねて表示する第１の表示態様と、前記画像表示のみを表示する第２の表示態様とを選択できるように構成されている請求項１または２に記載の化学構造図認識システム。
【請求項１０】
前記構成要素認識部は、前記文字認識及び前記線図認識の認識結果について個々に確信度を演算する確信度演算部と、予め設定した基準確信度よりも確信度が低いか否かを判定する確信度判定部とを備え、
前記構成要素データ修正部は、前記確信度判定部の判定結果が分かるように前記表示画面に表示した前記画像表示中の文字表示と線図表示の表示態様を変える機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１１】
前記修正入力部は、前記表示画面中の線図を修正する際には、前記表示画面上にポインタを表示するポインタ表示機能を備えており、
前記構成要素データ修正部は、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する際に、前記化学構造図の読み取り原画像を前記画像表示と重ねて表示し、
前記構成要素マニュアル修正部は、ユーザが前記修正入力部を操作して、修正対象の線図部分を削除した後、前記ポインタで始点を指示し、その後前記ポインタをドラッグし、前記ポインタで終点を指示する動作を前記修正入力を用いて行うと、前記表示画面中の前記線図部分を前記始点と前記終点との間の直線として修正するように構成され、
前記構成要素マニュアル修正部は、前記ポインタで前記始点または終点が指示された際に、前記ポインタの位置と前記原画像中の画素との最短距離を演算し、前記最短距離が予め定めた基準距離よりも小さいときには、前記始点または前記終点を前記原画像中の前記最短距離にある前記画素の位置と定める吸着機能を備えている請求項１または２に記載の化学構造図認識システム。
【請求項１２】
前記構成要素データ修正部は、前記構成要素マニュアル修正部により、前記線図部分の修正をする際に、前記原画像を細線化する機能を有している請求項１１に記載の化学構造図認識システム。
【請求項１３】
前記修正入力部は、前記表示画面中の文字を修正する際に、前記表示画面上の前記文字領域を指定するためのポインタを表示するポインタ表示機能と、変更する文字を入力する文字入力機能とを有しており、
前記構成要素データ修正部は、前記構成要素データまたは前記再認識構成要素データを前記修正入力部のマニュアル操作により修正する際に、前記光学読み取り装置により読み取った前記化学構造図の読み取り原画像を前記画像表示と重ねて表示し、
前記構成要素マニュアル修正部は、ユーザが前記修正入力部を操作して、修正対象の文字領域を前記ポインタで指定した後、変更する文字を入力すると、前記文字領域内の認識文字を前記変更する文字で置き換える修正をするように構成され、
前記構成要素マニュアル修正部は、前記修正対象の文字領域を前記ポインタで指定すると、前記文字領域を前記原画像中の修正対象の文字と外接する大きさに変更する機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１４】
前記修正入力部は、前記表示画面中の前記文字領域または前記線図領域の型指定を変更する際に、前記表示画面上の前記文字領域または前記線図領域を指定するためのポインタを表示するポインタ表示機能を有しており、
前記構成要素マニュアル修正部は、前記修正対象の領域を前記ポインタで指定して領域の型を変更すると、その指定された前記領域内に対応するデータのみを変更された型で再認識する機能を有している請求項１または２に記載の化学構造図認識システム。
【請求項１５】
前記化学構造データ修正部は、前記不整合検出部が検出した前記化学的不整合を自動修正する自動不整合修正部を備えている請求項１または４に記載の化学構造図認識システム。
【請求項１６】
前記化学構造データ修正部は、修正結果を前記構成要素修正データ蓄積部に蓄積された前記修正データの修正に反映する機能を有する請求項１，４または１５に記載の化学構造図認識システム。
【請求項１７】
紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の指定を変更するパラメータと、前記文字領域に含まれる文字の標準サイズを指定するパラメータと、前記線図領域に含まれる線図の太さ及び長さを指定するパラメータの少なくとも１つを設定して、前記画像データを再認識する構成要素再認識部及び前記構成要素データに基づいて認識結果を表示装置の表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データをマニュアルで操作される修正入力部により修正する構成要素マニュアル修正部を有する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正構成要素データを蓄積する修正構成要素データ蓄積部と、
前記修正構成要素データにより表される化学構造図の化学構造を認識する化学構造認識部と、
前記化学構造認識部が認識した前記化学構造を化学構造データとして記憶する化学構造データ記憶部と、
予め用意した正しい化学構造の情報に基づいて前記化学構造認識部が認識した前記化学構造の化学的不整合を検出する不整合検出部と、
前記修正構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態で、前記不整合検出部が検出した前記化学的不整合と該化学的不整合のための１以上の修正候補を前記表示画面上に表示し、前記修正入力部のマニュアル操作により前記修正候補を選択して前記化学的不整合を修正するマニュアル不整合修正部を含む化学構造データ修正部と、
前記化学構造データ修正反映部で修正した前記化学構造データの修正データを蓄積する修正化学構造データ蓄積部とをコンピュータを用いて実現するためにコンピュータで実行されるコンピュータプログラム。
【請求項１８】
紙面上に記録された化学構造図を光学読み取り装置により読み取って得た画像データを、文字領域と線図領域とに分けて文字認識及び線図認識をする構成要素認識部と、
前記構成要素データを記憶する構成要素データ記憶部と、
前記構成要素データを修正する構成要素データ修正部と、
前記構成要素データ修正部で修正した修正データを蓄積する構成要素修正データ蓄積部とを備え、
前記構成要素データ修正部は、
前記構成要素データに基づいて認識結果を表示装置の表示画面に画像表示させた状態で、少なくとも前記文字領域及び前記線図領域を全体的にまたは部分的に指定するパラメータと、前記文字領域及び前記線図領域の指定を変更するパラメータとを設定して、前記画像データを再認識する構成要素再認識部と、
前記構成要素データに基づいて認識結果を前記表示画面に画像表示させた状態または前記構成要素再認識部が再認識して得た再認識構成要素データに基づいて再認識結果を前記表示画面に画像表示させた状態で、前記構成要素データまたは前記再認識構成要素データをマニュアルで操作される修正入力部により修正する構成要素マニュアル修正部とをコンピュータを用いて実現するためにコンピュータで実行されるコンピュータプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１４】
【図１６】
【図２１】
【図２３】
【図４】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１４】
【図１６】
【図２１】
【図２３】
【図４】
【図９】
【図１１】
【図１２】
【図１３】
【図１５】
【図１７】
【図１８】
【図１９】
【図２０】
【図２２】
【公開番号】特開２０１３−６１８８６（Ｐ２０１３−６１８８６Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−２０１１４４（Ｐ２０１１−２０１１４４）
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１４日（２０１１．９．１４）
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【Ｆターム（参考）】
[ Back to top ]