説明

画像処理システムとそれに用いる撮像対象物

【課題】ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能でドキュメントの再現性が高い撮像技術を提供する。
【解決手段】デジカメやスマートフォン等のカメラ付き携帯電話で、ドキュメントの撮影をする際にドキュメント用紙に位置決めシンボルを印刷しておき、この位置決めシンボルを基準に画像処理を行うことで、用紙の色や角部の破砕があったとしても、画像補正(台形補正)が可能でドキュメントの再現性が高い画像処理が可能になる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンパクトデジカメや携帯電話のカメラ機能を用いてドキュメントを撮像する技術に適用して有効な技術である。
【背景技術】
【0002】
コンパクトなデジタルカメラ、携帯電話やスマートフォンに搭載されたデジタルカメラは、数百万画素以上の高精度撮影が可能になってきており、風景や人物等の撮影のみならず、紙製のドキュメント、メモや名刺等を撮影するために用いられることが多くなってきている。
【0003】
代表的なスマートフォンであるアップル社のiPhone(アップル社が許諾を受けたアイホン社の登録商標)では、搭載されたカメラで撮影した紙媒体の表面画像を読み込んで、連続的な画素の変化から当該紙媒体のエッジを認識して、斜め方向から撮影しているために台形状態となっているエッジを方形に補正(台形補正)して、紙媒体をあたかも接写方式のドキュメントスキャナで読み込んだような画像に仕上げる、スキャナアプリと呼ばれるアプリケーションが数種類知られている。
【0004】
一方、上記のようなカメラで撮影したドキュメントの画像を補正する技術としては、特開2010−130181号公報(特許文献1)がある。この特許文献1では、請求項7および段落0047に記載されているように、パーソナルコンピュータ(本体PCB)のキーボードの両側に沿ってマーカーとしての赤線RLを設けておき、撮像画像の画面側縁との傾き角を補正パラメータとして台形補正する技術が示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2010−130181号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
前記特許文献1は、パーソナルコンピュータ(本体PCB)の両側に設けられた斜め方向に撮影される赤線RLのマーカーを基準に台形補正を行うため、台形補正の自動化ができるという利点はあるものの、パーソナルコンピュータ(本体PCB)の前に置かれたドキュメントが、パーソナルコンピュータ(本体PCB)に対して正確な位置に置いておかないと、正確な台形補正ができない問題点があった。つまり、ドキュメント(DCM)が僅かでも斜め方向に傾いて置かれてしまっている場合、傾いたままの撮像画像に台形補正を施したとしても、画像として再現されたドキュメント(DCM)が変形してしまい、違和感のあるものになってしまう可能性が高かった。
【0007】
さらに、前述のドキュメントのエッジ部分を認識して台形補正を行う従来技術を併用したとしても、複雑な補正計算を行う必要がある上に、ドキュメントがその用紙色と同系色の机の上に載置されていたり、角部がステープラーの針によって破砕されたり折り曲がっていると、エッジ部分の認識率が低くなり、正確なドキュメントの再現ができない場合が多かった。
【0008】
本発明はこのような点に鑑みてなされたものであり、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能でドキュメントの再現性が高い撮像技術を提供することを課題とする。
【課題を解決するための手段】
【0009】
本発明は、前記課題を解決するために、以下の手段を採用した。
【0010】
より詳細には、本発明の画像処理システムは、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、当該撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される、画像処理システム。
【0011】
本発明によれば、撮像対象物としてのドキュメントやメモそのものに位置決め用シンボル(シンボルコード)を設けているため、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能で再現性の高いドキュメント画像を得ることができる。多値化された図形からなるシンボルコードとは、換言すると、現出部と非現出部とを有するシンボルコードである。なお、位置決めシンボルは、2箇所以上あれば外形を認識することができ、3箇所あれば画像の座標を求めることが可能となる。但し、撮像時の歪み対策として頂点検出用セルを設けることが好ましい。位置決めシンボルが4箇所であれば撮像時に歪んでも外形がわかるが方向がわからなくなることから方向決めシンボルを設けることが好ましい。
【0012】
また、本発明の画像処理システムにおいて、前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、前記第一範囲内または第一範囲とは別領域として設けられた第二範囲を有し、前記画像取得手段又は画像データ保存手段には、予め照合用文字情報が記憶されており、当該画像取得手段が、前記方向認識用シンボルを基準に前記第一範囲の方向を認識し、認識した方向情報に基づいて前記第二範囲を検出し、当該第二範囲に描かれた画像と前記文字情報とを照合し、当該画像が文字であること認識したときに、当該文字を前記第一範囲から読み取った画像データの関連情報として保存するようにしてもよい。
【0013】
本発明によれば、第一範囲から読み取られる画像データに対して、関連情報として第二範囲に記載された文字を文字情報として認識して記憶しておくことができるため、当該文字情報を画像データのインデックスとして使用でき、画像データの検索性を高めることができる。第一範囲の所定位置とは、例えば、第一範囲の上部や位置決めシンボルの内の一つである。関連情報とは、例えば日付である。
【0014】
また、本発明において、前記照合用文字情報は、英文字と数字とのうち少なくとも何れか一方とすることができる。第二範囲に記載された文字の認識を英数字に限定することによって認識率を高め、処理を高速化することができる。
【0015】
また、本発明の画像処理システムにおいて、前記撮像手段は、前記撮像対象物を読み取り、読み取った画像から前記位置決めシンボルを少なくとも3箇所検出したらその撮像画像を前記画像取得手段に引き渡すようにしてもよい。撮像手段が少なくとも3箇所の位置決めシンボルを検出することで画像の座標を求めることが可能となり、撮像画像データを画像処理手段に引き渡すことにより、自動シャッターを実現できる。その結果、ユーザの余計な操作なしに最適なタイミングで画像データの取得が可能になる。
【0016】
また、本発明の画像処理システムにおいて、撮像対象物上の前記第一範囲は、矩形状を呈し、当該矩形の4頂点に夫々前記位置決め用シンボルが配設されており、前記画像取得
手段は、予め記憶されていた各位置決め用シンボル間の基準距離を読み出して、撮像画像における前記各位置決め用シンボル間の距離が前記あらかじめ記憶された各位置決め用シンボル間の基準距離と一致するか否かを照合し、一致しない場合は、撮像された画像における各位置決め用シンボルの距離を前記各位置決め用シンボル間の基準距離に一致するように撮像された画像を補正するようにしてもよい。
【0017】
本発明によれば、ドキュメント、メモ等の撮像対象物そのものに位置決め用シンボルが設けられており、この位置決め用シンボルを基準に画像補正(台形補正)処理を行うため、用紙のエッジの認識を行う場合に比べて、撮像対処物の置き方(方向、位置やその場所)に左右されることなく画像データの取得範囲を確実に認識することが可能となる。
【0018】
また、本発明の画像処理システムにおいて、前記撮像対象物の表面は、電子的に複写すると所定の位置に、他の位置とは異なる形状で設けられた禁止シンボルが現出する印刷処理が施されており、前記撮像対象物を撮像した前記撮像手段は、撮像画像中に前記禁止シンボルを認識したときには、当該撮像画像を前記画像取得手段に引き渡す処理を実行しないようにしてもよい。
【0019】
本発明によれば、電子的に複写した(コピーした)撮像対象物を撮像手段で撮像しようとしても、画像取得手段による画像処理が行われないため、不正な電子複写(コピー)を防止することができる。
【0020】
また、本発明は、本発明の画像処理システムで用いられる撮像対象物として特定することができる。すなわち、本発明は、上述した画像処理システムの撮像対象物であって、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する。
【0021】
本発明の撮像対象物によれば、少なくとも2カ所(たとえば左上と右下)に、特殊な形状の位置決め用シンボルを設定することで、第一範囲に記載された手書き文字等の図形と明らかに区別するとともに、その範囲を確定することが容易になる。位置決め用シンボルには、QRコード(商標登録第4075066号)で用いられる決め用シンボルと同様のものを用いてもよい。
【0022】
また、本発明の撮像対象物において、前記多値化された図形からなるシンボルコードは、現出部と非現出部とを有し、前記非現出部は、前記撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した複写物が可視化された状態で再現されてもよい。
【0023】
本発明によれば、位置決めシンボルの図形中に撮像手段では可視化されず、電子複写(コピー機によるコピー)によって可視的に現出する背景部と潜像部を設けておくことによって、複製された撮像対象物の不正使用を防止できる。すなわち、電子複写(コピー機によるコピー)を用いて複写された撮像対象物を撮像した場合には、位置決めシンボルの背景部と潜像部が現出することにより、位置決めシンボルの図形そのものが異なった形状のものとして撮像手段に認識されてしまうことになる。そのため、撮像手段は位置決めシンボルを特定することができずに画像取得手段に引き渡すことができなくなる。
【0024】
また、本発明は、位置決め用シンボルが形成された領域を除く所定の箇所に、撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した禁止シンボルが可視化された状態で再現されるようにしてもよい。所定の箇所に撮像手
段では可視化されず、電子複写(コピー機によるコピー)によって可視的に現出する背景部と潜像部を設けておくことによって、複製された撮像対象物の不正使用を防止できる。すなわち、撮像手段が可視的に現出する背景部と潜像部、すなわち禁止シンボルを検出したときには、撮像画像データを画像取得手段に引き渡さないようにすることで、不正使用を防止できる。
【0025】
また、本発明は、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルが配設され、撮像対象物としての用紙の上に載置される透明シートと、当該撮像対象物を撮像する撮像手段と、当該撮像手段が前記透明シートを介して撮像した用紙表面の原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される画像処理システムとしてもよい。
【0026】
また、本発明は、撮像対象物としての用紙の上に貼付され、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルからなる2以上のシール片と、当該撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した用紙表面の原画像データから前記シール片の位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される画像処理システムとしてもよい。位置決め用シンボルを透明シートに配設し、又は位置決め用シンボルをシール片によって構成することで、撮像対象物としてのドキュメントやメモが位置決め用シンボルを有しない場合でも、画像補整が可能となる。
【0027】
また、本発明は、画像処理方法として特定することもできる。すなわち、本発明は、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムにおいて、前記撮像手段が、少なくとも前記2カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、前記画像データ保存手段に前記切出画像をデータを保存するステップとからなる画像処理方法である。
【0028】
また、本発明は、画像処理プログラムとして特定することもできる。すなわち、本発明は、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムで実行可能な画像処理プログラムであって、前記撮像手段が、少なくとも前記2カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、前記画像データ保存手段に前記切出画像をデータを保存するステップとからなる画像処理システムで実行可能な画像処理プログラムである。
【0029】
また、本発明は、撮像手段によって撮像され、その画像データを画像取得手段で処理し
、データ保存手段に保存する画像処理システムで用いられる撮像対象物であって、前記撮像対象物の撮像範囲を確定するために少なくとも2箇所の所定位置に設けられた、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルと、前記位置決めシンボルを基準にして所定の位置に設けられ、前記画像取得手段に画像データの切り出しを行わせるための第一範囲とからなる画像処理システムで用いられる撮像対象物としてもよい。
【0030】
更に、本発明の撮像対象物において、前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、前記第一範囲内または第一範囲とは別領域として設けられ、前記方向認識用シンボルとの位置関係でその方向が認識されるとともに、前記画像データ保存手段に予め記憶されている照合用文字情報と照合するための文字が記載される第二範囲が設けられていてもよい。
【0031】
更に、本発明は、少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、当該撮像対象物を撮像する撮像手段と、撮像手段により撮像した原画像データをネットワークを介して送信する送信手段と、前記ネットワークを介して原画像データを受信する画像処理サーバにおいて、当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成されるネットワークを介した画像処理システムとして特定することもできる。
【発明の効果】
【0032】
本発明によれば、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能でドキュメントの再現性が高い撮像技術を提供することができる。
【図面の簡単な説明】
【0033】
【図1】実施形態における撮像対象物としてのメモ用紙を示す図(1)
【図2】実施形態における撮像対象物としてのメモ用紙を示す図(2)
【図3】実施形態における撮像対象物としてのメモ用紙を示す図(3)
【図4】実施形態に用いるカメラ付きスマートフォンの構成図
【図5】実施形態をネットワークで利用した場合の説明図
【図6】実施形態の処理の一例を示すフロー図
【図7】実施形態における撮影状態と、位置決めマークが印刷された透明プレートを示す図
【図8】実施形態における撮像対象物としてのメモ用紙を示す図(4)
【図9】実施形態に用いる位置決めマークを印刷したシールを示す図
【図10】実施形態の処理の他の例を示すフロー図
【発明を実施するための形態】
【0034】
(実施形態1)
本発明を図に基づいて説明する。図1は、本実施形態におけるメモ用紙(撮像対象物)(DOC)の表面の構成を示している。同図に示すように、このメモ用紙(DOC)は、上部に設けられた綴じ代(US)と、用紙本体とで構成されている。用紙本体の上方には綴じ代(US)に沿って同図水平方向ミシン目(ML)が設けられていて、メモ用紙本体を切り取ることができるようになっていてもよい。
【0035】
メモ用紙本体の表面には、四隅近傍に位置決めシンボル(M1〜M4)が印刷されてい
る。4個の位置決めシンボルのうち、左上(M1)、左下(M2)および右下(M3)の位置決めシンボルは、本発明の多値化された図形からなるシンボルコードに対応するものであり、四角形状の太線形状の線図(現出部)の内部に白紙の地色部分の領域(非現出部)で囲まれた塗り潰し印刷の四角形(現出部)が配置されている。この太線形状は、汎用の筆記具(鉛筆、ボールペン、サインペン)よりも太線で印刷するようにして、後述の第一範囲に記述された筆記具の筆跡とは明確に区別されるようにすることが好ましい。なお、位置決めシンボルは、カラーコードとしてもよい。
【0036】
用紙本体の右上には前記位置決めシンボルとは異なる形状の方向決めシンボル(M4)が印刷されている。方向決めシンボル(M4)は、本発明の多値化された図形からなるシンボルコードに対応するものであり、前記左上(M1)、左下(M2)および右下(M3)の位置決めシンボルとは異なる形状である。このように、4個のシンボルのうち1個だけその形状を異なる形状とすることによって、カメラ(CAM)で査定したときに、メモ用紙(DOC)の正方向を検出することができるようになっている。
【0037】
前記4個の位置決めシンボル(M1〜M4)に囲まれた領域は、第一範囲(AR1)として、ユーザが手書きの文字、図形、記号、絵等を描画できるようになっている。そしてこの第一範囲(AR1)が原画像データとしてイメージ読み込みがされる。
【0038】
なお、この例では、第一範囲(AR1)を4個の位置決めシンボル(M1〜M4)に囲まれた部分として認識されるようにしたが、位置決めシンボルは必ずしも4個配置する必要はなく、図3に示すように、左上(M6)と右下(M7)だけに配置してもよい。すなわち、左上の位置決めマーカ(M6)と右下の位置決めマーカ(M7)を結んだ線を対角線とする矩形領域を第一範囲(AR1)と認識してもよい。
【0039】
また、上記の説明では、4個の位置決めシンボル(M1〜M4)のうち、右上のシンボルの形状を変更して方向決めシンボルとしたが、この方向決めシンボルは位置決めシンボル(M1〜M4)の他に、図1、図2のM5で示すように別の部位に印刷してもよい。
【0040】
更に、位置決めシンボル(M1)と位置決めシンボル(M2)の相対的な位置関係から第二範囲(AR2)を認識してもよい。位置決めシンボル同士の相対的な位置関係に代えて、位置決めシンボルと方向決めシンボルとの相対的な位置関係から第二範囲(AR2)を認識してもよい。また、図3に示す例では、綴じ代(US)を基準として第二範囲(AR2)を認識してもよい。
【0041】
図1において、第一範囲(AR1)の方向決めシンボル(M4)の直近左側領域には、第二範囲(AR2)が設けられている。この第二範囲(AR2)は、方向決めシンボルの高さと同じ高さを有しており、方向決めシンボル(M4)の左端側辺が第二範囲の右端側辺と一致しているため、カメラ(CAM)で撮像した原画像データから方向決めシンボル(M4)を検出できれば、第二範囲も検出できるようになっている。
【0042】
第二範囲には、図1では詳細が示されていないが、図3に示すように、7セグメントを構成する直線片からなる記入ガイドが薄色で印刷されている。すなわち7セグメントを構成する記入ガイド部分上を筆記具でなぞることによって夫々のセグメントで0〜9までの数字を電光掲示板の数字表示のように記述することができる。
【0043】
このように7セグメントの記入ガイドを設けることによって、記入された数字の認識率を高めることが可能となっている。なお、7セグメントの記入ガイドを設けて記入された数字の認識が容易になる例で説明したが、これに限らず、1文字ずつの枠を薄色で印刷して、この枠内に記入された数字や英文字を文字認識できるようにしてもよい。つまり、こ
の第二範囲(AR2)に記入した文字(英数字)をカメラ(CAM)で読み取り、メモリ(MEM)に記憶されている文字パターン(照合用文字情報)と比較することで、文字認識を行うことができる。
【0044】
図2に示すように、用紙メモ(DOC)の方向決めシンボル(M4)の直下部分には、禁止シンボル(AS1)が設けられている。この禁止シンボルは可視的に認識できない印刷、たとえば地紋印刷が施されており、コピー装置等で電子的に複写されたときに可視的な禁止シンボルとして現れるようになっている。なお、禁止シンボルは、第一範囲(AR1)内の所定位置にあればよく、例えば図2に示すように、左下の位置決めシンボル(M2)の直上位置に配置されていてもよい。
【0045】
また、地紋印刷を現出化(可視化)させることによって、プログラムによって積極的に禁止シンボルとして認識させてもよい。このようにメモ用紙(DOC)上に禁止シンボルが存在することを認識した段階で、中央処理装置(CPU)はプログラムに基づいて、画像処理を中止して、ディスプレイ(DISP)上に「この用紙は正規の用紙ではありません」等の表示を行ってもよい。
【0046】
次に、図4を用いて本実施形態に用いるカメラ付きスマートフォン(MP)のハードウエア構成を説明する。このスマートフォン(MP)は、たとえばアップル社のiPhone(アイホン社から許諾を受けた登録商標)である。
【0047】
本体にはホームボタン(BTN)が設けられており、ディスプレイ(DISP)に表示されるアイコンやメニューをホーム画面に復帰させたり、カメラ(CAM)のシャッターとして機能させるようになっている。
【0048】
スマートフォン(MP)内部は、中央処理装置(CPU)を中心にメインメモリ(MM)、バス(BUS)を介して接続されたメモリユニット(MEM)、通信インターフェース(TIF)、カメラ(CAM)、前述のボタン(BTN)、タッチパネル(TPN)とディスプレイ(DISP)が一体化されたタッチパネルディスプレイ、スピーカ(SPK)を有している。
【0049】
通信インターフェース(TIF)は、図5に示すように、無線電話回線を通じて基地局(BS)を経由して汎用のネットワーク(NW)に接続可能となっている。また、この通信インターフェース(TIF)は、無線LANのアクセスポイント(AP)と通信可能となっており、いずれかの通信手段を経由してネットワークへの接続が可能となっている。
【0050】
メモリユニット(MEM)には、オペレーティングシステム(OS)とともに、画像処理アプリケーションプログラム(APL)、原画像データや文字情報を保持するためのユーザデータエリア(UDT)が設けられている。
【0051】
本実施形態において前述のメモ用紙(DOC)の撮像およびその画像処理は、メモリユニット(MEM)の画像処理アプリケーションプログラム(APL)をバス(BUS)およびメインメモリ(MM)を介して中央処理装置(CPU)が読み込んで順次実行することによって実現される。この処理を図6の処理フローに基づいて説明する。
【0052】
まず、ユーザのタッチパネル(TPN)のタッチ操作によって本画像処理アプリケーションプログラム(APL)が選択・起動されると(ステップ601)、カメラ(CAM)の機能が作動状態となり、撮像対象物であるメモ用紙(DOC)が撮影されて、この撮影画像に対して、中央処理装置(CPU)がプログラムに基づいて読み込んで図2で説明した禁止シンボルの有無を判定する(ステップ603)。この禁止シンボルの判定は、メモ
リユニットに記録された基準となる禁止シンボルの画像データを読み出して、カメラ(CAM)からの原画像データと比較することによって行う。
【0053】
ここで、禁止シンボルが検出された場合には、その後の処理を行わずにステップ602に戻る。なお、このとき禁止シンボルを検出したことをユーザに通知するための、前述のように、ディスプレイ(DISP)上に「この用紙は正規の用紙ではありません」等の表示を行ってもよい。
【0054】
禁止シンボルが検出されなかったときには、中央処理装置(CPU)は原画像データから位置決めシンボルを探し出す(ステップ604)。この位置決めシンボルの検索も、メモリユニットに記録された基準となる位置決めシンボルの画像データを読み出して、カメラ(CAM)からの原画像データと比較することによって行う。
【0055】
位置決めシンボルを検出したときには、その段階での原画像データをメモリユニット(MEM)に保存する(ステップ605)。このときの当該原画像データの採用を決定することを通知するためのシャッター音をスピーカ(SPK)から出力させてもよい。また、ステップ604において位置決めシンボルを認識しない場合でも、ユーザのボタン(BTN)操作によってシャッター音を発生させて(ステップ611)その時点での原画像データをメモリユニット(MEM)に保存するとともに位置決めシンボルの検索を続けてもよい(ステップ612)。この場合も、一定時間に位置決めシンボルを検出できなかった場合には当該原画像データをそのまま保持するか、ステップ602に復帰させて再度撮影させるかを選択させるようにしてもよい(ステップ613)。
【0056】
ステップ605で原画像データを保持したときは、位置決めシンボルの数をカウントする(ステップ606)ここで、3個の位置決めシンボルだけが検出されたときには、この3個の位置から残りの1個の位置決めシンボルを推定して、擬似的に4個目の位置決めシンボルを追加設定する(ステップ610)。
【0057】
4個すべての位置決めシンボル(M1〜M4)が確定したときには、この4個の位置決めシンボルの外縁同士を結ぶ4本の仮想線を設定し、この仮想線で囲まれる部分を第一範囲として画像切り出しを行う(ステップ607)。
【0058】
次に、切り出し画像について、4辺の位置と距離をあらかじめメモリユニットに記憶されている基準位置・距離と整合させるように台形補正を行い(ステップ608)、補正後の画像をメモ用紙(DOC)の再現画像としてメモリユニット(MEM)に保存する(ステップ609)。
【0059】
なお、図6では、禁止シンボルが(AS1)、用紙メモ(DOC)の方向決めシンボル(M4)の直下部分や左下の位置決めシンボル(M2)の直上位置に配置されている場合の処理について説明した。ここで、禁止シンボルは、図2に示すように、位置決めシンボル(たとえばM3)の非現出部(白地部分)に地紋印刷により設けられていてもよい。また、禁止シンボルは、別の位置決めシンボル(たとえばM3)の非現出部(白地部分)に地紋印刷により設けられていてもよい。このように位置決めシンボル(M3)と禁止シンボル(AS3)とを重畳印刷しておくことにより、本メモ用紙(DOC)がコピー装置等で電子的に複写されると、この複写物の位置決めシンボル(M3)は形状が異なったものになってしまうため、カメラ(CAM)で読み取った後の画像処理において、中央処理装置(CPU)はプログラムによって位置決めシンボル(M3)として認識しない処理を行う。これによって、第一範囲の原画像データの処理を行わないようにしてもよい。
【0060】
上記のように、禁止シンボルを位置決めシンボルの非現出部(白地部分)に地紋印刷に
より設ける場合、禁止シンボルを認識する必要がない。そこで、撮像及び画像処理は、図10に示す処理フローにより行うことができる。図10に示す処理は、図6における禁止シンボルの有無を判定する処理(ステップ603)を行わずに位置決めシンボルを探し出す処理(ステップ1004)が行われる点で、図6に示す処理フローと異なる。なお、図10の各ステップの符号の末尾2桁の数字と図6の各ステップの符号の末尾2桁の数字は対応しており、末尾2桁の数字が同じステップは同様の処理が行われるものとする。
【0061】
なお、上述の処理フローでは、4個の位置決めシンボルの全てを用いて台形補正を行った例で説明したが、これに限らず図3で説明したように、左上の位置決めシンボル(M6)と右下の位置決めシンボル(M7)のみを基準にして台形補正を実行してもよい。この場合にはステップ606において2個の位置決めシンボルのみを検出すればよい。また、残りの2つの位置決めシンボルはその位置を推定して擬似位置決めシンボルを設定してもよい。
【0062】
以上の説明では、スマートフォン(MP)で全ての処理を行う場合で説明したが、処理の一部をネットワーク(NW)を介して接続されたサーバ(SV)に実行させてもよい。
【0063】
たとえば、カメラ(CAM)によりメモ用紙(DOC)の撮影を行った後、原画像データを一旦メモリユニット(MEM)に保存するとともに、通信インターフェース(TIF)およびネットワーク(NW)を介してサーバ(SV)に送信する。
【0064】
前記原画像データを受信したサーバ(SV)ではサーバに格納した画像処理プログラムに基づいて、原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとしてサーバ(SV)に保存するようにしてもよい。
【0065】
サーバ(SV)に保存した画像データは、スマートフォン(MP)からネットワーク(NW)を介してアクセスできるようにしてもよい。
【0066】
以上の説明では、メモ用紙(DOC)そのものに位置決めシンボルや方向決めシンボルを直接印刷した例で説明したが、これに限らず、透明のプラスチックシート(PL)に位置決めシンボルや方向決めシンボルを印刷または印刷したシールを貼付しておき、このプラスチックシート(PL)をメモ用紙(DOC)の上に被せた状態にして、カメラ(CAM)でプラスチックシートを透過させてメモ用紙(DOC)の表面を撮像してもよい。
【0067】
また、図9に示すように位置決めシンボルや方向決めシンボルを印刷したプラスチックフィルムからなるシール(SL)として提供し、このシール(SL)の裏面に粘着面を設けておき、汎用のメモ用紙やレポート用紙に貼付してもよい。
【0068】
なお、上記の説明では撮像対象物は、メモ用紙(DOC)として説明したが、A4サイズ程度のレポート用紙、白紙、印刷済みのドキュメントから名刺あるいは名刺サイズのメモ用紙等、位置決めシンボルや方向決めシンボルが設定できるものであればいかなる大きさのものであってもよい。
【産業上の利用可能性】
【0069】
本発明は、カメラを用いて非接写によるドキュメント撮影を行う画像処理分野に利用できる。
【符号の説明】
【0070】
DOC 撮像対象物(メモ用紙)
AR1 第一範囲
AR2 第二範囲
US 綴じ代
M1〜M4、M6、M7 位置決めシンボル(M4は方向決めシンボル)
M5 方向決めシンボル
AS1〜AS3 禁止シンボル
MP スマートフォン
CAM カメラ
PL プラスチックシート
SL シール
CPU 中央処理装置
MM メインメモリ
BUS バス
MEM メモリユニット
OS オペレーティングシステム
APL 画像処理プログラム
UDT ユーザデータエリア
TIF 通信インターフェース
BTN ホームボタン
TPN タッチパネル
DISP ディスプレイパネル
SPK スピーカ
BS 基地局
AP アクセスポイント

【特許請求の範囲】
【請求項1】
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、
当該撮像対象物を撮像する撮像手段と、
当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、
当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、
により構成される、
画像処理システム。
【請求項2】
前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、前記第一範囲内または第一範囲とは別領域として設けられた第二範囲を有し、
前記画像取得手段又は画像データ保存手段には、予め照合用文字情報が記憶されており、
当該画像取得手段が、前記方向認識用シンボルを基準に前記第一範囲の方向を認識し、認識した方向情報に基づいて前記第二範囲を検出し、当該第二範囲に描かれた画像と前記文字情報とを照合し、当該画像が文字であること認識したときに、当該文字を前記第一範囲から読み取った画像データの関連情報として保存する、
請求項1に記載の画像処理システム。
【請求項3】
前記撮像手段は、
前記撮像対象物を読み取り、読み取った画像から前記位置決めシンボルを複数箇所検出したらその撮像画像を前記画像取得手段に引き渡す、
請求項1又は2に記載の画像処理システム。
【請求項4】
撮像対象物上の前記第一範囲は、
矩形状を呈し、当該矩形の4頂点に夫々前記位置決め用シンボルが配設されており、
前記画像取得手段は、
予め記憶されていた各位置決め用シンボル間の基準距離を読み出して、撮像画像における前記各位置決め用シンボル間の距離が前記あらかじめ記憶された各位置決め用シンボル間の基準距離と一致するか否かを照合し、一致しない場合は、撮像された画像における各位置決め用シンボルの距離を前記各位置決め用シンボル間の基準距離に一致するように撮像された画像を補正する、
請求項1から3の何れか1項に記載の画像処理システム。
【請求項5】
前記撮像対象物の表面は、電子的に複写すると所定の位置に、他の位置とは異なる形状で設けられた禁止シンボルが現出する印刷処理が施されており、
前記撮像対象物を撮像した前記撮像手段は、撮像画像中に前記禁止シンボルを認識したときには、当該撮像画像を前記画像取得手段に引き渡す処理を実行しない
請求項1から4の何れか1項に記載の画像処理システム。
【請求項6】
請求項1から5の何れか1項に記載の撮像対象物であって、
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する、
撮像対象物。
【請求項7】
前記多値化された図形からなるシンボルコードは、現出部と非現出部とを有し、
前記非現出部は、前記撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、
当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した複写物が可視化された状態で再現される、
請求項6に記載の撮像対象物。
【請求項8】
位置決め用シンボルが形成された領域を除く所定の箇所に、撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、
当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した禁止シンボルが可視化された状態で再現される、請求項6又は7に記載の撮像対象物。
【請求項9】
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルが配設され、撮像対象物としての用紙の上に載置される透明シートと、
当該撮像対象物を撮像する撮像手段と、
当該撮像手段が前記透明シートを介して撮像した用紙表面の原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、
当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される、
画像処理システム。
【請求項10】
撮像対象物としての用紙の上に貼付され、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルからなる2以上のシール片と、
当該撮像対象物を撮像する撮像手段と、
当該撮像手段が撮像した用紙表面の原画像データから前記シール片の位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、
当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される、
画像処理システム。
【請求項11】
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムにおいて、
前記撮像手段が、少なくとも前記2カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、
前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、
当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、
前記画像データ保存手段に前記切出画像をデータを保存するステップ
とからなる画像処理方法。
【請求項12】
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像
データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムで実行可能な画像処理プログラムであって、
前記撮像手段が、少なくとも前記2カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、
前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、
当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、
前記画像データ保存手段に前記切出画像をデータを保存するステップ
とからなる画像処理システムで実行可能な画像処理プログラム。
【請求項13】
撮像手段によって撮像され、その画像データを画像取得手段で処理し、データ保存手段に保存する画像処理システムで用いられる撮像対象物であって、
前記撮像対象物の撮像範囲を確定するために少なくとも2箇所の所定位置に設けられた、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルと、
前記位置決めシンボルを基準にして所定の位置に設けられ、前記画像取得手段に画像データの切り出しを行わせるための第一範囲と
からなる画像処理システムで用いられる撮像対象物。
【請求項14】
前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、
前記第一範囲内または第一範囲とは別領域として設けられ、前記方向認識用シンボルとの位置関係でその方向が認識されるとともに、前記画像データ保存手段に予め記憶されている照合用文字情報と照合するための文字が記載される第二範囲が設けられている画像処理システムで用いられる、請求項13に記載の撮像対象物。
【請求項15】
少なくとも2箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、
当該撮像対象物を撮像する撮像手段と、
撮像手段により撮像した原画像データをネットワークを介して送信する送信手段と、
前記ネットワークを介して原画像データを受信する画像処理サーバにおいて、当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、
当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される、
ネットワークを介した画像処理システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2012−68746(P2012−68746A)
【公開日】平成24年4月5日(2012.4.5)
【国際特許分類】
【出願番号】特願2010−211265(P2010−211265)
【出願日】平成22年9月21日(2010.9.21)
【特許番号】特許第4904426号(P4904426)
【特許公報発行日】平成24年3月28日(2012.3.28)
【出願人】(000129437)株式会社キングジム (241)
【Fターム(参考)】