色補正方法及び撮像システム
【課題】撮像手段によって撮像対象を撮像する場合に、当該撮像対象の画像の色補正を、所定の事前環境及び撮像環境を適切に反映して良好に行う。
【解決手段】撮像システム1は、事前処理を実施可能とされており、この事前処理では、所定の第1色参照パターンを撮像し、その第1色参照パターンから第1色情報を抽出している。また、事前処理では、第1色情報が記録され且つ第2色参照パターンが配置された二次元コードも作成している。一方、撮像対象を実際に撮像する際には、作成された二次元コードを撮像対象と共に撮像し、その画像において第2色参照パターンを特定して第2色情報を抽出している。そして、二次元コードに記録される第1色情報と抽出された第2色情報とに基づいて撮像対象の画像の色補正を行っている。
【解決手段】撮像システム1は、事前処理を実施可能とされており、この事前処理では、所定の第1色参照パターンを撮像し、その第1色参照パターンから第1色情報を抽出している。また、事前処理では、第1色情報が記録され且つ第2色参照パターンが配置された二次元コードも作成している。一方、撮像対象を実際に撮像する際には、作成された二次元コードを撮像対象と共に撮像し、その画像において第2色参照パターンを特定して第2色情報を抽出している。そして、二次元コードに記録される第1色情報と抽出された第2色情報とに基づいて撮像対象の画像の色補正を行っている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、色補正方法及び撮像システムに関するものである。
【背景技術】
【0002】
撮像対象をカメラ等によって撮像する場合、同一物を撮像する場合であっても、撮像環境が異なると(例えば、周囲光の光量や種類、或いは、撮像手段から撮像対象までの距離や角度などが異なると)、得られる画像において色彩や濃度或いは輝度が異なってしまうという問題がある。従来は、このような問題に対し、例えばカラーチャートを用いた色補正を行うことで対応していた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3766380号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、特許文献1では、規定された色が付されたカラーチャートを撮像対象と共に撮像し、その撮像画像におけるカラーチャート部分の色値に基づいて撮像対象の各色を補正している。カラーチャートは、予め規定された各色が付されたものであるため、カラーチャート部分の色値を検出することで、その撮像環境がどのような状態にあるかを定量的に把握することができ、カラーチャート部分の色値に基づいて色補正を行うようにすれば、カラーチャートの本来的な色を基準として、撮像対象の画像を意図する色状態に近づけることができる。
【0005】
しかしながら、上記方法の場合、規定された色が正確に付されてなるカラーチャートを購入し、適正に管理しなければならず、管理負荷の面や、コスト面で不利になる虞がある。例えば、カラーチャートを紛失したり、汚れ等が生じると、その都度正規のカラーチャートを購入しなければならず、ユーザの金銭的負担が大きくなってしまう。
【0006】
また、カラーチャートを撮像対象と共に撮像する場合、カラーチャートを如何に迅速且つ正確に検出するかが問題となる。例えば、カラーチャートに強い光が照射される等、外部環境に起因してカラーチャート部分の色状態が変化すると、規定された色配列を検出することが難しくなり、カラーチャートの検出に時間がかかったり、或いはカラーチャートの検出自体不能となることが懸念される。
【0007】
本発明は、上述した課題を解決するためになされたものであり、撮像手段によって撮像対象を撮像する場合に、当該撮像対象の画像の色補正を、所定の事前環境及び撮像環境を適切に反映して良好に、且つ負担を抑えて簡易に行い得る方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1の発明は、撮像手段によって撮像される撮像対象の画像の色補正を行う色補正方法であって、第1撮像手段により、第1色参照パターンを撮像する第1撮像ステップと、
第1抽出手段により、前記第1撮像ステップにて撮像された前記第1色参照パターンから第1色情報を抽出する第1抽出ステップと、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出ステップにて抽出された前記第1色情報が記録された二次元コードを、コード作成手段によって作成するコード作成ステップと、前記第1撮像手段と同一、又は前記第1撮像手段とは異なる前記撮像手段により、前記コード作成ステップにて作成された前記二次元コードと共に前記撮像対象を撮像する第2撮像ステップと、第2抽出手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像において前記第2色参照パターンを特定し且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出ステップと、読取手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像から前記第1色情報を読み取る読取ステップと、前記読取ステップにて読み取られた前記第1色情報と、前記第2抽出ステップにて抽出された前記第2色情報とに基づき、前記第2撮像ステップにて撮像された前記撮像対象の画像に対し、色補正手段により色補正を行う色補正ステップと、を含むことを特徴としている。
【0009】
請求項2の発明は、請求項1に記載の色補正方法において、前記第1色参照パターンが、情報コード内に配置されており、前記第1撮像ステップにおいて、前記撮像手段と同一の又は前記撮像手段とは異なる光学的情報読取手段により、前記情報コードの撮像が行われ、前記第1抽出ステップにおいて、前記光学的情報読取手段により、前記情報コードから前記第1色参照パターンを示す特定の色配列のセル群を検出する処理、及び当該セル群を構成する各セルの色データを検出する処理が行われ、前記各セルの前記色データが前記第1色情報として抽出されることを特徴としている。
【0010】
請求項3の発明は、請求項1又は請求項2に記載の色補正方法において、前記読取ステップ及び前記第2抽出ステップの後に、前記読取ステップにて読み取られた前記第1色情報と前記第2抽出ステップにて抽出された前記第2色情報とを比較し、前記第1色情報と前記第2色情報とに所定の差異があるか否かを判断する判断ステップと、前記判断ステップによって前記所定の差異があると判断された場合に報知を行う報知ステップと、を含んでおり、前記判断ステップにて前記所定の差異があると判断された場合に、前記撮像対象の画像に対して前記色補正ステップが行われることを特徴としている。
【0011】
請求項4の発明は、請求項1から請求項3のいずれか一項に記載の色補正方法であって、前記第2撮像ステップにおいて、前記コード作成ステップにて作成された前記二次元コードを撮像エリア内に複数分散させた状態でそれら複数の前記二次元コードを前記撮像対象と共に撮像し、前記色補正ステップにおいて、前記第2撮像ステップで撮像された前記撮像対象の画像を複数の領域に分割すると共に、各領域についての色補正を、各領域に近接する前記二次元コードの前記第2色情報に基づいて行うことを特徴としている。
【0012】
請求項5の発明は、請求項1から請求項4のいずれか一項に記載の色補正方法において、前記第1色参照パターンは、複数色のセルが所定の配列で構成されたものであり、前記第2色参照パターンは、前記第1色参照パターンと同一のセル配列からなるものとされている。そして、前記第1抽出ステップでは、前記第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、前記第2抽出ステップでは、前記第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。そして、前記色補正ステップでは、前記第1色参照パターンの各セル色毎のRGB成分と、前記第2色参照パターンの各セル色毎のRGB成分とに基づき、前記撮像対象の画像のR成分、G成分、B成分をそれぞれ補正している。
【0013】
請求項6の発明は、光学的情報読取手段と、コード作成手段と、撮像装置とを備えた撮像システムであって、前記光学的情報読取手段が、第1色参照パターンが配置された情報コードを撮像する第1撮像手段と、前記第1撮像手段によって撮像された前記情報コードにおいて前記第1色参照パターンを検出し、且つ当該第1参照パターンから第1色情報を抽出する第1抽出手段と、を備えている。
そして、前記コード作成手段は、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出手段によって抽出された前記第1色情報がデータ領域に記録された二次元コードを作成する構成をなしている。
更に、前記撮像装置は、撮像対象を、前記コード作成手段によって作成された前記二次元コードと共に撮像可能な撮像手段と、前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像において、前記第2色参照パターンを特定し、且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出手段と、前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像から、前記第1色情報を読み取る読取手段と、前記読取手段によって読み取られた前記第1色情報と、前記第2抽出手段によって抽出された前記第2色情報とに基づき、前記撮像手段によって撮像された前記撮像対象の画像に対して色補正を行う色補正手段と、を有している。
【発明の効果】
【0014】
請求項1の発明は、撮像対象の撮像に先立って、事前に第1色参照パターンを撮像し、その撮像された第1色参照パターンから第1色情報を抽出している。そして、その抽出された第1色情報が記録され且つ第1色参照パターンと対応する第2色参照パターンが配置された二次元コードを作成している。
このようにすると、第1色参照パターンを撮像したときの事前環境下で、当該第1色参照パターンの色がどのように表現されているかを定量的に特定し、当該事前環境を反映した情報(第1色情報)として二次元コードに記録しておくことができる。
また、二次元コードには、第1色参照パターンに対応する第2色参照パターンが配置されている。従って、当該二次元コードを撮像したときに、第1色参照パターンを撮像したときの環境を反映したデータ(第1色情報)のみならず、そのデータの生成元のパターン(第1色参照パターン)と対応するパターンの画像をも取得できるようになる。
一方、撮像対象を実際に撮像するときには、上記のように作成された二次元コードを撮像対象と共に撮像し、二次元コードに付された第2色参照パターンから第2色情報を抽出している。
このようにすると、撮像対象を実際に撮像する際に、第2色参照パターンがどのように色表現されているかを定量的に示した情報(第2色情報)を取得することができる。この第2色情報は、撮像対象を実際に撮像する時の撮像環境を反映したデータであるため、この第2色情報と、事前環境を定量的に示す情報(第1色情報)とに基づいて、撮像対象の画像の色補正を行うようにすれば、撮像対象を実際に撮像するときの撮像環境と、第1色参照パターンを事前に撮像したときの事前環境と、をいずれも考慮して、適切な色補正を行うことができる。
【0015】
請求項2の発明は、第1色参照パターンが情報コード内に配置されており、第1色参照パターンを撮像するステップ(第1撮像ステップ)では、光学的情報読取手段によって当該情報コードから第1色参照パターンを示す特定の色配列のセル群を検出している。
このようにすると、情報コードの一部を第1色参照パターンとして兼用することができる。また、光学的情報読取手段による各セルの認識処理を利用して、第1色参照パターンを迅速且つ正確に特定できるようになる。
また、第1色情報を抽出するステップ(第1抽出ステップ)では、上記セル群を構成する各セルの色データを検出し、各セルの色データを第1色情報として抽出している。このようにすると、第1色参照パターンを撮像したときの環境(事前環境)を、複数のセルの色データによって詳細に表すことができ、その抽出処理についても、各セル毎に迅速且つ正確に行うことができる。
【0016】
請求項3の発明は、読取ステップ及び第2抽出ステップの後に、読取ステップにて読み取られた第1色情報と第2抽出ステップにて抽出された第2色情報とを比較し、第1色情報と第2色情報とに所定の差異があるか否かを判断している。このようにすると、第1色参照パターンを撮像した時の環境(事前環境)と、撮像対象を実際に撮像したときの環境(撮像環境)とに差異があるか否かを、色情報を基準として適切に判断することができ、差異がある場合にはその旨をユーザに知らしめることができる。
また、判断ステップにて所定の差異があると判断された場合に、撮像対象の画像に対して色補正を行っている。このようにすると、撮像対象を撮像したときの環境(撮像環境)が、第1色参照パターンを撮像したときの環境(事前環境)に類似する場合には、色補正を省略して処理の迅速化を図ることができ、撮像環境が事前環境に対してある程度変化している場合には、色補正を行って、環境の差異に起因する画像の変化を補正することができる。
【0017】
請求項4の発明は、撮像対象を撮像する際に、コード作成ステップにて作成された二次元コードを撮像エリア内に複数分散させ、その状態で、撮像対象をそれら複数の二次元コードと共に撮像している。そして、得られた撮像対象の画像を複数の領域に分割しており、各領域についての色補正を、各領域に近接する二次元コードの色情報(第2色情報)に基づいて行っている。このようにすると、各領域の撮像環境及び事前環境を考慮し、領域毎に色補正を適切に行うことができる。
【0018】
請求項5の発明では、複数色のセルが所定の配列で構成されてなる第1色参照パターンと、第1色参照パターンと同一のセル配列からなる第2色参照パターンが用いられている。そして、第1抽出ステップでは、第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、第2抽出ステップでは、第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。このようにすると、第1色参照パターンが撮像されたときの環境(事前環境)を、当該第1色参照パターンの各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。また、撮像対象を撮像したときの環境(撮像環境)についても、第2色参照パターンの各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。 更に、第1色参照パターンと第2色参照パターンとが同一のセル配列で構成されているため、第1色参照パターンの各セル色毎のRGB成分、及び第2色参照パターンの各セル色毎のRGB成分をそれぞれ抽出すれば、事前環境から撮像環境に変化したことに伴って、R成分、G成分、B成分それぞれに、どの程度の変化が生じているのかが明確になり、これに基づいて撮像対象の画像のR成分、G成分、B成分をそれぞれ補正すれば、両環境がR成分に与える影響、両環境がG成分に与える影響、両環境がB成分に与える影響をそれぞれ具体的に考慮して、撮像対象の画像のR成分、G成分、B成分を適切に補正することができる。
このように本発明によれば、RGBそれぞれについて、両環境が与える影響の正確な評価、及びそれを考慮した補正を独立して行うことができ、全ての成分についてより適切な補正が可能となる。
【0019】
請求項6の発明によれば、請求項1と同様の効果を奏する撮像システムを実現できる。
【図面の簡単な説明】
【0020】
【図1】図1は、第1実施形態に係る撮像システムを概略的に例示するブロック図である。
【図2】図2は、図1の撮像システムによって行われる事前処理の流れを例示するフローチャートである。
【図3】図3(a)は、情報コード撮像処理について説明する説明図である。図3(b)は、第1色参照パターンが付された情報コードを例示する説明図である。
【図4】図4は、第1色情報を概念的に説明する説明図である。
【図5】図5は、第2色参照パターンを含んだ二次元コードを例示する説明図である。
【図6】図6は、図1の撮像システムによって行われる撮像処理の流れを例示するフローチャートである。
【図7】図7は、図6の撮像処理で行われる読取処理の流れを例示するフローチャートである。
【図8】図8は、図6の撮像処理で行われる第2色参照パターン検出処理の流れを例示するフローチャートである。
【図9】図9は、図6の撮像処理で行われる補正データ生成処理の流れを例示するフローチャートである。
【図10】図10は、撮像対象を二次元コードと共に撮像する様子を説明する説明図である。
【図11】図11は、第2色参照パターン検出処理について説明する説明図である。
【図12】図12(a)は、二次元コードから読み出した第1色情報を説明する説明図であり、図12(b)は、第2色参照パターンから抽出した第2色情報を説明する説明図である。
【図13】図13は、第1色情報及び第2色情報の差分データを説明する説明図である。
【図14】図14は、第2実施形態に係る撮像システムで行われる撮像処理の様子を概念的に説明する説明図である。
【図15】図15は、第2実施形態に係る撮像システムで行われる読取処理を例示するフローチャートである。
【図16】図16は、いずれかの二次元コードの検出が失敗した例を概念的に説明する説明図である。
【発明を実施するための形態】
【0021】
[第1実施形態]
以下、本発明に係る色補正方法及び撮像システムを具現化した第1実施形態について、図面を参照して説明する。
(全体構成)
まず、撮像システムの全体構成について説明する。
図1は、本発明に係る撮像システムを概略的に例示するブロック図である。図1に示すように、第1実施形態に係る撮像システム1は、撮像装置10と、情報処理装置20と、印刷装置30とを備えており、様々な撮像対象を撮像し得るシステムとして構成されている。
【0022】
撮像装置10は、様々な対象物を撮像し得るカメラとして構成されており、撮像対象からの反射光を受光可能な受光センサを有している。撮像装置10に設けられた受光センサは、例えば、C−MOSやCCD等の受光素子を2次元に配列したエリアセンサとして構成されており、撮像対象の画像データを情報処理装置20に出力する構成をなしている。
なお、本実施形態では、撮像装置10が「第1撮像手段」「第2撮像手段」の一例に相当する。
【0023】
情報処理装置20は、例えばパーソナルコンピュータとして構成され、CPUや、ROM、RAM等の記憶手段などを備えており、各種情報処理を行うように構成されている。この情報処理装置20は、撮像装置10からの画像データを記憶手段に記憶して保存する機能、当該画像データに関する各種画像処理を行う機能、図2、図6に示すような各種撮像処理を行う機能などを有している。
【0024】
印刷装置30は、情報処理装置20に接続されており、情報処理装置20から印刷指令及び印刷すべきデータを受けて印刷を行う公知のプリンタとして構成されている。
【0025】
次に、本実施形態に係る撮像システム1を用いて行われる撮像処理について説明する。本実施形態に係る撮像システム1では、大きく分けて、色補正を行うために必要となる事前処理と、実際に対象物を撮像する撮像処理の2つの処理が行われるようになっている。以下、当該システムで行われる各処理について詳述する。
【0026】
(事前処理)
まず、事前処理について説明する。
図2は、図1の撮像システムによって行われる事前処理の流れを例示するフローチャートである。図3(a)は、情報コード撮像処理について説明する説明図である。図3(b)は、第1色参照パターンが付された情報コードを例示する説明図である。図4は、第1色情報を概念的に説明する説明図である。
【0027】
図2に示す事前処理は、情報処理装置20によって実行される処理であり、まず、第1色参照パターンが付された情報コードを撮像する処理が行われる(S1)。この処理では、図3(a)のように情報コードQ1が付された対象物Rを撮像装置10に撮像させ、当該撮像装置10から情報コードQ1の画像データを取得する。
【0028】
S1で用いられる情報コードQ1は、例えば、図3(b)のような構成をなしており、予め規定された第1色参照パターンP1がコード内の所定位置に配置されてなるものである。図3(b)の例では、情報コードQ1がQRコードとして構成されており、QRコードにおいて3つ備えられるべきファインダパターンFPの一つの中央部暗色領域を第1色参照パターンP1に変換した構成をなしている。
【0029】
図3(b)に示すように、第1色参照パターンP1は、情報コードQ1を構成する情報表示単位セル(即ち、明色セル及び暗色セル)と同じサイズのセルが複数集合してなるセル群によって構成されている。このセル群は、複数種類のセルが3行3列のマトリックス状に配置されてなるものであり、図3(b)の例では、8種類のセルが予め規定された順序で配置されている。具体的には、情報コードQ1の角部寄りにおける当該セル群の角位置に白色セル51が配置されており、この白色セル51から外縁に沿って時計回りに、シアン色セル52、赤色セル53、緑色セル54、白色セル55、マゼンタ色セル56、青色セル57、黄色セル58と配置されている。また、中心部には、黒色セル59が配置されている。
【0030】
なお、本実施形態では、S1の情報コード撮像処理が「第1撮像ステップ」の一例に相当する。また、撮像装置10及び情報処理装置20が「第1撮像手段」の一例に相当する。
【0031】
図2に示すように、S1の処理の後には、S1で取得された情報コードQ1の画像から第1色参照パターンP1を検出する処理を行う(S2)。本実施形態に係る撮像システム1では、S1で撮像する情報コードとしてQRコードを用いる点、及びこのQRコードの所定位置(図3の例ではファインダーパターンの中心部暗色領域)に第1色参照パターンP1を配置する点が予め規定されており、S2では、撮像された画像において、コード領域を特定すると共に、いずれかのファインダパターンの暗色領域において、第1色参照パターンを示す特定の色配列のセル群を検出している。なお、QRコードのコード領域を特定する方法は、周知の様々な方法を用いることができ、また、ファインダパターンの特定方法についても周知方法を用いることができる。
【0032】
また、S2の処理では、上記のようにコード領域及びファインダパターンの位置を特定した上で、コード領域内における第1色参照パターンP1が配置されるべき所定位置を参照する。本実施形態では、情報コードQ1内の所定位置に第1色参照パターンP1が配置されることが予め規定されており、例えば、図3(b)のように、ファインダパターンFP2の中央領域に第1色参照パターンP1を配置することが予め規定されている場合、上記のように検出された3つのファインダパターンFP1〜FP3の内の、その規定されたファインダパターンFP2の中央領域を参照し、上記セル群が存在することを確認する。例えば、ファインダパターンFP2の中央領域を特定した上で、中央領域の3×3のセル群が所定配列(角部の白色セルから外縁に沿って時計回りに、シアン色セル、赤色セル、緑色セル、白色セル、マゼンタ色セル、青色セル、黄色セルと配置され、中心部に黒色セルが配置される配列)であるか否かを確認し、所定配列であれば、第1色参照パターンP1が検出されたものとして以降の処理を行う。
【0033】
図2に示すように、S2の処理の後には、第1色情報を抽出する処理が行われる(S3)。この処理では、S2で検出された第1色参照パターンP1において各セルの色データを抽出する。具体的には、図3(b)のように3行3列のマトリックス状のセル群として構成される第1色参照パターンP1において、各セルについてのR成分、G成分、B成分を検出する。例えば、白色セル51のR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求め、同様に、シアン色セル52についても、R成分輝度値、G成分輝度値、B成分輝度をそれぞれ求める。また、他の赤色セル53、緑色セル54、白色セル55、マゼンタ色セル56、青色セル57、黄色セル58、黒色セル59の各領域についてもR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求める。図4は、このようにして求められた各色のセルのR成分輝度値、G成分輝度値、B成分輝度値を例示しており、このようなデータが「第1色情報」に相当している。
【0034】
なお、本実施形態では、第1色参照パターンP1に白セルが2つ設けられているが、このように色参照パターン内に所定色のセルを複数設ける場合、いずれか1つのセルのR成分輝度値、G成分輝度値、B成分輝度値を当該色の代表値として第1色情報に含ませてもよく、同色の複数セルのR成分輝度値の平均値、G成分輝度値の平均値、B成分輝度値の平均値を当該色の代表値としてれ第1色情報に含ませてもよい。
【0035】
本実施形態では、S2及びS3の処理が、「第1抽出ステップ」の一例に相当する。また、情報処理装置20が「第1抽出手段」の一例に相当し、第1撮像ステップにて撮像された第1色参照パターンP1から上記「第1色情報」を抽出する機能を有する。
【0036】
図2に示すように、S3の処理の後には、二次元コード生成処理が行われる(S4)。この二次元コード作成処理では、上記第1色参照パターンP1に対応する第2色参照パターンP2が所定位置に配置され、且つS3で抽出された「第1色情報」が記録された二次元コードQ2の画像データを生成する。
【0037】
図5は、S4で生成される二次元コードQ2のコード構成を例示している。この二次元コードQ2は、QRコードとして構成されており、コード内の所定位置(具体的には、ファインダパターンFP4〜FP6のいずれかの中央部暗色領域)を第2色参照パターンP2に置換した構成をなしている。また、第2色参照パターンP2は、図3(b)に示す第1色参照パターンP1と同じ8種類(8色)のセルが3×3のマトリックス状に配置されており、これら8種類のセルが第1色参照パターンP1と同一のセル配列で並んでいる。具体的には、第1色参照パターンP1と同様に、角位置に白色セル61が配置されており、この白色セル61から外縁に沿って時計回りに、シアン色セル62、赤色セル63、緑色セル64、白色セル65、マゼンタ色セル66、青色セル67、黄色セル68と配置されている。また、中心部には、黒色セル69が配置されている。
【0038】
また、二次元コードQ2のデータ領域(例えば領域D1)には、上記「第1色情報」が符号化された状態で記録されている。データ領域に所定情報(ここでは第1色情報等)を記録したQRコードの生成方法は周知技術であるので詳細な省略するが、例えばJIS規格に規定される方法を用いて生成することができる。なお、図5では、データ領域の配置について一点鎖線にて概念的に示しているが、データ領域の構成については、JISに規定される例や、他の公知例など様々な構成を採用できる。
【0039】
図2に示すように、S4の処理の後には、二次元コードを印刷する処理が行われる(S5)。S5の処理では、印刷装置30に対して印刷指令、及び二次元コードQ2の画像データを含んだ印刷データを出力し、印刷装置30は、情報処理装置20から印刷指令及び印刷データを取得すると、紙等の記録媒体に二次元コードQ2を印刷する。
本実施形態では、S4及びS5の処理が「二次元コード作成ステップ」の一例に相当する。また、情報処理装置20及び印刷装置30が「コード作成手段」の一例に相当する。
【0040】
なお、本実施形態では、S1で用いられる情報コードQ1(図3参照)が、二次元コードQ2を印刷する印刷装置30によって印刷されたものとされている。また、情報コードQ1が記録される記録媒体(紙等)は、S5で二次元コードQ2を印刷する記録媒体と同種類の媒体(例えば同種類の紙)とされている。
【0041】
(対象撮像処理)
次に、撮像対象を実際に撮像する処理(撮像処理)について説明する。
図6は、撮像処理の流れを例示するフローチャートである。図7は、撮像処理で行われる読取処理の流れを例示するフローチャートである。図8は、撮像処理で行われる第2色参照パターン検出処理の流れを例示するフローチャートである。図9は、撮像処理で行われる補正データ生成処理の流れを例示するフローチャートである。図10は、撮像対象を二次元コードと共に撮像する様子を説明する説明図である。図11は、第2色参照パターン検出処理について説明する説明図である。図12(a)は、二次元コードから読み出した第1色情報を説明する説明図であり、図12(b)は、第2色参照パターンから抽出した第2色情報を説明する説明図である。図13は、第1色情報及び第2色情報の差分データを説明する説明図である。
【0042】
図6に示す撮像処理では、まず撮像する対象物(撮像対象)を事前処理で作成された二次元コードQ1と共に撮像する処理を行う(S10)。例えば図10のように対象物T(撮像対象)と二次元コードQ1とを近接させて配置し、このような状態で撮像装置10に撮像指令を与えこれらを撮像させる。
本実施形態では、S10の処理が「第2撮像ステップ」の一例に相当する。また、撮像装置10及び情報処理手段20が「撮像手段」「第2撮像手段」の一例に相当する。
【0043】
図6に示すように、S10の処理の後には、二次元コードQ2を読み取る読取処理が行われる(S20)。この読取処理は、例えば図7のような流れで行われ、まず、対象物Tを二次元コードQ1と共に撮像した画像データを撮像装置10から取得し(S21)、その画像データにおいて二次元コードQ2のコード領域を検出する(S22)。更に、二次元コードQ2のフォーマットデータを参照して、当該二次元コードQ2のコード種を特定し(S23)、二次元コードQ2のデコード処理を行う(S24)。なお、コード領域の検出処理(S22)、コード種の特定処理(S23)、デコード処理(S24)については、QRコード等の各種二次元コードにおいて周知技術であるため詳細な説明は省略する。
【0044】
S24にてデコードが成功した場合には、そのデコード結果を情報処理装置20内の記憶手段(例えばRAM,HDD等)に記憶する(S25)。本実施形態では、二次元コードQ2のデータ領域に「第1色情報」が記録されているため、デコードが成功した場合には、前記記憶手段に「第1色情報」が記録されることとなる。なお、図12(a)には、デコードによって得られた「第1色情報」を概念的に示している。
本実施形態では、S20の処理が「読取ステップ」の一例に相当する。また、情報処理装置20が「読取手段」の一例に相当する。
【0045】
図6に示すように、上記読取処理(S20)の後には、デコードが成功したか否かを判断する処理が行われる(S30)。S20においてデコードが成功した場合(S30:Yes)には、第2色参照パターンを検出する処理が行われる(S40)。一方、S20においてデコードが成功しなかった場合(S30:No)には、図6に示す当該撮像処理を終了する。なお、デコードが成功しなかった場合には、S10で撮像された対象物の画像の色補正を行わないようにしてもよく、或いは過去に生成した補正データを利用して色補正を行うようにしてもよい。
【0046】
次に、S40の第2色参照パターン検出処理について説明する。
S40の処理は、S10で撮像された二次元コードQ2の画像において第2色参照パターンP1を検出する処理であり、例えば図8のような流れで行われる。図8の例では、まず、二次元コードQ1のコード領域において、いずれかのセルを基点セルとする3×3のセル群を抽出し、当該セル群を構成する各セルの色を認識する(S41)。例えば、図11のようにいずれかのセルC1を基点セルとして、当該セルから右方向及び下方向に並ぶ3×3のセル群X1を抽出する。そしてこのセル群X1を構成する各セルの色をそれぞれ認識する。そして、当該セル群X1の配列が第2色参照パターンP2(図5)と同じ配列であるか否かを判断する(S42)。上述したように、第2色参照パターンP2は、角位置に白色セルが配置され、この白色セルから外縁に沿って時計回りに、シアン色セル、赤色セル、緑色セル、白色セル、マゼンタ色セル、青色セル、黄色セルと配置され、中心部に黒色セルが配置されたセル配列となっている。従って、セル群X1がこのようなセル配列となっている場合には第2色参照パターンP2に相当するセル群を発見したものとしてS42にてYesに進み、当該セル群(第2色参照パターンP2に相当するセル群)を特定する座標データを記憶しておく(S44)。
【0047】
一方、セル群X1が第2色参照パターンP2と異なるセル配列である場合には、S42にてNoに進んで基点セルを1セルずらし(S43)、そのずらしたセルC2を基点セルとするセル群X2についてS41、S42の処理を繰り返す。このような処理を、基点セルをずらしながら順次行い、第2色参照パターンP2に相当するセル群を発見するまで繰り返す。
【0048】
図6に示すように、S40の処理の後には、S50の判断処理が行われる。S50では、S40において第2色参照パターンP2の検出が成功したか否かを判断しており、S40において第2色参照パターンP2が正常に検出された場合(S50:Yes)には、S60の補正データ生成処理が行われる。一方、第2色参照パターンP2が正常に検出されなかった場合(S50:No)には、図6に示す当該撮像処理を終了する。なお、第2色参照パターンP2が検出されなかった場合には、S10で撮像された対象物の画像の色補正を行わないようにしてもよく、或いは過去に生成した補正データを利用して色補正を行うようにしてもよい。
【0049】
次に、S60の補正データ生成処理について説明する。
S60の処理は、例えば図9のような流れで行われ、まず、S40で検出された第2色参照パターンP2から第2色情報を抽出する処理が行われる(S61)。第2色情報の抽出は、上述した第1色情報の抽出と同様の方法で行われ、第2色参照パターンP2を構成する各セル色毎にRGB成分をそれぞれ抽出する。例えば、白色セル61(図5参照)のR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求め、同様に、シアン色セル62についても、R成分輝度値、G成分輝度値、B成分輝度をそれぞれ求める。また、他の赤色セル63、緑色セル64、白色セル65、マゼンタ色セル66、青色セル67、黄色セル68、黒色セル69の各領域についてもR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求める。図12(b)は、このようにして求められた各色のセルのR成分輝度値、G成分輝度値、B成分輝度値を例示しており、このようなデータが「第2色情報」に相当している。
【0050】
S61の抽出処理の後には、S20(図6)の読取処理で得られた「第1色情報」を記憶手段から読み出し(S62)、この「第1色情報」と上記「第2色情報」の差分データを生成する(S63)。差分データの生成方法は様々に考えられ、図13では、その一例として、第1色参照パターンP1の各セル色毎のRGB成分から第2色参照パターンP2の各セル色毎のRGB成分を差し引いた値をそれぞれ求めている。例えば、図12(a)のように、第1色情報では、白色セルのR成分輝度値が156であり、図12(b)のように第2色情報では、白色セルのR成分輝度値が214であるため、図13では、白色セルのR成分の差分データを−58としている。同様に、第1色情報では、白色セルのG成分輝度値が154であり、第2色情報では、白色セルのG成分輝度値が180であるため、白色セルのG成分の差分データを−26としている。また、第1色情報では、白色セルのB成分輝度値が148であり、第2色情報では、白色セルのB成分輝度値が90であるため、白色セルのB成分の差分データを58とする。また、他の色でも同様であり、第1色情報では、シアン色セルのR成分輝度値が74であり、第2色情報では、シアン色セルのR成分輝度値が90であるため、シアン色セルのG成分の差分データを−16としている。
【0051】
このように、第1色情報の各色の各成分値から、第2色情報の対応する色の対応する成分値を順次差し引いて、各色の各成分値について差分データを生成し、最終的に図13のような差分データを取得する。
【0052】
S63の処理の後には、図9に示すよう補正データを算出する処理が行われる(S64)。本実施形態では、補正データとして、撮像画像のR成分輝度値に加算すべき値(R成分加算値)、G成分輝度値に加算すべき値(G成分加算値)、B成分輝度値に加算すべき値(B成分加算値)をそれぞれ算出している。これら各成分加算値の算出方法は様々に考えられるが、ここでは、S63で取得された差分データにおいて、各成分毎に平均値を求め、それら各成分毎の平均値を各成分加算値としている。例えば、図13の例では、全色のR成分差分データが「−58,−16,−25,−49,−17,−17,−9,−24」であるため、これらの平均値「−27」(ここでは端数を四捨五入)をR成分加算値とする。同様に、全色のG成分差分データの平均値(−12)をG成分加算値として算出し、全色のB成分差分データの平均値(24)をB成分加算値として算出する。このように補正データ(各成分毎の加算値)を算出した後には、これら補正データを記憶手段に記憶しておく(S65)。
【0053】
図6に示すように、S60の処理が終わると報知処理が行われる(S70)。この報知処理は、補正データが生成された場合にその旨を何らかの方法で報知する処理であり、例えば、情報処理装置20に設けられた図示しないディスプレイに「補正データ生成完了」といった情報を表示してもよく、予め決められた音声などによって補正データが作成された旨を報知しても良い。
【0054】
S70の後には、補正画像を生成する処理が行われる(S80)。S80の処理では、S10で生成された画像データに対してS60で得られた補正データに基づく色補正処理を行う。具体的には、S10で得られた画像データの各画素のR成分輝度値、G成分輝度値、B成分輝度値に対して、上記R成分加算値、G成分加算値、B成分加算値を加算する。例えば、画像データにおいて、ある画素のR成分輝度値、G成分輝度値、B成分輝度値がそれぞれ100、120、130であった場合には、上記のR成分加算値(−27)、G成分加算値(−12)、B成分加算値(24)を加算して、R成分輝度値、G成分輝度値、B成分輝度値をそれぞれ73、108、154に補正する。このような補正処理を全画素のR成分、G成分、B成分に対して行い、最終的に得られた画像を撮像対象の画像(補正画像)として、記憶或いは出力する。
【0055】
本実施形態では、S40、S61の処理が、「第2抽出ステップ」の一例に相当する。また、S60及びS80が「色補正ステップ」の一例に相当する。また、情報処理装置20が、「第2抽出手段」「色補正手段」の一例に相当する。
【0056】
(本実施形態の主な効果)
本実施形態では、撮像対象の撮像に先立って、事前に第1色参照パターンP1を撮像し、その撮像された第1色参照パターンP1から第1色情報を抽出している。そして、その抽出された第1色情報が記録され且つ第1色参照パターンP1と対応する第2色参照パターンP2が配置された二次元コードQ2を作成している。このようにすると、第1色参照パターンP1を撮像したときの環境(事前環境)において、当該第1色参照パターンP1の色がどのように表現されているかを定量的に特定し、これを、当該事前環境を反映した情報(第1色情報)として二次元コードQ2に記録しておくことができる。
【0057】
また、二次元コードQ2には、第1色参照パターンP1に対応する第2色参照パターンP2が配置されている。従って、当該二次元コードQ2を撮像したときに、第1色参照パターンP1を撮像したときの環境を反映したデータ(第1色情報)のみならず、そのデータの生成元のパターン(第1色参照パターンP1)と対応するパターンの画像をも取得できるようになる。
更に、撮像対象を実際に撮像するときには、上記のように作成された二次元コードQ2を撮像対象と共に撮像し、二次元コードQ2に付された第2色参照パターンP2から第2色情報を抽出している。このようにすると、撮像対象を実際に撮像する際に、第2色参照パターンP2がどのように色表現されているかを定量的に示した情報(第2色情報)を取得することができる。この第2色情報は、撮像対象を実際に撮像する時の撮像環境を反映したデータであるため、この第2色情報と、事前環境を定量的に示す情報(第1色情報)とに基づいて、撮像対象の画像の色補正を行うようにすれば、撮像対象を実際に撮像するときの撮像環境と、第1色参照パターンP1を事前に撮像したときの事前環境と、をいずれも考慮して、適切な色補正を行うことができる。
【0058】
また、本実施形態では、第1色参照パターンP1が情報コードQ1内に配置されており、第1色参照パターンP1を撮像するステップ(第1撮像ステップ)では、光学的情報読取手段として機能する情報処理装置20により、当該情報コードQ1から第1色参照パターンP1を示す特定の色配列のセル群を検出している。
このようにすると、情報コードQ1の一部を第1色参照パターンP1として兼用することができる。また、光学的情報読取手段による各セルの認識処理を利用して、第1色参照パターンP1を迅速且つ正確に特定できるようになる。
また、第1色情報を抽出するステップ(第1抽出ステップ)では、上記セル群を構成する各セルの色データを検出し、各セルの色データを第1色情報として抽出している。このようにすると、第1色参照パターンP1を撮像したときの環境(事前環境)を、複数のセルの色データによって詳細に表すことができ、その抽出処理についても、各セル毎に迅速且つ正確に行うことができる。
【0059】
また、本実施形態では、複数色のセルが所定の配列で構成されてなる第1色参照パターンP1と、第1色参照パターンP1と同一のセル配列からなる第2色参照パターンP2が用いられている。そして、第1抽出ステップでは、第1色参照パターンP1の画像に対して各セル色毎にRGB成分をそれぞれ抽出する処理を行い、第2抽出ステップでは、第2色参照パターンP2の画像に対して各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。このようにすると、第1色参照パターンP1が撮像されたときの環境(事前環境)を、当該第1色参照パターンP1の各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。また、撮像対象を撮像したときの環境(撮像環境)についても、第2色参照パターンP2の各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。
【0060】
更に、第1色参照パターンP1と第2色参照パターンP2とが同一のセル配列で構成されているため、第1色参照パターンP1の各セル色毎のRGB成分、及び第2色参照パターンP2の各セル色毎のRGB成分をそれぞれ抽出すれば、事前環境から撮像環境に変化したことに伴って、R成分、G成分、B成分それぞれに、どの程度の変化が生じているのかが明確になる。そして、この変化を加味して撮像対象の画像のR成分、G成分、B成分をそれぞれ補正すれば、両環境がR成分に与える影響、両環境がG成分に与える影響、両環境がB成分に与える影響をそれぞれ具体的に考慮して、撮像対象の画像のR成分、G成分、B成分を適切に補正することができる。
【0061】
このように本発明によれば、RGBそれぞれの成分について、両環境が与える影響を正確に評価することができると共に、両環境が各成分に与える影響をそれぞれ考慮して各成分の補正を独立して行うことができ、ひいては全ての成分についてより適切な補正が可能となる。
【0062】
[第2実施形態]
次に第2実施形態について説明する。図14は、第2実施形態に係る撮像システムで行われる撮像処理の様子を概念的に説明する説明図である。図15は、第2実施形態に係る撮像システムで行われる読取処理を例示するフローチャートである。図16は、いずれかの二次元コードの検出が失敗した例を概念的に説明する説明図である。
【0063】
第2実施形態に係る撮像システムは、第1実施形態と同一のハードウェア構成であり、第1実施形態と同一の事前処理が行われるようになっている。従って、これらについては適宜図1〜図5を参照し、詳細な説明は省略する。
【0064】
以下、第2実施形態に係る撮像システムで行われる撮像処理について説明する。
第2実施形態に係る撮像システムでも、図6と同様の流れで撮像処理が行われるため、図6を参照して当該処理を説明することとする。なお、本実施形態では、撮像処理で行われる各処理の具体的な内容が第1実施形態と若干異なっている。
【0065】
まず、S10の処理について説明すると、本実施形態では事前処理において上述の二次元コードQ2(図5)を複数作成しており、S10では、図14のように、それら二次元コードQ2を複数分散させて対象物T(撮像対象)と共に撮像している。なお、この処理で得られた画像データは、情報処理装置20内の記憶手段(図示略)に記憶される。
【0066】
S10の処理が終わると読取処理が行われる(S20)。本実施形態では、例えば図15のような流れで読取処理が行われ、まず、S10で生成された画像データを取得する処理が行われる(S221)。そして、その画像データによって構成される撮像画像においてコード領域を検出する処理が行われる(S222)。なお、コード領域を検出する方法は、第1実施形態と同様の公知方法が用いられ、本実施形態では図14のように複数の二次元コードQ2が撮像されているため、S222ではこれら複数の二次元コードQ2の各コード領域が検出されることとなる。
【0067】
S223〜S226では、検出された各コード領域についてのデコード、登録が行われる。まず、S223では、いずれかのコード領域に着目し、当該コード領域を構成する二次元コードQ2のコード種を特定する(S223)。そして、当該コード領域についてのデコード処理を行う(S224)。その後、S224において当該コード領域のデコードが成功したか否かを判断し(S225)、成功した場合には、当該コード領域の二次元コードQ2を登録する(S226)。S226の登録処理では、S224でデコードが成功した当該コード領域についての位置情報(撮像画像内における当該コード領域の位置データ)と、デコード結果(第2色情報)とを記憶する。
【0068】
その後、S222で検出された全てのコード領域についてデコードを試みたか否かを判断し(S227)、いずれかのコード領域が残っている場合にはS227にてYesに進み、残っているコード領域についてS223〜S226の処理を行う。一方、検出された全てのコード領域についてS223以降の処理が行われた場合には、S227にてNoに進み、当該読取処理を終了する。
【0069】
図6に示すように、S20の読取処理が終了した後には、S30においていずれかのコード領域のデコードが成功したか否かを判断し、デコードが成功したコード領域が存在する場合にはS30にてYesに進み、S40の第2色参照パターン検出処理を行う。S40の第2色参照パターン検出処理では、デコードが成功した各コード領域それぞれに対して図8の処理を行い、各コード領域において第2色参照パターンP2を検出する。このようにして、デコードが成功した全てのコード領域において第2色参照パターンP2を検出する。
【0070】
S40の処理の後には、図6に示すように、いずれかの第2色参照パターンP2の検出が成功しているか否かを判断し(S50)、成功している場合にはS50にてYesに進んで補正データ生成処理を行う(S60)。
【0071】
本実施形態では、S60の処理において、検出が成功した各第2色参照パターン全てについて、図13と同様の差分データを生成し、各第2色参照パターン毎に第1実施形態と同様の補正データを算出している。例えば、S40において、図14に示すような第2色参照パターンP2a、P2b、P2c、P2dが検出された場合には、これら各第2色参照パターンP2a、P2b、P2c、P2dに対して図9と同様の処理を行い、各第2色参照パターンP2a、P2b、P2c、P2dに対応する補正データをそれぞれ算出し、記憶する。
【0072】
例えば、第2色参照パターンP2aに対応する補正データを生成する方法について説明すると、まず第2色参照パターンP2aから第2色情報を抽出(S61と同様:図9)すると共に、第2色参照パターンP2aに記録された第1色情報を読み出し(S62と同様:図9)、これら第1色情報及び第2色情報に基づいて第2色参照パターンP2aに対応する差分データを算出する(S63と同様:図9)。そして、この差分データに基づいて第1実施形態と同様の方法で当該第2色参照パターンP2aに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)を算出し(S64と同様:図9)、それを記憶する。
【0073】
このような処理を、他の第2色参照パターンP2b、P2c、P2dについても行い、第2色参照パターンP2bに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)、第2色参照パターンP2cに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)、第2色参照パターンP2dに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)を算出する。このような補正データが生成された場合には、第1実施形態と同様の報知処理を行い(S70)、その後、補正画像を生成する処理を行う(S80)。
【0074】
本実施形態では、S80における補正画像の生成方法が第1実施形態と異なっており、本実施形態のS80の処理では、まず、S10で取得した撮像対象の画像において、各二次元コードQ2の位置を特定し、これら二次元コードQ2の位置に基づいて、当該画像を複数の領域に分割している。画像の分割方法は様々に考えられ、例えば、図14のように、対象物T(撮像対象)の画像の中心位置(例えば上下方向及び左右方向の中心となる位置)P1を求め、当該中心位置P1を通り、且つ互いに隣接する二次元コードの中間位置を通る境界線をそれぞれ設定する方法が挙げられる。図14の例では、左上の二次元コードQ2aと右上の二次元コードQ2bの中間位置を通り、且つ前記中心位置P1を通る境界線L1が設定され、同様に、右上の二次元コードQ2bと右下の二次元コードQ2dの中間位置を通り、且つ前記中心位置P1を通る境界線L2が設定され、右下の二次元コードQ2dと左下の二次元コードQ2cの中間位置を通り、且つ前記中心位置P1を通る境界線L3が設定され、左上の二次元コードQ2aと左下の二次元コードQ2cの中間位置を通り、且つ前記中心位置P1を通る境界線L4が設定されている。このような境界線L1〜L4を設定することにより、撮像画像ARを4つの領域AR1〜AR4に分割している。
【0075】
そして、このように画像を複数の領域に分割した後、各領域についての色補正を、各領域に近接する二次元コードQ2の第2色情報に基づいて行う。例えば、図14のように、分割された領域AR1〜AR4のそれぞれに二次元コードQ2が配置されている場合、各領域の色補正を、各領域内の二次元コードQ2によって得られた補正データに基づいて行う。例えば、領域AR1の画像の色補正は、領域AR1に含まれる二次元コードQ2aに対応する補正データ(即ち、第2色参照パターンP2aに対応する補正データ)に基づいて行われ、具体的には領域AR1の各画素のR成分輝度値、G成分輝度値、B成分輝度値に対して、第2色参照パターンP2aに対応する補正データのR成分加算値、G成分加算値、B成分加算値をそれぞれ加算する。
【0076】
他の領域AR2〜AR4も同様であり、領域AR2については、当該領域AR2に含まれる二次元コードQ2bに対応する補正データにによって色補正(領域AR1と同様の色補正)を行い、領域AR3についても、当該領域AR3に含まれる二次元コードQ2dに対応する補正データによって色補正(領域AR1と同様の色補正)を行う。また、領域AR4についても、当該領域AR4に含まれる二次元コードQ2cに対応する補正データによって色補正(領域AR1と同様の色補正)を行う。
【0077】
なお、上記方法では、図16のように、本来4つあるべき二次元コードQ2のうちの3つしか検出されなかった場合(或いは3つしかデコードが成功しなかった場合)であっても、これら3つの二次元コードQ2に基づいて適切に色補正を行うことができる。この場合、デコードが成功した3つの二次元コードQ2e、Q2f、Q2gに基づいて撮像画像を複数の領域に分割することができ、例えば、図16のように、右上の二次元コードQ2eと右下の二次元コードQ2fの中間位置を通り、且つ前記中心位置P1を通る境界線L21を設定し、同様に、右下の二次元コードQ2fと左下の二次元コードQ2gの中間位置を通り、且つ前記中心位置P1を通る境界線L22を設定し、更に、左下の二次元コードQ2gと右上の二次元コードQ2eの中間位置を通り、且つ前記中心位置P1を通る境界線L23を設定する。このような境界線L21〜L23を設定することにより、撮像画像を3つの領域AR21〜AR23に分割することができる。この場合も、各領域の色補正を、各領域内の二次元コードQ2によって得られた補正データに基づいて行うことができる。
【0078】
[他の実施形態]
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
【0079】
上記実施形態では、第1色参照パターンP1を撮像する撮像手段(第1撮像手段)と、第2色参照パターンP2を撮像する撮像手段(第2撮像手段)が同一である例を示したが、これらが異なる撮像手段によって撮像されてもよい。
【0080】
上記実施形態では、画像を撮像する手段として撮像装置10が用いられ、色補正等の各種画像処理を行う手段として、撮像装置10とは別体の情報処理装置20が用いられた撮像システム1を例示したが、撮像システムの構成は、このような構成に限られるものではなく、例えば、単一のケース内に撮像手段と情報処理手段とが設けられるような構成であってもよい。
【0081】
上記実施形態では、S1の処理の例として、第1色参照パターンP1が付されたQRコードQ1を撮像する例を説明したが、第1色参照パターンが付されたものであれば他の種類の情報コード(例えば、データマトリックスコード、マキシコード等)であってもよい。
【0082】
上記実施形態では、S1において第1色参照パターンP1が付された情報コードQ1を撮像する例を示したが、第1色参照パターンP1の画像が取得できればこの例に限定されるものではなく、例えば、第1色参照パターンP1のみを撮像してもよい。
【0083】
上記実施形態では、情報コードQ1の特定部分に第1色参照パターンP1が配置される点が予め規定されていたが、第1色参照パターンP1が配置される位置を予め規定せずにセル配列のみを規定しておいてもよい。この場合、S2において、規定されたセル配列を検出する処理を行うようにすればよい。
【0084】
上記実施形態では、第2色参照パターンとして、第1色参照パターンと同一の色配列で構成されるパターンを例示したが、「第1色参照パターンと対応する第2色参照パターン」は、このような同一構成に限られるものではない。例えば、第1色参照パターンとはセル配列は異なるが、第1色参照パターンに含まれる種類を全て含んだセル群を、第2色参照パターンとして構成してもよい。
【0085】
第1実施形態では、S60(図6)で補正データが生成された場合に、撮像対象の画像に対して色補正処理を行っていたが、S60とS70の間に、第1色情報と第2色情報とを比較し、第1色情報と第2色情報とに所定の差異があるか否かを判断する判断ステップを設け、この判断ステップにおいて所定の差異があると判断された場合にS70の報知処理(報知ステップ)を行うようにしてもよい。「所定の差異」は様々に考えられるが、例えば、補正データとして得られたR成分加算値、G成分加算値、B成分加算値のいずれかの絶対値が所定閾値(例えば10)を超える場合に「所定の差異」があると判断するようにしてもよい。或いは、第1色情報と第2色情報に基づいて各色ごと且つ各成分ごとに得られる差分値のいずれかの絶対値が所定閾値(例えば10)を超える場合に、「所定の差異」があると判断するようにしてもよい。
そして、上記判断ステップにて「所定の差異」があると判断された場合に、S80の色補正処理(色補正ステップ)を行うようにすることができる。このようにすると、第1色参照パターンP1を撮像した時の環境(事前環境)と、撮像対象を実際に撮像したときの環境(撮像環境)とに差異があるか否かを、色情報を基準として適切に判断することができ、差異がある場合にはその旨をユーザに知らしめることができる。また、撮像対象を撮像したときの環境(撮像環境)が、第1色参照パターンP1を撮像したときの環境(事前環境)に類似する場合には、色補正を省略して処理の迅速化を図ることができ、撮像環境が事前環境に対してある程度変化している場合には、色補正を行って、環境の差異に起因する画像の変化を補正することができる。
【0086】
第2実施形態では、画像を分割する一例を示したが、分割方法はこれに限定されない。例えば、二次元コードの位置に関係なく、撮像画像を予め規定された複数領域に分割するようにしてもよい。この場合、各領域の色補正を、各領域に含まれる二次元コード(含まれていない場合には最も近い二次元コード)に基づいて行えばよい。
【符号の説明】
【0087】
1…撮像システム
10…撮像装置(撮像手段、第1撮像手段、第2撮像手段)
20…情報処理装置(第1抽出手段、第2抽出手段、読取手段、コード作成手段、色補正手段、光学的情報読取手段)
30…印刷装置(コード作成手段)
Q1…情報コード
Q2…二次元コード
P1…第1色参照パターン
P2…第2色参照パターン
【技術分野】
【0001】
本発明は、色補正方法及び撮像システムに関するものである。
【背景技術】
【0002】
撮像対象をカメラ等によって撮像する場合、同一物を撮像する場合であっても、撮像環境が異なると(例えば、周囲光の光量や種類、或いは、撮像手段から撮像対象までの距離や角度などが異なると)、得られる画像において色彩や濃度或いは輝度が異なってしまうという問題がある。従来は、このような問題に対し、例えばカラーチャートを用いた色補正を行うことで対応していた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第3766380号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、特許文献1では、規定された色が付されたカラーチャートを撮像対象と共に撮像し、その撮像画像におけるカラーチャート部分の色値に基づいて撮像対象の各色を補正している。カラーチャートは、予め規定された各色が付されたものであるため、カラーチャート部分の色値を検出することで、その撮像環境がどのような状態にあるかを定量的に把握することができ、カラーチャート部分の色値に基づいて色補正を行うようにすれば、カラーチャートの本来的な色を基準として、撮像対象の画像を意図する色状態に近づけることができる。
【0005】
しかしながら、上記方法の場合、規定された色が正確に付されてなるカラーチャートを購入し、適正に管理しなければならず、管理負荷の面や、コスト面で不利になる虞がある。例えば、カラーチャートを紛失したり、汚れ等が生じると、その都度正規のカラーチャートを購入しなければならず、ユーザの金銭的負担が大きくなってしまう。
【0006】
また、カラーチャートを撮像対象と共に撮像する場合、カラーチャートを如何に迅速且つ正確に検出するかが問題となる。例えば、カラーチャートに強い光が照射される等、外部環境に起因してカラーチャート部分の色状態が変化すると、規定された色配列を検出することが難しくなり、カラーチャートの検出に時間がかかったり、或いはカラーチャートの検出自体不能となることが懸念される。
【0007】
本発明は、上述した課題を解決するためになされたものであり、撮像手段によって撮像対象を撮像する場合に、当該撮像対象の画像の色補正を、所定の事前環境及び撮像環境を適切に反映して良好に、且つ負担を抑えて簡易に行い得る方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【0008】
請求項1の発明は、撮像手段によって撮像される撮像対象の画像の色補正を行う色補正方法であって、第1撮像手段により、第1色参照パターンを撮像する第1撮像ステップと、
第1抽出手段により、前記第1撮像ステップにて撮像された前記第1色参照パターンから第1色情報を抽出する第1抽出ステップと、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出ステップにて抽出された前記第1色情報が記録された二次元コードを、コード作成手段によって作成するコード作成ステップと、前記第1撮像手段と同一、又は前記第1撮像手段とは異なる前記撮像手段により、前記コード作成ステップにて作成された前記二次元コードと共に前記撮像対象を撮像する第2撮像ステップと、第2抽出手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像において前記第2色参照パターンを特定し且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出ステップと、読取手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像から前記第1色情報を読み取る読取ステップと、前記読取ステップにて読み取られた前記第1色情報と、前記第2抽出ステップにて抽出された前記第2色情報とに基づき、前記第2撮像ステップにて撮像された前記撮像対象の画像に対し、色補正手段により色補正を行う色補正ステップと、を含むことを特徴としている。
【0009】
請求項2の発明は、請求項1に記載の色補正方法において、前記第1色参照パターンが、情報コード内に配置されており、前記第1撮像ステップにおいて、前記撮像手段と同一の又は前記撮像手段とは異なる光学的情報読取手段により、前記情報コードの撮像が行われ、前記第1抽出ステップにおいて、前記光学的情報読取手段により、前記情報コードから前記第1色参照パターンを示す特定の色配列のセル群を検出する処理、及び当該セル群を構成する各セルの色データを検出する処理が行われ、前記各セルの前記色データが前記第1色情報として抽出されることを特徴としている。
【0010】
請求項3の発明は、請求項1又は請求項2に記載の色補正方法において、前記読取ステップ及び前記第2抽出ステップの後に、前記読取ステップにて読み取られた前記第1色情報と前記第2抽出ステップにて抽出された前記第2色情報とを比較し、前記第1色情報と前記第2色情報とに所定の差異があるか否かを判断する判断ステップと、前記判断ステップによって前記所定の差異があると判断された場合に報知を行う報知ステップと、を含んでおり、前記判断ステップにて前記所定の差異があると判断された場合に、前記撮像対象の画像に対して前記色補正ステップが行われることを特徴としている。
【0011】
請求項4の発明は、請求項1から請求項3のいずれか一項に記載の色補正方法であって、前記第2撮像ステップにおいて、前記コード作成ステップにて作成された前記二次元コードを撮像エリア内に複数分散させた状態でそれら複数の前記二次元コードを前記撮像対象と共に撮像し、前記色補正ステップにおいて、前記第2撮像ステップで撮像された前記撮像対象の画像を複数の領域に分割すると共に、各領域についての色補正を、各領域に近接する前記二次元コードの前記第2色情報に基づいて行うことを特徴としている。
【0012】
請求項5の発明は、請求項1から請求項4のいずれか一項に記載の色補正方法において、前記第1色参照パターンは、複数色のセルが所定の配列で構成されたものであり、前記第2色参照パターンは、前記第1色参照パターンと同一のセル配列からなるものとされている。そして、前記第1抽出ステップでは、前記第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、前記第2抽出ステップでは、前記第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。そして、前記色補正ステップでは、前記第1色参照パターンの各セル色毎のRGB成分と、前記第2色参照パターンの各セル色毎のRGB成分とに基づき、前記撮像対象の画像のR成分、G成分、B成分をそれぞれ補正している。
【0013】
請求項6の発明は、光学的情報読取手段と、コード作成手段と、撮像装置とを備えた撮像システムであって、前記光学的情報読取手段が、第1色参照パターンが配置された情報コードを撮像する第1撮像手段と、前記第1撮像手段によって撮像された前記情報コードにおいて前記第1色参照パターンを検出し、且つ当該第1参照パターンから第1色情報を抽出する第1抽出手段と、を備えている。
そして、前記コード作成手段は、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出手段によって抽出された前記第1色情報がデータ領域に記録された二次元コードを作成する構成をなしている。
更に、前記撮像装置は、撮像対象を、前記コード作成手段によって作成された前記二次元コードと共に撮像可能な撮像手段と、前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像において、前記第2色参照パターンを特定し、且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出手段と、前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像から、前記第1色情報を読み取る読取手段と、前記読取手段によって読み取られた前記第1色情報と、前記第2抽出手段によって抽出された前記第2色情報とに基づき、前記撮像手段によって撮像された前記撮像対象の画像に対して色補正を行う色補正手段と、を有している。
【発明の効果】
【0014】
請求項1の発明は、撮像対象の撮像に先立って、事前に第1色参照パターンを撮像し、その撮像された第1色参照パターンから第1色情報を抽出している。そして、その抽出された第1色情報が記録され且つ第1色参照パターンと対応する第2色参照パターンが配置された二次元コードを作成している。
このようにすると、第1色参照パターンを撮像したときの事前環境下で、当該第1色参照パターンの色がどのように表現されているかを定量的に特定し、当該事前環境を反映した情報(第1色情報)として二次元コードに記録しておくことができる。
また、二次元コードには、第1色参照パターンに対応する第2色参照パターンが配置されている。従って、当該二次元コードを撮像したときに、第1色参照パターンを撮像したときの環境を反映したデータ(第1色情報)のみならず、そのデータの生成元のパターン(第1色参照パターン)と対応するパターンの画像をも取得できるようになる。
一方、撮像対象を実際に撮像するときには、上記のように作成された二次元コードを撮像対象と共に撮像し、二次元コードに付された第2色参照パターンから第2色情報を抽出している。
このようにすると、撮像対象を実際に撮像する際に、第2色参照パターンがどのように色表現されているかを定量的に示した情報(第2色情報)を取得することができる。この第2色情報は、撮像対象を実際に撮像する時の撮像環境を反映したデータであるため、この第2色情報と、事前環境を定量的に示す情報(第1色情報)とに基づいて、撮像対象の画像の色補正を行うようにすれば、撮像対象を実際に撮像するときの撮像環境と、第1色参照パターンを事前に撮像したときの事前環境と、をいずれも考慮して、適切な色補正を行うことができる。
【0015】
請求項2の発明は、第1色参照パターンが情報コード内に配置されており、第1色参照パターンを撮像するステップ(第1撮像ステップ)では、光学的情報読取手段によって当該情報コードから第1色参照パターンを示す特定の色配列のセル群を検出している。
このようにすると、情報コードの一部を第1色参照パターンとして兼用することができる。また、光学的情報読取手段による各セルの認識処理を利用して、第1色参照パターンを迅速且つ正確に特定できるようになる。
また、第1色情報を抽出するステップ(第1抽出ステップ)では、上記セル群を構成する各セルの色データを検出し、各セルの色データを第1色情報として抽出している。このようにすると、第1色参照パターンを撮像したときの環境(事前環境)を、複数のセルの色データによって詳細に表すことができ、その抽出処理についても、各セル毎に迅速且つ正確に行うことができる。
【0016】
請求項3の発明は、読取ステップ及び第2抽出ステップの後に、読取ステップにて読み取られた第1色情報と第2抽出ステップにて抽出された第2色情報とを比較し、第1色情報と第2色情報とに所定の差異があるか否かを判断している。このようにすると、第1色参照パターンを撮像した時の環境(事前環境)と、撮像対象を実際に撮像したときの環境(撮像環境)とに差異があるか否かを、色情報を基準として適切に判断することができ、差異がある場合にはその旨をユーザに知らしめることができる。
また、判断ステップにて所定の差異があると判断された場合に、撮像対象の画像に対して色補正を行っている。このようにすると、撮像対象を撮像したときの環境(撮像環境)が、第1色参照パターンを撮像したときの環境(事前環境)に類似する場合には、色補正を省略して処理の迅速化を図ることができ、撮像環境が事前環境に対してある程度変化している場合には、色補正を行って、環境の差異に起因する画像の変化を補正することができる。
【0017】
請求項4の発明は、撮像対象を撮像する際に、コード作成ステップにて作成された二次元コードを撮像エリア内に複数分散させ、その状態で、撮像対象をそれら複数の二次元コードと共に撮像している。そして、得られた撮像対象の画像を複数の領域に分割しており、各領域についての色補正を、各領域に近接する二次元コードの色情報(第2色情報)に基づいて行っている。このようにすると、各領域の撮像環境及び事前環境を考慮し、領域毎に色補正を適切に行うことができる。
【0018】
請求項5の発明では、複数色のセルが所定の配列で構成されてなる第1色参照パターンと、第1色参照パターンと同一のセル配列からなる第2色参照パターンが用いられている。そして、第1抽出ステップでは、第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、第2抽出ステップでは、第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。このようにすると、第1色参照パターンが撮像されたときの環境(事前環境)を、当該第1色参照パターンの各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。また、撮像対象を撮像したときの環境(撮像環境)についても、第2色参照パターンの各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。 更に、第1色参照パターンと第2色参照パターンとが同一のセル配列で構成されているため、第1色参照パターンの各セル色毎のRGB成分、及び第2色参照パターンの各セル色毎のRGB成分をそれぞれ抽出すれば、事前環境から撮像環境に変化したことに伴って、R成分、G成分、B成分それぞれに、どの程度の変化が生じているのかが明確になり、これに基づいて撮像対象の画像のR成分、G成分、B成分をそれぞれ補正すれば、両環境がR成分に与える影響、両環境がG成分に与える影響、両環境がB成分に与える影響をそれぞれ具体的に考慮して、撮像対象の画像のR成分、G成分、B成分を適切に補正することができる。
このように本発明によれば、RGBそれぞれについて、両環境が与える影響の正確な評価、及びそれを考慮した補正を独立して行うことができ、全ての成分についてより適切な補正が可能となる。
【0019】
請求項6の発明によれば、請求項1と同様の効果を奏する撮像システムを実現できる。
【図面の簡単な説明】
【0020】
【図1】図1は、第1実施形態に係る撮像システムを概略的に例示するブロック図である。
【図2】図2は、図1の撮像システムによって行われる事前処理の流れを例示するフローチャートである。
【図3】図3(a)は、情報コード撮像処理について説明する説明図である。図3(b)は、第1色参照パターンが付された情報コードを例示する説明図である。
【図4】図4は、第1色情報を概念的に説明する説明図である。
【図5】図5は、第2色参照パターンを含んだ二次元コードを例示する説明図である。
【図6】図6は、図1の撮像システムによって行われる撮像処理の流れを例示するフローチャートである。
【図7】図7は、図6の撮像処理で行われる読取処理の流れを例示するフローチャートである。
【図8】図8は、図6の撮像処理で行われる第2色参照パターン検出処理の流れを例示するフローチャートである。
【図9】図9は、図6の撮像処理で行われる補正データ生成処理の流れを例示するフローチャートである。
【図10】図10は、撮像対象を二次元コードと共に撮像する様子を説明する説明図である。
【図11】図11は、第2色参照パターン検出処理について説明する説明図である。
【図12】図12(a)は、二次元コードから読み出した第1色情報を説明する説明図であり、図12(b)は、第2色参照パターンから抽出した第2色情報を説明する説明図である。
【図13】図13は、第1色情報及び第2色情報の差分データを説明する説明図である。
【図14】図14は、第2実施形態に係る撮像システムで行われる撮像処理の様子を概念的に説明する説明図である。
【図15】図15は、第2実施形態に係る撮像システムで行われる読取処理を例示するフローチャートである。
【図16】図16は、いずれかの二次元コードの検出が失敗した例を概念的に説明する説明図である。
【発明を実施するための形態】
【0021】
[第1実施形態]
以下、本発明に係る色補正方法及び撮像システムを具現化した第1実施形態について、図面を参照して説明する。
(全体構成)
まず、撮像システムの全体構成について説明する。
図1は、本発明に係る撮像システムを概略的に例示するブロック図である。図1に示すように、第1実施形態に係る撮像システム1は、撮像装置10と、情報処理装置20と、印刷装置30とを備えており、様々な撮像対象を撮像し得るシステムとして構成されている。
【0022】
撮像装置10は、様々な対象物を撮像し得るカメラとして構成されており、撮像対象からの反射光を受光可能な受光センサを有している。撮像装置10に設けられた受光センサは、例えば、C−MOSやCCD等の受光素子を2次元に配列したエリアセンサとして構成されており、撮像対象の画像データを情報処理装置20に出力する構成をなしている。
なお、本実施形態では、撮像装置10が「第1撮像手段」「第2撮像手段」の一例に相当する。
【0023】
情報処理装置20は、例えばパーソナルコンピュータとして構成され、CPUや、ROM、RAM等の記憶手段などを備えており、各種情報処理を行うように構成されている。この情報処理装置20は、撮像装置10からの画像データを記憶手段に記憶して保存する機能、当該画像データに関する各種画像処理を行う機能、図2、図6に示すような各種撮像処理を行う機能などを有している。
【0024】
印刷装置30は、情報処理装置20に接続されており、情報処理装置20から印刷指令及び印刷すべきデータを受けて印刷を行う公知のプリンタとして構成されている。
【0025】
次に、本実施形態に係る撮像システム1を用いて行われる撮像処理について説明する。本実施形態に係る撮像システム1では、大きく分けて、色補正を行うために必要となる事前処理と、実際に対象物を撮像する撮像処理の2つの処理が行われるようになっている。以下、当該システムで行われる各処理について詳述する。
【0026】
(事前処理)
まず、事前処理について説明する。
図2は、図1の撮像システムによって行われる事前処理の流れを例示するフローチャートである。図3(a)は、情報コード撮像処理について説明する説明図である。図3(b)は、第1色参照パターンが付された情報コードを例示する説明図である。図4は、第1色情報を概念的に説明する説明図である。
【0027】
図2に示す事前処理は、情報処理装置20によって実行される処理であり、まず、第1色参照パターンが付された情報コードを撮像する処理が行われる(S1)。この処理では、図3(a)のように情報コードQ1が付された対象物Rを撮像装置10に撮像させ、当該撮像装置10から情報コードQ1の画像データを取得する。
【0028】
S1で用いられる情報コードQ1は、例えば、図3(b)のような構成をなしており、予め規定された第1色参照パターンP1がコード内の所定位置に配置されてなるものである。図3(b)の例では、情報コードQ1がQRコードとして構成されており、QRコードにおいて3つ備えられるべきファインダパターンFPの一つの中央部暗色領域を第1色参照パターンP1に変換した構成をなしている。
【0029】
図3(b)に示すように、第1色参照パターンP1は、情報コードQ1を構成する情報表示単位セル(即ち、明色セル及び暗色セル)と同じサイズのセルが複数集合してなるセル群によって構成されている。このセル群は、複数種類のセルが3行3列のマトリックス状に配置されてなるものであり、図3(b)の例では、8種類のセルが予め規定された順序で配置されている。具体的には、情報コードQ1の角部寄りにおける当該セル群の角位置に白色セル51が配置されており、この白色セル51から外縁に沿って時計回りに、シアン色セル52、赤色セル53、緑色セル54、白色セル55、マゼンタ色セル56、青色セル57、黄色セル58と配置されている。また、中心部には、黒色セル59が配置されている。
【0030】
なお、本実施形態では、S1の情報コード撮像処理が「第1撮像ステップ」の一例に相当する。また、撮像装置10及び情報処理装置20が「第1撮像手段」の一例に相当する。
【0031】
図2に示すように、S1の処理の後には、S1で取得された情報コードQ1の画像から第1色参照パターンP1を検出する処理を行う(S2)。本実施形態に係る撮像システム1では、S1で撮像する情報コードとしてQRコードを用いる点、及びこのQRコードの所定位置(図3の例ではファインダーパターンの中心部暗色領域)に第1色参照パターンP1を配置する点が予め規定されており、S2では、撮像された画像において、コード領域を特定すると共に、いずれかのファインダパターンの暗色領域において、第1色参照パターンを示す特定の色配列のセル群を検出している。なお、QRコードのコード領域を特定する方法は、周知の様々な方法を用いることができ、また、ファインダパターンの特定方法についても周知方法を用いることができる。
【0032】
また、S2の処理では、上記のようにコード領域及びファインダパターンの位置を特定した上で、コード領域内における第1色参照パターンP1が配置されるべき所定位置を参照する。本実施形態では、情報コードQ1内の所定位置に第1色参照パターンP1が配置されることが予め規定されており、例えば、図3(b)のように、ファインダパターンFP2の中央領域に第1色参照パターンP1を配置することが予め規定されている場合、上記のように検出された3つのファインダパターンFP1〜FP3の内の、その規定されたファインダパターンFP2の中央領域を参照し、上記セル群が存在することを確認する。例えば、ファインダパターンFP2の中央領域を特定した上で、中央領域の3×3のセル群が所定配列(角部の白色セルから外縁に沿って時計回りに、シアン色セル、赤色セル、緑色セル、白色セル、マゼンタ色セル、青色セル、黄色セルと配置され、中心部に黒色セルが配置される配列)であるか否かを確認し、所定配列であれば、第1色参照パターンP1が検出されたものとして以降の処理を行う。
【0033】
図2に示すように、S2の処理の後には、第1色情報を抽出する処理が行われる(S3)。この処理では、S2で検出された第1色参照パターンP1において各セルの色データを抽出する。具体的には、図3(b)のように3行3列のマトリックス状のセル群として構成される第1色参照パターンP1において、各セルについてのR成分、G成分、B成分を検出する。例えば、白色セル51のR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求め、同様に、シアン色セル52についても、R成分輝度値、G成分輝度値、B成分輝度をそれぞれ求める。また、他の赤色セル53、緑色セル54、白色セル55、マゼンタ色セル56、青色セル57、黄色セル58、黒色セル59の各領域についてもR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求める。図4は、このようにして求められた各色のセルのR成分輝度値、G成分輝度値、B成分輝度値を例示しており、このようなデータが「第1色情報」に相当している。
【0034】
なお、本実施形態では、第1色参照パターンP1に白セルが2つ設けられているが、このように色参照パターン内に所定色のセルを複数設ける場合、いずれか1つのセルのR成分輝度値、G成分輝度値、B成分輝度値を当該色の代表値として第1色情報に含ませてもよく、同色の複数セルのR成分輝度値の平均値、G成分輝度値の平均値、B成分輝度値の平均値を当該色の代表値としてれ第1色情報に含ませてもよい。
【0035】
本実施形態では、S2及びS3の処理が、「第1抽出ステップ」の一例に相当する。また、情報処理装置20が「第1抽出手段」の一例に相当し、第1撮像ステップにて撮像された第1色参照パターンP1から上記「第1色情報」を抽出する機能を有する。
【0036】
図2に示すように、S3の処理の後には、二次元コード生成処理が行われる(S4)。この二次元コード作成処理では、上記第1色参照パターンP1に対応する第2色参照パターンP2が所定位置に配置され、且つS3で抽出された「第1色情報」が記録された二次元コードQ2の画像データを生成する。
【0037】
図5は、S4で生成される二次元コードQ2のコード構成を例示している。この二次元コードQ2は、QRコードとして構成されており、コード内の所定位置(具体的には、ファインダパターンFP4〜FP6のいずれかの中央部暗色領域)を第2色参照パターンP2に置換した構成をなしている。また、第2色参照パターンP2は、図3(b)に示す第1色参照パターンP1と同じ8種類(8色)のセルが3×3のマトリックス状に配置されており、これら8種類のセルが第1色参照パターンP1と同一のセル配列で並んでいる。具体的には、第1色参照パターンP1と同様に、角位置に白色セル61が配置されており、この白色セル61から外縁に沿って時計回りに、シアン色セル62、赤色セル63、緑色セル64、白色セル65、マゼンタ色セル66、青色セル67、黄色セル68と配置されている。また、中心部には、黒色セル69が配置されている。
【0038】
また、二次元コードQ2のデータ領域(例えば領域D1)には、上記「第1色情報」が符号化された状態で記録されている。データ領域に所定情報(ここでは第1色情報等)を記録したQRコードの生成方法は周知技術であるので詳細な省略するが、例えばJIS規格に規定される方法を用いて生成することができる。なお、図5では、データ領域の配置について一点鎖線にて概念的に示しているが、データ領域の構成については、JISに規定される例や、他の公知例など様々な構成を採用できる。
【0039】
図2に示すように、S4の処理の後には、二次元コードを印刷する処理が行われる(S5)。S5の処理では、印刷装置30に対して印刷指令、及び二次元コードQ2の画像データを含んだ印刷データを出力し、印刷装置30は、情報処理装置20から印刷指令及び印刷データを取得すると、紙等の記録媒体に二次元コードQ2を印刷する。
本実施形態では、S4及びS5の処理が「二次元コード作成ステップ」の一例に相当する。また、情報処理装置20及び印刷装置30が「コード作成手段」の一例に相当する。
【0040】
なお、本実施形態では、S1で用いられる情報コードQ1(図3参照)が、二次元コードQ2を印刷する印刷装置30によって印刷されたものとされている。また、情報コードQ1が記録される記録媒体(紙等)は、S5で二次元コードQ2を印刷する記録媒体と同種類の媒体(例えば同種類の紙)とされている。
【0041】
(対象撮像処理)
次に、撮像対象を実際に撮像する処理(撮像処理)について説明する。
図6は、撮像処理の流れを例示するフローチャートである。図7は、撮像処理で行われる読取処理の流れを例示するフローチャートである。図8は、撮像処理で行われる第2色参照パターン検出処理の流れを例示するフローチャートである。図9は、撮像処理で行われる補正データ生成処理の流れを例示するフローチャートである。図10は、撮像対象を二次元コードと共に撮像する様子を説明する説明図である。図11は、第2色参照パターン検出処理について説明する説明図である。図12(a)は、二次元コードから読み出した第1色情報を説明する説明図であり、図12(b)は、第2色参照パターンから抽出した第2色情報を説明する説明図である。図13は、第1色情報及び第2色情報の差分データを説明する説明図である。
【0042】
図6に示す撮像処理では、まず撮像する対象物(撮像対象)を事前処理で作成された二次元コードQ1と共に撮像する処理を行う(S10)。例えば図10のように対象物T(撮像対象)と二次元コードQ1とを近接させて配置し、このような状態で撮像装置10に撮像指令を与えこれらを撮像させる。
本実施形態では、S10の処理が「第2撮像ステップ」の一例に相当する。また、撮像装置10及び情報処理手段20が「撮像手段」「第2撮像手段」の一例に相当する。
【0043】
図6に示すように、S10の処理の後には、二次元コードQ2を読み取る読取処理が行われる(S20)。この読取処理は、例えば図7のような流れで行われ、まず、対象物Tを二次元コードQ1と共に撮像した画像データを撮像装置10から取得し(S21)、その画像データにおいて二次元コードQ2のコード領域を検出する(S22)。更に、二次元コードQ2のフォーマットデータを参照して、当該二次元コードQ2のコード種を特定し(S23)、二次元コードQ2のデコード処理を行う(S24)。なお、コード領域の検出処理(S22)、コード種の特定処理(S23)、デコード処理(S24)については、QRコード等の各種二次元コードにおいて周知技術であるため詳細な説明は省略する。
【0044】
S24にてデコードが成功した場合には、そのデコード結果を情報処理装置20内の記憶手段(例えばRAM,HDD等)に記憶する(S25)。本実施形態では、二次元コードQ2のデータ領域に「第1色情報」が記録されているため、デコードが成功した場合には、前記記憶手段に「第1色情報」が記録されることとなる。なお、図12(a)には、デコードによって得られた「第1色情報」を概念的に示している。
本実施形態では、S20の処理が「読取ステップ」の一例に相当する。また、情報処理装置20が「読取手段」の一例に相当する。
【0045】
図6に示すように、上記読取処理(S20)の後には、デコードが成功したか否かを判断する処理が行われる(S30)。S20においてデコードが成功した場合(S30:Yes)には、第2色参照パターンを検出する処理が行われる(S40)。一方、S20においてデコードが成功しなかった場合(S30:No)には、図6に示す当該撮像処理を終了する。なお、デコードが成功しなかった場合には、S10で撮像された対象物の画像の色補正を行わないようにしてもよく、或いは過去に生成した補正データを利用して色補正を行うようにしてもよい。
【0046】
次に、S40の第2色参照パターン検出処理について説明する。
S40の処理は、S10で撮像された二次元コードQ2の画像において第2色参照パターンP1を検出する処理であり、例えば図8のような流れで行われる。図8の例では、まず、二次元コードQ1のコード領域において、いずれかのセルを基点セルとする3×3のセル群を抽出し、当該セル群を構成する各セルの色を認識する(S41)。例えば、図11のようにいずれかのセルC1を基点セルとして、当該セルから右方向及び下方向に並ぶ3×3のセル群X1を抽出する。そしてこのセル群X1を構成する各セルの色をそれぞれ認識する。そして、当該セル群X1の配列が第2色参照パターンP2(図5)と同じ配列であるか否かを判断する(S42)。上述したように、第2色参照パターンP2は、角位置に白色セルが配置され、この白色セルから外縁に沿って時計回りに、シアン色セル、赤色セル、緑色セル、白色セル、マゼンタ色セル、青色セル、黄色セルと配置され、中心部に黒色セルが配置されたセル配列となっている。従って、セル群X1がこのようなセル配列となっている場合には第2色参照パターンP2に相当するセル群を発見したものとしてS42にてYesに進み、当該セル群(第2色参照パターンP2に相当するセル群)を特定する座標データを記憶しておく(S44)。
【0047】
一方、セル群X1が第2色参照パターンP2と異なるセル配列である場合には、S42にてNoに進んで基点セルを1セルずらし(S43)、そのずらしたセルC2を基点セルとするセル群X2についてS41、S42の処理を繰り返す。このような処理を、基点セルをずらしながら順次行い、第2色参照パターンP2に相当するセル群を発見するまで繰り返す。
【0048】
図6に示すように、S40の処理の後には、S50の判断処理が行われる。S50では、S40において第2色参照パターンP2の検出が成功したか否かを判断しており、S40において第2色参照パターンP2が正常に検出された場合(S50:Yes)には、S60の補正データ生成処理が行われる。一方、第2色参照パターンP2が正常に検出されなかった場合(S50:No)には、図6に示す当該撮像処理を終了する。なお、第2色参照パターンP2が検出されなかった場合には、S10で撮像された対象物の画像の色補正を行わないようにしてもよく、或いは過去に生成した補正データを利用して色補正を行うようにしてもよい。
【0049】
次に、S60の補正データ生成処理について説明する。
S60の処理は、例えば図9のような流れで行われ、まず、S40で検出された第2色参照パターンP2から第2色情報を抽出する処理が行われる(S61)。第2色情報の抽出は、上述した第1色情報の抽出と同様の方法で行われ、第2色参照パターンP2を構成する各セル色毎にRGB成分をそれぞれ抽出する。例えば、白色セル61(図5参照)のR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求め、同様に、シアン色セル62についても、R成分輝度値、G成分輝度値、B成分輝度をそれぞれ求める。また、他の赤色セル63、緑色セル64、白色セル65、マゼンタ色セル66、青色セル67、黄色セル68、黒色セル69の各領域についてもR成分輝度値、G成分輝度値、B成分輝度値をそれぞれ求める。図12(b)は、このようにして求められた各色のセルのR成分輝度値、G成分輝度値、B成分輝度値を例示しており、このようなデータが「第2色情報」に相当している。
【0050】
S61の抽出処理の後には、S20(図6)の読取処理で得られた「第1色情報」を記憶手段から読み出し(S62)、この「第1色情報」と上記「第2色情報」の差分データを生成する(S63)。差分データの生成方法は様々に考えられ、図13では、その一例として、第1色参照パターンP1の各セル色毎のRGB成分から第2色参照パターンP2の各セル色毎のRGB成分を差し引いた値をそれぞれ求めている。例えば、図12(a)のように、第1色情報では、白色セルのR成分輝度値が156であり、図12(b)のように第2色情報では、白色セルのR成分輝度値が214であるため、図13では、白色セルのR成分の差分データを−58としている。同様に、第1色情報では、白色セルのG成分輝度値が154であり、第2色情報では、白色セルのG成分輝度値が180であるため、白色セルのG成分の差分データを−26としている。また、第1色情報では、白色セルのB成分輝度値が148であり、第2色情報では、白色セルのB成分輝度値が90であるため、白色セルのB成分の差分データを58とする。また、他の色でも同様であり、第1色情報では、シアン色セルのR成分輝度値が74であり、第2色情報では、シアン色セルのR成分輝度値が90であるため、シアン色セルのG成分の差分データを−16としている。
【0051】
このように、第1色情報の各色の各成分値から、第2色情報の対応する色の対応する成分値を順次差し引いて、各色の各成分値について差分データを生成し、最終的に図13のような差分データを取得する。
【0052】
S63の処理の後には、図9に示すよう補正データを算出する処理が行われる(S64)。本実施形態では、補正データとして、撮像画像のR成分輝度値に加算すべき値(R成分加算値)、G成分輝度値に加算すべき値(G成分加算値)、B成分輝度値に加算すべき値(B成分加算値)をそれぞれ算出している。これら各成分加算値の算出方法は様々に考えられるが、ここでは、S63で取得された差分データにおいて、各成分毎に平均値を求め、それら各成分毎の平均値を各成分加算値としている。例えば、図13の例では、全色のR成分差分データが「−58,−16,−25,−49,−17,−17,−9,−24」であるため、これらの平均値「−27」(ここでは端数を四捨五入)をR成分加算値とする。同様に、全色のG成分差分データの平均値(−12)をG成分加算値として算出し、全色のB成分差分データの平均値(24)をB成分加算値として算出する。このように補正データ(各成分毎の加算値)を算出した後には、これら補正データを記憶手段に記憶しておく(S65)。
【0053】
図6に示すように、S60の処理が終わると報知処理が行われる(S70)。この報知処理は、補正データが生成された場合にその旨を何らかの方法で報知する処理であり、例えば、情報処理装置20に設けられた図示しないディスプレイに「補正データ生成完了」といった情報を表示してもよく、予め決められた音声などによって補正データが作成された旨を報知しても良い。
【0054】
S70の後には、補正画像を生成する処理が行われる(S80)。S80の処理では、S10で生成された画像データに対してS60で得られた補正データに基づく色補正処理を行う。具体的には、S10で得られた画像データの各画素のR成分輝度値、G成分輝度値、B成分輝度値に対して、上記R成分加算値、G成分加算値、B成分加算値を加算する。例えば、画像データにおいて、ある画素のR成分輝度値、G成分輝度値、B成分輝度値がそれぞれ100、120、130であった場合には、上記のR成分加算値(−27)、G成分加算値(−12)、B成分加算値(24)を加算して、R成分輝度値、G成分輝度値、B成分輝度値をそれぞれ73、108、154に補正する。このような補正処理を全画素のR成分、G成分、B成分に対して行い、最終的に得られた画像を撮像対象の画像(補正画像)として、記憶或いは出力する。
【0055】
本実施形態では、S40、S61の処理が、「第2抽出ステップ」の一例に相当する。また、S60及びS80が「色補正ステップ」の一例に相当する。また、情報処理装置20が、「第2抽出手段」「色補正手段」の一例に相当する。
【0056】
(本実施形態の主な効果)
本実施形態では、撮像対象の撮像に先立って、事前に第1色参照パターンP1を撮像し、その撮像された第1色参照パターンP1から第1色情報を抽出している。そして、その抽出された第1色情報が記録され且つ第1色参照パターンP1と対応する第2色参照パターンP2が配置された二次元コードQ2を作成している。このようにすると、第1色参照パターンP1を撮像したときの環境(事前環境)において、当該第1色参照パターンP1の色がどのように表現されているかを定量的に特定し、これを、当該事前環境を反映した情報(第1色情報)として二次元コードQ2に記録しておくことができる。
【0057】
また、二次元コードQ2には、第1色参照パターンP1に対応する第2色参照パターンP2が配置されている。従って、当該二次元コードQ2を撮像したときに、第1色参照パターンP1を撮像したときの環境を反映したデータ(第1色情報)のみならず、そのデータの生成元のパターン(第1色参照パターンP1)と対応するパターンの画像をも取得できるようになる。
更に、撮像対象を実際に撮像するときには、上記のように作成された二次元コードQ2を撮像対象と共に撮像し、二次元コードQ2に付された第2色参照パターンP2から第2色情報を抽出している。このようにすると、撮像対象を実際に撮像する際に、第2色参照パターンP2がどのように色表現されているかを定量的に示した情報(第2色情報)を取得することができる。この第2色情報は、撮像対象を実際に撮像する時の撮像環境を反映したデータであるため、この第2色情報と、事前環境を定量的に示す情報(第1色情報)とに基づいて、撮像対象の画像の色補正を行うようにすれば、撮像対象を実際に撮像するときの撮像環境と、第1色参照パターンP1を事前に撮像したときの事前環境と、をいずれも考慮して、適切な色補正を行うことができる。
【0058】
また、本実施形態では、第1色参照パターンP1が情報コードQ1内に配置されており、第1色参照パターンP1を撮像するステップ(第1撮像ステップ)では、光学的情報読取手段として機能する情報処理装置20により、当該情報コードQ1から第1色参照パターンP1を示す特定の色配列のセル群を検出している。
このようにすると、情報コードQ1の一部を第1色参照パターンP1として兼用することができる。また、光学的情報読取手段による各セルの認識処理を利用して、第1色参照パターンP1を迅速且つ正確に特定できるようになる。
また、第1色情報を抽出するステップ(第1抽出ステップ)では、上記セル群を構成する各セルの色データを検出し、各セルの色データを第1色情報として抽出している。このようにすると、第1色参照パターンP1を撮像したときの環境(事前環境)を、複数のセルの色データによって詳細に表すことができ、その抽出処理についても、各セル毎に迅速且つ正確に行うことができる。
【0059】
また、本実施形態では、複数色のセルが所定の配列で構成されてなる第1色参照パターンP1と、第1色参照パターンP1と同一のセル配列からなる第2色参照パターンP2が用いられている。そして、第1抽出ステップでは、第1色参照パターンP1の画像に対して各セル色毎にRGB成分をそれぞれ抽出する処理を行い、第2抽出ステップでは、第2色参照パターンP2の画像に対して各セル色毎にRGB成分をそれぞれ抽出する処理を行っている。このようにすると、第1色参照パターンP1が撮像されたときの環境(事前環境)を、当該第1色参照パターンP1の各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。また、撮像対象を撮像したときの環境(撮像環境)についても、第2色参照パターンP2の各セル色毎に抽出されるRGB成分によって具体的且つ詳細に定量化することができる。
【0060】
更に、第1色参照パターンP1と第2色参照パターンP2とが同一のセル配列で構成されているため、第1色参照パターンP1の各セル色毎のRGB成分、及び第2色参照パターンP2の各セル色毎のRGB成分をそれぞれ抽出すれば、事前環境から撮像環境に変化したことに伴って、R成分、G成分、B成分それぞれに、どの程度の変化が生じているのかが明確になる。そして、この変化を加味して撮像対象の画像のR成分、G成分、B成分をそれぞれ補正すれば、両環境がR成分に与える影響、両環境がG成分に与える影響、両環境がB成分に与える影響をそれぞれ具体的に考慮して、撮像対象の画像のR成分、G成分、B成分を適切に補正することができる。
【0061】
このように本発明によれば、RGBそれぞれの成分について、両環境が与える影響を正確に評価することができると共に、両環境が各成分に与える影響をそれぞれ考慮して各成分の補正を独立して行うことができ、ひいては全ての成分についてより適切な補正が可能となる。
【0062】
[第2実施形態]
次に第2実施形態について説明する。図14は、第2実施形態に係る撮像システムで行われる撮像処理の様子を概念的に説明する説明図である。図15は、第2実施形態に係る撮像システムで行われる読取処理を例示するフローチャートである。図16は、いずれかの二次元コードの検出が失敗した例を概念的に説明する説明図である。
【0063】
第2実施形態に係る撮像システムは、第1実施形態と同一のハードウェア構成であり、第1実施形態と同一の事前処理が行われるようになっている。従って、これらについては適宜図1〜図5を参照し、詳細な説明は省略する。
【0064】
以下、第2実施形態に係る撮像システムで行われる撮像処理について説明する。
第2実施形態に係る撮像システムでも、図6と同様の流れで撮像処理が行われるため、図6を参照して当該処理を説明することとする。なお、本実施形態では、撮像処理で行われる各処理の具体的な内容が第1実施形態と若干異なっている。
【0065】
まず、S10の処理について説明すると、本実施形態では事前処理において上述の二次元コードQ2(図5)を複数作成しており、S10では、図14のように、それら二次元コードQ2を複数分散させて対象物T(撮像対象)と共に撮像している。なお、この処理で得られた画像データは、情報処理装置20内の記憶手段(図示略)に記憶される。
【0066】
S10の処理が終わると読取処理が行われる(S20)。本実施形態では、例えば図15のような流れで読取処理が行われ、まず、S10で生成された画像データを取得する処理が行われる(S221)。そして、その画像データによって構成される撮像画像においてコード領域を検出する処理が行われる(S222)。なお、コード領域を検出する方法は、第1実施形態と同様の公知方法が用いられ、本実施形態では図14のように複数の二次元コードQ2が撮像されているため、S222ではこれら複数の二次元コードQ2の各コード領域が検出されることとなる。
【0067】
S223〜S226では、検出された各コード領域についてのデコード、登録が行われる。まず、S223では、いずれかのコード領域に着目し、当該コード領域を構成する二次元コードQ2のコード種を特定する(S223)。そして、当該コード領域についてのデコード処理を行う(S224)。その後、S224において当該コード領域のデコードが成功したか否かを判断し(S225)、成功した場合には、当該コード領域の二次元コードQ2を登録する(S226)。S226の登録処理では、S224でデコードが成功した当該コード領域についての位置情報(撮像画像内における当該コード領域の位置データ)と、デコード結果(第2色情報)とを記憶する。
【0068】
その後、S222で検出された全てのコード領域についてデコードを試みたか否かを判断し(S227)、いずれかのコード領域が残っている場合にはS227にてYesに進み、残っているコード領域についてS223〜S226の処理を行う。一方、検出された全てのコード領域についてS223以降の処理が行われた場合には、S227にてNoに進み、当該読取処理を終了する。
【0069】
図6に示すように、S20の読取処理が終了した後には、S30においていずれかのコード領域のデコードが成功したか否かを判断し、デコードが成功したコード領域が存在する場合にはS30にてYesに進み、S40の第2色参照パターン検出処理を行う。S40の第2色参照パターン検出処理では、デコードが成功した各コード領域それぞれに対して図8の処理を行い、各コード領域において第2色参照パターンP2を検出する。このようにして、デコードが成功した全てのコード領域において第2色参照パターンP2を検出する。
【0070】
S40の処理の後には、図6に示すように、いずれかの第2色参照パターンP2の検出が成功しているか否かを判断し(S50)、成功している場合にはS50にてYesに進んで補正データ生成処理を行う(S60)。
【0071】
本実施形態では、S60の処理において、検出が成功した各第2色参照パターン全てについて、図13と同様の差分データを生成し、各第2色参照パターン毎に第1実施形態と同様の補正データを算出している。例えば、S40において、図14に示すような第2色参照パターンP2a、P2b、P2c、P2dが検出された場合には、これら各第2色参照パターンP2a、P2b、P2c、P2dに対して図9と同様の処理を行い、各第2色参照パターンP2a、P2b、P2c、P2dに対応する補正データをそれぞれ算出し、記憶する。
【0072】
例えば、第2色参照パターンP2aに対応する補正データを生成する方法について説明すると、まず第2色参照パターンP2aから第2色情報を抽出(S61と同様:図9)すると共に、第2色参照パターンP2aに記録された第1色情報を読み出し(S62と同様:図9)、これら第1色情報及び第2色情報に基づいて第2色参照パターンP2aに対応する差分データを算出する(S63と同様:図9)。そして、この差分データに基づいて第1実施形態と同様の方法で当該第2色参照パターンP2aに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)を算出し(S64と同様:図9)、それを記憶する。
【0073】
このような処理を、他の第2色参照パターンP2b、P2c、P2dについても行い、第2色参照パターンP2bに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)、第2色参照パターンP2cに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)、第2色参照パターンP2dに対応する補正データ(R成分加算値、G成分加算値、B成分加算値)を算出する。このような補正データが生成された場合には、第1実施形態と同様の報知処理を行い(S70)、その後、補正画像を生成する処理を行う(S80)。
【0074】
本実施形態では、S80における補正画像の生成方法が第1実施形態と異なっており、本実施形態のS80の処理では、まず、S10で取得した撮像対象の画像において、各二次元コードQ2の位置を特定し、これら二次元コードQ2の位置に基づいて、当該画像を複数の領域に分割している。画像の分割方法は様々に考えられ、例えば、図14のように、対象物T(撮像対象)の画像の中心位置(例えば上下方向及び左右方向の中心となる位置)P1を求め、当該中心位置P1を通り、且つ互いに隣接する二次元コードの中間位置を通る境界線をそれぞれ設定する方法が挙げられる。図14の例では、左上の二次元コードQ2aと右上の二次元コードQ2bの中間位置を通り、且つ前記中心位置P1を通る境界線L1が設定され、同様に、右上の二次元コードQ2bと右下の二次元コードQ2dの中間位置を通り、且つ前記中心位置P1を通る境界線L2が設定され、右下の二次元コードQ2dと左下の二次元コードQ2cの中間位置を通り、且つ前記中心位置P1を通る境界線L3が設定され、左上の二次元コードQ2aと左下の二次元コードQ2cの中間位置を通り、且つ前記中心位置P1を通る境界線L4が設定されている。このような境界線L1〜L4を設定することにより、撮像画像ARを4つの領域AR1〜AR4に分割している。
【0075】
そして、このように画像を複数の領域に分割した後、各領域についての色補正を、各領域に近接する二次元コードQ2の第2色情報に基づいて行う。例えば、図14のように、分割された領域AR1〜AR4のそれぞれに二次元コードQ2が配置されている場合、各領域の色補正を、各領域内の二次元コードQ2によって得られた補正データに基づいて行う。例えば、領域AR1の画像の色補正は、領域AR1に含まれる二次元コードQ2aに対応する補正データ(即ち、第2色参照パターンP2aに対応する補正データ)に基づいて行われ、具体的には領域AR1の各画素のR成分輝度値、G成分輝度値、B成分輝度値に対して、第2色参照パターンP2aに対応する補正データのR成分加算値、G成分加算値、B成分加算値をそれぞれ加算する。
【0076】
他の領域AR2〜AR4も同様であり、領域AR2については、当該領域AR2に含まれる二次元コードQ2bに対応する補正データにによって色補正(領域AR1と同様の色補正)を行い、領域AR3についても、当該領域AR3に含まれる二次元コードQ2dに対応する補正データによって色補正(領域AR1と同様の色補正)を行う。また、領域AR4についても、当該領域AR4に含まれる二次元コードQ2cに対応する補正データによって色補正(領域AR1と同様の色補正)を行う。
【0077】
なお、上記方法では、図16のように、本来4つあるべき二次元コードQ2のうちの3つしか検出されなかった場合(或いは3つしかデコードが成功しなかった場合)であっても、これら3つの二次元コードQ2に基づいて適切に色補正を行うことができる。この場合、デコードが成功した3つの二次元コードQ2e、Q2f、Q2gに基づいて撮像画像を複数の領域に分割することができ、例えば、図16のように、右上の二次元コードQ2eと右下の二次元コードQ2fの中間位置を通り、且つ前記中心位置P1を通る境界線L21を設定し、同様に、右下の二次元コードQ2fと左下の二次元コードQ2gの中間位置を通り、且つ前記中心位置P1を通る境界線L22を設定し、更に、左下の二次元コードQ2gと右上の二次元コードQ2eの中間位置を通り、且つ前記中心位置P1を通る境界線L23を設定する。このような境界線L21〜L23を設定することにより、撮像画像を3つの領域AR21〜AR23に分割することができる。この場合も、各領域の色補正を、各領域内の二次元コードQ2によって得られた補正データに基づいて行うことができる。
【0078】
[他の実施形態]
本発明は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本発明の技術的範囲に含まれる。
【0079】
上記実施形態では、第1色参照パターンP1を撮像する撮像手段(第1撮像手段)と、第2色参照パターンP2を撮像する撮像手段(第2撮像手段)が同一である例を示したが、これらが異なる撮像手段によって撮像されてもよい。
【0080】
上記実施形態では、画像を撮像する手段として撮像装置10が用いられ、色補正等の各種画像処理を行う手段として、撮像装置10とは別体の情報処理装置20が用いられた撮像システム1を例示したが、撮像システムの構成は、このような構成に限られるものではなく、例えば、単一のケース内に撮像手段と情報処理手段とが設けられるような構成であってもよい。
【0081】
上記実施形態では、S1の処理の例として、第1色参照パターンP1が付されたQRコードQ1を撮像する例を説明したが、第1色参照パターンが付されたものであれば他の種類の情報コード(例えば、データマトリックスコード、マキシコード等)であってもよい。
【0082】
上記実施形態では、S1において第1色参照パターンP1が付された情報コードQ1を撮像する例を示したが、第1色参照パターンP1の画像が取得できればこの例に限定されるものではなく、例えば、第1色参照パターンP1のみを撮像してもよい。
【0083】
上記実施形態では、情報コードQ1の特定部分に第1色参照パターンP1が配置される点が予め規定されていたが、第1色参照パターンP1が配置される位置を予め規定せずにセル配列のみを規定しておいてもよい。この場合、S2において、規定されたセル配列を検出する処理を行うようにすればよい。
【0084】
上記実施形態では、第2色参照パターンとして、第1色参照パターンと同一の色配列で構成されるパターンを例示したが、「第1色参照パターンと対応する第2色参照パターン」は、このような同一構成に限られるものではない。例えば、第1色参照パターンとはセル配列は異なるが、第1色参照パターンに含まれる種類を全て含んだセル群を、第2色参照パターンとして構成してもよい。
【0085】
第1実施形態では、S60(図6)で補正データが生成された場合に、撮像対象の画像に対して色補正処理を行っていたが、S60とS70の間に、第1色情報と第2色情報とを比較し、第1色情報と第2色情報とに所定の差異があるか否かを判断する判断ステップを設け、この判断ステップにおいて所定の差異があると判断された場合にS70の報知処理(報知ステップ)を行うようにしてもよい。「所定の差異」は様々に考えられるが、例えば、補正データとして得られたR成分加算値、G成分加算値、B成分加算値のいずれかの絶対値が所定閾値(例えば10)を超える場合に「所定の差異」があると判断するようにしてもよい。或いは、第1色情報と第2色情報に基づいて各色ごと且つ各成分ごとに得られる差分値のいずれかの絶対値が所定閾値(例えば10)を超える場合に、「所定の差異」があると判断するようにしてもよい。
そして、上記判断ステップにて「所定の差異」があると判断された場合に、S80の色補正処理(色補正ステップ)を行うようにすることができる。このようにすると、第1色参照パターンP1を撮像した時の環境(事前環境)と、撮像対象を実際に撮像したときの環境(撮像環境)とに差異があるか否かを、色情報を基準として適切に判断することができ、差異がある場合にはその旨をユーザに知らしめることができる。また、撮像対象を撮像したときの環境(撮像環境)が、第1色参照パターンP1を撮像したときの環境(事前環境)に類似する場合には、色補正を省略して処理の迅速化を図ることができ、撮像環境が事前環境に対してある程度変化している場合には、色補正を行って、環境の差異に起因する画像の変化を補正することができる。
【0086】
第2実施形態では、画像を分割する一例を示したが、分割方法はこれに限定されない。例えば、二次元コードの位置に関係なく、撮像画像を予め規定された複数領域に分割するようにしてもよい。この場合、各領域の色補正を、各領域に含まれる二次元コード(含まれていない場合には最も近い二次元コード)に基づいて行えばよい。
【符号の説明】
【0087】
1…撮像システム
10…撮像装置(撮像手段、第1撮像手段、第2撮像手段)
20…情報処理装置(第1抽出手段、第2抽出手段、読取手段、コード作成手段、色補正手段、光学的情報読取手段)
30…印刷装置(コード作成手段)
Q1…情報コード
Q2…二次元コード
P1…第1色参照パターン
P2…第2色参照パターン
【特許請求の範囲】
【請求項1】
撮像手段によって撮像される撮像対象の画像の色補正を行う色補正方法であって、
第1撮像手段により、第1色参照パターンを撮像する第1撮像ステップと、
第1抽出手段により、前記第1撮像ステップにて撮像された前記第1色参照パターンから第1色情報を抽出する第1抽出ステップと、
前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出ステップにて抽出された前記第1色情報が記録された二次元コードを、コード作成手段によって作成するコード作成ステップと、
前記第1撮像手段と同一、又は前記第1撮像手段とは異なる前記撮像手段により、前記コード作成ステップにて作成された前記二次元コードと共に前記撮像対象を撮像する第2撮像ステップと、
第2抽出手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像において前記第2色参照パターンを特定し且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出ステップと、
読取手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像から前記第1色情報を読み取る読取ステップと、
前記読取ステップにて読み取られた前記第1色情報と、前記第2抽出ステップにて抽出された前記第2色情報とに基づき、前記第2撮像ステップにて撮像された前記撮像対象の画像に対し、色補正手段により色補正を行う色補正ステップと、
を有することを特徴とする色補正方法。
【請求項2】
前記第1色参照パターンは、情報コード内に配置されており、
前記第1撮像ステップでは、前記撮像手段と同一の又は前記撮像手段とは異なる光学的情報読取手段により、前記情報コードの撮像が行われ
前記第1抽出ステップでは、前記光学的情報読取手段により、前記情報コードから前記第1色参照パターンを示す特定の色配列のセル群を検出する処理、及び当該セル群を構成する各セルの色データを検出する処理が行われ、前記各セルの前記色データが前記第1色情報として抽出されることを特徴とする請求項1に記載の色補正方法。
【請求項3】
前記読取ステップ及び前記第2抽出ステップの後に、前記読取ステップにて読み取られた前記第1色情報と前記第2抽出ステップにて抽出された前記第2色情報とを比較し、前記第1色情報と前記第2色情報とに所定の差異があるか否かを判断する判断ステップと、
前記判断ステップによって前記所定の差異があると判断された場合に報知を行う報知ステップと、
を含み、
前記判断ステップにて前記所定の差異があると判断された場合に、前記撮像対象の画像に対して前記色補正ステップが行われることを特徴とする請求項1又は請求項2に記載の色補正方法。
【請求項4】
前記第2撮像ステップでは、前記コード作成ステップにて作成された前記二次元コードを撮像エリア内に複数分散させた状態でそれら複数の前記二次元コードを前記撮像対象と共に撮像し、
前記色補正ステップは、前記第2撮像ステップで撮像された前記撮像対象の画像を複数の領域に分割すると共に、各領域についての色補正を、各領域に近接する前記二次元コードの前記第2色情報に基づいて行うことを特徴とする請求項1から請求項3のいずれか一項に記載の色補正方法。
【請求項5】
前記第1色参照パターンは、複数色のセルが所定の配列で構成されたものであり、
前記第2色参照パターンは、前記第1色参照パターンと同一のセル配列からなり、
前記第1抽出ステップでは、前記第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、
前記第2抽出ステップでは、前記第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、
前記色補正ステップでは、前記第1色参照パターンの各セル色毎のRGB成分と、前記第2色参照パターンの各セル色毎のRGB成分とに基づき、前記撮像対象の画像のR成分、G成分、B成分をそれぞれ補正することを特徴とする請求項1から請求項4のいずれか一項に記載の色補正方法。
【請求項6】
光学的情報読取手段と、コード作成手段と、撮像装置とを備えた撮像システムであって、
前記光学的情報読取手段は、
第1色参照パターンが配置された情報コードを撮像する第1撮像手段と、
前記第1撮像手段によって撮像された前記情報コードにおいて前記第1色参照パターンを検出し、且つ当該第1参照パターンから第1色情報を抽出する第1抽出手段と、
を備え、、
前記コード作成手段は、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出手段によって抽出された前記第1色情報がデータ領域に記録された二次元コードを作成する構成をなしており、
前記撮像装置は、
撮像対象を、前記コード作成手段によって作成された前記二次元コードと共に撮像可能な撮像手段と、
前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像において、前記第2色参照パターンを特定し、且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出手段と、
前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像から、前記第1色情報を読み取る読取手段と、
前記読取手段によって読み取られた前記第1色情報と、前記第2抽出手段によって抽出された前記第2色情報とに基づき、前記撮像手段によって撮像された前記撮像対象の画像に対して色補正を行う色補正手段と、
を有することを特徴とする撮像システム。
【請求項1】
撮像手段によって撮像される撮像対象の画像の色補正を行う色補正方法であって、
第1撮像手段により、第1色参照パターンを撮像する第1撮像ステップと、
第1抽出手段により、前記第1撮像ステップにて撮像された前記第1色参照パターンから第1色情報を抽出する第1抽出ステップと、
前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出ステップにて抽出された前記第1色情報が記録された二次元コードを、コード作成手段によって作成するコード作成ステップと、
前記第1撮像手段と同一、又は前記第1撮像手段とは異なる前記撮像手段により、前記コード作成ステップにて作成された前記二次元コードと共に前記撮像対象を撮像する第2撮像ステップと、
第2抽出手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像において前記第2色参照パターンを特定し且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出ステップと、
読取手段により、前記第2撮像ステップにて撮像された前記二次元コードの画像から前記第1色情報を読み取る読取ステップと、
前記読取ステップにて読み取られた前記第1色情報と、前記第2抽出ステップにて抽出された前記第2色情報とに基づき、前記第2撮像ステップにて撮像された前記撮像対象の画像に対し、色補正手段により色補正を行う色補正ステップと、
を有することを特徴とする色補正方法。
【請求項2】
前記第1色参照パターンは、情報コード内に配置されており、
前記第1撮像ステップでは、前記撮像手段と同一の又は前記撮像手段とは異なる光学的情報読取手段により、前記情報コードの撮像が行われ
前記第1抽出ステップでは、前記光学的情報読取手段により、前記情報コードから前記第1色参照パターンを示す特定の色配列のセル群を検出する処理、及び当該セル群を構成する各セルの色データを検出する処理が行われ、前記各セルの前記色データが前記第1色情報として抽出されることを特徴とする請求項1に記載の色補正方法。
【請求項3】
前記読取ステップ及び前記第2抽出ステップの後に、前記読取ステップにて読み取られた前記第1色情報と前記第2抽出ステップにて抽出された前記第2色情報とを比較し、前記第1色情報と前記第2色情報とに所定の差異があるか否かを判断する判断ステップと、
前記判断ステップによって前記所定の差異があると判断された場合に報知を行う報知ステップと、
を含み、
前記判断ステップにて前記所定の差異があると判断された場合に、前記撮像対象の画像に対して前記色補正ステップが行われることを特徴とする請求項1又は請求項2に記載の色補正方法。
【請求項4】
前記第2撮像ステップでは、前記コード作成ステップにて作成された前記二次元コードを撮像エリア内に複数分散させた状態でそれら複数の前記二次元コードを前記撮像対象と共に撮像し、
前記色補正ステップは、前記第2撮像ステップで撮像された前記撮像対象の画像を複数の領域に分割すると共に、各領域についての色補正を、各領域に近接する前記二次元コードの前記第2色情報に基づいて行うことを特徴とする請求項1から請求項3のいずれか一項に記載の色補正方法。
【請求項5】
前記第1色参照パターンは、複数色のセルが所定の配列で構成されたものであり、
前記第2色参照パターンは、前記第1色参照パターンと同一のセル配列からなり、
前記第1抽出ステップでは、前記第1色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、
前記第2抽出ステップでは、前記第2色参照パターンの画像について各セル色毎にRGB成分をそれぞれ抽出する処理を行い、
前記色補正ステップでは、前記第1色参照パターンの各セル色毎のRGB成分と、前記第2色参照パターンの各セル色毎のRGB成分とに基づき、前記撮像対象の画像のR成分、G成分、B成分をそれぞれ補正することを特徴とする請求項1から請求項4のいずれか一項に記載の色補正方法。
【請求項6】
光学的情報読取手段と、コード作成手段と、撮像装置とを備えた撮像システムであって、
前記光学的情報読取手段は、
第1色参照パターンが配置された情報コードを撮像する第1撮像手段と、
前記第1撮像手段によって撮像された前記情報コードにおいて前記第1色参照パターンを検出し、且つ当該第1参照パターンから第1色情報を抽出する第1抽出手段と、
を備え、、
前記コード作成手段は、前記第1色参照パターンと対応する第2色参照パターンが配置され且つ前記第1抽出手段によって抽出された前記第1色情報がデータ領域に記録された二次元コードを作成する構成をなしており、
前記撮像装置は、
撮像対象を、前記コード作成手段によって作成された前記二次元コードと共に撮像可能な撮像手段と、
前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像において、前記第2色参照パターンを特定し、且つ当該第2色参照パターンから前記第2色情報を抽出する第2抽出手段と、
前記撮像手段によって前記撮像対象と共に撮像された前記二次元コードの画像から、前記第1色情報を読み取る読取手段と、
前記読取手段によって読み取られた前記第1色情報と、前記第2抽出手段によって抽出された前記第2色情報とに基づき、前記撮像手段によって撮像された前記撮像対象の画像に対して色補正を行う色補正手段と、
を有することを特徴とする撮像システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2010−226580(P2010−226580A)
【公開日】平成22年10月7日(2010.10.7)
【国際特許分類】
【出願番号】特願2009−73449(P2009−73449)
【出願日】平成21年3月25日(2009.3.25)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(501428545)株式会社デンソーウェーブ (1,155)
【Fターム(参考)】
【公開日】平成22年10月7日(2010.10.7)
【国際特許分類】
【出願日】平成21年3月25日(2009.3.25)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(501428545)株式会社デンソーウェーブ (1,155)
【Fターム(参考)】
[ Back to top ]