説明

混合コードのデコーディング方法及びその装置、記録媒体

【課題】第1コードイメージ及び第2コードイメージが複合化されて表現された混合コードをデコーディングする方法及びその装置を提供する。
【解決手段】混合コードイメージが含まれた原本イメージを入力され、入力された原本イメージのノイズを除去して混合コードイメージを獲得し、混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化して、混合コードイメージを第1コードイメージ及び第2コードイメージに分離した後、第1コードイメージ及び第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出する。このとき、第1コードイメージまたは/及び第2コードイメージから解釈情報、構成情報、エラー制御情報、コード方向情報などをデコーディングして、第1コードイメージ及び第2コードイメージを効率的にデコーディングできる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物理的または電子的に表現されたコードイメージをデコーディングする技術に係り、特に二つ以上のコードイメージが複合化して表現されたコード(以下、混合コード)をデコーディングする技術に関する。
【背景技術】
【0002】
文字や数字、記号のような認識可能な情報を表示する方法において、情報の保安や表示空間を考慮して、文字や数字、記号などがイメージで表示された場合がある。このように情報がイメージで表示されたコードイメージを読み取るためには、それに適したデコーダが提供されねばならない。
【0003】
現在、かかるコードとしては、UPC(Universal Product Code)、EAN(European Article Number)のような1次元バーコード、カラーコード、グレーコード、QR(Quick Response)コード(登録商標)、PDF−417、データマトリックスのような2次元イメージコードなどがある。例えば、QRコード(登録商標)の詳細については非特許文献1に記載されている。イメージを認識して情報を抽出する他の技術としては、マークエニー社などで提供するウォータマーク技術及びイメージのロゴを認識する技術などがある。
【0004】
イメージコードは、コード自体に情報が隠されているため、ユーザーの立場では、該当コードについての情報が全くないので使用上に難しさがある。すなわち、一般の携帯端末機やPDA(Personal Digital Assistant)で使用可能なイメージコードであるか、PC(Personal Computer)上で提供するものであるか、コードを認識すればいかなる情報が提供されるかを予測し難い。また、コードは、それぞれ表現されるデータの量が制限されているが、データが修正されるか、または追加される場合、イメージコードを新たに生成せねばならない場合がほとんどであり、修正、追加、無效化などの情報を付加し難いという短所がある。
【0005】
ウォータマークは、基本的にイメージのユーザーが正当な権限を有しているかを確認するか、または原本イメージの著作権者の確認あるいはイメージ情報からネットワーク接続サービスの提供などの目的で使われる。したがって、ウォータマーク情報は、イメージ内によく隠して見られないようにすることが重要であり、原本イメージ及び情報上において直接的な連関性がないか、または連関性があっても原本イメージを解読しない。もちろん、コードイメージ内にウォータマークを挿入できるが、原本コードイメージとの関係において単純組み合わせである。
【0006】
色相バーコードは、バーコードのパターンに色相をマッピングした形態であるが、単純に表現方法の数を増やすだけであり、それぞれの色相とバーコードパターンとの結合構造が単純組み合わせ形態である。
【0007】
他の従来のイメージ認識方法として、商標、ロゴやパターン認識がある。それらは、特定のイメージのパターンを予めデータベース化した後、入力されたイメージと相互比較して類似度を測定した後でそれを認識する方法である。
【非特許文献1】ISO JTC1/SC31、ISO/IEC18004規格書、2000年
【発明の開示】
【発明が解決しようとする課題】
【0008】
本発明が解決しようとする課題は、第1コードイメージ及び第2コードイメージが複合化されて表現された混合コードをデコーディングする方法及びその装置を提供するところにある。
【0009】
本発明が解決しようとする他の課題は、第1コードイメージをデコーディングして抽出した所定の情報に基づいて第2コードイメージをデコーディングすることによって、第1コードイメージ及び第2コードイメージが結合されて表現された混合コードを効率的にデコーディングする方法を提供するところにある。
【0010】
本発明が解決しようとするさらに他の課題は、第1コードイメージと第2コードイメージとが結合されて表現された混合コードをデコーディングする方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【0011】
前記の課題を解決するための本発明による混合コードのデコーディング方法の一実施形態は、第1コードイメージ及び第2コードイメージが重なって表現された混合コードをデコーディングする方法において、(a)前記混合コードイメージが含まれた原本イメージを入力されるステップ、(b)前記原本イメージのノイズを除去して、前記混合コードイメージを獲得するステップ、(c)前記混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化し、前記混合コードイメージを前記第1コードイメージ及び前記第2コードイメージに分離するステップ、及び(d)前記第1コードイメージ及び前記第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出するステップを含む。
【0012】
前記の課題を解決するための本発明による混合コードのデコーディング方法の他の実施形態は、第1コードイメージ及び第2コードイメージが重なって表現された混合コードをデコーディングする方法において、(a)前記第1コードイメージ及び前記第2コードイメージの色相及び輝度の差に基づいて、前記混合コードから前記第1コードイメージ及び前記第2コードイメージを分離して抽出するステップ、(b)前記第1コードイメージのデータ領域及び制御情報領域をデコーディングして、第1情報及び前記第2コードイメージについての構成情報をそれぞれ獲得するステップ、及び(c)前記構成情報に基づいて、前記第2コードイメージをデコーディングして第2情報を獲得するステップを含む。
【0013】
前記の課題を解決するための本発明による混合コードデコーディング装置の一実施形態は、第1コードイメージ及び第2コードイメージが重なって表現された混合コードイメージが含まれた原本イメージを入力される入力部、前記原本イメージのノイズを除去して、前記混合コードイメージを獲得する混合コード抽出部、前記混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化し、前記混合コードイメージを前記第1コードイメージ及び前記第2コードイメージに分離するコードイメージ分離部、及び前記第1コードイメージ及び前記第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出する情報抽出部を備える。
【0014】
これにより、第1コードイメージ及び第2コードイメージが結合されて表現された混合コードを効率的にデコーディングできる。
【発明の効果】
【0015】
混合コードにユーザーが分かりやすい視覚的情報(使用目的、使用方法、使用領域など)の提供が可能である。例えば、(イメージコード+文字)からなる混合コードを利用してイメージコードのセルやパターンを会社名、URL(Uniform Resource Locator)などで製作するか、または(イメージコード+ロゴ)からなる混合コードを利用してイメージコードの各セルや全体にロゴや象徴記号情報を含むか、または(イメージコード+文字+ロゴ)からなる複合的な混合コードの生成が可能である。
【0016】
イメージコード原本に付加情報イメージを混合して、追加的な情報提供が可能である。すなわち、コードに修正、追加事項についての情報を付加できるので、混合コードに記録されるデータの量が多くなる。
【0017】
混合コードは、付加情報イメージのコード領域、コード方向及び基準点についての情報を含むので、付加イメージ検索が容易である。すなわち、コード領域に認識範囲が制限されれば、コード領域の形状による付加的な情報(方向性、特徴点など)を獲得できる。
【0018】
混合コードのエラー制御情報領域を通じて、基本コード情報のエラーを検証、補正できる。また、基本コードイメージ及び付加情報イメージをキー値及び暗号化によりデコーディングできるように構成することによって、所定のサービスについての正当なユーザーであるか検証可能である。
【0019】
そして、付加情報イメージを写真イメージで構成して保安サービスに活用でき、物品管理サービスなど多様なサービスに適用可能である。
【発明を実施するための最良の形態】
【0020】
以下で、添付された図面を参照して、混合コードの構造及び混合コードの生成方法について説明した後、本発明による混合コードのデコーディング方法とその装置に関して詳細に説明する。
【0021】
<混合コードの構造>
図1は、本発明による混合コードの構造を示す図面である。
【0022】
図1に示すように、物理的または電子的なイメージで表現される本発明によるコード(以下、混合コード)イメージは、大きく基本コードイメージ100と付加情報イメージ150とで構成され、付加情報イメージ150は、基本コードイメージ100に重なって表示される。
【0023】
基本コードイメージは、基本情報領域、制御情報領域(構成情報領域、解釈情報領域、サービス制御領域)、コード方向情報領域、エラー制御情報領域(エラー検証情報領域、エラー訂正情報領域)で構成される。
【0024】
付加情報イメージは、付加情報領域を備え、必要に応じて制御情報領域、コード方向情報領域、エラー制御領域などを備える。
【0025】
混合コードの各領域(基本情報領域、付加情報領域、制御情報領域、コード方向情報領域、エラー制御情報領域)には、該当情報が色相、濃淡、輝度、パターン及びそれらの組み合わせでエンコーディングされる。基本コードイメージ及び付加情報イメージの各領域にエンコーディングされるコードの種類としては、UPC、EANのような1次元バーコード、カラーコード、グレーコード、QRコード(登録商標)、PDF−417、データマトリックスのような2次元イメージコードなどがある。
【0026】
図2、図3A及び図3Bは、本発明による混合コードの一例を示す図面である。
【0027】
図2に示すように、混合コードは、カラーコードで表現された基本コードイメージと、QRコード(登録商標)で表現された付加情報イメージとで構成される。基本コードイメージは、基本情報領域以外に制御情報領域、エラー制御情報領域及びコード方向探知領域を備え、付加情報イメージは、付加情報領域以外に制御情報領域、エラー制御情報領域及びコード方向情報領域を備える。
【0028】
以下で、混合コードを構成するそれぞれの領域について詳細に説明する。
【0029】
1. 基本情報領域
基本情報領域は、混合コードを構成する基本コードイメージの一定領域に位置し、基本情報を色相、濃淡、輝度、図形、パターンまたはそれらの組み合わせからなるコードに変換して表示する。基本情報は、文字、数字、記号、特殊文字、イメージなどで表示される内容であって、これは、所定のコード表により色相、濃淡、輝度、図形、パターンまたはそれらの組み合わせに変換されて基本情報領域に表示される。一般的に、さらに認識が容易なコード(例えば、カラーコード)を基本コードイメージとして構成することが望ましい。
【0030】
2. 付加情報領域
付加情報領域は、混合コードで基本コードイメージに重なって表示される付加情報イメージの一定領域に位置し、付加情報を色相、濃淡、輝度、図形、パターン、マーク、記号またはそれらの組み合わせからなるイメージで表示する。付加情報は、文字、数字、記号、特殊文字、イメージ、ロゴなどで表示可能な内容であって、これは、所定のコード表により色相、濃淡、輝度、図形、パターン、文字、マーク、シンボルまたはそれらの組み合わせに変換されて付加情報領域に表示される。
【0031】
付加情報イメージがコードである場合には、付加情報イメージの一部領域に付加情報領域が位置し、付加情報イメージが複数個存在する場合には、それらの集合のうち一部が付加情報領域として作用する。
【0032】
付加情報が単に一つのシンボル、記号、商標、文字である場合には、付加情報領域以外に、シンボルの種類、方向性や配置形態、パターンの一連情報(パターンの形状による類似度など)などを記録するための領域(制御情報領域など)をさらに備えることができる。
【0033】
3. 制御情報領域(構成情報領域、解釈情報領域、サービス制御領域)
3.1 構成情報領域
混合コードの構成情報領域は、基本コードイメージと付加情報イメージとの構成方法についての情報及びデコーディング方法を指定する領域である。この領域をデコーディングすれば、付加情報イメージのデコーディング方法を容易に獲得でき、必要に応じて構成情報を追加/削除できる。
【0034】
基本的に、構成情報は、付加情報イメージのコード種類(カラーコード、QRコード(登録商標)、PDF−417など)を含むことが望ましく、その他の情報は必要に応じて追加/削除できる。
【0035】
混合コードの構成情報領域は、基本コードイメージ及び/または付加情報イメージに存在する。ただし、さらに認識が容易なコードを基本コードイメージとして構成することが有利であるので、事実上基本コードイメージに制御情報領域を構成することが望ましい。
【0036】
表1は、混合コードの構成情報領域に記録される情報の一例である。
【0037】
【表1】

【0038】
表1に示すように、混合コードの構成情報領域に記録される情報は、付加情報要素イメージの個数情報、細部分割の個数情報、付加情報要素イメージの位置情報、付加情報要素イメージの種類情報、暗号化方法情報及び付加情報要素イメージの整列方向情報を含む。
【0039】
(1)付加情報要素イメージの個数情報:基本コードイメージ領域と重なった領域に位置する付加情報イメージを構成する要素イメージの個数情報
(2)細部分割の個数情報:基本コードイメージ領域を一定に均等分割するときに発生する細部領域の個数情報
(3)付加情報要素イメージの位置情報:細部分割の個数情報によって混合コードを分割して発生する細部領域に任意の番号を付けた後、付加情報要素イメージの中心が位置する細部領域の番号を指定することによって容易に付加情報要素イメージを探すようにする。
【0040】
(4)付加情報要素イメージの種類情報:混合コードの細部分割領域上、付加情報要素イメージの位置情報により中心点が指定された付加情報要素イメージのコード種類情報。
【0041】
表2は、細部分割領域上、付加情報要素イメージのコード種類情報の例である。
【0042】
【表2】

【0043】
表2に示すように、付加情報要素イメージの種類情報は、5×5カラーコード、QRコード(登録商標)、PDF 417、文字、記号、商標、写真、シンボルのそれぞれに固有な情報値を付与する。
【0044】
(5)暗号化方法情報:付加情報要素イメージの情報を表現するために暗号化した場合に適用する方法である。これにより、エラー訂正レベルや技法を設定できる。例えば、表3のように暗号化方法を定義できる。
【0045】
【表3】

【0046】
(6)付加情報要素イメージの整列方向情報:付加情報要素イメージが基本コードイメージ内に配置されたとき、該当する付加情報要素イメージの整列方向として与えられた方向情報により付加情報要素イメージの領域を読む。
【0047】
0:傾斜なし
1:45°傾斜
2:90°傾斜
3:135°傾斜
4:180°傾斜
5:225°傾斜
6:270°傾斜
7:315°傾斜
以下で、構成情報の具体的な例を説明する。
【0048】
(1)構成情報が‘441234222200030020’である場合(表4)
【0049】
【表4】

【0050】
表4に示すように、基本コードイメージ領域に表示される基本コードが色相で構成されたカラーコードであり、カラーコードから構成情報領域を認識した場合、基本コードイメージ領域には、付加情報イメージが4個重なって存在(付加情報要素イメージの個数情報)し、それらは、いずれも4個に分けられた均等な領域(細部分割の個数情報)の中心部に一つずつ付加(付加情報要素イメージの位置情報)されているということが分かる。また、この付加された4個のQRイメージ(付加情報要素イメージの種類情報)のうち三番目のコードは、方向が90°回転されており、残りのイメージは、その方向が正方向となっている(付加情報要素イメージの整列方向情報)ということが分かる。また、3個のQRコード(登録商標)は暗号化されていないが、4番目の付加情報要素イメージは、“暗号化技法3”により暗号化(暗号化方法情報)されている。
【0051】
表4に該当する混合コード及びその混合コードの構成情報の認識過程が図4に示されている。
【0052】
(2)構成情報が‘111100’である場合(表5)
【0053】
【表5】

【0054】
表5に示すように、もし、現在の基本コードイメージがQRコード(登録商標)であれば、付加された付加情報イメージは一つであり、暗号化や方向転換が行われていない5×5カラーコードであるということが分かる。もちろん、細部分割の個数情報及び付加情報要素イメージの位置情報により、カラーコード及びQRコード(登録商標)の大きさはほぼ同一であり、中心点が同じであるということも分かる。もし、カラーコードの大きさがQRコード(登録商標)イメージの1/9であり、中心点が同じであれば、細部分割の個数情報は9、付加情報要素イメージの位置情報は5に変わる。すなわち、小さいカラーコードが9倍も大きいQRコード(登録商標)の中心部に位置することである。
【0055】
表5に該当する混合コード及びその混合コードの構成情報の認識過程が図5に示されている。また、混合コードの構成情報についての他の実施形態が図6〜図8に示されている。
【0056】
前述したように、混合コードの構成情報領域は、可能な限り基本コードイメージに含まれていることが、さらに容易に混合コードイメージ全体をデコーディングするのに有利である。
【0057】
3.2 解釈情報領域(関係性、情報形式、情報配置方式)
解釈情報領域は、混合コードの解釈のための情報を含んでいる領域である。解釈情報とは、基本情報と付加情報との関係、情報の合成及び解読方式を指定した情報をいう。混合コード解釈情報領域は、基本コードイメージ及び/または付加情報イメージに位置する。解釈情報は、具体的に基本情報と付加情報との関係性、情報形式の定義、情報配置方式の定義及びコード今後制御の定義を含む。以下、それぞれに分けて説明する。
【0058】
3.2.1 関係性(図9)
図9は、基本情報と付加情報との関係性を示す図面である。
【0059】
図9に示すように、基本情報と付加情報とは、同等関係、関連関係、付加関係、集合関係及び演算関係を有する。
【0060】
(1)同等:基本情報=付加情報
基本情報と付加情報とが同じ情報を有する場合である。ただし、それらの情報が同じ形式を提供されないこともある。一例として、基本コードイメージにエンコーディングされたコードがカラーコードであり、付加情報イメージにエンコーディングされたコードがQRコード(登録商標)とする。このとき、基本情報領域をデコーディングした結果が‘1111’であれば、QRコード(登録商標)イメージ(すなわち、付加情報イメージ)の付加情報領域を‘1111’とエンコーディングすることもあり、その値が意味する“www.colorzip.com”という文字を直接表現することもある。
【0061】
すなわち、所定のデータベースやファイル、コード値指定表などで“1111”という情報は、“www.colorzip.com”と同じ意味を有すると仮定すれば、カラーコードの基本情報領域に“1111”をエンコーディングするとき、QRコード(登録商標)の付加情報領域には、“1111”または“www.colorzip.com”または両方をエンコーディングできる。
【0062】
(2)合成:基本情報+付加情報
基本情報と付加情報との合成を通じて、混合コードの情報を表現する。
【0063】
例えば、混合コードが“11112222”という情報を有すれば、基本情報は“1111”、付加情報は“2222”とエンコーディングできる。したがって、混合コードは、基本コードイメージに多様な種類の付加情報イメージを合成することによって多くの種類の情報を表現できる。
【0064】
(3)集合:基本情報⊂付加情報または基本情報⊃付加情報
混合コード情報が基本情報や付加情報のうち一つと同等な形態である。
【0065】
例えば、10個の物品が一つの箱に入っている場合、箱の混合コードには1000〜1010という情報をエンコーディングし、それぞれの物品は、1000から1010まで一つずつコードイメージを有している場合に該当する。したがって、箱の混合コードをデコーディングすれば、箱内部の物品の情報が分かる。
【0066】
(4)二進演算:混合コードの基本情報と付加情報との二進演算方法を定義する情報を含む。
【0067】
(5)四則演算:混合コードの基本情報と付加情報との四則演算方法を定義する情報を含む。
【0068】
3.2.2 情報形式の定義
解釈情報は、基本情報と付加情報との情報形式を定義する。同じコード情報であっても、それを所定の文字形式、数字形式、記号形式、イメージ形式に変換して提供する。例えば、同じ情報であっても、“color”に解読するか、または16進数である“636F6C6F72”、二進数である“010111100111110”に解読できる。したがって、基本情報と付加情報それぞれあるいは合成後の情報形式を指定することによって、多様な効果を奏する。
【0069】
3.2.3 情報配置方式の定義
基本情報及び付加情報は、必要に応じてイメージのピクセル位置情報を異なって変換させることができる。例えば、カラーコードに配置されたQRコード(登録商標)は、本来のイメージそのままでなく、所定の変換方法により各ピクセルの絶対位置や相対位置が変換されうる。かかる場合、解釈情報領域で情報配置方式の定義をエンコーディングした後、それを利用して付加情報コードをデコーディングできる。
【0070】
かかるサービスの例としては、付加情報イメージを暗号化するサービスが代表的であり、旅券などの写真を付加情報イメージ化して混合コード内に配置し、今後情報配置領域を利用してデコーディングすることによって、写真と顔との対照を可能にする。また、付加情報イメージがコードである場合には、認証サービスのためにピクセルの位置を変えることによって保護できる。かかる場合、プログラムの内部に暗号化、復号化アルゴリズムを内蔵し、情報配置方式の定義情報を混合コードから読んだ後で処理することが望ましく、特別にキー値を利用したアルゴリズムと方法とを追加して暗号化をさらに高度化できる。
【0071】
情報配置方式情報は、混合コード構成情報に含まれた付加情報イメージの位置情報及び方向情報と類似して表れるが、付加情報イメージ全体ではないピクセルやさらに小さい単位でなるという点で差がある。
【0072】
3.2.4 コード今後制御の定義
基本コードイメージがあるとき、今後これに付加情報イメージがオーバーラップされるか、または追加されうる。例えば、カラーコードイメージが単独で使われるとき、ここにバーコードが追加印刷されてオーバーラップすることである。これは、追加の色々なサービスを提供できる。この情報は、付加情報イメージに設定される。
【0073】
(1)追加:基本コードで提供する情報に追加して情報を提供する。例えば、文書管理用の基本コードが印刷された文書を活用している途中で、基本コードイメージ上に追加して付加情報イメージを印刷することによって、他の情報を付加する。他の例として、原本文書にビデオプレゼンテーションファイルのアドレス情報を追加して提供する。このとき、付加情報イメージに、付加情報領域以外に制御情報領域が追加される。
【0074】
(2)削除:追加印刷することによって、基本コードイメージに連結された情報を使用できないように削除するか、または活用を防止する。例)期限指定
(3)修正:原本コード情報で修正する内容を指定することによって変化させる。例)名刺の電話番号項目の内容を修正
3.3 サービス制御領域
付加的に混合コードが使われるサービスを指定する。これは、サービス方式及び制御によって運用されるアプリケーションプログラムを作動させるか、または基本情報と付加情報との関係により多様なサービスを提供するのに目的がある。
【0075】
例えば、基本コードがあるユーザーのIDであり、付加情報がユーザーの写真イメージとするとき、サービス制御領域の情報を異ならせることによって一般の名刺情報サービス、旅券認証サービス、単純な写真情報サービス、個人ウェブサイトサービスなど多様に使用できる。
【0076】
かかる情報は、混合コード解釈情報領域と非常に密接な関係があるが、解釈情報は、混合コードの情報を構成して解釈する演算の方に比重があり、サービス制御領域は、アプリケーション運用にさらに比重がある。すなわち、特定のアプリケーション駆動、ユーザーインターフェース指定及びデータベースサーバアドレス指定のための情報として使われる。
【0077】
4. エラー制御領域
エラー制御領域は、混合コードをデコーディングするときにエラーが発生したかを判別し、それを復元できるように設定された情報の領域である。基本コードイメージと付加情報イメージ両方に設定されることが各イメージ上のエラーの検索に有利であり、混合コード全体について検証可能にすることが望ましい。しかし、付加情報イメージの場合には、必ずしも必要なものではない。特に、付加情報イメージがシンボルやマーク、写真イメージであれば必要でないことがある。
【0078】
エラーの判別は、多様な通常の方法が使われ、容易には、パリティ技法やチェックビット方式を使用でき、エラー復元技法としては、リードソロモンコードなど代表的なエラー訂正技法を適用できる。
【0079】
5. コード方向情報領域(イメージ方向探知及び整列領域)
コード方向情報領域(イメージ方向探知及び整列領域)は、基本コードイメージまたは付加情報イメージに含まれるか、または両方に含まれる。コード方向情報領域は、基本コードイメージや付加情報イメージのデコーディング順序を定める基本情報となり、イメージの基準点を提供するので設定することが望ましい。
【0080】
コード方向情報領域の構成は、別途のパターン、記号、シンボルまたはパリティ演算方式などを使用して容易に探すことができる通常の技術が適用される。
【0081】
例えば、バーコード、PDF−417の開始、終了、中間表示子を使用するか、またはQRコード(登録商標)、データマトリックスコードの位置検出パターン、色相セルの順序配置方法、マーク/文字の正方向判別方法(パターン整合方法)及び多重パリティセルの交差セル判別方法(行及び列に適用したパリティ方式と異なるパリティ方式を適用した特定の行と列との交差位置判別方法など)などを使用できる。
【0082】
通常的に、コード方向情報領域は、基本コードイメージに配置して容易に検出可能にすることが有利であり、付加情報イメージには、方向探知領域がないこともあるが、付加情報イメージにも適用することによって多様に使用できる。
【0083】
すなわち、基本コードイメージと付加情報イメージとの方向をそれぞれ異なって配置することによって、これによる情報量を増加させるか、または他の用途で使用できる。例えば、二つのイメージいずれも正方向である場合に比べて、一つのイメージの配置方向を異ならせる場合がさらに多いであろう。もちろん、前記の混合コード構成情報から分かるように、基本コードイメージと付加情報イメージのうち一つのイメージに方向探知領域を含まずにも、各要素イメージの方向性を他のイメージで指定できる。しかし、イメージの安定的な認識のために別途にそれぞれ含むことが望ましい。
【0084】
前述した混合コードそれぞれの領域を整理すれば、図10の通りである。
【0085】
<混合コードの生成方法>
混合コードを生成する方法を説明すれば、次の通りである。
【0086】
1. 混合コード情報の設定
混合コードで表現する情報を設定する。この情報は、文字、数字、記号、イメージ(パターン、ロゴ、写真など)で表現され、コンテンツそれ自体を表現することもあり、所定の変換方法によりコンテンツと関連された情報で表現することもある。すなわち、“www.colorzip.com”という情報は、イメージやテキストそれ自体に混合コードにエンコーディングされるか、またはそれを指定する“1111”という情報で表現されることもある。
【0087】
2. 混合コード制御方式の設定
混合コードに含まれる情報は、基本情報と付加情報とで表現されるので、この二つの情報間の連関性により基本情報と付加情報との量及び種類が異なる。また、基本情報及び付加情報を表現し、構造上認識が容易な方法で構成するために、制御情報が設定される必要性がある。
【0088】
一例として、基本情報と付加情報との量によって、基本コードイメージ及び付加情報イメージにエンコーディングされるコードの種類、付加情報イメージの要素イメージ個数、付加情報イメージの配置方法などが変わる。
【0089】
混合コード制御情報は、解釈情報と構成情報とに分けられ、まず混合コード解釈情報を設定した後で構成情報を設定することが望ましい。これは、解釈情報の定義によって、混合コードの情報量及び構成が変わるためである。したがって、混合コードの制御情報(解釈情報及び構成情報)を設定すれば、基本情報及び付加情報の内容及び構成が定義される。
【0090】
一般的に、制御情報が混合コードの制御情報領域にエンコーディングされるときには、所定の情報形式、例えば数字と文字の形式でエンコーディングされることが望ましい。これにより、混合コードが解釈される前に混合コードの制御情報領域をデコーディングした後、制御情報に基づいて混合コードの基本コードイメージ及び付加情報イメージのデコーディングを容易に行える。
【0091】
2.1. 混合コード解釈情報の設定
混合コードの解釈のための情報を設定するステップとして、基本情報と付加情報との関係や演算方式による組み合わせ、情報形式、基本情報や付加情報の情報配置方式を定義する。かかる解釈情報は、混合コードの制御情報領域(解釈情報領域)に配置されることが望ましいが、解釈情報が混合コードの領域でないプログラム内的に設定される場合には、その関係によって混合コード内に設定が必要でないこともある。例えば、カラーコードが基本コードイメージにエンコーディングされ、21×21セル大きさのQRコード(登録商標)が付加情報イメージにエンコーディングされた混合コードの場合には、関係性が同等であり、情報形式は数字及び文字であり、暗号化方法はいずれか一つであるという式でプログラム上に内的に決まることもあるので、この場合には、制御情報領域(解釈情報領域)が別途に設定されない。
【0092】
2.1.1. 関係性の設定
混合コードの情報として、基本情報及び付加情報を配置するためには、二つの情報間の関係を設定せねばならない。例えば、同等関係であれば、二つの情報いずれも同じ情報をエンコーディングすることが望ましく、合成の場合であれば、混合コード情報を分割してエンコーディングすることが望ましい。
【0093】
集合関係の場合であれば、二つの情報のうち一つは混合コード情報をエンコーディングし、他の一つは混合コード情報のうち一部分の情報をエンコーディングする。基本情報及び付加情報は、必要に応じて演算関係を有するが、一つの情報を利用して他の情報を演算することによって混合コード情報を導出できる。
【0094】
また、一つの情報が他の情報のキー値やインデックスとして活用されることもあるが、かかる場合、一つの情報がフィールド化されていれば、該当フィールドのキー値で他の情報に対応するフィールドのデータを導出できる。他の例として、二つの情報のうち一つはキー値であり、他の一つは特定の関数、特に逆関数を求めることができるハッシュ関数を意味する情報でありうるが、その関数にキー値を代入して新たな情報を創出して混合コード値を得ることもできる。したがって、このときには、混合コード値として逆関数を取ってキー値を得た後、関数とキー値とを求めて基本情報及び付加情報として設定する。図11は、基本情報と付加情報との相関関係を所定の記号で定義した図面である。
【0095】
2.1.2. 情報形式の定義
設定された関係性及び混合コードの情報により、基本情報と付加情報との情報形式を定義できる。コード情報は、それを所定の文字形式、数字形式、記号形式、イメージ形式であることを知らせる。
【0096】
例えば、同じ情報であっても、“color”と解読するか、または16進数である“636F6C6F72”、二進数である“010111100111110”と解読できる。または、カラーペイントアイコンを意味する所定の記号、シンボル、またはそれを表現するパターン構成情報などと定義することもできる。特にイメージの場合には、それを表現するRGB値の連続で表現することもできる。
【0097】
情報形式は、基本情報と付加情報がそれぞれ異なる場合が多いので、基本情報と付加情報との形式をいずれも定義することが望ましい。
【0098】
表6は、混合コードに表現される情報の形式を定義した表である。
【0099】
【表6】

【0100】
type(基本情報形式(1)+付加情報形式(2))=T12
例えば、基本情報が数字形式であり、付加情報が英語及び数字であれば、混合コード情報形式は、T12(Type 1&2)という形式でエンコーディングされることが望ましい。このとき、英語モードでは、英語と数字をいずれも支援可能に設定された場合である。
【0101】
2.1.3. 情報配置方式の定義
基本情報や付加情報のエンコーディングにおいて、必要に応じてその順序や配置方法を変化させることができる。前記のコード構造で説明したように、写真イメージのようにコード情報が直ちに見えることが望ましくない場合、さらに詳細な高度の暗号化を所望する場合などには、所定の変換法により情報の順序を変えるか、または暗号化できる。この場合にも、再び復元できる所定のアルゴリズムがなければならない。かかる方法について認知可能に、該当する情報値(キー値)を設定することが効率的である。
【0102】
2.1.4. サービス情報の定義
基本情報や付加情報を利用して、使用するアプリケーションについての情報を設定することが望ましい。これは、同じ混合コード情報として多様なアプリケーションに適用できるためである。しかし、使用先が明白であるか、またはプログラム上で既定されていれば、これは、敢えて設定しなくてもよい。
【0103】
2.2. 混合コード構成方式の設定
混合コード制御情報の設定により、基本情報及び付加情報の形式とデータ量とが定義される。したがって、基本情報及び付加情報が制御情報を考慮していずれも表現できる基本コードイメージの種類、付加情報イメージの種類、及びその構成方法について決定せねばならない。このときの考慮事項は、データ容量、印刷される媒体の特性、認識方法及びサービス方式などである。
【0104】
すなわち、混合コードの情報量が多く、情報自体を表現しようとすれば、QRコード(登録商標)、PDF417、Data Matrix、Ultra Codeなどが混合コードを構成するイメージの一部として考慮されねばならない。しかし、情報自体を直接表現せず、ネットワーク環境を通じてデジタルコンテンツを持ち込もうとすれば、カラーコード、サイバーコードや1次元バーコードを混合して使用することもできる。
【0105】
他の場合として、混合コードが何を含んでいるかをユーザーが容易に知るようにすれば、混合コードの付加情報イメージとして文字、商標、記号、マークやパターンを利用することが望ましい。
【0106】
媒体の性質としては、カラー印刷媒体である場合には、カラーコードやカラーイメージを使用でき、白黒である場合には、グレーコードや白黒イメージを使用せねばならない。
【0107】
認識技法も考慮されねばならないが、これは、スキャナーのような高解像度装置及び携帯電話のカメラのような低解像度装置を使用する場合が異なるためである。携帯電話のカメラを使用すれば、カラーコード、セル数の少ない2次元コードやバーコード、単純なパターンや少量の文字、数字、商標イメージを利用できる。高解像度の認識装置を使用する場合には、さらに多くの種類のイメージを利用でき、多くの情報をデコーディングして得ることができる。
【0108】
混合コードの構成方式は、ユーザーインターフェースにより必要なデータ量、認識方法、媒体特性、サービス種類などを考慮してプログラムが可能な組み合わせや要素情報を提示すれば、ユーザーが選択を通じて設定することが望ましいが、最小限の特性のみがユーザーにより決まれば、プログラムにより自動に設定されうる。すなわち、例えば基本コードの種類及び付加イメージの種類のみが設定されれば、構成されるセル、モードの個数や大きさは、プログラムが最も適切に設定することである。
【0109】
混合コード構成情報領域は、基本コードについての構成情報は言うまでもなく、前述したように、付加情報要素イメージの個数情報、細部分割の個数情報、付加情報要素イメージの位置情報、付加情報要素イメージの種類情報、暗号化方法情報、付加情報要素イメージの整列方向情報などを含むことができる。
【0110】
そのうち暗号化方法は、特に付加情報要素イメージを暗号化する方法であって、ウォータマーク技法やその他のエンコーディング技法を適用可能にする。さらに容易にイメージを探してデコーディングできるコードを基本コードとして設定することがさらに効率的であり、これにより制御情報を設定することが、付加情報イメージをデコーディングして多様な活用を可能にするので有利である。
【0111】
3. 基本情報の設定及び付加情報の設定
混合コード情報は、混合コード制御情報により基本情報の形式、付加情報の形式及びその関係性が設定される。かかる形式情報及び制御情報により、実際にエンコーディングされる基本情報と付加情報とが設定される。基本情報及び付加情報の形式は、文字、数字、記号、シンボル、パターンとなり、基本情報及び付加情報は、所定の変換テーブルにより、それに対応する色相、輝度、濃淡、パターン、シンボル、文字、記号、ロゴの形態に変換され、それを通じて混合コードイメージ上のデータ領域(基本情報領域、付加情報領域)にエンコーディングされる。
【0112】
4. エラー制御領域の設定
基本情報、付加情報についてのエラー制御情報を設定する。エラー制御情報としてチェックビット、パリティ情報、エラー復元情報が設定されうるが、必要に応じて一つのみ使用するか、または二つ以上使用できる。
【0113】
また、基本情報と付加情報それぞれについて演算してエラー制御情報を設定することが、それぞれのエラーをチェックできるのでさらに演算時間が短縮されるために望ましいが、必要に応じては混合コードの全体について設定することもできる。特別にエラー復元情報及びパリティ情報(あるいは、チェックビット)が含まれる場合には、エラー復元情報を先に設定した後でパリティ情報を設定することが望ましい。これは、パリティ演算によりエラーが発生した所を先に探すことができ、カラーコードのようにパリティ演算の一部がコードの位置及び方向を探知する領域として使われる場合にも活用が容易であるためである。
【0114】
チェックビットは、バーコードなどで使われるエラー探知方式であり、パリティ演算方式は、既に広く知られた技術である。リードソロモンコードは、代表的なエラー訂正技法である。QRコード(登録商標)、PDF−417コードなど既定のエラー制御領域を有した場合にはそれを活用でき、二つの情報のうち一つがイメージやロゴなどにエンコーディングされる場合には敢えて設定しなくてもよい。しかし、基本コードには、必ず設定されることが望ましい。また、エラー補正率レベルのような情報は、エラー制御情報領域内に特定の位置やセルの順序により共に設定されうる。
【0115】
5. コード方向情報の設定
混合コードの情報がいずれも設定されれば、混合コードイメージに含まれるコード方向情報領域(方向探知及び整列領域)が設定されねばならない。この情報は、バーコードやQRコード(登録商標)のように特定のパターンや図形で表示されることもあり、カラーコードのようにパリティ情報の一部を利用して特定セルの演算方式が他のものと異なることを利用して設定することもある。
【0116】
方向探知及び整列情報は、基本コードイメージと付加情報イメージ両方にそれぞれ設定されることもあり、最小限混合コードイメージには設定されねばならない。
【0117】
6. 基本コードイメージの設定及び付加情報イメージの設定
既定の基本情報、付加情報、混合コード制御情報、エラー制御情報、コード方向情報を基本コードイメージと付加情報イメージとに分割して、イメージを仮想的に設定するステップである。コード変換表により、それぞれの情報は、色相、輝度、濃淡、パターン、記号、シンボル、商標、文字などに変換され、それぞれのイメージの構成要素として配置される。このステップでは、既定の制御情報のうち構成情報を参照して、それぞれの配置や大きさ、暗号化情報を利用して設定できる。
【0118】
7. 基本コードイメージと付加情報イメージとの色相差、輝度差の演算及び補正
設定された二つのイメージを互いに融合可能にするために、二つのイメージ間の色相差、輝度差を所定のアルゴリズム及び装置により設定するステップである。例えば、二つのイメージを容易に分離しようとすれば、二つのイメージの色相差をさらに深化させ、付加コードイメージを隠せようとすれば、明度や色相差を減少できる。このステップでも、既定の制御情報を活用して、サービスの用途、暗号化方法などを考慮してイメージの色相、輝度差を増加させるか、または減少させる。
【0119】
図12は、カラーコードイメージとQRコード(登録商標)イメージとで構成された混合コードの一例を示す図面である。カラーコードには、色相及び輝度が含まれており、QRコード(登録商標)である場合は、白黒のみで構成されている。かかる場合、カラーコードに基づいてQRコード(登録商標)を彩色するが、QRの白色部分は明るく、黒色部分は暗く設定できる。他の場合は、QRの白色部分はそのまま白色に変え、黒色部分のみを彩色することもできる。もちろん、前記二つの反対技法も可能である。
【0120】
ロゴや商標のようなパターンを使用する場合にも、共に使われるイメージを考慮してそれに表示可能な色相である輝度を使用せねばならない。例えば、黒色上に同じ輝度の黒色を使用するか、またはQRコード(登録商標)上に白色パターンを使用することは、イメージが損失されるので望ましくない。
【0121】
8. 基本コードイメージと付加情報イメージとの合成
色相差、輝度差が演算された二つのイメージが合成される。このときにも、制御情報のうち構造情報を使用して正確にマッピングさせる。次いで、それをデジタル化されたファイル、ディスプレイの形態に使用するか、または物理的な媒体にプリントして使用できる。
【0122】
図13は、カラーコードイメージとQRコード(登録商標)イメージとを合成して、混合コードを生成する過程の一例を示す図面である。まず、混合コード情報を基本情報及び付加情報にそれぞれ分けた後、基本情報及び付加情報を基本コードイメージ及び付加情報イメージで具現するための制御情報などを設定する。そして、基本情報及び制御情報などを基本コードイメージにカラーコードでエンコーディングし、付加情報及び制御情報などを付加情報イメージにQRコード(登録商標)でエンコーディングする。そして、基本コードイメージ及び付加情報イメージの色相差及び輝度差を設定して合成することによって、混合コードを生成する。
【0123】
<混合コードのデコーディング方法>
図14Aは、本発明による混合コードのデコーディング方法の一実施形態のフローチャートである。
【0124】
図14Aに示すように、第1コードイメージ及び第2コードイメージが重なって表現された混合コードイメージを含む原本イメージを入力される(S1400)。原本イメージは、スキャナー、カメラまたはオンライン上のデジタルデータの形態に入力される。
【0125】
原本イメージのノイズを除去して、原本イメージ内に含まれた混合コードイメージを獲得する(S1405)。ノイズを除去して混合コードイメージを獲得する過程を具体的に説明すれば、まず原本イメージを入力される物理的な環境要因による色相及び濃淡の歪曲を補正し、色相歪曲が補正された原本イメージの色相または濃淡を所定の基準値によって二つの色相で構成して、二進化イメージを生成する。
【0126】
そして、二進化イメージのエッジと連結されている領域をノイズと把握して除去した後、所定大きさのブロックに分割し、分割されたブロックのうちイメージのピクセル数が最も多いブロックを検索する。検索されたブロックの中心点から外側または外側から前記ブロックの中心点に検索して、イメージが位置する上下左右の最大及び最小位置値を把握して、把握された最大及び最小位置値を四つの頂点とする限界四角形を導出し、限界四角形内で混合コードイメージ領域を導出し、混合コードイメージ領域を原本イメージに対応して混合コードイメージを導出する。
【0127】
混合コードイメージが導出された後(S1405)、混合コードイメージの各ピクセルの色相、濃淡及び輝度を分析し、分析された各ピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて集団化した後、集団化された色相、濃淡及び輝度に基づいて混合コードイメージを前記第1コードイメージ及び第2コードイメージに分離する(S1410)。
【0128】
そして、第1コードイメージ及び前記第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出する(S1415)。
【0129】
図14Bは、図14Aの混合コードのデコーディング方法の詳細なフローチャートである。図14Bの各ステップを詳細に後述する。
【0130】
1. イメージの入力及び色相情報の分析/歪曲補正(S1450,S1452)
混合コードが含まれたイメージを、スキャナー、カメラを通じて入力されるか、またはデジタル状態に読み込んだ後(S1450)、それを分析して照明による色相歪曲要因を除去する(S1452)。スキャナーやカメラなどを通じて入力されたイメージは、コンピュータで生成したイメージとは異なり、周辺環境や装備の特性により色相の歪曲が発生する。色相歪曲の原因としては、照明の輝度や照明の色相(ハロゲン灯、ナトリウム灯、白熱灯など)、イメージ入力装置の色温度、ホワイトバランシング、印刷装置の解像度及びイメージモデル(RGB,YUV)などがある。
【0131】
混合コードが印刷された物理的な媒体も、色相歪曲に大きい影響を及ぼす。混合コードが印刷された紙や媒体の背景色(例えば、ピンク新聞紙)、混合コードが印刷された媒体の解像度(新聞:75lpi、一般:300dpi)、コーティングによる色相及び反射などが色相歪曲に影響を及ぼす。
【0132】
色相の歪曲は、時には色相を認識し難くする要因となり、激しい場合には、本来の色相でない他の系列の色相と認識させる。例えば、ハロゲンの赤い系列の照明でRGBチャンネルのうちR値が強調されて、緑色が赤色のように認識されうる。
【0133】
これを補正するためには、原本イメージの全体の色相分布を調べて色相が過度に偏向化される場合に、それほどを各ピクセルのRGB値に演算して修正することが望ましい。そのうち代表的な方法がGWA(Gray World Assumption)技法である。GWAは、一般的な環境で撮影したイメージで全体のピクセルのRGB値をそれぞれ求め、それぞれ平均を求めれば、三つの値が互いに類似している、すなわち、灰色調となるという仮定を有して接近する技法である。この技法は、通常的に一般的な環境及びさらに多様な事物がある大きいイメージで多く使用されるが、一般的な色相及び輝度を利用したコード認識アプリケーションにも有効である。これは、混合コードが一般的な事物、剰余余白などと共に配置されるためである。
【0134】
したがって、これによって原本イメージで全体のピクセルのRGB値をそれぞれ求め、それぞれ平均を求めた後で三つの値の類似度を測定して、もし、特定チャンネルが臨界率より高いか、または低ければ、それほどを補正することが望ましい。
【0135】
M(i)=M(i)−(E(i)−WE(G))where i|E(i)>WE(G),i∈R,G,B
M(i):全体イメージのiチャンネル
E(i):全体イメージのiチャンネル平均値
E(G):全体イメージの輝度平均値=M(R)+M(G)+M(B)/3
W:weight
前記式では、値の補正のために引き算を行ったが、必要に応じて加算、指数、ログ演算など他の演算を多様に使用できる。その他、必要時にガモットマッピング、相関法などの方法を使用でき、特に予めカメラの特性情報を知っている場合に有利である。
【0136】
2. 二進化(S1454)
二進化ステップ(S1454)は、スキャナー、カメラを通じて入力されるか、またはデジタル状態に読み込んだイメージを白黒変換するステップである。通常的にイメージ処理分野では、しきい値という特定値を利用して、カラーイメージを白黒に変換する。これは、カラー自体のイメージを使用することに対して、さらに演算量が減少し、処理が容易になるためである。このとき、原本イメージは別途に保管する。ここでは、白黒変換を利用した二進化に基づいて説明するが、白黒以外に区分される二つの色で二進化を行う場合も可能である。
【0137】
必要に応じてはしきい値を複数個指定し、白黒変換の結果が不良なときに変換して適用することによって、その結果を向上させる。あるいは、イメージ全体の輝度を演算して、その中央値や平均値、あるいはイメージの輝度分布値を分析して類似した輝度のピクセルを集団化した後、その集団の間の値を計算してしきい値を設定することもできる。
【0138】
白黒変換の成功如何は、後述する混合コードの限界四角形の導出、コード領域導出ステップで判断される。
【0139】
P(x,y)=1,where P(x,y)<T
0,Otherwise
P(x,y):(x,y)ピクセル座標の輝度値
T:Threshold value
3. ノイズの除去(S1456)
ノイズの除去ステップ(S1456)は、二進化されたイメージからノイズを除去するステップである。一般的に、長さ基盤の濾過という方法やマスキング技法、及び入力されたイメージのエッジの接続性関係により除去できる。
【0140】
一般的に、二進化されたイメージでは、必要でない事物や入力されたイメージの質によりノイズが共に表現されるが、それを除去するためのステップである。長さ基盤の濾過は、特定の輝度のピクセルが所定の基準より短ければ除去する方法であって、左右上下で演算することによって除去できる。
【0141】
マスキング技法は、特定の大きさのブロックイメージをイメージの各ピクセルごとにマスキングすることによって、特定の大きさ以下のノイズを除去する方法である。接続性によるノイズ処理は、一般的にコードイメージが静粛領域(quite zone:コードの周囲にある剰余余白)を有するという点を利用したことである。
【0142】
コードイメージと周辺事物とを分離する白色の剰余余白は、背景色や周辺事物(文字、色相)からコードイメージが侵犯されないようにするために、ほぼのコードが有している基本要素である。かかる場合、入力されたイメージのエッジと連結されているノイズを除去してもコードイメージと連結性がないため、ノイズのみが除去される効果がある。
【0143】
もちろん、イメージのエッジと連結されていない独立的なノイズは、領域大きさ基盤の濾過や長さ基盤の濾過により除去することが望ましい。領域大きさ基盤の濾過や長さ基盤の濾過時、その大きさや長さは、混合コードを構成する要素イメージの最小単位よりは小さいことが望ましい。そうではなければ、混合コードイメージも損傷されるためである。
【0144】
noise(Oxy)=0,where Size(Oxy)<D(白色)
1,Otherwise(黒色)
noise( ):ノイズ除去関数
xy:(x,y)座標が含まれた事物イメージ( )
Size(Oxy):(x,y)座標が含まれた事物イメージの大きさ
D:臨界の大きさや長さ
4. コードイメージ候補領域の導出(S1458)
ブロック化は、全体のイメージ領域のうち混合コードが位置した領域を探すための最初のステップであって、イメージ全体を一定な大きさに分割した後、二進化イメージのうち黒色イメージの大きさを計算して最も大きいイメージがあるブロックを探すステップである。
【0145】
一般的に、デコーディングできるコードイメージの最小大きさ(相対的あるいは絶対的)が決まっているので、このブロックの大きさをそれより小さく設定してブロック当たり黒色ピクセルの個数を演算し、最も多いブロックを探す。これにより、このブロックの中心点は、コードイメージの内部に位置する可能性が高くなるので、それを利用すれば容易にコードイメージの位置を探すことができる。
【0146】
もちろん、ブロックごとに黒色ピクセルの個数が類似しうるが、かかる場合には、先にブロックに位置したイメージの連結性を調べて同じイメージであるか否かを判別することが望ましい。同じイメージでなければ、複数個のコードイメージが存在する場合でありうるので、これによってそれぞれコードイメージ領域に設定した後で別途に処理できる。または、コードイメージがイメージの中心側に位置する場合が多いので、必要であれば中心ブロックに加重値を付与して、多少イメージが小さくてもこれを重要に先に処理することもできる。
【0147】
i=max(i| sum(P(x,y))),i=0,1,…,B−1
(x,y):iブロックのポイント値(0または1)
B:ブロックの最大数
5. 限界四角形の導出(S1460,S1462,S1464,S1486,S1488)
限界四角形は、混合コードイメージを取り囲んでいる任意の四角形であって、ブロック化を通じて探した混合コードの位置及び混合コードを構成するイメージの最大及び最小位置値に基づいて、限界四角形の四つの頂点の位置を決めて限界四角形を導出する(S1460)。すなわち、ブロックから導出された混合コードイメージ内の一点を中心として、それを含んでいるイメージの最大及び最小位置値を利用して限界四角形を導出する。限界四角形から混合コード領域を導出する(S1464)。
【0148】
混合コードイメージの内部がいずれも彩色されている場合であれば、ブロック化を通じて探した混合コードの中心点の内部で連結性を検討して、イメージ領域の最大及び最小値を探すこともあり、外部から上下左右の方向に中心点まで検査してイメージを取り囲んだ仮想の四角形を探すこともある。
【0149】
混合コードイメージがパターン形態であるか、または開放された場合には、構成要素間の距離が臨界距離以内であれば、一つのイメージに含まれると処理して限界四角形を求めることができる。
【0150】
図15は、混合コードイメージの二進化及び限界四角形の探索の一例を示す図面である。図15Aは、イメージの内部がいずれも彩色された場合であり、図15B及び図15Cは、混合コードイメージの内部がいずれも彩色されていない場合であって、構成要素イメージの距離が臨界距離より狭い場合は、一つで連結されたと処理した結果である。もちろん、これは、概念を理解しやすくするためのものであって、実際には演算して判断するだけであり、イメージ自体を変換しなくてもよい。
【0151】
限界四角形の導出ステップでは、限界四角形の形状に基づいて混合コードイメージを検出できるかを評価できる(S1462)。例えば、限界四角形の形状が過度に歪曲された場合(台形や歪んだ四角形)には、二進化やノイズの除去ステップで誤って行われたと判断できる。したがって、かかる場合には、二進化ステップに戻ってしきい値を再調整して、再び最初から行うことが望ましい(S1488)。または、ブロック化ステップで、他の候補ブロックがあれば、それを中心に限界四角形を再検索することもできる。
【0152】
6. 混合コード領域の導出(S1464,S1466,S1486)
混合コード領域の導出ステップ(S1464)は、限界四角形からコードイメージの領域を探すステップである。限界四角形は、コードイメージが含まれるが、場合によって周辺のノイズが共に含まれうる。したがって、これから混合コード領域を正確に導出せねばならない。コード領域を探す方法は、伝統的にコードイメージを構成する外郭の境界線を探すか、またはコード感知パターンを探す方法が有効である。
【0153】
もし、混合コードにカラーコードのようにコードの外部が塞がっている形態であれば、混合コードイメージの外郭の特徴点や境界線を抽出することによって混合コード領域を探すことができる。
【0154】
例えば、限界四角形とその内にあるイメージの接触点とを利用して頂点を探すことができる。また、この接触点から外郭線に沿いつつイメージの連続性を検査することによって、混合コードイメージとノイズとを互いに分離し、そのうち最も大きいイメージをコードイメージと設定できる。コードイメージの外郭線を検出する方法は、代表的にエッジ検出方法(ラプラシアン、ソベルなど)やタートルアルゴリズムなどがある。
【0155】
しかし、2次元コードやバーコードのようにパターン形態に構成されていれば、コード全体の境界線を導出し難いので、コード感知パターンあるいは開始及び終了パターンを探し、このコード感知パターンをいずれも検出することによって混合コード領域を導出できる。かかるパターンを探すのは、限界四角形以内に制限されるので容易に探すことができる。
【0156】
限界四角形と同様に、混合コード領域の形状に正しく抽出されたか否かを判断できる(S1466)。もし、過度に歪曲された形状に抽出されれば、二進化ステップに戻ってしきい値を再設定して再実行できる(S1488)。あるいは、ブロック化ステップで、他の候補ブロックがあれば、それを中心に限界四角形を再検索することもできる(S1486)。
【0157】
7. イメージ特性の分析(S1468)
混合コード領域を導出すれば、その結果として、混合コードの特徴点の位置やパターンの開始及び終了領域の位置情報、外郭線などの情報を得ることができる。四角形の場合には、四つの頂点であり、パターンの場合には、各位置検出パターンの特徴点であり、円形や楕円形の場合には、外郭線の内部の領域となる。それに基づいて、コード領域内に位置したイメージ情報についての特性を分析する。
【0158】
分析内容は、色相の分布、輝度情報の分布を主対象とし、二進化を通じて得られた混合コード領域に対応する本来のカラーイメージの情報を利用する。これは、基本コードイメージと付加情報イメージとを分離するためのものであって、二つのイメージは、主に輝度や色相の差に基づいて合成されているためである。
【0159】
混合コード領域を構成する二つのイメージは、色相を使用する場合とそうでない場合とに分けられる。色相を使用する場合は、二つのイメージのうち一つが色相情報により表現され、他の一つは別途の色相、濃淡や輝度を使用する。しかし、色相を使用しない場合は、二つのイメージ間の輝度差により表現される。
【0160】
一般的に、混合コード領域内のイメージピクセルの情報を収集して、まず色相情報を分析する。色相情報の分析結果、混合コードが色相情報を使用するか否かを判断し、色相情報を使用する場合には、RGBチャンネルを利用して色相分布を計算する。
【0161】
色相情報の使用如何の判断は、各ピクセル別に輝度値を求めた後、そのピクセルを構成するRGBチャンネルそれぞれと比較して、特定チャンネルが臨界値以上や以下であれば、色相を使用すると判断できる。または、RGBチャンネルの相関関係を計算して、RGBチャンネル値が、互いの差が臨界値あるいは臨界率を超過すれば、色相情報を使用すると見ることができる。すなわち、輝度のみを使用すれば、それは無彩色を使用することであるので、ピクセルを構成するRGBチャンネルそれぞれの値が類似しているためである。色相情報を使用すると判断された場合には、色相分布を分析して色相の種類、分布領域や特性などを計算できる。
【0162】
輝度を使用する場合にも、コード領域内のピクセルの輝度分布を計算することによって、輝度情報の種類や個数、分布特徴などを計算できる。例えば、コード領域に全体的に白色が多く分布されていれば、1次元バーコードや2次元白黒コードのようにパターン、商標やロゴなどを主に多く使用した混合コードであり、白色分布が少ないか、またはなければ、これは、主にカラーコードやグレーコードのようにパターンでない領域型(コード領域が色相や濃淡で処理されたコード)イメージを主に使用したということが分かる。かかる場合には、かかるイメージ特性情報を導出することによって、今後デコーディングのための基本情報として活用する。
【0163】
8. 臨界値の設定及び集団化ステップ(S1470)
臨界値の設定ステップは、イメージの特性分析により導出された混合コード領域についての情報を使用して、混合コードの基本コードイメージと付加情報イメージとを分離するために基準となる基準値を設定するステップである。
【0164】
色相が使われる場合は、色相の分布図と色相チャンネルとの相関関係を調べて、色相判断の基準値と設定できる。例えば、RGBのチャンネルのうち特定のチャンネル値、あるいはその組み合わせが臨界率以上であれば、該当ピクセルは、所定の色相と判断できる。したがって、かかる関係を調べれば、各基準色と判断されるRGBチャンネルの絶対値や相対比率、あるいはその組み合わせで基準値を設定できる。
【0165】
かかる例としては、カラーモデルがRGBモデルである場合、R、G、B値を利用して各色相を判別できるRGB値の集合に設定することもあり、HSV/HSLの場合には、色相、彩度、輝度を表現する相対値、角度値などで表現されうる。例えば、HSVモデルを適用する場合、あるピクセルの色相値が60〜180°に位置すれば緑色、180〜300°であれば青色、その他の角度であれば赤色と判断できるが、このときの基準である60,180,300°が臨界値となることである。
【0166】
P(i)=G where Tg1<=HSV(p(i))<Tg2
=B where Tb1<=HSV(p(i))<Tb2
=R where otherwise
Tk:k color thresholding value
輝度情報についても臨界値を推定して決定せねばならないが、主に白色、黒色、灰色調に分ける基準となる。もちろん、灰色調にも色々なステップがあるので、このために多段階の臨界値を決定できる。
【0167】
通常的には、コード領域の輝度値をヒストグラム技法を通じて分析し、輝度の度数が集中された部分と稀薄な部分とを利用して臨界値を決定することが一般的である。すなわち、特定の輝度について集中された部分を集団化し、その集団の間を区分できる輝度値を臨界値として設定することである。
【0168】
混合コードを構成する基本コードイメージ及び付加情報イメージは、色相及び輝度によって色相と色相、色相と輝度、輝度と輝度との組み合わせに区分されうる。もし、色相が使われる場合であれば、まず色相臨界値により混合コード領域の各ピクセルを所定の基準色相と判別し、連結性や臨界距離により集団化することが望ましい。これにより、集団化された色相により仮想的なセルが生成される。
【0169】
すなわち、濃淡や輝度に差があっても同じ色相と判別されたピクセルが隣接すれば、同じ集団と判断することである。もし、パターンに彩色された方式のコードであるのでピクセルの間に多少距離があれば、そのピクセル間の距離を演算して臨界値以内であるとき、その間を同じ色相で仮想的に充填した後で集団化してセルを形成することである。
【0170】
輝度の臨界値によっても同様な方式で混合コード領域をセル化させるが、輝度の場合には、さらに複雑な考慮事項がある。そのうち一つは、色相と共に使用する場合に、輝度は色相の濃淡で表現されうるという点である。例えば、カラーコードにQRコード(登録商標)のようなパターン型のコードが表現される場合には、QRコード(登録商標)の各ピクセルが現在位置するカラーセルの色相を考慮してさらに暗いか、または明るい同じ系列の色相で表現されうる。
【0171】
これにより、QRコード(登録商標)のあらゆる構成セルが同じ輝度値を有さなくても表現されうる。したがって、色相臨界値により区分されたセル内部の領域で色相の輝度/濃淡差による臨界値が導出されねばならない。そして、これにより、色相別による輝度と濃淡との集団化がなされる必要性がある。例えば、各色相のセル領域でさらに暗い部分のみを抽出してパターン化させることができる。
【0172】
もちろん、カラーやグレーで表現されたコードイメージ上に同じ輝度の図形、イメージ、シンボル、文字などで表現されうるが、この場合には、輝度についての臨界値のみを抽出すればそれらを分離できる。
【0173】
9. 基本コードイメージと付加情報イメージとの分離(S1472)
色相及び輝度の臨界値により混合コードイメージが集団化されれば、それに基づいてイメージを分離した後、イメージ構成要素別の集団化を行う。色相が使われた場合には、それに基づいて先に処理し、後で輝度差によるイメージ分離作業を行うことが望ましい。
【0174】
色相が使われた場合には、色相臨界値により同じ色相と判別される分割されたセルやパターンを抽出でき、色相によりそれを集合化できる。そして、輝度を利用した場合には、絶対値や相対差値によりパターンやセルが同様に抽出された後で集合化できる。
【0175】
かかる集合化は、予めプログラム上でその基準と方法とを決めることが望ましい。例えば、色相及び輝度情報が使われた混合コードイメージは、色相情報で構成されたイメージ及び輝度情報で構成されたイメージへの集合化を設定する。これにより、色相臨界値により判別された色相の情報を集めて一つのイメージとして集合化し、それにより構成された色相セル内の相対的な輝度差は、他のイメージで集合化できる。かかる場合としては、カラーコードとQRコード(登録商標)とからなる混合コードの場合がある。すなわち、カラーセルからなるカラーコードにQRコード(登録商標)の白色領域をさらに明るい色相でマッピングし、黒色部分はさらに暗くマッピングする場合である。
【0176】
他の例としては、明るいピクセルからなるイメージ部分と暗いピクセルからなるイメージ部分とをそれぞれ集合化して、二つのイメージに生成できる。この二つが重なる部分は、他のレベルの輝度を利用するか、または色相で別途に表示できる。かかる例としては、QRコード(登録商標)とバーコードとの結合の形態を挙げることができる。両方ともほとんどの場合に白黒で印刷されるが、この二つの輝度を異ならせてマッピングすることである。
【0177】
もちろん、色相を利用して異ならせる場合には、さらに容易に区別できる。すなわち、QRコード(登録商標)は赤色、バーコードは青色でマッピングし、相互のパターンが重なる部分は紫色でマッピングすることである。それを混合コード化すれば、色相区分によりさらに容易に二つのイメージに分離できる。
【0178】
集合化したイメージは、基本コードイメージ及び付加情報イメージとなるが、抽出されたイメージがいかなるものに該当するかは今後に決定される。
【0179】
10. コード方向/整列情報の導出及びイメージ原始情報の導出(S1474)
分離された二つのイメージから情報を抽出するためには、まずコード方向情報を得ねばならない。コード方向情報とは、コードイメージが回転した場合に発生する正方向との差による回転角を意味する。コードの方向が分かる場合のみ、正常的な順序によりコードの情報を抽出できるためである。
【0180】
本発明では、混合コード領域から分離された二つのイメージを通じてそれを導出できるが、イメージの特性によってそれを抽出する方法が異なる。イメージがコードイメージである場合には、ほとんどイメージ自体内にコード方向が分かる所定のパターンや位置情報が含まれている。
【0181】
図16は、混合コードのコード方向及び整列情報が記録された領域を示す図面である。1次元バーコード(図16C)、PDF−417やウルトラコードの場合には、開始パターン及び終了パターンを検出すればコード方向が分かり、2次元コード、特にQRコード(登録商標)(図16B)の場合には、所定の位置検出パターンを探せばその相手位置によりコード方向情報が分かる。色相を使用する場合(図16A)には、所定の色相の順序によって配列されることもあり、時にはカラーコードやグレーコードのようにパリティの種類の組み合わせにより表現されることもある。
【0182】
しかし、マーク、商標、文字、写真のピクセルの場合には、その特徴点、線の種類及び方向などの情報を利用して方向を探すことができる。しかし、かかる演算を予め行い難く、演算量が多くなるので、かかる種類のイメージを利用する場合には、エンコーディング時に位置パターンを追加するか、または付加イメージとして設定することによって、基本コードイメージを通じて方向情報を探すようにすることが望ましい。
【0183】
整列情報は、コードイメージで特定の位置を表示するか、またはデコーディングの基準点となる情報である。バーコードや2次元コード中には、特定の整列パターンをコードの内部に挿入し、それを通じてデコーディング時に基準点となるようにするものが多い。その例としては、バーコードの中央分離パターン、データマトリックスの上部及び左側外郭に配列された整列パターンがある。カラーコードやグレーコードの場合には、プログラムの内部で特定の個数のマトリックス形態に分割されているという情報を与えるので、敢えて整列パターンが必要ではないが、セルをそれぞれ境界線に分割するか、または境界領域を提供することによって整列情報を提供できる。
【0184】
通常的に、コード方向情報と位置検出情報とは互いに関連関係があるが、整列パターンの部分集合で方向情報パターンが含まれることもあり、整列パターン自体が方向情報パターン自体であることもある。パターンでない領域単位で構成されたカラーコード及びグレーコードの場合には、各セルのパリティ情報を利用して方向探知セルを探し、このセルを区分するセルの境界線や所定の分割比率が整列情報を構成する。
【0185】
したがって、領域型のコードは、方向探知情報を探すためにあらゆるセルの色相情報を導出する必要があるので、まずコードの原始情報値を導出した後で方向探知領域を検出する。次いで、コード方向によって原始情報値の順序を再整列する。
【0186】
原始情報とは、導出されたイメージの全体について最小単位別にその情報を抽出することを意味し、その情報は、所定の変換表により数字、文字、記号、シンボル、色相値などで表現されうる。
【0187】
カラーコードの場合には、セル単位に分割されたイメージで各セルの色相値を表現し、これは、所定の変換表により数字と文字とで表現される。白黒のバーコードやQRコード(登録商標)であれば、黒色と白色とのパターンを所定のモジュール単位により0と1との連続で表現する。かかる最小単位は、整列パターンによりその大きさが決まるが、整列パターンの大きさと位置、あるいはプログラム上の所定の設定により、それぞれ最小単位であるセルやパターン集合の大きさが決まる。
【0188】
例えばQRコード(登録商標)の場合には、位置検出パターンの大きさ及びそのパターン間の距離の比率を求めれば、全体が幾つかのマトリックス形態のモジュールで構成されるかが分かり、カラーコードの場合には、セルの境界線を使用するか、またはセルの境界線がない場合には、コード形状が正方形であれば5×5であり、長方形であれば8×5形式というプログラム内部の設定によってセルの大きさと領域とが分けられる。同様に、位置情報を構成し難い記号、商標、ピクセル、イメージの場合には、自身の領域の大きさを任意のモジュール単位に分けて演算できる。
【0189】
しかし、敢えて二つのイメージ両方の原始情報、その方向及び位置情報を導出する必要はないが、以後のステップで制御情報を通じて他のイメージの構造情報を導出できるためである。基本的に位置、整列情報が含まれているコードイメージは、基本コードイメージでも、付加情報イメージでもよく、二つのイメージ両方に含まれている場合には、プログラム内的に基本コードイメージと付加情報イメージとの種類を予め設定するか、または後で制御情報が設定されたコードイメージを探して、それを通じて基本コードイメージが何かを判断して設定する。
【0190】
11. 導出されたコードイメージのエラー制御処理(S1476,S1478)
導出された原始情報を利用して、イメージのエラーを検証して復元する作業を行う(S1476)。このとき、方向及び整列情報により原始情報が一つのイメージのみから導出されれば、これについてのエラーを処理する。パリティ演算方法が使われれば、それを利用してエラーが発生した部分を容易に探し、エラー訂正処理情報が含まれていなければ(S1478)、二進化ステップや臨界値設定及び集団化ステップで再び臨界値を再設定した後で再実行する(S1470)。エラー訂正情報が含まれたときには、それを利用してエラーを復元できる。
【0191】
二つのイメージ両方から原始情報が導出された場合には、この二つのイメージについてエラー制御情報を利用してエラーを検証、復元できる。二つのイメージのうち一部のみにエラーが発生した場合には、エラーが発生したイメージのみを再び臨界値設定及び集団化ステップに送信して再実行することもできる。領域型のコードである場合は、パリティ演算をこのステップ以前に行うので、それを考慮して処理する。
【0192】
12. 制御情報の導出及び各イメージデコーディング(S1480)
導出された原始コード情報を既定の領域単位で分割する過程上、情報領域と制御情報領域とを求めるためのことである。既にコード方向情報と整列情報領域とを求めてエラー制御領域を求めたので、それを求めることは容易である。原始コード情報が一つのイメージのみから導出されれば、これから制御情報を導出して他のイメージの構造情報と情報との関連関係情報を得る。制御情報は、イメージ領域内にエンコーディングされていることが望ましいが、2.1.で説明したように、その関係がプログラム内的に設定されている場合にはこれが制御情報となる。
【0193】
(1) 混合コード構成情報の導出
混合コード構造の判別は、エラー制御情報により検証及び修正が完了した原始情報から基本情報と付加情報とを抽出するためのステップである。導出された制御情報により、二つのイメージの構造情報を導出する。二つのイメージ両方に制御情報が設定されていれば、それを通じて相互構造を分かる。
【0194】
しかし、一つのイメージのみから制御情報を抽出できる場合には、それを通じて他のイメージの構造情報が分かる。かかる情報としては、基本コードイメージの種類、付加情報要素イメージの個数、細部分割の個数情報、要素イメージの位置情報、要素イメージの種類、暗号化方法、付加情報要素イメージの整列方向などである。
【0195】
(2) 構成情報によるイメージデコーディング
構成情報により配置及び位置情報などを分かるので、それに基づいて一定単位で分割した後、各要素イメージの種類によってデコーディングを行う。このために、各付加情報要素イメージの整列方向情報により付加情報要素イメージの方向を正しくし、暗号化方法情報により所定のアルゴリズムによって本来の形態に復元する。
【0196】
このとき、復元のためのキー値は、制御情報に設定されたものを利用するか、またはデコーディングプログラムに内的に指定されたものを使用できる。あるいは、正当なユーザーであるか否かを判別するために、プログラム上で要求すれば入力されて使用することもできる。
【0197】
次いで、それぞれの種類及び位置情報を利用して、制限された領域にそれぞれ配置された要素イメージ別にデコーディングを行う。デコーディングは、整列パターンの検出、モジュール単位の分割、原始コードの抽出及びエラー情報の抽出により行われ、制御情報で指定されていない過程は省略されうる。この過程を通じて情報領域のデータが抽出されるが、制御情報領域で指定された要素イメージの種類情報によってそれぞれ導出された情報の形態が変わりうる。
【0198】
例えば、要素イメージが一般的なコードイメージである場合には、コード情報値である文字、数字、記号として導出されるが、文字、マーク、商標などの場合には、パターンマッチングによる所定の値、例えば、8方向チェーンコード、形態数、フーリエ叙述子として導出されうる。それらは、これに対応する数字、文字、記号、シンボル、マーク情報で表現される。かかる情報を求めるためには、伝統的なイメージ処理技法である細線化、濾過、平滑化などの技法を通じてパターン情報を求めやすく付加的な処理を行った後、その導出された線分の連結点及び特徴点を検索した後、それを通じてパターン情報を生成できる。他の例としては、写真イメージなどによる各ピクセルの明度値や色相値があるが、それらは、輝度値やRGBチャンネル値の集合で表現可能である。
【0199】
13. 解釈情報による混合コード情報の導出(S1482)
制御情報の構造情報により二つのイメージから情報領域が導出されれば、これから基本情報と付加情報とを導出せねばならない。コード内あるいはプログラム内に設定された制御情報により、各情報領域は、基本情報と付加情報とで合成されて正規化される。
【0200】
このとき、混合コード制御情報のうち解釈情報を利用してそれを行う。まず、各イメージの情報領域から導出された各非正規化された情報について、制御領域のうち情報配置方式情報を利用してエンコーディング技法の逆変換を取って本来の配置の通りに配列できる。また、ここに規定された情報形式によって、基本情報と付加情報との情報が表現される。かかる情報形式は、プログラム上で所定の変換テーブルの形態に提供されうる。したがって、二つの情報がいずれも求められる。
【0201】
このように求められた二つの情報は、まず基本情報と付加情報とが判別されねばならない。前述したように、所定の方針によっていかなるものが基本コードであり、いかなるものが付加情報イメージであるかは、制御情報領域にマッピングされているか、またはプログラム内的に予め設定されねばならない。かかる情報は、制御情報のうち関係情報に含まれてもよく、構造情報に含まれてもよい。
【0202】
求められた二つの情報は、制御情報のうち定義された関係情報により検討されて演算される。そして、これにより本来の混合コード情報が生成される。混合コード情報は、一つに導出されることもあり、それぞれ別途に導出されることもあるが、これは必要に応じて異なる。
【0203】
例えば同等関係である場合には、二つの情報が同じであるので、認識が容易であるか、または正確に認識可能なコードが一つのみ導出されればよい。関連関係である場合も同様である。しかし、集合関係である場合は、母集合のコード情報と部分集合のコード情報とが同時に導出されねばならない。付加情報イメージが写真である場合には、視覚的なイメージとして導出され、これと共に使われた基本コードの情報は別途に提示される。この情報は、前述したように文字、数字、記号、図形、イメージ、商標などで表現される。
【0204】
14. サービスの提供(S1484)
導出された混合コード情報は、制御情報やプログラム内的に設計されたサービス情報によってそれぞれ異なるサービスを提供できる。例えば、混合コード情報が人の身上情報及び写真情報であれば、これは、サービス種類によって旅券認証インターフェース、写真名刺インターフェースなどの形態で提供されうる。同様に、集合関係である混合コード情報を物流、在庫管理などの用途に使用できる。
【0205】
図17は、本発明による混合コードのデコーディング方法の他の実施形態の構成を示す図面である。
【0206】
図17に示すように、第1コードイメージ及び第2コードイメージが重なって表現された混合コードで、第1コードイメージ及び第2コードイメージの色相及び輝度差に基づいて、混合コードから第1コードイメージ及び第2コードイメージを分離して抽出する(S1700)。第1コードイメージ及び第2コードイメージの抽出過程は、図14A及び図14Bを参照して詳細に説明した。
【0207】
抽出した第1コードイメージのデータ領域及び制御情報領域をデコーディングして、第1情報及び第2コードイメージが第1コードイメージ上にどのように配置されたかを表す構成情報をそれぞれ獲得する(S1710)。
【0208】
ここで、構成情報とは、表1を参照して説明したように、第1コードイメージ領域が均等分割されて生成される分割領域の数情報、第2コードイメージを構成する要素イメージの数情報、要素イメージの中心点の前記分割領域での位置情報、要素イメージのコード種類情報、要素イメージの暗号化方法情報及び要素イメージの整列方向情報をいう。
【0209】
獲得した構成情報に基づいて、第2コードイメージをデコーディングして第2情報を獲得する(S1720)。第1コードイメージは、第1情報と第2情報との相関関係情報がエンコーディングされた制御情報領域(解釈情報領域)をさらに備える。この場合、第1コードイメージの解釈情報領域をデコーディングして相関関係情報を獲得した後、相関関係を第1情報及び第2情報に適用して混合コードが表現しようとする混合コード情報を獲得する。
【0210】
ここで、相関関係とは、図9に示すように同等、関連、付加、集合、演算関係などをいい、獲得した第1情報及び第2情報の相関関係によって、二つの情報から混合コードが表現しようとする最終情報を算出できる。
【0211】
制御情報領域は、相関関係情報以外に、第1コードイメージ及び第2コードイメージに表現される情報の形式定義、情報配置方式の定義、今後コード制御定義などを含むことができる。
【0212】
第1コードイメージは、解釈情報領域以外にコード方向情報領域、エラー制御情報領域をさらに備える。第1コードイメージのコード方向情報領域をデコーディングしてコード方向情報を獲得すれば、獲得したコード方向情報に基づいて第1コードイメージ及び第2コードイメージに表現されたコードの方向が分かるので、デコーディングを容易に行える。
【0213】
第1コードイメージのエラー制御情報領域をデコーディングしてエラー制御情報を獲得すれば、エラー制御情報に基づいて第1コードイメージ及び第2コードイメージから得た第1情報及び第2情報のエラー検出及び補正を行う。解釈情報領域、制御情報領域、エラー制御情報などは、第1コードイメージ及び第2コードイメージ両方に設定されうる。
【0214】
<混合コードのデコーディング装置の構造>
図18は、本発明による混合コードデコーディング装置の一実施形態の構成を示す図面である。
【0215】
図18に示すように、本発明による混合コードデコーディング装置は、入力部1800、混合コード抽出部1820、コードイメージ分離部1840及び情報抽出部1860で構成される。
【0216】
入力部1800は、第1コードイメージ及び第2コードイメージが重なって表現された混合コードイメージが含まれた原本イメージを、スキャナー、カメラを通じて入力されるか、または電子文書の形態で入力される。
【0217】
混合コード抽出部1820は、原本イメージのノイズを除去して、前記混合コードイメージを獲得する。混合コード抽出部1820は、具体的に色相歪曲補正部1822、二進化イメージ生成部1824、ノイズ除去部1826、ブロック化部1828、限界四角形導出部1830及びイメージ抽出部1832を備える。
【0218】
色相歪曲補正部1822は、原本イメージを入力される物理的な環境要因(照明輝度、照明色相、原本イメージが存在する媒体の質など)による色相及び濃淡の歪曲を補正する。二進化イメージ生成部1824は、色相歪曲が補正された原本イメージの色相または濃淡を所定の基準値によって二つの色相に区分して二進化イメージを生成する。演算の量を減らすために、白黒に変換して二進化イメージを構成することが望ましい。
【0219】
ノイズ除去部1826は、二進化イメージのエッジと連結されている領域をノイズと把握して除去し、ブロック化部1828は、ノイズが除去された二進化イメージを所定大きさのブロックに分割し、分割されたブロックのうちイメージのピクセル数が最も多いブロックを検索する。
【0220】
限界四角形導出部1830は、検索されたブロックの中心点から外側または外側からブロックの中心点に検索して、イメージが位置する上下左右の最大及び最小位置値を把握し、把握された上下左右の最大及び最小位置値を四つの頂点とする限界四角形を導出する。イメージ抽出部1832は、限界四角形内で混合コードイメージ領域を導出し、導出された混合コードイメージ領域に基づいて前記原本イメージから混合コードイメージを導出する。
【0221】
混合コード抽出部1820それぞれの構成を通じて入力された原本イメージから混合コードイメージが抽出されれば、コードイメージ分離部1840は、混合コードイメージの各ピクセルの色相、濃淡及び輝度を分析し、分析された各ピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて集団化した後、集団化された色相、濃淡及び輝度に基づいて混合コードイメージを第1コードイメージ及び第2コードイメージに分離する。
【0222】
そして、情報抽出部1860は、第1コードイメージ及び第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出する。情報抽出部1860は、第1デコーディング部1862、第2デコーディング部1864、エラー制御部1866及び情報算出部1868を備える。
【0223】
第1コードイメージまたは/及び第2コードイメージは、第1情報及び第2情報をそれぞれ記録するデータ領域以外に、構成情報及び解釈情報を含む制御情報領域、コード方向情報領域、エラー制御情報領域を備える。以下、第1コードイメージのみに制御情報領域などが設定された場合を説明する。
【0224】
第1デコーディング部1862は、第1コードイメージのコード方向情報領域をデコーディングしてコード方向情報を獲得し、コード方向情報によってデータ領域、制御情報領域、エラー制御情報領域をデコーディングして第1情報、制御情報、エラー制御情報を獲得する。
【0225】
第2デコーディング部1864は、第1デコーディング部1862を通じて獲得した制御情報に含まれた構成情報に基づいて、第2コードイメージをデコーディングして第2情報を算出する。
【0226】
エラー制御部1866は、第1デコーディング部を通じて獲得したエラー制御情報に基づいて、第1情報及び第2情報のエラーを検出して補正する。そして、情報算出部1868は、第1デコーディング部を通じて獲得した制御情報に含まれた解釈情報(第1情報と第2情報との相関関係、情報表現形式、情報配置方式など)に基づいて、第1情報と第2情報とを加工して混合コードで表現しようとする最終情報を算出する。
【0227】
また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ROM(Read Only Memory)、RAM(Random Access Memory)、CD−ROM、磁気テープ、フレキシブルディスク、光データ保存装置などがあり、またキャリアウェーブ(例えば、インターネットを通じた伝送)の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されて実行されうる。
【0228】
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれていると解釈されねばならない。
【産業上の利用可能性】
【0229】
本発明は、混合コードのデコーディング方法及びその装置関連の技術分野に適用可能である。
【図面の簡単な説明】
【0230】
【図1】本発明による混合コードの構造を示す図面である。
【図2】本発明による混合コードの一例を示す図面である。
【図3A】本発明による混合コードの一例を示す図面である。
【図3B】本発明による混合コードの一例を示す図面である。
【図4】混合コードの構成情報の認識過程を示す図面である。
【図5】混合コードの構成情報の認識過程を示す図面である。
【図6】混合コードの構成情報についての実施形態を示す図面である。
【図7】混合コードの構成情報についての実施形態を示す図面である。
【図8】混合コードの構成情報についての実施形態を示す図面である。
【図9】基本情報と付加情報との関係性を示す図面である。
【図10】混合コードそれぞれの領域を整理した図面である。
【図11】基本情報と付加情報との相関関係を所定の記号で定義した図面である。
【図12】カラーコードイメージとQRコードイメージとで構成された混合コードの一例を示す図面である。
【図13】カラーコードイメージとQRコードイメージとを合成して混合コードを生成する過程の一例を示す図面である。
【図14A】本発明による混合コードのデコーディング方法の一実施形態のフローチャートである。
【図14B】図14Aの混合コードのデコーディング方法の詳細なフローチャートである。
【図14C】図14Aの混合コードのデコーディング方法の詳細なフローチャートである。
【図15A】混合コードイメージの二進化及び限界四角形の探索の一例を示す図面である。
【図15B】混合コードイメージの二進化及び限界四角形の探索の一例を示す図面である。
【図15C】混合コードイメージの二進化及び限界四角形の探索の一例を示す図面である。
【図16A】混合コードのコード方向及び整列情報が記録された領域の一例を示す図面である。
【図16B】混合コードのコード方向及び整列情報が記録された領域の一例を示す図面である。
【図16C】混合コードのコード方向及び整列情報が記録された領域の一例を示す図面である。
【図17】本発明による混合コードのデコーディング方法の他の実施形態の構成を示す図面である。
【図18】本発明による混合コードデコーディング装置の一実施形態の構成を示す図面である。
【符号の説明】
【0231】
1800 入力部
1820 混合コード抽出部
1822 色相歪曲補正部
1824 二進化イメージ生成部
1826 ノイズ除去部
1828 ブロック化部
1830 限界四角形導出部
1832 イメージ抽出部
1840 コードイメージ分離部
1860 情報抽出部
1862 第1デコーディング部
1864 第2デコーディング部
1866 エラー制御部
1868 情報算出部

【特許請求の範囲】
【請求項1】
第1コードイメージ及び第2コードイメージが重なって表現された混合コードをデコーディングする方法において、
(a)前記混合コードイメージが含まれた原本イメージを入力されるステップと、
(b)前記原本イメージのノイズを除去して、前記混合コードイメージを獲得するステップと、
(c)前記混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化し、前記混合コードイメージを前記第1コードイメージ及び前記第2コードイメージに分離するステップと、
(d)前記第1コードイメージ及び前記第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出するステップと、
を含むことを特徴とする混合コードのデコーディング方法。
【請求項2】
前記(b)ステップは、
(b1)前記原本イメージを入力される物理的な環境要因による色相及び濃淡の歪曲を補正するステップと、
(b2)前記補正された原本イメージの色相または濃淡を所定の基準値によって二つの色相に区分して、二進化イメージを生成するステップと、
(b3)前記二進化イメージに基づいてノイズを除去して、前記原本イメージから混合コードイメージを獲得するステップと、
を含むことを特徴とする請求項1に記載の混合コードのデコーディング方法。
【請求項3】
前記(b3)ステップは、
(b3−1)前記二進化イメージのエッジと連結されている領域をノイズと把握して除去するステップと、
(b3−2)前記ノイズが除去された二進化イメージを所定大きさのブロックに分割し、前記分割されたブロックのうちイメージのピクセル数が最も多いブロックを検索するステップと、
(b3−3)前記検索されたブロックの中心点から外側または外側から前記ブロックの中心点に検索して、イメージが位置する上下左右の最大及び最小位置値を把握するステップと、
(b3−4)前記把握された上下左右の最大及び最小位置値を4個の頂点とする限界四角形を導出するステップと、
(b3−5)前記限界四角形内で混合コードイメージ領域を導出するステップと、
(b3−6)前記導出された混合コードイメージ領域に基づいて、前記原本イメージから混合コードイメージを導出するステップと、
を含むことを特徴とする請求項2に記載の混合コードのデコーディング方法。
【請求項4】
前記(c)ステップは、
(c1)前記混合コードイメージの各ピクセルの色相、濃淡及び輝度を分析するステップと、
(c2)前記分析された各ピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて集団化するステップと、
(c3)前記集団化された色相、濃淡及び輝度に基づいて、前記混合コードイメージを前記第1コードイメージ及び第2コードイメージに分離するステップと、
を含むことを特徴とする請求項1に記載の混合コードのデコーディング方法。
【請求項5】
第1コードイメージ及び第2コードイメージが重なって表現された混合コードをデコーディングする方法において、
(a)前記第1コードイメージ及び前記第2コードイメージの色相及び輝度の差に基づいて、前記混合コードから前記第1コードイメージ及び前記第2コードイメージを分離して抽出するステップと、
(b)前記第1コードイメージのデータ領域及び制御情報領域をデコーディングして、第1情報及び前記第2コードイメージについての構成情報をそれぞれ獲得するステップと、
(c)前記構成情報に基づいて、前記第2コードイメージをデコーディングして第2情報を獲得するステップと、
を含むことを特徴とする混合コードのデコーディング方法。
【請求項6】
前記構成情報は、前記第1コードイメージ領域が均等分割されて生成される分割領域の数情報、前記第2コードイメージを構成する要素イメージの数情報、前記要素イメージの中心点の前記分割領域での位置情報、前記要素イメージのコード種類情報、前記要素イメージの暗号化方法情報及び前記要素イメージの整列方向情報のうち少なくとも一つを含むことを特徴とする請求項5に記載の混合コードのデコーディング方法。
【請求項7】
前記(a)ステップは、前記混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化し、前記混合コードイメージを前記第1コードイメージ及び前記第2コードイメージに分離するステップを含むことを特徴とする請求項5に記載の混合コードのデコーディング方法。
【請求項8】
前記(b)ステップは、
(b1)前記第1コードイメージのコード方向情報領域をデコーディングして、前記第1コードイメージ及び前記第2コードイメージのコード方向情報を獲得するステップと、
(b2)前記コード方向情報に基づいて前記第1コードイメージの制御情報領域をデコーディングして、前記第2コードイメージの構成情報を獲得するステップと、を含み、
前記(c)ステップは、
前記コード方向情報及び前記構成情報に基づいて、前記第2コードイメージをデコーディングして第2情報を獲得するステップと、
を含むことを特徴とする請求項5に記載の混合コードのデコーディング方法。
【請求項9】
(d)前記第1コードイメージ及び前記第2コードイメージのエラー制御情報領域をデコーディングしてエラー制御情報を獲得するステップと、
(e)前記エラー制御情報に基づいて、前記獲得した第1情報及び第2情報のエラーを検出して補正するステップと、
をさらに含むことを特徴とする請求項5に記載の混合コードのデコーディング方法。
【請求項10】
(f)前記第1コードイメージの制御情報領域をデコーディングして、前記第1コードイメージに含まれた第1情報及び前記第2コードイメージに含まれた第2情報の相関関係情報を獲得するステップと、
(g)前記相関関係を前記第1情報及び前記第2情報に適用して、混合コードが表現しようとする最終情報を獲得するステップと、
をさらに含むことを特徴とする請求項5に記載の混合コードのデコーディング方法。
【請求項11】
第1コードイメージ及び第2コードイメージが重なって表現された混合コードイメージが含まれた原本イメージを入力される入力部と、
前記原本イメージのノイズを除去して、前記混合コードイメージを獲得する混合コード抽出部と、
前記混合コードイメージのピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて分類して集団化し、前記混合コードイメージを前記第1コードイメージ及び前記第2コードイメージに分離するコードイメージ分離部と、
前記第1コードイメージ及び前記第2コードイメージをそれぞれデコーディングして、第1情報及び第2情報を抽出する情報抽出部と、
を備えることを特徴とする混合コードデコーディング装置。
【請求項12】
前記混合コード抽出部は、
前記原本イメージを入力される物理的な環境要因による色相及び濃淡の歪曲を補正する色相歪曲補正部と、
前記補正された原本イメージの色相または濃淡を所定の基準値によって二つの色相に区分して、二進化イメージを生成する二進化イメージ生成部と、
前記二進化イメージのエッジと連結されている領域をノイズと把握して除去するノイズ除去部と、
前記ノイズが除去された二進化イメージを所定大きさのブロックに分割し、前記分割されたブロックのうちイメージのピクセル数が最も多いブロックを検索するブロック化部と、
前記検索されたブロックの中心点から外側または外側から前記ブロックの中心点に検索して、イメージが位置する上下左右の最大及び最小位置値を把握し、 前記把握された上下左右の最大及び最小位置値を4個の頂点とする限界四角形を導出する限界四角形導出部と、
前記限界四角形内で混合コードイメージ領域を導出し、前記導出された混合コードイメージ領域に基づいて前記原本イメージから混合コードイメージを導出するイメージ抽出部と、
を備えることを特徴とする請求項11に記載の混合コードデコーディング装置。
【請求項13】
前記コードイメージ分離部は、前記混合コードイメージの各ピクセルの色相、濃淡及び輝度を分析し、前記分析された各ピクセルの色相、濃淡及び輝度を所定の臨界値に基づいて集団化した後、前記集団化された色相、濃淡及び輝度に基づいて、前記混合コードイメージを前記第1コードイメージ及び第2コードイメージに分離することを特徴とする請求項11に記載の混合コードデコーディング装置。
【請求項14】
前記情報抽出部は、
前記第1コードイメージのデータ領域及び制御情報領域をデコーディングして、第1情報及び前記第2コードイメージについての構成情報をそれぞれ獲得する第1デコーディング部と、
前記構成情報に基づいて、前記第2コードイメージをデコーディングして第2情報を獲得する第2デコーディング部と、
を備えることを特徴とする請求項11に記載の混合コードデコーディング装置。
【請求項15】
前記構成情報は、前記第1コードイメージ領域が均等分割されて生成される分割領域の数情報、前記第2コードイメージを構成する要素イメージの数情報、前記要素イメージの中心点の前記分割領域での位置情報、前記要素イメージのコード種類情報、前記要素イメージの暗号化方法情報及び前記要素イメージの整列方向情報のうち少なくとも一つを含むことを特徴とする請求項14に記載の混合コードデコーディング装置。
【請求項16】
前記第1デコーディング部は、前記第1コードイメージのコード方向情報領域をデコーディングして、前記第1コードイメージ及び前記第2コードイメージのコード方向情報を獲得し、前記コード方向情報に基づいて前記第1コードイメージの制御情報領域をデコーディングして、前記第2コードイメージの構成情報を獲得し、前記第2デコーディング部は、前記コード方向情報及び前記構成情報に基づいて、前記第2コードイメージをデコーディングして第2情報を獲得することを特徴とする請求項14に記載の混合コードのデコーディング方法。
【請求項17】
前記第1デコーディング部は、前記第1コードイメージ及び前記第2コードイメージのエラー制御情報領域をデコーディングしてエラー制御情報を獲得し、前記エラー制御情報に基づいて、前記獲得した第1情報及び第2情報のエラーを検出して補正するエラー制御部をさらに備えることを特徴とする請求項14に記載の混合コードのデコーディング方法。
【請求項18】
前記第1デコーディング部は、前記第1コードイメージの制御情報領域をデコーディングして、前記第1コードイメージに含まれた第1情報及び前記第2コードイメージに含まれた第2情報の相関関係情報を獲得し、前記第2デコーディング部は、前記相関関係を前記第1情報及び前記第2情報に適用して、混合コードが表現しようとする最終情報を獲得する情報算出部をさらに備えることを特徴とする請求項14に記載の混合コードデコーディング装置。
【請求項19】
請求項1乃至請求項10のいずれか一項に記載の混合コードのデコーディング方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図14A】
image rotate

【図14B】
image rotate

【図14C】
image rotate

【図17】
image rotate

【図18】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図12】
image rotate

【図13】
image rotate

【図15A】
image rotate

【図15B】
image rotate

【図15C】
image rotate

【図16A】
image rotate

【図16B】
image rotate

【図16C】
image rotate


【公開番号】特開2006−134337(P2006−134337A)
【公開日】平成18年5月25日(2006.5.25)
【国際特許分類】
【出願番号】特願2005−322570(P2005−322570)
【出願日】平成17年11月7日(2005.11.7)
【出願人】(505413646)株式会社カラージップメディア (10)
【Fターム(参考)】