情報埋込装置、情報復元装置、情報埋込方法、情報復元方法、情報埋込プログラム及び情報復元プログラム
【課題】
ドットフレームを配置することなく、情報埋め込みを可能とする。
【解決手段】
オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、情報埋込画像に配置する方向検出マーカ配置部とを備える。
ドットフレームを配置することなく、情報埋め込みを可能とする。
【解決手段】
オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、情報埋込画像に配置する方向検出マーカ配置部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オブジェクトを表す画像に対して情報を埋め込む情報埋込装置、情報復元装置、情報埋込方法、情報復元方法、情報埋込プログラム及び情報復元プログラムに関するものであって、特に、オブジェクト全体の形態を一定に保持しつつ、そのオブジェクトのエッジ部分に情報を埋め込む情報埋込画像を生成する情報埋込装置及び方法並びにプログラムと、その情報埋込画像から情報を復元する情報復元装置及び方法並びにプログラムに関するものである。
【背景技術】
【0002】
従来、携帯端末にURLなどの情報を入力するために、二次元画像コードが広く一般に利用されている。例えば、QRコードはその代表例である。従来の二次元画像コードでは、画像自体に意味を持たないことが多く、コードを商品に貼りつけることでデザイン性を損ねることがあった。
【0003】
また、ロゴなどの単純なグレースケール画像から二次元画像コードを生成する手法をBe−code(Binary−emblem code)と称し、原画像のロゴのエッジ部分の画素の値を変更することで、ロゴの見た目を保ったまま情報を埋め込むことができる技術が提案されている。
【0004】
例えば、この技術に関連するものとして、元画像の形を壊さずに情報の埋め込みを行い、また、元画像情報を必要とせずに埋め込みデータを検出する二値化画像への情報埋め込み方法及び読み出し方法に関する技術が、特許文献1に提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−41055号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した情報埋め込み方法及び読み出し方法は、例えば、ロゴやオブジェクトを囲むドットフレームを配置する必要性があり、画像全体として、当該フレームをはずすことができずに、デザインの自由度を制限するという問題があった。
【0007】
そこで、本発明は、上記事情に鑑み、ドットフレームを配置することなく、情報埋め込み、または情報復元を可能とする情報埋込装置、情報復元装置、情報埋込方法、情報復元方法、情報埋込プログラム及び情報復元プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の情報埋込装置は、オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込装置において、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、情報埋込画像に配置する方向検出マーカ配置部とを備えたものである。
【0009】
「フレームマーカ」は、原画像の座標系に変換するためのものである。また、フレームマーカの外側には白色であって、1画素以上のマージンを設けてもよい。
【0010】
「方向検出マーカ」は、原画像の正しい向きに画像復元するためのものである。また、「方向検出マーカ」は、フレームマーカのうちの左隅のものを基準として配置されたものであってもよい。
【0011】
また、本発明の情報埋込装置は、フレームマーカと方向検出マーカの間には、少なくとも1画素分の白色のスペースを設けてもよい。
【0012】
また、本発明の情報埋込装置は、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いるものであってもよい。
【0013】
また、本発明の情報埋込装置は、原画像をグレースケール化することで、情報埋込画像を生成するものであってもよい。
【0014】
また、本発明の情報埋込装置は、埋め込まれた情報は、リード・ソロモン符号を用いたものであってもよい。
【0015】
本発明の情報復元装置は、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部とを備えるものである。
【0016】
本発明の情報復元装置は、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求めるものであってもよい。
【0017】
本発明の情報埋込方法において、オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するに際し、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する。
【0018】
本発明の情報復元方法において、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得するに際し、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する。
【0019】
本発明の情報埋込プログラムにおいて、オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、コンピュータに、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置する機能と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する機能とを実現させるものである。
【0020】
本発明の情報復元プログラムにおいて、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元プログラムにおいて、コンピュータに、取得された観測画像から、フレームマーカおよび方向検出マーカを検出する機能と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する機能とを実現するものである。
【発明の効果】
【0021】
本発明の情報埋込装置及び方法並びにプログラムによれば、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置することにより、ロゴやオブジェクトを囲むドットフレームを配置することなく、情報を埋め込んだ画像を生成することができる。
【0022】
また、本発明の情報埋込装置及び方法並びにプログラムによれば、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることにより、多くの情報を埋め込むことを可能とする。
【0023】
また、本発明の情報埋込装置及び方法並びにプログラムによれば、原画像をグレースケール化することで、情報埋込画像を生成することにより、原画像がアンチエイリアシングされていても、デザイン性を損なわないことを可能とする。
【0024】
また、本発明の情報復元装置及び方法並びにプログラムによれば、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元することができる。
【0025】
また、本発明の情報復元装置及び方法並びにプログラムによれば、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求める際には、訂正能力を超えた誤りが起こった場合にも、読み取りに失敗することを判定できる。
【図面の簡単な説明】
【0026】
【図1】本発明の実施形態における情報埋込装置及び情報復元装置を示す図
【図2】本発明の実施形態における情報埋込装置の処理フローを示したフローチャート
【図3】本発明の実施形態における情報復元装置の処理フローを示したフローチャート
【図4】Be−codeの構造を説明するための図
【図5】可変得点が0.5以上となるブロックを説明するための図
【図6】埋め込み情報量を増やすブロック分割を説明するための図
【図7】二値化処理のためのグレースケール化を説明するための図
【図8】グレースケール画像を用いたBe−code生成を説明するための図
【図9】フレーム付加によるBe−code生成を説明するための図
【図10】フレームマーカの探索を示した図
【図11】画像分割による適応的二値化を説明するための図
【図12】実験環境と観測画像例を示した図
【図13】ロゴ画像毎の埋め込み情報量の違いを説明するための図
【図14】グレースケールのための係数cと読み取り角度及び読み取り精度を説明するための図
【発明を実施するための形態】
【0027】
本発明の実施の形態となる情報埋込装置及び情報復元装置について、図面を参照しつつ説明する。
【0028】
図1は、本発明の情報埋込装置10及び情報復元装置50の概略を示す図である。情報埋込装置10は、オブジェクト(例えば、ロゴ画像)を表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部(不図示)と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する方向検出マーカ配置部(不図示)とを備える。また、コンピュータである情報埋込装置10はプリンタ5と接続されている。
【0029】
方向検出マーカ部は、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成されるものであるが、情報埋込画像の左上隅にある、所定の画素領域から構成されるフレームマーカを基準とした例により説明するが、情報埋込画像の左下隅、右下隅、右上隅のいずれかにある所定の画素領域から構成されるフレームマーカを基準としてもよい。
【0030】
情報埋込装置10は、コンピュータであり、各種入力に基づきCPUがROMに記録されたプログラムを実行することで各種機能部として動作する。
【0031】
プリンタ5は、コンピュータである情報埋込装置10により送信された情報埋込画像を印刷し、情報埋込画像を表す印刷物15を出力するものである。
【0032】
情報復元装置50は、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部(不図示)と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部(不図示)とを備えるものである。
【0033】
情報復元装置50は、コンピュータであり、各種入力に基づきCPUがROMに記録されたプログラムを実行することで各種機能部として動作する。また、情報復元装置50は、例えば、カメラ機能付携帯電話、カメラ機能付PDA(Personal Digital Assistant)であってもよい。
【0034】
ここで、本発明の実施形態における二次元画像コードを生成する手法について、図2および図3のフローチャートの手順に沿って、詳細に説明する。なお、ロゴ画像などの単純なグレースケール画像から二次元画像コードを生成する手法をBe−code(Binary−emblem code)と称して説明する。
情報埋込装置10は、オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するに際し、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する。
【0035】
情報埋込装置10は、図4に示すように、エンブレムエリア(Emblem area)には、ロゴ画像に情報埋め込みを行ったものを配置する(STEP1)。ロゴ画像への情報埋め込みの具体的な手法は、後述する。また、観測画像からの情報埋め込みを行うときには、ロゴ画像のデザイン性を確保することと、観測環境に依らずに頑健に読み取れることの2つを満足する必要がある。
【0036】
(可変得点を用いた情報埋め込み)
ここで、ロゴ画像への情報埋め込みの具体的な手法について説明する。
ロゴ画像への情報埋め込みは画素値を変化させることで行うが、原画像のデザイン性確保のためには、人間が見て目立たないように画素値を変化させなければならない。これを実現するために、画像上の各微小領域のなめらかさや連結性を考慮して情報埋め込みを行うWuらの手法(Min Wu、Bede Liu、”Data Hiding in Binary Image for Authentication and Annotation”、 IEEE TRANSACTIONS ON MULTIMEDIA、vol.6、No.4、pp.528−538,2004.8)を利用する。Wu らの手法では、二値画像を3×3のブロックに分け、なめらかさと連結数に基づいて可変得点(fippability score)を計算する。なめらかさは、画素(i、j) に対して水平Nh(i、j)、垂直Nv(i,j) および対角Nd1 (i,j)、Nd2 (i,j) に対して計算される(数式1参照)。
【0037】
【数1】
【0038】
ただし、pi,jは画素(i,j)の値であり、I( )は括弧内が真のとき1、偽のときに0 となる関数である。連結数は、ブロック内の白黒の連結領域の数によって調べる。連結領域であるかどうかは、白黒ともに4連結で調べる。
【0039】
可変得点の計算は以下の手順で行う。
(1) ブロック内の画素の値がすべて白、もしくは、すべて黒ならば、可変得点は0とし、終了する。
(2)Nh=0またはNv=0であれば、可変得点は0とし、終了する。それ以外のときにはs=0.5とする。
(3)Nd1=0またはNd2=0とき、s=s−0.125とする。Nd1≠0かつNd2≠0のとき、np=max(0,3 −minp∈{h,v,d1、d2}Np)を求め、s=s−0.125npとする。
(4) 中心画素の値を反転するとき、Nhが変化しなければs=s+0.125とし、変化すればs=s−0.125とする。同様に、Nvが変化しなければs=s+0.125とし、変化すればs=s−0.125とする。
(5) 中心画素の値を反転するとき、連結数が変化すれば、s=s−0.125とする。
(6) s を可変得点とし、終了する。
図5 は可変得点が0.5以上となるブロックの例である。可変得点が0.5以上のブロックでは中央の画素の値を変更しても、やはり可変得点が0.5以上であることが保証される。
【0040】
ロゴ画像から可変得点が0.5以上のブロックを検出し、0を埋め込むときには中央画素に黒を、1を埋め込むときには中央画素に白を埋め込む。情報を読み取るときにも、画像上で可変得点が0.5以上のブロックを見つけ、中央画素が0か1かを見れば、情報を読み取ることができる。この手法では、情報読み込みのときに原画像を参照する必要がない。
【0041】
Wuらの手法はブロック内で黒となる個数が偶数のときに0、奇数のときに1としていたが、偶奇の判定のためには、ブロック内のすべての値が正しく識別されている必要がある。カメラによる観測によって白黒の判定が起こる可能性があることを考えると、中央画素の白黒の値のみによって情報を表現する方が、誤りが少ないことが期待できる。
【0042】
Wuらの手法は図6(a)に示すように画像を3×3のブロックに分けて情報埋め込みを行った。情報埋め込みのためには中心画素の値を変化させるだけでよいので、このブロック分割の方法は効率が悪かった。我々は、より多くの情報を埋め込むために、図6(b)に示すように、隣接するブロックで水平および垂直に1画素重なるようなブロック分割を提案する。これにより、従来手法では画像中の1/9の画素が白黒を変化させる対象となっていたが、この手法では、画像中の1/4の画素がこの対象となる。これにより、同じ画像により多くの情報を埋め込めるようになる。
【0043】
ここで、可変得点が大きいブロックは、なめらかさが小さく複雑なパターンを持つブロックであることに注意されたい。このようなブロックは、ロゴのエッジ部分に多く存在する。結果として、情報埋め込みはロゴのエッジ部分に多くなされることになる。
逆に言えば、埋め込める情報量はロゴがどれほど複雑なエッジを持つかによって変わることになる。単純なロゴに対しては埋め込める情報量が少なくなるが、ロゴ画像内に文字を含めることで埋め込める情報量を増やすこともできる。ロゴ画像の複雑さによる埋め込み情報量の違いはでてくる。
【0044】
(埋め込み情報量の向上)
可変得点を用いた情報埋め込みでは、ロゴ画像にどれほどエッジが含まれるかによって、埋め込める情報量が異なる。例えば、111×80の大きさのロゴ画像に対して、埋め込み容量がどれほどとなるかを調べる。また、隣接するブロックを重なりなく設定する場合と、水平垂直に重ねて設定する場合でどれほど異なるかについても調べた。図12にこの結果を示す。ロゴ画像の形状により、埋め込める情報量が異なることがわかる。図13(a) や図13(c)のように多くのエッジで構成されるロゴ画像や、図13(b)のような傾いたエッジで構成されるロゴ画像では、エッジ部分で可変得点が大きくなるために、埋め込める情報量が多くなる。一方、図13(d)や図13(e)、図13(f)のように、あまりエッジが多くないようなロゴ画像では埋め込める情報量が少なくなる。また、ブロック分割を水平垂直に重ねて設定することで、
91%から172%の埋め込み情報量の増加が行えた。IPv4のアドレスを表現するのに必要な情報量は32ビットであるので、ある程度単純なロゴ画像から生成されるBe−codeであっても、IPv4のアドレスを表現するのに十分な情報量を埋め込むことができるといえる。
【0045】
(グレースケール画像への情報埋め込み)
次に、グレースケール画像への情報埋め込みについて説明する。
【0046】
前述の可変得点を用いた情報埋め込みと情報読み取りの手法は、二値画像を対象としていた。一般的に明暗の2色で構成されているように見えるロゴ画像でも、ロゴの縁の部分ではアンチエイリアシングが施されていることが多い。アンチエイリアシングは、エッジ付近の画素にグレースケールの値を割り当てることで実現される。アンチエイリアシングが施された画像を二値化すると、ジャギーが目立ち、デザイン性が損なわれることがある。この問題は、コード化の対象となる画像を二値化処理の妨げとならないようにグレースケール化することで解決できる。アンチエイリアシングを含むグレースケール画像中の注目画素の値をv、二値化の閾値をgthとする。gthはグレースケールの原画像に対して大津の閾値判定法を用いることで決定する。vがgthに近ければ、照明変化などにより二値化の結果が変わることがある。そこで、照明変化の影響を受けやすい範囲を黒側の基準値bth=gth―dbと白側の基準値wth=gth+dwで定義し、すべての画素がこの範囲内の値を取らないように以下の処理を行う(図7参照)。ただし、db、dwは照明変動の大きさを反映した閾値である。
【0047】
(1) bth < v < gth であるとき、v=bthとする
(2) gth≦ v < wth であるとき、v=wthとする
(3) v≦bth、v≧wthであるとき、変更しない
gthは画像ごとに異なるので、dbとdwを固定値とすると、白側や黒側のいずれかのレンジが極端に狭くなることがある。dbとdwをそれぞれ0からgthおよびgthから255の幅を考慮して相対的に決定することで、この問題を避けることができる。幅の割合を決定するための係数をc(0≦c≦1)とすると、dbとdwは以下の数式2及び3で求めるものとする。
【0048】
【数2】
【0049】
【数3】
【0050】
さらに、情報埋め込みの白黒の反転の際にも、以下のように画素値を変更することで、原画像からの変化を少なくすることができる。
(1) v≦bth を白に変更するときには、v=wthとする
(2) v≧wthを黒に変更するときには、v=bthとする
図8には、二値化画像をコード化したものとグレースケール画像をコード化したものを示す。グレースケール画像をコード化したものでは、エイリアシングが軽減されていることがわかる。
【0051】
(リード・ソロモン符号を用いた誤り訂正と読み取り成否)
次に、リード・ソロモン符号を用いた誤り訂正と読み取り成否の判定について述べる。観測画像から原画像の復元を行うときには、画素の反転が起こることがある。そこで、Be−codeに埋め込む情報には、QRコードにも採用されている誤り訂正符号の一種であるリード・ソロモン符号を採用する。リード・ソロモン符号を用いることで、少数の誤りに対しては訂正できるようになる。訂正能力を超えた誤りが起こった場合にも、読み取りに失敗したことが判定でき、読み取れるまで画像取得を続けることを促すことができる。
リード・ソロモン符号を用いた情報埋め込みでは、入力されたデータ符号を8ビット1シンボルとして区切り、有限体に基づいて生成される多項式によって、誤り訂正符号を求める。誤り訂正符号をデータ符号に付加したものを通信符号とし、画像に情報を埋め込む。情報の読み取りでは、通信符号に誤りを含んだ受信符号が取得される。受信符号に対し、まず誤りの検索を行い、受信符号に誤りが含まれているか、また、その誤りが訂正可能であるかを判断する。誤りが含まれており、さらにその誤りを訂正可能である場合には、誤り位置多項式によって誤り位置を算出し、訂正する。これにより、誤りのない元の通信符号を復号することができる。誤りが含まれているが、その誤りが訂正不可能である場合には、読み取りに失敗したと通知し、利用者に再度読み取りを促すこととする。
【0052】
次にフレームマーカ及び方向検出マーカの配置について説明する(STEP2)。
【0053】
フレームマーカ(frame marker)は、観測画像から元のロゴ画像の座標系に変換するためのマーカである。それぞれのマーカはm×m画素で黒色の矩形領域であり、エンブレムエリアの外側の四隅に配置される。フレームマーカの内側には、1×1画素で黒色の方向検出マーカ(direction marker)を左上の隅にのみ配置し、画像が回転しても正しい向きで画像復元できるようにしている。フレームマーカと方向検出マーカの間には、1画素分の白色のスペースを取る。フレームマーカを用いて原画像の座標系に変換する方法については、後述する。また、Be−codeの周囲に文字や絵があってもフレームマーカが検出できるように、フレームマーカの外側には白色で1画素以上のマージン(margin)を設ける。
【0054】
(原画像復元のためのフレーム付加)
では、フレームマーカを用いて原画像の座標系に変換する方法について、説明する。
【0055】
カメラで観測する画像で情報読み込みを実現するためには、まず観測画像を原画像の座標系に変換する必要がある。本発明では、図4に示したように、画像の周囲に小さなマー
カを付加することで原画像の座標系への復元を行う。原画像には、上述した可変得点によって情報埋め込みが行われる。このとき、原画像の向きを表現するために、画像の左上に方向検出マーカを付加する。方向検出マーカとその外側の白色のスペースによって、画像の四辺は2画素分ずつ外に膨らむ。このときの画像のサイズをw×h画素とする。
さらに、この画像の四隅にm×m画素の黒色矩形領域から構成されるフレームマーカを付加する。図9に例を示す。図9(a)の原画像から構成されるBe−codeは、図9(b)に示すようになる。
【0056】
原画像復元のためには、まず、観測した画像からBe−codeのフレームマーカを検出する。ここで、観測画像は白黒の二値で表現されているものとして議論を進める。観測画像の二値化については、後述する。観測画像中の黒色領域をラベリングし、連結領域に分割する。このとき、図10に示すように、それぞれの分割領域に外接する長方形のうち、面積が最小となるものを求める。この長方形は、rotating calipers法によって求めることができる。フレームマーカは黒色で塗りつぶされた矩形領域であるので、外接する。
【0057】
長方形の内部は図10(a)に示すように黒色領域の割合が高くなる。その他の一般領域では、図10(b)に示すように黒色でない領域が多く含まれることになる。黒色である割合に閾値を設定して、フレームマーカを検出する。フレームマーカの一辺の大きさmを大きくするほど閾値を高く設定できることになるので、一般領域との判別が容易となる。
【0058】
原画像上の四隅のフレームマーカの外側の点(0,0),(w+2m,0),(w +2m,h+2m),(0,h+2m)を(xi, yi) (i=0,1,2,3)と表すことにする。Be―codeは平面上に貼られているので、観測画像から原画像への変換は3×3の平面射影変換Pで記述することができる。観測画像上で四隅のフレームマーカの外側の点(x’i,y’i)(i=0,1,2,3)を求めることができれば、原画像上の4点(xi、yi)(i=0,1,2,3)との関係はPを用いて以下の数式4から6ように記述される。
【0059】
【数4】
【0060】
【数5】
【0061】
【数6】
【0062】
数式5及び6によって、8つの未知数に対して8つの方程式を立てることができ、Pの各要素の値を求めることができる。w,h は、観測画像上でフレームマーカの大きさとエンブレムエリアの大きさの比から推定することができる。これによって、w,hをあらかじめ規定することなくBe−codeを読み取ることが可能になる。推定手順は以下の通りである。まず、仮の射影変換行列P’を求めるために、任意の定数w’,h’を用いて(xi,yi)(i =0,1,2,3)を定義する。P’は数式4及び5から求められる。P’を用いることで、観測画像からBe−codeが長方形に映るような画像を得ることができる。このときに、縦横比は正しくは得られないが、フレームマーカの大きさとエンブレムエリアの大きさの比を求めるためには問題とならない。
【0063】
P’を用いて復元されたフレームマーカの大きさがm’x×m’yとなるすると、wとhの推定値〜w(チルダw),〜h(チルダh)は以下の数式7,8で求められる。
【0064】
【数7】
【0065】
【数8】
【0066】
このときに、mが小さければ〜w(チルダw),〜h(チルダh)が1画素単位で正しく求まることは期待できない。そこで、原画像の大きさw,h がそれぞれN の定数倍であるという制約を設け、推定のときには〜 w と〜h に最も近いNの定数倍とすることで推定誤りを避ける。今回の実装ではN = 10とした。このとき、〜w(チルダw),〜h(チルダh)を四捨五入することで原画像の大きさw、hの推定値を得ることができる。w,hが推定できれば、観測画像と原画像の間の平面射影変換行列を改めて求め、原画像を復元する。
【0067】
(観測画像の適応的二値化)
次に、観測画像の適応的二値化について説明する。フレームマーカの検出および原画像の復元のためには、観測画像を二値化する必要がある。照明環境により、観測画像の濃淡はマーカ内でも変化する可能性があるので、位置に対して適応的に閾値を設定することが必要となる。QRコードでは、コード内のマーカで区切られたブロックごとに二値化の閾値を設定している。これによって、局所的に陰影が生じる場合にも、正しく二値化を行うことができる。ただし、この処理は各ブロック内に白黒の領域が両方含まれることを前提に行われている。Be―codeでは、QRコードのように小さなブロックごとで適応的に閾値を決定しようとすると、あるブロックでは白の画素あるいは黒の画素のみしか含まれないことが起こり、正しい閾値を得ることができない。そこで、図11に示すように観測画像を中心から上下左右で4分割し、それぞれの領域で適応的に二値化の閾値を決めることとする。Be−codeが中央に配置されていれば、フレームマーカがそれぞれの分割領域で観測されることになるので、それぞれの領域が白黒両方の領域を含むことが保証できる。閾値の決定には、大津の閾値判定法(大津展之“判別および最少2乗基準に基づく自動しきい値選定法、”電子通信学会論文誌、vol.63、no.4、pp.349-356、1980)を用いた。この判定法では、明るさのヒストグラムが双峰性を持つと仮定して、2つの山の境界となる値を二値化の閾値とする。
【0068】
次に、情報復元装置50の処理手順について、図3のフローチャートを用いて説明する。情報復元装置50は、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部(不図示)と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部(不図示)とを備える。
【0069】
情報復元装置50は、情報埋め込み画像を撮影し、(STEP3)。上述した観測画像と原画像の間の平面射影行列を改めて求め、原画像を復元する(STEP4)。情報復元装置50は、上述したように、リード・ソロモン符号を用いた誤り訂正により、情報の読み取りを行う(STEP5)。具体的には、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するに際し、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する。例えば、ソニーエリクソン社製携帯端末Xperia(SO―01B) を用いた実験例をもって説明する。実験では、図13(a)および図13(b)、図13(c)に示す原画像から生成されるBe−code を対象とし、一般的な室内環境で行った。二値化処理を考慮したグレースケール化のための係数cを1/3、1/2、1としたものを対象とした。原画像とc を変えたBe−codeを各100回撮影し、情報読み取りの精度を調べた。図12(a)は撮影の様子であり、図12(b)は実際の観測画像の例である。
【0070】
まず、c と読み取り角度、読み取り成功率の関係を調べた。図13(a)、図13(b)、図13(c)に示した原画像から生成されるBe−codeを机上に置き、100回ずつ自由に撮影を行ってもらった。各画像で平面射影変換行列が求まれば、Be−codeが貼り付けられた平面と観測画像平面とのなす角度を得ることができる。平面射影変換が正しく得られない観測画像については、観測画像上でフレームマーカの位置を手動で指定することで正しい平面射影変換を与えた。これらの角度の5度ごとの頻度を求め、角度ごとの読み取り成功率を示したのが図14である。観測角度の頻度を見ると、いずれのBe−codeにおいても10度以上15度未満、または、15度以上20度未満で最頻値を取ることがわかる。一方で、30度以上で撮影された観測画像はなかった。これは、Be−codeを撮影する際に、正面ではなくこの角度から撮影されることが多いことを示している。このことから、射影ひずみを考慮できる平面射影変換を用いて原画像を復元することが有用であることがわかる。
【0071】
次に、それぞれの角度ごとの読み取り成功率について検討する。c=1/2のときにはサルで2 枚、c = 1のときには手紙で1 枚のみで読み取りに失敗した。このことから、cを1/2以上に設定しておけば、すべての観測画像に対して高い精度で読み取ることができるといえる。c = 1/3のときには、観測角度が大きくなるほど読み取り精度が落ちる傾向がある。また、観測角度が小さいときにもc = 1/2とするときに比べて読み取り精度は低いこともわかる。読み取り結果を詳細に検証すると、c を小さくしたときに読み取りができなかった観測画像では、うまく焦点が合っていないことが確かめられた。これは、エッジ付近にグレースケールの値を加えることで、エッジの高周波成分が失われ、カメラのオートフォーカス機能がうまく働かなかったためと考えられる。焦点が合っていないと、観測画像に焦点ぼけが生じ、正しい二値化画像を得ることができない。観測角度が大きくなるにつれて読み取り精度が悪くなる原因も、焦点ぼけにあると考えられる。画像コードを接写して撮影すると焦点距離が短くなり、被写界深度が浅くなるために、結果として焦点ぼけが大きくなる。観測画像上を詳しく見ると、焦点が合っていない領域があることが確かめられた。これによって、マーカ内部の一部の画素で白黒の反転が起こっていた。カメラを離した上でズームして撮影することができれば、この問題は一部解決することができると考えられる。
【0072】
以上の結果から、観測角度が30度未満であるときには、cを1/2以上に設定することで、高い読み取り精度を保証できるといえる。今回実験した環境では、30度以上の角度で観測されることはなかった。c を小さくするときには、観測角度が大きくなるほどに読み取り精度は下がる。
【0073】
一方で、Be−code にはリード・ソロモン符号が導入されているので、少数の誤りは訂正されており、また、訂正能力を超える誤りは検出することができる。訂正能力を超えた誤りが起こった場合には、ユーザに再撮影を促すようにシステムを設計している。
【0074】
次にグレースケール化によるデザイン性向上の検証について説明する。Be−codeのデザイン性の確保のために原画像のグレースケールの値を利用しており、グレースケール化のための係数cは小さい方がよい。ここでは、cの値を小さくすることによるデザイン性の向上について、検証する。例えば、上述したc = 1/3 としたときとc = 1/2 としたときとで読み取り精度に差があることを述べた。読み取りのことを考慮すると、精度が低下しにくいc = 1/2 に留めておくべきである。このことから、被験者実験ではc を1/2以上とするときの見た目の変化を調べた。図13(a)、図13(b)、図13(c)に示すサル、手紙、結晶の原画像に対して、c = 0.5,0.6,0.7,0.8としてBe−code を生成した。これらとc = 0として生成されたBe―codeとの比較を行い、PSNRを求めたものを表1に示す。c = 0とするときには、原画像とBe―codeとの画素値の差は高々1となり、原画像のグレースケールの値はほぼ保存されることになる。
【0075】
【表1】
【0076】
PSNRの値が大きいほど、比較される2つの画像が近いといえる。表1から、cの値を小さくするほど原画像に近いBe−codeが得られることがわかる。また、同じcの値を設定したときにも、ロゴ画像によってPSNRの値に差があることもわかる。サルの画像から生成されるBe−codeでは、c を大きくすると他の画像よりもPSNRが小さくなった。
【0077】
次に、cの設定が見た目の変化に与える影響について、被験者実験によって調べた。実験のためには、シェッフェの一対比較法の浦の変法を採用した。この方法では、すべての被験者がすべてのサンプル対について評価を行う。サンプルは1つずつ提示され、その順序効果についても考慮がなされる。cの値が異なる2つのBe−codeについて、c = 0で作成されたBe−codeに近いのはどちらかを答えてもらった。被験者は大学生10 名(男子7名、女子3名) とした。評価項目は以下の通りである。ただし、先に提示する方をA、後に提示する方をB とする。
評価値:
+2 : AがB より非常に近い
+1 : AがB よりやや近い
0 : A とB は同等である
―1 : B がA よりやや近い
―2 : B がA より非常に近い
サル、手紙、結晶のいずれにおいても、主効果 は0.01の有意水準で有意であった。その他の効果について、有意差は得られなかった。
【0078】
表2に比較実験の結果を示す。表2の結果からは、すべてのロゴ画像について、cの値が小さなBe−codeはc の値が大きなBe−code よりも、c = 0のBe−codeに有意に近いか、もしくは、有意には変わらないことがわかる。このことから、c の値を小さくすることで見た目は向上するか、あるいは、変わらないと結論づけられる。読み取りのことを考慮すると、精度が低下しにくいc=0.5 に留めておくべきである。
【0079】
【表2】
【0080】
以上により、ロゴ画像などの単純な画像に対して、デザイン性を確保したまま情報埋め込みを実現するBe−code を提案した。可変得点が0.5以上のブロックに対し、中心画素の明暗を変化させることによって、情報埋め込みを行う。カメラでの観測による情報読み取りを可能にするために、フレームを付加し、平面射影変換を求めることで原画像を復元できるようにした。また、デザイン性をさらに確保するために、グレースケール画像に対する情報埋め込みの手法を提案した。実験では、埋め込める情報量および携帯端末による読み取り精度と確保されるデザイン性の関係について検証した。今後の課題として、焦点を合わせやすいパターンの開発を目指す。実験では、射影によって観測距離に幅ができることによる読み取りの失敗と、パターンに高周波がなくなることによりオートフォーカスがうまく働かないことによる読み取りの失敗が見られた。前者は、Be−codeの中心部に焦点が合わせた場合に、Be−code周辺部で焦点が合わなくなることが問題となる。周辺部では焦点が合っていなくても読み取れるようにするためには、周辺部の画素の大きさを調整することで実現できると考えている。後者は、画像全体で高周波成分が失われることが問題であり、オートフォーカスのためにBe−codeの一部に高周波成分を残しておくことで解決できると考えている。
【0081】
情報埋込装置10によれば、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置することにより、ロゴやオブジェクトを囲むドットフレームを配置することなく、情報を埋め込んだ画像を生成することができる。
【0082】
また、情報埋込装置10によれば、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることにより、多くの情報を埋め込むことを可能とする。
また、情報埋込装置10によれば、原画像をグレースケール化することで、情報埋込画像を生成することにより、原画像がアンチェインリアシングされていても、デザイン性を損なわないことを可能とする。
【0083】
また、情報復元装置50によれば、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元することができる。
【0084】
また、情報復元装置50によれば、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求める際には、訂正能力を超えた誤りが起こった場合にも、読み取りに失敗することを判定できる。
【符号の説明】
【0085】
5 プリンタ
15 印刷物
10 情報埋込装置
50 情報復元装置
【技術分野】
【0001】
本発明は、オブジェクトを表す画像に対して情報を埋め込む情報埋込装置、情報復元装置、情報埋込方法、情報復元方法、情報埋込プログラム及び情報復元プログラムに関するものであって、特に、オブジェクト全体の形態を一定に保持しつつ、そのオブジェクトのエッジ部分に情報を埋め込む情報埋込画像を生成する情報埋込装置及び方法並びにプログラムと、その情報埋込画像から情報を復元する情報復元装置及び方法並びにプログラムに関するものである。
【背景技術】
【0002】
従来、携帯端末にURLなどの情報を入力するために、二次元画像コードが広く一般に利用されている。例えば、QRコードはその代表例である。従来の二次元画像コードでは、画像自体に意味を持たないことが多く、コードを商品に貼りつけることでデザイン性を損ねることがあった。
【0003】
また、ロゴなどの単純なグレースケール画像から二次元画像コードを生成する手法をBe−code(Binary−emblem code)と称し、原画像のロゴのエッジ部分の画素の値を変更することで、ロゴの見た目を保ったまま情報を埋め込むことができる技術が提案されている。
【0004】
例えば、この技術に関連するものとして、元画像の形を壊さずに情報の埋め込みを行い、また、元画像情報を必要とせずに埋め込みデータを検出する二値化画像への情報埋め込み方法及び読み出し方法に関する技術が、特許文献1に提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2011−41055号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した情報埋め込み方法及び読み出し方法は、例えば、ロゴやオブジェクトを囲むドットフレームを配置する必要性があり、画像全体として、当該フレームをはずすことができずに、デザインの自由度を制限するという問題があった。
【0007】
そこで、本発明は、上記事情に鑑み、ドットフレームを配置することなく、情報埋め込み、または情報復元を可能とする情報埋込装置、情報復元装置、情報埋込方法、情報復元方法、情報埋込プログラム及び情報復元プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の情報埋込装置は、オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込装置において、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、情報埋込画像に配置する方向検出マーカ配置部とを備えたものである。
【0009】
「フレームマーカ」は、原画像の座標系に変換するためのものである。また、フレームマーカの外側には白色であって、1画素以上のマージンを設けてもよい。
【0010】
「方向検出マーカ」は、原画像の正しい向きに画像復元するためのものである。また、「方向検出マーカ」は、フレームマーカのうちの左隅のものを基準として配置されたものであってもよい。
【0011】
また、本発明の情報埋込装置は、フレームマーカと方向検出マーカの間には、少なくとも1画素分の白色のスペースを設けてもよい。
【0012】
また、本発明の情報埋込装置は、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いるものであってもよい。
【0013】
また、本発明の情報埋込装置は、原画像をグレースケール化することで、情報埋込画像を生成するものであってもよい。
【0014】
また、本発明の情報埋込装置は、埋め込まれた情報は、リード・ソロモン符号を用いたものであってもよい。
【0015】
本発明の情報復元装置は、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部とを備えるものである。
【0016】
本発明の情報復元装置は、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求めるものであってもよい。
【0017】
本発明の情報埋込方法において、オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するに際し、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する。
【0018】
本発明の情報復元方法において、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得するに際し、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する。
【0019】
本発明の情報埋込プログラムにおいて、オブジェクトを表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、コンピュータに、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置する機能と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する機能とを実現させるものである。
【0020】
本発明の情報復元プログラムにおいて、情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元プログラムにおいて、コンピュータに、取得された観測画像から、フレームマーカおよび方向検出マーカを検出する機能と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する機能とを実現するものである。
【発明の効果】
【0021】
本発明の情報埋込装置及び方法並びにプログラムによれば、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置することにより、ロゴやオブジェクトを囲むドットフレームを配置することなく、情報を埋め込んだ画像を生成することができる。
【0022】
また、本発明の情報埋込装置及び方法並びにプログラムによれば、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることにより、多くの情報を埋め込むことを可能とする。
【0023】
また、本発明の情報埋込装置及び方法並びにプログラムによれば、原画像をグレースケール化することで、情報埋込画像を生成することにより、原画像がアンチエイリアシングされていても、デザイン性を損なわないことを可能とする。
【0024】
また、本発明の情報復元装置及び方法並びにプログラムによれば、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元することができる。
【0025】
また、本発明の情報復元装置及び方法並びにプログラムによれば、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求める際には、訂正能力を超えた誤りが起こった場合にも、読み取りに失敗することを判定できる。
【図面の簡単な説明】
【0026】
【図1】本発明の実施形態における情報埋込装置及び情報復元装置を示す図
【図2】本発明の実施形態における情報埋込装置の処理フローを示したフローチャート
【図3】本発明の実施形態における情報復元装置の処理フローを示したフローチャート
【図4】Be−codeの構造を説明するための図
【図5】可変得点が0.5以上となるブロックを説明するための図
【図6】埋め込み情報量を増やすブロック分割を説明するための図
【図7】二値化処理のためのグレースケール化を説明するための図
【図8】グレースケール画像を用いたBe−code生成を説明するための図
【図9】フレーム付加によるBe−code生成を説明するための図
【図10】フレームマーカの探索を示した図
【図11】画像分割による適応的二値化を説明するための図
【図12】実験環境と観測画像例を示した図
【図13】ロゴ画像毎の埋め込み情報量の違いを説明するための図
【図14】グレースケールのための係数cと読み取り角度及び読み取り精度を説明するための図
【発明を実施するための形態】
【0027】
本発明の実施の形態となる情報埋込装置及び情報復元装置について、図面を参照しつつ説明する。
【0028】
図1は、本発明の情報埋込装置10及び情報復元装置50の概略を示す図である。情報埋込装置10は、オブジェクト(例えば、ロゴ画像)を表す原画像を取得し、該原画像から、オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するものであって、情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部(不図示)と、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する方向検出マーカ配置部(不図示)とを備える。また、コンピュータである情報埋込装置10はプリンタ5と接続されている。
【0029】
方向検出マーカ部は、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成されるものであるが、情報埋込画像の左上隅にある、所定の画素領域から構成されるフレームマーカを基準とした例により説明するが、情報埋込画像の左下隅、右下隅、右上隅のいずれかにある所定の画素領域から構成されるフレームマーカを基準としてもよい。
【0030】
情報埋込装置10は、コンピュータであり、各種入力に基づきCPUがROMに記録されたプログラムを実行することで各種機能部として動作する。
【0031】
プリンタ5は、コンピュータである情報埋込装置10により送信された情報埋込画像を印刷し、情報埋込画像を表す印刷物15を出力するものである。
【0032】
情報復元装置50は、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部(不図示)と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部(不図示)とを備えるものである。
【0033】
情報復元装置50は、コンピュータであり、各種入力に基づきCPUがROMに記録されたプログラムを実行することで各種機能部として動作する。また、情報復元装置50は、例えば、カメラ機能付携帯電話、カメラ機能付PDA(Personal Digital Assistant)であってもよい。
【0034】
ここで、本発明の実施形態における二次元画像コードを生成する手法について、図2および図3のフローチャートの手順に沿って、詳細に説明する。なお、ロゴ画像などの単純なグレースケール画像から二次元画像コードを生成する手法をBe−code(Binary−emblem code)と称して説明する。
情報埋込装置10は、オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成するに際し、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置する。
【0035】
情報埋込装置10は、図4に示すように、エンブレムエリア(Emblem area)には、ロゴ画像に情報埋め込みを行ったものを配置する(STEP1)。ロゴ画像への情報埋め込みの具体的な手法は、後述する。また、観測画像からの情報埋め込みを行うときには、ロゴ画像のデザイン性を確保することと、観測環境に依らずに頑健に読み取れることの2つを満足する必要がある。
【0036】
(可変得点を用いた情報埋め込み)
ここで、ロゴ画像への情報埋め込みの具体的な手法について説明する。
ロゴ画像への情報埋め込みは画素値を変化させることで行うが、原画像のデザイン性確保のためには、人間が見て目立たないように画素値を変化させなければならない。これを実現するために、画像上の各微小領域のなめらかさや連結性を考慮して情報埋め込みを行うWuらの手法(Min Wu、Bede Liu、”Data Hiding in Binary Image for Authentication and Annotation”、 IEEE TRANSACTIONS ON MULTIMEDIA、vol.6、No.4、pp.528−538,2004.8)を利用する。Wu らの手法では、二値画像を3×3のブロックに分け、なめらかさと連結数に基づいて可変得点(fippability score)を計算する。なめらかさは、画素(i、j) に対して水平Nh(i、j)、垂直Nv(i,j) および対角Nd1 (i,j)、Nd2 (i,j) に対して計算される(数式1参照)。
【0037】
【数1】
【0038】
ただし、pi,jは画素(i,j)の値であり、I( )は括弧内が真のとき1、偽のときに0 となる関数である。連結数は、ブロック内の白黒の連結領域の数によって調べる。連結領域であるかどうかは、白黒ともに4連結で調べる。
【0039】
可変得点の計算は以下の手順で行う。
(1) ブロック内の画素の値がすべて白、もしくは、すべて黒ならば、可変得点は0とし、終了する。
(2)Nh=0またはNv=0であれば、可変得点は0とし、終了する。それ以外のときにはs=0.5とする。
(3)Nd1=0またはNd2=0とき、s=s−0.125とする。Nd1≠0かつNd2≠0のとき、np=max(0,3 −minp∈{h,v,d1、d2}Np)を求め、s=s−0.125npとする。
(4) 中心画素の値を反転するとき、Nhが変化しなければs=s+0.125とし、変化すればs=s−0.125とする。同様に、Nvが変化しなければs=s+0.125とし、変化すればs=s−0.125とする。
(5) 中心画素の値を反転するとき、連結数が変化すれば、s=s−0.125とする。
(6) s を可変得点とし、終了する。
図5 は可変得点が0.5以上となるブロックの例である。可変得点が0.5以上のブロックでは中央の画素の値を変更しても、やはり可変得点が0.5以上であることが保証される。
【0040】
ロゴ画像から可変得点が0.5以上のブロックを検出し、0を埋め込むときには中央画素に黒を、1を埋め込むときには中央画素に白を埋め込む。情報を読み取るときにも、画像上で可変得点が0.5以上のブロックを見つけ、中央画素が0か1かを見れば、情報を読み取ることができる。この手法では、情報読み込みのときに原画像を参照する必要がない。
【0041】
Wuらの手法はブロック内で黒となる個数が偶数のときに0、奇数のときに1としていたが、偶奇の判定のためには、ブロック内のすべての値が正しく識別されている必要がある。カメラによる観測によって白黒の判定が起こる可能性があることを考えると、中央画素の白黒の値のみによって情報を表現する方が、誤りが少ないことが期待できる。
【0042】
Wuらの手法は図6(a)に示すように画像を3×3のブロックに分けて情報埋め込みを行った。情報埋め込みのためには中心画素の値を変化させるだけでよいので、このブロック分割の方法は効率が悪かった。我々は、より多くの情報を埋め込むために、図6(b)に示すように、隣接するブロックで水平および垂直に1画素重なるようなブロック分割を提案する。これにより、従来手法では画像中の1/9の画素が白黒を変化させる対象となっていたが、この手法では、画像中の1/4の画素がこの対象となる。これにより、同じ画像により多くの情報を埋め込めるようになる。
【0043】
ここで、可変得点が大きいブロックは、なめらかさが小さく複雑なパターンを持つブロックであることに注意されたい。このようなブロックは、ロゴのエッジ部分に多く存在する。結果として、情報埋め込みはロゴのエッジ部分に多くなされることになる。
逆に言えば、埋め込める情報量はロゴがどれほど複雑なエッジを持つかによって変わることになる。単純なロゴに対しては埋め込める情報量が少なくなるが、ロゴ画像内に文字を含めることで埋め込める情報量を増やすこともできる。ロゴ画像の複雑さによる埋め込み情報量の違いはでてくる。
【0044】
(埋め込み情報量の向上)
可変得点を用いた情報埋め込みでは、ロゴ画像にどれほどエッジが含まれるかによって、埋め込める情報量が異なる。例えば、111×80の大きさのロゴ画像に対して、埋め込み容量がどれほどとなるかを調べる。また、隣接するブロックを重なりなく設定する場合と、水平垂直に重ねて設定する場合でどれほど異なるかについても調べた。図12にこの結果を示す。ロゴ画像の形状により、埋め込める情報量が異なることがわかる。図13(a) や図13(c)のように多くのエッジで構成されるロゴ画像や、図13(b)のような傾いたエッジで構成されるロゴ画像では、エッジ部分で可変得点が大きくなるために、埋め込める情報量が多くなる。一方、図13(d)や図13(e)、図13(f)のように、あまりエッジが多くないようなロゴ画像では埋め込める情報量が少なくなる。また、ブロック分割を水平垂直に重ねて設定することで、
91%から172%の埋め込み情報量の増加が行えた。IPv4のアドレスを表現するのに必要な情報量は32ビットであるので、ある程度単純なロゴ画像から生成されるBe−codeであっても、IPv4のアドレスを表現するのに十分な情報量を埋め込むことができるといえる。
【0045】
(グレースケール画像への情報埋め込み)
次に、グレースケール画像への情報埋め込みについて説明する。
【0046】
前述の可変得点を用いた情報埋め込みと情報読み取りの手法は、二値画像を対象としていた。一般的に明暗の2色で構成されているように見えるロゴ画像でも、ロゴの縁の部分ではアンチエイリアシングが施されていることが多い。アンチエイリアシングは、エッジ付近の画素にグレースケールの値を割り当てることで実現される。アンチエイリアシングが施された画像を二値化すると、ジャギーが目立ち、デザイン性が損なわれることがある。この問題は、コード化の対象となる画像を二値化処理の妨げとならないようにグレースケール化することで解決できる。アンチエイリアシングを含むグレースケール画像中の注目画素の値をv、二値化の閾値をgthとする。gthはグレースケールの原画像に対して大津の閾値判定法を用いることで決定する。vがgthに近ければ、照明変化などにより二値化の結果が変わることがある。そこで、照明変化の影響を受けやすい範囲を黒側の基準値bth=gth―dbと白側の基準値wth=gth+dwで定義し、すべての画素がこの範囲内の値を取らないように以下の処理を行う(図7参照)。ただし、db、dwは照明変動の大きさを反映した閾値である。
【0047】
(1) bth < v < gth であるとき、v=bthとする
(2) gth≦ v < wth であるとき、v=wthとする
(3) v≦bth、v≧wthであるとき、変更しない
gthは画像ごとに異なるので、dbとdwを固定値とすると、白側や黒側のいずれかのレンジが極端に狭くなることがある。dbとdwをそれぞれ0からgthおよびgthから255の幅を考慮して相対的に決定することで、この問題を避けることができる。幅の割合を決定するための係数をc(0≦c≦1)とすると、dbとdwは以下の数式2及び3で求めるものとする。
【0048】
【数2】
【0049】
【数3】
【0050】
さらに、情報埋め込みの白黒の反転の際にも、以下のように画素値を変更することで、原画像からの変化を少なくすることができる。
(1) v≦bth を白に変更するときには、v=wthとする
(2) v≧wthを黒に変更するときには、v=bthとする
図8には、二値化画像をコード化したものとグレースケール画像をコード化したものを示す。グレースケール画像をコード化したものでは、エイリアシングが軽減されていることがわかる。
【0051】
(リード・ソロモン符号を用いた誤り訂正と読み取り成否)
次に、リード・ソロモン符号を用いた誤り訂正と読み取り成否の判定について述べる。観測画像から原画像の復元を行うときには、画素の反転が起こることがある。そこで、Be−codeに埋め込む情報には、QRコードにも採用されている誤り訂正符号の一種であるリード・ソロモン符号を採用する。リード・ソロモン符号を用いることで、少数の誤りに対しては訂正できるようになる。訂正能力を超えた誤りが起こった場合にも、読み取りに失敗したことが判定でき、読み取れるまで画像取得を続けることを促すことができる。
リード・ソロモン符号を用いた情報埋め込みでは、入力されたデータ符号を8ビット1シンボルとして区切り、有限体に基づいて生成される多項式によって、誤り訂正符号を求める。誤り訂正符号をデータ符号に付加したものを通信符号とし、画像に情報を埋め込む。情報の読み取りでは、通信符号に誤りを含んだ受信符号が取得される。受信符号に対し、まず誤りの検索を行い、受信符号に誤りが含まれているか、また、その誤りが訂正可能であるかを判断する。誤りが含まれており、さらにその誤りを訂正可能である場合には、誤り位置多項式によって誤り位置を算出し、訂正する。これにより、誤りのない元の通信符号を復号することができる。誤りが含まれているが、その誤りが訂正不可能である場合には、読み取りに失敗したと通知し、利用者に再度読み取りを促すこととする。
【0052】
次にフレームマーカ及び方向検出マーカの配置について説明する(STEP2)。
【0053】
フレームマーカ(frame marker)は、観測画像から元のロゴ画像の座標系に変換するためのマーカである。それぞれのマーカはm×m画素で黒色の矩形領域であり、エンブレムエリアの外側の四隅に配置される。フレームマーカの内側には、1×1画素で黒色の方向検出マーカ(direction marker)を左上の隅にのみ配置し、画像が回転しても正しい向きで画像復元できるようにしている。フレームマーカと方向検出マーカの間には、1画素分の白色のスペースを取る。フレームマーカを用いて原画像の座標系に変換する方法については、後述する。また、Be−codeの周囲に文字や絵があってもフレームマーカが検出できるように、フレームマーカの外側には白色で1画素以上のマージン(margin)を設ける。
【0054】
(原画像復元のためのフレーム付加)
では、フレームマーカを用いて原画像の座標系に変換する方法について、説明する。
【0055】
カメラで観測する画像で情報読み込みを実現するためには、まず観測画像を原画像の座標系に変換する必要がある。本発明では、図4に示したように、画像の周囲に小さなマー
カを付加することで原画像の座標系への復元を行う。原画像には、上述した可変得点によって情報埋め込みが行われる。このとき、原画像の向きを表現するために、画像の左上に方向検出マーカを付加する。方向検出マーカとその外側の白色のスペースによって、画像の四辺は2画素分ずつ外に膨らむ。このときの画像のサイズをw×h画素とする。
さらに、この画像の四隅にm×m画素の黒色矩形領域から構成されるフレームマーカを付加する。図9に例を示す。図9(a)の原画像から構成されるBe−codeは、図9(b)に示すようになる。
【0056】
原画像復元のためには、まず、観測した画像からBe−codeのフレームマーカを検出する。ここで、観測画像は白黒の二値で表現されているものとして議論を進める。観測画像の二値化については、後述する。観測画像中の黒色領域をラベリングし、連結領域に分割する。このとき、図10に示すように、それぞれの分割領域に外接する長方形のうち、面積が最小となるものを求める。この長方形は、rotating calipers法によって求めることができる。フレームマーカは黒色で塗りつぶされた矩形領域であるので、外接する。
【0057】
長方形の内部は図10(a)に示すように黒色領域の割合が高くなる。その他の一般領域では、図10(b)に示すように黒色でない領域が多く含まれることになる。黒色である割合に閾値を設定して、フレームマーカを検出する。フレームマーカの一辺の大きさmを大きくするほど閾値を高く設定できることになるので、一般領域との判別が容易となる。
【0058】
原画像上の四隅のフレームマーカの外側の点(0,0),(w+2m,0),(w +2m,h+2m),(0,h+2m)を(xi, yi) (i=0,1,2,3)と表すことにする。Be―codeは平面上に貼られているので、観測画像から原画像への変換は3×3の平面射影変換Pで記述することができる。観測画像上で四隅のフレームマーカの外側の点(x’i,y’i)(i=0,1,2,3)を求めることができれば、原画像上の4点(xi、yi)(i=0,1,2,3)との関係はPを用いて以下の数式4から6ように記述される。
【0059】
【数4】
【0060】
【数5】
【0061】
【数6】
【0062】
数式5及び6によって、8つの未知数に対して8つの方程式を立てることができ、Pの各要素の値を求めることができる。w,h は、観測画像上でフレームマーカの大きさとエンブレムエリアの大きさの比から推定することができる。これによって、w,hをあらかじめ規定することなくBe−codeを読み取ることが可能になる。推定手順は以下の通りである。まず、仮の射影変換行列P’を求めるために、任意の定数w’,h’を用いて(xi,yi)(i =0,1,2,3)を定義する。P’は数式4及び5から求められる。P’を用いることで、観測画像からBe−codeが長方形に映るような画像を得ることができる。このときに、縦横比は正しくは得られないが、フレームマーカの大きさとエンブレムエリアの大きさの比を求めるためには問題とならない。
【0063】
P’を用いて復元されたフレームマーカの大きさがm’x×m’yとなるすると、wとhの推定値〜w(チルダw),〜h(チルダh)は以下の数式7,8で求められる。
【0064】
【数7】
【0065】
【数8】
【0066】
このときに、mが小さければ〜w(チルダw),〜h(チルダh)が1画素単位で正しく求まることは期待できない。そこで、原画像の大きさw,h がそれぞれN の定数倍であるという制約を設け、推定のときには〜 w と〜h に最も近いNの定数倍とすることで推定誤りを避ける。今回の実装ではN = 10とした。このとき、〜w(チルダw),〜h(チルダh)を四捨五入することで原画像の大きさw、hの推定値を得ることができる。w,hが推定できれば、観測画像と原画像の間の平面射影変換行列を改めて求め、原画像を復元する。
【0067】
(観測画像の適応的二値化)
次に、観測画像の適応的二値化について説明する。フレームマーカの検出および原画像の復元のためには、観測画像を二値化する必要がある。照明環境により、観測画像の濃淡はマーカ内でも変化する可能性があるので、位置に対して適応的に閾値を設定することが必要となる。QRコードでは、コード内のマーカで区切られたブロックごとに二値化の閾値を設定している。これによって、局所的に陰影が生じる場合にも、正しく二値化を行うことができる。ただし、この処理は各ブロック内に白黒の領域が両方含まれることを前提に行われている。Be―codeでは、QRコードのように小さなブロックごとで適応的に閾値を決定しようとすると、あるブロックでは白の画素あるいは黒の画素のみしか含まれないことが起こり、正しい閾値を得ることができない。そこで、図11に示すように観測画像を中心から上下左右で4分割し、それぞれの領域で適応的に二値化の閾値を決めることとする。Be−codeが中央に配置されていれば、フレームマーカがそれぞれの分割領域で観測されることになるので、それぞれの領域が白黒両方の領域を含むことが保証できる。閾値の決定には、大津の閾値判定法(大津展之“判別および最少2乗基準に基づく自動しきい値選定法、”電子通信学会論文誌、vol.63、no.4、pp.349-356、1980)を用いた。この判定法では、明るさのヒストグラムが双峰性を持つと仮定して、2つの山の境界となる値を二値化の閾値とする。
【0068】
次に、情報復元装置50の処理手順について、図3のフローチャートを用いて説明する。情報復元装置50は、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するものであって、取得された観測画像から、フレームマーカおよび方向検出マーカを検出するマーカ検出部(不図示)と、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する画像処理部(不図示)とを備える。
【0069】
情報復元装置50は、情報埋め込み画像を撮影し、(STEP3)。上述した観測画像と原画像の間の平面射影行列を改めて求め、原画像を復元する(STEP4)。情報復元装置50は、上述したように、リード・ソロモン符号を用いた誤り訂正により、情報の読み取りを行う(STEP5)。具体的には、情報埋込装置10により生成された情報埋込画像を撮影することで観測画像を取得するに際し、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元する。例えば、ソニーエリクソン社製携帯端末Xperia(SO―01B) を用いた実験例をもって説明する。実験では、図13(a)および図13(b)、図13(c)に示す原画像から生成されるBe−code を対象とし、一般的な室内環境で行った。二値化処理を考慮したグレースケール化のための係数cを1/3、1/2、1としたものを対象とした。原画像とc を変えたBe−codeを各100回撮影し、情報読み取りの精度を調べた。図12(a)は撮影の様子であり、図12(b)は実際の観測画像の例である。
【0070】
まず、c と読み取り角度、読み取り成功率の関係を調べた。図13(a)、図13(b)、図13(c)に示した原画像から生成されるBe−codeを机上に置き、100回ずつ自由に撮影を行ってもらった。各画像で平面射影変換行列が求まれば、Be−codeが貼り付けられた平面と観測画像平面とのなす角度を得ることができる。平面射影変換が正しく得られない観測画像については、観測画像上でフレームマーカの位置を手動で指定することで正しい平面射影変換を与えた。これらの角度の5度ごとの頻度を求め、角度ごとの読み取り成功率を示したのが図14である。観測角度の頻度を見ると、いずれのBe−codeにおいても10度以上15度未満、または、15度以上20度未満で最頻値を取ることがわかる。一方で、30度以上で撮影された観測画像はなかった。これは、Be−codeを撮影する際に、正面ではなくこの角度から撮影されることが多いことを示している。このことから、射影ひずみを考慮できる平面射影変換を用いて原画像を復元することが有用であることがわかる。
【0071】
次に、それぞれの角度ごとの読み取り成功率について検討する。c=1/2のときにはサルで2 枚、c = 1のときには手紙で1 枚のみで読み取りに失敗した。このことから、cを1/2以上に設定しておけば、すべての観測画像に対して高い精度で読み取ることができるといえる。c = 1/3のときには、観測角度が大きくなるほど読み取り精度が落ちる傾向がある。また、観測角度が小さいときにもc = 1/2とするときに比べて読み取り精度は低いこともわかる。読み取り結果を詳細に検証すると、c を小さくしたときに読み取りができなかった観測画像では、うまく焦点が合っていないことが確かめられた。これは、エッジ付近にグレースケールの値を加えることで、エッジの高周波成分が失われ、カメラのオートフォーカス機能がうまく働かなかったためと考えられる。焦点が合っていないと、観測画像に焦点ぼけが生じ、正しい二値化画像を得ることができない。観測角度が大きくなるにつれて読み取り精度が悪くなる原因も、焦点ぼけにあると考えられる。画像コードを接写して撮影すると焦点距離が短くなり、被写界深度が浅くなるために、結果として焦点ぼけが大きくなる。観測画像上を詳しく見ると、焦点が合っていない領域があることが確かめられた。これによって、マーカ内部の一部の画素で白黒の反転が起こっていた。カメラを離した上でズームして撮影することができれば、この問題は一部解決することができると考えられる。
【0072】
以上の結果から、観測角度が30度未満であるときには、cを1/2以上に設定することで、高い読み取り精度を保証できるといえる。今回実験した環境では、30度以上の角度で観測されることはなかった。c を小さくするときには、観測角度が大きくなるほどに読み取り精度は下がる。
【0073】
一方で、Be−code にはリード・ソロモン符号が導入されているので、少数の誤りは訂正されており、また、訂正能力を超える誤りは検出することができる。訂正能力を超えた誤りが起こった場合には、ユーザに再撮影を促すようにシステムを設計している。
【0074】
次にグレースケール化によるデザイン性向上の検証について説明する。Be−codeのデザイン性の確保のために原画像のグレースケールの値を利用しており、グレースケール化のための係数cは小さい方がよい。ここでは、cの値を小さくすることによるデザイン性の向上について、検証する。例えば、上述したc = 1/3 としたときとc = 1/2 としたときとで読み取り精度に差があることを述べた。読み取りのことを考慮すると、精度が低下しにくいc = 1/2 に留めておくべきである。このことから、被験者実験ではc を1/2以上とするときの見た目の変化を調べた。図13(a)、図13(b)、図13(c)に示すサル、手紙、結晶の原画像に対して、c = 0.5,0.6,0.7,0.8としてBe−code を生成した。これらとc = 0として生成されたBe―codeとの比較を行い、PSNRを求めたものを表1に示す。c = 0とするときには、原画像とBe―codeとの画素値の差は高々1となり、原画像のグレースケールの値はほぼ保存されることになる。
【0075】
【表1】
【0076】
PSNRの値が大きいほど、比較される2つの画像が近いといえる。表1から、cの値を小さくするほど原画像に近いBe−codeが得られることがわかる。また、同じcの値を設定したときにも、ロゴ画像によってPSNRの値に差があることもわかる。サルの画像から生成されるBe−codeでは、c を大きくすると他の画像よりもPSNRが小さくなった。
【0077】
次に、cの設定が見た目の変化に与える影響について、被験者実験によって調べた。実験のためには、シェッフェの一対比較法の浦の変法を採用した。この方法では、すべての被験者がすべてのサンプル対について評価を行う。サンプルは1つずつ提示され、その順序効果についても考慮がなされる。cの値が異なる2つのBe−codeについて、c = 0で作成されたBe−codeに近いのはどちらかを答えてもらった。被験者は大学生10 名(男子7名、女子3名) とした。評価項目は以下の通りである。ただし、先に提示する方をA、後に提示する方をB とする。
評価値:
+2 : AがB より非常に近い
+1 : AがB よりやや近い
0 : A とB は同等である
―1 : B がA よりやや近い
―2 : B がA より非常に近い
サル、手紙、結晶のいずれにおいても、主効果 は0.01の有意水準で有意であった。その他の効果について、有意差は得られなかった。
【0078】
表2に比較実験の結果を示す。表2の結果からは、すべてのロゴ画像について、cの値が小さなBe−codeはc の値が大きなBe−code よりも、c = 0のBe−codeに有意に近いか、もしくは、有意には変わらないことがわかる。このことから、c の値を小さくすることで見た目は向上するか、あるいは、変わらないと結論づけられる。読み取りのことを考慮すると、精度が低下しにくいc=0.5 に留めておくべきである。
【0079】
【表2】
【0080】
以上により、ロゴ画像などの単純な画像に対して、デザイン性を確保したまま情報埋め込みを実現するBe−code を提案した。可変得点が0.5以上のブロックに対し、中心画素の明暗を変化させることによって、情報埋め込みを行う。カメラでの観測による情報読み取りを可能にするために、フレームを付加し、平面射影変換を求めることで原画像を復元できるようにした。また、デザイン性をさらに確保するために、グレースケール画像に対する情報埋め込みの手法を提案した。実験では、埋め込める情報量および携帯端末による読み取り精度と確保されるデザイン性の関係について検証した。今後の課題として、焦点を合わせやすいパターンの開発を目指す。実験では、射影によって観測距離に幅ができることによる読み取りの失敗と、パターンに高周波がなくなることによりオートフォーカスがうまく働かないことによる読み取りの失敗が見られた。前者は、Be−codeの中心部に焦点が合わせた場合に、Be−code周辺部で焦点が合わなくなることが問題となる。周辺部では焦点が合っていなくても読み取れるようにするためには、周辺部の画素の大きさを調整することで実現できると考えている。後者は、画像全体で高周波成分が失われることが問題であり、オートフォーカスのためにBe−codeの一部に高周波成分を残しておくことで解決できると考えている。
【0081】
情報埋込装置10によれば、原画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、フレームマーカのうちいずれか一つを基準として、オブジェクト側に所定の画素領域から構成される方向検出マーカを、原画像に配置することにより、ロゴやオブジェクトを囲むドットフレームを配置することなく、情報を埋め込んだ画像を生成することができる。
【0082】
また、情報埋込装置10によれば、オブジェクトのエッジ部分に情報を埋め込むに際し、原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることにより、多くの情報を埋め込むことを可能とする。
また、情報埋込装置10によれば、原画像をグレースケール化することで、情報埋込画像を生成することにより、原画像がアンチェインリアシングされていても、デザイン性を損なわないことを可能とする。
【0083】
また、情報復元装置50によれば、取得された観測画像から、フレームマーカおよび方向検出マーカを検出し、検出されたマーカから観測画像から原画像の座標系に変換および、観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、埋め込まれた情報を復元することができる。
【0084】
また、情報復元装置50によれば、埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求める際には、訂正能力を超えた誤りが起こった場合にも、読み取りに失敗することを判定できる。
【符号の説明】
【0085】
5 プリンタ
15 印刷物
10 情報埋込装置
50 情報復元装置
【特許請求の範囲】
【請求項1】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込装置において、
前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置する方向検出マーカ配置部とを備えたことを特徴とする情報埋込装置。
【請求項2】
前記フレームマーカは、前記原画像の座標系に変換するためのものであることを特徴とする請求項1記載の情報埋込装置。
【請求項3】
前記方向検出マーカは、前記オブジェクトを表す原画像の正しい向きに画像復元するためのものであることを特徴とする請求項1または2記載の情報埋込装置。
【請求項4】
前記方向検出マーカは、前記フレームマーカのうちの左隅のものを基準として配置されたものであることを特徴とする請求項1から3いずれか1項記載の情報埋込装置。
【請求項5】
前記フレームマーカの外側には白色であって、1画素以上のマージンを設けることを特徴とする請求項1から4いずれか1項記載の情報埋込装置。
【請求項6】
前記フレームマーカと前記方向検出マーカの間には、少なくとも1画素分の白色のスペースを設けることを特徴とする1から5いずれか1項記載の情報埋込装置。
【請求項7】
前記オブジェクトのエッジ部分に情報を埋め込むに際し、前記原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることを特徴とする請求項1から6いずれか1項記載の情報埋込装置。
【請求項8】
前記原画像をグレースケール化することで、情報埋込画像を生成するものであることを特徴とする請求項1から7いずれか1項記載の情報埋込装置。
【請求項9】
前記埋め込まれた情報は、リード・ソロモン符号を用いたことを特徴とする請求項1から8いずれか1項記載の情報埋込装置。
【請求項10】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元装置において、
前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出するマーカ検出部と、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する画像処理部とを備えたことを特徴とする請求項1から9いずれか1項記載の情報復元装置。
【請求項11】
前記情報復元装置は、前記埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求めることを特徴とする請求項10記載の情報復元装置。
【請求項12】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込方法において、
前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置することを特徴とする情報埋込装置。
【請求項13】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元方法において、
前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出し、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元することを特徴とする請求項1から9いずれか1項記載の情報復元方法。
【請求項14】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込プログラムにおいて、
コンピュータに、前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置する機能と、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置する機能とを実現させることを特徴とする情報埋込プログラム。
【請求項15】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元プログラムにおいて、
コンピュータに、前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出する機能と、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する機能とを実現することを特徴とする請求項1から9いずれか1項記載の情報復元プログラム。
【請求項1】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込装置において、
前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置するフレームマーカ配置部と、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置する方向検出マーカ配置部とを備えたことを特徴とする情報埋込装置。
【請求項2】
前記フレームマーカは、前記原画像の座標系に変換するためのものであることを特徴とする請求項1記載の情報埋込装置。
【請求項3】
前記方向検出マーカは、前記オブジェクトを表す原画像の正しい向きに画像復元するためのものであることを特徴とする請求項1または2記載の情報埋込装置。
【請求項4】
前記方向検出マーカは、前記フレームマーカのうちの左隅のものを基準として配置されたものであることを特徴とする請求項1から3いずれか1項記載の情報埋込装置。
【請求項5】
前記フレームマーカの外側には白色であって、1画素以上のマージンを設けることを特徴とする請求項1から4いずれか1項記載の情報埋込装置。
【請求項6】
前記フレームマーカと前記方向検出マーカの間には、少なくとも1画素分の白色のスペースを設けることを特徴とする1から5いずれか1項記載の情報埋込装置。
【請求項7】
前記オブジェクトのエッジ部分に情報を埋め込むに際し、前記原画像を水平および垂直方向に1画素ずつ重なるように所定の画素ブロックに分割し、可変得点を用いることを特徴とする請求項1から6いずれか1項記載の情報埋込装置。
【請求項8】
前記原画像をグレースケール化することで、情報埋込画像を生成するものであることを特徴とする請求項1から7いずれか1項記載の情報埋込装置。
【請求項9】
前記埋め込まれた情報は、リード・ソロモン符号を用いたことを特徴とする請求項1から8いずれか1項記載の情報埋込装置。
【請求項10】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元装置において、
前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出するマーカ検出部と、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する画像処理部とを備えたことを特徴とする請求項1から9いずれか1項記載の情報復元装置。
【請求項11】
前記情報復元装置は、前記埋め込まれた情報であるリード・ソロモン符号から誤り訂正符号を求めることを特徴とする請求項10記載の情報復元装置。
【請求項12】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込方法において、
前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置し、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置することを特徴とする情報埋込装置。
【請求項13】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元方法において、
前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出し、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元することを特徴とする請求項1から9いずれか1項記載の情報復元方法。
【請求項14】
オブジェクトを表す原画像を取得し、該原画像から、前記オブジェクト全体の形態を一定に保持しつつ、前記オブジェクトのエッジ部分に情報を埋め込んだ情報埋込画像を生成する情報埋込プログラムにおいて、
コンピュータに、前記情報埋込画像の四隅それぞれに、所定の画素領域から構成されるフレームマーカを配置する機能と、
前記フレームマーカのうちいずれか一つを基準として、前記オブジェクト側に所定の画素領域から構成される方向検出マーカを、前記情報埋込画像に配置する機能とを実現させることを特徴とする情報埋込プログラム。
【請求項15】
前記情報埋込装置により生成された情報埋込画像を撮影することで観測画像を取得する情報復元プログラムにおいて、
コンピュータに、前記取得された観測画像から、前記フレームマーカおよび方向検出マーカを検出する機能と、
前記検出されたマーカから前記観測画像から前記原画像の座標系に変換および、前記観測画像を原画像の向きに変換し、該変換された観測画像を二値化し、該二値化された観測画像を平面射影変換することにより、原画像を復元し、前記埋め込まれた情報を復元する機能とを実現することを特徴とする請求項1から9いずれか1項記載の情報復元プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2013−42465(P2013−42465A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2011−179854(P2011−179854)
【出願日】平成23年8月19日(2011.8.19)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 一般社団法人 画像電子学会,2011年6月24日発行 国立大学法人山梨大学 2011年2月22日発行 国立大学法人山梨大学 2011年2月22日発行
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(304023994)国立大学法人山梨大学 (223)
【出願人】(504226674)株式会社クレスコ (1)
【Fターム(参考)】
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願日】平成23年8月19日(2011.8.19)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 一般社団法人 画像電子学会,2011年6月24日発行 国立大学法人山梨大学 2011年2月22日発行 国立大学法人山梨大学 2011年2月22日発行
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(304023994)国立大学法人山梨大学 (223)
【出願人】(504226674)株式会社クレスコ (1)
【Fターム(参考)】
[ Back to top ]