説明

情報取得方法、及び情報取得プログラム

【課題】 2次元コードは、一般的にその外見が無機的な印象を与えてしまうため、ポスターや雑誌といったメディアに2次元コードを印刷するとき、メディア上の写真や意匠にうまく適合せず、美的な不一致の理由で、2次元コードの採用が見送られることがある。この、ポスター等への不一致感を低減できるコードによる情報取得技術を実現する。
【解決手段】 対象物を携帯情報端末200の撮影手段204で撮影することで取得した撮影画像に含まれるパターンから、画像処理手段210が当該パターンに対応つけられた情報を読み取る情報取得方法であって、対象物はミュージックバーコード100を含んでおり、パターンはミュージックバーコード100である。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影された2次元コードの画像から、そのコードに含まれる情報を取得する技術に関する。
【背景技術】
【0002】
撮影された2次元コードの画像から、そのコードに含まれる情報を取得する技術が知られている。
【0003】
このような技術の例として、図35に示すような2次元コードの白色、及び黒色のパターンをカメラの撮影画像中から抽出し、埋め込まれた情報を取得するものなどがある。このような2次元コードは、白色、及び黒色で塗りつぶされた正方形を並べたものが多く、その白色、及び黒色のパターンに情報が埋め込まれている。この技術を用いることによって、ユーザは2次元コードを携帯情報端末のカメラによって撮影するだけで文字情報等を取得することができる。このため、文字情報を携帯情報端末に入力したり、メモをとったりするよりも素早く情報を端末に取得することができる。この技術はいくつかの分野で利用されている。
【0004】
この技術の主な利用方法に、ポスター、チラシ、又はカタログ上のコンテンツとネットワーク上でこれらに関わる情報サービスとをスムーズに連携させるシステムがある。例えば、ポスターが、あるアーティストの新曲を宣伝するものであるとする。このポスターには、新曲をオンラインで購入できるインターネットサイトのリンク情報を保持する2次元コードが印刷されているものとする。このポスターを見て、新曲に興味を抱いたユーザは、印刷されている2次元コードを携帯情報端末で読み取ることで、この新曲の販売サイトへアクセスすることができる。
【0005】
従来ならば印刷されているURLのメモを取ったり、端末に直接入力したりする必要があったが、この例の様な技術を利用することで、広告と情報サービスとをスムーズに連携させることができる(例えば、特許文献1参照。)。
【0006】
また、類似する技術として、電子透かしがある。電子透かしは、ポスター等に人にはわからないように情報を埋め込むことができる。この電子透かしは2次元コードと同様にカメラ以外の装置を必要としないため、利用が簡単であるという利点がある(例えば、特許文献2参照。)。しかし、電子透かしは、2次元コードと比較して検出精度が悪い、検出に大きな計算量を必要とする、及び人は電子透かしが埋め込まれていることに気づきにくい、という問題がある。したがって、駅のコンコースで乗客がポスターと携帯情報端末とを用いて、興味のある情報を通勤、通学等の状況で取得するシーンを考慮すると、電子すかしをこのようなシステムに応用することは難しい。
【特許文献1】特開2004−179783号公報
【特許文献2】特開平10−224342号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
2次元コードは、一般的にその外見が無機的な印象を与えてしまう。このため、ポスターや雑誌といったメディアに2次元コードを印刷するとき、メディア上の写真や意匠にうまく適合しないという問題があった。このため、美的な不一致の理由で、2次元コードの採用が見送られることがある。
【0008】
本発明では、ポスター等への不一致感を低減できるコードによる情報取得技術を実現することを目的とする。
【課題を解決するための手段】
【0009】
そこで、上記課題を解決するために、請求項1に記載の発明は、対象物を携帯情報端末の撮影手段で撮影することで取得した撮影画像に含まれるパターンから、画像処理手段が当該パターンに対応つけられた情報を読み取る情報取得方法であって、前記対象物はミュージックバーコードを含んでおり、前記パターンは当該ミュージックバーコードであることを特徴とする。
【0010】
また、請求項2に記載の発明は、前記ミュージックバーコードは、所定の形状、及び所定の大きさのマークが縦方向に配置されてなるインジケータを横方向に配置することで構成されるレベルインジケータであることを特徴とする。
【0011】
また、請求項3に記載の発明は、前記ミュージックバーコードは、所定の形状、及び所定の大きさのマークが横方向に配置されてなるインジケータを縦方向に配置することで構成されるレベルインジケータであることを特徴とする。
【0012】
また、請求項4に記載の発明は、前記インジケータを構成するマークは3種類の色のうちいずれかの色を有しており、当該3種類の色は、前記インジケータ中の一のマークのみが有する第一の色と、前記第一の色を有するマークよりも低いレベルに位置するマークが有する第2の色と、前記第一の色、及び前記第二の色のいずれも有さないマークが有している第三の色と、であることを特徴とする。
【0013】
また、請求項5に記載の発明は、前記ミュージックバーコードは、当該ミュージックバーコードの外縁を決定するロケータを有していることを特徴とする。
【0014】
また、請求項6に記載の発明は、前記画像処理手段は、ロケータ検出手段が、前記撮影画像から前記ロケータを検出して当該撮影画像からミュージックバーコード領域画像を抽出するロケータ検出ステップと、インジケータマトリックス抽出手段が、前記ミュージックバーコード領域画像からマーク以外の領域を削除したインジケータマトリックス画像を作成し、当該インジケータマトリックス画像からインジケータマトリックスを作成するインジケータマトリックス抽出ステップと、レベル検出手段が、前記インジケータマトリックスから前記インジケータのレベルを検出するレベル検出ステップと、ピークレベル検出手段が、前記インジケータマトリックスから前記インジケータのピークレベルを検出するピークレベル検出ステップと、識別番号復号手段が、前記インジケータのレベル、及び前記インジケータのピークレベルに基づいて識別番号を復号する識別番号復号ステップと、を有することを特徴とする。
【0015】
また、請求項7に記載の発明は、前記画像処理手段は、画像正規化手段が、前記ロケータ検出手段が抽出したミュージックバーコード領域画像を正規化して、幾何的な歪みを修正した正規化ミュージックバーコード領域画像を生成する画像正規化ステップを有し、前記インジケータマトリックス抽出手段は、前記正規化ミュージックバーコード領域画像に基づいて、前記インジケータマトリックス抽出ステップを行うことを特徴とする。
【0016】
また、請求項8に記載の発明は、前記対象物は音響機器の表示手段であり、前記ミュージックバーコードは当該表示手段に表示されたグラフィックイコライザであることを特徴とする。
【0017】
また、請求項9に記載の発明は、前記画像処理手段は前記携帯情報端末に内蔵されていることを特徴とする。
【0018】
また、請求項10に記載の発明は、上記請求項1〜9いずれかに記載の情報取得方法を、コンピュータで実行可能に記載したプログラムである。
【0019】
請求項1〜10に記載の発明では、ミュージックバーコードから情報を得ることができる。
【0020】
さらに、請求項5に記載の発明では、ロケータによりミュージックバーコード領域を特定することができる。
【0021】
さらに、請求項7に記載の発明では、撮影により生じる画像の幾何的な歪みを修正することができる。
【0022】
さらに、請求項8に記載の発明では、音響機器の表示手段に表示されたイコライザを撮影することで情報を取得することができる。
【0023】
さらに、請求項9に記載の発明では、撮影を行った携帯情報端末において情報取得処理を行うことができる。
【発明の効果】
【0024】
請求項1〜10に記載の発明によれば、従来のコード等と比較してミュージックバーコードは周囲との不一致を低減することができるので、ポスター等にコードを付する際に周囲との不一致を低減することが可能となる。
【0025】
さらに、請求項5に記載の発明によれば、より正確にミュージックバーコードの位置を特定することが可能にとなる。
【0026】
さらに、請求項7に記載の発明によれば、より正確にミュージックバーコードから情報を取得することが可能となる。
【0027】
さらに、請求項8に記載の発明によれば、音響機器を用いて情報を提供することが可能となる。
【0028】
さらに、請求項9に記載の発明によれば、携帯情報端末内で情報取得を行うことができるので、より早く情報を取得することが可能となる。
【発明を実施するための最良の形態】
【0029】
以下に、本発明の実施形態について図面を用いて説明する。
【0030】
(実施形態1)
図1に本実施形態で用いる2次元コードを用いた情報取得システムの構成図を示す。図1に示すように、2次元コードを用いた情報取得システムは紙面に印刷されたミュージックバーコード100からなる2次元コード、及び撮影手段204を備える携帯情報端末200から構成される。
【0031】
(ミュージックバーコード)
ミュージックバーコード100は、オーディオ機器に使用されるグラフィックイコライザに似た形状を持つ2次元コードである。このミュージックバーコードは、レベルインジケータ101、及びロケータ102から構成される。
【0032】
(ロケータ)
ロケータ102は、携帯情報端末200の撮影手段204でミュージックバーコード100を撮影した撮影画像中において、ミュージックバーコード100の画像中での位置を探索するために用いられる。
【0033】
本実施形態では、大きさ、及び色の異なる2つ1組の同心円をロケータ102として用いる。この2つの円は、円の中心が一致するように配置されている。また、外側の円から内側の円をくりぬいたドーナツ形状の幅と、中心の円直径とを等しくするため、外側の円と内側の円との半径の比を3:1としている。また、この2つの円は、それぞれ異なる色相を持つ色で塗りつぶされる。本実施形態では、塗りつぶしに青色、赤色、及び黄色の固定の3色を用いている。このマーカーの塗りつぶしに用いる色の組み合わせにロケータ識別番号を割り当て、ロケータ102を識別することができる。本実施形態では、図2に示すように、ミュージックバーコード100の四隅の各頂点に、左上、右上、右下、左下の順に頂点番号を割り振る。このロケータ102の頂点番号として、ロケータ識別番号を利用する。本実施形態における色の組み合わせと頂点番号との対応は、図3に示すようになっている。
【0034】
(レベルインジケータ)
レベルインジケータ101は、インジケータ103が複数列配置されて構成される。インジケータ103は、複数個のマーク104の列によって構成される。本実施形態では、マーク104に長方形を用いている。このマーク104は、それぞれ、緑色、赤色、又は黒色で塗りつぶされる。赤色のマーク104は、インジケータ中に常に1個だけ存在する。赤色のマーク104より上段に緑色のマーク104は、存在しない。この赤色のマーク104の段数がインジケータ103のピークレベルを表現する。緑色のマーク104は、常に最下段から赤色のマーク104を超えない任意の段まで塗りつぶされる。この緑色のマーク104の個数がインジケータ103のレベルを表現する。インジケータ103中の緑色でも赤色でもないマーク104は、黒色のマーク104で塗りつぶされる。図4の場合は、レベルが4、ピークレベルが6となる。
【0035】
ここで、nレベルとm列から構成されるレベルインジケータ103を持つミュージックバーコード100が保持できる情報量について説明する。
【0036】
各インジケータ103は、nレベルの場合、n×(n+1)/2通りの表現が可能である。このため、m列をすべて統合すると、(n×(n+1)/2)m通りの表現可能となる。例えば、8レベル、8列のレベルインジケータ101は、図5及び図6に示すように、2821109907456通り(約206bit)の表現が可能である。
【0037】
(携帯情報端末)
携帯情報端末200は、演算処理手段であるCPU201、データを保存するメモリ手段202、液晶モニタ等を用いた映像表示手段203、CCDカメラ若しくはCMOSカメラを用いた撮影手段204、並びに入力手段220を備える。
【0038】
さらに、CPU201は、ロケータ検出手段205、インジケータマトリックス抽出手段206、レベル検出手段207、ピークレベル検出手段208、及び識別番号復号手段209を有する、画像処理手段210を備える。
【0039】
(携帯情報端末によるミュージックバーコードの読み取り方法)
まずユーザは、ポスターに印刷されているミュージックバーコード100を携帯情報端末200が備える撮影手段204で撮影する。撮影後、撮影手段204は図7に示すような撮影画像を生成し、この撮影画像をメモリ手段202上に保存する。
【0040】
次に処理は、CPU201の画像処理手段210へ移る。
【0041】
画像処理手段210において、まずロケータ検出手段205で処理が行われる。ロケータ検出手段205は、固定の3色以外の色相値を持つ撮影画像中の画素の値を黒色に置き換えたロケータ探索用画像をメモリ手段202上に作成する。また、撮影画像と同じサイズのロケータ抽出画像をメモリ手段202上に作成する。
【0042】
次に、ロケータ探索用画像を左上隅の点から右方向に調査する。このとき図3に従って、検出した領域の頂点番号も同時に検出する。例えば、赤色、青色、赤色と色が変化している領域が検出された場合、この領域は外側が赤色、内側が青色の円で構成されたロケータの一部であり、頂点番号は6と検出できる。
【0043】
ロケータ検出手段205は、ロケータの一部である領域が検出されると、この領域に対応するロケータ抽出画像の領域に検出した頂点番号を書き込む。撮影画像の1行の調査が終了すると下の行へ移動し、すべてロケータ探索用画像の行に対して、同様の調査を行う。
【0044】
また、同様の処理を左上の隅の点から下方向について行う。この処理も、すべてロケータ探索用画像の列に対して、調査を行う。
【0045】
右方向と下方向の調査のいずれにも検出され、さらに上書きされた頂点番号が両方向の調査で一致するロケータ抽出画像中の画素をロケータを構成する領域であるとし、図8に示すようにこの領域の重心を検出する。この重心を各ロケータの中心位置として、頂点番号とともにメモリ手段202上に保存する。
【0046】
その後、ロケータ検出手段205は、ロケータ探索用画像、及びロケータ抽出画像をメモリ手段202上から削除する。
【0047】
次に、ロケータ検出手段205は、得られた4つのロケータの座標を頂点番号順に並び替え、図9に示すような、この4つのロケータに囲まれたミュージックバーコード領域を決定する。決定されたミュージックバーコード領域を、メモリ手段202上に、図10に示すようなミュージックバーコード領域画像として保存し、撮影画像をメモリ手段202上から削除する。
【0048】
このミュージックバーコード領域画像から、インジケータマトリックス抽出手段206がインジケータマトリックスを抽出する。
【0049】
まず、インジケータマトリックス抽出手段206は、所定のミュージックバーコード領域の大きさ、及びレベルインジケータ101の大きさの比から、図11に示すようにミュージックバーコード領域画像をトリミングする。レベルインジケータ101のどの部分がマーク104であるかは、マーク104がレベルインジケータ101、及びインジケータ103に対し、所定のサイズであることから、判定することが可能である。
【0050】
次に、インジケータマトリックス抽出手段206は、トリミングされたミュージックバーコード領域画像から、図12に示すようにマーク以外の領域を削除する。これを、インジケータマトリックス画像として、メモリ手段202上に保存する。
【0051】
次に、インジケータマトリックス抽出手段206は、インジケータマトリックス画像を64分割する。このとき64分割は、レベルインジケータ101の縦横比に応じて行われる。本実施例で用いるレベルインジケータ101の縦横比は、1:4であるため、図12のように分割される。
【0052】
次に、インジケータマトリックス検出手段206は、分割された領域中の各画素を緑色、赤色、黒色、及びその他の色の4種類で分類したヒストグラムを、それぞれの領域毎、すなわち64個、メモリ手段202上に生成する。なお、この各領域中のヒストグラムでもっとも頻度の高い色をその領域の色とする。
【0053】
次に、インジケータマトリックス抽出手段206は、メモリ手段202上に、図13に示すような8行8列のインジケータマトリックスを生成する。インジケータマトリックスの行は、分割された領域の行成分に対応する。またインジケータマトリックスの列は、分割された領域の列成分に対応する。インジケータマトリックスの行列成分は、対応する領域の色によって決定される。成分は、赤色の場合は2、緑色の場合は1、黒色の場合は0となる。
【0054】
インジケータマトリックスをレベル検出手段207、及びピークレベル検出手段208が読み取った後に、インジケータマトリックス抽出手段206は、ヒストグラム、撮影画像、ミュージックバーコード領域画像、及びインジケータマトリックス画像をメモリ手段202上から削除する。
【0055】
レベル検出手段207はインジケータマトリックスから、各インジケータ毎のレベルを検出する。
【0056】
まず、レベル検出手段207は、メモリ手段202上に、図14に示すようなレベル行列を生成する。そして、インジケータマトリックスの各列毎に、レベルを算出し、そのレベルを各行毎にレベル行列に保存する。レベルは、各列毎の値が1である要素の個数で決定される。
【0057】
また、ピークレベル検出手段208は、インジケータマトリックスから、各インジケータ毎のピークレベルを検出する。
【0058】
まず、ピークレベル検出手段208は、メモリ手段202上に、図15に示すようなピークレベル行列を生成する。そして、インジケータマトリックスの各列毎に、ピークレベルを算出し、そのピークレベルを各行毎にレベル行列に保存する。ピークレベルは、各列毎の値が2である要素の行数を、インジケータマトリックスの行数から差し引いた値で決定される。
【0059】
識別番号復号手段209では、レベル行列、及びピークレベル行列の値からミュージックバーコード100が保持する識別番号を復号する。復号は、レベル行列とピークレベル行列の列毎に図16に示されるように行われる。
【0060】
このように、ユーザは、携帯情報端末200が備える撮影手段204でミュージックバーコード100を撮影することで、このミュージックバーコード100に埋め込まれた識別番号を読み取ることができる。
【0061】
(実施形態2)
ミュージックバーコード100に正対し、さらにこのミュージックバーコード100を横方向(又は縦方向)の画角いっぱいに撮影することを条件とすると、図17に示すような撮影画像を得ることができる。このような撮影条件を前提とした場合、ミュージックバーコード100をロケータ102なしで構成することも可能である。
【0062】
以下、図18に示すように、ロケータ検出手段205を、トリミング領域算出手段1811、ミュージックバーコード領域画像生成手段1812、及びミュージックバーコード領域画像確認手段1813を有するミュージックバーコード検出手段1805に置き換えて、画像処理手段1810を構成した場合のロケータを持たないミュージックバーコードの具体的な処理方法について説明する。
【0063】
撮影画像中に、横方向(又は縦方向)の画角いっぱいに、かつ、中央にミュージックバーコード100が撮影されていると仮定する。このとき、撮影画像の横幅がミュージックバーコード100の横幅(又は高さ)と等しいとすることができる。ここで、ミュージックバーコード100の縦横比は所定である。したがって、この縦横比、及び撮影画像の横幅(又は高さ)を用いて、トリミング領域算出手段1811が、撮影画像中のミュージックバーコード100の高さ(又は横幅)を算出できる。このようにして算出したミュージックバーコード100の高さ(又は横幅)を用いて、トリミング領域算出手段1811が、図19に示すように撮影画像からトリミングする領域を決定し、ミュージックバーコード領域画像生成手段1812が、この領域をトリミングして、図11に示すトリミングしたミュージックバーコード領域画像を得ることができる。
【0064】
ただし、図20に示すように、ミュージックバーコード100が中央に撮影されない場合もあると考えられる。このような場合には、図21に示すようにミュージックバーコード100が中央にあると仮定して処理を実行すると、図22に示すように非ミュージックバーコード領域をミュージックバーコード100として認識してしまう可能性がある。
【0065】
ここで、マーク104間の隙間領域とミュージックバーコード領域画像との面積比は一定である。この情報を利用し、ミュージックバーコード領域画像確認手段1813が、トリミング後のミュージックバーコード領域画像の全体の面積に対するマーク104間の隙間領域の面積の比率を算出し、正しいトリミング位置かどうかを確認する。そして、トリミング位置が正しくない場合は、トリミング領域の位置をずらし、再びトリミングを行い、確認を行う。
【0066】
ミュージックバーコードが中央に撮影されないことを考慮する場合は、図18に示すように、携帯情報端末1800のミュージックバーコード検出手段1805が、この処理を再帰的に行い、正しいミュージックバーコード領域画像を得ることができる。
【0067】
(実施形態3)
撮影画像中からその画像中での位置を特定できるものであれば、他のロケータを利用することも可能である。例えば、円、正方形、六角形など特定の幾何的形状を持つ図形をロケータとして、適用可能である。
【0068】
特に、ミュージックバーコード100の撮影時の姿勢にミュージックバーコード100に対して正対するという条件下で行う場合は、実施形態1で用いたように個々のロケータ102を識別できないロケータ102を用いてもミュージックバーコード100を撮影画像から検出することは可能である。この場合、撮影画像中で、もっとも左上に位置するロケータ102は、左上のロケータ102であるとしてロケータ102を処理する。他のロケータ102に対しても同様にロケータ102が存在する画像中の位置などでロケータ102が対応するミュージックバーコード100の頂点を判断する。
【0069】
(実施形態4)
実施形態1では、ミュージックバーコード100を正対する位置から大きく外れて撮影した場合には、図23に示すように撮影画像中のミュージックバーコード100が幾何的に歪んでしまい、図24に示すようにロケータ抽出画像において検出されたロケータ102も歪んでしまう。これではミュージックバーコード100の安定した検出を期待できない。
【0070】
そこで、図25に示すように、ロケータ検出手段2505とインジケータマトリックス抽出手段2506との間に撮影対象の幾何的な歪みを正規化する画像正規化手段2511を追加することで、ミュージックバーコードの安定した検出を可能とする。
【0071】
この画像正規化手段2511は、幾何的な歪みを修整するための画像正規化行列を算出する。この画像正規化行列の算出は、数式1に示す行列計算式を用いて行うことができる。
【0072】
【数1】

【0073】
例えば、図26に示すように、撮影画像中の長方形の内部の領域の画素が実物の長方形のどこに位置するかを、数式1を用いて計算することができる。
【0074】
なお、この数式1は、画像正規化行列を用いて、下記のようにして計算することができる。
【0075】
【数2】

【0076】
まず、画像正規化手段2511は、ロケータ102の実世界のミュージックバーコード100の4隅の位置と撮影画像中でのロケータ102の位置とを対応づける。実世界での4隅の位置は、ミュージックバーコード作成時の所定のサイズとなる。
【0077】
そして、画像正規化手段2511は、画像正規化行列を用いて、数式1の定数を算出する。
【0078】
その後、画像正規化手段2511は、数式1を用いて、図27、及び図28に示すようにロケータに囲まれたミュージックバーコード領域を正規化し、図29に示すように、正規化した正規化ミュージックバーコード領域画像をメモリ手段2502上に生成する。
【0079】
その後、この正規化された正規化ミュージックバーコード領域画像をインジケータマトリックス抽出手段2506へ送信する。
【0080】
そして、撮影画像をメモリ手段2502上から削除する。
【0081】
(実施形態5)
本実施形態では、識別番号を利用し、インターネット上のサイトにアクセスすることを可能とする。
【0082】
具体的には、図30に示すように、CPU3001は、識別番号を通信手段3021を通して、ミュージックバーコード情報データベースを持つ外部データベース手段3022へ送信する。外部データベース手段3022は、図31に示すようなミュージックバーコード情報データベースの中から受信した識別番号に対応するアクセス情報を携帯情報端末3000へ送信する。CPU3001は、受信したアクセス情報を元に、インターネット上のサイトにアクセスし、その結果を端末の備える映像表示手段3003に表示する。
【0083】
(実施形態6)
本実施形態では、ミュージックバーコード100を液晶モニタに表示することで、音響機器のイコライザ等への応用を可能とする。
【0084】
図32に示すように、音響機器の液晶モニタ・コントロールパネルにミュージックバーコードを表示する。
【0085】
また、ミュージックバーコードを実際のグラフィックイコライザを用いて表現することで、音響機器のグラフィックイコライザにも応用することができる。図33に示すように、音響機器がグラフィックイコライザを表示するための発光ダイオード等を用いて、ミュージックバーコードを表示する。
【0086】
これによって、音響機器のパン、ミュート、ボリュームなどのセッティング情報を埋め込んだミュージックバーコードを画面に表示させることができ、ユーザは、このミュージックバーコードを利用して、音響機器のセッティング情報を携帯情報端末に保存することができる。
【0087】
また、CD等を再生したときに表示されるイコライザを情報携帯端末で撮影することで、当該イコライザに対応する情報を取得するようにすることも可能である。これにより、再生中のCDに関する情報を、当該CDにより再生される音声を聞きながら取得することが可能となる。なお、これは、CDに限られず、イコライザを有する機器を用いて再生されるものであれば適用可能である。
【0088】
(実施形態7)
図34に示すように、受信手段3401、FM音声復号手段3402、FMデータ復号手段3403、スピーカ3404、ボタン等を用いた入力手段3405、液晶モニタ若しくは発光ダイオード等で構成される情報表示手段3406、及びミュージックバーコード生成手段3407を備えるラジオ受信機3400と、ネットワーク通信手段3411、曲データベース手段3412、曲データベース3412の情報をFMデータ放送に符号化する曲符号化手段3413、及び放送手段3414から構成される放送局3410とを加えてシステムを構成することで、通信機器を持たない音響機器にも情報を発信する能力を持たせることを可能とする。
【0089】
放送局3410からある曲が放送されているおりに、その曲の曲番号をミュージックバーコード100によって読み取り、その曲に関する情報をネットワークを通じて、携帯情報端末3420によって取得する例を示す。
【0090】
ユーザは、ラジオ受信機3400のミュージックバーコード生成を入力手段3405によって実行する。すると、FMデータ放送の電波から、FMデータ復号手段3402によって放送中の曲の曲番号が復号される。
【0091】
次にミュージックバーコード生成手段3407が、受信した曲番号をもとにミュージックバーコード100を生成し、グラフィックイコライザや選局情報を表示するための情報表示手段3406がミュージックバーコード100を表示する。
【0092】
ユーザは、携帯情報端末3420を用いて、ミュージックバーコード100を撮影し、曲番号を取得する。
【0093】
さらに曲番号を元にネットワーク手段3430を介して、曲データベース手段3412から現在放送中の曲の名前や属性情報を取得し、携帯情報端末3420の映像表示手段(図示省略)に表示する。
【0094】
ユーザは、これによって、無線等の追加デバイスを持たないラジオ受信機3400からでも、携帯情報端末3420を用いて、放送中の曲の情報を簡単に取得することができる。
【0095】
(実施形態8)
上記実施形態は、その主旨を変えない範囲で様々に適用可能である。
【0096】
例えば、ミュージックバーコード100の位置指定手段は、撮影画像から認識可能な枠あるいは線を用いて構成することが可能である。
【0097】
また、位置指定手段のロケータ102として、認識可能な記号、又は文字を用いて構成することも可能である。
【0098】
また、実施形態6に記載の表示手段として、液晶モニタや発光ダイオードを用いた場合、表示するミュージックバーコードを時間的に変化させ、時間的に変化するミュージックバーコードの識別番号を一つの時間変化識別番号として、復号するように構成することも可能である。
【0099】
また、撮影手段により取得した撮影画像を携帯情報端末が有する通信機能により、画像処理手段を有する機器に送信し、当該機器において上記画像処理を行うことも可能である。そしてこの機器から携帯情報端末に抽出した情報を送信することができる。
【0100】
なお、上記実施形態において必要とするロケータ検出処理、インジケータマトリックス抽出処理、レベル検出処理、ピークレベル検出処理、識別番号復号処理画像正規化処理などをアプリケーションプログラムとして搭載することができる。
【0101】
また、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のCPU(MPU)が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、CD−ROM、DVD−ROM、CD−R、CD−RW、MO、HDD等がある。
【図面の簡単な説明】
【0102】
【図1】2次元コードを用いた情報取得システムの構成図。
【図2】ミュージックバーコードの四隅にロケータを付した例を示す図。
【図3】ロケータにおける色の組み合わせと頂点番号との対応を示す図。
【図4】インジケータの例を示す図。
【図5】レベルインジケータに埋め込み可能な数値の例を示す図。
【図6】レベルインジケータに埋め込み可能な数値の例を示す図。
【図7】撮影画像の例を示す図。
【図8】ロケータ抽出画像の例を示す図。
【図9】ミュージックバーコード領域決定の例を示す図。
【図10】ミュージックバーコード領域画像の例を示す図。
【図11】トリミングしたミュージックバーコード領域画像の例を示す図。
【図12】インジケータマトリックス画像の例を示す図。
【図13】インジケータマトリックスの例を示す図。
【図14】レベル行列の例を示す図。
【図15】ピークレベル行列の例を示す図。
【図16】レベル行列、及びピークレベル行列の値からミュージックバーコードが保持する識別番号を復号する例を示す図。
【図17】撮影画像の例を示す図。
【図18】携帯情報端末の構成例を示す図。
【図19】トリミングしたミュージックバーコード領域画像の例を示す図。
【図20】携帯情報端末の構成例を示す図。
【図21】トリミングしたミュージックバーコード領域画像の例を示す図。
【図22】ミュージックバーコード領域画像の例を示す図。
【図23】撮影画像の例を示す図。
【図24】ロケータ抽出画像の例を示す図。
【図25】携帯情報端末の構成例を示す図。
【図26】実際の長方形と撮影画像中の長方形との対応例を示す図。
【図27】ミュージックバーコード領域の例を示す図。
【図28】撮影画像中のミュージックバーコードの例を示す図。
【図29】正規化されたミュージックバーコード領域の例を示す図。
【図30】携帯情報端末の構成例を示す図。
【図31】識別番号に対応するアクセス情報の例を示す図。
【図32】響機器の液晶モニタ・コントロールパネルにミュージックバーコードを表示した例を示す図。
【図33】音響機器がグラフィックイコライザを表示するための発光ダイオード等を用いてミュージックバーコードを表示した例を示す図。
【図34】情報取得システムの構成例を示す図。
【図35】QRコードの例を示す図。
【符号の説明】
【0103】
100…ミュージックバーコード
101…レベルインジケータ
102…ロケータ
103…インジケータ
104…マーク
200…携帯情報端末
201…CPU
202…メモリ手段
203…映像表示手段
204…撮影手段
205…ロケータ検出手段
206…インジケータマトリックス抽出手段
207…レベル検出手段
208…ピークレベル検出手段
209…識別番号復号手段
210…画像処理手段
220…入力手段
1800…携帯情報端末
1801…CPU
1802…メモリ手段
1803…映像表示手段
1804…撮影手段
1805…ミュージックバーコード検出手段
1806…インジケータマトリックス抽出手段
1807…レベル検出手段
1808…ピークレベル検出手段
1809…識別番号復号手段
1810…画像処理手段
1811…トリミング領域算出手段
1812…ミュージックバーコード領域画像生成手段
1813…ミュージックバーコード領域画像確認手段
1820…入力手段
2500…携帯情報端末
2501…CPU
2502…メモリ手段
2503…映像表示手段
2504…撮影手段
2505…ロケータ検出手段
2506…インジケータマトリックス抽出手段
2507…レベル検出手段
2508…ピークレベル検出手段
2509…識別番号復号手段
2510…画像処理手段
2511…画像正規化手段
2520…入力手段
3000…携帯情報端末
3001…CPU
3002…メモリ手段
3003…映像表示手段
3004…撮影手段
3005…ロケータ検出手段
3006…インジケータマトリックス抽出手段
3007…レベル検出手段
3008…ピークレベル検出手段
3009…識別番号復号手段
3010…画像処理手段
3011…画像正規化手段
3020…入力手段
3021…通信手段
3022…外部データベース手段
3400…ラジオ受信機
3401…受信手段
3402…FM信号復号手段
3403…FMデータ復号手段
3404…スピーカ
3405…入力手段
3406…情報表示手段
3407…ミュージックバーコード生成手段
3410…放送局
3411…ネットワーク通信手段
3412…曲データベース
3413…曲データ符号化手段
3420…携帯情報端末
3430…ネットワーク手段

【特許請求の範囲】
【請求項1】
対象物を携帯情報端末の撮影手段で撮影することで取得した撮影画像に含まれるパターンから、画像処理手段が当該パターンに対応つけられた情報を読み取る情報取得方法であって、
前記対象物はミュージックバーコードを含んでおり、前記パターンは当該ミュージックバーコードであることを特徴とする情報取得方法。
【請求項2】
前記ミュージックバーコードは、所定の形状、及び所定の大きさのマークが縦方向に配置されてなるインジケータを横方向に配置することで構成されるレベルインジケータであることを特徴とする請求項1に記載の情報取得方法。
【請求項3】
前記ミュージックバーコードは、所定の形状、及び所定の大きさのマークが横方向に配置されてなるインジケータを縦方向に配置することで構成されるレベルインジケータであることを特徴とする請求項1に記載の情報取得方法。
【請求項4】
前記インジケータを構成するマークは3種類の色のうちいずれかの色を有しており、当該3種類の色は、
前記インジケータ中の一のマークのみが有する第一の色と、
前記第一の色を有するマークよりも低いレベルに位置するマークが有する第2の色と、
前記第一の色、及び前記第二の色のいずれも有さないマークが有している第三の色と、であることを特徴とする請求項2又は3に記載の情報取得方法。
【請求項5】
前記ミュージックバーコードは、当該ミュージックバーコードの外縁を決定するロケータを有していることを特徴とする請求項1〜4いずれかに記載の情報取得方法。
【請求項6】
前記画像処理手段は、
ロケータ検出手段が、前記撮影画像から前記ロケータを検出して当該撮影画像からミュージックバーコード領域画像を抽出するロケータ検出ステップと、
インジケータマトリックス抽出手段が、前記ミュージックバーコード領域画像からマーク以外の領域を削除したインジケータマトリックス画像を作成し、当該インジケータマトリックス画像からインジケータマトリックスを作成するインジケータマトリックス抽出ステップと、
レベル検出手段が、前記インジケータマトリックスから前記インジケータのレベルを検出するレベル検出ステップと、
ピークレベル検出手段が、前記インジケータマトリックスから前記インジケータのピークレベルを検出するピークレベル検出ステップと、
識別番号復号手段が、前記インジケータのレベル、及び前記インジケータのピークレベルに基づいて識別番号を復号する識別番号復号ステップと、を有することを特徴とする請求項2〜5いずれかに記載の情報取得方法。
【請求項7】
前記画像処理手段は、
画像正規化手段が、前記ロケータ検出手段が抽出したミュージックバーコード領域画像を正規化して、幾何的な歪みを修正した正規化ミュージックバーコード領域画像を生成する画像正規化ステップを有し、
前記インジケータマトリックス抽出手段は、前記正規化ミュージックバーコード領域画像に基づいて、前記インジケータマトリックス抽出ステップを行うことを特徴とする請求項6に記載の情報取得方法。
【請求項8】
前記対象物は音響機器の表示手段であり、前記ミュージックバーコードは当該表示手段に表示されたグラフィックイコライザであることを特徴とする請求項1〜7いずれかに記載の情報取得方法。
【請求項9】
前記画像処理手段は前記携帯情報端末に内蔵されていることを特徴とする請求項1〜8いずれかに記載の情報取得方法。
【請求項10】
上記請求項1〜9いずれかに記載の情報取得方法を、コンピュータで実行可能に記載したプログラム。

【図5】
image rotate

【図6】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate