説明

仮想ラベル表示処理プログラム

【課題】ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションする。
【解決手段】操作端末10の制御回路102は、仮想ラベル表示処理プログラムに基づき、カメラ111により撮影された、電子機器を含む所望の視野の実画像データを取得するステップと、取得された視野の実画像データにおける複数の特徴点を設定するステップと、タッチパネル112や操作ボタンからの決定操作信号に基づき、仮想ラベルの画像データと複数の特徴点との位置相関を決定するステップと、決定された位置相関を満たすようにしつつ、対象物画像の実画像データと仮想ラベルの画像データとを合成して合成画像データを生成するとともに、生成された合成画像データをタッチパネル112に出力するステップと、を実行する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ラベル作成装置を操作する操作端末により実行される仮想ラベル表示処理プログラムに関する。
【背景技術】
【0002】
貼り付け対象物に貼り付けて用いられるラベルを、操作端末からラベル作成装置を操作することで作成する技術が既に知られている(例えば、特許文献1参照)。この従来技術では、操作端末(PC)が有する表示手段(モニタ)に、作成されるラベルの印字イメージが表示される。操作者がそのイメージ表示を見ながらテキストデータ(単語や文章等)を操作入力すると、対応する印字情報が操作端末で生成され、ラベル作成装置に送信される。これにより、ラベル作成装置において、搬送されるテープ(ラベルテープ)に対し印字手段(サーマルヘッド)によって上記印字情報に対応した印字が行われ、ラベルが作成される。また、この従来技術では、貼り付け対象物の画像を予め取得しておくことで、操作端末が、貼り付け対象物にラベルが貼り付けられているかのような状態を、仮想的に表示することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−177931号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術においては、操作者は、実際にラベルを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。しかしながら、貼り付け対象物の画像は、予め取得され記憶された固定画像である。この結果、その固定画像上に仮想的に貼り付けられたラベルの姿を少し視野をずらして見てみたい場合や、その固定画像からズームイン・ズームアウトした状態で貼り付けられたラベルの姿を視覚的に確認してみたい場合等、視野を変えた種々の状態でのシミュレーションのニーズには対応することはできなかった。
【0005】
本発明の目的は、ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションできる仮想ラベル表示処理プログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本願発明の仮想ラベル表示処理プログラムは、貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、操作手段と撮像手段と表示手段と演算手段とを備えた操作端末の前記演算手段に対し、前記撮像手段により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得手順と、前記実画像取得手順で取得された前記視野の実画像データにおける複数の特徴点を設定する特徴点設定手順と、前記操作手段からの決定操作信号に基づき、前記ラベルの仮想画像データと前記特徴点設定手順で設定された前記複数の特徴点との位置相関を決定する相関決定手順と、前記相関決定手順で決定された前記位置相関を満たすようにしつつ、前記実画像データと前記ラベルの仮想画像データとを合成して合成画像データを生成する合成画像生成手順と、前記合成画像生成手順で生成された前記合成画像データを前記表示手段に出力する合成画像出力手順と、を実行させる。
【0007】
本願発明の表示処理プログラムが適用される操作端末は、操作手段と、撮像手段と、表示手段と、演算手段とを備えている。操作端末の演算手段によって上記表示処理プログラムが実行されると、まず、実画像取得手順において、その時点で撮像手段が撮影している、ラベルの貼り付け対象物を含む所望の視野の実画像データが取得される。そして、特徴点設定手順において、上記取得された実画像データに含まれる、複数の特徴点が設定される。特徴点は、操作端末が自動で設定してもよいし、操作手段を用いた操作者の手動操作により設定してもよい。これにより、上記撮像手段の撮影に基づく実画像データの適宜の箇所、例えば物の輪郭部分や凹凸部等、画像データとして他と識別できる特徴のある部分が、特徴点として設定される。
【0008】
その後、操作者の操作に対応した操作手段からの決定操作信号に基づき、相関決定手順において、貼り付け対象物に貼り付けるラベルの仮想画像データ(予め操作端末の外部より取得され記憶されているか、操作端末が操作者の手動操作に基づき生成してもよい)と、上記設定された複数の特徴点との位置相関が決定される。これにより、例えば仮想画像データの位置と複数の特徴点の位置との間に、何らかの対応関係が固定的に設定される。そして、これ以降、合成画像生成手順では、上記のように決定された位置相関を遵守するようにしつつ、実画像データとラベルの仮想画像データとの合成画像データが生成され、表示手段に出力される。上述したように、合成画像データは撮像手段が撮影した貼り付け対象物を含む実画像とラベルの仮想画像との合成結果であるが、それら貼り付け対象物を含む実画像とラベルの仮想画像との間には、上述した位置相関によってある固定的な対応関係が維持される。これにより、例えば撮像手段の撮像する視野が変動して表示手段で表示される貼り付け対象物の実画像が動いたり大きさが変わったとしても、それに追従するようにラベルの仮想画像を動かしたり大きさを変えることができる。この結果、現実世界では貼り付け対象物にはまだラベルが貼り付けられていない状態にもかかわらず、表示手段の表示において、あたかも既にラベルが対象物に貼り付けられているかのような状態を仮想的に実現することができる。これにより、実際にラベルを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。また、上記のように視野を変えた種々の状態で仮想的に貼り付けられたラベルの姿をシミュレーションできるので、操作者はより実際の貼り付け状態に近い感覚を得ることができ、利便性を向上することができる。
【発明の効果】
【0009】
本発明によれば、ラベルを対象物に貼り付けた時の態様を、視野を変えた種々の状態で視覚的にシミュレーションすることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の一実施形態の仮想ラベル表示処理プログラムを実行する操作端末の外観を表す正面図、及び、右側面図である。
【図2】操作端末の操作対象であるラベル作成装置の外観を表す正面図である。
【図3】操作端末の機能的構成を表す機能ブロック図である。
【図4】ラベル作成装置の機能的構成を表す機能ブロック図である。
【図5】ラベル作成装置の制御回路が実行する、ラベル作成に係わる制御手順を表すフローである。
【図6】作成されたラベルの外観形状の一例を表す正面図である。
【図7】タッチパネルにおける、ラベルの印字データの編集操作用の表示画面を表す図である。
【図8】タッチパネルにおける、仮想ラベルの表示画面を表す図である。
【図9】タッチパネルにおける、仮想ラベルと対象物実画像とを重畳して表示した画面の一例を表す図である。
【図10】タッチパネルにおける、仮想ラベルと対象物画像とを重畳して表示した画面の他の例を表す図である。
【図11】仮想ラベルの位置と対象物画像の位置とに位置相関が設定されて仮想貼り付け状態となった、タッチパネルの画面表示例を表す図である。
【図12】仮想ラベルの位置と対象物画像の位置とに位置相関が設定されて仮想貼り付け状態となった、タッチパネルの画面表示例を表す図である。
【図13】操作端末の制御回路が実行する制御手順を表すフローチャートである。
【図14】位置相関の設定に関して制御回路で実行される内部処理の内容を説明する説明図である。
【図15】設定された位置相関を維持して表示を行うために制御回路で実行される内部処理の内容を説明する説明図である。
【図16】設定された位置相関を維持して表示を行うために制御回路で実行される内部処理の内容を説明する説明図である。
【発明を実施するための形態】
【0011】
以下、本発明の一実施の形態を図面を参照しつつ説明する。
【0012】
図1(a)及び図1(b)において、操作端末10は、装置本体12と、カメラ111(撮像手段)とを有する。
【0013】
装置本体12は、例えば液晶ディスプレイを備えたタッチパネルからなり各種情報や各種メッセージを表示し、また操作者が各種操作を行えるタッチパネル112(表示手段)と、操作者が操作可能な操作ボタン110とを備えている。
【0014】
カメラ111は、装置本体12の上部(図1(a)及び図1(b)中の上部)に設けられており、装置本体12においてタッチパネル112の表示面が設けられた面の反対側、すなわち下面側(図1(a)中の紙面奥面側、図1(b)中の右面側)に、レンズ111Aを備えている。例えば、操作者が、操作ボタン110による操作でタッチパネル112に適宜のアイコン等を表示させ、指で当該アイコンを押して選択することによりカメラ111が起動し、対象物を撮影することが可能となる。
【0015】
図2において、ラベル作成装置20は、装置本体22を有している。装置本体22は、例えば液晶ディスプレイからなり各種情報や各種メッセージを表示する表示部212と、操作者が各種操作を可能な操作部210と、装置本体22内に配設されたカッタ207(後述の図4参照)を駆動するためのカットレバー213とを備えている。
【0016】
操作部210には、文字、記号、及び数字等を入力するための入力キーを初めとする種々の機能キー210a等が含まれている。
【0017】
図3おいて、操作端末10は、通信制御部108と、制御回路102と、各種情報を記憶するメモリ106と、上記操作ボタン110と、上記カメラ111と、上記タッチパネル112とを有する。なお、タッチパネル112のうち操作機能部分と、操作ボタン110とが、各請求項記載の操作手段として機能する。
【0018】
通信制御部108は、無線を介して接続されたラベル作成装置20との間で行われる、情報通信の制御を行う。
【0019】
制御回路102は、図示しないCPU(演算手段)、RAM、及びROMを備えている。この制御回路102は、CPUの演算機能により、RAMの一時記憶機能を利用しつつ、ROMに予め記憶された各種プログラムを実行する。この各種プログラムには、本発明の仮想ラベル表示処理プログラムが含まれている。また、制御回路102は、通信制御部108を介し、無線通信によりラベル作成装置20と接続されており、ラベル作成装置20と各種情報やデータの送受が可能となっている。
【0020】
メモリ106は、記憶内容の追加及び消去が可能な、例えばElectrically Erasable Programmable Read−Only Memory(EEPROM)等の不揮発性メモリから構成されている。このメモリ106には、上記仮想ラベル表示処理プログラムを含む上記各種プログラムが記憶されている。
【0021】
図4において、ラベル作成装置20は、通信制御部208と、制御回路202と、各種情報を記憶するメモリ206と、上記操作部210と、上記表示部212と、上記カットレバー213と、カートリッジホルダ216と、搬送装置209(搬送手段)と、印字ヘッド205(印字手段)と、カッタ207とを有する。
【0022】
通信制御部208は、上記のように無線を介して接続された操作端末10との間で行われる、情報通信の制御を行う。
【0023】
制御回路202は、図示しないCPU、RAM、及びROMを備えている。この制御回路202は、RAMの一時記憶機能を利用しつつ、ROMに予め記憶された各種プログラムを実行する。これにより、制御回路202は、ラベル作成装置20全体の制御を行う。また、制御回路202は、通信制御部208を介して操作端末10と接続されており、操作端末10とデータの送受が可能となっている。
【0024】
メモリ206は、記憶内容の追加及び消去が可能な、例えばElectrically Erasable Programmable Read−Only Memory(EEPROM)等の不揮発性メモリから構成されている。このメモリ206には、操作端末10から送信された印字データを格納可能となっている。
【0025】
カートリッジホルダ216は、テープ203(被印字テープ)を供給可能なカートリッジ201を着脱可能に構成されている。カートリッジ201は、テープ203を図示しないリール部材の周りに巻回したテープロール204(本来は渦巻き状であるが簡略化して同心円で図示している)を備えている。
【0026】
搬送装置209は、印字ヘッド205に対向して設けられている。この搬送装置209は、制御回路202により制御されて、カートリッジホルダ216に装着したカートリッジ201から供給される、すなわち当該カートリッジ201のテープロール204から繰り出される、テープ203を搬送する。
【0027】
印字ヘッド205は、制御回路202により制御されて、テープロール204から繰り出され搬送装置209により搬送されるテープ203に対し所望の印字を行う。
【0028】
カッタ207は、操作者によりカットレバー213が操作されることで、印字ヘッド205による印字が終了したテープ203を所定の長さに切断して印字付きの1つのラベルL(後述の図6等参照)とする。
【0029】
上記ラベル作成装置20によるラベルLの作成手順について図5を用いて説明する。
【0030】
図5において、このフローに示す処理は、操作端末10が、ラベル作成装置20に対しラベル作成指示を出力することにより開始する(「START」位置)。まずステップS10で、制御回路202は、搬送装置209に制御信号を出力し、カートリッジホルダ216に装着されたカートリッジ201のテープロール204からのテープ203の繰り出し、すなわちテープ203の搬送を開始させる。
【0031】
そして、ステップS20に移り、制御回路202は、テープ203が所定量だけ搬送されたかどうかを判定する。なお、この所定量とは、例えば、テープ203の図示しない印字領域の先端が、印字ヘッド205とほぼ対向する位置に到達するだけの搬送距離(いわゆる前余白用の搬送量)である。所定量搬送されるまでステップS20の判定が満たされず(S20:No)、ループ待機し、所定量搬送されたらステップS20の判定が満たされて(S20:Yes)、ステップS30に移る。
【0032】
ステップS30では、制御回路202は、印字ヘッド205に制御信号を出力し、搬送装置209により搬送されるテープ203の印字領域に対し、メモリ206に格納された印字データの印字を開始させる。
【0033】
その後、ステップS40で、制御回路202は、上記ステップS30で開始した印字ヘッド205によるテープ203の印字領域への印字データの印字がすべて完了しているかどうかを判定する。印字がすべて完了するまでステップS40の判定が満たされず(S40:No)、ループ待機し、印字がすべて完了したらステップS40の判定が満たされて(S40:Yes)、ステップS50に移る。
【0034】
ステップS50では、制御回路202は、テープ203がさらに所定量(例えば印字領域のすべてがカッタ207を所定の長さ分越えるだけの搬送距離。いわゆる後余白用の搬送量)だけ搬送されたかどうかを判定する。所定量搬送されるまでステップS50の判定が満たされず(S50:No)、ループ待機し、所定量搬送されたらステップS50の判定が満たされて(S50:Yes)、ステップS60に移る。
【0035】
ステップS60では、制御回路202は、搬送装置209に制御信号を出力し、ステップS20で開始させたテープロール204からのテープ203の繰り出し、すなわちテープ203の搬送を停止させる。
【0036】
そして、ステップS70では、制御回路202は、表示部212に表示信号を出力し、カットレバー213を操作することによりテープ203を切断可能な状態である旨の表示を行わせる。その後、このフローに示す処理を終了する。上記表示に応じて操作者がカットレバー213を操作すると、カッタ207が作動してテープ203が切断される。このカッタ207による切断によって、テープ203から印字ヘッド205による印字が行われた部分が切り離されて、1つのラベルLとなる。
【0037】
上記のようにして作成されたラベルLは、図6に示すように、幅Lw、長さLgを有する長方形状のラベルである。この例では、ラベルLの表面には、上記印字データに対応した印字RR(「UENO−TECH−10450」の文字列)が印刷されている。
【0038】
以上の基本構成において、本実施形態の特徴は、図6に示すようなラベルLをラベル作成装置20が実際に作成するより前に、操作端末10が、ラベルLと同等の仮想的なラベルの姿(以下適宜、「仮想ラベル」という)を、カメラ111で撮影された背景物の画像とともに表示することである。特に、本実施形態では、操作者の所望の操作(後述)により上記撮影された画像中の特定部位に上記仮想ラベルを仮想的に貼り付け、カメラ111の視野が変動して撮影画像が変化するのに追従して上記仮想ラベルも変化することにより、上記仮想的な貼り付けが維持される。以下、その詳細を順を追って説明する。
【0039】
<表示画面の推移>
まず、操作者による、タッチパネル112や操作ボタン110を介した適宜の操作入力により、図7に示す「レイアウト」画面がタッチパネル112上に表示される。
【0040】
そして、この「レイアウト」画面の表示状態で、操作者は、図7に示すように、印字データ記入欄133に指でなぞって筆記する等の操作により、所望のテキスト文字(図示の例では「UENO−TECH−10450・・・」の文字列。末尾にはカーソル134が表示されている)を入力し、印字データRを設定する。
このとき、この印字データRの内容(例えば文字数)に対応して、制御回路102によってラベルLの長さが設定される。なお、ラベルLの幅については、予め固定的に定められているか、図示しない記入欄(又は別画面、ウィンドウ等でもよい)において上記同様の操作者の操作によって設定される。この例では、ラベルLの長さ寸法は35[mm]、幅寸法は9.5[mm]となっており、その旨がタッチパネル112上に表示されている。このような編集操作により設定されたラベルLの印字データRの内容や、ラベルLの長さ寸法・幅寸法は、メモリ106に格納される。
【0041】
上記編集操作の終了後、操作者により操作ボタン欄112aの「ラベル作成」ボタンが押されることによって、上述のようにして生成された印字データRが、通信制御部108を介しラベル作成装置20に送信される。これにより、前述の図5に示したフローが実行され、ラベル作成装置20によって、上記図6に示したような、印字データRに対応した印字RRが印刷されたラベルLが作成される。
【0042】
一方、上記編集操作の終了後、操作者は、操作ボタン欄112aの「仮想貼り付け」ボタンを押す。これにより、タッチパネル112の画面が、図8に示す画面に切り替えられる。
【0043】
切り替えられた後の図8に示す画面においては、上記図7の編集操作を反映した仮想ラベルLI(実際に作成されるラベルLのイメージ像)が、所定の位置(この例では中央部)に所定の大きさで表示される。そして、操作者は、上記ラベルLを貼り付けようと意図する貼り付け対象物(後述の電気機器F)を、カメラ111の視野に入る位置に配置し、操作ボタン欄112aのカメラのアイコンを押す。これにより、カメラ111による上記貼り付け対象物の動画撮影が開始される。
【0044】
図9及び図10は、このようにして動画撮影が開始された後のタッチパネル112の画面の様子の一例を表している。図示のように、カメラ111により撮影された上記貼り付け対象物(この例では電子機器)の実画像FI(以下適宜、単に「対象物画像FI」という)が、仮想ラベルLIの背景として仮想ラベルLIと重畳するように表示される。
【0045】
このとき、操作者が操作端末10を手で持って貼り付け対象物との位置関係を変えることにより、図9及び図10に示すように、画面中に表示される対象物画像FIの位置や大きさはリアルタイムで変化するが、仮想ラベルLIは、引き続き中央部での所定の大きさでの固定的な表示が維持される。これにより、操作者は、対象物画像FIと仮想ラベルLIとの相対位置関係をどのように設定するか、言い換えれば対象物画像FIのどの位置に仮想ラベルLIを仮想貼り付けするかを、自分の意図する態様となるまで模索することができる。
【0046】
記模索が終了し、自分の意図する態様の対象物画像FIと仮想ラベルLIとの相対位置関係が決まったら、操作者は、図9や図10に示す、操作ボタン欄112aの「貼り付け位置設定」ボタンを押す。これにより、図11(a)に示すように、対象物画像FIの所定の特徴点(詳細は後述)と仮想ラベルLIの所定の基準点(詳細は後述)との位置的な対応付け(位置相関。詳細は後述)が設定される。この例では、図11(a)に示すように、対象物画像FIの中央やや下よりの位置に、仮想ラベルLIの位置が設定されている。なお「貼り付け位置設置」ボタンの操作に代えて、例えば、操作者が、タッチパネル112の画面上で仮想ラベルLIを指でタップする等の操作としてもよい。
【0047】
上記の設定以降は、カメラ111による視野が変動しても、上記対応付けが維持される。これにより、例えば上記視野の変動によって対象物画像FIが画面中の左右方向又は上下方向に移動した場合には、仮想ラベルLIも上記移動量及び移動方向と同じ移動を画面上で行う。図11(b)は、図11(a)に示した状態から画面中において対象物画像FIが右上方に移動した(言い換えればカメラ111の視野が対象物に対して左下方に移動した)とき、当該移動に追従して仮想ラベルLIも同じように移動した例を示している。また例えば、上記視野の変動によって対象物画像FIの大きさが画面中において拡大又は縮小(ズームイン又はズームアウトに相当)した場合には、仮想ラベルLIも同じ倍率の拡大又は縮小、すなわち変倍を画面上で行う。図11(a)と同様の図12(a)に示した状態から、画面中において対象物画像FIが拡大された(言い換えればカメラ111の視野が狭くなった)とき、当該拡大に追従して仮想ラベルLIも同じ倍率で拡大した例を図12(b)に示す。以上のような追従表示の結果、操作者は、あたかも仮想ラベルLIが対象物画像FIに張り付いたかのような視覚的効果(=仮想貼り付け)を得ることができる。
【0048】
<制御内容>
上記のような表示内容を実行するために、制御回路102(詳細には上記CPU)が実行する制御内容を図13を用いて説明する。図13において、まずステップS201で、制御回路102は、タッチパネル112に表示信号を出力し、操作編集用の画面としての上記「レイアウト」画面を表示させる(図7参照)。そして、当該表示に対応した操作者の上記操作入力内容(印字データR等)を取得する。その後、前述の「仮想貼り付け」ボタンの操作に対応して、ステップS202に移る。なお、操作者が上記のような編集を行わない場合(ラベルLの印字RR等が固定的に定まっている場合、あるいは他の装置で編集が行われる場合)等においては、このステップS201は省略してもよい。
【0049】
ステップS202では、制御回路102は、上記ステップS201で取得された編集操作内容に基づき、対応する仮想ラベルLI(ラベルLのイメージ像)の画像データ(仮想画像データ)を生成する。生成された仮想ラベルLIの画像データはタッチパネル112に出力され、タッチパネル112の画面において仮想ラベルLIが表示される(図8参照)。なお、このステップS202が各請求項記載の仮想画像生成手順に相当する。
【0050】
その後、ステップS203に移り、制御回路102は、上記仮想ラベルLIにおける基準点(ラベル基準点)を設定する。この基準点とは、上記のように仮想ラベルLIを対象物画像FIに追従して移動又は変倍させるときの基準となる、仮想ラベルLIを代表する少なくとも1つの点である。例えば、制御回路102は、上記ステップS201において長さ寸法及び幅寸法が決定されているラベルLの特定の一点に対応した仮想ラベルLIの1点に、上記基準点を設定する。この例では、ラベルLがテキスト横書きラベルである場合に、仮想ラベルL1の左上の隅部が基準点Aとして設定される(後述の図14参照)。なお、この基準点Aの設定を、タッチパネル112上の適宜の操作によって操作者が任意に所望の位置に行えるようにしてもよい。なお、このステップS203が各請求項記載のラベル基準点設定手順に相当する。その後、前述のカメラアイコンの操作に対応して、ステップS204に移る。
【0051】
ステップS204では、制御回路102は、上記カメラ111により撮影された、対象物(電子機器)を含む所望の視野の実画像データ(対象物画像FIの画像データを含む)を取得する。このステップS204が、各請求項記載の実画像取得手順を構成する。その後、ステップS205に移る。
【0052】
ステップS205では、制御回路102は、上記ステップS202で生成した仮想ラベルLIの画像データと、上記ステップS204で取得された実画像データとを、重畳した画像データを生成する。生成された画像データはタッチパネル112に出力され、タッチパネル112の画面において、仮想ラベルLIと対象物画像FIとが重畳して表示される(図9、図10参照)。なお、このステップS205が各請求項記載の重畳画像生成手順に相当する。
【0053】
そして、ステップS206に移り、制御回路102は、上記対象物画像FIにおける複数の特徴点を設定する。この特徴点とは、上記のようにして上記位置相関を用いて仮想ラベルLIを対象物画像FIに追従して移動又は変倍させるときに、上記位置相関を適用するために、他の部位と区別して特定可能な、対象物画像FI上の特定の複数の点である。
【0054】
例えば、制御回路102が公知の画像認識処理機能を備えている場合には、上記ステップS204において取得された対象物画像FIを画像処理し、輪郭、縁部、凹凸部、隅部、黒色部等の他の部位とは異なる特徴をもつ点を抽出し、当該抽出した点を特徴点とする。この例では、対象物画像FIのうち、電子機器の筐体の2箇所に設けられた凹凸部に含まれる三角形突起部の上部頂点位置が、それぞれ特徴点B,Cとして設定される(後述の図14参照)。なお、この特徴点B,Cについても、上記同様、タッチパネル112上の適宜の操作によって操作者が任意に所望の位置に行えるようにしてもよい。なお、このステップS203が各請求項記載の特徴点設定手順に相当する。その後、ステップS207に移る。
【0055】
ステップS207では、制御回路102は、操作者より所定の貼り付け位置設定操作(上記の例では「貼り付け位置設置」ボタンの押し操作又はタップ操作)があったかどうかを判定する。上記貼り付け位置設定操作が行われない間は判定が満たされず(ステップS207:NO)、ステップS204に戻って同様の手順を繰り返す。貼り付け位置設定操作が行われると判定が満たされ(ステップS207:YES)、ステップS208へ移る。
【0056】
ステップS208では、制御回路102は、上記ステップS203で設定された基準点Aと、上記ステップS206で設定された特徴点Bと特徴点Cとを、上記位置相関によって対応づけ、リンクさせる。この例では、図14に示すように、仮想ラベルLI上の上記基準点Aと、上記対象物画像FIのうち前述の電子機器筐体の2箇所の凸部の三角形突起部に対応する部分にそれぞれ位置する上記特徴点B及び特徴点Cと、の合計3点を頂点とする三角形ABCが、上記位置相関として(制御回路102の内部処理において)形成される。前述した図11(a)は、このときの上記内部処理により上記リンクが済んだ状態を示している。これ以降、上記基準点A及び特徴点B,C(以下適宜、これらをまとめて「3点A,B,C」という)が三角形ABC(又はこれと相似形状の三角形)を形成する(言い換えればそのような三角形の3頂点上に位置する)、という位置相関が(制御回路102の内部処理において)常に維持される。このステップS208が、各請求項記載の相関決定手順に相当する。
【0057】
なお、上記位置相関は三角形以外の多角形を用いるようにしてもよいし、多角形以外の何らかの位置的な対応関係を設定するようにしてもよい。また、上記のように自動的に設定されるのではなく、タッチパネル112上の適宜の操作によって操作者が任意に所望の態様の位置相関を設定できるようにしてもよい。
【0058】
その後、ステップS209に移り、制御回路102は、上記ステップS208で対応づけられリンクされた状態の対象物画像FI及び仮想ラベルLIを含むような、上記実画像データと仮想ラベルLIの画像データとの合成画像データを公知の手法により生成する(合成画像生成手順に相当)。そして、制御回路102は、その生成した合成画像データをタッチパネル112に出力する(合成画像出力手順に相当)。
【0059】
これにより、例えば図11(a)及び図11(b)を用いて前述したように、対象物画像FIがタッチパネル112の画面右上方向に移動した場合、図15に示すように当該対象物画像FI上の上記特徴点B及び特徴点Cが画面右上方向に移動する。したがって、(制御回路102の内部処理において)その移動した特徴点B,Cを底辺とする三角形ABCが画面右上方向に移動する結果、当該三角形ABCの頂部に位置する仮想ラベルLI上の基準点Cも(当該三角形の大きさや形状を変えることなく維持しようとして)画面右上方向に移動する。これにより、最終的に仮想ラベルLI全体が画面右上方向に移動し、当該仮想ラベルLIが仮想的に対象物画像FIに張り付いた、仮想貼り付け状態の表示(図11(b))が実現される。
【0060】
また例えば、図12(a)及び図12(b)を用いて前述したように、対象物画像FIが拡大された場合、図16に示すように(制御回路102の内部処理において)当該対象物画像FI上の上記特徴点B及び特徴点Cを含む線分BCが拡大される。したがって、その拡大された線分BCを底辺とする、拡大された三角形ABC(もとの三角形ABCと相似形状である)が新たに形成され、当該拡大された三角形ABCの頂部に位置するために仮想ラベルLI上の基準点Aは当該拡大に対応した位置に(言い換えれば線分AB及び線分ACを上記拡大と同じ倍率で拡大する位置に)移動する。また、この際には、詳細な説明は省略するが、(制御回路102の内部処理において)例えば線分ACと仮想ラベルLIの外縁部との交点D(図16にのみ図示。この場合、当該点Dも上記基準点の1つを構成する)が、拡大前と拡大後とで、仮想ラベルLI上の同一位置となるように仮想ラベルLI全体の各箇所の位置が設定される。これにより、最終的に仮想ラベルLI全体が上記対象物画像FIの拡大と同じ倍率で拡大されるので、前述と同様、仮想ラベルLIが仮想的に対象物画像FIに張り付いた、仮想貼り付け状態の表示(図12(b))が実現される。
【0061】
なお、上記の三角形の形成による位置相関の設定や、上記移動量・移動方向・変倍(拡大・縮小)倍率の算出や、当該算出結果に基づく表示等は、例えばカメラ111の光軸方向に垂直な二次元平面座標系(言い換えればタッチパネル112の各画面上において直交する二軸をx軸・y軸とするxy座標系)を用いた公知の演算により、実行することができる。したがって、詳細な説明を省略する。
【0062】
以上説明したように、本実施形態においては、対象物画像FIと仮想ラベルLIとの間には、上記位置相関(上記の例では三角形ABC又はこれと相似形状の三角形)によってある固定的な対応関係が維持される。これにより、カメラ111の撮像する視野が変動してタッチパネル112で表示される対象物画像Fが動いたり大きさが変わったとしても、それに追従するように仮想ラベルLIを動かしたり大きさを変えることができる(図11(b)、図12(b)参照)。この結果、現実世界では貼り付け対象物(上記の例では電子機器)にまだラベルLが貼り付けられていない状態にもかかわらず、タッチパネル112の表示において、あたかも既にラベルが対象物に貼り付けられているかのような状態を仮想的に実現することができる。これにより、実際にラベルLを対象物を貼り付けるより前に、貼り付けた時の態様を視覚的にシミュレーションすることができる。また、上記のように視野を変えた種々の状態で仮想ラベルLIをシミュレーションできるので、操作者はより実際の貼り付け状態に近い感覚を得ることができ、利便性を向上することができる。
【0063】
また、本実施形態では特に、タッチパネル112に表示したレイアウト画面(図7参照)において、操作者は、編集操作を行うことで、印字RR等のラベルLの態様を所望に設定することができる。この結果、上記のように操作者が所望に印字RR等を設定したラベルLに対応した仮想ラベルLIを、(実際にラベルを作成する前に)仮想的に対象物に貼り付けた状態で表示させることができる。
【0064】
また、本実施形態では特に、位置相関として、対象物画像FIの複数の特徴点B,Cと仮想ラベルLIの基準点Aとを頂点に含む多角形(上記の例では三角形)の相似形状の維持を上記位置相関として決定する。これにより、上記したように、比較的簡易な方法で、カメラ111の視野の変動による対象物画像FIの移動や変倍への仮想ラベルLIの追従移動や追従変倍を行って、前述の仮想貼り付け状態の表示を実現することができる。
【0065】
また、本実施形態では特に、上記のような位置相関の決定を、対象物画像FIと仮想ラベルLIとが重畳してタッチパネル112に表示された状態で操作者が行うことができる(ステップS205、ステップS207、図11参照)。これにより、操作者は、感覚的に、タッチパネル112に表示された貼り付け対象物(上記の例では電子機器)の所望の位置に対して、確実かつ容易に仮想ラベルLIを貼り付けることができる。この結果、視覚的なシミュレーションを、さらにきめ細かく実現することができ、さらに利便性が向上する。
【0066】
また、本実施形態では特に、操作者が対象物をカメラ111で撮影することにより、自動的に、画像認識処理によって対象物画像FI中の特徴点B,Cが設定される(ステップS206参照)。これにより、操作者の操作労力を低減し、さらに利便性を向上することができる。
【0067】
なお、以上においては、カメラ111により撮像しつつ、貼り付け対象物(上記の例では電子機器)に対して操作端末10が直線的に移動することで視野が変化した場合を例にとって説明した(図9、図10、図11(b)、図12(b)参照)。しかしながらこれに限られず、例えば操作端末10の貼り付け対象物に対する方向が変化する場合(相対的に回転する場合等)においても、本発明の手法を適用可能である。この場合は、上述した二次元的平面座標系に代えて、3次元空間座標系(xyz軸)、若しくは回転座標系を用いた公知の演算により、上記同様の、移動量・移動方向・変倍(拡大・縮小)倍率の算出や、当該算出結果に基づく表示等を行えば足りる。これらの場合も、同様の効果を得る。
【0068】
なお、図3、図4等の図中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
【0069】
また、図5、図13等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。
【0070】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【0071】
その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【0072】
10 操作端末
20 ラベル作成装置
102 制御回路
110 操作ボタン(操作手段)
111 カメラ(撮像手段)
112 タッチパネル(操作手段、表示手段)
A 基準点
B 特徴点
C 特徴点
FI 対象物画像
LI 仮想ラベル

【特許請求の範囲】
【請求項1】
貼り付け対象物に貼り付け可能なラベルを作成するラベル作成装置を操作するための、操作手段と撮像手段と表示手段と演算手段とを備えた操作端末の前記演算手段に対し、
前記撮像手段により撮影された、前記貼り付け対象物を含む所望の視野の実画像データを取得する実画像取得手順と、
前記実画像取得手順で取得された前記視野の実画像データにおける複数の特徴点を設定する特徴点設定手順と、
前記操作手段からの決定操作信号に基づき、前記ラベルの仮想画像データと前記特徴点設定手順で設定された前記複数の特徴点との位置相関を決定する相関決定手順と、
前記相関決定手順で決定された前記位置相関を満たすようにしつつ、前記実画像データと前記ラベルの仮想画像データとを合成して合成画像データを生成する合成画像生成手順と、
前記合成画像生成手順で生成された前記合成画像データを前記表示手段に出力する合成画像出力手順と、
を実行させるための仮想ラベル表示処理プログラム。
【請求項2】
請求項1記載の仮想ラベル表示処理プログラムにおいて、
前記演算手段に対し、
前記操作手段からの編集操作信号に基づき前記ラベルの前記仮想画像データを生成する仮想画像生成手順をさらに実行させ、
前記相関決定手順は、
前記仮想画像生成手順で生成された前記仮想画像データと前記複数の特徴点との位置相関を決定する
ことを特徴とする仮想ラベル表示処理プログラム。
【請求項3】
請求項1又は請求項2記載の仮想ラベル表示処理プログラムにおいて、
前記演算手段に対し、
前記ラベルの前記仮想画像データにおける少なくとも1つの基準点を設定するラベル基準点設定手順をさらに実行させ、
前記相関決定手順は、
前記複数の特徴点と前記少なくとも1つの基準点とを頂点に含む多角形の相似形状の維持を前記位置相関として決定する
ことを特徴とする仮想ラベル表示処理プログラム。
【請求項4】
請求項3記載の仮想ラベル表示処理プログラムにおいて、
前記演算手段に、
前記相関決定手順よりも前に、前記実画像データと前記ラベルの仮想画像データとを重畳した画像データを前記表示手段に出力する重畳画像生成手順をさらに実行させ、
前記相関決定手順は、
前記重畳画像生成手順で生成された画像データにより前記表示手段が前記対象物上に仮想ラベルの表示を行っている状態での前記操作手段からの決定操作信号に基づき、前記位置相関を決定する
ことを特徴とする仮想ラベル表示処理プログラム。
【請求項5】
請求項3又は請求項4記載の仮想ラベル表示処理プログラムにおいて、
前記特徴点設定手順は、
画像認識処理により、前記視野の実画像データにおける複数の特徴点を自動設定する
ことを特徴とする仮想ラベル表示処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate