情報端末装置
【課題】簡素且つ高精度に撮像対象の大きさを推定して、その大きさに応じて表示情報の制御を行うことのできる情報端末装置を提供する。
【解決手段】撮像部2と、撮像対象の大きさを推定する推定部3と、情報を表示する表示部6と、表示部6で表示する情報を記憶する記憶部5と、推定された大きさに関連する情報を記憶部5から読み出して制御する制御部4とを備え、推定部3が、撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、タグの周囲に形成される撮像対象の領域を抽出する領域抽出部と、検出タグの配置とタグの所定配置との比較に基づいて、検出タグの撮像部2に対する姿勢を推定する姿勢推定部と、推定姿勢に基づいて抽出された撮像対象の一面の大きさと、その一面を除外した奥行き部分の大きさとを推定するサイズ推定部とを含むよう情報端末装置1を提供する。
【解決手段】撮像部2と、撮像対象の大きさを推定する推定部3と、情報を表示する表示部6と、表示部6で表示する情報を記憶する記憶部5と、推定された大きさに関連する情報を記憶部5から読み出して制御する制御部4とを備え、推定部3が、撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、タグの周囲に形成される撮像対象の領域を抽出する領域抽出部と、検出タグの配置とタグの所定配置との比較に基づいて、検出タグの撮像部2に対する姿勢を推定する姿勢推定部と、推定姿勢に基づいて抽出された撮像対象の一面の大きさと、その一面を除外した奥行き部分の大きさとを推定するサイズ推定部とを含むよう情報端末装置1を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を提示する情報端末装置に関し、特に、撮像対象の大きさを推定し関連情報を制御できる情報端末装置に関する。
【背景技術】
【０００２】
撮像対象の大きさを画像から計測する装置は、簡潔かつ短時間で計測できるとともに関連情報を撮像対象にひもづけて提示することが可能であり、利用者の利便性を向上させることができる。これを実現する手法としては、以下のような手法が公開されている。
【０００３】
特許文献１では、二つのカメラを用いたステレオ計測法にて物品の特徴点の三次元座標を計測する手法を提案している。特許文献２では、ポアソン過程に従ってばらまかれている複数のセンサーからの入力をもとに、対象物の大きさを推定する手法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-123051号公報
【特許文献２】特開2009-63554号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の手法では、ステレオカメラを必要としているため、利用できる装置が限定されるという課題がある。また、ステレオカメラの搭載は装置の小型化や省電力化、低廉化が困難になるという課題もある。
【０００６】
特許文献２の手法では、複数のセンサーを必要としているため、利用できる装置が限定されるという課題がある。また、分散してばらまく必要があるだけでなく、ばらまき方に精度が依存するという課題もある。
【０００７】
本発明の目的は、上記課題を解決し、撮像対象の大きさ等を簡素かつ高精度に推定し、表示部で表示する情報を確実に制御できる情報端末装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、撮像対象を撮像する撮像部と、前記撮像対象の大きさを推定する推定部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記推定された大きさに関連する情報を前記記憶部から読み出して制御する制御部とを備える情報端末装置であって、前記推定部は、前記撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、前記検出されるタグの周囲に形成される前記撮像対象の領域を抽出する領域抽出部と、前記検出されたタグの配置と前記既知の形状の所定配置との比較に基づいて、前記タグの前記撮像部に対する姿勢を推定する姿勢推定部と、前記既知の大きさと前記推定された姿勢とに基づいて、前記抽出された撮像対象の領域における前記一面の大きさと、前記抽出された撮像対象の領域より前記一面を除外した該撮像対象の前記一面に対する奥行き部分の大きさとを推定するサイズ推定部とを含むことを第一の特徴とする。
【０００９】
また、前記所定配置が、前記タグを所定距離離して正面から前記撮像部で撮像した際の配置であり、前記姿勢推定部が、前記検出されたタグの配置と前記所定配置との平面射影変換の関係として前記姿勢を推定することを第二の特徴とする。
【発明の効果】
【００１０】
前記第一の特徴によれば、大きさ及び形状が既知のタグを予め用意しておき、平面領域としての一面を有するような任意の撮像対象に当該タグが形成されるようにしておき、通常のカメラとして構成される撮像部が撮像した撮像対象の画像を解析するだけで、撮像対象の大きさを推定して表示情報を制御することができる。すなわち、特殊なカメラや特殊なセンサ等を必要とすることなくソフトウェア等によって実現可能であって簡素に、撮像対象の大きさを推定し、表示情報を制御できる。
【００１１】
また、前記第二の特徴によれば、平面射影変換の関係を利用することで、簡素且つ高精度に姿勢が推定されるので、撮像対象の大きさも簡素且つ高精度に推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の適用例の１つを概略的に示す図である。
【図２】本発明の実施形態に係る情報端末装置の機能ブロック図である。
【図３】推定部の機能ブロック図である。
【図４】一実施例に係る推定部のサイズ推定処理のフローチャートである。
【図５】タグの各例を説明する図である。
【図６】姿勢推定部による姿勢推定を説明する図である。
【図７】サイズ推定部によるサイズ推定を説明する図である。
【図８】撮像対象の正面以外の面を求めるのに利用する平面射影変換行列を算出する際の補足事項を説明する図である。
【図９】一実施例に係る推定部のサイズ推定処理のフローチャートである。
【図１０】図9のフローを補足説明する図である。
【図１１】サイズ推定部にて付随情報として取得可能な撮像部と撮像対象との距離の取得を説明する図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明を詳細に説明する。図1は、本発明の適用例の１つを概略的に示す図である。本発明によれば、直方体の撮像対象T1に対してそのいずれかの面に長方形のタグT2を予め設けておいた上で情報端末装置の撮像部により撮像して、図1に示すような当該撮像した画像(ただし、撮像対象以外は省略してある)を解析することで、当該撮像対象T1の大きさ、すなわち縦の長さL1、横の長さL2及び奥行きL3を自動で推定することができる。
【００１４】
さらに、当該情報端末装置において当該大きさに付随する情報を表示等させることもできる。一例では、撮像対象T1は集荷の段ボール箱であり、タグT2は当該段ボール箱に貼り付けられた集荷票であり、大きさに付随して表示させる情報は当該段ボール箱の大きさに応じた配送料の情報である。
【００１５】
なお、撮像対象T1の撮像はL1、L2及びL3すなわち縦、横及び奥行きに対応する辺が画像上で見えるようにして、情報端末装置を利用するユーザが行うものとする。また、図1ではタグT2は直方体の正面(a)に配置されているが、2つの側面(b1)又は(b2)のいずれかに配置されていてもよい。
【００１６】
図2は、本発明の実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、推定部3、記憶部5、制御部4及び表示部6を備える。図3は、推定部3の機能ブロック図である。推定部3は、タグ検出部31、領域抽出部32、姿勢推定部33及びサイズ推定部34を含む。
【００１７】
なお、図3においてタグ検出部31及び領域抽出部32は、機能ブロック群30として示されている。これは、処理順序としてタグ検出部31がまず処理を行って当該処理結果を利用して領域抽出部32が処理を行う場合と、その逆にまず領域抽出部32が前段としての処理を行ってタグ検出部31が後段としての処理を行う場合との、２つの実施例があることを示している。前者を実施例A、後者を実施例Bとする。後述するように実施例Aでは画像全体からまずタグを検出し、次に当該タグ周辺の撮像対象の領域を検出するのに対し、実施例Bでは画像全体からまず撮像対象の領域を検出し、次に当該領域内部のタグを検出する。
【００１８】
撮像部2は、ユーザの操作のもとで図1に例示したように撮像対象の縦、横及び奥行きが写るように撮像して、該撮像画像を推定部3へと渡す。情報端末装置１に携帯端末を採用し、撮像部2には当該携帯端末に標準装備されるデジタルカメラを採用することができる。また情報端末装置１にデスクトップ又はラップトップ等のコンピュータを採用し、撮像部2には当該コンピュータに別途接続するデジタルカメラを採用してもよい。当該接続はネットワーク経由であってもよい。
【００１９】
推定部3は、撮像画像を解析して撮像対象の大きさを推定する。当該推定のため推定部3は、大きさ及び形状などが既知のタグの情報を撮像対象の大きさの判断基準として予め保持しておく。当該推定に際しては、タグ検出部31が画像よりタグを検出し、領域抽出部32が画像より撮像対象の領域を抽出する。ここで、検出されるタグの周囲に撮像対象の領域が形成される、という関係がある。
【００２０】
また当該大きさの推定に際して、姿勢推定部33は、タグ及び撮像対象の撮像部2に対する姿勢を推定する。当該姿勢推定は、検出されたタグの画像上での形状と予め既知のタグの形状との比較より行われる。
【００２１】
サイズ推定部34は、推定された姿勢によって撮像対象の三面図に対応する画像を求め、当該三面図の各々における撮像対象の画像上の長さを当該三面図のうちの１つに含まれるタグの画像上の長さで割った比率に、予め既知のタグの実際の長さを乗ずることによって、三面図の各々における撮像対象の実際の長さを求めることで、撮像対象の大きさを推定する。なお、三面図に対応する画像を求めるのは撮像対象が互いに垂直をなす面から形成されている場合である。当該推定処理については各実施例A及びBにつき、その詳細を後述する。
【００２２】
記憶部5は、推定された撮像対象の大きさ及び／又は検出したタグの情報に関連した情報を予め複数蓄積している。例えば、タグの例として業者ごとの集荷票を形状及び／又は色特徴に基づいて区別する情報と、撮像対象の例として集荷段ボール箱の各サイズに対応する各業者における配送料との情報を蓄積することができる。
【００２３】
表示部6での情報表示の際、制御部4は、推定部3の推定した撮像対象の大きさ及び／又は検出したタグの情報に対応する記憶部5の情報を読み出して、表示情報を加工するように表示情報を制御する。当該表示情報には撮像部2での撮像画像が含まれてもよい。例えば、所定業者の集荷票が添付された集荷段ボール箱の画像に対して、推定された大きさに対応する、当該業者におけるサイズ規格の情報と配送料の情報とを重ねて表示するようにすることができる。
【００２４】
図4は、実施例Aに係る推定部3の推定処理のフローチャートであり、順次タグ検出(ステップS1)、姿勢推定(ステップS2)、領域抽出(ステップS3)及びサイズ推定(ステップS4)が実行される。なお、ステップS2の実行にはステップS1の結果が必要であり、ステップS3の実行にはステップS1の結果が必要であり、ステップS4の実行にはステップS1,2及び3の結果が必要である。よって、当該フローにおいてステップS2とS3とは順を入れ替えてもよい。
【００２５】
(ステップS1)
タグ検出部31が撮像対象の画像より、タグを検出する。当該タグ検出は、画像全体の中からタグの存在している領域の検出と、当該領域におけるタグの向きの検出とからなる。図5はタグの各例を説明する図である。
【００２６】
(1)に示すように、タグは斜線付与で示す段ボール等の撮像対象の下地の色と区別可能な色特徴を有する領域R1で囲まれた長方形を採用することができ、当該領域R1の色特徴に応じた2値化処理を画像に施すことでタグを囲む領域として領域R1を検出し、さらに当該領域R1の境界線から線分を求めることができる。さらに、当該検出されたタグ内の領域R2に、文字列等の非対称な模様を設けておき、当該模様の解析よりタグの向きを検出することができる。当該向きの検出によって、画像上の辺S1,S2,S3及びS4が予め既知のタグのいずれの辺に対応するのかを特定することが可能となる。あるいは同様にして、画像上の4辺の代わりに当該4辺の各交点として求まる4頂点P1,P2,P3及びP4が予め既知のタグのいずれの頂点に対応するのかを特定してもよい。
【００２７】
なお、向きを特定するための非対称な模様としては(2)に示すように形状によって非対称な模様を用いてもよいし、(3)に示すように色特徴によって非対称な模様を用いてもよいし、これらの混合を用いてもよい。例として(2)では方位記号を、(3)では菱形状の各頂点の位置に配置される赤、橙、黄及び緑の各色のドットを示している。こうした配置によって、(1)における四辺S1〜S4又は四頂点P1〜P4を特定できるようになる。
【００２８】
また(4)に示すように、上記2値化による領域R1の検出を、撮像対象の下地の色特徴がどのようであっても確実に行えるようにするため、領域R1の矩形外枠としての領域R0を設けたものをタグとして採用し、当該領域R1及びR0同士でコントラストが強くなるような色特徴を設けて領域R1を検出するようにしてもよい。
【００２９】
なお、タグはより一般には、予め既知の配置の少なくとも４つの線分又は４つの点を画像上から互いの線分同士又は互いの点同士を区別して特定できるようなものであれば任意のものを利用できる。(1)に示す長方形のタグの四辺S1〜S4又は四点P1〜P4はその一例である。当該四辺S1〜S4又は四点P1〜P4自体が異なる色彩を有する等して、互いを区別できるように形成されていてもよい。
【００３０】
より一般的な例を線分の場合に関して(5)に、点の場合に関して(6)に示す。すなわち(5)に示すように、下地と区別可能な任意形状の領域R3の内部又は境界に、配置形状及び／又は色彩で生ずる非対称性によって互いに区別可能な(少なくとも)４つの線分D1〜D4を配置したものを、タグとして利用することができる。ここで線分D1〜D4は実際に線分として与えなくとも、当該箇所に線分が検出できるような任意のもの、例えば線分の両端点のみとして与えることもできる。なお下地と区別可能ならば、領域R3を省略して４つの線分D1〜D4が直接撮像対象上に配置されていてもよい。
【００３１】
また(6)に示すように、(5)と同様に下地と区別可能な任意形状の領域R3の内部又は境界に、配置及び／又は色彩で生ずる非対称性によって互いに区別可能な（少なくとも）４個の点P10〜P40を配置したものを、タグとして利用することができる。
【００３２】
(ステップS2)
姿勢推定部33が、タグ検出部31により検出された画像上でのタグの配置と、予め形状が既知の当該タグの所定配置との比較に基づいて、タグの撮像部に対する姿勢を推定する。
【００３３】
図6は、当該姿勢推定を説明する図である。(1)が形状既知のタグの所定配置の例である。すなわち、既知形状の例として長方形状のタグを所定距離だけ撮像部2から離して真正面より撮像した際に、画素上の座標で当該タグの四辺SA1〜SD1又は四頂点PA1〜PD1の配置を指定する情報として、形状既知のタグの所定配置が与えられる。
【００３４】
(2)がタグ検出部31の検出した画像上でのタグの配置であり、傾いた姿勢でタグが撮像されているため、(1)の形状に対して歪んだ形状となって配置されている。そして、図5の(2)や(3)で説明したような非対称性を利用して、図6の(2)においては(1)における四辺SA1〜SD1にそれぞれ対応する四辺SA2〜SD2が、又は(1)における四点PA1〜PD1にそれぞれ対応する四点PA2〜PD2が、区別して特定されると共に、その画像座標上での配置が求められている。
【００３５】
姿勢推定部33は線分を利用する場合(3)に示すように、(1)での既知の正面配置における四つの線分SA1〜SD1を(2)での四つの線分SA2〜SD2に対応づける写像を与える平面射影行列Hを求めることで、撮像されたタグの姿勢を推定する。当該求め方は図形の投影や変換の分野において周知であるので説明を省略するが、(3)に概念的に示すように各線分を表現するパラメータ間の対応関係として行列Hが求まる。また当該行列Hを求めるには、少なくとも四つの線分同士の対応が必要となるが、線分は４つ以上であってもよい。
【００３６】
点を利用する場合も同様に、姿勢推定部33は(4)に示すように、(1)での既知の正面配置における四つの点PA1〜PD1を(2)での四つの点PA2〜PD2に対応づける写像を与える平面射影変換行列Hを求めることで、撮像されたタグの姿勢を推定する。点のパラメータ表現や行列Hの求め方は周知である。また利用する点は少なくとも四つであり、四つ以上であってもよい。
【００３７】
(ステップS3)
領域抽出部32が、タグ検出部31の検出したタグに外接する領域、例えば所定幅でタグの枠となる領域が概ね同一色である仮定のもと、当該色特徴に所定基準で一致してタグを内包する領域を撮像対象の領域として抽出する。図1の例であれば、検出されたタグ領域T2を元に、当該タグ領域T2を囲んでいる撮像対象の領域T1が抽出される。
【００３８】
なお当該同一色の仮定のもとでは、撮像対象が概ね均一の色特徴であれば、実際に何色であるかが未知であっても、任意の色の撮像対象を抽出できる。また撮像対象の色特徴が既知であれば、領域抽出時に利用してもよい。
【００３９】
(ステップS4)
サイズ推定部34が、タグの既知の大きさと姿勢推定部33が推定した撮像部2に対するタグの姿勢とに基づいて、撮像対象の各方向からのサイズを推定する。図7は、当該サイズ推定を説明する図である。
【００４０】
撮像対象はタグの配置された正面(A1)並びに側面(B1)及び(C1)が見えるように、画像上に写っている。画像上の撮像対象の領域すなわち(A1)∪(B1)∪(C1)は、領域抽出部32によって求められている。また(1)に示すように、正面配置でのタグに対する画像上でのタグの姿勢が、平面射影変換行列Hとして姿勢推定部33により求められている。
【００４１】
タグは直方体の撮像対象上の一面(A1)に配置されているため、(2)に示すようにサイズ推定部34は(1)の行列Hに対する逆行列Haをそのまま画像に適用することで、(A2)に示すような撮像対象の正面図(A2)の画像を得ることができる。すなわち、正面図(A2)は、領域(A1)∪(B1)∪(C1)を行列Ha(＝H−1)によって変換した像として得られる。当該正面図(A2)において撮像対象のサイズとして縦の長さL1及び横の長さL2を画像上の長さとして求めることができる。
【００４２】
サイズ推定部34はさらに、タグの配置された正面(A1)に対する2つの側面(B1)及び(C1)をそれぞれ正面から見た画像としての(B2)及び(C2)を得て、当該画像より奥行きの長さL3を画像上の長さとして求める。すなわち、画像(A2),(B2)及び(C2)は、第三角法における正面図、側面図及び平面図の関係にある。
【００４３】
当該側面図及び平面図に対応する(B2)及び(C2)を求める際、次の関係を利用する。すなわち、任意の平面射影変換行列H'は数学上周知の関係として一般に、撮像部2の内部パラメータA(カメラの内部行列)と、回転行列の第一及び第二列ベクトルr1,r2並びに並進ベクトルtを並べた行列(r1 r2 t)とで、次のような行列方程式で表すことができる。
H' ＝ A (r1 r2 t)
【００４４】
よって、(2)に示す平面射影変換行列Haを上記の形式で表しておいて、回転行列の部分に正面図(A2)から側面図(B2)へ至る回転をさらに反映させることで、(3)に示すように(B2)を得る行列Hbを求めることができる。同様に正面図(A2)から平面図(C2)へ至る回転をさらに反映させることで、(4)に示すように(C2)を得る行列Hcを求めることができる。
【００４５】
サイズ推定部34は最後に、既知のタグにおける所定箇所の実寸を、当該所定箇所を(A2)に示す正面から見た際の画像上の長さで割った比率を、画像(A2),(B2)及び(C2)において画像上の長さとして求めたL1,L2及びL3に乗ずることで、L1,L2及びL3の実寸を求める。タグが長方形であれば、当該所定箇所には例えば四辺のうち特定の一辺や、対角線等を採用することができる。
【００４６】
なお、図8はHb及びHcを求める際の補足事項を説明する図である。すなわち(1)のような撮像対象の画像に対してタグを正面に向ける行列Haを適用した結果、(2)のように画像のxy座標上において傾いた矩形(A4)として"正面図"が得られた場合、当該x軸やy軸の周りの回転を適用すると奥行きL3が正しく見えるような(B3)の側面図及び(C3)の平面図が得られない。すなわち、回転を適用する場合、(B3)を得る際はL2の辺の方向を軸とし、(C3)を得る際はL1の辺の方向を軸とする。あるいは、(2)の状態からさらに(3)のようなL2がx軸に平行でL3がy軸に平行な状態(A5)に変換してから、x軸及びy軸回りに回転させてもよい。
【００４７】
なおまた、実施例Aにおける撮像対象は図7に説明したような直方体に限らず、円錐などを含む錐体などであってもよい。この際、タグは平面をなす底面に設け、底面と側面とが写るように撮像対象は撮像されるものとする。また、図7における行列Haに対してHb及びHcを求めることが可能となるように、底面と側面との角度関係(互いになす角度)が予め既知であるものとする。当該角度関係を適用すれば側面を正面から見た図形が得られる。図7に示す直方体の場合は当該角度関係が直角となる一例である。
【００４８】
図9は、実施例Bに係る推定部3の推定処理のフローチャートであり、順次領域抽出(ステップS10)、タグ検出(ステップS20)、姿勢推定(ステップS30)及びサイズ推定(ステップS40)が実行される。ここで、ステップS30及びステップS40はそれぞれ実施例AのステップS2及びステップS4と同様である。
【００４９】
図10は実施例Bの説明図である。実施例Bにおいては、撮像対象は予め既知の概ね均一な色特徴を有し、形状については概ね直方体となる対象に限定される。タグは予め既知の所定の模様を有するものが当該直方体の一面に付されるが、付す面をどの面のどの場所にどの向きとするかは任意である。
【００５０】
(ステップS10)
領域抽出部32が、撮像対象の色特徴に所定基準で合致しかつ撮像された画像中において最大領域となる領域を撮像対象の領域として抽出する。領域抽出部32はさらに、当該抽出した領域の外周を直線近似して、六角形を得る。すなわち、図10の(1)に示すように六角形x1〜x6を得る。ここでの前提として、撮像対象は画像中に充分大きく映っていることから最大領域として抽出がなされ、また撮像対象が直方体であり縦、横及び奥行きに対応する辺が写っていることから外周としての六角形が得られる。
【００５１】
領域抽出部32はさらに(2)に示すように、抽出領域内部からエッジ検出で3本の稜線x1-x0,x3-x0及びx5-x0を算出し、当該エッジの交点として頂点x0を求める。この際、x1,x3及びx5が六角形において１つおきの頂点であり、かつ共通の頂点x0に至るという制約条件を利用して、その他の稜線ではないものとして検出されるエッジを除外して正しい稜線を求める。当該稜線によって、撮像対象の領域は各面に対応する３つの領域(A1)、(B1)及び(C1)に分けられる。
【００５２】
(ステップS20)
タグが線分で形成されていれば、タグ検出部31が、分けられた３つの領域の各々のエッジ成分についてHough変換を適用して、１つの領域内よりタグの模様に相当する線分の組を検出する。当該線分は配置の非対称性によって各々を特定可能な少なくとも4本の線分である。(2)の例では、領域(A1)から長方形の模様のタグが検出される。
【００５３】
(ステップS30)
姿勢推定部33が、検出されたタグを利用して実施例Aと同様にして当該タグの姿勢を推定する。
【００５４】
(ステップS40)
タグが検出された面(A1)を正面とする画像の平面射影変換による補正を用いて、サイズ推定部34が実施例Aと同様に撮像対象のサイズを求める。すなわち、図10の(2)における縦L1、横L2及び奥行きL3の実寸を求める。
【００５５】
なおステップS20において、当該実施例Bにおけるタグは線分の組合せとしてでなく、点の組合せ等の実施例Aと同様のものを採用してもよい。なお、タグに線分の組合せを採用した場合は、ステップS10におけるエッジ検出結果において稜線として不採用としたものの中からステップS20においてタグを検出すればよいので、色特徴等に基づく処理を別途行う必要がなく、処理が簡素化される。
【００５６】
以下、実施例A及びBの両者において適用可能な、本発明の補足事項を紹介する。
【００５７】
タグ検出部31は、複数の異なるタグを切り替えて検出するように構成することができる。この場合、形状、大きさ、色彩又はそれらの組合せによって各タグが区別できるような所定のタグのセットを用意しておく。いずれのタグが利用されているかについては、ユーザがマニュアルで指定してもよいし、各タグの検出手法をタグ検出部31で試みて、正常に検出されるタグを自動で選ぶようにしてもよい。
【００５８】
この場合、記憶部5は各タグに応じて異なる情報を蓄積しておくことができる。例えば各タグは各配送業者の集荷票であって、当該各配送業者の料金体系に係る情報を蓄積しておくことができる。制御部4は検出されたタグの種類に応じた情報を記憶部5から読み出して、表示部6にて表示するよう制御することができる。
【００５９】
なおまたタグ自体は、撮像対象の段ボール箱に対して別途、平面状の物品として貼り付けるような集荷票といったようなものであってもよいし、段ボール箱の一面に描かれた模様等として形成されていてもよい。大きさ及び形状等が既知となるならば、レーザポインタ等で照射した模様等であってもよい。
【００６０】
図11は、サイズ推定部34において撮像対象のサイズ以外の付随情報として取得可能な、撮像部2と撮像対象との距離Dの取得を説明する図である。当該距離Dはレンズの公式に基づいて、次式により求めることができる。
D ＝ f L/n
【００６１】
ここで、Lはタグの所定部分の実寸の長さであり、nはタグの当該所定部分の撮像部2における撮像面に生じた像の長さである。すなわちnは、タグの所定部分の像の占める画素数に撮像部2の所定の画素ピッチ(隣接画素間距離)を積算して得られる長さである。fは撮像部2の焦点距離である。当該取得された距離も、制御部4によって表示部6に表示させるようにすることができる。
【符号の説明】
【００６２】
1…情報端末装置、2…撮像部、3…推定部、4…制御部、5…記憶部、6…表示部、31…タグ検出部、32…領域抽出部、33…姿勢推定部、34…サイズ推定部
【技術分野】
【０００１】
本発明は、情報を提示する情報端末装置に関し、特に、撮像対象の大きさを推定し関連情報を制御できる情報端末装置に関する。
【背景技術】
【０００２】
撮像対象の大きさを画像から計測する装置は、簡潔かつ短時間で計測できるとともに関連情報を撮像対象にひもづけて提示することが可能であり、利用者の利便性を向上させることができる。これを実現する手法としては、以下のような手法が公開されている。
【０００３】
特許文献１では、二つのカメラを用いたステレオ計測法にて物品の特徴点の三次元座標を計測する手法を提案している。特許文献２では、ポアソン過程に従ってばらまかれている複数のセンサーからの入力をもとに、対象物の大きさを推定する手法を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-123051号公報
【特許文献２】特開2009-63554号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の手法では、ステレオカメラを必要としているため、利用できる装置が限定されるという課題がある。また、ステレオカメラの搭載は装置の小型化や省電力化、低廉化が困難になるという課題もある。
【０００６】
特許文献２の手法では、複数のセンサーを必要としているため、利用できる装置が限定されるという課題がある。また、分散してばらまく必要があるだけでなく、ばらまき方に精度が依存するという課題もある。
【０００７】
本発明の目的は、上記課題を解決し、撮像対象の大きさ等を簡素かつ高精度に推定し、表示部で表示する情報を確実に制御できる情報端末装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は、撮像対象を撮像する撮像部と、前記撮像対象の大きさを推定する推定部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記推定された大きさに関連する情報を前記記憶部から読み出して制御する制御部とを備える情報端末装置であって、前記推定部は、前記撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、前記検出されるタグの周囲に形成される前記撮像対象の領域を抽出する領域抽出部と、前記検出されたタグの配置と前記既知の形状の所定配置との比較に基づいて、前記タグの前記撮像部に対する姿勢を推定する姿勢推定部と、前記既知の大きさと前記推定された姿勢とに基づいて、前記抽出された撮像対象の領域における前記一面の大きさと、前記抽出された撮像対象の領域より前記一面を除外した該撮像対象の前記一面に対する奥行き部分の大きさとを推定するサイズ推定部とを含むことを第一の特徴とする。
【０００９】
また、前記所定配置が、前記タグを所定距離離して正面から前記撮像部で撮像した際の配置であり、前記姿勢推定部が、前記検出されたタグの配置と前記所定配置との平面射影変換の関係として前記姿勢を推定することを第二の特徴とする。
【発明の効果】
【００１０】
前記第一の特徴によれば、大きさ及び形状が既知のタグを予め用意しておき、平面領域としての一面を有するような任意の撮像対象に当該タグが形成されるようにしておき、通常のカメラとして構成される撮像部が撮像した撮像対象の画像を解析するだけで、撮像対象の大きさを推定して表示情報を制御することができる。すなわち、特殊なカメラや特殊なセンサ等を必要とすることなくソフトウェア等によって実現可能であって簡素に、撮像対象の大きさを推定し、表示情報を制御できる。
【００１１】
また、前記第二の特徴によれば、平面射影変換の関係を利用することで、簡素且つ高精度に姿勢が推定されるので、撮像対象の大きさも簡素且つ高精度に推定することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の適用例の１つを概略的に示す図である。
【図２】本発明の実施形態に係る情報端末装置の機能ブロック図である。
【図３】推定部の機能ブロック図である。
【図４】一実施例に係る推定部のサイズ推定処理のフローチャートである。
【図５】タグの各例を説明する図である。
【図６】姿勢推定部による姿勢推定を説明する図である。
【図７】サイズ推定部によるサイズ推定を説明する図である。
【図８】撮像対象の正面以外の面を求めるのに利用する平面射影変換行列を算出する際の補足事項を説明する図である。
【図９】一実施例に係る推定部のサイズ推定処理のフローチャートである。
【図１０】図9のフローを補足説明する図である。
【図１１】サイズ推定部にて付随情報として取得可能な撮像部と撮像対象との距離の取得を説明する図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明を詳細に説明する。図1は、本発明の適用例の１つを概略的に示す図である。本発明によれば、直方体の撮像対象T1に対してそのいずれかの面に長方形のタグT2を予め設けておいた上で情報端末装置の撮像部により撮像して、図1に示すような当該撮像した画像(ただし、撮像対象以外は省略してある)を解析することで、当該撮像対象T1の大きさ、すなわち縦の長さL1、横の長さL2及び奥行きL3を自動で推定することができる。
【００１４】
さらに、当該情報端末装置において当該大きさに付随する情報を表示等させることもできる。一例では、撮像対象T1は集荷の段ボール箱であり、タグT2は当該段ボール箱に貼り付けられた集荷票であり、大きさに付随して表示させる情報は当該段ボール箱の大きさに応じた配送料の情報である。
【００１５】
なお、撮像対象T1の撮像はL1、L2及びL3すなわち縦、横及び奥行きに対応する辺が画像上で見えるようにして、情報端末装置を利用するユーザが行うものとする。また、図1ではタグT2は直方体の正面(a)に配置されているが、2つの側面(b1)又は(b2)のいずれかに配置されていてもよい。
【００１６】
図2は、本発明の実施形態に係る情報端末装置の機能ブロック図である。情報端末装置1は、撮像部2、推定部3、記憶部5、制御部4及び表示部6を備える。図3は、推定部3の機能ブロック図である。推定部3は、タグ検出部31、領域抽出部32、姿勢推定部33及びサイズ推定部34を含む。
【００１７】
なお、図3においてタグ検出部31及び領域抽出部32は、機能ブロック群30として示されている。これは、処理順序としてタグ検出部31がまず処理を行って当該処理結果を利用して領域抽出部32が処理を行う場合と、その逆にまず領域抽出部32が前段としての処理を行ってタグ検出部31が後段としての処理を行う場合との、２つの実施例があることを示している。前者を実施例A、後者を実施例Bとする。後述するように実施例Aでは画像全体からまずタグを検出し、次に当該タグ周辺の撮像対象の領域を検出するのに対し、実施例Bでは画像全体からまず撮像対象の領域を検出し、次に当該領域内部のタグを検出する。
【００１８】
撮像部2は、ユーザの操作のもとで図1に例示したように撮像対象の縦、横及び奥行きが写るように撮像して、該撮像画像を推定部3へと渡す。情報端末装置１に携帯端末を採用し、撮像部2には当該携帯端末に標準装備されるデジタルカメラを採用することができる。また情報端末装置１にデスクトップ又はラップトップ等のコンピュータを採用し、撮像部2には当該コンピュータに別途接続するデジタルカメラを採用してもよい。当該接続はネットワーク経由であってもよい。
【００１９】
推定部3は、撮像画像を解析して撮像対象の大きさを推定する。当該推定のため推定部3は、大きさ及び形状などが既知のタグの情報を撮像対象の大きさの判断基準として予め保持しておく。当該推定に際しては、タグ検出部31が画像よりタグを検出し、領域抽出部32が画像より撮像対象の領域を抽出する。ここで、検出されるタグの周囲に撮像対象の領域が形成される、という関係がある。
【００２０】
また当該大きさの推定に際して、姿勢推定部33は、タグ及び撮像対象の撮像部2に対する姿勢を推定する。当該姿勢推定は、検出されたタグの画像上での形状と予め既知のタグの形状との比較より行われる。
【００２１】
サイズ推定部34は、推定された姿勢によって撮像対象の三面図に対応する画像を求め、当該三面図の各々における撮像対象の画像上の長さを当該三面図のうちの１つに含まれるタグの画像上の長さで割った比率に、予め既知のタグの実際の長さを乗ずることによって、三面図の各々における撮像対象の実際の長さを求めることで、撮像対象の大きさを推定する。なお、三面図に対応する画像を求めるのは撮像対象が互いに垂直をなす面から形成されている場合である。当該推定処理については各実施例A及びBにつき、その詳細を後述する。
【００２２】
記憶部5は、推定された撮像対象の大きさ及び／又は検出したタグの情報に関連した情報を予め複数蓄積している。例えば、タグの例として業者ごとの集荷票を形状及び／又は色特徴に基づいて区別する情報と、撮像対象の例として集荷段ボール箱の各サイズに対応する各業者における配送料との情報を蓄積することができる。
【００２３】
表示部6での情報表示の際、制御部4は、推定部3の推定した撮像対象の大きさ及び／又は検出したタグの情報に対応する記憶部5の情報を読み出して、表示情報を加工するように表示情報を制御する。当該表示情報には撮像部2での撮像画像が含まれてもよい。例えば、所定業者の集荷票が添付された集荷段ボール箱の画像に対して、推定された大きさに対応する、当該業者におけるサイズ規格の情報と配送料の情報とを重ねて表示するようにすることができる。
【００２４】
図4は、実施例Aに係る推定部3の推定処理のフローチャートであり、順次タグ検出(ステップS1)、姿勢推定(ステップS2)、領域抽出(ステップS3)及びサイズ推定(ステップS4)が実行される。なお、ステップS2の実行にはステップS1の結果が必要であり、ステップS3の実行にはステップS1の結果が必要であり、ステップS4の実行にはステップS1,2及び3の結果が必要である。よって、当該フローにおいてステップS2とS3とは順を入れ替えてもよい。
【００２５】
(ステップS1)
タグ検出部31が撮像対象の画像より、タグを検出する。当該タグ検出は、画像全体の中からタグの存在している領域の検出と、当該領域におけるタグの向きの検出とからなる。図5はタグの各例を説明する図である。
【００２６】
(1)に示すように、タグは斜線付与で示す段ボール等の撮像対象の下地の色と区別可能な色特徴を有する領域R1で囲まれた長方形を採用することができ、当該領域R1の色特徴に応じた2値化処理を画像に施すことでタグを囲む領域として領域R1を検出し、さらに当該領域R1の境界線から線分を求めることができる。さらに、当該検出されたタグ内の領域R2に、文字列等の非対称な模様を設けておき、当該模様の解析よりタグの向きを検出することができる。当該向きの検出によって、画像上の辺S1,S2,S3及びS4が予め既知のタグのいずれの辺に対応するのかを特定することが可能となる。あるいは同様にして、画像上の4辺の代わりに当該4辺の各交点として求まる4頂点P1,P2,P3及びP4が予め既知のタグのいずれの頂点に対応するのかを特定してもよい。
【００２７】
なお、向きを特定するための非対称な模様としては(2)に示すように形状によって非対称な模様を用いてもよいし、(3)に示すように色特徴によって非対称な模様を用いてもよいし、これらの混合を用いてもよい。例として(2)では方位記号を、(3)では菱形状の各頂点の位置に配置される赤、橙、黄及び緑の各色のドットを示している。こうした配置によって、(1)における四辺S1〜S4又は四頂点P1〜P4を特定できるようになる。
【００２８】
また(4)に示すように、上記2値化による領域R1の検出を、撮像対象の下地の色特徴がどのようであっても確実に行えるようにするため、領域R1の矩形外枠としての領域R0を設けたものをタグとして採用し、当該領域R1及びR0同士でコントラストが強くなるような色特徴を設けて領域R1を検出するようにしてもよい。
【００２９】
なお、タグはより一般には、予め既知の配置の少なくとも４つの線分又は４つの点を画像上から互いの線分同士又は互いの点同士を区別して特定できるようなものであれば任意のものを利用できる。(1)に示す長方形のタグの四辺S1〜S4又は四点P1〜P4はその一例である。当該四辺S1〜S4又は四点P1〜P4自体が異なる色彩を有する等して、互いを区別できるように形成されていてもよい。
【００３０】
より一般的な例を線分の場合に関して(5)に、点の場合に関して(6)に示す。すなわち(5)に示すように、下地と区別可能な任意形状の領域R3の内部又は境界に、配置形状及び／又は色彩で生ずる非対称性によって互いに区別可能な(少なくとも)４つの線分D1〜D4を配置したものを、タグとして利用することができる。ここで線分D1〜D4は実際に線分として与えなくとも、当該箇所に線分が検出できるような任意のもの、例えば線分の両端点のみとして与えることもできる。なお下地と区別可能ならば、領域R3を省略して４つの線分D1〜D4が直接撮像対象上に配置されていてもよい。
【００３１】
また(6)に示すように、(5)と同様に下地と区別可能な任意形状の領域R3の内部又は境界に、配置及び／又は色彩で生ずる非対称性によって互いに区別可能な（少なくとも）４個の点P10〜P40を配置したものを、タグとして利用することができる。
【００３２】
(ステップS2)
姿勢推定部33が、タグ検出部31により検出された画像上でのタグの配置と、予め形状が既知の当該タグの所定配置との比較に基づいて、タグの撮像部に対する姿勢を推定する。
【００３３】
図6は、当該姿勢推定を説明する図である。(1)が形状既知のタグの所定配置の例である。すなわち、既知形状の例として長方形状のタグを所定距離だけ撮像部2から離して真正面より撮像した際に、画素上の座標で当該タグの四辺SA1〜SD1又は四頂点PA1〜PD1の配置を指定する情報として、形状既知のタグの所定配置が与えられる。
【００３４】
(2)がタグ検出部31の検出した画像上でのタグの配置であり、傾いた姿勢でタグが撮像されているため、(1)の形状に対して歪んだ形状となって配置されている。そして、図5の(2)や(3)で説明したような非対称性を利用して、図6の(2)においては(1)における四辺SA1〜SD1にそれぞれ対応する四辺SA2〜SD2が、又は(1)における四点PA1〜PD1にそれぞれ対応する四点PA2〜PD2が、区別して特定されると共に、その画像座標上での配置が求められている。
【００３５】
姿勢推定部33は線分を利用する場合(3)に示すように、(1)での既知の正面配置における四つの線分SA1〜SD1を(2)での四つの線分SA2〜SD2に対応づける写像を与える平面射影行列Hを求めることで、撮像されたタグの姿勢を推定する。当該求め方は図形の投影や変換の分野において周知であるので説明を省略するが、(3)に概念的に示すように各線分を表現するパラメータ間の対応関係として行列Hが求まる。また当該行列Hを求めるには、少なくとも四つの線分同士の対応が必要となるが、線分は４つ以上であってもよい。
【００３６】
点を利用する場合も同様に、姿勢推定部33は(4)に示すように、(1)での既知の正面配置における四つの点PA1〜PD1を(2)での四つの点PA2〜PD2に対応づける写像を与える平面射影変換行列Hを求めることで、撮像されたタグの姿勢を推定する。点のパラメータ表現や行列Hの求め方は周知である。また利用する点は少なくとも四つであり、四つ以上であってもよい。
【００３７】
(ステップS3)
領域抽出部32が、タグ検出部31の検出したタグに外接する領域、例えば所定幅でタグの枠となる領域が概ね同一色である仮定のもと、当該色特徴に所定基準で一致してタグを内包する領域を撮像対象の領域として抽出する。図1の例であれば、検出されたタグ領域T2を元に、当該タグ領域T2を囲んでいる撮像対象の領域T1が抽出される。
【００３８】
なお当該同一色の仮定のもとでは、撮像対象が概ね均一の色特徴であれば、実際に何色であるかが未知であっても、任意の色の撮像対象を抽出できる。また撮像対象の色特徴が既知であれば、領域抽出時に利用してもよい。
【００３９】
(ステップS4)
サイズ推定部34が、タグの既知の大きさと姿勢推定部33が推定した撮像部2に対するタグの姿勢とに基づいて、撮像対象の各方向からのサイズを推定する。図7は、当該サイズ推定を説明する図である。
【００４０】
撮像対象はタグの配置された正面(A1)並びに側面(B1)及び(C1)が見えるように、画像上に写っている。画像上の撮像対象の領域すなわち(A1)∪(B1)∪(C1)は、領域抽出部32によって求められている。また(1)に示すように、正面配置でのタグに対する画像上でのタグの姿勢が、平面射影変換行列Hとして姿勢推定部33により求められている。
【００４１】
タグは直方体の撮像対象上の一面(A1)に配置されているため、(2)に示すようにサイズ推定部34は(1)の行列Hに対する逆行列Haをそのまま画像に適用することで、(A2)に示すような撮像対象の正面図(A2)の画像を得ることができる。すなわち、正面図(A2)は、領域(A1)∪(B1)∪(C1)を行列Ha(＝H−1)によって変換した像として得られる。当該正面図(A2)において撮像対象のサイズとして縦の長さL1及び横の長さL2を画像上の長さとして求めることができる。
【００４２】
サイズ推定部34はさらに、タグの配置された正面(A1)に対する2つの側面(B1)及び(C1)をそれぞれ正面から見た画像としての(B2)及び(C2)を得て、当該画像より奥行きの長さL3を画像上の長さとして求める。すなわち、画像(A2),(B2)及び(C2)は、第三角法における正面図、側面図及び平面図の関係にある。
【００４３】
当該側面図及び平面図に対応する(B2)及び(C2)を求める際、次の関係を利用する。すなわち、任意の平面射影変換行列H'は数学上周知の関係として一般に、撮像部2の内部パラメータA(カメラの内部行列)と、回転行列の第一及び第二列ベクトルr1,r2並びに並進ベクトルtを並べた行列(r1 r2 t)とで、次のような行列方程式で表すことができる。
H' ＝ A (r1 r2 t)
【００４４】
よって、(2)に示す平面射影変換行列Haを上記の形式で表しておいて、回転行列の部分に正面図(A2)から側面図(B2)へ至る回転をさらに反映させることで、(3)に示すように(B2)を得る行列Hbを求めることができる。同様に正面図(A2)から平面図(C2)へ至る回転をさらに反映させることで、(4)に示すように(C2)を得る行列Hcを求めることができる。
【００４５】
サイズ推定部34は最後に、既知のタグにおける所定箇所の実寸を、当該所定箇所を(A2)に示す正面から見た際の画像上の長さで割った比率を、画像(A2),(B2)及び(C2)において画像上の長さとして求めたL1,L2及びL3に乗ずることで、L1,L2及びL3の実寸を求める。タグが長方形であれば、当該所定箇所には例えば四辺のうち特定の一辺や、対角線等を採用することができる。
【００４６】
なお、図8はHb及びHcを求める際の補足事項を説明する図である。すなわち(1)のような撮像対象の画像に対してタグを正面に向ける行列Haを適用した結果、(2)のように画像のxy座標上において傾いた矩形(A4)として"正面図"が得られた場合、当該x軸やy軸の周りの回転を適用すると奥行きL3が正しく見えるような(B3)の側面図及び(C3)の平面図が得られない。すなわち、回転を適用する場合、(B3)を得る際はL2の辺の方向を軸とし、(C3)を得る際はL1の辺の方向を軸とする。あるいは、(2)の状態からさらに(3)のようなL2がx軸に平行でL3がy軸に平行な状態(A5)に変換してから、x軸及びy軸回りに回転させてもよい。
【００４７】
なおまた、実施例Aにおける撮像対象は図7に説明したような直方体に限らず、円錐などを含む錐体などであってもよい。この際、タグは平面をなす底面に設け、底面と側面とが写るように撮像対象は撮像されるものとする。また、図7における行列Haに対してHb及びHcを求めることが可能となるように、底面と側面との角度関係(互いになす角度)が予め既知であるものとする。当該角度関係を適用すれば側面を正面から見た図形が得られる。図7に示す直方体の場合は当該角度関係が直角となる一例である。
【００４８】
図9は、実施例Bに係る推定部3の推定処理のフローチャートであり、順次領域抽出(ステップS10)、タグ検出(ステップS20)、姿勢推定(ステップS30)及びサイズ推定(ステップS40)が実行される。ここで、ステップS30及びステップS40はそれぞれ実施例AのステップS2及びステップS4と同様である。
【００４９】
図10は実施例Bの説明図である。実施例Bにおいては、撮像対象は予め既知の概ね均一な色特徴を有し、形状については概ね直方体となる対象に限定される。タグは予め既知の所定の模様を有するものが当該直方体の一面に付されるが、付す面をどの面のどの場所にどの向きとするかは任意である。
【００５０】
(ステップS10)
領域抽出部32が、撮像対象の色特徴に所定基準で合致しかつ撮像された画像中において最大領域となる領域を撮像対象の領域として抽出する。領域抽出部32はさらに、当該抽出した領域の外周を直線近似して、六角形を得る。すなわち、図10の(1)に示すように六角形x1〜x6を得る。ここでの前提として、撮像対象は画像中に充分大きく映っていることから最大領域として抽出がなされ、また撮像対象が直方体であり縦、横及び奥行きに対応する辺が写っていることから外周としての六角形が得られる。
【００５１】
領域抽出部32はさらに(2)に示すように、抽出領域内部からエッジ検出で3本の稜線x1-x0,x3-x0及びx5-x0を算出し、当該エッジの交点として頂点x0を求める。この際、x1,x3及びx5が六角形において１つおきの頂点であり、かつ共通の頂点x0に至るという制約条件を利用して、その他の稜線ではないものとして検出されるエッジを除外して正しい稜線を求める。当該稜線によって、撮像対象の領域は各面に対応する３つの領域(A1)、(B1)及び(C1)に分けられる。
【００５２】
(ステップS20)
タグが線分で形成されていれば、タグ検出部31が、分けられた３つの領域の各々のエッジ成分についてHough変換を適用して、１つの領域内よりタグの模様に相当する線分の組を検出する。当該線分は配置の非対称性によって各々を特定可能な少なくとも4本の線分である。(2)の例では、領域(A1)から長方形の模様のタグが検出される。
【００５３】
(ステップS30)
姿勢推定部33が、検出されたタグを利用して実施例Aと同様にして当該タグの姿勢を推定する。
【００５４】
(ステップS40)
タグが検出された面(A1)を正面とする画像の平面射影変換による補正を用いて、サイズ推定部34が実施例Aと同様に撮像対象のサイズを求める。すなわち、図10の(2)における縦L1、横L2及び奥行きL3の実寸を求める。
【００５５】
なおステップS20において、当該実施例Bにおけるタグは線分の組合せとしてでなく、点の組合せ等の実施例Aと同様のものを採用してもよい。なお、タグに線分の組合せを採用した場合は、ステップS10におけるエッジ検出結果において稜線として不採用としたものの中からステップS20においてタグを検出すればよいので、色特徴等に基づく処理を別途行う必要がなく、処理が簡素化される。
【００５６】
以下、実施例A及びBの両者において適用可能な、本発明の補足事項を紹介する。
【００５７】
タグ検出部31は、複数の異なるタグを切り替えて検出するように構成することができる。この場合、形状、大きさ、色彩又はそれらの組合せによって各タグが区別できるような所定のタグのセットを用意しておく。いずれのタグが利用されているかについては、ユーザがマニュアルで指定してもよいし、各タグの検出手法をタグ検出部31で試みて、正常に検出されるタグを自動で選ぶようにしてもよい。
【００５８】
この場合、記憶部5は各タグに応じて異なる情報を蓄積しておくことができる。例えば各タグは各配送業者の集荷票であって、当該各配送業者の料金体系に係る情報を蓄積しておくことができる。制御部4は検出されたタグの種類に応じた情報を記憶部5から読み出して、表示部6にて表示するよう制御することができる。
【００５９】
なおまたタグ自体は、撮像対象の段ボール箱に対して別途、平面状の物品として貼り付けるような集荷票といったようなものであってもよいし、段ボール箱の一面に描かれた模様等として形成されていてもよい。大きさ及び形状等が既知となるならば、レーザポインタ等で照射した模様等であってもよい。
【００６０】
図11は、サイズ推定部34において撮像対象のサイズ以外の付随情報として取得可能な、撮像部2と撮像対象との距離Dの取得を説明する図である。当該距離Dはレンズの公式に基づいて、次式により求めることができる。
D ＝ f L/n
【００６１】
ここで、Lはタグの所定部分の実寸の長さであり、nはタグの当該所定部分の撮像部2における撮像面に生じた像の長さである。すなわちnは、タグの所定部分の像の占める画素数に撮像部2の所定の画素ピッチ(隣接画素間距離)を積算して得られる長さである。fは撮像部2の焦点距離である。当該取得された距離も、制御部4によって表示部6に表示させるようにすることができる。
【符号の説明】
【００６２】
1…情報端末装置、2…撮像部、3…推定部、4…制御部、5…記憶部、6…表示部、31…タグ検出部、32…領域抽出部、33…姿勢推定部、34…サイズ推定部
【特許請求の範囲】
【請求項１】
撮像対象を撮像する撮像部と、前記撮像対象の大きさを推定する推定部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記推定された大きさに関連する情報を前記記憶部から読み出して制御する制御部とを備える情報端末装置であって、
前記推定部は、
前記撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、
前記検出されるタグの周囲に形成される前記撮像対象の領域を抽出する領域抽出部と、
前記検出されたタグの配置と前記既知の形状の所定配置との比較に基づいて、前記タグの前記撮像部に対する姿勢を推定する姿勢推定部と、
前記既知の大きさと前記推定された姿勢とに基づいて、前記抽出された撮像対象の領域における前記一面の大きさと、前記抽出された撮像対象の領域より前記一面を除外した該撮像対象の前記一面に対する奥行き部分の大きさとを推定するサイズ推定部とを含むことを特徴とする情報端末装置。
【請求項２】
前記タグはその境界部分に所定の色特徴を有し、
前記タグ検出部は前記所定の色特徴に基づく画像の2値化によって前記タグを検出することを特徴とする請求項1に記載の情報端末装置。
【請求項３】
前記撮像対象は概ね均一な所定の色特徴を有し、
前記領域抽出部は、前記検出されたタグに外接する所定領域の色特徴と概ね同一の色特徴の領域を前記撮像対象の領域として抽出することを特徴とする請求項1または2に記載の情報端末装置。
【請求項４】
前記所定配置が、前記タグを所定距離離して正面から前記撮像部で撮像した際の配置であり、
前記姿勢推定部が、前記検出されたタグの配置と前記所定配置との平面射影変換の関係として前記姿勢を推定することを特徴とする請求項1ないし3のいずれかに記載の情報端末装置。
【請求項５】
前記サイズ推定部が、前記推定された平面射影変換の関係より前記撮像対象を前記一面を正面として撮像した状態へと変換した上で、前記一面の大きさを推定することを特徴とする請求項4に記載の情報端末装置。
【請求項６】
前記撮像対象において前記一面とその奥行き部分に沿う面との角度関係が既知であり、
前記サイズ推定部が、前記推定された平面射影変換の関係と前記既知の角度関係とを用いて前記撮像対象を前記奥行き部分に沿う面を正面として撮像した状態へと変換した上で、前記奥行き部分の大きさを推定することを特徴とする請求項5に記載の情報端末装置。
【請求項７】
前記撮像対象は概ね均一な所定の色特徴を有し概ね直方体の形状の対象であり、前記タグは当該直方体の一面において付された所定の模様であって、
前記領域抽出部は、当該所定の色特徴と概ね同一の色特徴を有する最大領域を前記撮像対象の領域として抽出すると共に、当該抽出した領域の外周を直線近似して六角形を求め、当該六角形の１つおきの３頂点から延びて且つ当該抽出した領域の内部の1点に至る３本の線分を検出し、
前記タグ検出部は、当該３本の線分で３つに区切られた前記撮像対象の領域の中から、前記所定の模様が検出された領域を、前記タグとして検出することを特徴とする請求項1ないし6のいずれかに記載の情報端末装置。
【請求項８】
前記タグ検出部は予め定められた複数の異なるタグを区別して検出するよう構成され、
前記記憶部は前記複数の異なるタグ毎に関連する情報を蓄積し、
前記制御部は、前記検出されたタグに応じた情報を前記記憶部から読み出して制御することを特徴とする請求項1ないし7のいずれかに記載の情報端末装置。
【請求項９】
前記サイズ推定部がさらに、前記検出されたタグが前記撮像部において占める画素数と、前記タグの既知の大きさと、前記撮像部の画素ピッチ及び焦点距離とに基づいて、前記撮像部と前記撮像対象との距離を推定することを特徴とする請求項1ないし8のいずれかに記載の情報端末装置。
【請求項１】
撮像対象を撮像する撮像部と、前記撮像対象の大きさを推定する推定部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記推定された大きさに関連する情報を前記記憶部から読み出して制御する制御部とを備える情報端末装置であって、
前記推定部は、
前記撮像対象の一面上に設けられた大きさ及び形状が既知のタグを検出するタグ検出部と、
前記検出されるタグの周囲に形成される前記撮像対象の領域を抽出する領域抽出部と、
前記検出されたタグの配置と前記既知の形状の所定配置との比較に基づいて、前記タグの前記撮像部に対する姿勢を推定する姿勢推定部と、
前記既知の大きさと前記推定された姿勢とに基づいて、前記抽出された撮像対象の領域における前記一面の大きさと、前記抽出された撮像対象の領域より前記一面を除外した該撮像対象の前記一面に対する奥行き部分の大きさとを推定するサイズ推定部とを含むことを特徴とする情報端末装置。
【請求項２】
前記タグはその境界部分に所定の色特徴を有し、
前記タグ検出部は前記所定の色特徴に基づく画像の2値化によって前記タグを検出することを特徴とする請求項1に記載の情報端末装置。
【請求項３】
前記撮像対象は概ね均一な所定の色特徴を有し、
前記領域抽出部は、前記検出されたタグに外接する所定領域の色特徴と概ね同一の色特徴の領域を前記撮像対象の領域として抽出することを特徴とする請求項1または2に記載の情報端末装置。
【請求項４】
前記所定配置が、前記タグを所定距離離して正面から前記撮像部で撮像した際の配置であり、
前記姿勢推定部が、前記検出されたタグの配置と前記所定配置との平面射影変換の関係として前記姿勢を推定することを特徴とする請求項1ないし3のいずれかに記載の情報端末装置。
【請求項５】
前記サイズ推定部が、前記推定された平面射影変換の関係より前記撮像対象を前記一面を正面として撮像した状態へと変換した上で、前記一面の大きさを推定することを特徴とする請求項4に記載の情報端末装置。
【請求項６】
前記撮像対象において前記一面とその奥行き部分に沿う面との角度関係が既知であり、
前記サイズ推定部が、前記推定された平面射影変換の関係と前記既知の角度関係とを用いて前記撮像対象を前記奥行き部分に沿う面を正面として撮像した状態へと変換した上で、前記奥行き部分の大きさを推定することを特徴とする請求項5に記載の情報端末装置。
【請求項７】
前記撮像対象は概ね均一な所定の色特徴を有し概ね直方体の形状の対象であり、前記タグは当該直方体の一面において付された所定の模様であって、
前記領域抽出部は、当該所定の色特徴と概ね同一の色特徴を有する最大領域を前記撮像対象の領域として抽出すると共に、当該抽出した領域の外周を直線近似して六角形を求め、当該六角形の１つおきの３頂点から延びて且つ当該抽出した領域の内部の1点に至る３本の線分を検出し、
前記タグ検出部は、当該３本の線分で３つに区切られた前記撮像対象の領域の中から、前記所定の模様が検出された領域を、前記タグとして検出することを特徴とする請求項1ないし6のいずれかに記載の情報端末装置。
【請求項８】
前記タグ検出部は予め定められた複数の異なるタグを区別して検出するよう構成され、
前記記憶部は前記複数の異なるタグ毎に関連する情報を蓄積し、
前記制御部は、前記検出されたタグに応じた情報を前記記憶部から読み出して制御することを特徴とする請求項1ないし7のいずれかに記載の情報端末装置。
【請求項９】
前記サイズ推定部がさらに、前記検出されたタグが前記撮像部において占める画素数と、前記タグの既知の大きさと、前記撮像部の画素ピッチ及び焦点距離とに基づいて、前記撮像部と前記撮像対象との距離を推定することを特徴とする請求項1ないし8のいずれかに記載の情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０８９３３（Ｐ２０１３−１０８９３３Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５６０９１（Ｐ２０１１−２５６０９１）
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２４日（２０１１．１１．２４）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]