カメラ装置
【課題】 顧客に適合した衣服等の商品のサイズ分類に必要なデータを作成し得るカメラの提供
【解決手段】 カメラ１は、販売員等が、顧客を任意の異なる角度で複数枚撮影すると、それらの視差や、被写体人物とカメラの距離から３次元形状データを生成する３次元形状データ生成部１３と、生成された３次元形状データから顧客の体型を取得し、標準体型データベース２０を検索して顧客の身体各部の寸法（サイズ）を取得する体型取得部１４を備え、その顧客に適合する衣服等のサイズ分類や各部位の寸法等をサイズデータベース３０から得て、表示する。
【解決手段】 カメラ１は、販売員等が、顧客を任意の異なる角度で複数枚撮影すると、それらの視差や、被写体人物とカメラの距離から３次元形状データを生成する３次元形状データ生成部１３と、生成された３次元形状データから顧客の体型を取得し、標準体型データベース２０を検索して顧客の身体各部の寸法（サイズ）を取得する体型取得部１４を備え、その顧客に適合する衣服等のサイズ分類や各部位の寸法等をサイズデータベース３０から得て、表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した複数枚の画像から服装の採寸等に必要なデータを作成するカメラ装置に関し、本発明の産業上の利用分野としては、例えば、顧客や販売員がこのカメラ装置で撮影した画像を元に、試着しなくても既製服が客の体形に適合しているか否かをファインダー映像から判定したり、サイズ分類を行ったり、身体寸法データを得て体形毎の服装の型や色の集計・解析等を行う自動採寸サービスに使用して好適なカメラ装置を提供することである。
【背景技術】
【０００２】
従来、３次元スキャナや全周カメラ撮影台、ステレオカメラなどを利用して、人体各部の採寸や型紙作成、生地の裁断、縫製などを自動化する、衣服や下着の製造自動化システムや支援システムなどが提案されている。
【０００３】
例えば、服飾業界用に、人体の各部寸法を自動採寸する技術や（例えば、特許文献１参照）、衣服を着用した被測定者を背景とともに被測定者の周囲に等間隔に複数配置された複数の赤外線カメラで撮影し、得られた物体画像から視点の異なる複数の輪郭画像を生成し、これらの輪郭画像から被測定者のボクセルデータを抽出する技術（例えば、特許文献２参照）や、顧客の全周を撮影して人体の３次元形状を計測し、計測した３次元形状と顧客が描いた服装のデザイン画を元にカスタムオーダーの衣服の型紙作成、生地の裁断などを自動化する技術（例えば、特許文献３参照）がある。
【０００４】
ここで、複数の撮影画像から３次元形状データを作成する方法として、Tomasi and Kanade による「因子分解法」などにより、理想的カメラモデルである透視射影をアフィン射影に近似して、正射影モデル等のアフィン近似射影に基づいた複数の２次元画像からカメラ運動情報と３次元形状情報とを同時に復元する手法などがある（例えば、非特許文献１参照）。
【０００５】
この場合、まず、複数の画像間における点特徴（輝度や色、輪郭形状、テクスチャーなど）の対応付けを行なう。複数の画像間における特徴点の対応付けには、「Lucas-Kanade法（勾配法）」（1981年）や、「Kanade-Lucas-Tomasiトラッカー」（Shi and Tomasi、1994年）などの手法を用いることができる。 時間的に離れた画像を事前知識無しに対応付けるのは難しいが、複数の点で対応が既知であれば、同一の３次元空間を撮影した多視点の複数画像間の幾何的な関係（エピポーラ幾何学）を用いて、他の対応点の存在可能な領域を絞りこむことができる。例えば、複数のフレーム画像間における対応や追跡には、一般に、見え方（局所画像）、または、エッジ（輪郭）、色ヒストグラムなどの画像特徴の類似（相関）や相違に基づいて、隣接する他フレーム画像との間で、最も類似する領域を探索し、探索された点へ対象物が移動したと判定する方法（ブロックマッチング）が良く用いられる。
【０００６】
つまり、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。アフィン近似射影においては、カメラ撮影による写像は、３次元空間の対象物から、２次元画像へのカメラの位置と方向によって決まるアフィン射影となる。画像がｆ枚、特徴点がＰ個与えられるとき、Ｐ個の３次元座標のＦ個のアフィン射影によるＦＰ個の画像座標が得られるとすると、因子分解法では、このＦＰ個の条件を行列の形に並べて、複数の２次元画像からの３次元形状復元問題を単純な形で表現することができる。
すなわち、（計測行列）＝（運動行列）×（形状行列）
ここで、計測行列はＦＰ個の画像座標を並べた２Ｆ×Ｐ行列、運動行列はＦ個のアフィン射影の表現行列を並べた２Ｆ×３行列、形状行列はＰ個の特徴点の３次元座標を並べた３×Ｐ行列である。つまり、複数の２次元画像からの３次元形状の復元問題は、計測行列の因子分解に帰着できる。
このように、透視射影によって得られた計測行列の成分からアフィン近似射影により投影されたとき得られる計測行列を推定できれば、後は、（因子分解法のアルゴリズムにしたがって）計測行列を運動行列と形状行列の積に分解するだけで、カメラの運動情報と物体の３次元形状とを復元することができる。
【０００７】
【特許文献１】特表平０９−５０４０９６号公報
【特許文献２】特開２００３−６７７２５号公報
【特許文献３】特開２００１−２４９９５７号公報
【非特許文献１】藤木 淳（産総研）、「点対応を用いた複数の２次元画像からの３次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
小売店の売り場に陳列された既製服が自分の体型に適合しているか否かは、いわゆる、Ｓ、Ｍ、Ｌ、ＬＬ、ＸＬや、Ｙ、ＹＡ、Ａ、ＡＢ、ＢＢ、ＢＥ、Ｅ体や、号数、身長、腹囲、袖長などのサイズ表示から標準体型分類を元に判断するなど、進歩しておらず、結局は客が試着してみて判断するしかなかった。
【０００９】
しかしながら、上記特許文献１〜３に記載されているような従来の技術では３次元スキャナや全周撮影台等の大掛かりな測定システムと製造自動化システムを採用したり、全周に間隔に設置したカメラで客を撮影してその３次元形状を計測し、既製服がその客の体型に適合しているか否を判定することはできなくもないが、このような大掛かりなシステムを導入して採算が合う小売店はまれであり、より簡易な判定法が求められていた。
【００１０】
本発明は上記課題を解決するためになされたものであり、販売員等が任意の異なる角度で撮影した複数枚の画像から、顧客に適合した衣服等の商品のサイズ分類に必要なデータを作成し得るカメラの提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明は、被写体人物を撮影して画像データを得る撮像手段と、人体の形状および人体各部の寸法を分類した体型コードと、この体型コードに対応付けた衣服のサイズ分類を複数格納してなるデータベースと、前記撮像手段により異なる角度で被写体人物を撮影した複数枚の画像データから前記被写体人物の３次元形状データを生成する３次元形状データ生成手段と、前記３次元形状データ生成手段によって生成された３次元形状データを元に前記被写体人物の人体各部の寸法を算出し、該３次元形状データデータおよび算出した人体各部の寸法を元に前記データベースから前記被写体人物の体型コードを取得する体型取得手段と、前記体型取手段により取得した体型コードに対応する衣服のサイズ分類を前記データベースから取り出して表示する表示手段と、を備えたことを特徴とするカメラ装置を提供するものである。
また、表示するサイズ分類の寸法範囲を入力する入力手段と、この入力手段によって入力されたサイズ分類の寸法範囲で前記データベースのサイズ分類の寸法範囲を変更するサイズ分類変更手段を備えたことを特徴とする請求項１に記載のカメラ装置を提供するものである。
また、前記データベースは当該カメラ本体内に存在することを特徴とする請求項１記載のカメラ装置を提供するものである。
また、前記データベースは当該カメラ本体の外部に存在することを特徴とする請求項１記載のカメラ装置を提供するものである。
【発明の効果】
【００１２】
本発明によれば、一般のショップや売り場、顧客ユーザでもカメラさえあれば、販売員若しくは顧客の同行者が任意の角度から顧客の画像を複数枚撮影するだけで、顧客に適合した衣服のサイズ判定を簡易に行うことができるので、顧客は手軽に衣服の選択ができ、ショッピングに伴うサイズの選択や試着なども効率的に行なえる。また、採寸や測ってもらうのを煩わしく感じる客にも、気軽に対応でき、顧客に適した衣服を迅速に推奨でき、サービスを向上できる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明のカメラを用いた自動採寸サービスシステム１００の構成例を示す図であり、自動採寸サービスシステム１００は、被写体人物を任意の異なる角度で複数枚撮影し、それらの視差や角度の異なるファインダー映像や、被写体人物とカメラの距離、輪郭から３次元輪郭データを生成し、被写体人物の身長、身体各部の寸法（サイズ）を取得し、その顧客に適合するサイズ分類や各部位の寸法等をファインダーや画像モニタ上に表示する機能を備えたカメラ１と、カメラ１で得たデータを基にデータベース３を検索して顧客のサイズにあった既製服やその服装にふさわしい小物等の商品を表示して選択可能とすると共に、顧客のサイズ、性別、年齢ごとに顧客の嗜好を収集・解析可能な商品選択・解析装置２からなる。これらは一体構成してもよいし、別体で構成して通信でデータ交換してもよい。
【００１４】
図２は、図１に示した自動採寸サービスシステム１００における自動採寸サービスプロセスを示すプロセスチャートである。
図２で、被服販売店若しくは既製服販売コーナーには、通常は、カメラ１が備えられている。販売員は、既製服選択を希望する顧客があると、その顧客を被写体人物として撮影するためにカメラ１に備えられている「自動採寸モード」を選択する（プロセス１）。
【００１５】
「自動採寸モード」選択後、販売員はカメラ１を用いて、撮影対象者の性別、見かけ上の年代等を入力した後、任意の異なる角度で被写体人物の全身像を撮影する。カメラ１は撮影時に画像データおよび３次元自動採寸に必要な諸元を決定するために必要な撮影情報をメモリに記憶する（プロセス２）。なお、被写体人物の全周を撮影する必要はなく、角度任意でよいが、撮影時には、少なくとも、正面、左右、左右側部の計５枚程度を撮影することが望ましい。
【００１６】
販売員が撮影終了操作を行うと、カメラ１は３次元自動採寸処理を開始し、任意の異なった角度で撮影された各撮影画像から人物の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）からそれぞれの画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応を基に全身の３次元形状データを生成し、生成した３次元形状データから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の断面形状データを取得し、取得した身体要部の断面形状データを元に標準体型データベース２０（図３、図４参照）を検索して体型データを取得し、取得した体型データでサイズデータベース３０（図３、図４参照）を検索して被写体人物（顧客）に適合する既製服のサイズを得る。
【００１７】
処理終了案内告知があった後、販売員若しくは顧客が「サイズ表示」指示を行うと自動採寸の結果を表示する。顧客は表示されたサイズを見て商品陳列場の商品の中からサイズにあった商品（例えば既製服）を選択することができる（プロセスＰ４）。
【００１８】
また、販売店若しくはそのコーナーに商品選択・解析装置２が設置されている場合は、ステップＰ５に示すように顧客はカメラ１のデータを商品選択・解析装置２に（ケーブル接続や、赤外線もしくはブルートゥス等の近接通信方式により）入力し、サイズにあった既製服や小物および価格、在庫数等を商品選択・解析装置２のモニタに表示する。顧客はモニタ上の商品を指定して、注文（購入申し込み）をすることができる（プロセスＰ５）。
【００１９】
商品選択・解析装置２は、定期若しくは不定期に行われる販売店の権限ある管理者の指示操作により、顧客のサイズ、性別、年齢ごとに顧客の購入した既製服の個数等購入データを収集し、顧客の購入動向や嗜好等を解析して出力する（ステップＰ６）。
【００２０】
図３は、本発明の実施形態に係わる一実施例として用いる３次元自動採寸機能付のカメラ１の電子回路の構成例を示すブロック図である。
【００２１】
カメラ１は、制御部１０、撮像部１１、画像データ処理部１２、３次元形状データ生成部１３、体型取得部１４、プログラム格納メモリ１５、一次記憶メモリ１６、画像表示部１７、画像記録部１８、標準体型データベース２０、サイズデータベース３０、外部入出力部４０、および、操作部６０を備えており、本発明に基づく自動採寸モードを備えている。
【００２２】
制御部１０は、カメラ１全体の制御動作を行うＣＰＵを有している。また、撮像部１１は、被写体の撮像信号を出力する。
【００２３】
画像データ処理部１２は、撮像部１１から出力された撮像信号に対してカラープロセス処理を行って画像データを生成し、ＤＲＡＭ等の一次記憶メモリ１６にバス９０を介して転送する。
【００２４】
３次元形状データ生成部１３は、任意の異なった角度で撮影された各撮影画像から人物の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）からそれぞれの画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応を基に全身の３次元形状データを生成し、生成した３次元形状データを体型取得部１４に渡す。
【００２５】
３次元形状データ生成部１３による３次元形状データ生成は、前述した非特許文献１などに記載されている、「因子分解法」などによる複数の２次元画像からカメラ運動情報と３次元形状情報とを同時に復元する手法を用いて行うことができる。つまり、撮影画像で頭部や顔や体の向きや大きさや全体の傾きや、手足等を正規化し、正規化された全身画像から所定の特徴点を検出し、検出された特徴点について因子分解法により各画像間の移動状態を追跡して、全身の３次元形状データを得ることができる。
【００２６】
体型取得部１４は、３次元形状データ生成部１３で生成した生成した全身の３次元形状データから身長を算出し、身長、性別などから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の水平方向の断面形状データを得て、それらを元に体型分類コードに断面形状を対応付けてなる標準体型データベース２０から被写体人物の体型データを取得するとともに、手足の長さを算出する。
被写体人物の身長は、例えば、被写体人物とカメラとの距離および生成した全身の３次元生成データの先端（頭部分の頂点）と末端（足の位置（足の底部））の差から算出することができる。
【００２７】
なお、人物等の全身の断面形状データ作成処理は、公知の技術を適宜用いることができる。また、手足の長さはよく知られているように骨格の比例係数を基に身長から推計できる。
【００２８】
また、本実施例では体型取得部１４は生成された３次元形状データから身体要部の２次元断面形状を抽出し、体型分類コードに断面形状を対応付けてなる標準体型データベース２０から被写体人物の体型データを取得するように構成したが、標準体型データベース２０の代わりに体型コードと全身の標準形状モデルデータを対応付けた標準モデルデータベースを設け、体型取得部１４は生成された３次元形状データと標準モデルデータベースの標準形状モデルデータを比較して体型を取得するように構成してもよい。
【００２９】
プログラム格納メモリ１５は、本発明に基づく３次元自動採寸プログラムや、撮像制御プログラム、画像処理プログラム、通信制御プログラム等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。３次元自動採寸プログラムの機能等については後述（図５参照）する。また、上述したように３次元形状データ生成部１３や体型取得部１４を設けることなく、プログラム格納メモリ１５に上述したような３次元形データ作成プログラムや断面形状取得のための断面抽出プログラムを格納するようにしてもよい。
【００３０】
一次記憶メモリ１６はＤＲＡＭ等のメモリで構成され、画像データ処理部１２から取得する画像データを一時記憶するバッファメモリや、３次元形状データ生成部１３による３次元データ生成時や体型取得部１４による断面データ抽出時のワークメモリや、自動採寸モード時の画像撮影に基づく複数の画像撮影用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリおよび、自動採寸モード時に取得した撮影情報の一次記憶領域として用いられる。
【００３１】
画像表示部１７は表示用バッファメモリ、表示制御部及び液晶モニタを有し、制御部１０の制御下で表示用バッファメモリに書き込まれた画像データを表示制御部を介して液晶モニタに表示させる。
【００３２】
画像記録部１８は、画像データの記録媒体１９への書き込みや記録媒体１９からの読み出しを行うコントローラ（図示せず）から構成されている。
【００３３】
記録媒体１９は内蔵メモリ（フラッシュメモリ）や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり画像記録部１８によって書き込まれた撮影画像データや、自動採寸モード時に生成された各種採寸データや、撮影情報等を保存記録する。また、サイズデータベース３０を記録媒体１９に予め格納しておくようにしてもよい。
【００３４】
標準体型データベース２０は、人物の体型データを格納してなり、自動際寸時に入力される性別および見かけ上の年代と、体型取得部１４で取得した身長および身体要部の断面形状データにより検索（類似検索）可能に構成されている。標準体型データベース２０の構成例を図４（ａ）に示す。
【００３５】
サイズデータベース３０は、体型取得部１４によって取得される体型と対応する既製服のサイズからなり、体型取得部１４で取得した体型により検索可能に構成されている。標準体型データベース２０の構成例を図４（ｂ）に示す。
【００３６】
外部入出力部４０は、カメラ１に接続する外部装置との間で自動採寸データや、画像データおよびプログラム等を入出力する際の入出力インターフェィスである。
【００３７】
操作部６０は、各種キーと、それらのキーが操作されると操作されたキーの操作信号を生成して制御部１０に送出するキー処理部から構成されている。
【００３８】
図４は、標準体型データベースおよびサイズデータベースの構成例を示す図である。
図４（ａ）で標準体型データベース２０は、体型コード２００に対応付けた性別２０１、身長区分２０２、手の長さ２０３、足の長さ２０４に対応付けた身体要部の標準輪郭断面データ２０５（頭部２０５−１、頚部２０５−２、・・・、腰部２０５−１０、・・）からなる標準体型データ１４９を複数格納してなる。
【００３９】
また、サイズデータベース３０は、体型取得部１４によって取得される体型コード（つまり、標準体型データベース２０に格納されている体型コード２００に対応するコード）３００および年代（幼稚園児、小学生低学年、高学年、中学生、青年、中年、中高年、高齢者等）３０１と対応付けた既製服のサイズ分類（Ｓ、Ｍ、Ｌ、ＬＬ、ＸＬや、Ｙ、ＹＡ、Ａ、ＡＢ、ＢＢ、ＢＥ、Ｅ体といったサイズ分類若しくは号数等とそれらの寸法範囲）３０２を検索可能に格納してなる。
なお、本実施例では標準体型データベース２０とサイズデータベース３０を別々に構築した例を示したが、標準体型データベース２０とサイズデータベース３０を統合したデータベースでもよい。
【００４０】
図５は、カメラ１による自動採寸モードでの動作例を示すフローチャートである。図５で、撮影者がカメラ１を操作して自動採寸モードを選択すると、ＣＰＵは、プログラム格納メモリ１５から３次元自動採寸プログラムおよび操作案内用メッセージデータ等を一時記憶メモリ１６に読み出し、３次元自動採寸プログラムに基づく以下に示すような自動採寸機能の実行を開始する。
【００４１】
制御部１０は、まず、入力案内用メッセージデータを画像表示部１７に送り、液晶モニタ上に、撮影対象者の性別、見かけ上の年代を選択入力できるように構成した入力画面を表示し、撮影者に、撮影対象者の性別、見かけ上の年代等を選択入力するように促し（ステップＳ１）、選択入力が行われると選択入力されたデータ（撮影対象者の性別データ、見かけ上の年代データ等）を一時記憶メモリ１５に設けた撮影対象者データ記憶領域に記憶する（ステップＳ２）。
【００４２】
次に、撮影を促すメッセージデータ（例えば、任意の角度から複数枚の写真を撮るように促すメッセージ）を画像表示部１７に送り、液晶モニタ上に表示させて撮影を促し複数枚の撮影が終了するとステップＳ４に進む（ステップＳ３）。撮影は静止画撮影モードで行われ、１枚撮影されるごとに撮影画像の画像データは画像記録部１８に送られ、記録媒体１９に記録される。なお、撮影を促すメッセージとして、「正面から全身を撮影してください」、「次に、左右から全身を撮影してください」、「さらに、両側面から全身を撮影してください」といった案内メッセージを１枚撮影するごとに液晶モニタ上に表示するようにしてもよい。
【００４３】
複数枚の画像の撮影が終了すると、制御部１０は、３次元形状データ生成部１３を制御して一時記憶メモリ１６の所定領域に記憶されている、任意の異なった角度で撮影された顧客の撮影画像データから顧客の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）を抽出し（ステップＳ４）、各画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応顔領域（頭部を含む）を抽出し、各画像の顔の大きさや顔の向き、回転等を正規化する（ステップＳ５）。全身領域の抽出および顔の大きさや顔の向き等の正規化は公知の画像処理技術を適用することができる。
【００４４】
正規化後、３次元形状データ生成部１３は正規化された顔領域の特徴点の位置データを取得する（ステップＳ６）。全身領域からの特徴点の位置情報は公知の画像処理技術を適用して取得することができる。つまり、顔領域内の特徴部分（例えば、頭部、顎の先端部、肩、胸、腰、腕部、手先、脚部、足先）の所定部分（例えば、中心と両端）の位置を検出し、その座標を取得することができる。
【００４５】
次に、３次元形状データ生成部は、ステップＳ６で検出された各特徴点について各画像間の移動状態を追跡し、因子分析法により画像間でそれぞれ対応する特異点の移動や相違を追跡して対応点を探索し、画像間で対応する各特異点の[計測行列]と取得した対応点から[移動行列] を求め、これに基づいてベクトル式：[計測行列]＝[移動行列]×[形状行列]における[形状行列]を求め、３次元形状データを生成して一時記憶メモリ１６の所定領域に記憶する（ステップＳ７）。
因子分析法（Kanade-Lucas法）による、画像間の対応する特異点の移動や相違を追跡および対応点の取得および３次元形状データの生成方法は、例えば、背景技術の項の記載等の方法を適用することができる。なお、対応点は、画像間の対応する特異点の移動、各特異点の距離の深さ、カメラ位置、エッジモーションを解析して取得することもできる。
【００４６】
次に、制御部１０は、体型取得部１４を制御してステップＳ６で生成した全身の３次元形状データを元に顧客の身長を算出すると共に、算出した身長、一時記憶メモリ１６メモリに記憶した性別、ステップＳ６で生成した３次元形状データから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の水平方向の断面形状データ（２次元断面形状データ）を生成し、正規化する（ステップＳ８）。また、体型取得部１４は、算出した被写体人物の身長を元に手足の長さを算出する（ステップＳ９）。
【００４７】
また、体型取得部１４は、ステップＳ７で顧客の身長および手足の長さおよび正規化された各身体要部の水平方向の断面形状データと、標準体型データベース２０に格納されている標準体型データの性別２０１、身長区分２０２、手の長さ２０３、足の長さ２０４、および身体要部の標準輪郭断面データ２０５（頭部２０５−１、頚部２０５−２、・・・、腰部２０５−１０、・・）とを比較し、一致若しくは類似度の最も高い標準体型データ２１０の体型コード２００を取得する（ステップＳ１０）。
【００４８】
次に、制御部１０は、ステップＳ９で取得した体型コードとステップＳ１で一時記憶メモリ１６メモリに記憶した年代データでサイズデータベース３０を検索して被写体人物（顧客）に適合する既製服のサイズを得る（ステップＳ１１）。
制御部１０は、画像表示部１７に処理終了メッセージデータを送り、液晶モニタに処理終了メッセージ（例えば、「お客様の採寸が終了しました。既製服のサイズを表示しますか？」）を表示させ、販売員若しくは顧客が「サイズ表示」指示を行うとステップＳ１１で取得したサイズ（既製服のサイズ）を表示する（ステップＳ１２）。
【００４９】
変形例として、衣服のサイズ表示や分類はショップやブランドによって異なることがあるので、ステップＳ１で入力画面でショップやブランドごとのサイズ表示や分類に合わせて、表示するサイズ分類の寸法範囲や表示する主要寸法の項目などをカスタム設定できるように構成し、ステップＳ２を選択入力されたデータ（撮影対象者の性別データ、見かけ上の年代データ等）を一時記憶メモリ１５に設けた撮影対象者データ記憶領域に記憶すると共に、ステップＳ１でサイズ分類の寸法範囲や表示する主要寸法の項目などが入力された場合は、入力した表示するサイズ分類の寸法範囲や表示する主要寸法の項目などでサイズデータベース３０のサイズ分類２０２を変更するように構成し、ステップＳ１１で、被写体人物に適合した衣服の、ショップやブランドごとのサイズ表示ができるように構成してもよい。
【００５０】
図１に示した商品選択・解析装置２は、カメラ１および商品データベース３と連携して商品検索時には商品検索処理プログラム（後述）に基づいて商品検索および表示制御を行ない、収集、解析時には収集・解析プログラムに基づいて購入若しくは検索された商品の集計や購入動向の解析等を行う。
【００５１】
図６は、商品選択・解析装置２の商品データベース３の構成例を示す図であり、商品データベース３は、体型コード３１０（標準体型データ１４９の体型コード１４０と対応するコードで表される）、年代３１１、販売店やブランド等の衣服の種類３１２、サイズ分類３１３、価格３１４、在庫数３１５、販売数３１６、衣服のイメージデータとのポインタ３１７からなる複数の商品データ３１と、ポインタ３１７によって各商品データ３１にそれぞれ対応付けられている各衣服のイメージデータ３２を検索可能に格納してなる。
なお、商品データ３１にポインタ３１に対応する衣服のイメージにあった小物データ（図示せず）とのポインタを設けるようにしてもよい。
【００５２】
また、図示しないが、サイズデータ３１の在庫数３１−６および販売数３１−２は、商品の入庫および販売の都度若しくは適時に、販売員または操作担当者によってキーボード８からの入力により更新される。
【００５３】
図７は、商品選択・解析装置２の動作例を示すフローチャートである。、年代および体型データが入力されると、商品選択・解析装置２は商品検索処理プログラムに基づく以下に示すような商品検索処理の実行を開始する。
【００５４】
販売員若しくは顧客が、カメラ１で得た顧客の年代と、体型データ、つまり体型コードを商品選択・解析装置２に入力すると、商品選択・解析装置２は入力された年代および体型コードを取り込む（ステップＴ１）。
【００５５】
次に、商品検索処理プログラムに基づいて、ステップＴ１で取り込んだ年代および体型コードを元に商品データベース３を検索し（ステップＴ２）、ヒットした商品データ３１があるとその商品データ３１の衣服（つまり、顧客の体型に合った衣服）の種類３１２別に、サイズ分類３１３、価格３１４、在庫数３１５、販売数３１６をカメラ１の画像表示部１７の液晶モニタに表示させる（ステップＴ３）。
【００５６】
さらに、衣服のイメージデータとのポインタ３１８を元にイメージデータ３２から表示されたサイズに対応するイメージデータを取り出して液晶モニタに表示されているフォーマットの所定位置に顧客の体型に合った衣服のイメージとして表示する（ステップＴ４）。
なお、商品データ３１にポインタ３１８に対応する衣服のイメージに合う小物データとのポインタを設けた場合は、自動的、または販売員若しくは顧客の指示に基づいて、小物のイメージを液晶モニタに表示されているフォーマットの所定位置に表示するように構成すことができる。
図８に顧客の体型に合った衣服等の表示例を示す。なお、図８の例では在庫数＞０のときは「在庫あり」、在庫数＝０のときは「在庫なし」と表示したが、在庫数をそのまま表示するようにしてもよい。
【００５７】
定期若しくは不定期に行われる販売店の権限ある管理者の指示操作があると、商品選択・解析装置２は収集・解析プログラムに基づいて商品データベース３に格納されている商品データの各データを元に購入若しくは検索された商品の集計や顧客の購入動向や嗜好等を解析してそれらを必要に応じ印刷させる（ステップＴ５）。
【００５８】
応用例として、靴や履物、帽子、腕輪、指輪、メガネなど、その他の服飾装身具や、ゴルフクラブ、スキー板、などスポーツ用品の適合するサイズ分類や採寸ができるようにしてもよい。
【００５９】
また、本発明に基づく自動採寸プログラムと集計・解析プログラムを、街中を歩く人などの好みや流行などを街頭調査や市場調査する場合などでも、街角の情景をビデオ撮影した画像データから、人物の顔認識、性別、年齢の自動推定、衣服や色の識別などのデータに加えて、これら自動計測した身体寸法データを合せて、集計や分類して、どのようなファッションだけでなく、どのような体型毎にどのような色や服装が好まれているか集計・解析するように構成したパソコン用アプリケーションソフトなどとして、提供してもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明のカメラを用いた自動採寸サービスシステムの構成例を示す図である。
【図２】図１に示した自動採寸サービスシステムにおける自動採寸サービスプロセスを示すプロセスチャートである。
【図３】本発明の実施形態に係わる３次元自動採寸装置の電子回路の構成例を示すブロック図である。
【図４】標準体型データベースおよびサイズデータベースの構成例を示す図である。
【図５】自動採寸機能付のジタルカメラによる自動採寸モードでの動作例を示すフローチャートである。
【図６】サイズデータベースの構成例を示す図である。
【図７】商品選択・解析装置の動作例を示すフローチャートである。
【図８】商品選択・解析装置による顧客の体型に合った衣服等の表示例を示す図である。
【符号の説明】
【００６１】
１ カメラ
２ 商品選択・解析装置
３ 商品データベース
１０ 制御部（サイズ分類変更手段）
１１ 撮像部
１３ ３次元画像データ生成部
１４ 体型取得部
１４ 標準体型データベース（データベース）
１７ 画像表示部（サイズ表示手段）
２０ 標準体型データベース（データベース）
３０ サイズデータベース（データベース）
６０ 操作部
【技術分野】
【０００１】
本発明は、撮影した複数枚の画像から服装の採寸等に必要なデータを作成するカメラ装置に関し、本発明の産業上の利用分野としては、例えば、顧客や販売員がこのカメラ装置で撮影した画像を元に、試着しなくても既製服が客の体形に適合しているか否かをファインダー映像から判定したり、サイズ分類を行ったり、身体寸法データを得て体形毎の服装の型や色の集計・解析等を行う自動採寸サービスに使用して好適なカメラ装置を提供することである。
【背景技術】
【０００２】
従来、３次元スキャナや全周カメラ撮影台、ステレオカメラなどを利用して、人体各部の採寸や型紙作成、生地の裁断、縫製などを自動化する、衣服や下着の製造自動化システムや支援システムなどが提案されている。
【０００３】
例えば、服飾業界用に、人体の各部寸法を自動採寸する技術や（例えば、特許文献１参照）、衣服を着用した被測定者を背景とともに被測定者の周囲に等間隔に複数配置された複数の赤外線カメラで撮影し、得られた物体画像から視点の異なる複数の輪郭画像を生成し、これらの輪郭画像から被測定者のボクセルデータを抽出する技術（例えば、特許文献２参照）や、顧客の全周を撮影して人体の３次元形状を計測し、計測した３次元形状と顧客が描いた服装のデザイン画を元にカスタムオーダーの衣服の型紙作成、生地の裁断などを自動化する技術（例えば、特許文献３参照）がある。
【０００４】
ここで、複数の撮影画像から３次元形状データを作成する方法として、Tomasi and Kanade による「因子分解法」などにより、理想的カメラモデルである透視射影をアフィン射影に近似して、正射影モデル等のアフィン近似射影に基づいた複数の２次元画像からカメラ運動情報と３次元形状情報とを同時に復元する手法などがある（例えば、非特許文献１参照）。
【０００５】
この場合、まず、複数の画像間における点特徴（輝度や色、輪郭形状、テクスチャーなど）の対応付けを行なう。複数の画像間における特徴点の対応付けには、「Lucas-Kanade法（勾配法）」（1981年）や、「Kanade-Lucas-Tomasiトラッカー」（Shi and Tomasi、1994年）などの手法を用いることができる。 時間的に離れた画像を事前知識無しに対応付けるのは難しいが、複数の点で対応が既知であれば、同一の３次元空間を撮影した多視点の複数画像間の幾何的な関係（エピポーラ幾何学）を用いて、他の対応点の存在可能な領域を絞りこむことができる。例えば、複数のフレーム画像間における対応や追跡には、一般に、見え方（局所画像）、または、エッジ（輪郭）、色ヒストグラムなどの画像特徴の類似（相関）や相違に基づいて、隣接する他フレーム画像との間で、最も類似する領域を探索し、探索された点へ対象物が移動したと判定する方法（ブロックマッチング）が良く用いられる。
【０００６】
つまり、複数の画像における点特徴の対応付けが既に求められ、画像座標として与えられているとする。アフィン近似射影においては、カメラ撮影による写像は、３次元空間の対象物から、２次元画像へのカメラの位置と方向によって決まるアフィン射影となる。画像がｆ枚、特徴点がＰ個与えられるとき、Ｐ個の３次元座標のＦ個のアフィン射影によるＦＰ個の画像座標が得られるとすると、因子分解法では、このＦＰ個の条件を行列の形に並べて、複数の２次元画像からの３次元形状復元問題を単純な形で表現することができる。
すなわち、（計測行列）＝（運動行列）×（形状行列）
ここで、計測行列はＦＰ個の画像座標を並べた２Ｆ×Ｐ行列、運動行列はＦ個のアフィン射影の表現行列を並べた２Ｆ×３行列、形状行列はＰ個の特徴点の３次元座標を並べた３×Ｐ行列である。つまり、複数の２次元画像からの３次元形状の復元問題は、計測行列の因子分解に帰着できる。
このように、透視射影によって得られた計測行列の成分からアフィン近似射影により投影されたとき得られる計測行列を推定できれば、後は、（因子分解法のアルゴリズムにしたがって）計測行列を運動行列と形状行列の積に分解するだけで、カメラの運動情報と物体の３次元形状とを復元することができる。
【０００７】
【特許文献１】特表平０９−５０４０９６号公報
【特許文献２】特開２００３−６７７２５号公報
【特許文献３】特開２００１−２４９９５７号公報
【非特許文献１】藤木 淳（産総研）、「点対応を用いた複数の２次元画像からの３次元形状復元−因子分解法の数理−」、統計数理、第４９巻第１号、pp77〜107、2001年）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
小売店の売り場に陳列された既製服が自分の体型に適合しているか否かは、いわゆる、Ｓ、Ｍ、Ｌ、ＬＬ、ＸＬや、Ｙ、ＹＡ、Ａ、ＡＢ、ＢＢ、ＢＥ、Ｅ体や、号数、身長、腹囲、袖長などのサイズ表示から標準体型分類を元に判断するなど、進歩しておらず、結局は客が試着してみて判断するしかなかった。
【０００９】
しかしながら、上記特許文献１〜３に記載されているような従来の技術では３次元スキャナや全周撮影台等の大掛かりな測定システムと製造自動化システムを採用したり、全周に間隔に設置したカメラで客を撮影してその３次元形状を計測し、既製服がその客の体型に適合しているか否を判定することはできなくもないが、このような大掛かりなシステムを導入して採算が合う小売店はまれであり、より簡易な判定法が求められていた。
【００１０】
本発明は上記課題を解決するためになされたものであり、販売員等が任意の異なる角度で撮影した複数枚の画像から、顧客に適合した衣服等の商品のサイズ分類に必要なデータを作成し得るカメラの提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明は、被写体人物を撮影して画像データを得る撮像手段と、人体の形状および人体各部の寸法を分類した体型コードと、この体型コードに対応付けた衣服のサイズ分類を複数格納してなるデータベースと、前記撮像手段により異なる角度で被写体人物を撮影した複数枚の画像データから前記被写体人物の３次元形状データを生成する３次元形状データ生成手段と、前記３次元形状データ生成手段によって生成された３次元形状データを元に前記被写体人物の人体各部の寸法を算出し、該３次元形状データデータおよび算出した人体各部の寸法を元に前記データベースから前記被写体人物の体型コードを取得する体型取得手段と、前記体型取手段により取得した体型コードに対応する衣服のサイズ分類を前記データベースから取り出して表示する表示手段と、を備えたことを特徴とするカメラ装置を提供するものである。
また、表示するサイズ分類の寸法範囲を入力する入力手段と、この入力手段によって入力されたサイズ分類の寸法範囲で前記データベースのサイズ分類の寸法範囲を変更するサイズ分類変更手段を備えたことを特徴とする請求項１に記載のカメラ装置を提供するものである。
また、前記データベースは当該カメラ本体内に存在することを特徴とする請求項１記載のカメラ装置を提供するものである。
また、前記データベースは当該カメラ本体の外部に存在することを特徴とする請求項１記載のカメラ装置を提供するものである。
【発明の効果】
【００１２】
本発明によれば、一般のショップや売り場、顧客ユーザでもカメラさえあれば、販売員若しくは顧客の同行者が任意の角度から顧客の画像を複数枚撮影するだけで、顧客に適合した衣服のサイズ判定を簡易に行うことができるので、顧客は手軽に衣服の選択ができ、ショッピングに伴うサイズの選択や試着なども効率的に行なえる。また、採寸や測ってもらうのを煩わしく感じる客にも、気軽に対応でき、顧客に適した衣服を迅速に推奨でき、サービスを向上できる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明のカメラを用いた自動採寸サービスシステム１００の構成例を示す図であり、自動採寸サービスシステム１００は、被写体人物を任意の異なる角度で複数枚撮影し、それらの視差や角度の異なるファインダー映像や、被写体人物とカメラの距離、輪郭から３次元輪郭データを生成し、被写体人物の身長、身体各部の寸法（サイズ）を取得し、その顧客に適合するサイズ分類や各部位の寸法等をファインダーや画像モニタ上に表示する機能を備えたカメラ１と、カメラ１で得たデータを基にデータベース３を検索して顧客のサイズにあった既製服やその服装にふさわしい小物等の商品を表示して選択可能とすると共に、顧客のサイズ、性別、年齢ごとに顧客の嗜好を収集・解析可能な商品選択・解析装置２からなる。これらは一体構成してもよいし、別体で構成して通信でデータ交換してもよい。
【００１４】
図２は、図１に示した自動採寸サービスシステム１００における自動採寸サービスプロセスを示すプロセスチャートである。
図２で、被服販売店若しくは既製服販売コーナーには、通常は、カメラ１が備えられている。販売員は、既製服選択を希望する顧客があると、その顧客を被写体人物として撮影するためにカメラ１に備えられている「自動採寸モード」を選択する（プロセス１）。
【００１５】
「自動採寸モード」選択後、販売員はカメラ１を用いて、撮影対象者の性別、見かけ上の年代等を入力した後、任意の異なる角度で被写体人物の全身像を撮影する。カメラ１は撮影時に画像データおよび３次元自動採寸に必要な諸元を決定するために必要な撮影情報をメモリに記憶する（プロセス２）。なお、被写体人物の全周を撮影する必要はなく、角度任意でよいが、撮影時には、少なくとも、正面、左右、左右側部の計５枚程度を撮影することが望ましい。
【００１６】
販売員が撮影終了操作を行うと、カメラ１は３次元自動採寸処理を開始し、任意の異なった角度で撮影された各撮影画像から人物の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）からそれぞれの画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応を基に全身の３次元形状データを生成し、生成した３次元形状データから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の断面形状データを取得し、取得した身体要部の断面形状データを元に標準体型データベース２０（図３、図４参照）を検索して体型データを取得し、取得した体型データでサイズデータベース３０（図３、図４参照）を検索して被写体人物（顧客）に適合する既製服のサイズを得る。
【００１７】
処理終了案内告知があった後、販売員若しくは顧客が「サイズ表示」指示を行うと自動採寸の結果を表示する。顧客は表示されたサイズを見て商品陳列場の商品の中からサイズにあった商品（例えば既製服）を選択することができる（プロセスＰ４）。
【００１８】
また、販売店若しくはそのコーナーに商品選択・解析装置２が設置されている場合は、ステップＰ５に示すように顧客はカメラ１のデータを商品選択・解析装置２に（ケーブル接続や、赤外線もしくはブルートゥス等の近接通信方式により）入力し、サイズにあった既製服や小物および価格、在庫数等を商品選択・解析装置２のモニタに表示する。顧客はモニタ上の商品を指定して、注文（購入申し込み）をすることができる（プロセスＰ５）。
【００１９】
商品選択・解析装置２は、定期若しくは不定期に行われる販売店の権限ある管理者の指示操作により、顧客のサイズ、性別、年齢ごとに顧客の購入した既製服の個数等購入データを収集し、顧客の購入動向や嗜好等を解析して出力する（ステップＰ６）。
【００２０】
図３は、本発明の実施形態に係わる一実施例として用いる３次元自動採寸機能付のカメラ１の電子回路の構成例を示すブロック図である。
【００２１】
カメラ１は、制御部１０、撮像部１１、画像データ処理部１２、３次元形状データ生成部１３、体型取得部１４、プログラム格納メモリ１５、一次記憶メモリ１６、画像表示部１７、画像記録部１８、標準体型データベース２０、サイズデータベース３０、外部入出力部４０、および、操作部６０を備えており、本発明に基づく自動採寸モードを備えている。
【００２２】
制御部１０は、カメラ１全体の制御動作を行うＣＰＵを有している。また、撮像部１１は、被写体の撮像信号を出力する。
【００２３】
画像データ処理部１２は、撮像部１１から出力された撮像信号に対してカラープロセス処理を行って画像データを生成し、ＤＲＡＭ等の一次記憶メモリ１６にバス９０を介して転送する。
【００２４】
３次元形状データ生成部１３は、任意の異なった角度で撮影された各撮影画像から人物の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）からそれぞれの画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応を基に全身の３次元形状データを生成し、生成した３次元形状データを体型取得部１４に渡す。
【００２５】
３次元形状データ生成部１３による３次元形状データ生成は、前述した非特許文献１などに記載されている、「因子分解法」などによる複数の２次元画像からカメラ運動情報と３次元形状情報とを同時に復元する手法を用いて行うことができる。つまり、撮影画像で頭部や顔や体の向きや大きさや全体の傾きや、手足等を正規化し、正規化された全身画像から所定の特徴点を検出し、検出された特徴点について因子分解法により各画像間の移動状態を追跡して、全身の３次元形状データを得ることができる。
【００２６】
体型取得部１４は、３次元形状データ生成部１３で生成した生成した全身の３次元形状データから身長を算出し、身長、性別などから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の水平方向の断面形状データを得て、それらを元に体型分類コードに断面形状を対応付けてなる標準体型データベース２０から被写体人物の体型データを取得するとともに、手足の長さを算出する。
被写体人物の身長は、例えば、被写体人物とカメラとの距離および生成した全身の３次元生成データの先端（頭部分の頂点）と末端（足の位置（足の底部））の差から算出することができる。
【００２７】
なお、人物等の全身の断面形状データ作成処理は、公知の技術を適宜用いることができる。また、手足の長さはよく知られているように骨格の比例係数を基に身長から推計できる。
【００２８】
また、本実施例では体型取得部１４は生成された３次元形状データから身体要部の２次元断面形状を抽出し、体型分類コードに断面形状を対応付けてなる標準体型データベース２０から被写体人物の体型データを取得するように構成したが、標準体型データベース２０の代わりに体型コードと全身の標準形状モデルデータを対応付けた標準モデルデータベースを設け、体型取得部１４は生成された３次元形状データと標準モデルデータベースの標準形状モデルデータを比較して体型を取得するように構成してもよい。
【００２９】
プログラム格納メモリ１５は、本発明に基づく３次元自動採寸プログラムや、撮像制御プログラム、画像処理プログラム、通信制御プログラム等の各種プログラムを格納し、処理段階に応じて呼び出され制御部１０によって実行される。３次元自動採寸プログラムの機能等については後述（図５参照）する。また、上述したように３次元形状データ生成部１３や体型取得部１４を設けることなく、プログラム格納メモリ１５に上述したような３次元形データ作成プログラムや断面形状取得のための断面抽出プログラムを格納するようにしてもよい。
【００３０】
一次記憶メモリ１６はＤＲＡＭ等のメモリで構成され、画像データ処理部１２から取得する画像データを一時記憶するバッファメモリや、３次元形状データ生成部１３による３次元データ生成時や体型取得部１４による断面データ抽出時のワークメモリや、自動採寸モード時の画像撮影に基づく複数の画像撮影用のワークメモリ等、各種プログラムによるデータ処理に必要なワークメモリおよび、自動採寸モード時に取得した撮影情報の一次記憶領域として用いられる。
【００３１】
画像表示部１７は表示用バッファメモリ、表示制御部及び液晶モニタを有し、制御部１０の制御下で表示用バッファメモリに書き込まれた画像データを表示制御部を介して液晶モニタに表示させる。
【００３２】
画像記録部１８は、画像データの記録媒体１９への書き込みや記録媒体１９からの読み出しを行うコントローラ（図示せず）から構成されている。
【００３３】
記録媒体１９は内蔵メモリ（フラッシュメモリ）や光ディスク、あるいは着脱可能なメモリーカード等の書き換え可能な記録媒体からなり画像記録部１８によって書き込まれた撮影画像データや、自動採寸モード時に生成された各種採寸データや、撮影情報等を保存記録する。また、サイズデータベース３０を記録媒体１９に予め格納しておくようにしてもよい。
【００３４】
標準体型データベース２０は、人物の体型データを格納してなり、自動際寸時に入力される性別および見かけ上の年代と、体型取得部１４で取得した身長および身体要部の断面形状データにより検索（類似検索）可能に構成されている。標準体型データベース２０の構成例を図４（ａ）に示す。
【００３５】
サイズデータベース３０は、体型取得部１４によって取得される体型と対応する既製服のサイズからなり、体型取得部１４で取得した体型により検索可能に構成されている。標準体型データベース２０の構成例を図４（ｂ）に示す。
【００３６】
外部入出力部４０は、カメラ１に接続する外部装置との間で自動採寸データや、画像データおよびプログラム等を入出力する際の入出力インターフェィスである。
【００３７】
操作部６０は、各種キーと、それらのキーが操作されると操作されたキーの操作信号を生成して制御部１０に送出するキー処理部から構成されている。
【００３８】
図４は、標準体型データベースおよびサイズデータベースの構成例を示す図である。
図４（ａ）で標準体型データベース２０は、体型コード２００に対応付けた性別２０１、身長区分２０２、手の長さ２０３、足の長さ２０４に対応付けた身体要部の標準輪郭断面データ２０５（頭部２０５−１、頚部２０５−２、・・・、腰部２０５−１０、・・）からなる標準体型データ１４９を複数格納してなる。
【００３９】
また、サイズデータベース３０は、体型取得部１４によって取得される体型コード（つまり、標準体型データベース２０に格納されている体型コード２００に対応するコード）３００および年代（幼稚園児、小学生低学年、高学年、中学生、青年、中年、中高年、高齢者等）３０１と対応付けた既製服のサイズ分類（Ｓ、Ｍ、Ｌ、ＬＬ、ＸＬや、Ｙ、ＹＡ、Ａ、ＡＢ、ＢＢ、ＢＥ、Ｅ体といったサイズ分類若しくは号数等とそれらの寸法範囲）３０２を検索可能に格納してなる。
なお、本実施例では標準体型データベース２０とサイズデータベース３０を別々に構築した例を示したが、標準体型データベース２０とサイズデータベース３０を統合したデータベースでもよい。
【００４０】
図５は、カメラ１による自動採寸モードでの動作例を示すフローチャートである。図５で、撮影者がカメラ１を操作して自動採寸モードを選択すると、ＣＰＵは、プログラム格納メモリ１５から３次元自動採寸プログラムおよび操作案内用メッセージデータ等を一時記憶メモリ１６に読み出し、３次元自動採寸プログラムに基づく以下に示すような自動採寸機能の実行を開始する。
【００４１】
制御部１０は、まず、入力案内用メッセージデータを画像表示部１７に送り、液晶モニタ上に、撮影対象者の性別、見かけ上の年代を選択入力できるように構成した入力画面を表示し、撮影者に、撮影対象者の性別、見かけ上の年代等を選択入力するように促し（ステップＳ１）、選択入力が行われると選択入力されたデータ（撮影対象者の性別データ、見かけ上の年代データ等）を一時記憶メモリ１５に設けた撮影対象者データ記憶領域に記憶する（ステップＳ２）。
【００４２】
次に、撮影を促すメッセージデータ（例えば、任意の角度から複数枚の写真を撮るように促すメッセージ）を画像表示部１７に送り、液晶モニタ上に表示させて撮影を促し複数枚の撮影が終了するとステップＳ４に進む（ステップＳ３）。撮影は静止画撮影モードで行われ、１枚撮影されるごとに撮影画像の画像データは画像記録部１８に送られ、記録媒体１９に記録される。なお、撮影を促すメッセージとして、「正面から全身を撮影してください」、「次に、左右から全身を撮影してください」、「さらに、両側面から全身を撮影してください」といった案内メッセージを１枚撮影するごとに液晶モニタ上に表示するようにしてもよい。
【００４３】
複数枚の画像の撮影が終了すると、制御部１０は、３次元形状データ生成部１３を制御して一時記憶メモリ１６の所定領域に記憶されている、任意の異なった角度で撮影された顧客の撮影画像データから顧客の全身領域を抽出し、抽出した各全身領域（顔および頭部を含む）を抽出し（ステップＳ４）、各画像における特徴点をそれぞれ検出し、検出した各画像間の特徴点の点対応顔領域（頭部を含む）を抽出し、各画像の顔の大きさや顔の向き、回転等を正規化する（ステップＳ５）。全身領域の抽出および顔の大きさや顔の向き等の正規化は公知の画像処理技術を適用することができる。
【００４４】
正規化後、３次元形状データ生成部１３は正規化された顔領域の特徴点の位置データを取得する（ステップＳ６）。全身領域からの特徴点の位置情報は公知の画像処理技術を適用して取得することができる。つまり、顔領域内の特徴部分（例えば、頭部、顎の先端部、肩、胸、腰、腕部、手先、脚部、足先）の所定部分（例えば、中心と両端）の位置を検出し、その座標を取得することができる。
【００４５】
次に、３次元形状データ生成部は、ステップＳ６で検出された各特徴点について各画像間の移動状態を追跡し、因子分析法により画像間でそれぞれ対応する特異点の移動や相違を追跡して対応点を探索し、画像間で対応する各特異点の[計測行列]と取得した対応点から[移動行列] を求め、これに基づいてベクトル式：[計測行列]＝[移動行列]×[形状行列]における[形状行列]を求め、３次元形状データを生成して一時記憶メモリ１６の所定領域に記憶する（ステップＳ７）。
因子分析法（Kanade-Lucas法）による、画像間の対応する特異点の移動や相違を追跡および対応点の取得および３次元形状データの生成方法は、例えば、背景技術の項の記載等の方法を適用することができる。なお、対応点は、画像間の対応する特異点の移動、各特異点の距離の深さ、カメラ位置、エッジモーションを解析して取得することもできる。
【００４６】
次に、制御部１０は、体型取得部１４を制御してステップＳ６で生成した全身の３次元形状データを元に顧客の身長を算出すると共に、算出した身長、一時記憶メモリ１６メモリに記憶した性別、ステップＳ６で生成した３次元形状データから身体要部（頭部、頚部、肩、胸部、腹部、腰部等）の水平方向の断面形状データ（２次元断面形状データ）を生成し、正規化する（ステップＳ８）。また、体型取得部１４は、算出した被写体人物の身長を元に手足の長さを算出する（ステップＳ９）。
【００４７】
また、体型取得部１４は、ステップＳ７で顧客の身長および手足の長さおよび正規化された各身体要部の水平方向の断面形状データと、標準体型データベース２０に格納されている標準体型データの性別２０１、身長区分２０２、手の長さ２０３、足の長さ２０４、および身体要部の標準輪郭断面データ２０５（頭部２０５−１、頚部２０５−２、・・・、腰部２０５−１０、・・）とを比較し、一致若しくは類似度の最も高い標準体型データ２１０の体型コード２００を取得する（ステップＳ１０）。
【００４８】
次に、制御部１０は、ステップＳ９で取得した体型コードとステップＳ１で一時記憶メモリ１６メモリに記憶した年代データでサイズデータベース３０を検索して被写体人物（顧客）に適合する既製服のサイズを得る（ステップＳ１１）。
制御部１０は、画像表示部１７に処理終了メッセージデータを送り、液晶モニタに処理終了メッセージ（例えば、「お客様の採寸が終了しました。既製服のサイズを表示しますか？」）を表示させ、販売員若しくは顧客が「サイズ表示」指示を行うとステップＳ１１で取得したサイズ（既製服のサイズ）を表示する（ステップＳ１２）。
【００４９】
変形例として、衣服のサイズ表示や分類はショップやブランドによって異なることがあるので、ステップＳ１で入力画面でショップやブランドごとのサイズ表示や分類に合わせて、表示するサイズ分類の寸法範囲や表示する主要寸法の項目などをカスタム設定できるように構成し、ステップＳ２を選択入力されたデータ（撮影対象者の性別データ、見かけ上の年代データ等）を一時記憶メモリ１５に設けた撮影対象者データ記憶領域に記憶すると共に、ステップＳ１でサイズ分類の寸法範囲や表示する主要寸法の項目などが入力された場合は、入力した表示するサイズ分類の寸法範囲や表示する主要寸法の項目などでサイズデータベース３０のサイズ分類２０２を変更するように構成し、ステップＳ１１で、被写体人物に適合した衣服の、ショップやブランドごとのサイズ表示ができるように構成してもよい。
【００５０】
図１に示した商品選択・解析装置２は、カメラ１および商品データベース３と連携して商品検索時には商品検索処理プログラム（後述）に基づいて商品検索および表示制御を行ない、収集、解析時には収集・解析プログラムに基づいて購入若しくは検索された商品の集計や購入動向の解析等を行う。
【００５１】
図６は、商品選択・解析装置２の商品データベース３の構成例を示す図であり、商品データベース３は、体型コード３１０（標準体型データ１４９の体型コード１４０と対応するコードで表される）、年代３１１、販売店やブランド等の衣服の種類３１２、サイズ分類３１３、価格３１４、在庫数３１５、販売数３１６、衣服のイメージデータとのポインタ３１７からなる複数の商品データ３１と、ポインタ３１７によって各商品データ３１にそれぞれ対応付けられている各衣服のイメージデータ３２を検索可能に格納してなる。
なお、商品データ３１にポインタ３１に対応する衣服のイメージにあった小物データ（図示せず）とのポインタを設けるようにしてもよい。
【００５２】
また、図示しないが、サイズデータ３１の在庫数３１−６および販売数３１−２は、商品の入庫および販売の都度若しくは適時に、販売員または操作担当者によってキーボード８からの入力により更新される。
【００５３】
図７は、商品選択・解析装置２の動作例を示すフローチャートである。、年代および体型データが入力されると、商品選択・解析装置２は商品検索処理プログラムに基づく以下に示すような商品検索処理の実行を開始する。
【００５４】
販売員若しくは顧客が、カメラ１で得た顧客の年代と、体型データ、つまり体型コードを商品選択・解析装置２に入力すると、商品選択・解析装置２は入力された年代および体型コードを取り込む（ステップＴ１）。
【００５５】
次に、商品検索処理プログラムに基づいて、ステップＴ１で取り込んだ年代および体型コードを元に商品データベース３を検索し（ステップＴ２）、ヒットした商品データ３１があるとその商品データ３１の衣服（つまり、顧客の体型に合った衣服）の種類３１２別に、サイズ分類３１３、価格３１４、在庫数３１５、販売数３１６をカメラ１の画像表示部１７の液晶モニタに表示させる（ステップＴ３）。
【００５６】
さらに、衣服のイメージデータとのポインタ３１８を元にイメージデータ３２から表示されたサイズに対応するイメージデータを取り出して液晶モニタに表示されているフォーマットの所定位置に顧客の体型に合った衣服のイメージとして表示する（ステップＴ４）。
なお、商品データ３１にポインタ３１８に対応する衣服のイメージに合う小物データとのポインタを設けた場合は、自動的、または販売員若しくは顧客の指示に基づいて、小物のイメージを液晶モニタに表示されているフォーマットの所定位置に表示するように構成すことができる。
図８に顧客の体型に合った衣服等の表示例を示す。なお、図８の例では在庫数＞０のときは「在庫あり」、在庫数＝０のときは「在庫なし」と表示したが、在庫数をそのまま表示するようにしてもよい。
【００５７】
定期若しくは不定期に行われる販売店の権限ある管理者の指示操作があると、商品選択・解析装置２は収集・解析プログラムに基づいて商品データベース３に格納されている商品データの各データを元に購入若しくは検索された商品の集計や顧客の購入動向や嗜好等を解析してそれらを必要に応じ印刷させる（ステップＴ５）。
【００５８】
応用例として、靴や履物、帽子、腕輪、指輪、メガネなど、その他の服飾装身具や、ゴルフクラブ、スキー板、などスポーツ用品の適合するサイズ分類や採寸ができるようにしてもよい。
【００５９】
また、本発明に基づく自動採寸プログラムと集計・解析プログラムを、街中を歩く人などの好みや流行などを街頭調査や市場調査する場合などでも、街角の情景をビデオ撮影した画像データから、人物の顔認識、性別、年齢の自動推定、衣服や色の識別などのデータに加えて、これら自動計測した身体寸法データを合せて、集計や分類して、どのようなファッションだけでなく、どのような体型毎にどのような色や服装が好まれているか集計・解析するように構成したパソコン用アプリケーションソフトなどとして、提供してもよい。
【図面の簡単な説明】
【００６０】
【図１】本発明のカメラを用いた自動採寸サービスシステムの構成例を示す図である。
【図２】図１に示した自動採寸サービスシステムにおける自動採寸サービスプロセスを示すプロセスチャートである。
【図３】本発明の実施形態に係わる３次元自動採寸装置の電子回路の構成例を示すブロック図である。
【図４】標準体型データベースおよびサイズデータベースの構成例を示す図である。
【図５】自動採寸機能付のジタルカメラによる自動採寸モードでの動作例を示すフローチャートである。
【図６】サイズデータベースの構成例を示す図である。
【図７】商品選択・解析装置の動作例を示すフローチャートである。
【図８】商品選択・解析装置による顧客の体型に合った衣服等の表示例を示す図である。
【符号の説明】
【００６１】
１ カメラ
２ 商品選択・解析装置
３ 商品データベース
１０ 制御部（サイズ分類変更手段）
１１ 撮像部
１３ ３次元画像データ生成部
１４ 体型取得部
１４ 標準体型データベース（データベース）
１７ 画像表示部（サイズ表示手段）
２０ 標準体型データベース（データベース）
３０ サイズデータベース（データベース）
６０ 操作部
【特許請求の範囲】
【請求項１】
被写体人物を撮影して画像データを得る撮像手段と、
人体の形状および人体各部の寸法を分類した体型コードと、この体型コードに対応付けた衣服のサイズ分類を複数格納してなるデータベースと、
前記撮像手段により異なる角度で被写体人物を撮影した複数枚の画像データから前記被写体人物の３次元形状データを生成する３次元形状データ生成手段と、
前記３次元形状データ生成手段によって生成された３次元形状データを元に前記被写体人物の人体各部の寸法を算出し、該３次元形状データデータおよび算出した人体各部の寸法を元に前記データベースから前記被写体人物の体型コードを取得する体型取得手段と、
前記体型取手段により取得した体型コードに対応する衣服のサイズ分類を前記データベースから取り出して表示する表示手段と、
を備えたことを特徴とするカメラ装置。
【請求項２】
表示するサイズ分類の寸法範囲を入力する入力手段と、この入力手段によって入力されたサイズ分類の寸法範囲で前記データベースのサイズ分類の寸法範囲を変更するサイズ分類変更手段を備えたことを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記データベースは当該カメラ本体内に存在することを特徴とする請求項１記載のカメラ装置。
【請求項４】
前記データベースは当該カメラ本体の外部に存在することを特徴とする請求項１記載のカメラ装置。
【請求項１】
被写体人物を撮影して画像データを得る撮像手段と、
人体の形状および人体各部の寸法を分類した体型コードと、この体型コードに対応付けた衣服のサイズ分類を複数格納してなるデータベースと、
前記撮像手段により異なる角度で被写体人物を撮影した複数枚の画像データから前記被写体人物の３次元形状データを生成する３次元形状データ生成手段と、
前記３次元形状データ生成手段によって生成された３次元形状データを元に前記被写体人物の人体各部の寸法を算出し、該３次元形状データデータおよび算出した人体各部の寸法を元に前記データベースから前記被写体人物の体型コードを取得する体型取得手段と、
前記体型取手段により取得した体型コードに対応する衣服のサイズ分類を前記データベースから取り出して表示する表示手段と、
を備えたことを特徴とするカメラ装置。
【請求項２】
表示するサイズ分類の寸法範囲を入力する入力手段と、この入力手段によって入力されたサイズ分類の寸法範囲で前記データベースのサイズ分類の寸法範囲を変更するサイズ分類変更手段を備えたことを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記データベースは当該カメラ本体内に存在することを特徴とする請求項１記載のカメラ装置。
【請求項４】
前記データベースは当該カメラ本体の外部に存在することを特徴とする請求項１記載のカメラ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−８４２６３（Ｐ２０１０−８４２６３Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５３６８８（Ｐ２００８−２５３６８８）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]