表示情報形成装置およびシステム
【課題】情報端末の撮像部で撮影された画像上に任意の画像を重畳した映像を情報端末の表示部に表示する。
【解決手段】一定間隔で撮影した画像を出力する撮像部１と、被写体に光量を照射する光源部２と、表示する情報を保持する記憶部５と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部６と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部３と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部４とからなる。
【解決手段】一定間隔で撮影した画像を出力する撮像部１と、被写体に光量を照射する光源部２と、表示する情報を保持する記憶部５と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部６と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部３と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部４とからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は表示情報形成装置およびシステムに関し、特に、撮像部と撮影対象との間の空間的位置関係を推定することによって表示部に表示される情報を制御できる表示情報形成装置およびシステムに関するものである。
【背景技術】
【０００２】
近年、煌びやかに装飾された付け爪をつけておしゃれを楽しむネイルアートが普及している。
【０００３】
ネイルアートを自前で行うにはスキルが求められるだけでなく、利き手の爪を装飾するのは難しいため、一般的にはネイルアートサロンで装飾してもらうことになる。様々な雑誌やインターネット上には、ネイルアートのデザイン見本が提示されているので、そのデザインをサロンに持ち込んでオーダーすることになるが、自分の指に似合うかどうかは試してみるまで分からない。また、サロンに通うにはコストや手間がかかるという問題がある。このような背景から、ネイルアートを気軽に楽しむための方法が幾つか提案されている。
【０００４】
特許文献１では、インクジェットプリンタを用いて爪にネイルアートを印刷する装置が開発されている。
【０００５】
特許文献２では、電子ペーパー技術を用いたディスプレイを接着剤で爪に貼り付けることで、デザインを容易に切り替えることができる。
【０００６】
特許文献３では、サーバからネイルアートのデザイン画像を携帯端末で取得可能であり、特許文献４では、ネイルアートのデザインを編集することが可能である。
【０００７】
特許文献５では、ネイルアートのシートを切り貼りすることで自らの爪で実際に試すことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１６５６３２号公報「ネイルアートプリンター」
【特許文献２】特開２００８−１６８０６２号公報「電子ネイル及び電子ネイル変更装置」
【特許文献３】特開２００８−１６５３１６号公報「ネイルアートコンテンツ表示装置およびネイルアートコンテンツ表示システム」
【特許文献４】特開２００８−１３００５４号公報「ネイルアートに係るゲームソフト・プログラム及び携帯サイトを利用した当該ゲームソフトの提供管理方法」
【特許文献５】特開２００９−１１７６３号公報「簡単ネイルアートシート」
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前記の先行技術には、次のような課題があった。
【００１０】
特許文献１では、プリンタと爪の位置合わせを間違えるとやり直しがきかない。また、ネイルアートのインクが乾くまで時間がかかるため、短時間に変更することは難しい。
【００１１】
特許文献２では、電子回路を搭載した厚ぼったいディスプレイを爪に貼り付けなければならないため、デザイン性を重視するネイルアートには向いていない。
【００１２】
特許文献３及び特許文献４では、ネイルアートのデザインを選択または編集することはできても、デザイン画を自分の指で実際に試すことはできない。
【００１３】
特許文献５では、爪の形状に合わせてシートを切り貼りする手間がかかる。
【００１４】
本発明は、前記の課題に鑑み、情報端末の撮像部で撮影された画像上に任意の画像を重畳した映像を情報端末の表示部に表示することのできる表示情報形成装置およびシステムを提供することを目的とする。例えば、ネイルアートのデザインを爪に重畳することで、あたかもネイルアートが施されたような映像を情報端末の表示部に表示することのできる表示情報形成装置およびシステムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記した目的を達成するために、本発明は、一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、表示する情報を保持する記憶部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを備えた点に特徴がある。
【００１６】
また、本発明は、前記推定部が、前記撮像部から出力された画像から特定の領域を抽出する差分計算手段と、前記差分計算手段で抽出された領域を整形する領域形成手段と、前記領域形成手段で整形された領域から対象領域の位置、向き、個数を推定する姿勢推定手段とを備えた点に他の特徴がある。
【００１７】
また、本発明は、一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部とを少なくとも有する情報端末装置と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、表示する情報を保持する記憶部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを少なくとも備えたサーバとからなり、前記情報端末装置で撮影された画像を前記サーバに伝送し、該サーバ上で前記表示部に表示させる情報を作成する点に他の特徴がある。
【発明の効果】
【００１８】
本発明によれば、加速度センサなど特別なハードウェアや特別なデバイスを用いることなく、情報端末の入力画像から撮影対象（被写体）の位置及び向きを少なくとも推定することで、記憶部に保持している情報を、前記撮影対象の入力映像の特定箇所に重畳することが可能となる。
【００１９】
また、利用者は、前記入力映像の特定箇所に重畳された画像を見て、手軽に楽しむことができる。また、前記特定箇所に重畳される画像は記憶部に記憶されている任意の画像を選択できるので、色々な画像で楽しむことができ、長く楽しむことができる。具体例として、情報端末に対する指先の相対的な位置に応じてネイルアートのデザインを爪に重畳することで、あたかもネイルアートが施されたような映像を情報端末の表示部に表示でき、利用者に大きな楽しみを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の概略の構成を示す機能ブロック図である。
【図２】本実施形態の概略の処理手順を示すフローチャートである。
【図３】情報端末装置を用いて指と爪を撮影する様子を示す模式図である。
【図４】爪表面の法線ベクトルの分布例を示す図である。
【図５】被写体としての指と爪を示す図である。
【図６】爪の位置、方向、エッジを求める例の説明図である。
【図７】爪に情報を重畳した例を示す図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して本発明を詳細に説明する。図１は本発明の一実施形態の概略の構成を示す機能ブロック図である。
【００２２】
本実施形態の表示情報形成装置１０（情報端末装置）は、撮像部１、光源部２、推定部３、制御部４、記憶部５及び表示部６を備える。以下では、被写体として爪、重ね合わせる画像としてネイルチップを利用する例で説明するが、本発明はこれに限定されるものではなく、爪以外の物の表面にも画像を重ねることができる。また、本実施形態では、本発明を携帯電話への適用を例にして説明するが、撮像部及び光源を備えた情報端末であれば、ＰＤＡやコンピュータなどにも同様に適用できる。
【００２３】
前記撮像部１は、所定のサンプリング周期で被写体を連続的に撮影して、その撮影画像を出力する。この撮像部１としては携帯電話に標準装備されるデジタルカメラを用いることができる。本実施形態では被写体が手であり、特に指の爪が写るように撮影される。
【００２４】
前記推定部３は、撮影された爪の位置、向き、個数等を推定する。該推定部３では、図２の差分計算処理（Ｓ２），領域形成処理（Ｓ３）および姿勢推定処理（Ｓ４）を行う。前記制御部４は、入力画像の推定結果に基づいて重畳する情報を加工し、表示部６の表示内容を制御する。前記記憶部５には、予めネイルチップ情報を複数蓄積しておき、ユーザの選択によって任意のネイルチップを爪に重畳することができる。あるいは、ネットワーク経由によって新たなネイルチップを取得、または更新することもできる。
【００２５】
図２に本実施形態の処理手順を示す。画像撮影処理（Ｓ１）では、まず撮像部１が光源２と連動して光量を増加させたときの画像を撮影する。続いて光源を消灯するまたは光量を低減して、光量を低減させたときの画像を撮影する。このとき、２回の撮影は連続的に行うことで手振れによる位置のズレを最小限に抑え、同一座標の対応関係を保持した２枚の画像を差分計算処理（Ｓ２）に送る。図３は、表示情報形成装置１０（情報端末装置）で爪を撮影する様子の一例を示している。
【００２６】
差分計算処理（Ｓ２）では、２枚の画像において変化量が大きな領域を抽出する。光が届く範囲は撮像部１に近接する被写体に限定されるため、２枚の画像を比較することで背景領域を排除できる。また、光量が大きいときの画像には近接した被写体による反射光が増加しているが、指の肌と爪の反射率の相違により爪の方がより大きな輝度値を得ていることが多い。よって、差分計算処理（Ｓ２）は光量が多いときの画像から光量の少ないときの画像と差分を算出し、予め設定している閾値以上の大きな差分値が発生している領域を爪領域候補として設定する。
【００２７】
あるいは、別の実施形態としては色空間変換によって光源の影響を際だたせることが可能である。すなわち、入力された２枚の画像をそれぞれＲＧＢ色空間からＨＳＶ色空間（明度Ｖ，彩度Ｓ，色相Ｈ）に変換する。
【００２８】
【数１】
【００２９】
爪領域では肌領域より血色が濃く出ているため、Ｒ（赤色）値が大きい。また、一般的な蛍光灯の下では爪領域のＧ（緑色）値はＢ（青色）値より大きいため、ＨＳＶ色空間の色相Ｈは正の値を取る。ここで、光源として携帯電話のライトを照らした場合、青白い光が爪領域で強く反射するため、爪領域ではＧとＢの大小関係は逆転することが多い。一方、肌領域では反射率が比較的高くないため逆転は起こりにくい。よって、爪領域の色相Ｈだけ負の値になりやすいので、負数は３６０を加算することで正数とした後、両者の差が大きい画素を爪領域候補とする。３６０を加算する理由は、周知のように、一般に、色相Ｈは０〜３６０°の正数で表現されるからである。例えば、ライトをオンにした時の色相Ｈは、爪では約３３０（３６０の加算後の値）、肌では約１０となり、ライトをオフした時の色相Ｈは、爪では約１０，肌では約３０となる。したがって、ライトをオン、オフした時の両者の差は、爪の方が肌に比べて顕著に大きいので、爪と肌の区別を明確につけることができる。このように、光量変化の有無を判断するにあたり、前記光源部２の照射光の色成分を考慮し、変化量が大きく現れる色空間に変化させた上で、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算することができる。
【００３０】
なお、爪の色自体は個人差、健康状態、または照明光等により左右されやすいが、既知の光源色による能動的な光量変化が爪領域に明確な差分を生じさせることから、該差分を算出することで上記の個人差等の影響を抑えることができる。また、被写体には少ない色成分を前記光源部の照射光成分として強めに設定することで、反射率の高い対象領域の変化量を強調しやすくすることができる。
【００３１】
領域形成処理（Ｓ３）では、爪領域候補を整形する。まず、既存のモルフォロジーフィルタによって該爪領域候補の部分的な欠損を補う。次に、肌色検出によって指領域と背景領域を分離する。肌色検出には任意の方式を適用できる。一例としては、肌色及び非肌色をガウス混合モデル（ＧＭＭ）で学習しておき、入力画素の肌確率と非肌確率との比較によって判断する。最後にCannyエッジ検出によって指領域画像からエッジ領域を算出し、エッジ領域を越えないように爪領域候補から領域を成長させる。具体的には隣接画素値と当該画素値との差が一定範囲内に収まり、かつ最近傍エッジ領域画素と当該画素との距離が一定以上であるとき、隣接画素を爪領域候補に組み入れる。
【００３２】
姿勢推定処理（Ｓ４）は、ネイルチップを重畳するのに必要な情報として、爪の向きと爪の幅と爪の根本（付け根）座標とを推定する。まず、爪の幅を推定するため、爪の向きを推定する。光量の多い画像における最大輝度値は反射率の高い爪領域内部で発生することが多いので、最大輝度値とその近傍色で構成される小領域を生成する。爪表面は、図４に示されているように、指先に向かってほぼ同一法線で構成されることから、図５に示されているように、反射光の形状は指先方向へ長い領域７（前記小領域）となる。該領域７は光源が写り込んでいる領域でもある。
【００３３】
よって、図６に示すように、領域形成された爪領域候補ごとに領域の重心、外接矩形の２軸を算出しておき、前記小領域１１（例えば、反射光領域７）の外接矩形１２の短軸１３方向または該短軸方向に近い軸の長さを爪の幅と判断する。次に、爪の根本（付け根）１５の座標を推定するため、指によるエッジ分布を利用する。前記高輝度小領域の短軸１３で画面を２分し、前記領域形成処理（Ｓ３）で算出したエッジ検出結果から、エッジが多く存在する領域を爪の根本１５の方向と判断する。そして、前記領域形成処理（Ｓ３）で算出した肌領域と爪候補領域の軸を根本方向に延長した線とが交わる境界を爪の根本座標とする。
【００３４】
情報重畳処理（Ｓ５）は、爪に重畳する情報を記憶部５から取得し、該情報を前記姿勢推定処理（Ｓ４）で算出した爪の幅に応じて変形させる。次いで、変形された重畳情報は、図７に示すように該姿勢推定処理（Ｓ４）で算出した爪の根本座標に一致するように重畳位置を調整する。
【００３５】
映像に適用する別の実施形態では、推定部３は初回に一度だけ前記一連の処理を適用する。後続する入力画像に対しては、爪領域毎に爪の根本座標及び爪の幅を示す軸の両端座標を動き探索によって追跡し続けることで、推定処理の負荷を減少させつつ、映像に情報を重畳し続けることが可能となる。例えば、前記後続する入力画像として、動きのある指の画像を入力すれば、該動きのある指の爪の上に画像が乗るので、重畳情報が動的にどのように見えるかを試すことができる。
【００３６】
また、重畳する情報は静止画のネイルチップ以外に、３ＤやアニメーションなどＣＧならではの情報を重畳することで、既存のネイルアートでは実現できなかった表現を提供することができる。あるいは、対象領域の向き、大きさ、座標に応じて重畳する情報を変化させることで、インタラクティブなアートを実現することができる。
【００３７】
上記の実施形態は、図２の処理が全て表示情報形成装置１０（情報端末装置）の内部で行われる例であったが、画像撮影（Ｓ１）と表示のみを情報端末装置で行い、他の処理（Ｓ２〜Ｓ５）をサーバで行ってもよい。つまり、撮影した画像情報を情報端末装置から有線又は無線でネットワーク（インターネットなど）に接続されたサーバに送り、サーバ側で前記差分計算処理（Ｓ２）、領域形成処理（Ｓ３）、姿勢推定処理（Ｓ４）および情報重畳処理（Ｓ５）を行い、情報重畳処理結果を情報端末装置で受信してその表示部６に表示するようにしてもよい。換言すれば、図１の推定部３，制御部４および記憶部５をサーバ側に置いて、前記の処理をし、処理結果を情報端末装置に送り返すようにしてもよい。
【符号の説明】
【００３８】
１・・・撮像部、２・・・光源、３・・・推定部、４・・・制御部、５・・・記憶部、６・・・表示部、７・・・反射光領域、１０・・・表示情報形成装置（情報端末装置）、１１・・・小領域、１２・・・外接矩形１２、１３・・・短軸、１５・・・爪の根本（付け根）。
【技術分野】
【０００１】
本発明は表示情報形成装置およびシステムに関し、特に、撮像部と撮影対象との間の空間的位置関係を推定することによって表示部に表示される情報を制御できる表示情報形成装置およびシステムに関するものである。
【背景技術】
【０００２】
近年、煌びやかに装飾された付け爪をつけておしゃれを楽しむネイルアートが普及している。
【０００３】
ネイルアートを自前で行うにはスキルが求められるだけでなく、利き手の爪を装飾するのは難しいため、一般的にはネイルアートサロンで装飾してもらうことになる。様々な雑誌やインターネット上には、ネイルアートのデザイン見本が提示されているので、そのデザインをサロンに持ち込んでオーダーすることになるが、自分の指に似合うかどうかは試してみるまで分からない。また、サロンに通うにはコストや手間がかかるという問題がある。このような背景から、ネイルアートを気軽に楽しむための方法が幾つか提案されている。
【０００４】
特許文献１では、インクジェットプリンタを用いて爪にネイルアートを印刷する装置が開発されている。
【０００５】
特許文献２では、電子ペーパー技術を用いたディスプレイを接着剤で爪に貼り付けることで、デザインを容易に切り替えることができる。
【０００６】
特許文献３では、サーバからネイルアートのデザイン画像を携帯端末で取得可能であり、特許文献４では、ネイルアートのデザインを編集することが可能である。
【０００７】
特許文献５では、ネイルアートのシートを切り貼りすることで自らの爪で実際に試すことができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−１６５６３２号公報「ネイルアートプリンター」
【特許文献２】特開２００８−１６８０６２号公報「電子ネイル及び電子ネイル変更装置」
【特許文献３】特開２００８−１６５３１６号公報「ネイルアートコンテンツ表示装置およびネイルアートコンテンツ表示システム」
【特許文献４】特開２００８−１３００５４号公報「ネイルアートに係るゲームソフト・プログラム及び携帯サイトを利用した当該ゲームソフトの提供管理方法」
【特許文献５】特開２００９−１１７６３号公報「簡単ネイルアートシート」
【発明の概要】
【発明が解決しようとする課題】
【０００９】
前記の先行技術には、次のような課題があった。
【００１０】
特許文献１では、プリンタと爪の位置合わせを間違えるとやり直しがきかない。また、ネイルアートのインクが乾くまで時間がかかるため、短時間に変更することは難しい。
【００１１】
特許文献２では、電子回路を搭載した厚ぼったいディスプレイを爪に貼り付けなければならないため、デザイン性を重視するネイルアートには向いていない。
【００１２】
特許文献３及び特許文献４では、ネイルアートのデザインを選択または編集することはできても、デザイン画を自分の指で実際に試すことはできない。
【００１３】
特許文献５では、爪の形状に合わせてシートを切り貼りする手間がかかる。
【００１４】
本発明は、前記の課題に鑑み、情報端末の撮像部で撮影された画像上に任意の画像を重畳した映像を情報端末の表示部に表示することのできる表示情報形成装置およびシステムを提供することを目的とする。例えば、ネイルアートのデザインを爪に重畳することで、あたかもネイルアートが施されたような映像を情報端末の表示部に表示することのできる表示情報形成装置およびシステムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記した目的を達成するために、本発明は、一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、表示する情報を保持する記憶部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを備えた点に特徴がある。
【００１６】
また、本発明は、前記推定部が、前記撮像部から出力された画像から特定の領域を抽出する差分計算手段と、前記差分計算手段で抽出された領域を整形する領域形成手段と、前記領域形成手段で整形された領域から対象領域の位置、向き、個数を推定する姿勢推定手段とを備えた点に他の特徴がある。
【００１７】
また、本発明は、一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部とを少なくとも有する情報端末装置と、前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、表示する情報を保持する記憶部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを少なくとも備えたサーバとからなり、前記情報端末装置で撮影された画像を前記サーバに伝送し、該サーバ上で前記表示部に表示させる情報を作成する点に他の特徴がある。
【発明の効果】
【００１８】
本発明によれば、加速度センサなど特別なハードウェアや特別なデバイスを用いることなく、情報端末の入力画像から撮影対象（被写体）の位置及び向きを少なくとも推定することで、記憶部に保持している情報を、前記撮影対象の入力映像の特定箇所に重畳することが可能となる。
【００１９】
また、利用者は、前記入力映像の特定箇所に重畳された画像を見て、手軽に楽しむことができる。また、前記特定箇所に重畳される画像は記憶部に記憶されている任意の画像を選択できるので、色々な画像で楽しむことができ、長く楽しむことができる。具体例として、情報端末に対する指先の相対的な位置に応じてネイルアートのデザインを爪に重畳することで、あたかもネイルアートが施されたような映像を情報端末の表示部に表示でき、利用者に大きな楽しみを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の概略の構成を示す機能ブロック図である。
【図２】本実施形態の概略の処理手順を示すフローチャートである。
【図３】情報端末装置を用いて指と爪を撮影する様子を示す模式図である。
【図４】爪表面の法線ベクトルの分布例を示す図である。
【図５】被写体としての指と爪を示す図である。
【図６】爪の位置、方向、エッジを求める例の説明図である。
【図７】爪に情報を重畳した例を示す図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して本発明を詳細に説明する。図１は本発明の一実施形態の概略の構成を示す機能ブロック図である。
【００２２】
本実施形態の表示情報形成装置１０（情報端末装置）は、撮像部１、光源部２、推定部３、制御部４、記憶部５及び表示部６を備える。以下では、被写体として爪、重ね合わせる画像としてネイルチップを利用する例で説明するが、本発明はこれに限定されるものではなく、爪以外の物の表面にも画像を重ねることができる。また、本実施形態では、本発明を携帯電話への適用を例にして説明するが、撮像部及び光源を備えた情報端末であれば、ＰＤＡやコンピュータなどにも同様に適用できる。
【００２３】
前記撮像部１は、所定のサンプリング周期で被写体を連続的に撮影して、その撮影画像を出力する。この撮像部１としては携帯電話に標準装備されるデジタルカメラを用いることができる。本実施形態では被写体が手であり、特に指の爪が写るように撮影される。
【００２４】
前記推定部３は、撮影された爪の位置、向き、個数等を推定する。該推定部３では、図２の差分計算処理（Ｓ２），領域形成処理（Ｓ３）および姿勢推定処理（Ｓ４）を行う。前記制御部４は、入力画像の推定結果に基づいて重畳する情報を加工し、表示部６の表示内容を制御する。前記記憶部５には、予めネイルチップ情報を複数蓄積しておき、ユーザの選択によって任意のネイルチップを爪に重畳することができる。あるいは、ネットワーク経由によって新たなネイルチップを取得、または更新することもできる。
【００２５】
図２に本実施形態の処理手順を示す。画像撮影処理（Ｓ１）では、まず撮像部１が光源２と連動して光量を増加させたときの画像を撮影する。続いて光源を消灯するまたは光量を低減して、光量を低減させたときの画像を撮影する。このとき、２回の撮影は連続的に行うことで手振れによる位置のズレを最小限に抑え、同一座標の対応関係を保持した２枚の画像を差分計算処理（Ｓ２）に送る。図３は、表示情報形成装置１０（情報端末装置）で爪を撮影する様子の一例を示している。
【００２６】
差分計算処理（Ｓ２）では、２枚の画像において変化量が大きな領域を抽出する。光が届く範囲は撮像部１に近接する被写体に限定されるため、２枚の画像を比較することで背景領域を排除できる。また、光量が大きいときの画像には近接した被写体による反射光が増加しているが、指の肌と爪の反射率の相違により爪の方がより大きな輝度値を得ていることが多い。よって、差分計算処理（Ｓ２）は光量が多いときの画像から光量の少ないときの画像と差分を算出し、予め設定している閾値以上の大きな差分値が発生している領域を爪領域候補として設定する。
【００２７】
あるいは、別の実施形態としては色空間変換によって光源の影響を際だたせることが可能である。すなわち、入力された２枚の画像をそれぞれＲＧＢ色空間からＨＳＶ色空間（明度Ｖ，彩度Ｓ，色相Ｈ）に変換する。
【００２８】
【数１】
【００２９】
爪領域では肌領域より血色が濃く出ているため、Ｒ（赤色）値が大きい。また、一般的な蛍光灯の下では爪領域のＧ（緑色）値はＢ（青色）値より大きいため、ＨＳＶ色空間の色相Ｈは正の値を取る。ここで、光源として携帯電話のライトを照らした場合、青白い光が爪領域で強く反射するため、爪領域ではＧとＢの大小関係は逆転することが多い。一方、肌領域では反射率が比較的高くないため逆転は起こりにくい。よって、爪領域の色相Ｈだけ負の値になりやすいので、負数は３６０を加算することで正数とした後、両者の差が大きい画素を爪領域候補とする。３６０を加算する理由は、周知のように、一般に、色相Ｈは０〜３６０°の正数で表現されるからである。例えば、ライトをオンにした時の色相Ｈは、爪では約３３０（３６０の加算後の値）、肌では約１０となり、ライトをオフした時の色相Ｈは、爪では約１０，肌では約３０となる。したがって、ライトをオン、オフした時の両者の差は、爪の方が肌に比べて顕著に大きいので、爪と肌の区別を明確につけることができる。このように、光量変化の有無を判断するにあたり、前記光源部２の照射光の色成分を考慮し、変化量が大きく現れる色空間に変化させた上で、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算することができる。
【００３０】
なお、爪の色自体は個人差、健康状態、または照明光等により左右されやすいが、既知の光源色による能動的な光量変化が爪領域に明確な差分を生じさせることから、該差分を算出することで上記の個人差等の影響を抑えることができる。また、被写体には少ない色成分を前記光源部の照射光成分として強めに設定することで、反射率の高い対象領域の変化量を強調しやすくすることができる。
【００３１】
領域形成処理（Ｓ３）では、爪領域候補を整形する。まず、既存のモルフォロジーフィルタによって該爪領域候補の部分的な欠損を補う。次に、肌色検出によって指領域と背景領域を分離する。肌色検出には任意の方式を適用できる。一例としては、肌色及び非肌色をガウス混合モデル（ＧＭＭ）で学習しておき、入力画素の肌確率と非肌確率との比較によって判断する。最後にCannyエッジ検出によって指領域画像からエッジ領域を算出し、エッジ領域を越えないように爪領域候補から領域を成長させる。具体的には隣接画素値と当該画素値との差が一定範囲内に収まり、かつ最近傍エッジ領域画素と当該画素との距離が一定以上であるとき、隣接画素を爪領域候補に組み入れる。
【００３２】
姿勢推定処理（Ｓ４）は、ネイルチップを重畳するのに必要な情報として、爪の向きと爪の幅と爪の根本（付け根）座標とを推定する。まず、爪の幅を推定するため、爪の向きを推定する。光量の多い画像における最大輝度値は反射率の高い爪領域内部で発生することが多いので、最大輝度値とその近傍色で構成される小領域を生成する。爪表面は、図４に示されているように、指先に向かってほぼ同一法線で構成されることから、図５に示されているように、反射光の形状は指先方向へ長い領域７（前記小領域）となる。該領域７は光源が写り込んでいる領域でもある。
【００３３】
よって、図６に示すように、領域形成された爪領域候補ごとに領域の重心、外接矩形の２軸を算出しておき、前記小領域１１（例えば、反射光領域７）の外接矩形１２の短軸１３方向または該短軸方向に近い軸の長さを爪の幅と判断する。次に、爪の根本（付け根）１５の座標を推定するため、指によるエッジ分布を利用する。前記高輝度小領域の短軸１３で画面を２分し、前記領域形成処理（Ｓ３）で算出したエッジ検出結果から、エッジが多く存在する領域を爪の根本１５の方向と判断する。そして、前記領域形成処理（Ｓ３）で算出した肌領域と爪候補領域の軸を根本方向に延長した線とが交わる境界を爪の根本座標とする。
【００３４】
情報重畳処理（Ｓ５）は、爪に重畳する情報を記憶部５から取得し、該情報を前記姿勢推定処理（Ｓ４）で算出した爪の幅に応じて変形させる。次いで、変形された重畳情報は、図７に示すように該姿勢推定処理（Ｓ４）で算出した爪の根本座標に一致するように重畳位置を調整する。
【００３５】
映像に適用する別の実施形態では、推定部３は初回に一度だけ前記一連の処理を適用する。後続する入力画像に対しては、爪領域毎に爪の根本座標及び爪の幅を示す軸の両端座標を動き探索によって追跡し続けることで、推定処理の負荷を減少させつつ、映像に情報を重畳し続けることが可能となる。例えば、前記後続する入力画像として、動きのある指の画像を入力すれば、該動きのある指の爪の上に画像が乗るので、重畳情報が動的にどのように見えるかを試すことができる。
【００３６】
また、重畳する情報は静止画のネイルチップ以外に、３ＤやアニメーションなどＣＧならではの情報を重畳することで、既存のネイルアートでは実現できなかった表現を提供することができる。あるいは、対象領域の向き、大きさ、座標に応じて重畳する情報を変化させることで、インタラクティブなアートを実現することができる。
【００３７】
上記の実施形態は、図２の処理が全て表示情報形成装置１０（情報端末装置）の内部で行われる例であったが、画像撮影（Ｓ１）と表示のみを情報端末装置で行い、他の処理（Ｓ２〜Ｓ５）をサーバで行ってもよい。つまり、撮影した画像情報を情報端末装置から有線又は無線でネットワーク（インターネットなど）に接続されたサーバに送り、サーバ側で前記差分計算処理（Ｓ２）、領域形成処理（Ｓ３）、姿勢推定処理（Ｓ４）および情報重畳処理（Ｓ５）を行い、情報重畳処理結果を情報端末装置で受信してその表示部６に表示するようにしてもよい。換言すれば、図１の推定部３，制御部４および記憶部５をサーバ側に置いて、前記の処理をし、処理結果を情報端末装置に送り返すようにしてもよい。
【符号の説明】
【００３８】
１・・・撮像部、２・・・光源、３・・・推定部、４・・・制御部、５・・・記憶部、６・・・表示部、７・・・反射光領域、１０・・・表示情報形成装置（情報端末装置）、１１・・・小領域、１２・・・外接矩形１２、１３・・・短軸、１５・・・爪の根本（付け根）。
【特許請求の範囲】
【請求項１】
一定間隔で撮影した画像を出力する撮像部と、
被写体に光量を照射する光源部と、
表示する情報を保持する記憶部と、
前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部と、
前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、
前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを備えたことを特徴とする表示情報形成装置。
【請求項２】
前記撮像部は、前記光源部と連動して光量の異なる複数の画像を連続して取得する手段を備えたことを特徴とする請求項１に記載の表示情報形成装置。
【請求項３】
前記推定部は、
前記撮像部から出力された画像から特定の領域を抽出する差分計算手段と、
前記差分計算手段で抽出された領域を整形する領域形成手段と、
前記領域形成手段で整形された領域から対象領域の位置、向き、個数を推定する姿勢推定手段とを備えたことを特徴とする請求項１に記載の表示情報形成装置。
【請求項４】
前記差分計算手段は、前記光源部が照射する光によって光量変化が生じる領域を光が届く範囲の被写体として抽出することを特徴とする請求項３に記載の表示情報形成装置。
【請求項５】
前記差分計算手段は、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算し差分値を閾値と比較することで光量変化の有無を判断し、被写体の複数領域における反射率の相違を利用して対象領域を抽出することを特徴とする請求項３に記載の表示情報形成装置。
【請求項６】
前記差分計算手段は、光量変化の有無を判断するにあたり、前記光源部の照射光の色成分を考慮し、変化量が大きく現れる色空間に変化させた上で、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算することを特徴とする請求項３に記載の表示情報形成装置。
【請求項７】
前記差分計算手段は、被写体には少ない色成分を前記光源部の照射光成分として強めに設定することで、反射率の高い対象領域の変化量を強調しやすくすることを特徴とする請求項３に記載の表示情報形成装置。
【請求項８】
前記領域形成手段は、対象領域に隣接する領域及び境界面を抽出し、該境界面に部分的な欠損があっても領域をまたがないように距離の閾値を基準として対象領域の形状を整形することを特徴とする請求項３に記載の表示情報形成装置。
【請求項９】
前記姿勢推定手段は、前記撮像部で得られた画像から光源自体が写り込んでいる領域を抽出し、該領域の形状から重畳する情報の加工に必要な対象領域の向きを推定することを特徴とする請求項３に記載の表示情報形成装置。
【請求項１０】
前記姿勢推定手段は、前記領域形成手段で得られたエッジ特徴量から重畳する情報の加工に必要な対象領域の向きを推定することを特徴とする請求項３に記載の表示情報形成装置。
【請求項１１】
前記制御部は、前記推定部で推定された対象領域の座標、向き、大きさの情報を入力し、該情報に応じて記憶部に蓄積された情報を加工し、前記撮像部で得られた画像に重畳することを特徴とする請求項１に記載の表示情報形成装置。
【請求項１２】
前記撮影対象は、指の爪であることを特徴とする請求項１ないし１１のいずれかに記載の表示情報形成装置。
【請求項１３】
一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部とを少なくとも有する情報端末装置と、
前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、表示する情報を保持する記憶部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを少なくとも備えたサーバとからなり、
前記情報端末装置で撮影された画像を前記サーバに伝送し、該サーバ上で前記表示部に表示させる情報を作成することを特徴とする表示情報形成システム。
【請求項１】
一定間隔で撮影した画像を出力する撮像部と、
被写体に光量を照射する光源部と、
表示する情報を保持する記憶部と、
前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部と、
前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、
前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを備えたことを特徴とする表示情報形成装置。
【請求項２】
前記撮像部は、前記光源部と連動して光量の異なる複数の画像を連続して取得する手段を備えたことを特徴とする請求項１に記載の表示情報形成装置。
【請求項３】
前記推定部は、
前記撮像部から出力された画像から特定の領域を抽出する差分計算手段と、
前記差分計算手段で抽出された領域を整形する領域形成手段と、
前記領域形成手段で整形された領域から対象領域の位置、向き、個数を推定する姿勢推定手段とを備えたことを特徴とする請求項１に記載の表示情報形成装置。
【請求項４】
前記差分計算手段は、前記光源部が照射する光によって光量変化が生じる領域を光が届く範囲の被写体として抽出することを特徴とする請求項３に記載の表示情報形成装置。
【請求項５】
前記差分計算手段は、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算し差分値を閾値と比較することで光量変化の有無を判断し、被写体の複数領域における反射率の相違を利用して対象領域を抽出することを特徴とする請求項３に記載の表示情報形成装置。
【請求項６】
前記差分計算手段は、光量変化の有無を判断するにあたり、前記光源部の照射光の色成分を考慮し、変化量が大きく現れる色空間に変化させた上で、前記光源部オンによる照射がある画像とオフによる照射がない画像とで差分を計算することを特徴とする請求項３に記載の表示情報形成装置。
【請求項７】
前記差分計算手段は、被写体には少ない色成分を前記光源部の照射光成分として強めに設定することで、反射率の高い対象領域の変化量を強調しやすくすることを特徴とする請求項３に記載の表示情報形成装置。
【請求項８】
前記領域形成手段は、対象領域に隣接する領域及び境界面を抽出し、該境界面に部分的な欠損があっても領域をまたがないように距離の閾値を基準として対象領域の形状を整形することを特徴とする請求項３に記載の表示情報形成装置。
【請求項９】
前記姿勢推定手段は、前記撮像部で得られた画像から光源自体が写り込んでいる領域を抽出し、該領域の形状から重畳する情報の加工に必要な対象領域の向きを推定することを特徴とする請求項３に記載の表示情報形成装置。
【請求項１０】
前記姿勢推定手段は、前記領域形成手段で得られたエッジ特徴量から重畳する情報の加工に必要な対象領域の向きを推定することを特徴とする請求項３に記載の表示情報形成装置。
【請求項１１】
前記制御部は、前記推定部で推定された対象領域の座標、向き、大きさの情報を入力し、該情報に応じて記憶部に蓄積された情報を加工し、前記撮像部で得られた画像に重畳することを特徴とする請求項１に記載の表示情報形成装置。
【請求項１２】
前記撮影対象は、指の爪であることを特徴とする請求項１ないし１１のいずれかに記載の表示情報形成装置。
【請求項１３】
一定間隔で撮影した画像を出力する撮像部と、被写体に光量を照射する光源部と、前記撮像部から出力された画像および前記記憶部に保持されている情報を表示する表示部とを少なくとも有する情報端末装置と、
前記撮像部から出力された撮影対象の画像情報に対して撮影対象の特徴を利用した解析を行い該撮影対象の位置および向きを少なくとも推定する推定部と、表示する情報を保持する記憶部と、前記撮影対象上に表示する情報を前記記憶部から読み出し、該読み出した表示情報を前記推定部で推定された位置および向きに適合させて、前記表示部に表示させる情報を作成する制御部とを少なくとも備えたサーバとからなり、
前記情報端末装置で撮影された画像を前記サーバに伝送し、該サーバ上で前記表示部に表示させる情報を作成することを特徴とする表示情報形成システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２３１３５２（Ｐ２０１０−２３１３５２Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７６３８０（Ｐ２００９−７６３８０）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]