情報端末及びコンピュータプログラム
【課題】モデル画像と撮影画像とを重ね合わせて一画像とするに際して、簡易な手法を採
用しながらも、リアルで高精度な重ね合わせ画像が得られるようにする。
【解決手段】情報を表示する表示部と、情報の操作入力する操作入力部と、記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、
を備える。
用しながらも、リアルで高精度な重ね合わせ画像が得られるようにする。
【解決手段】情報を表示する表示部と、情報の操作入力する操作入力部と、記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、
を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、既存の画像データにデジタルカメラ等の撮影装置が出力する撮像画像を取り込んで合成できるようにした情報端末及びコンピュータプログラムに関する。
【背景技術】
【０００２】
衣類やアクセサリー等のファッション関係グッズを扱うような店舗では、衣類等の販売に先立ってその試着をすることが一般的である。顧客の側でも、試着無しに衣類等の商品を購入することは稀であろう。
【０００３】
ところが、試着をするにはある程度の時間がかかるため、数多くの商品を一度に試着することはできない。また、異なる場所に複数の店舗を設置しているような場合は、例えば、顧客が求める商品が東京の店舗にはないが神戸の店舗には置いてあるというような事態が生じうる。このような場合、東京の店舗に来店した顧客は、神戸でのみ置いてある商品をその場で試着することはできない。
【０００４】
このようなことから、近年、例えばコンピュータ上の仮想空間で商品の画像と顧客の画像とを重ね合わせ、実際には試着しなくても画像上で試着できるようにした技術が開発され、普及の兆しを見せ始めている。もっとも、このような仮想空間上での試着を可能にするためには、商品の画像にも顧客の画像にも３次元情報を保持させなければならない等、大掛かりな仕組みを必要とするため、現在の時点では、多くの店舗で気軽に採用できるような手軽さがない。
【０００５】
これに対して、特許文献１には、予め保持している画像データにデジタルカメラで撮影した画像を簡易に重ね合わせられるようにした技術が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したように、コンピュータ上の仮想空間で商品の画像と顧客の画像とを重ね合わせ、実際には試着しなくても画像上で試着できるようにした技術を搭載したシステムは、敷居が高く、現在では普及がおぼつかない。しかも、このようなシステムの運用上、３次元情報を保持するために顧客を様々な角度から撮影しなければならないところ、このような運用は顧客に抵抗感を感じさせ易い。
【０００７】
その一方、特許文献１に記載されているように、予め保持している画像データにデジタルカメラで撮影した画像を簡易に重ね合わせられるようにした技術も開発されている。ところが、このような技術によれば、一画面中で二つの画像を並べて表示した後に両画像を重ね合わせることとも相俟って、リアルで高精度な重ね合わせ画像が得られにくいという問題がある。
【０００８】
本発明の目的は、モデル画像と撮影画像とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像が得られるようにすることである。
【課題を解決するための手段】
【０００９】
本発明の情報端末は、情報を表示する表示部と、情報の操作入力する操作入力部と、記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、を備える。
【００１０】
また、本発明のコンピュータプログラムは、情報を表示する表示部と、情報を操作入力する操作入力部と、を備えるコンピュータにインストールされ、当該コンピュータに、記憶部に記憶されているモデル画像中の顔部分を抽出する機能と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す機能と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する機能と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する機能と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する機能と、を実行させる。
【発明の効果】
【００１１】
本発明によれば、画像データに含まれているモデル画像中の顔部分を抽出して当該顔部分を中心とした拡大画像を表示し、しかも、当該顔部分の表示を他の部分の表示と異ならせ、ここに撮影装置で撮影中の動画像から抽出した顔部分を重ね合わせるようにしたので、モデル画像と撮影画像とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の一形態である情報端末を示す外観斜視図である。
【図２】図２は、その電気的接続のブロック図である。
【図３】図３は、情報端末のＨＤＤに記録されている商品マスタエリアの記録データを示す模式図である。
【図４】図４は、情報端末のＨＤＤに記録されているメタ画像蓄積エリアの記録データを示す模式図である。
【図５】図５は、情報端末のＨＤＤに記録されている商品ＩＤリンクエリアの記録データを示す模式図である。
【図６】図６は、画像合成処理の流れを示すフローチャートである。
【図７】図７は、図６中の特定画像の選択処理（ステップＳ１０１）の別の一例を示すフローチャートである。
【図８】図８は、情報端末の液晶ディスプレイに表示される拡大表示されたモデル画像の一例を示す模式図である。
【図９】図９は、注視盤でのランプの発光例を例示する模式図である。
【図１０】図１０は、情報端末の液晶ディスプレイに表示される拡大表示されたモデル画像に動画像中から抽出された顔部分を重ね合せて表示した一例を示す模式図である。
【図１１】図１１は、生成された合成画像の一例を示す模式図である。
【発明を実施するための形態】
【００１３】
本発明の実施の一形態を図１ないし図１１に基づいて説明する。
【００１４】
図１は、情報端末を示す外観斜視図である。情報端末１０１は、各部を収納するトールボディ型の本体部１０２の上面に表示部としての液晶ディスプレイ１０３が取り付けられて構成されている。液晶ディスプレイ１０３には、その表示面１０４の上に操作入力部としてのタッチパネル１０５が積層配置されている。液晶ディスプレイ１０３には、そのフレーム１０６の上部に撮影装置としての撮影装置としてのカメラ１０７も取り付けられている。
【００１５】
また、本体部１０２には、液晶ディスプレイ１０３の背面側に位置させて、注視盤１０９が固定されている。注視盤１０９は、垂直配置されたボード１１０に複数個のランプ１１１が配列され、更にランプ１１１を個々に点灯制御する点灯回路（図示せず）が設けられて構成されている。ランプ１１１には、一例として、輝度が高いＬＥＤランプが用いられている。
【００１６】
図２は、情報端末１０１の電気的接続のブロック図である。図２に示すように、情報端末１０１には、マイクロコンピュータ２０１が備えられており、このマイクロコンピュータ２０１が各部を駆動制御する。マイクロコンピュータ２０１は、各部を集中的に制御するＣＰＵ２０２に、バスライン２０３を介して制御プログラム等の固定的情報を予め記憶するＲＯＭ２０４と、各種情報を書き換え自在に記憶してワークエリア等として機能するＲＡＭ２０５とが接続されて構成されている。したがって、マイクロコンピュータ２０１は、情報処理を実行する情報処理部を構成する。なお、図２では、ＣＰＵ２０２、ＲＯＭ２０４及びＲＡＭ２０５を単一構成物として表示しているが、これらのＣＰＵ２０２、ＲＯＭ２０４及びＲＡＭ２０５は、複数の固体に分割されて構成されていてもよい。特に、ＲＡＭ２０５として表示している構成物は、少なくとも、ワークエリアとして用いられるチップと画像メモリを構成するチップとを含んでいる。
【００１７】
マイクロコンピュータ２０１には、バスライン２０３を介してＩ／ＯインターフェースＩＦが接続されている。そして、Ｉ／ＯインターフェースＩＦには、タッチパネルコントローラ２０６、ビデオコントローラ２０７、ＨＤＤ２０８、及びシリアルポート２０９が接続されている。シリアルポート２０９には、前述したカメラ１０７及び注視盤１０９が接続され、更にＲＦＩＤリーダライタ２１０も接続されている。
【００１８】
タッチパネルコントローラ２０６には、タッチパネル１０５が接続されている。タッチパネルコントローラ２０６は、タッチパネル１０５からの入力信号をマイクロコンピュータ２０１に取り込む。
【００１９】
ビデオコントローラ２０７には、液晶ディスプレイ１０３が接続されている。ビデオコントローラ２０７は、画像データに基づいて液晶ディスプレイ１０３を駆動制御し、画像データに応じた画像を液晶ディスプレイ１０３に表示させる。
【００２０】
ＨＤＤ２０８には、プログラムエリア３０１、商品マスタエリア３０２（商品データベース）、メタ画像蓄積エリア３０３（画像データベースの一部）、及び商品ＩＤリンクエリア３０４（画像データベースの他の一部）が設けられている。プログラムエリア３０１には、ＯＳ及びコンピュータプログラム等がインストールされている。これらのＯＳ及びコンピュータプログラム等は、情報端末１０１の起動時にその全部又は一部がＲＡＭ２０５にコピーされてＣＰＵ２０２にアクセスされる。ＣＰＵ２０２は、こうしてコピーされたＯＳ及びコンピュータプログラムに従った処理を実行する。商品マスタエリア３０２は、商品データベースを構築する。その詳細については図３に基づいて後述する。メタ画像蓄積エリア３０３及び商品ＩＤリンクエリア３０４は、画像データベースを構築する。メタ画像蓄積エリア３０３の詳細については図４に基づいて、商品ＩＤリンクエリア３０４の詳細については図５に基づいて、それぞれ後述する。
【００２１】
シリアルポート２０９に接続されているカメラ１０７は、レンズ１０８から取り込んだ画像を２次元ＣＣＤアレイ（図示せず）に結像させ、ＣＣＤアレイの出力を増幅、Ａ／Ｄ変換、フィルタリング等して出力する撮影装置である。
【００２２】
シリアルポート２０９に接続されているＲＦＩＤリーダライタ２１０は、例えば電磁誘導結合による近距離無線通信をＲＦＩＤチップとの間で実行する。本実施の形態においては、商品にＲＦＩＤチップが付帯している。つまり、商品には、その商品を特定する商品コードを記憶するＲＦＩＤチップを内蔵する無線タグ（図示せず）が付されている。したがって、ＲＦＩＤリーダライタ２１０は、商品に付された無線タグからその商品を特定する商品コードを受信して受信した商品コードを出力する。マイクロコンピュータ２０１は、ＲＦＩＤリーダライタ２１０が出力した商品コードをシリアルポート２０９からＩ／ＯインターフェースＩＦを介して取り込む。
【００２３】
別の実施の形態として、商品を特定する商品コードは、別の機器で読み取られたり入力されたりして、マイクロコンピュータ２０１に取り込まれる構成であっても良い。一例として、液晶ディスプレイ１０３にテンキーを表示しておき、表示されているテンキーに従ったタッチパネル１０５での入力によって商品コードを入力するようにしても良い。別の一例として、バーコードや２次元コード等のコードシンボルとして表現された商品コードを用意しておき、このコードシンボルをコードリーダによって光学的に読み取ることで商品コードを入力するようにしても良い。
【００２４】
図３は、情報端末１０１のＨＤＤ２０８に記録されている商品マスタエリア３０２（商品データベース）の記録データを示す模式図である。商品マスタエリア３０２は、個々の商品を特定する商品ＩＤ（商品コード）に商品名称を対応付けて記憶している。
【００２５】
図４は、情報端末１０１のＨＤＤ２０８に記録されているメタ画像蓄積エリア３０３（画像データベースの一部）の記録データを示す模式図である。メタ画像蓄積エリア３０３は、カメラ１０７によって撮像されてマイクロコンピュータ２０１に取り込まれた画像を特定する画像ＩＤに、カメラ１０７による撮像画像そのもののデータであるバイナリデータ（画像データ）とそのパス名とを対応付けて記憶している。パス名には、バイナリデータのデータ形式が含まれている。なお、別の実施の形態として、バイナリデータそのものはメタ画像蓄積エリア３０３には蓄積せずにいずれかの記憶領域に記憶させておき、メタ画像蓄積エリア３０３にはパス名のみを記憶させておくことも可能である。このようなデータ構造を採用した場合、パス名をキーとしてメタ画像を検索することが可能である。
【００２６】
図５は、情報端末１０１のＨＤＤ２０８に記録されている商品ＩＤリンクエリア３０４（画像データベースの他の一部）の記録データを示す模式図である。商品ＩＤリンクエリア３０４は、画像ＩＤに商品ＩＤを対応付けて記憶している。したがって、商品ＩＤリンクエリア３０４を参照することで、例えば商品ＩＤをキーとして対応する画像ＩＤを検索することができる。検索によって画像ＩＤが判明すれば、メタ画像蓄積エリア３０３からバイナリデータを取得することができる。
【００２７】
図６は、画像合成処理の流れを示すフローチャートである。ＨＤＤ２０８のプログラムエリア３０１にインストールされているコンピュータプログラムには、モデル画像と撮影画像とを重ね合わせた合成画像を生成するための画像合成処理用のプログラムが含まれている。この画像合成処理用のプログラムは、その起動時にＲＡＭ２０５にコピーされて使用される。図６に示すフローチャートの処理は、こうしてＲＡＭ２０５にコピーされた画像データ登録処理用のプログラムに従いＣＰＵ２０２が実行する処理内容を示している。
【００２８】
ＣＰＵ２０２は、まず、特定画像の選択処理を実行する（ステップＳ１０１）。この処理は、一例として、特定の商品からその商品の撮像画像を含む特定画像を導き出す。つまり、ＣＰＵ２０２は、タッチパネル１０５でのタッチ指定によって商品がタッチ指定されると、その商品ＩＤを取得する。そこで、取得した商品ＩＤをキーとして、図５に示す商品ＩＤリンクエリア３０４から画像ＩＤを検索する。そして、ＣＰＵ２０２は、検索した画像ＩＤをキーとして、図４に示すメタ画像蓄積エリア３０３からバイナリデータを検索する。このバイナリデータが、ステップＳ１０１で選択された特定画像の画像データそのものである。
【００２９】
図７は、図６中の特定画像の選択処理（ステップＳ１０１）の別の一例を示すフローチャートである。この別の一例では、特定の商品からその商品の撮像画像を含む特定画像を導き出すのではなく、図４に示すメタ画像蓄積エリア３０３に蓄積されている画像データを液晶ディスプレイ１０３にサムネール表示し、表示されたサムネールからタッチパネル１０５によるタッチ指定によって所望の画像データを特定画像として選択する処理である。つまり、ＣＰＵ２０２は、メタ画像蓄積エリア３０３中から、画像一枚となる画像データを順番に取得し、モデル画像の顔部分の抽出処理を実行する（ステップＳ１０１−１）。モデル画像の顔部分の抽出処理については、後に詳述する。そして、モデル画像の顔部分を抽出できたかどうか、換言すると、モデル画像の顔部分を認識できたかどうかを判定し（ステップＳ１０１−２）、できなければ次の画像データについてのステップＳ１０１−１の処理にリターンし（ステップＳ１０１−２のＮ）、できればステップＳ１０１−３の処理に進む（ステップＳ１０１−２のＹ）。ステップＳ１０１−３では、液晶ディスプレイ１０３に表示する一覧画面に縮小画像を表示するいわゆるサムネール表示処理を実行する。ユーザは、液晶ディスプレイ１０３に表示されたサムネール画像からタッチパネル１０５によるタッチ指定によって所望の画像データを特定画像として選択することができる（ステップＳ１０１−４）。
【００３０】
ＣＰＵ２０２は、ステップＳ１０１での特定画像の選択処理に続く処理として、ステップＳ１０１で選択された画像データから顔部分を抽出する処理を実行する（ステップＳ１０２）。つまり、画像データに含まれているモデル画像には顔が含まれているので、その顔部分を抽出する。画像データからの顔の抽出は、各種の公知手法を用いて実行することが可能である。一例として、人の顔では、両目と口とがある範囲内で予め決められた配列をとるので、両目であろう部分と口であろう部分とを画像処理技術によって判別し、その配列がある範囲で予め決められた配列をとるのであれば、これを人の顔であると判定する。両目であろう部分と口であろう部分とは、その画像上の各種の特徴量から推定することが可能である。
【００３１】
ＣＰＵ２０２は、ステップＳ１０２の処理として、画像データから顔が向いている方向を取得する処理も実行する。顔が向いている方向の取得も、各種の公知手法を用いて実行することが可能である。一例として、両目であろう部分と口であろう部分との配置関係、そのような配置関係から定まる顔の中心に対する顎であろう部分の左右バランス等から推定することが可能である。
【００３２】
ＣＰＵ２０２は、ステップＳ１０２において、画像データから顔部分を認識できなかった場合には（ステップＳ１０３のＮ）、その後の処理に進まず、ステップＳ１０１での特定画像の選択処理にリターンする。画像データから顔部分を認識できなかった場合には、その後に続く合成画像の生成処理自体を実行することができないことになるからである。
【００３３】
これに対して、画像データから顔が向いている方向を認識できないとしても、画像データから顔部分を認識できた場合には、その後に続く合成画像の生成処理が可能である。そこで、一例として、画像データから顔部分を認識できた場合には、画像データから顔が向いている方向を認識できないとしても、ステップＳ１０３での認識可否判定をパスさせる。もっとも、別の一例として、画像データから顔部分を認識できたとしても顔が向いている方向を認識できない場合に、ステップＳ１０３での認識可否判定をパスさせないようにすることも可能である。
【００３４】
ＣＰＵ２０２は、ステップＳ１０３での認識可否判定をパスした場合（ステップＳ１０３のＹ）、画像データ中から抽出したモデル画像中の顔部分を中心とした拡大画像で、かつ、抽出したモデル画像中の顔部分に当該顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施して、画像データの一部を液晶ディスプレイ１０３に表示する（ステップＳ１０４）。この際の第１のフィルタ処理は、顔部分についての透過処理である。つまり、ＣＰＵ２０２は、ステップＳ１０１で選択した画像データに拡大表示処理及び透過表示処理を施して画像を変形させ、ビデオコントローラ２０７に対して、そのように変形させた画像を液晶ディスプレイ１０３に表示させるための信号を出力する。拡大表示処理及び透過表示処理については、各所の公知手法を用いて実行することが可能である。
【００３５】
図８は、情報端末１０１の液晶ディスプレイ１０３に表示される拡大表示されたモデル画像の一例を示す模式図である。図８に示すように、ここでは「０００１．ｊｐｇ」というパス名を持った画像が元画像４０１としてステップＳ１０１で選択されたものとする。ＣＰＵ２０２は、選択された元画像４０１に対して、拡大表示処理及び透過表示処理を施して画像を変形させ、図８に例示するようなモデル画像４０２として液晶ディスプレイ１０３に表示する。ここでは、便宜上、図８に例示するモデル画像を含む表示画像を撮影直前画像Ａと呼ぶ。この撮影直前画像Ａには、モデル画像４０２に加えて、撮影ボタン４０３及びキャンセルボタン４０４が表示されている。そして、モデル画像４０２では、その顔部分が透過表示となっている。
【００３６】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、ステップＳ１０２で画像データから認識した顔が向いている方向の情報を参照し、注視盤１０９に一つのランプ１１１の点灯指令を出力する。つまり、ＣＰＵ２０２は、認識した顔の向きに応じて、カメラ１０７の前に立つがユーザが、その顔の向きが抽出したモデル画像４０２の顔の向きと略一致する向きを向くことになるような位置に配置されているランプ１１１を点灯させる。
【００３７】
図９は、注視盤１０９でのランプ１１１の発光例を例示する模式図である。図９では、右側に位置するランプ１１１が点灯している状態を示している。ランプ１１１が点灯すれば、カメラ１０７の前に立つユーザはその方向を注視し、その方向に顔を向けることが期待される。そこで、ユーザが顔を向ける方向をランプ１１１の点灯によってコントロールし、抽出したモデル画像４０２の顔の向きにユーザが顔を向けることを促すわけである。これにより、後述するステップＳ１０９で作成される合成画像がよりリアルで高精度なものとなることが期待される。
【００３８】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、ステップＳ１０５の処理に続き、カメラ１０７を起動し、動画撮影の処理を実行する（ステップＳ１０６）。カメラ１０７は、撮影した動画像をシリアルポート２０９に出力する。これにより、マイクロコンピュータ２０１はカメラ１０７が出力した動画像を取り込む。
【００３９】
ＣＰＵ２０２は、続くステップＳ１０７の処理で、取り込んだ動画像中から顔部分を抽出し、顔画像４０５（図１０参照）を得る。この場合の画像抽出も、前述したステップＳ１０２での抽出処理と同様又は同種の処理によって実行可能である。そして、ＣＰＵ２０２は、撮影直前画像Ａにカメラ１０７から取り込んで抽出した顔部分の顔画像４０５を重ね合わせて表示する。
【００４０】
図１０は、情報端末１０１の液晶ディスプレイ１０３に表示される拡大表示されたモデル画像４０２に動画像中から抽出された顔画像４０５を重ね合せて表示した一例を示す模式図である。ここでは、便宜上、図１０に例示する画像を撮影調整画像Ｂと呼ぶ。この撮影調整画像Ｂには、撮影直前画像Ａに表示されていたモデル画像４０２にカメラ１０７から取り込んで抽出した顔部分の顔画像４０５が重ね合わされた重畳画像４０６が表示され、更に、撮影ボタン４０３及びキャンセルボタン４０４が表示されている。
【００４１】
ここで、撮影調整画像Ｂにおいては、モデル画像４０２の顔部分に透過処理が施されており、しかも、カメラ１０７から取り込まれた動画像は顔部分の顔画像４０５となっていることから、透過処理が施されているモデル画像４０２の顔部分にカメラ１０７から取り込まれた顔画像４０５を重ね合わせることが容易である。つまり、ユーザは、カメラ１０７の前で自分の顔を上下左右に動かし、あるいはカメラ１０７に対する遠近方向に顔を動かすことで、モデル画像４０２の顔部分に自分の顔画像４０５が重なるようにすればよい。この際、モデル画像４０２の顔部分は透過処理が施されているので、この透過部分に自分の顔画像４０５を重ね合わせることは、きわめて容易である。
【００４２】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、撮影直前画像Ａにカメラ１０７から取り込んで抽出した顔画像４０５を重ね合わせて表示した後（ステップＳ１０７）、撮影ボタン４０３のタッチ指定によって実行される撮影操作指示の有無判定に待機している（ステップＳ１０８）。撮影ボタン４０３のタッチ指定がなければ（ステップＳ１０８のＮ）、ステップＳ１０６でのカメラ１０７からの動画像の取り込み処理にリターンする。これに対して、ＣＰＵ２０２は、撮影ボタン４０３のタッチ指定を判定すると（ステップＳ１０８のＹ）、タイマを起動して所定時間待った後、カメラ１０７から取り込んだ動画像を静止画像として保持し、ＲＡＭ２０５に一時記憶する（ステップＳ１０９）。つまり、ＣＰＵ２０２は、撮影ボタン４０３のタッチ指定による撮影操作指定後に所定のタイマ時間を設定する。この際、シリアルポート２０９に音声合成回路及びスピーカを有する音声回路（図示せず）を接続しておき、「３、２、１、０」のようなカウントダウン音声を生成してスピーカから発声させ、「０」発声のタイミングでカメラ１０７から取り込んだ動画像を静止画像として保持するようにしてもよい。
【００４３】
ＣＰＵ２０２は、カメラ１０７から取り込んだ動画像を静止画像として保持した後（ステップＳ１０９）、保持した静止画像に対して第２のフィルタ処理を施す（ステップＳ１１０）。第２のフィルタ処理は、抽出されたモデル画像中の顔部分と前記抽出された動画像中の顔部分との色（色相、明度、彩度）及び濃淡（コントラスト）を近似補正する処理である。これらの色（色相、明度、彩度）及び濃淡（コントラスト）の補正は、各種の公知手法によって実現可能である。
【００４４】
ＣＰＵ２０２は、ステップＳ１０９の処理によって保持した静止画像に対して第２のフィルタ処理を施した後（ステップＳ１１０）、元画像４０１（図８参照）の顔部分を第２のフィルタ処理を施した静止画像に置き換え、合成画像４０７を生成する。そして、生成した合成画像４０７を液晶ディスプレイ１０３に表示する（ステップＳ１１１）。
【００４５】
図１１は、生成された合成画像４０７の一例を示す模式図である。図１１に示すように、合成画像４０７は、元画像４０１から拡大表示されたモデル画像４０２にカメラ１０７から取り込んだユーザの顔画像４０５を合成したものではなく、元画像４０１に顔画像４０５を合成した画像となっている。これにより、ユーザは、元画像４０１に含まれているモデルが着ている衣類をあたかも自分が着ているかのような印象をもって合成画像４０７を見ることができる。
【００４６】
以上説明したように、本実施の形態によれば、元画像４０１に基づくモデル画像４０２の顔の部分にカメラ１０７から取り込んだ動画像から抽出した顔画像４０５を重ね合せて表示することができる（図６中のステップＳ１０７）。この場合、モデル画像４０２は元画像４０１に対して顔部分を中心に拡大された画像として表示されるので（図６中のステップＳ１０４参照）、モデル画像４０２の顔部分にカメラ１０７から取り込んだ顔画像４０５を正確に重ね合わせることが容易となる。しかも、モデル画像４０２には第１のフィルタ処理が施されて顔部分が透過表示となっているので（図６中のステップＳ１０４参照）、より一層、モデル画像４０２の顔部分にカメラ１０７から取り込んだ顔画像４０５を正確に重ね合わせることが容易となる。このようなことから、モデル画像４０２と撮影画像である顔画像４０５とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像を得ることができる。そして、モデル画像４０２に顔画像４０５を重ね合せて生成した静止画像である合成画像は、元画像４０１と同じ大きさで液晶ディスプレイ１０３に表示されるので（図６中のステップＳ１１１参照）、ユーザは、元画像４０１に含まれているモデルが着ている衣類を仮想的に試着することができ、その衣類を着た場合の印象を容易に把握することができる。
【符号の説明】
【００４７】
１０３…液晶ディスプレイ（表示部）、１０５…タッチパネル（操作入力部）、１０７
…カメラ（撮影装置）、１１０…注視盤、１１１…ランプ、２０８…ＨＤＤ（記憶部）
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特開２００４−３１２１６２号公報
【技術分野】
【０００１】
本発明は、既存の画像データにデジタルカメラ等の撮影装置が出力する撮像画像を取り込んで合成できるようにした情報端末及びコンピュータプログラムに関する。
【背景技術】
【０００２】
衣類やアクセサリー等のファッション関係グッズを扱うような店舗では、衣類等の販売に先立ってその試着をすることが一般的である。顧客の側でも、試着無しに衣類等の商品を購入することは稀であろう。
【０００３】
ところが、試着をするにはある程度の時間がかかるため、数多くの商品を一度に試着することはできない。また、異なる場所に複数の店舗を設置しているような場合は、例えば、顧客が求める商品が東京の店舗にはないが神戸の店舗には置いてあるというような事態が生じうる。このような場合、東京の店舗に来店した顧客は、神戸でのみ置いてある商品をその場で試着することはできない。
【０００４】
このようなことから、近年、例えばコンピュータ上の仮想空間で商品の画像と顧客の画像とを重ね合わせ、実際には試着しなくても画像上で試着できるようにした技術が開発され、普及の兆しを見せ始めている。もっとも、このような仮想空間上での試着を可能にするためには、商品の画像にも顧客の画像にも３次元情報を保持させなければならない等、大掛かりな仕組みを必要とするため、現在の時点では、多くの店舗で気軽に採用できるような手軽さがない。
【０００５】
これに対して、特許文献１には、予め保持している画像データにデジタルカメラで撮影した画像を簡易に重ね合わせられるようにした技術が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述したように、コンピュータ上の仮想空間で商品の画像と顧客の画像とを重ね合わせ、実際には試着しなくても画像上で試着できるようにした技術を搭載したシステムは、敷居が高く、現在では普及がおぼつかない。しかも、このようなシステムの運用上、３次元情報を保持するために顧客を様々な角度から撮影しなければならないところ、このような運用は顧客に抵抗感を感じさせ易い。
【０００７】
その一方、特許文献１に記載されているように、予め保持している画像データにデジタルカメラで撮影した画像を簡易に重ね合わせられるようにした技術も開発されている。ところが、このような技術によれば、一画面中で二つの画像を並べて表示した後に両画像を重ね合わせることとも相俟って、リアルで高精度な重ね合わせ画像が得られにくいという問題がある。
【０００８】
本発明の目的は、モデル画像と撮影画像とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像が得られるようにすることである。
【課題を解決するための手段】
【０００９】
本発明の情報端末は、情報を表示する表示部と、情報の操作入力する操作入力部と、記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、を備える。
【００１０】
また、本発明のコンピュータプログラムは、情報を表示する表示部と、情報を操作入力する操作入力部と、を備えるコンピュータにインストールされ、当該コンピュータに、記憶部に記憶されているモデル画像中の顔部分を抽出する機能と、前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す機能と、撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する機能と、前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する機能と、前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する機能と、を実行させる。
【発明の効果】
【００１１】
本発明によれば、画像データに含まれているモデル画像中の顔部分を抽出して当該顔部分を中心とした拡大画像を表示し、しかも、当該顔部分の表示を他の部分の表示と異ならせ、ここに撮影装置で撮影中の動画像から抽出した顔部分を重ね合わせるようにしたので、モデル画像と撮影画像とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の一形態である情報端末を示す外観斜視図である。
【図２】図２は、その電気的接続のブロック図である。
【図３】図３は、情報端末のＨＤＤに記録されている商品マスタエリアの記録データを示す模式図である。
【図４】図４は、情報端末のＨＤＤに記録されているメタ画像蓄積エリアの記録データを示す模式図である。
【図５】図５は、情報端末のＨＤＤに記録されている商品ＩＤリンクエリアの記録データを示す模式図である。
【図６】図６は、画像合成処理の流れを示すフローチャートである。
【図７】図７は、図６中の特定画像の選択処理（ステップＳ１０１）の別の一例を示すフローチャートである。
【図８】図８は、情報端末の液晶ディスプレイに表示される拡大表示されたモデル画像の一例を示す模式図である。
【図９】図９は、注視盤でのランプの発光例を例示する模式図である。
【図１０】図１０は、情報端末の液晶ディスプレイに表示される拡大表示されたモデル画像に動画像中から抽出された顔部分を重ね合せて表示した一例を示す模式図である。
【図１１】図１１は、生成された合成画像の一例を示す模式図である。
【発明を実施するための形態】
【００１３】
本発明の実施の一形態を図１ないし図１１に基づいて説明する。
【００１４】
図１は、情報端末を示す外観斜視図である。情報端末１０１は、各部を収納するトールボディ型の本体部１０２の上面に表示部としての液晶ディスプレイ１０３が取り付けられて構成されている。液晶ディスプレイ１０３には、その表示面１０４の上に操作入力部としてのタッチパネル１０５が積層配置されている。液晶ディスプレイ１０３には、そのフレーム１０６の上部に撮影装置としての撮影装置としてのカメラ１０７も取り付けられている。
【００１５】
また、本体部１０２には、液晶ディスプレイ１０３の背面側に位置させて、注視盤１０９が固定されている。注視盤１０９は、垂直配置されたボード１１０に複数個のランプ１１１が配列され、更にランプ１１１を個々に点灯制御する点灯回路（図示せず）が設けられて構成されている。ランプ１１１には、一例として、輝度が高いＬＥＤランプが用いられている。
【００１６】
図２は、情報端末１０１の電気的接続のブロック図である。図２に示すように、情報端末１０１には、マイクロコンピュータ２０１が備えられており、このマイクロコンピュータ２０１が各部を駆動制御する。マイクロコンピュータ２０１は、各部を集中的に制御するＣＰＵ２０２に、バスライン２０３を介して制御プログラム等の固定的情報を予め記憶するＲＯＭ２０４と、各種情報を書き換え自在に記憶してワークエリア等として機能するＲＡＭ２０５とが接続されて構成されている。したがって、マイクロコンピュータ２０１は、情報処理を実行する情報処理部を構成する。なお、図２では、ＣＰＵ２０２、ＲＯＭ２０４及びＲＡＭ２０５を単一構成物として表示しているが、これらのＣＰＵ２０２、ＲＯＭ２０４及びＲＡＭ２０５は、複数の固体に分割されて構成されていてもよい。特に、ＲＡＭ２０５として表示している構成物は、少なくとも、ワークエリアとして用いられるチップと画像メモリを構成するチップとを含んでいる。
【００１７】
マイクロコンピュータ２０１には、バスライン２０３を介してＩ／ＯインターフェースＩＦが接続されている。そして、Ｉ／ＯインターフェースＩＦには、タッチパネルコントローラ２０６、ビデオコントローラ２０７、ＨＤＤ２０８、及びシリアルポート２０９が接続されている。シリアルポート２０９には、前述したカメラ１０７及び注視盤１０９が接続され、更にＲＦＩＤリーダライタ２１０も接続されている。
【００１８】
タッチパネルコントローラ２０６には、タッチパネル１０５が接続されている。タッチパネルコントローラ２０６は、タッチパネル１０５からの入力信号をマイクロコンピュータ２０１に取り込む。
【００１９】
ビデオコントローラ２０７には、液晶ディスプレイ１０３が接続されている。ビデオコントローラ２０７は、画像データに基づいて液晶ディスプレイ１０３を駆動制御し、画像データに応じた画像を液晶ディスプレイ１０３に表示させる。
【００２０】
ＨＤＤ２０８には、プログラムエリア３０１、商品マスタエリア３０２（商品データベース）、メタ画像蓄積エリア３０３（画像データベースの一部）、及び商品ＩＤリンクエリア３０４（画像データベースの他の一部）が設けられている。プログラムエリア３０１には、ＯＳ及びコンピュータプログラム等がインストールされている。これらのＯＳ及びコンピュータプログラム等は、情報端末１０１の起動時にその全部又は一部がＲＡＭ２０５にコピーされてＣＰＵ２０２にアクセスされる。ＣＰＵ２０２は、こうしてコピーされたＯＳ及びコンピュータプログラムに従った処理を実行する。商品マスタエリア３０２は、商品データベースを構築する。その詳細については図３に基づいて後述する。メタ画像蓄積エリア３０３及び商品ＩＤリンクエリア３０４は、画像データベースを構築する。メタ画像蓄積エリア３０３の詳細については図４に基づいて、商品ＩＤリンクエリア３０４の詳細については図５に基づいて、それぞれ後述する。
【００２１】
シリアルポート２０９に接続されているカメラ１０７は、レンズ１０８から取り込んだ画像を２次元ＣＣＤアレイ（図示せず）に結像させ、ＣＣＤアレイの出力を増幅、Ａ／Ｄ変換、フィルタリング等して出力する撮影装置である。
【００２２】
シリアルポート２０９に接続されているＲＦＩＤリーダライタ２１０は、例えば電磁誘導結合による近距離無線通信をＲＦＩＤチップとの間で実行する。本実施の形態においては、商品にＲＦＩＤチップが付帯している。つまり、商品には、その商品を特定する商品コードを記憶するＲＦＩＤチップを内蔵する無線タグ（図示せず）が付されている。したがって、ＲＦＩＤリーダライタ２１０は、商品に付された無線タグからその商品を特定する商品コードを受信して受信した商品コードを出力する。マイクロコンピュータ２０１は、ＲＦＩＤリーダライタ２１０が出力した商品コードをシリアルポート２０９からＩ／ＯインターフェースＩＦを介して取り込む。
【００２３】
別の実施の形態として、商品を特定する商品コードは、別の機器で読み取られたり入力されたりして、マイクロコンピュータ２０１に取り込まれる構成であっても良い。一例として、液晶ディスプレイ１０３にテンキーを表示しておき、表示されているテンキーに従ったタッチパネル１０５での入力によって商品コードを入力するようにしても良い。別の一例として、バーコードや２次元コード等のコードシンボルとして表現された商品コードを用意しておき、このコードシンボルをコードリーダによって光学的に読み取ることで商品コードを入力するようにしても良い。
【００２４】
図３は、情報端末１０１のＨＤＤ２０８に記録されている商品マスタエリア３０２（商品データベース）の記録データを示す模式図である。商品マスタエリア３０２は、個々の商品を特定する商品ＩＤ（商品コード）に商品名称を対応付けて記憶している。
【００２５】
図４は、情報端末１０１のＨＤＤ２０８に記録されているメタ画像蓄積エリア３０３（画像データベースの一部）の記録データを示す模式図である。メタ画像蓄積エリア３０３は、カメラ１０７によって撮像されてマイクロコンピュータ２０１に取り込まれた画像を特定する画像ＩＤに、カメラ１０７による撮像画像そのもののデータであるバイナリデータ（画像データ）とそのパス名とを対応付けて記憶している。パス名には、バイナリデータのデータ形式が含まれている。なお、別の実施の形態として、バイナリデータそのものはメタ画像蓄積エリア３０３には蓄積せずにいずれかの記憶領域に記憶させておき、メタ画像蓄積エリア３０３にはパス名のみを記憶させておくことも可能である。このようなデータ構造を採用した場合、パス名をキーとしてメタ画像を検索することが可能である。
【００２６】
図５は、情報端末１０１のＨＤＤ２０８に記録されている商品ＩＤリンクエリア３０４（画像データベースの他の一部）の記録データを示す模式図である。商品ＩＤリンクエリア３０４は、画像ＩＤに商品ＩＤを対応付けて記憶している。したがって、商品ＩＤリンクエリア３０４を参照することで、例えば商品ＩＤをキーとして対応する画像ＩＤを検索することができる。検索によって画像ＩＤが判明すれば、メタ画像蓄積エリア３０３からバイナリデータを取得することができる。
【００２７】
図６は、画像合成処理の流れを示すフローチャートである。ＨＤＤ２０８のプログラムエリア３０１にインストールされているコンピュータプログラムには、モデル画像と撮影画像とを重ね合わせた合成画像を生成するための画像合成処理用のプログラムが含まれている。この画像合成処理用のプログラムは、その起動時にＲＡＭ２０５にコピーされて使用される。図６に示すフローチャートの処理は、こうしてＲＡＭ２０５にコピーされた画像データ登録処理用のプログラムに従いＣＰＵ２０２が実行する処理内容を示している。
【００２８】
ＣＰＵ２０２は、まず、特定画像の選択処理を実行する（ステップＳ１０１）。この処理は、一例として、特定の商品からその商品の撮像画像を含む特定画像を導き出す。つまり、ＣＰＵ２０２は、タッチパネル１０５でのタッチ指定によって商品がタッチ指定されると、その商品ＩＤを取得する。そこで、取得した商品ＩＤをキーとして、図５に示す商品ＩＤリンクエリア３０４から画像ＩＤを検索する。そして、ＣＰＵ２０２は、検索した画像ＩＤをキーとして、図４に示すメタ画像蓄積エリア３０３からバイナリデータを検索する。このバイナリデータが、ステップＳ１０１で選択された特定画像の画像データそのものである。
【００２９】
図７は、図６中の特定画像の選択処理（ステップＳ１０１）の別の一例を示すフローチャートである。この別の一例では、特定の商品からその商品の撮像画像を含む特定画像を導き出すのではなく、図４に示すメタ画像蓄積エリア３０３に蓄積されている画像データを液晶ディスプレイ１０３にサムネール表示し、表示されたサムネールからタッチパネル１０５によるタッチ指定によって所望の画像データを特定画像として選択する処理である。つまり、ＣＰＵ２０２は、メタ画像蓄積エリア３０３中から、画像一枚となる画像データを順番に取得し、モデル画像の顔部分の抽出処理を実行する（ステップＳ１０１−１）。モデル画像の顔部分の抽出処理については、後に詳述する。そして、モデル画像の顔部分を抽出できたかどうか、換言すると、モデル画像の顔部分を認識できたかどうかを判定し（ステップＳ１０１−２）、できなければ次の画像データについてのステップＳ１０１−１の処理にリターンし（ステップＳ１０１−２のＮ）、できればステップＳ１０１−３の処理に進む（ステップＳ１０１−２のＹ）。ステップＳ１０１−３では、液晶ディスプレイ１０３に表示する一覧画面に縮小画像を表示するいわゆるサムネール表示処理を実行する。ユーザは、液晶ディスプレイ１０３に表示されたサムネール画像からタッチパネル１０５によるタッチ指定によって所望の画像データを特定画像として選択することができる（ステップＳ１０１−４）。
【００３０】
ＣＰＵ２０２は、ステップＳ１０１での特定画像の選択処理に続く処理として、ステップＳ１０１で選択された画像データから顔部分を抽出する処理を実行する（ステップＳ１０２）。つまり、画像データに含まれているモデル画像には顔が含まれているので、その顔部分を抽出する。画像データからの顔の抽出は、各種の公知手法を用いて実行することが可能である。一例として、人の顔では、両目と口とがある範囲内で予め決められた配列をとるので、両目であろう部分と口であろう部分とを画像処理技術によって判別し、その配列がある範囲で予め決められた配列をとるのであれば、これを人の顔であると判定する。両目であろう部分と口であろう部分とは、その画像上の各種の特徴量から推定することが可能である。
【００３１】
ＣＰＵ２０２は、ステップＳ１０２の処理として、画像データから顔が向いている方向を取得する処理も実行する。顔が向いている方向の取得も、各種の公知手法を用いて実行することが可能である。一例として、両目であろう部分と口であろう部分との配置関係、そのような配置関係から定まる顔の中心に対する顎であろう部分の左右バランス等から推定することが可能である。
【００３２】
ＣＰＵ２０２は、ステップＳ１０２において、画像データから顔部分を認識できなかった場合には（ステップＳ１０３のＮ）、その後の処理に進まず、ステップＳ１０１での特定画像の選択処理にリターンする。画像データから顔部分を認識できなかった場合には、その後に続く合成画像の生成処理自体を実行することができないことになるからである。
【００３３】
これに対して、画像データから顔が向いている方向を認識できないとしても、画像データから顔部分を認識できた場合には、その後に続く合成画像の生成処理が可能である。そこで、一例として、画像データから顔部分を認識できた場合には、画像データから顔が向いている方向を認識できないとしても、ステップＳ１０３での認識可否判定をパスさせる。もっとも、別の一例として、画像データから顔部分を認識できたとしても顔が向いている方向を認識できない場合に、ステップＳ１０３での認識可否判定をパスさせないようにすることも可能である。
【００３４】
ＣＰＵ２０２は、ステップＳ１０３での認識可否判定をパスした場合（ステップＳ１０３のＹ）、画像データ中から抽出したモデル画像中の顔部分を中心とした拡大画像で、かつ、抽出したモデル画像中の顔部分に当該顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施して、画像データの一部を液晶ディスプレイ１０３に表示する（ステップＳ１０４）。この際の第１のフィルタ処理は、顔部分についての透過処理である。つまり、ＣＰＵ２０２は、ステップＳ１０１で選択した画像データに拡大表示処理及び透過表示処理を施して画像を変形させ、ビデオコントローラ２０７に対して、そのように変形させた画像を液晶ディスプレイ１０３に表示させるための信号を出力する。拡大表示処理及び透過表示処理については、各所の公知手法を用いて実行することが可能である。
【００３５】
図８は、情報端末１０１の液晶ディスプレイ１０３に表示される拡大表示されたモデル画像の一例を示す模式図である。図８に示すように、ここでは「０００１．ｊｐｇ」というパス名を持った画像が元画像４０１としてステップＳ１０１で選択されたものとする。ＣＰＵ２０２は、選択された元画像４０１に対して、拡大表示処理及び透過表示処理を施して画像を変形させ、図８に例示するようなモデル画像４０２として液晶ディスプレイ１０３に表示する。ここでは、便宜上、図８に例示するモデル画像を含む表示画像を撮影直前画像Ａと呼ぶ。この撮影直前画像Ａには、モデル画像４０２に加えて、撮影ボタン４０３及びキャンセルボタン４０４が表示されている。そして、モデル画像４０２では、その顔部分が透過表示となっている。
【００３６】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、ステップＳ１０２で画像データから認識した顔が向いている方向の情報を参照し、注視盤１０９に一つのランプ１１１の点灯指令を出力する。つまり、ＣＰＵ２０２は、認識した顔の向きに応じて、カメラ１０７の前に立つがユーザが、その顔の向きが抽出したモデル画像４０２の顔の向きと略一致する向きを向くことになるような位置に配置されているランプ１１１を点灯させる。
【００３７】
図９は、注視盤１０９でのランプ１１１の発光例を例示する模式図である。図９では、右側に位置するランプ１１１が点灯している状態を示している。ランプ１１１が点灯すれば、カメラ１０７の前に立つユーザはその方向を注視し、その方向に顔を向けることが期待される。そこで、ユーザが顔を向ける方向をランプ１１１の点灯によってコントロールし、抽出したモデル画像４０２の顔の向きにユーザが顔を向けることを促すわけである。これにより、後述するステップＳ１０９で作成される合成画像がよりリアルで高精度なものとなることが期待される。
【００３８】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、ステップＳ１０５の処理に続き、カメラ１０７を起動し、動画撮影の処理を実行する（ステップＳ１０６）。カメラ１０７は、撮影した動画像をシリアルポート２０９に出力する。これにより、マイクロコンピュータ２０１はカメラ１０７が出力した動画像を取り込む。
【００３９】
ＣＰＵ２０２は、続くステップＳ１０７の処理で、取り込んだ動画像中から顔部分を抽出し、顔画像４０５（図１０参照）を得る。この場合の画像抽出も、前述したステップＳ１０２での抽出処理と同様又は同種の処理によって実行可能である。そして、ＣＰＵ２０２は、撮影直前画像Ａにカメラ１０７から取り込んで抽出した顔部分の顔画像４０５を重ね合わせて表示する。
【００４０】
図１０は、情報端末１０１の液晶ディスプレイ１０３に表示される拡大表示されたモデル画像４０２に動画像中から抽出された顔画像４０５を重ね合せて表示した一例を示す模式図である。ここでは、便宜上、図１０に例示する画像を撮影調整画像Ｂと呼ぶ。この撮影調整画像Ｂには、撮影直前画像Ａに表示されていたモデル画像４０２にカメラ１０７から取り込んで抽出した顔部分の顔画像４０５が重ね合わされた重畳画像４０６が表示され、更に、撮影ボタン４０３及びキャンセルボタン４０４が表示されている。
【００４１】
ここで、撮影調整画像Ｂにおいては、モデル画像４０２の顔部分に透過処理が施されており、しかも、カメラ１０７から取り込まれた動画像は顔部分の顔画像４０５となっていることから、透過処理が施されているモデル画像４０２の顔部分にカメラ１０７から取り込まれた顔画像４０５を重ね合わせることが容易である。つまり、ユーザは、カメラ１０７の前で自分の顔を上下左右に動かし、あるいはカメラ１０７に対する遠近方向に顔を動かすことで、モデル画像４０２の顔部分に自分の顔画像４０５が重なるようにすればよい。この際、モデル画像４０２の顔部分は透過処理が施されているので、この透過部分に自分の顔画像４０５を重ね合わせることは、きわめて容易である。
【００４２】
図６に示すフローチャートの説明に戻る。ＣＰＵ２０２は、撮影直前画像Ａにカメラ１０７から取り込んで抽出した顔画像４０５を重ね合わせて表示した後（ステップＳ１０７）、撮影ボタン４０３のタッチ指定によって実行される撮影操作指示の有無判定に待機している（ステップＳ１０８）。撮影ボタン４０３のタッチ指定がなければ（ステップＳ１０８のＮ）、ステップＳ１０６でのカメラ１０７からの動画像の取り込み処理にリターンする。これに対して、ＣＰＵ２０２は、撮影ボタン４０３のタッチ指定を判定すると（ステップＳ１０８のＹ）、タイマを起動して所定時間待った後、カメラ１０７から取り込んだ動画像を静止画像として保持し、ＲＡＭ２０５に一時記憶する（ステップＳ１０９）。つまり、ＣＰＵ２０２は、撮影ボタン４０３のタッチ指定による撮影操作指定後に所定のタイマ時間を設定する。この際、シリアルポート２０９に音声合成回路及びスピーカを有する音声回路（図示せず）を接続しておき、「３、２、１、０」のようなカウントダウン音声を生成してスピーカから発声させ、「０」発声のタイミングでカメラ１０７から取り込んだ動画像を静止画像として保持するようにしてもよい。
【００４３】
ＣＰＵ２０２は、カメラ１０７から取り込んだ動画像を静止画像として保持した後（ステップＳ１０９）、保持した静止画像に対して第２のフィルタ処理を施す（ステップＳ１１０）。第２のフィルタ処理は、抽出されたモデル画像中の顔部分と前記抽出された動画像中の顔部分との色（色相、明度、彩度）及び濃淡（コントラスト）を近似補正する処理である。これらの色（色相、明度、彩度）及び濃淡（コントラスト）の補正は、各種の公知手法によって実現可能である。
【００４４】
ＣＰＵ２０２は、ステップＳ１０９の処理によって保持した静止画像に対して第２のフィルタ処理を施した後（ステップＳ１１０）、元画像４０１（図８参照）の顔部分を第２のフィルタ処理を施した静止画像に置き換え、合成画像４０７を生成する。そして、生成した合成画像４０７を液晶ディスプレイ１０３に表示する（ステップＳ１１１）。
【００４５】
図１１は、生成された合成画像４０７の一例を示す模式図である。図１１に示すように、合成画像４０７は、元画像４０１から拡大表示されたモデル画像４０２にカメラ１０７から取り込んだユーザの顔画像４０５を合成したものではなく、元画像４０１に顔画像４０５を合成した画像となっている。これにより、ユーザは、元画像４０１に含まれているモデルが着ている衣類をあたかも自分が着ているかのような印象をもって合成画像４０７を見ることができる。
【００４６】
以上説明したように、本実施の形態によれば、元画像４０１に基づくモデル画像４０２の顔の部分にカメラ１０７から取り込んだ動画像から抽出した顔画像４０５を重ね合せて表示することができる（図６中のステップＳ１０７）。この場合、モデル画像４０２は元画像４０１に対して顔部分を中心に拡大された画像として表示されるので（図６中のステップＳ１０４参照）、モデル画像４０２の顔部分にカメラ１０７から取り込んだ顔画像４０５を正確に重ね合わせることが容易となる。しかも、モデル画像４０２には第１のフィルタ処理が施されて顔部分が透過表示となっているので（図６中のステップＳ１０４参照）、より一層、モデル画像４０２の顔部分にカメラ１０７から取り込んだ顔画像４０５を正確に重ね合わせることが容易となる。このようなことから、モデル画像４０２と撮影画像である顔画像４０５とを重ね合わせて一画像とするに際して、簡易な手法を採用しながらも、リアルで高精度な重ね合わせ画像を得ることができる。そして、モデル画像４０２に顔画像４０５を重ね合せて生成した静止画像である合成画像は、元画像４０１と同じ大きさで液晶ディスプレイ１０３に表示されるので（図６中のステップＳ１１１参照）、ユーザは、元画像４０１に含まれているモデルが着ている衣類を仮想的に試着することができ、その衣類を着た場合の印象を容易に把握することができる。
【符号の説明】
【００４７】
１０３…液晶ディスプレイ（表示部）、１０５…タッチパネル（操作入力部）、１０７
…カメラ（撮影装置）、１１０…注視盤、１１１…ランプ、２０８…ＨＤＤ（記憶部）
【先行技術文献】
【特許文献】
【００４８】
【特許文献１】特開２００４−３１２１６２号公報
【特許請求の範囲】
【請求項１】
情報を表示する表示部と、
情報の操作入力する操作入力部と、
記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、
前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、
撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、
前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、
前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、
を備える情報端末。
【請求項２】
前記第１のフィルタ処理は、前記抽出されたモデル画像中の顔部分を透過させるフィルタ処理である、請求項１記載の情報端末。
【請求項３】
前記操作入力部での撮影指示操作後に所定のタイマ時間を設定する手段を備える、請求項１記載の情報端末。
【請求項４】
前記抽出されたモデル画像中の顔部分と前記抽出された顔部分の動画像との色を近似補正する第２のフィルタ処理を施す手段を備える、請求項１ないし３のいずれか一記載の情報端末。
【請求項５】
前記抽出されたモデル画像中の顔部分と前記抽出された顔部分の動画像との濃淡を近似補正する第２のフィルタ処理を施す手段を備える、請求項１ないし４のいずれか一記載の情報端末。
【請求項６】
前記表示部の背部に位置させて二次元空間上に複数個のランプを配列し、前記ランプを選択的に点灯制御する注視盤と、
前記抽出されたモデル画像中の顔部分の顔の向きを認識する手段と、
前記認識した顔の向きに応じて、当該抽出されたモデル画像中の顔部分の顔の向きと前記抽出された動画像中の顔部分の顔の向きとが相対的に近似する方向に前記撮影装置の前に立つ被写体の顔の向きを向けさせる位置の前記ランプの点灯を指示する手段と、
を備える、請求項１ないし５のいずれか一記載の情報端末。
【請求項７】
複数の前記画像データを記憶している画像データベース中から、前記モデル画像の顔部分の抽出が可能である画像データを抽出して前記表示部にサムネール表示する手段と、
前記操作入力部によって前記サムネール表示中から選択指定された前記画像データを合成処理する画像データとして選択する手段と、
を備える、請求項１ないし５のいずれか一記載の情報端末。
【請求項８】
情報を表示する表示部と、情報を操作入力する操作入力部と、を備えるコンピュータにインストールされ、当該コンピュータに、
記憶部に記憶されているモデル画像中の顔部分を抽出する機能と、
前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す機能と、
撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する機能と、
前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する機能と、
前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する機能と、
を実行させる機械読み取り可能なコンピュータプログラム。
【請求項１】
情報を表示する表示部と、
情報の操作入力する操作入力部と、
記憶部に記憶されているモデル画像中の顔部分を抽出する手段と、
前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す手段と、
撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する手段と、
前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する手段と、
前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する手段と、
を備える情報端末。
【請求項２】
前記第１のフィルタ処理は、前記抽出されたモデル画像中の顔部分を透過させるフィルタ処理である、請求項１記載の情報端末。
【請求項３】
前記操作入力部での撮影指示操作後に所定のタイマ時間を設定する手段を備える、請求項１記載の情報端末。
【請求項４】
前記抽出されたモデル画像中の顔部分と前記抽出された顔部分の動画像との色を近似補正する第２のフィルタ処理を施す手段を備える、請求項１ないし３のいずれか一記載の情報端末。
【請求項５】
前記抽出されたモデル画像中の顔部分と前記抽出された顔部分の動画像との濃淡を近似補正する第２のフィルタ処理を施す手段を備える、請求項１ないし４のいずれか一記載の情報端末。
【請求項６】
前記表示部の背部に位置させて二次元空間上に複数個のランプを配列し、前記ランプを選択的に点灯制御する注視盤と、
前記抽出されたモデル画像中の顔部分の顔の向きを認識する手段と、
前記認識した顔の向きに応じて、当該抽出されたモデル画像中の顔部分の顔の向きと前記抽出された動画像中の顔部分の顔の向きとが相対的に近似する方向に前記撮影装置の前に立つ被写体の顔の向きを向けさせる位置の前記ランプの点灯を指示する手段と、
を備える、請求項１ないし５のいずれか一記載の情報端末。
【請求項７】
複数の前記画像データを記憶している画像データベース中から、前記モデル画像の顔部分の抽出が可能である画像データを抽出して前記表示部にサムネール表示する手段と、
前記操作入力部によって前記サムネール表示中から選択指定された前記画像データを合成処理する画像データとして選択する手段と、
を備える、請求項１ないし５のいずれか一記載の情報端末。
【請求項８】
情報を表示する表示部と、情報を操作入力する操作入力部と、を備えるコンピュータにインストールされ、当該コンピュータに、
記憶部に記憶されているモデル画像中の顔部分を抽出する機能と、
前記抽出したモデル画像中の顔部分の表示を他の部分の表示と異ならせる第１のフィルタ処理を施す機能と、
撮影装置が出力する撮影中の動画像を取込んで当該動画像中の顔部分を抽出する機能と、
前記第１のフィルタ処理が施されたモデル画像の顔部分に、前記抽出された顔部分の動画像を重ね合わせて表示する機能と、
前記操作入力部での撮影指示操作によって、前記モデル画像中の顔部分に前記顔部分の動画像を重ね合わせたモデル画像を静止画像として生成する機能と、
を実行させる機械読み取り可能なコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１３５５８０（Ｐ２０１１−１３５５８０Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２０１０−２８７９４７（Ｐ２０１０−２８７９４７）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【分割の表示】特願２００７−１６０７５６（Ｐ２００７−１６０７５６）の分割
【原出願日】平成１９年６月１８日（２００７．６．１８）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【分割の表示】特願２００７−１６０７５６（Ｐ２００７−１６０７５６）の分割
【原出願日】平成１９年６月１８日（２００７．６．１８）
【出願人】（０００００３５６２）東芝テック株式会社 (5,631)
【Ｆターム（参考）】
[ Back to top ]