画像合成装置
【構成】 画像合成装置10は、大画面タッチスクリーンを用いる。大画面タッチスクリーンは、赤外光を照射したスクリーン12の後方でクリーンの背面を赤外カメラ22で撮影し、その映像信号を処理することによって、オペレータ14の手16がスクリーン12上のどこにタッチしたかを検出できる。そして、コンピュータ26は、このプロジェクタ30によって、スクリーン12に、オリジナル画像および基準画像を移動表示し、オペレータの手が2つの画像にタッチし、それをドラッグし、2つの画像が接近したことを検出したら、今度は、プロジェクタ30によって合成後画像をスクリーン12に表示させる。
【効果】 大画面スクリーンでオリジナル画像や基準画像さらには合成後画像を表示するので、一度にたくさんの観客を楽しませることができる。
【効果】 大画面スクリーンでオリジナル画像や基準画像さらには合成後画像を表示するので、一度にたくさんの観客を楽しませることができる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は合成画像表示装置に関し、特にたとえば、大画面のタッチスクリーンを用いて画像を表示するとともに合成し、その合成後画像をその大画面タッチスクリーン上に表示する、新規な画像合成装置に関する。
【背景技術】
【0002】
本件出願人が先に特許文献1や特許文献2で提案した画像処理装置では、画像合成(モーフィング:morphing)技術を用いて、オリジナル顔画像から所望の年齢の顔画像を合成することができる。
【特許文献1】特開2003−44866号 [G06T 11/80 1/00 3/00]
【特許文献2】特開2004−102359号[G06T 7/20 3/00 7/00]
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1や特許文献2の画像処理装置で合成した画像は、見る人に驚きや感動を与えることがあるので、それらの合成後画像を大勢の人に見せることによって、アミューズメントへの応用が可能である。
【0004】
しかしながら、特許文献1および特許文献2は、いずれも、通常のパソコンやワークステーションでの画像処理を想定していて、オリジナル画像や合成後画像はいずれも小さいサイズのモニタに表示するだけで、それらの画像を大勢の鑑賞者に見せるアミューズメント用途を意識したものではない。
【0005】
それゆえに、この発明の主たる目的は、大画面タッチスクリーンを用いて合成後画像等を表示する、新規な画像合成装置を提供することである。
【課題を解決するための手段】
【0006】
請求項1の発明は、大画面タッチスクリーンを用いる画像合成装置であって、大画面タッチスクリーンは赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、および赤外カメラからの映像信号に基づいてスクリーン上で指示している位置を検出する位置検出手段を含み、さらにスクリーンにオリジナル画像および基準画像を移動表示する移動表示手段、位置検出手段で検出した位置データに基づいて、オリジナル画像および基準画像の少なくとも一方がドラッグされて互いに接近したことを検出する接近判断手段、および接近判断手段がオリジナル画像と基準画像との接近を検出したとき、オリジナル画像を基準画像にモーフングした合成後画像をスクリーンに表示する合成後画像表示手段を備える、画像合成装置である。
【0007】
請求項1の発明では、オリジナル画像と基準画像とをランダムな態様で移動するように、スクリーン上に、たとえばプロジェクタで表示する。他方、位置検出手段は、スクリーンにオペレータの手がタッチしたかどうか、さらにはそのタッチした位置がどこか検出する。スクリーン上でオリジナル画像および基準画像が移動表示されているとき、オペレータが、2つの画像(の位置のスクリーン)にタッチし、それをドラッグして互いに接近させると、接近判断手段がオリジナル画像と基準画像との接近を判断する。応じて、合成後画像表示手段が、オリジナル画像が基準画像にモーフィングされている合成後画像を表示する。
【0008】
この請求項1の発明では、大画面スクリーンを用いてオリジナル画像や基準画像そして合成後画像を大勢の観客に一度に観賞させることができるので、画像合成装置をエンターテインメント用途に展開できる。しかも、大画面スクリーン上で移動表示されているオリジナル画像や基準画像をオペレータがタッチしてドラッグすると合成後画像が表示されるので、そのオリジナル画像や基準画像から合成後画像への変化を観客に見せることができるので、観客に驚きと興奮、感動を与えることができる。
【0009】
請求項2の発明は、接近判断手段はオリジナル画像と基準画像との間の距離が所定値より小さくなったとき、2つの画像の接近を判断する、請求項1記載の画像合成装置である。
【0010】
請求項3の発明は、合成後画像表示手段は、オリジナル画像とともに合成後画像をスクリーンに表示する、請求項1または2記載の画像合成装置である。
【0011】
請求項3の発明では、合成後画像とオリジナル画像と同時に表示するので、その変化または落差がより際立って表示できる。
【0012】
請求項4は、複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておくメモリ手段をさらに備え、移動表示手段はメモリ手段に保存しているオリジナル画像および基準画像を読み出して移動表示し、合成後画像表示手段はメモリ手段に保存している合成後画像を読み出して表示する、請求項1ないし3のいずれかに記載の画像合成装置である。
【0013】
請求項4の発明では、各画像を予めメモリ手段に登録しておくので、たくさんの数や種類の画像を表示することができるし、オリジナル画像の特徴抽出などのリアルタイムでの作業が省略できるので、合成後画像をスムーズに表示することができる。
【発明の効果】
【0014】
この発明によれば、大画面スクリーンを用いて、オペレータが指示したオリジナル画像や基準画像から変化した合成後画像化を観客に見せることができるので、画像合成装置をエンターテインメント用途に利用することができる。
【0015】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【0016】
図1に示すこの発明の実施例の画像合成装置10は、大画面タッチパネルまたはタッチスクリーンを構成する、たとえば250×180cm程度のサイズのプラスチックスクリーン12を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン12は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン12は完全な透明ではない。なぜなら、このプラスチックスクリーン12は、後述のプロジェクタ30から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン12は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム10では、図1に示すように、プラスチックスクリーン12の前方のオペレータ14が、自分の手16でプラスチックスクリーン12を直接タッチすることによって、プラスチックスクリーン12の上の位置(点または領域)を指示するからである。つまり、プラスチックスクリーン12には人間の手が触っても容易には変形しない程度の剛性が必要である。
【0017】
ただし、実施例ではプラスチックでスクリーン12を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【0018】
このプラスチックスクリーン12の前方上方には、スクリーン12の前面12aの全面に赤外光を投射するための赤外光源18が設けられる。この赤外光源18としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源18を設ける位置は基本的にはプラスチックスクリーン12のサイズに依存して決定されるが、実施例のプラスチックスクリーン12が上記サイズであれば、たとえば、赤外光源18は、プラスチックスクリーン12の前面12aから200−400cm離れた高さ200−300cmの位置に配置される。これらの数値は単なる例示である。赤外光源18から投射された赤外光はプラスチックスクリーン12の前面12aから入射し、このスクリーン12を透過して背面12bに至る。
【0019】
プラスチックスクリーン12の後方には、ミラー20が設けられる。このミラー20はプラスチックスクリーン12の背面12bの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン12がたとえば250×180cmであれば、ミラー20はたとえば150×110cm程度の大きさにされ、プラスチックスクリーン12の背面12bからたとえば200cm後方に配置される。これらの数値も単なる例示である。
【0020】
プラスチックスクリーン12の後方には、このミラー20の表面に合焦されたモノクロカメラ22が設けられる。このモノクロカメラ22には赤外フィルタ24が装着される。したがって、このカメラ22は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ22および赤外フィルタ24は赤外カメラに代えられてもよい。このカメラ22はミラー20を通してプラスチックスクリーン12の背面全面を撮影する。
【0021】
カメラ22からの映像信号は、図2からよくわかるように、A/D変換器28によって映像信号データに変換されて、コンピュータ26に入力される。
【0022】
この図1に示す実施例では、プラスチックスクリーン12の後方に、プロジェクタ30が設けられる。このプロジェクタ30は、前述のようにプラスチックスクリーン12の背面12bの全面に映像を投射するためのものである。実施例では、プロジェクタ30は、ミラー20を通して、背面12bの全面に投影できるようにされる。プロジェクタ30から投射された映像(光学像)は、ミラー20で反射されて、プラスチックスクリーン12の背面12bに投影される。したがって、このプラスチックスクリーン12の前面12aから、その投影された映像を見ることができる。
【0023】
なお、ミラー20を用いる理由は、プラスチックスクリーン12の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー20を省略することができる。この場合には、上述のカメラ22がプラスチックスクリーン12の背面12bの全域を直接撮影し、プロジェクタ30からプロジェクタスクリーン12の背面12bに映像が直接投射される。
【0024】
図2に示すように、コンピュータ26にはたとえば半導体メモリやハードディスクなどの内部メモリ32が内蔵されるとともに、必要に応じて、メモリインタフェース34を介して、半導体メモリやその他の記憶媒体からなる外部メモリ36が接続される。内部メモリ32は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ30を用いる場合には、内部メモリ32はさらに、プロジェクタ30のためのビデオメモリ(VRAM)としても用いられる。
【0025】
なお、外部メモリ36としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【0026】
なお、コンピュータ26は、さらに、ランプドライバ38を制御し、赤外光源18のオン/オフを制御するとともに、必要な場合には、その赤外光源18の輝度を調節する。
【0027】
なお、図2に示すように、この実施例の画像合成装置10では、後に説明するオリジナル画像(人間の顔画像)を入力するために、一例として、ディジタルカメラ40が用いられる。このディジタルカメラ40によって取得したオリジナル画像は、内部メモリ32の画像記憶領域42に格納される。
【0028】
詳しく説明すると、画像記憶領域42には、図3に示すように、オリジナルが記憶領域44、基準画像記憶領域46、および合成後画像記憶領域48が設定される。ディジタルカメラ40によって撮影したオリジナル画像は、オリジナル画像記憶領域44に記憶される。ただし、オリジナル画像は、その都度カメラ40で撮影して入力するのではなく、後述の基準画像と同様に、予め入力され登録されていてもよい。オリジナル画像記憶領域44には、1−N個のオリジナル画像が登録できる。
【0029】
なお、このオリジナル画像記憶領域44には、そのオリジナル画像から抽出した特徴部分を示すデータ(後述)が一緒に登録されることに留意されたい。
【0030】
基準画像記憶領域46に記憶される「基準画像」とは、オリジナル画像の特徴を基準画像中へモーフングすることによって合成後画像を作成する、そのときの「基準画像」を意味する。この実施例では、人間の顔画像をオリジナル画像とし、基準画像として動物の顔画像を用い、人間の顔の特徴を動物の顔画像(基準画像)中へモーフングする。実施例の基準画像として用いられる動物の顔画像は、コンピュータ26に入力され、基準画像記憶領域46に予め登録される。ただし、基準画像はその都度ディジタルカメラ40によって撮影して登録するようにしてもよい。基準画像記憶領域46には、1−M個の基準画像を登録することができる。
【0031】
後述のモーフィング動作によって合成した画像(合成後画像)は、合成後画像記憶領域48に記憶される。オリジナル画像がN個で、基準画像がM個のとき、NM個の合成後画像を作成できる。
【0032】
コンピュータ26の内部メモリ32には、上述の画像記憶領域42が形成される他に、モーフィングプログラム50が予め設定される。したがって、コンピュータ26は、このモーフィングプログラム50に従って後述の画像合成(モーフィング)動作を実行する。
【0033】
図1実施例の大画面タッチパネルシステム10では、先に概説したように、プラスチックスクリーン12の前方のオペレータ14が、手16でプラスチックスクリーン12を直接タッチすることによって、プラスチックスクリーン12の上の座標位置を指示する。そのタッチ位置の検出方法は、具体的には、同時係属中の特願2003−116122号に詳細に説明されるので、引用によってその説明を取り入れるが、ここでは簡単にその原理を説明する。
【0034】
プラスチックスクリーン12の前にオペレータが立って、その手16で、図1に示すようにプラスチックスクリーン12の前面12aの任意の場所を押さえ(タッチし)、その状態で、コンピュータ26は、赤外線カメラ22からの図4に示すような映像のピクセルデータを取り込む。そして、コンピュータ26は、このピクセルデータを処理することによって、たとえば図5に示す適正サイズの黒領域のデータのみを残し、残った適正黒領域の中心座標をタッチ点(または領域)のデータとして、検出する。
【0035】
ただし、スクリーン12を同時にタッチする手が2つ以上であっても、コンピュータ26はそれぞれの手のタッチ位置を個別に同定することができる。
【0036】
この実施例の画像合成装置10では、大きく分けて、「エントリプロセス」と「表示プロセス」とが実行される。エントリプロセスとは、オリジナル画像である人間の顔画像を入力し、そのオリジナル画像と、予め登録しておいた基準画像である動物の顔画像とを合成し、その合成後画像を合成後画像記憶領域48(図3)へ登録しておく動作であり、具体的には、図6のフローチャートに従って、実行される。
【0037】
図6の最初のステップS1では、たとえばディジタルカメラ40(図2)を用いて、人間の顔を撮影し、その顔画像をオリジナル画像としてコンピュータ26に入力し、内部メモリ32の画像記憶領域42のオリジナル画像記憶領域44中に保存する。
【0038】
なお、このステップS1で、カメラ40を使わず、予め登録してあるオリジナル画像を入力する場合には、オリジナル画像記憶領域44に登録してあるオリジナル画像のサムネイルのような縮小画像を一覧表示し、その一覧画像にタッチすることによって選択するようにしてもよい。
【0039】
ついで、ステップS3において、入力したオリジナル画像をスクリーン12上に表示する。具体的には、コンピュータ26(またはコンピュータ26の指示に従って動作する変換回路(図示せず))は、そのオリジナル画像の画像データに基づいて表示データ(たとえばビデオデータ)を作成し、その表示データをVRAM(内部メモリ32)を通してプロジェクタ30に入力する。したがって、このステップS3で、図7に示すようなオリジナル画像がスクリーン12に表示される。
【0040】
続くステップS5では、コンピュータ26は、オリジナル画像(人間の顔画像)における特徴を入力する。実施例では、5つの特徴部分が想定されていて、それは、輪郭、眉、目、鼻、および口である。このステップS5は、図1に示すようにスクリーン12の前のオペレータ14が特徴部分を指定する。
【0041】
図7のようにオリジナル画像を表示した状態で、オペレータ14は、その手16でオリジナル画像の顔の輪郭をなぞる。オペレータ14の手16がスクリーン12にタッチすると、その点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次ずらせて顔の輪郭をなぞることによって、特徴の1つである、図7に示す輪郭Cが入力できる。この輪郭Cの特徴データは、図3に示すオリジナル画像記憶領域44に、対応するオリジナル画像とともに、格納される。他の特徴データも同様である。
【0042】
なお、輪郭Cの特徴データは、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、輪郭Cを形成する主要な点、たとえば頭頂点、顎の先の点、左右の頬または耳の位置などの不連続な点の点データとして登録されてもよい。
【0043】
次に、オペレータ14は、同じくスクリーン12上をなぞって、左右の眉を示す線BLおよびBRを入力する。その方法は、オペレータ14がスクリーン12に表示された図7のオリジナル画像の眉の部分をタッチしてなぞる。オペレータ14の手16がスクリーン12にタッチするとその点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次ずらせて眉の上をなぞることによって、特徴の1つである、図7に示す眉MR,MLが入力できる。この特徴データMR,MLもオリジナル画像記憶領域44に登録される。
【0044】
この眉データも、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、たとえば目頭側始点、目尻側終点、およびその中間位置のような不連続な点の点データとして登録されてもよい。
【0045】
続いて、オペレータ14は、図7のようにスクリーン上に表示されたオリジナル画像の左右の目の特徴点に手でタッチすることによって、図7に示す特徴点EL1−EL5およびER1−ER5を設定する。オペレータ14の手16がスクリーン12にタッチするとその点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次置き換えて各特徴点の位置データを得る。この特徴データEL1−EL5およびER1−ER5もオリジナル画像記憶領域44に登録される。
【0046】
オペレータ14は、さらに図7のオリジナル画像の鼻の先端の位置でスクリーン12に手でタッチすることによって、図7に示す鼻の特徴点Nを設定する。この鼻の特徴データNもオリジナル画像記憶領域44に登録される。
【0047】
さらに、オペレータ14は、図7のようにスクリーン上に表示されたオリジナル画像の口の特徴点に手でタッチすることによって、図7に示す特徴点M1−M5を設定する。オペレータ14の手16を、スクリーン12上のオリジナル画像の口の所定点位置にタッチするとその点の位置情報が口の特徴点データとして入力される。この特徴データM1−M5もオリジナル画像記憶領域44に登録される。
【0048】
このようにして、図5のステップS5での「特徴入力」が行なわれる。
【0049】
続くステップS7において、コンピュータ26は、基準画像を入力し、保存する。この実施例の場合、基準画像は予め登録しているので、このステップS7では、具体的には、その中から1つ以上の基準画像を選択することになる。つまり、基準画像記憶領域46に予め登録してある多数の基準画像のサムネイルのような縮小画像をスクリーン12上に一覧表示し、その一覧画像(の位置のスクリーン12)にタッチまたは指定することによって、必要な1つまたは2以上の基準画像を選択する。
【0050】
続いて、ステップS9で、コンピュータ26は、選択した基準画像の表示データをプロジェクタ30に与えて、基準画像をスクリーン12上に表示する。
【0051】
図8に、スクリーン12上に1つのオリジナル画像O1と複数(実施例では3つ)の基準画像R1、R2、R3とを並べて表示した表示例が図解される。この表示例では、オリジナル画像O1は大人の男性の顔画像で、3つの基準画像R1、R2、R3は、それぞれ、ゴリラ、ハムスター、ライオンの顔画像である。この基準画像の動物の種類は任意に変更できる。
【0052】
続いて、ステップS11で、合成操作を行なう。オペレータ14が図8のようにスクリーン12上に表示されているオリジナル画像O1とどれか1つの基準画像とに両手で同時にタッチすることによって、すなわち1つのオリジナル画像と1つの基準画像とを同時に指定することによって、このステップS11が開始される。つまり、オリジナル画像の表示位置や基準画像の表示位置は予めコンピュータ26には判明しているので、両手でオリジナル画像と基準画像に同時にタッチしてそれらを指定したことを検出できる。
【0053】
画像合成の具体的な動作は、すでによく知られたところであり、ここでは、詳細な説明は省略する。モーフィング方式にはいくつか方式があり、たとえば「クロスディゾルブ方式」と「ワーピング方式」とがある。クロスディゾルブ方式は、オリジナル画像をフェードアウトさせていき、基準画像をフェードインさせていくもので、ワーピング方式はそれぞれの画像のポイントを対応させることで、形全体が対応させた場所へ移っていくようにするものである。実施例のモーフィング方式は、どちらかといえばワーピング方式に近く、先にステップS5で抽出したオリジナル画像の特徴部分で基準画像の特徴部分を置き換える方式である。このとき、オリジナル画像と基準画像との混合比を変更することで、オリジナル画像のイメージメを多く残すのか、基準画像のイメージを大きくするかを設定できる。ただし、実施例のデフォルトでは、オリジナル画像を0.8、基準画像を0.2として混合し、特徴部分以外では、基準画像を100%としている。したがって、特徴部分以外では、全てその基準画像(動物の画像)が表示される。
【0054】
なお、モーフィングの方法としては、先に引用した、本件出願任の出願に係る、特開2003−44866号や、特開2004−102359号に開示されている技術を利用することも利用できる。これらの技術は「FUTON」と呼ばれてよく知られたところである。
【0055】
ステップS11で画像合成(モーフィング)が終了すると、次のステップS13で、その合成後画像を図3の合成後画像記憶領域48に保存する。オリジナル画像がオリジナル画像1で基準画像が基準画像1の場合、そのときの合成後画像は、合成後画像11として保存される。
【0056】
その後、ステップS15で、コンピュータ26は、オリジナル画像O1と合成すべき基準画像がまだ残っているかどうか判断する。図8の例では2つの基準画像が未処理なので、このステップS15で“YES”となり、先のステップS7に戻り、基準画像R2(ハムスター)について、それ以後のステップS7−S15が繰り返し実行される。
【0057】
この繰り返しが、基準画像R3(ライオン)についても実行される。
【0058】
未処理基準画像がなくなればステップS15で“NO”が判断されるので、コンピュータ26は次のステップS17で、未処理オリジナル画像が残っているかどうか判断する。そして、未処理オリジナル画像があれば、先のステップS1へ戻って、上述の処理を繰り返し実行する。ステップS17で“NO”が判断されると、コンピュータ26は、次のステップS19で、合成後画像を表示する。
【0059】
図9がその合成後画像の一例を示す。この表示例では、スクリーン12上に、オリジナル画像O1と、その下方に、図8の3つの基準画像のそれぞれとオリジナル画像とを合成(モーフィング)した後の合成後画像MD(MorpheD)1,MD2,MD3が表示される。この合成後画像では、いずれも、オリジナル画像の目や鼻、口などの特徴が、動物の顔画像中にモーフィングされている。
【0060】
なお、ここで説明した実施例では、ステップS3およびS9で図8に示すように、オリジナル画像と基準画像とを並置して表示させ、その後、ステップS19で、図9に示すように、オリジナル画像と合成後画像とを並置して表示するようにした。この図8の表示と図9の表示との間に一定時間を置くことが、観客の興味を引くという点では、望ましい。
【0061】
最近のコンピュータのハードウェアの進化とそれに伴う処理の高速化を考えれば、図8から図9へモーフィングするには、実際にはごく僅かな時間で済む。したがって、モーフング後の画像をモーフィングが終了すると同時に表示するとすれば、図8の状態から図9の状態へは瞬時にして転換されてしまう。そうすると、その表示を見ている観客が合成前から合成後への切り替わりを見過ごしてしまうことが考えられる。それでは、観客の驚きは小さく、感動の少ないものとなってしまう。
【0062】
そこで、ステップS11がごく短時間で終了しても、図8の表示状態を一定時間たとえば5秒継続し、その後、図9の表示状態に切り替えるとすれば、観客が注視しているときに「前」から「後」に変化するので、観客には、一層大きな感動を与えることができる。そのために、一実施例では、図6のステップS17とステップS19との間に、「一定時間経過したか?」という判断をするステップを追加し、その判断ステップで“YES”となったときにステップS19を実行するようにしている。
【0063】
ここまでで、図6のエントリプロセスが終了する。つづいて、表示プロセスについて、図10のフローチャートを参照して説明する。
【0064】
実施例の表示プロセスでは、大画面スクリーン12上に、1つの以上のオリジナル画像と1つ以上の基準画像とを流れるようにまたは飛翔するように、ランダムな態様で、移動表示させ、オペレータまたはユーザがオリジナル画像と基準画像とに同時にタッチしてそれらをドラッグして一定距離まで近づけたとき、オリジナル画像と合成後画像とを同時に表示させることによって、観客に衝撃や感動を与えるものである。
【0065】
図10の最初のステップS21および次のステップS23で、コンピュータ26は、オリジナル画像および基準画像をたとえば図11において矢印で示すように移動表示する。ただし、このとき表示するオリジナル画像の数や基準画像の数あるいは種類は適宜設定できるが、オリジナル画像は、少なくとも先にエントリプロセスでオリジナル画像を登録した人間のオリジナル画像を含むこととする。また、基準画像も、たくさんの基準画像のなかで、エントリプロセスで合成に利用した基準画像は少なくとも含ませるようにする。
【0066】
ついで、ステップS25およびS27で、コンピュータ26は、タッチスクリーン12にオペレータが両手で同時にタッチしたかどうか判断する。ステップS25またはS27で“NO”なら先のステップS21に戻るが、ともに“YES”のとき、次のステップS29で、コンピュータ26は、同時にタッチした両手が、一方はオリジナル画像にタッチしていて、他方は基準画像にタッチしているかどうか判断する。“NO”なら、先のステップS21に戻る。ただし、ここで「両手」とは2つの手という意味で、1人の人間の両手である必要はなく、別々の人間の1つずつの手でも「両手」と考える。
【0067】
ステップS29で、オリジナル画像と基準画像とに同時にタッチされたことを検出すると、コンピュータ26は、次のステップS31で、2つの画像がドラッグされて接近させられたかどうか判断する。もし、図12に示すように、2つの画像をドラッグして両者を接近させたとすると、2つの画像間の距離Dが所定値以下になったとき、このステップS31で“YES”が判断できる。ただし、2つの画像互いに接近させるためには、図12のように両方の画像をともにドラッグで移動させる方法だけでなく、一方の画像にはタッチしているだけで移動させず、他方の画像だけをドラッグして一方の画像に接近させる方法がある。いずれにしても、接近判断手段を構成するステップS31で“YES”が判断されたときには、コンピュータ26は、次のステップS33において、一定時間の経過を待つ。
【0068】
一定時間が経過すると、次のステップS35において、図13に示すように、スクリーン12上の適宜の位置に、オリジナル画像O1と、合成後画像MD1とを同時に表示する。したがって、このような表示プロセスによれば、図11のように移動表示されるオリジナル画像と基準画像とをタッチしてドラッグすると、2つの画像をモーフィングした画像が図13のように表示されるので、スクリーン12を見ている観客に驚きと喜びを与えることができる。
【0069】
なお、ここで、正しい合成後画像MD1がメモリから読み出されて表示されるのは、オリジナル画像と基準画像とが同時に指定されたとき、そのオリジナル画像のアドレスや識別子および基準画像のアドレスや識別子に基づいて、それらをモーフィングした合成後画像のアドレスや識別子が指定され得るからである。
【0070】
ただし、合成後画像を表示するためには、実施例では、先のエントリプロセスで予め作成しておいて合成後画像を合成後画像記憶領域48(図3)から読み出して表示するようにしている。したがって、仮に、この合成後画像記憶領域48合成後画像を登録していない基準画像をステップS29で選択したときには、コンピュータ26は、その時点で図6のステップS11を実行してリアルタイムで合成後画像を作成するようにすればよい。
【0071】
これに対して、エントリプロセスで合成後画像を登録していない基準画像が選択されたときには、たとえドラッグして2つの画像を接近したとしても、合成後画像を表示せいず、選択したオリジナル画像および基準画像を再び移動表示させるように処理することも考えられる。
【0072】
また、上述の実施例では、エントリプロセスで合成後画像を予め準備したが、このエントリプロセスを省略して、全てリアルタイムで処理することも考えられる。しかしながら、この場合には特徴抽出(ステップS5:図6)などに手間がかかると、観客の興味が薄れてしまうことが考えられるので、少なくとも特徴入力まではエントリプロセスで前もって処理しておくことが望ましい。
【0073】
なお、上述の実施例では、スクリーン12の位置を指示するためにオペレータの手でスクリーンをタッチするようにした。しかしながら、たとえばスクリーンが高いところに設置されている場合など、手が届きにくい。その場合には、手に代えて、何か別の赤外光を遮ることができる部材(指示棒)を用いることが考えられる。要は、赤外光を遮蔽すればスクリーン12上の位置が指定できる。
【0074】
さらに、上述の実施例ではプラスチックスクリーン12の前方から赤外光源18によって赤外光をスクリーン上に照射し、他方コンピュータ26はカメラ22の映像信号スクリーン12の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン12を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ26はカメラ22からの映像信号を分析して赤外光が存在する領域(赤外光領域)を検出するようにすればよい。
【0075】
さらに、上述の実施例の表示プロセスにおいては、スクリーン12上で移動表示されているオリジナル画像と基準画像とを同時に指定し、その少なくとも一方をドラッグして両者を接近されたとき、合成後画像を表示するようにした。しかしながら、ここでのドラッグを省略することも可能である。つまり、ステップS29(図10)で“YES”が判断されるとそのままステップS33に進むことも考えられる。この場合には、オリジナル画像と基準画像とを同時に指定しただけで、合成後画像が表示されることになる。
【0076】
さらに、上述の実施例では、エントリプロセスと表示プロセスの両方とも大画面スクリーン12を用いて実行または進行させるようにした。しかしながら、表示プロセスは観客への同時提示の必要からスクリーン12を用いるが、エントリプロセスは別のパソコンやワークステーションを利用して実行するようにしてもよい。
【0077】
たとえば会場へ入場の受付の場所にエントリ用のパソコンを設置しておき、希望者の顔写真をディジタルカメラで撮影し、そのエントリ用パソコンを利用してエントリプロセスを進め、オリジナル画像や合成後画像をサーバ(図示せず)に登録し、そのサーバを用いて表示プロセスを行なうことが考えられる。
【0078】
この場合、エントリ用パソコンの数を増やせば、たくさんの入場者が集中してエントリする場合にも対応可能である。
【図面の簡単な説明】
【0079】
【図1】図1はこの発明の一実施例の画像処理装置を示す図解図である。
【図2】図2は図1の実施例のブロック図である。
【図3】図3は図1の実施例における画像記憶領域を詳細に示す図解図である。
【図4】図4は図1の実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図5】図5はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【図6】図6は図1の実施例におけるエントリプロセスの動作を示すフロー図である。
【図7】図7はスクリーンに表示されたオリジナル画像とその特徴部分を示す図解図である。
【図8】図8は図1の実施例においてオリジナル画像と基準画像とを並置して表示した表示例を示す図解図である。
【図9】図9は図1の実施例においてオリジナル画像と合成後画像とを並置して表示した表示例を示す図解図である。
【図10】図10は図1の実施例における表示プロセスの動作を示すフロー図である。
【図11】図11はその表示プロセスにおいてオリジナル画像と基準画像とをスクリーン上で移動表示している状態を示す図解図である。
【図12】図12は2つの画像を接近させた状態を例示する図解図である。
【図13】図13は表示プロセスにおいてオリジナル画像と合成後画像とを表示した状態を示す図解図である。
【符号の説明】
【0080】
10 …画像処理装置
12 …クスクリーン
16 …手
26 …コンピュータ
30 …プロジェクタ
32 …内部メモリ
40 …ディジタルカメラ
42 …画像記憶領域
44 …オリジナル画像記憶領域
46 …基準画像記憶領域
48 …合成後画像記憶領域
【技術分野】
【0001】
この発明は合成画像表示装置に関し、特にたとえば、大画面のタッチスクリーンを用いて画像を表示するとともに合成し、その合成後画像をその大画面タッチスクリーン上に表示する、新規な画像合成装置に関する。
【背景技術】
【0002】
本件出願人が先に特許文献1や特許文献2で提案した画像処理装置では、画像合成(モーフィング:morphing)技術を用いて、オリジナル顔画像から所望の年齢の顔画像を合成することができる。
【特許文献1】特開2003−44866号 [G06T 11/80 1/00 3/00]
【特許文献2】特開2004−102359号[G06T 7/20 3/00 7/00]
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1や特許文献2の画像処理装置で合成した画像は、見る人に驚きや感動を与えることがあるので、それらの合成後画像を大勢の人に見せることによって、アミューズメントへの応用が可能である。
【0004】
しかしながら、特許文献1および特許文献2は、いずれも、通常のパソコンやワークステーションでの画像処理を想定していて、オリジナル画像や合成後画像はいずれも小さいサイズのモニタに表示するだけで、それらの画像を大勢の鑑賞者に見せるアミューズメント用途を意識したものではない。
【0005】
それゆえに、この発明の主たる目的は、大画面タッチスクリーンを用いて合成後画像等を表示する、新規な画像合成装置を提供することである。
【課題を解決するための手段】
【0006】
請求項1の発明は、大画面タッチスクリーンを用いる画像合成装置であって、大画面タッチスクリーンは赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、および赤外カメラからの映像信号に基づいてスクリーン上で指示している位置を検出する位置検出手段を含み、さらにスクリーンにオリジナル画像および基準画像を移動表示する移動表示手段、位置検出手段で検出した位置データに基づいて、オリジナル画像および基準画像の少なくとも一方がドラッグされて互いに接近したことを検出する接近判断手段、および接近判断手段がオリジナル画像と基準画像との接近を検出したとき、オリジナル画像を基準画像にモーフングした合成後画像をスクリーンに表示する合成後画像表示手段を備える、画像合成装置である。
【0007】
請求項1の発明では、オリジナル画像と基準画像とをランダムな態様で移動するように、スクリーン上に、たとえばプロジェクタで表示する。他方、位置検出手段は、スクリーンにオペレータの手がタッチしたかどうか、さらにはそのタッチした位置がどこか検出する。スクリーン上でオリジナル画像および基準画像が移動表示されているとき、オペレータが、2つの画像(の位置のスクリーン)にタッチし、それをドラッグして互いに接近させると、接近判断手段がオリジナル画像と基準画像との接近を判断する。応じて、合成後画像表示手段が、オリジナル画像が基準画像にモーフィングされている合成後画像を表示する。
【0008】
この請求項1の発明では、大画面スクリーンを用いてオリジナル画像や基準画像そして合成後画像を大勢の観客に一度に観賞させることができるので、画像合成装置をエンターテインメント用途に展開できる。しかも、大画面スクリーン上で移動表示されているオリジナル画像や基準画像をオペレータがタッチしてドラッグすると合成後画像が表示されるので、そのオリジナル画像や基準画像から合成後画像への変化を観客に見せることができるので、観客に驚きと興奮、感動を与えることができる。
【0009】
請求項2の発明は、接近判断手段はオリジナル画像と基準画像との間の距離が所定値より小さくなったとき、2つの画像の接近を判断する、請求項1記載の画像合成装置である。
【0010】
請求項3の発明は、合成後画像表示手段は、オリジナル画像とともに合成後画像をスクリーンに表示する、請求項1または2記載の画像合成装置である。
【0011】
請求項3の発明では、合成後画像とオリジナル画像と同時に表示するので、その変化または落差がより際立って表示できる。
【0012】
請求項4は、複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておくメモリ手段をさらに備え、移動表示手段はメモリ手段に保存しているオリジナル画像および基準画像を読み出して移動表示し、合成後画像表示手段はメモリ手段に保存している合成後画像を読み出して表示する、請求項1ないし3のいずれかに記載の画像合成装置である。
【0013】
請求項4の発明では、各画像を予めメモリ手段に登録しておくので、たくさんの数や種類の画像を表示することができるし、オリジナル画像の特徴抽出などのリアルタイムでの作業が省略できるので、合成後画像をスムーズに表示することができる。
【発明の効果】
【0014】
この発明によれば、大画面スクリーンを用いて、オペレータが指示したオリジナル画像や基準画像から変化した合成後画像化を観客に見せることができるので、画像合成装置をエンターテインメント用途に利用することができる。
【0015】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【0016】
図1に示すこの発明の実施例の画像合成装置10は、大画面タッチパネルまたはタッチスクリーンを構成する、たとえば250×180cm程度のサイズのプラスチックスクリーン12を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン12は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン12は完全な透明ではない。なぜなら、このプラスチックスクリーン12は、後述のプロジェクタ30から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン12は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム10では、図1に示すように、プラスチックスクリーン12の前方のオペレータ14が、自分の手16でプラスチックスクリーン12を直接タッチすることによって、プラスチックスクリーン12の上の位置(点または領域)を指示するからである。つまり、プラスチックスクリーン12には人間の手が触っても容易には変形しない程度の剛性が必要である。
【0017】
ただし、実施例ではプラスチックでスクリーン12を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【0018】
このプラスチックスクリーン12の前方上方には、スクリーン12の前面12aの全面に赤外光を投射するための赤外光源18が設けられる。この赤外光源18としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源18を設ける位置は基本的にはプラスチックスクリーン12のサイズに依存して決定されるが、実施例のプラスチックスクリーン12が上記サイズであれば、たとえば、赤外光源18は、プラスチックスクリーン12の前面12aから200−400cm離れた高さ200−300cmの位置に配置される。これらの数値は単なる例示である。赤外光源18から投射された赤外光はプラスチックスクリーン12の前面12aから入射し、このスクリーン12を透過して背面12bに至る。
【0019】
プラスチックスクリーン12の後方には、ミラー20が設けられる。このミラー20はプラスチックスクリーン12の背面12bの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン12がたとえば250×180cmであれば、ミラー20はたとえば150×110cm程度の大きさにされ、プラスチックスクリーン12の背面12bからたとえば200cm後方に配置される。これらの数値も単なる例示である。
【0020】
プラスチックスクリーン12の後方には、このミラー20の表面に合焦されたモノクロカメラ22が設けられる。このモノクロカメラ22には赤外フィルタ24が装着される。したがって、このカメラ22は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ22および赤外フィルタ24は赤外カメラに代えられてもよい。このカメラ22はミラー20を通してプラスチックスクリーン12の背面全面を撮影する。
【0021】
カメラ22からの映像信号は、図2からよくわかるように、A/D変換器28によって映像信号データに変換されて、コンピュータ26に入力される。
【0022】
この図1に示す実施例では、プラスチックスクリーン12の後方に、プロジェクタ30が設けられる。このプロジェクタ30は、前述のようにプラスチックスクリーン12の背面12bの全面に映像を投射するためのものである。実施例では、プロジェクタ30は、ミラー20を通して、背面12bの全面に投影できるようにされる。プロジェクタ30から投射された映像(光学像)は、ミラー20で反射されて、プラスチックスクリーン12の背面12bに投影される。したがって、このプラスチックスクリーン12の前面12aから、その投影された映像を見ることができる。
【0023】
なお、ミラー20を用いる理由は、プラスチックスクリーン12の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー20を省略することができる。この場合には、上述のカメラ22がプラスチックスクリーン12の背面12bの全域を直接撮影し、プロジェクタ30からプロジェクタスクリーン12の背面12bに映像が直接投射される。
【0024】
図2に示すように、コンピュータ26にはたとえば半導体メモリやハードディスクなどの内部メモリ32が内蔵されるとともに、必要に応じて、メモリインタフェース34を介して、半導体メモリやその他の記憶媒体からなる外部メモリ36が接続される。内部メモリ32は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ30を用いる場合には、内部メモリ32はさらに、プロジェクタ30のためのビデオメモリ(VRAM)としても用いられる。
【0025】
なお、外部メモリ36としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【0026】
なお、コンピュータ26は、さらに、ランプドライバ38を制御し、赤外光源18のオン/オフを制御するとともに、必要な場合には、その赤外光源18の輝度を調節する。
【0027】
なお、図2に示すように、この実施例の画像合成装置10では、後に説明するオリジナル画像(人間の顔画像)を入力するために、一例として、ディジタルカメラ40が用いられる。このディジタルカメラ40によって取得したオリジナル画像は、内部メモリ32の画像記憶領域42に格納される。
【0028】
詳しく説明すると、画像記憶領域42には、図3に示すように、オリジナルが記憶領域44、基準画像記憶領域46、および合成後画像記憶領域48が設定される。ディジタルカメラ40によって撮影したオリジナル画像は、オリジナル画像記憶領域44に記憶される。ただし、オリジナル画像は、その都度カメラ40で撮影して入力するのではなく、後述の基準画像と同様に、予め入力され登録されていてもよい。オリジナル画像記憶領域44には、1−N個のオリジナル画像が登録できる。
【0029】
なお、このオリジナル画像記憶領域44には、そのオリジナル画像から抽出した特徴部分を示すデータ(後述)が一緒に登録されることに留意されたい。
【0030】
基準画像記憶領域46に記憶される「基準画像」とは、オリジナル画像の特徴を基準画像中へモーフングすることによって合成後画像を作成する、そのときの「基準画像」を意味する。この実施例では、人間の顔画像をオリジナル画像とし、基準画像として動物の顔画像を用い、人間の顔の特徴を動物の顔画像(基準画像)中へモーフングする。実施例の基準画像として用いられる動物の顔画像は、コンピュータ26に入力され、基準画像記憶領域46に予め登録される。ただし、基準画像はその都度ディジタルカメラ40によって撮影して登録するようにしてもよい。基準画像記憶領域46には、1−M個の基準画像を登録することができる。
【0031】
後述のモーフィング動作によって合成した画像(合成後画像)は、合成後画像記憶領域48に記憶される。オリジナル画像がN個で、基準画像がM個のとき、NM個の合成後画像を作成できる。
【0032】
コンピュータ26の内部メモリ32には、上述の画像記憶領域42が形成される他に、モーフィングプログラム50が予め設定される。したがって、コンピュータ26は、このモーフィングプログラム50に従って後述の画像合成(モーフィング)動作を実行する。
【0033】
図1実施例の大画面タッチパネルシステム10では、先に概説したように、プラスチックスクリーン12の前方のオペレータ14が、手16でプラスチックスクリーン12を直接タッチすることによって、プラスチックスクリーン12の上の座標位置を指示する。そのタッチ位置の検出方法は、具体的には、同時係属中の特願2003−116122号に詳細に説明されるので、引用によってその説明を取り入れるが、ここでは簡単にその原理を説明する。
【0034】
プラスチックスクリーン12の前にオペレータが立って、その手16で、図1に示すようにプラスチックスクリーン12の前面12aの任意の場所を押さえ(タッチし)、その状態で、コンピュータ26は、赤外線カメラ22からの図4に示すような映像のピクセルデータを取り込む。そして、コンピュータ26は、このピクセルデータを処理することによって、たとえば図5に示す適正サイズの黒領域のデータのみを残し、残った適正黒領域の中心座標をタッチ点(または領域)のデータとして、検出する。
【0035】
ただし、スクリーン12を同時にタッチする手が2つ以上であっても、コンピュータ26はそれぞれの手のタッチ位置を個別に同定することができる。
【0036】
この実施例の画像合成装置10では、大きく分けて、「エントリプロセス」と「表示プロセス」とが実行される。エントリプロセスとは、オリジナル画像である人間の顔画像を入力し、そのオリジナル画像と、予め登録しておいた基準画像である動物の顔画像とを合成し、その合成後画像を合成後画像記憶領域48(図3)へ登録しておく動作であり、具体的には、図6のフローチャートに従って、実行される。
【0037】
図6の最初のステップS1では、たとえばディジタルカメラ40(図2)を用いて、人間の顔を撮影し、その顔画像をオリジナル画像としてコンピュータ26に入力し、内部メモリ32の画像記憶領域42のオリジナル画像記憶領域44中に保存する。
【0038】
なお、このステップS1で、カメラ40を使わず、予め登録してあるオリジナル画像を入力する場合には、オリジナル画像記憶領域44に登録してあるオリジナル画像のサムネイルのような縮小画像を一覧表示し、その一覧画像にタッチすることによって選択するようにしてもよい。
【0039】
ついで、ステップS3において、入力したオリジナル画像をスクリーン12上に表示する。具体的には、コンピュータ26(またはコンピュータ26の指示に従って動作する変換回路(図示せず))は、そのオリジナル画像の画像データに基づいて表示データ(たとえばビデオデータ)を作成し、その表示データをVRAM(内部メモリ32)を通してプロジェクタ30に入力する。したがって、このステップS3で、図7に示すようなオリジナル画像がスクリーン12に表示される。
【0040】
続くステップS5では、コンピュータ26は、オリジナル画像(人間の顔画像)における特徴を入力する。実施例では、5つの特徴部分が想定されていて、それは、輪郭、眉、目、鼻、および口である。このステップS5は、図1に示すようにスクリーン12の前のオペレータ14が特徴部分を指定する。
【0041】
図7のようにオリジナル画像を表示した状態で、オペレータ14は、その手16でオリジナル画像の顔の輪郭をなぞる。オペレータ14の手16がスクリーン12にタッチすると、その点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次ずらせて顔の輪郭をなぞることによって、特徴の1つである、図7に示す輪郭Cが入力できる。この輪郭Cの特徴データは、図3に示すオリジナル画像記憶領域44に、対応するオリジナル画像とともに、格納される。他の特徴データも同様である。
【0042】
なお、輪郭Cの特徴データは、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、輪郭Cを形成する主要な点、たとえば頭頂点、顎の先の点、左右の頬または耳の位置などの不連続な点の点データとして登録されてもよい。
【0043】
次に、オペレータ14は、同じくスクリーン12上をなぞって、左右の眉を示す線BLおよびBRを入力する。その方法は、オペレータ14がスクリーン12に表示された図7のオリジナル画像の眉の部分をタッチしてなぞる。オペレータ14の手16がスクリーン12にタッチするとその点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次ずらせて眉の上をなぞることによって、特徴の1つである、図7に示す眉MR,MLが入力できる。この特徴データMR,MLもオリジナル画像記憶領域44に登録される。
【0044】
この眉データも、連続する点位置で表す線データとして登録されてもよいが、処理を簡単にするためには、たとえば目頭側始点、目尻側終点、およびその中間位置のような不連続な点の点データとして登録されてもよい。
【0045】
続いて、オペレータ14は、図7のようにスクリーン上に表示されたオリジナル画像の左右の目の特徴点に手でタッチすることによって、図7に示す特徴点EL1−EL5およびER1−ER5を設定する。オペレータ14の手16がスクリーン12にタッチするとその点の位置情報が上述のようにしてコンピュータ26に取り込まれるので、その手16を順次置き換えて各特徴点の位置データを得る。この特徴データEL1−EL5およびER1−ER5もオリジナル画像記憶領域44に登録される。
【0046】
オペレータ14は、さらに図7のオリジナル画像の鼻の先端の位置でスクリーン12に手でタッチすることによって、図7に示す鼻の特徴点Nを設定する。この鼻の特徴データNもオリジナル画像記憶領域44に登録される。
【0047】
さらに、オペレータ14は、図7のようにスクリーン上に表示されたオリジナル画像の口の特徴点に手でタッチすることによって、図7に示す特徴点M1−M5を設定する。オペレータ14の手16を、スクリーン12上のオリジナル画像の口の所定点位置にタッチするとその点の位置情報が口の特徴点データとして入力される。この特徴データM1−M5もオリジナル画像記憶領域44に登録される。
【0048】
このようにして、図5のステップS5での「特徴入力」が行なわれる。
【0049】
続くステップS7において、コンピュータ26は、基準画像を入力し、保存する。この実施例の場合、基準画像は予め登録しているので、このステップS7では、具体的には、その中から1つ以上の基準画像を選択することになる。つまり、基準画像記憶領域46に予め登録してある多数の基準画像のサムネイルのような縮小画像をスクリーン12上に一覧表示し、その一覧画像(の位置のスクリーン12)にタッチまたは指定することによって、必要な1つまたは2以上の基準画像を選択する。
【0050】
続いて、ステップS9で、コンピュータ26は、選択した基準画像の表示データをプロジェクタ30に与えて、基準画像をスクリーン12上に表示する。
【0051】
図8に、スクリーン12上に1つのオリジナル画像O1と複数(実施例では3つ)の基準画像R1、R2、R3とを並べて表示した表示例が図解される。この表示例では、オリジナル画像O1は大人の男性の顔画像で、3つの基準画像R1、R2、R3は、それぞれ、ゴリラ、ハムスター、ライオンの顔画像である。この基準画像の動物の種類は任意に変更できる。
【0052】
続いて、ステップS11で、合成操作を行なう。オペレータ14が図8のようにスクリーン12上に表示されているオリジナル画像O1とどれか1つの基準画像とに両手で同時にタッチすることによって、すなわち1つのオリジナル画像と1つの基準画像とを同時に指定することによって、このステップS11が開始される。つまり、オリジナル画像の表示位置や基準画像の表示位置は予めコンピュータ26には判明しているので、両手でオリジナル画像と基準画像に同時にタッチしてそれらを指定したことを検出できる。
【0053】
画像合成の具体的な動作は、すでによく知られたところであり、ここでは、詳細な説明は省略する。モーフィング方式にはいくつか方式があり、たとえば「クロスディゾルブ方式」と「ワーピング方式」とがある。クロスディゾルブ方式は、オリジナル画像をフェードアウトさせていき、基準画像をフェードインさせていくもので、ワーピング方式はそれぞれの画像のポイントを対応させることで、形全体が対応させた場所へ移っていくようにするものである。実施例のモーフィング方式は、どちらかといえばワーピング方式に近く、先にステップS5で抽出したオリジナル画像の特徴部分で基準画像の特徴部分を置き換える方式である。このとき、オリジナル画像と基準画像との混合比を変更することで、オリジナル画像のイメージメを多く残すのか、基準画像のイメージを大きくするかを設定できる。ただし、実施例のデフォルトでは、オリジナル画像を0.8、基準画像を0.2として混合し、特徴部分以外では、基準画像を100%としている。したがって、特徴部分以外では、全てその基準画像(動物の画像)が表示される。
【0054】
なお、モーフィングの方法としては、先に引用した、本件出願任の出願に係る、特開2003−44866号や、特開2004−102359号に開示されている技術を利用することも利用できる。これらの技術は「FUTON」と呼ばれてよく知られたところである。
【0055】
ステップS11で画像合成(モーフィング)が終了すると、次のステップS13で、その合成後画像を図3の合成後画像記憶領域48に保存する。オリジナル画像がオリジナル画像1で基準画像が基準画像1の場合、そのときの合成後画像は、合成後画像11として保存される。
【0056】
その後、ステップS15で、コンピュータ26は、オリジナル画像O1と合成すべき基準画像がまだ残っているかどうか判断する。図8の例では2つの基準画像が未処理なので、このステップS15で“YES”となり、先のステップS7に戻り、基準画像R2(ハムスター)について、それ以後のステップS7−S15が繰り返し実行される。
【0057】
この繰り返しが、基準画像R3(ライオン)についても実行される。
【0058】
未処理基準画像がなくなればステップS15で“NO”が判断されるので、コンピュータ26は次のステップS17で、未処理オリジナル画像が残っているかどうか判断する。そして、未処理オリジナル画像があれば、先のステップS1へ戻って、上述の処理を繰り返し実行する。ステップS17で“NO”が判断されると、コンピュータ26は、次のステップS19で、合成後画像を表示する。
【0059】
図9がその合成後画像の一例を示す。この表示例では、スクリーン12上に、オリジナル画像O1と、その下方に、図8の3つの基準画像のそれぞれとオリジナル画像とを合成(モーフィング)した後の合成後画像MD(MorpheD)1,MD2,MD3が表示される。この合成後画像では、いずれも、オリジナル画像の目や鼻、口などの特徴が、動物の顔画像中にモーフィングされている。
【0060】
なお、ここで説明した実施例では、ステップS3およびS9で図8に示すように、オリジナル画像と基準画像とを並置して表示させ、その後、ステップS19で、図9に示すように、オリジナル画像と合成後画像とを並置して表示するようにした。この図8の表示と図9の表示との間に一定時間を置くことが、観客の興味を引くという点では、望ましい。
【0061】
最近のコンピュータのハードウェアの進化とそれに伴う処理の高速化を考えれば、図8から図9へモーフィングするには、実際にはごく僅かな時間で済む。したがって、モーフング後の画像をモーフィングが終了すると同時に表示するとすれば、図8の状態から図9の状態へは瞬時にして転換されてしまう。そうすると、その表示を見ている観客が合成前から合成後への切り替わりを見過ごしてしまうことが考えられる。それでは、観客の驚きは小さく、感動の少ないものとなってしまう。
【0062】
そこで、ステップS11がごく短時間で終了しても、図8の表示状態を一定時間たとえば5秒継続し、その後、図9の表示状態に切り替えるとすれば、観客が注視しているときに「前」から「後」に変化するので、観客には、一層大きな感動を与えることができる。そのために、一実施例では、図6のステップS17とステップS19との間に、「一定時間経過したか?」という判断をするステップを追加し、その判断ステップで“YES”となったときにステップS19を実行するようにしている。
【0063】
ここまでで、図6のエントリプロセスが終了する。つづいて、表示プロセスについて、図10のフローチャートを参照して説明する。
【0064】
実施例の表示プロセスでは、大画面スクリーン12上に、1つの以上のオリジナル画像と1つ以上の基準画像とを流れるようにまたは飛翔するように、ランダムな態様で、移動表示させ、オペレータまたはユーザがオリジナル画像と基準画像とに同時にタッチしてそれらをドラッグして一定距離まで近づけたとき、オリジナル画像と合成後画像とを同時に表示させることによって、観客に衝撃や感動を与えるものである。
【0065】
図10の最初のステップS21および次のステップS23で、コンピュータ26は、オリジナル画像および基準画像をたとえば図11において矢印で示すように移動表示する。ただし、このとき表示するオリジナル画像の数や基準画像の数あるいは種類は適宜設定できるが、オリジナル画像は、少なくとも先にエントリプロセスでオリジナル画像を登録した人間のオリジナル画像を含むこととする。また、基準画像も、たくさんの基準画像のなかで、エントリプロセスで合成に利用した基準画像は少なくとも含ませるようにする。
【0066】
ついで、ステップS25およびS27で、コンピュータ26は、タッチスクリーン12にオペレータが両手で同時にタッチしたかどうか判断する。ステップS25またはS27で“NO”なら先のステップS21に戻るが、ともに“YES”のとき、次のステップS29で、コンピュータ26は、同時にタッチした両手が、一方はオリジナル画像にタッチしていて、他方は基準画像にタッチしているかどうか判断する。“NO”なら、先のステップS21に戻る。ただし、ここで「両手」とは2つの手という意味で、1人の人間の両手である必要はなく、別々の人間の1つずつの手でも「両手」と考える。
【0067】
ステップS29で、オリジナル画像と基準画像とに同時にタッチされたことを検出すると、コンピュータ26は、次のステップS31で、2つの画像がドラッグされて接近させられたかどうか判断する。もし、図12に示すように、2つの画像をドラッグして両者を接近させたとすると、2つの画像間の距離Dが所定値以下になったとき、このステップS31で“YES”が判断できる。ただし、2つの画像互いに接近させるためには、図12のように両方の画像をともにドラッグで移動させる方法だけでなく、一方の画像にはタッチしているだけで移動させず、他方の画像だけをドラッグして一方の画像に接近させる方法がある。いずれにしても、接近判断手段を構成するステップS31で“YES”が判断されたときには、コンピュータ26は、次のステップS33において、一定時間の経過を待つ。
【0068】
一定時間が経過すると、次のステップS35において、図13に示すように、スクリーン12上の適宜の位置に、オリジナル画像O1と、合成後画像MD1とを同時に表示する。したがって、このような表示プロセスによれば、図11のように移動表示されるオリジナル画像と基準画像とをタッチしてドラッグすると、2つの画像をモーフィングした画像が図13のように表示されるので、スクリーン12を見ている観客に驚きと喜びを与えることができる。
【0069】
なお、ここで、正しい合成後画像MD1がメモリから読み出されて表示されるのは、オリジナル画像と基準画像とが同時に指定されたとき、そのオリジナル画像のアドレスや識別子および基準画像のアドレスや識別子に基づいて、それらをモーフィングした合成後画像のアドレスや識別子が指定され得るからである。
【0070】
ただし、合成後画像を表示するためには、実施例では、先のエントリプロセスで予め作成しておいて合成後画像を合成後画像記憶領域48(図3)から読み出して表示するようにしている。したがって、仮に、この合成後画像記憶領域48合成後画像を登録していない基準画像をステップS29で選択したときには、コンピュータ26は、その時点で図6のステップS11を実行してリアルタイムで合成後画像を作成するようにすればよい。
【0071】
これに対して、エントリプロセスで合成後画像を登録していない基準画像が選択されたときには、たとえドラッグして2つの画像を接近したとしても、合成後画像を表示せいず、選択したオリジナル画像および基準画像を再び移動表示させるように処理することも考えられる。
【0072】
また、上述の実施例では、エントリプロセスで合成後画像を予め準備したが、このエントリプロセスを省略して、全てリアルタイムで処理することも考えられる。しかしながら、この場合には特徴抽出(ステップS5:図6)などに手間がかかると、観客の興味が薄れてしまうことが考えられるので、少なくとも特徴入力まではエントリプロセスで前もって処理しておくことが望ましい。
【0073】
なお、上述の実施例では、スクリーン12の位置を指示するためにオペレータの手でスクリーンをタッチするようにした。しかしながら、たとえばスクリーンが高いところに設置されている場合など、手が届きにくい。その場合には、手に代えて、何か別の赤外光を遮ることができる部材(指示棒)を用いることが考えられる。要は、赤外光を遮蔽すればスクリーン12上の位置が指定できる。
【0074】
さらに、上述の実施例ではプラスチックスクリーン12の前方から赤外光源18によって赤外光をスクリーン上に照射し、他方コンピュータ26はカメラ22の映像信号スクリーン12の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン12を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ26はカメラ22からの映像信号を分析して赤外光が存在する領域(赤外光領域)を検出するようにすればよい。
【0075】
さらに、上述の実施例の表示プロセスにおいては、スクリーン12上で移動表示されているオリジナル画像と基準画像とを同時に指定し、その少なくとも一方をドラッグして両者を接近されたとき、合成後画像を表示するようにした。しかしながら、ここでのドラッグを省略することも可能である。つまり、ステップS29(図10)で“YES”が判断されるとそのままステップS33に進むことも考えられる。この場合には、オリジナル画像と基準画像とを同時に指定しただけで、合成後画像が表示されることになる。
【0076】
さらに、上述の実施例では、エントリプロセスと表示プロセスの両方とも大画面スクリーン12を用いて実行または進行させるようにした。しかしながら、表示プロセスは観客への同時提示の必要からスクリーン12を用いるが、エントリプロセスは別のパソコンやワークステーションを利用して実行するようにしてもよい。
【0077】
たとえば会場へ入場の受付の場所にエントリ用のパソコンを設置しておき、希望者の顔写真をディジタルカメラで撮影し、そのエントリ用パソコンを利用してエントリプロセスを進め、オリジナル画像や合成後画像をサーバ(図示せず)に登録し、そのサーバを用いて表示プロセスを行なうことが考えられる。
【0078】
この場合、エントリ用パソコンの数を増やせば、たくさんの入場者が集中してエントリする場合にも対応可能である。
【図面の簡単な説明】
【0079】
【図1】図1はこの発明の一実施例の画像処理装置を示す図解図である。
【図2】図2は図1の実施例のブロック図である。
【図3】図3は図1の実施例における画像記憶領域を詳細に示す図解図である。
【図4】図4は図1の実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図5】図5はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【図6】図6は図1の実施例におけるエントリプロセスの動作を示すフロー図である。
【図7】図7はスクリーンに表示されたオリジナル画像とその特徴部分を示す図解図である。
【図8】図8は図1の実施例においてオリジナル画像と基準画像とを並置して表示した表示例を示す図解図である。
【図9】図9は図1の実施例においてオリジナル画像と合成後画像とを並置して表示した表示例を示す図解図である。
【図10】図10は図1の実施例における表示プロセスの動作を示すフロー図である。
【図11】図11はその表示プロセスにおいてオリジナル画像と基準画像とをスクリーン上で移動表示している状態を示す図解図である。
【図12】図12は2つの画像を接近させた状態を例示する図解図である。
【図13】図13は表示プロセスにおいてオリジナル画像と合成後画像とを表示した状態を示す図解図である。
【符号の説明】
【0080】
10 …画像処理装置
12 …クスクリーン
16 …手
26 …コンピュータ
30 …プロジェクタ
32 …内部メモリ
40 …ディジタルカメラ
42 …画像記憶領域
44 …オリジナル画像記憶領域
46 …基準画像記憶領域
48 …合成後画像記憶領域
【特許請求の範囲】
【請求項1】
大画面タッチスクリーンを用いる画像合成装置であって、
前記大画面タッチスクリーンは
赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、および
前記赤外カメラからの映像信号に基づいて前記スクリーン上で指示している位置を検出する位置検出手段を含み、さらに
前記スクリーンにオリジナル画像および基準画像を移動表示する移動表示手段、
前記位置検出手段で検出した位置データに基づいて、前記オリジナル画像および前記基準画像の少なくとも一方がドラッグされて互いに接近したことを検出する接近判断手段、および
前記接近判断手段が前記オリジナル画像と前記基準画像との接近を検出したとき、前記オリジナル画像を前記基準画像にモーフングした合成後画像を前記スクリーンに表示する合成後画像表示手段を備える、画像合成装置。
【請求項2】
前記接近判断手段は前記オリジナル画像と前記基準画像との間の距離が所定値より小さくなったとき、2つの画像の接近を判断する、請求項1記載の画像合成装置。
【請求項3】
前記合成後画像表示手段は、前記オリジナル画像とともに前記合成後画像を前記スクリーンに表示する、請求項1または2記載の画像合成装置。
【請求項4】
複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておくメモリ手段をさらに備え、
前記移動表示手段は前記メモリ手段に保存しているオリジナル画像および基準画像を読み出して移動表示し、前記合成後画像表示手段は前記メモリ手段に保存している合成後画像を読み出して表示する、請求項1ないし3のいずれかに記載の画像合成装置。
【請求項1】
大画面タッチスクリーンを用いる画像合成装置であって、
前記大画面タッチスクリーンは
赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、および
前記赤外カメラからの映像信号に基づいて前記スクリーン上で指示している位置を検出する位置検出手段を含み、さらに
前記スクリーンにオリジナル画像および基準画像を移動表示する移動表示手段、
前記位置検出手段で検出した位置データに基づいて、前記オリジナル画像および前記基準画像の少なくとも一方がドラッグされて互いに接近したことを検出する接近判断手段、および
前記接近判断手段が前記オリジナル画像と前記基準画像との接近を検出したとき、前記オリジナル画像を前記基準画像にモーフングした合成後画像を前記スクリーンに表示する合成後画像表示手段を備える、画像合成装置。
【請求項2】
前記接近判断手段は前記オリジナル画像と前記基準画像との間の距離が所定値より小さくなったとき、2つの画像の接近を判断する、請求項1記載の画像合成装置。
【請求項3】
前記合成後画像表示手段は、前記オリジナル画像とともに前記合成後画像を前記スクリーンに表示する、請求項1または2記載の画像合成装置。
【請求項4】
複数のオリジナル画像および複数の基準画像、ならびに各オリジナル画像を各基準画像にモーフィングした複数の合成後画像を保存しておくメモリ手段をさらに備え、
前記移動表示手段は前記メモリ手段に保存しているオリジナル画像および基準画像を読み出して移動表示し、前記合成後画像表示手段は前記メモリ手段に保存している合成後画像を読み出して表示する、請求項1ないし3のいずれかに記載の画像合成装置。
【図1】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図4】
【図2】
【図3】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図4】
【公開番号】特開2006−48415(P2006−48415A)
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願番号】特願2004−229196(P2004−229196)
【出願日】平成16年8月5日(2004.8.5)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成16年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第30条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
【公開日】平成18年2月16日(2006.2.16)
【国際特許分類】
【出願日】平成16年8月5日(2004.8.5)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成16年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第30条の適用を受ける特許出願
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】
[ Back to top ]