電子画像のリアルタイムパーソナライゼーション方法及びシステム
【課題】電子画像のパーソナライゼーションをリアルタイムで行う。
【解決手段】システム１０は、メモリ１６に記憶されたコンピュータが実行可能な命令群を実行するプロセッサ１４を備える。命令群は、電子画像内のある平面上にあると考えられる四辺形２８の各頂点の入力座標を受け取る処理、データベースから1以上の可変テキスト文字列３２を読み出す処理、各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換３０を行う処理、矩形のテキストボックスの各頂点を四辺形の各頂点に移動させるよう矩形のテキストボックスに対して非線形投影変換２４を行う処理、変換された各可変テキスト文字列を、それぞれ電子画像の各バージョンの上の四辺形内にレンダリングする処理、のための命令群を含む。またシステム１０は、四辺形内に可変テキスト文字列が配置された電子画像を印刷するプリンタ２２を備える。
【解決手段】システム１０は、メモリ１６に記憶されたコンピュータが実行可能な命令群を実行するプロセッサ１４を備える。命令群は、電子画像内のある平面上にあると考えられる四辺形２８の各頂点の入力座標を受け取る処理、データベースから1以上の可変テキスト文字列３２を読み出す処理、各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換３０を行う処理、矩形のテキストボックスの各頂点を四辺形の各頂点に移動させるよう矩形のテキストボックスに対して非線形投影変換２４を行う処理、変換された各可変テキスト文字列を、それぞれ電子画像の各バージョンの上の四辺形内にレンダリングする処理、のための命令群を含む。またシステム１０は、四辺形内に可変テキスト文字列が配置された電子画像を印刷するプリンタ２２を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、画像パーソナライゼーションシステム及び方法に関する。この明細書に記載するシステム及び方法はコンピューティングシステムにおける電子画像形成に関するが、記載した技術が、他の画像形成システム、他の電子写真応用分野、及び／又は他の画像化（イメージング）方法にも応用可能であることは理解できるであろう。
【背景技術】
【０００２】
画像パーソナライゼーション（画像の個人化：画像を個々人向けにカスタマイズすること）は、印刷応用分野において近年注目されつつあり、XMPie社の"uImage"、Alphapictures社及び DirectSmile社のパッケージをはじめとする多くのアプリケーションが存在している。これらのパッケージは、それぞれ異なる特徴や強みを有しているが、すべて複雑なシーンを取り扱うものである。これには自動車のフロントガラスなどの曲面や、雪や砂、葉などに書かれたように変化するテキスト特徴などを含んでいる。
【０００３】
応用分野がカレンダー、絵はがき、及び自然な風景の画像を表示する他の種類の人工物等を含んでいるので、すべてのシステムで、写真のようにリアルな結果を狙っている。既存のソリューションでは、これらパーソナライズ（個人化。すなわち画像の少なくとも一部を個々人向けに変更、調整すること）された画像はしばしば煩雑で複雑であり、デザイナーの役割、又はあらかじめ選んだ写真の使用に高いレベルの熟練や経験を必要とする。更に、レンダリングのエフェクトを洗練されたものとするには、コンピュータ演算や記憶容量が相当必要となり、オフラインで実行するか、専用のハイエンドのサーバを用いるかしなければならない。
【０００４】
上述の３つのパッケージはすべて、それぞれ自分の応用分野では高品質の人工物を生成するが、それらのどれも、リアルタイムのデジタルフロントエンド（ＤＦＥ）を用いる処理及び印刷には適用することができず、したがって通常は印刷生成のためのラスターイメージプロセッサ（ＲＩＰ）の一部ではない。このことは、そのマシンに通信しなければならないデータの量が大量であること（例えば、各画像はそれぞれ固有のものであり個別に送信される）にもよる。画像の部分を送信するという方法はあるが、それにはそれで固有の問題がある。ここで、そして以下の部分では、「リアルタイム」（実時間）という用語は、出力装置の実際の印刷速度に匹敵する処理速度を指し示すのに用いることとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１０９９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の欠点を克服しつつも、可変データ画像を単純なやり方で生成すると共に、データ転送や上流での処理を更に要求することのないシステム及び／又は方法が必要であるという、未解決の要望がある。
【課題を解決するための手段】
【０００７】
この明細書に記載する様々な側面に関して、単純且つ高速な方法でパーソナライズ（個人化）した画像の生成を支援するシステム及び方法について記載する。例えば、印刷のための電子画像のリアルタイムパーソナライゼーション方法では、電子画像内に表された平面上にあると考えられる四辺形の各頂点についての入力座標を受け取り、データベースから１つ又は複数の可変文字列読み出し、各文字列が矩形のテキストボックスが適合するようにアフィン変換を実行する。この方法では、その矩形テキストボックスの頂点を前記四辺形の頂点へと動かすよう、その矩形テキストボックスに対して非線形の投影変換を実行し、変換後の各文字列を、前記電子画像の各バージョン上の前記四辺形内に描画する。
【０００８】
この明細書に記載する別の側面では、電子画像のリアルタイムパーソナライゼーションのためのシステムは、メモリに格納されたコンピュータが実行可能な命令群であって、電子画像内に表された平面上にあると考えられる四辺形の各頂点についての入力座標を受け取るため及びデータベースから１つ又は複数の可変文字列を読み出すための命令群を含むコンピュータ実行可能な命令群を実行するプロセッサを備える。このプロセッサは、各文字列を矩形のテキストボックスに合わせるようにアフィン変換を実行するため、その矩形テキストボックスの頂点を前記四辺形の頂点へと動かすよう、その矩形テキストボックスに対して非線形の投影変換を実行するため、及び変換後の各文字列を前記電子画像の各バージョン上の前記四辺形内にレンダリング（描画）するため、の命令群を実行する。このシステムは、更に、前記電子画像上の前記四辺形内に前記文字列が配置された前記電子画像を印刷するプリンタを備える。
【０００９】
更に別の特徴は、電子画像をパーソナライズする方法に関する。この方法では、電子画像内の平面状の表面を識別し、その平面上の四辺形の輪郭を画定し、アフィン変換を用いて可変文字列を矩形テキストボックスに挿入する。この方法では、更に、非線形変換を用いることにより前記矩形テキストボックスを前記四辺形に投影し、投影後の可変文字列をその電子画像状の前記平面上の表面上に描画し、変更後の電子画像を出力する。
【図面の簡単な説明】
【００１０】
【図１】電子画像に対する文字列のオーバーレイ（重畳）をリアルタイムで行って複数の異なった文字列を含んだ電子画像を印刷する、画像パーソナライゼーションシステムを例示する図である。
【図２】原点Ωに位置するカメラを用いた、頂点Ａ’Ｂ’Ｃ’Ｄ’を有する矩形から頂点ＡＢＣＤを有する四辺形への投影変換を説明するための図である。
【図３】固定の矩形に可変テキストを配置するための複数の解決手法を説明するための図である。
【図４】ビルディングの電子画像を示す図である。
【図５】四辺形のオーバーレイが行われたビルディングの電子画像を示す図である。
【図６】文字列がオーバーレイされたビルディングの電子画像を示す図である。
【図７】画像のパーソナライズのためにテキストをオーバーレイするための四辺形をユーザが指定可能な平面を有する書籍の画像を示す図である。
【図８】テキストが挿入された９つの異なるユーザ指定の四辺形を示す図である。
【図９】視覚的な支援や視覚的な参照なしで、与えられた画像上で４点をクリックすることにより四辺形が生成された別の画像を示す図である。
【図１０】視覚的な支援や視覚的な参照なしで、与えられた画像上で４点をクリックすることにより四辺形が生成された別の画像を示す図である。
【図１１】この明細書に記載した様々な側面に関して、電子画像をリアルタイムでパーソナライズする方法の例を示す図である。
【発明を実施するための形態】
【００１１】
ここでは、可変データを写真のようにリアルにすることも許容しつつ（しかし必須とはせず）、「平らな」（すなわち平面状の）の面へのレンダリング（描画）を制限することにより、また変換データのいくつかを単純な非物理的な導出演算（non-physical derivation）で近似することにより、上述の問題を解決する。このようにして、見た目が十分にリアル（現実的）でありながらも、生成及び計算は非常に単純で、ＲＩＰ／ＤＦＥに実装可能なリアルタイム３Ｄ（三次元）近似が生成される。すなわち、画像に対するリアルなテキストのオーバーレイ（重畳）をリアルタイムで生成する。ここでの「リアル」は、テクスチャや照明その他の高次の要素を省略した、幾何学的な構造についてのことをいう。説明するシステム及び方法は、ＤＦＥに対して画像を１回送信した後で可変文字列を送信する例えばＸＭＰｉｅなどのＡＤＯＲ(Automatic Dynamic-Object Replacement: 自動ダイナミックオブジェクト置換)ワークフローのみならず、ＶＩＰＰ（Variable Information Postscript Printware）にも適用可能である。このように、このシステム及び方法は、データエントリごとに個別に完全に個別化した画像を送信する古典的な手法とは異なっている。そのような古典的な手法ではリアルタイムでは実行できない。このシステム及び方法のリアルタイム能力は、プリンタのアクティブなデバイス座標（例えばページ記述言語（ＰＤＬ）内のもの）を調整し、この一時的な座標系に、適切に変更されたデータ列をレンダリングすることにより実現される。なお、可変文字列とは、可変データ印刷（バリアブル印刷とも呼ばれる）で、印刷対象ごとに変更される文字列のことである。すなわち、可変データ印刷では、共通の定型（或いは背景）画像に対して、印刷対象（例えば顧客）ごとに異なる文字列をオーバーレイ（重畳）して印刷するが、その印刷対象ごとに異なる文字列を、可変文字列という。なお、共通の定型画像に、印刷対象ごとに個別の文字列を重畳して生成される、印刷対象ごとの印刷用画像のことを、以下では、印刷対象ごとの［バージョン］と呼ぶ。
【００１２】
このシステム及び方法は、すべての処理がＲＩＰ時（すなわち実際に印刷が行われるときに）にＤＦＥ上で実行されるＶＩＰＰシナリオにて動作可能なリアルタイム可変データ画像パーソナライゼーションを可能にする。このように、このシステム及び方法は、オフライン処理と大量のデータ転送（例えば、パーソナライズされた画像が個別に生成されて送信される場合）を必要とするシステムとは区別される。このように、この新機軸は、ハイエンド（計算資源を大量に要する）のアプリケーションと、テキストベースのパーソナライゼーションとの間のギャップを埋めるものであり、例えばトランスプロモーション（クレジットカードの月次明細書などの取引書類にプロモーションや広告を入れること）領域などといった現在のところ画像のパーソナライゼーションとなっていない領域において、より魅力のある文書を生成する能力を持つ。なお、画像のパーソナライゼーションとは、画像のうちの少なくとも一部分について、個々人向けに変更、追加、調整等を行うことである。また、このようなパーソナライゼーションを行うことを「パーソナライズする」という。また、可変データ又は可変文字列のアプリケーションとは、例えば、共通の画像（背景、帳票の定形など）に対して、対象（例えば顧客）ごとに異なるデータ又は文字列をオーバーレイすることで、個々の対象向けの画像データを生成するアプリケーションである。
【００１３】
図１には、電子画像に対するテキストのオーバーレイをリアルタイムで実行し、複数の異なるテキスト文字列を有する電子画像を印刷することを可能とする画像パーソナライゼーションシステム１０が例示されている。システム１０は、デジタルフロントエンド（ＤＦＥ）１２を備える。ＤＦＥ１２は、この明細書で説明する機能を実現するために、この明細書に記載した様々な方法及び／又は技術を実行するための一組又は複数組のコンピュータ実行可能な命令群を実行するプロセッサ１４と、それら命令群を格納するメモリ１６を備える。ＤＦＥ１２はユーザインタフェース（ＵＩ）１８に接続されており、ＵＩ１８はディスプレイ２０を備えている。ＵＩ１８及びＤＦＥ１２は更にプリンタ２２に接続されている。ユーザは、（例えばキーボード、マウス、スタイラスその他の適切な入力装置を用いて）ＵＩ１８に対して情報を入力し、ＤＦＥ１２及び／又はプリンタ２２により提供される情報をディスプレイ２０上で閲覧する。一つの側面では、ＵＩ１８及びディスプレイ２０は、ＤＦＥ１２及び／又はプリンタ２２に一体化されていてもよい。
【００１４】
メモリ１６には、投影変換（例えば非線形変換）２４、１つ又は複数の基準矩形（長方形）２６、及び、基準矩形が投影変換により投影（例えば変換）される投影先である１つ又は複数の四辺形２８、の情報が格納されている。メモリ１６には、更に、１つ又は複数のアフィン（例えば線形）変換３０が格納されている。アフィン変換３０は、テキスト文字列３２を四辺形２８に変換する前に基準矩形２６にフィットさせる（合わせる）ものであり、これによりテキスト文字列３２が、ＶＩＰＰデザイナー３５などを用いてオープンされた入力画像３４内の選択された平らな面にオーバーレイ（重畳）するために、基準矩形２６と共に変換すなわちゆがめられる。変換されたテキストが入力画像３４にオーバーレイされると、これにより変更された画像３６が、プリンタ２２での印刷のために及び／又はディスプレイ２０上への出力のために、メモリ１６に格納されるようにしてもよい。「変更された」画像は、元の入力画像と、その上にオーバーレイされた変換されたテキストとを含む。変換されたテキストのオーバーレイ以外に、入力画像は変更する必要がない。したがって、別の例では、変換されたテキストをメモリ１６に格納し、入力画像ファイルと同時に出力することにより、「変更された」画像を生成してもよい。
【００１５】
写真又はシーン（例えば電子画像内の）の中の平らなオブジェクトに関する例では、平面の任意の視点すなわちカメラポイントへの幾何学変換はよく知られている投影変換２４により記述することができる。この投影変換２４はプロセッサ１４で実行されると共に、メモリ１６に記憶される。この投影変換は、次のように表される。
【数１】
ここで、（ｘ，ｙ）は第１のカメラ視点すなわち基準のカメラ視点からみた当該平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置である。基準カメラの平面がオブジェクトの平面と平行であると仮定しても、一般性は失われない。同次座標での３×３の記述は、一般的なオブジェクトについての４×４変換よりも遙かに扱いやすい。この点は、後でｚ成分を２Ｄ（二次元）紙構造にマッピング（写像）する場合も同様である。なぜなら、二次元の平面では平面上のどの点についても視認性（見えるか否か）が変わらないからである。これに対し、三次元の面は影の（すなわち見えない）スポットに入ったり出たりする点を持つ。この隠れた領域は、もし取り扱うとするならば、完全なもっと複雑な三次元演算によって取り扱うことになろう。
【００１６】
この全体的なパーソナライズ画像方法はリアルタイム（例えばＶＩＰＰ）処理なので、式（１）の投影変換はページ記述言語（ＰＤＬ）ファイル３８（例えばPostscript（登録商標）又はその他の適切なＰＤＬ）にマップされる。この文脈では、一般的な透視変換は、Postscriptの基本的な行列変換概念の１つとしては入手不能である。この代わりに、カレント変換行列（ＣＴＭ: Current Transform Matrix）がメモリ１６に格納されたアフィン変換３０を介して実行される。このように、ＣＴＭアフィン変換３０が、テキスト３２を基準矩形２６内に仮想的にレンダリングするのに用いられる。
【００１７】
式（１）で表される透視変換により矩形２６を四辺形２８に変換する第２のステップがまだ残っている。Postscriptにおけるグラフィック（図形）要素の幾何学的変換のための更なるオプションをこの変換のために用いてもよい。特にテキストについては、「キャラクタパス」(charpath)は、Postscriptのネイティブのコマンドであり、指示された文字列についてのパス（経路）を与える。このcharpathデータは式（１）の行列により変換される。
【００１８】
このように、２つの変換、すなわちテキスト文字列ごとに異なる変換である（例えばＣＴＭを介する）アフィン変換３０と、この後に続く、charpathに加えられる透視変換２４（例えば固定の同次行列変換）とは、プロセッサ１４により連結される。このようにして、どのような背景画像３４についても、式（１）に到達するために逆行列の算出（matrix inversion）を１回だけ実行し、すべての可変文字列３２は同じ変換を再利用することができる。しかし、コンピュータのパワーに応じて、１つの変換を用い、各ジョブレコードについての同次行列の逆行列を求めた方が便利な場合もあることは理解されよう。
【００１９】
図１を更に参照しながら説明を続ける。図２は、カメラが原点Ωに位置する場合の、頂点Ａ’Ｂ’Ｃ’Ｄ’を有する矩形から頂点ＡＢＣＤを有する四辺形への透視変換を示す。投影５０は、矩形５４から凸四辺形５２への、３Ｄ空間内の任意の方向を持つ平坦な面上へ投影される変換（例えばプロセッサ１４で実行される）の例を表す。１つの例では、プロセッサ１４が、矩形５４から四辺形５２へ変換するための投影変換を実行する。この例では、四辺形の頂点Ａ，Ｂ，Ｃ，Ｄについての透視投影（破線）は、原点Ωから矩形における対応する頂点Ａ’，Ｂ’，Ｃ’，Ｄ’を通る方向に向かっている。他の例では、プロセッサがその変換行列の逆行列を投影から求める。
【００２０】
与えられた透視点について、サイズは任意であるが縦横比（アスペクト比）は一定の矩形を生成することができる。投影を矩形の右側に広げることが可能であることも理解されよう。透視点、例えば原点、を変えることにより、他の縦横比を達成することができ、これにより四辺形５２を任意の矩形５４にマッピング（写像）できることも理解されよう。この特徴により、システム１０は、任意の矩形をある与えられた四辺形にマッピングできる。変形行列の逆変換（逆行列の算出）のために、四辺形の座標Ａ，Ｂ，Ｃ，Ｄ（例えば画像中のその座標内にテキストがオーバーレイされる）が求められるか、又は検索され、任意の矩形の４頂点の座標も同様に計算又は検索される。この任意の矩形は、他の便利なパラメータに基づき選択されている。このようなパラメータは、投影のPostscript（ＰＤＬ）の部分に明示されている。
【００２１】
上述のように、どんな矩形でも四辺形ＡＢＣＤに変換できる。行列の逆変換（逆行列の算出）が任意の矩形Ａ’Ｂ’Ｃ’Ｄ’について実行されるので、レンダリング問題を低減するためには固定の基準矩形を用いて可変テキストを固定の矩形領域に配置することが望ましい。
【００２２】
受け手側の四辺形５２が現実の矩形オブジェクト投影であることを暗黙的に必要とするので、図２は既存のパッケージから明確に離れたものを表現していることに注意されたい。言い換えれば、画像内の四辺形は現実の三次元世界の中の実際の矩形を表現している。
【００２３】
図３は、可変テキストを固定の矩形に配置するための複数の解決方式６０を例示している。この例では「variable text」という文字列が、ある１つの矩形内に配置される。例えば、固定の矩形６１では、テキスト文字列が、固定の矩形の横幅にわたって延びている。矩形６２では、テキスト文字列が、その矩形をぴったり埋めるように、縦及び横方向に引き延ばされている。矩形６３では、その文字列の２つの単語が、その矩形内に、互いに縦に並ぶように配置され、単語「variable」がその矩形の横幅にわたって延びており、２つの単語がその矩形を縦方向について埋めるように延びている。矩形６４では、その文字列の２つの単語が矩形内に縦に並んで配置され、両方の単語が共に矩形を横方向に埋めるように引き延ばされているとともに、矩形を縦に埋めるように引き延ばされている。矩形６５では、その文字列の２つの単語が矩形内に縦に並んで配置され、矩形を横方向に埋めるように延びている。
【００２４】
図３から明らかなように、この実施形態の方法は、唯一の答えを出す必要はない。図２の矩形５４が四辺形５２にマッピングされるように、矩形６１から６５が１つの一つの四辺形にマッピングされるからである。このようにして、リアルタイム処理が可能になる。本質的には、ここに示す方法では、平面上の標準的なフォントに限定することで、テキストを受け取る面が平らなのでテキストの縦横比を正確に求める処理を実行する必要がなくなる。
【００２５】
図３の５つの異なる解決手法は、数学的な意味では「有効な」解決手法である。応用目的によっては、それの中の１つの解決手法が他のものよりもユーザに好まれる場合があるかもしれない。Postscriptでは、テキスト文字列内のなんらかの「空白」文字があるか否かを示す情報へのアクセスのみならず、入力文字列の縦横比に対するフルアクセスが、あらかじめ指定したどのようなフォントについても可能である。このようにアナモルフィック（歪像的）な拡大縮小（スケーリング）はある範囲に限られており、その情報に基づき異なる拡大縮小方式の間で切替を行うことが可能である。更に、必要ならば、テキスト文字列内の空白文字をラインブレーク（強制改行）に置き換えてもよい。
【００２６】
ＶＩＰＰアプリケーションでは、可変データ文字列は、データベースのフィールドから読み込まれる。したがって、そのデータベースフィールドの統計的な代表値である基準矩形の縦横比又はサイズをあらかじめ選択することができる。例えば、名前（氏名の名の方）フィールドは、名前の長さのメジアン（中央値）である６文字（米国人の名前の場合）（又はあらかじめ定められた他のなんらかの適切な文字数）であると仮定することができる。他の例では、縦横比ＡＲの推定値は四辺形から次のように求めることができる。
【数２】
【００２７】
この選択結果と図３に例示したレンダリング結果とを、ユーザ又はデザイナーに対してユーザインタフェース１８、例えばＶＩＰＰ ＰｒｏＰｕｂｌｉｓｈｅｒの一部などを介して提供することもできる。テキストを矩形に合わせる（フィッティングする）処理は、ＶＩＰＰ／Postscriptの標準的な機能である。図３の解決結果を生成するのに用いた拡大縮小の方法又は技術は、フィールドの属性として含まれるようにしてもよい。
【００２８】
図４〜図６は、この明細書に記載する技術を用いてテキストがオーバーレイされる画像の様々な段階を例示する図である。これらの図により、画像のリアルタイムのパーソナライゼーションがＶＩＰＰ及びＶＩＰＰ Ｄｅｓｉｇｎｅｒの中でどのようにして行われているのかを例示する。
【００２９】
図４は、ビルディング７２の電子画像を示す。この実施形態のシステム及び方法を用いて、カスタマイズされたテキスト文字列が画像７０内のビルディング７２の平面上にオーバーレイされる。このように、第１のステップとして、適切な背景画像が選択され、この背景画像はＶＩＰＰ Ｄｅｓｉｇｎｅｒ３５（図１）内でオープンすることができる。また、四辺形２８が人手で選択又はユーザにより入力されるようにしてもよい。
【００３０】
図５は、四辺形７４がオーバーレイされたビルディング７２の電子画像７０を示す。四辺形７４は、例えばユーザにより手で（例えば描くことで）指定してもよい。この四辺形７４の中に、テキスト文字列を、図６に示すようにレンダリングしてもよい。
【００３１】
図６は、テキスト文字列７６がオーバーレイされたビルディング７２の画像７０を示す。このテキスト文字列は、"Joe Smith's NY City vacation photos Jul 18, 2008"と読める。例えば、このテキスト文字列は、図１から図３を用いて説明したようにして、基準矩形に合わせる（フィットさせる）ことができ、この基準矩形をその四辺形７４へと変換し、その四辺形７４をビルディング７２上の選ばれた平面上にオーバーレイしてもよい。基準矩形内のテキストは、図６に例示した四辺形により画定される領域内にぴったりはまるように、基準矩形と共に調整すなわち変換される。このようにして、カスタマイズされたテキスト文字列７６は、プリンタ又はユーザインタフェースのディスプレイから出力するために、画像７０内のユーザが選択した領域（例えばその四辺形）にオーバーレイされる。
【００３２】
図６から分かるように、テキスト文字列７６は画像内に、視覚的に快い形で配置され、これはリアルタイムで行われている。例えば、テキスト文字列は、必ずしもビルディングのいかなる輪郭やテクスチャ（きめ）に従う必要なく、ビルディング上にオーバーレイされる。このようにして、ビルディングに付けられたレタリングのように見える。また、この例では、テキスト文字列は、画像に依存する照明状態の変化もなく、単一の色となっている。更に、ユーザが描いた四辺形は不正確かもしれず、またそのテキスト文字列を詳細に調べるとそのテキスト文字列はかすかに遠近法から逸脱していることが分かるかもしれない。しかし、図６の画像は明らかに使用に適したものであり、明確なパーソナライズされた属性を有している。しかし同時に図６は、処理速度のために写実的な品質を犠牲にしており、この実施形態の方法を従来の方法から区別するための好例となっている。
【００３３】
そこで、いくつかの単純化を行えば、どのようにリアルタイムで３Ｄの写実的なレンダリングを近似処理できるかを更に説明する。まず、受け手側の面は「平坦」である。これにより、レンダリングは、テキストを矩形にマッピングし、続いて矩形をその受け手側の四辺形にマッピングするという２ステップのリアルタイムの変換（変形）として実行することが可能になる。第２に、レンダリングされるテキストは、例えば、雪や砂などに書くなどの視覚的効果を許さず、単純なテキスト処理に制限してもよい。第３に、サイズや、セリフ／サンセリフの区別、フォント形状などといったテキストの性質は、画像内の他のテキストとは無関係である。例えば、地下鉄の標識に付加されるテキストの属性は、その標識上やその近くにある他のテキストとは正確に整合している必要はない。ビリヤード台上に付加されるテキストの属性は、その台の上の他のボールなどに正確に整合している必要はない。第４に、画像の受け手側である四辺形は、実際の三次元のシーン内の矩形を表現する。
【００３４】
これら４つの制約により、この方法で生成される画像は、精巧なシステムによって生成される画像とは視覚的な見栄えの点で区別できるものとなるが、さきに述べたように、それら制約によれば、広く用いられているＤＦＥ／ＲＩＰシステム上でのリアルタイム処理が可能になり、ひいては多くの状況において有利になる。
【００３５】
上の説明では、画像内の四辺形の最初の画定について特に述べなかった。１つの例では、この四辺形は、自動的に求められる。別の例では、その四辺形の四隅が、ユーザからの直接的な入力によって定められる。ここで、四隅は、４つの個別の点として、又は交わる複数の直線として、規定することができる。このように、様々なユーザインタラクション（コンピュータとユーザの対話・相互作用）により、この後に続く処理のための４点が画定される。
【００３６】
標準的なユーザが四辺形を生成する際の「精密さ」に対処するために、図７及び図８の例を以下に示す。図７の画像８０は、９人の異なるユーザに提供され、それら９人はテキスト文字列のオーバーレイを挿入するための四辺形を画定するように要求された。図８では、（図７に示される元の名前の文字列"David Owen"が削除された後に）名前の文字列"David Owen"が同じ画像に挿入されるとで、図８に示すように９つの結果が得られた。
【００３７】
図８を詳しく調べることで、真ん中下側の表現例のようないくつかの例は、幾何学的に不完全であることが分かる。しかし、９つの表現は、それでもなおすべて非常に有益である（例えば、トランスプロモーションへの利用などでは）。
【００３８】
図９及び図１０は、与えられた画像に対して、視覚的な補助や参照なしに４つの点をクリックすることで四辺形が生成される他の画像群を示している。この後、可変テキストが、ユーザにより生成された四辺形により輪郭が定められた領域の中にレンダリングされる。この例では、陽の逆行列演算（explicit matrix inversion）を用いてもよい。図９の変更した画像のレンダリング結果１００（バルコニーの入力画像に対して異なるテキスト文字列がそれぞれオーバーレイされている複数のバージョンを示している）では。図９は、既存の計算が複雑な方法との上述した区別を示している。文字「j」、「p」、「g」の並び線から下に延びた部分に見られるように、この方法では照明状態の変更を実行する必要がない。明るい日光から暗い陰への照明の変化を、それら文字の下に延びた部分に反映する必要がない。何度も言うが、この単純化は、説明したリアルタイムレンダリングを可能にするためのものである。
【００３９】
図１０の画像レンダリング結果（店舗正面の画像に異なるテキスト文字列をオーバーレイした複数のバージョンを示す）には、ＶＩＰＰに類似の構造を用いて画像上に様々な異なる名前がオーバーレイされている（例えば１つの写真とその上の複数の名前のレンダリング）。図９の場合と同様、店舗正面における木の影により生じる照明状態の変化が見られない点で、既存の方法との差が視認される。しかし、図９の場合と同様、トランスプロモーションのダイレクトメールなどのような大量生産物において注目を得るためのものとしては十分に写実的な品質が得られている。
【００４０】
図１１には、この明細書に記載した様々な側面に関連して、電子画像をリアルタイムでパーソナライズする方法が例示されている。ステップ１２０では、入力画像が受け取られる。入力画像は、例えば画像のデータベース（例えば、ユーザが取得又は選択した画像群を有する、ユーザによりあらかじめ生成された、及び／又は更新されたデータベース）から受信又は選択されるようにしてもよい。ステップ１２２では、四辺形の座標群が受け取られる。例えば、ユーザが、入力画像のグラフィカル表示上（例えばコンピュータ画面などの上）で、画像内の平面上の四辺形を規定する、四辺形の頂点群を入力又は選択する。ステップ１２４では、１つ又はそれ以上のテキスト文字列が、画像上にオーバーレイするためにデータベースから読み出される。例えば、ユーザは、画像上にオーバーレイするために１つ又はそれ以上のテキスト文字列をデータベースに入力しておいてもよい。データベースは、例えばスプレッドシート（表計算等で用いられる行と列からなる表）タイプのものでもよいし、リレーショナルデータベース等の他の形式のデータベースでもよい。
【００４１】
ステップ１２６では、テキスト文字列ごとに、基準矩形（例えばテキストボックス）内にそのテキスト文字列を配置するために、線形変換が実行される。ステップ１２８では、その基準矩形を四辺形に変換する非線形変換が実行される。すなわち、基準矩形を四辺形に変形するために、基準矩形の各頂点が四辺形の対応する頂点にそれぞれ再配置される。ステップ１３０では、ファイルが印刷のためにプリンタ（例えばマーキングエンジンなど）にダウンロードされる。ステップ１３２では、テキスト文字列データベースがＮ回（例えば１つのテキスト文字列につき１回）読み込まれ、画像がＮ回（例えば１つのテキスト文字列につき１回）印刷され、これにより各テキスト文字列が、画像の個別の具体例（印刷結果）上の四辺形内に印刷され、画像上にテキスト文字列がオーバーレイされた修正画像すなわち出力画像が生成される。
【００４２】
様々な上述した特徴やその他の特徴及び機能や、その代替例は、他の多くの異なるシステムやアプリケーションと組み合わせてもよい。また、これに対する現在のところ予想又は予期されていない代替例、変形例、バリエーション、又は改良などが今後当業者によりなされるかもしれないが、これらもこの後に続く特許請求の範囲に包含される。
【符号の説明】
【００４３】
１０ システム、１２ ＤＦＥ、１４ プロセッサ、１６ メモリ、１８ ＵＩ（ユーザインタフェース）、２０ ディスプレイ、２２ プリンタ、２４ 投影変換、２６ 基準矩形、２８ 四辺形、３０ アフィン変換、３２ テキスト文字列、３４ 入力画像、３６ ＶＩＰＰ／デザイナー、３８ 変更後の画像。
【技術分野】
【０００１】
この出願は、画像パーソナライゼーションシステム及び方法に関する。この明細書に記載するシステム及び方法はコンピューティングシステムにおける電子画像形成に関するが、記載した技術が、他の画像形成システム、他の電子写真応用分野、及び／又は他の画像化（イメージング）方法にも応用可能であることは理解できるであろう。
【背景技術】
【０００２】
画像パーソナライゼーション（画像の個人化：画像を個々人向けにカスタマイズすること）は、印刷応用分野において近年注目されつつあり、XMPie社の"uImage"、Alphapictures社及び DirectSmile社のパッケージをはじめとする多くのアプリケーションが存在している。これらのパッケージは、それぞれ異なる特徴や強みを有しているが、すべて複雑なシーンを取り扱うものである。これには自動車のフロントガラスなどの曲面や、雪や砂、葉などに書かれたように変化するテキスト特徴などを含んでいる。
【０００３】
応用分野がカレンダー、絵はがき、及び自然な風景の画像を表示する他の種類の人工物等を含んでいるので、すべてのシステムで、写真のようにリアルな結果を狙っている。既存のソリューションでは、これらパーソナライズ（個人化。すなわち画像の少なくとも一部を個々人向けに変更、調整すること）された画像はしばしば煩雑で複雑であり、デザイナーの役割、又はあらかじめ選んだ写真の使用に高いレベルの熟練や経験を必要とする。更に、レンダリングのエフェクトを洗練されたものとするには、コンピュータ演算や記憶容量が相当必要となり、オフラインで実行するか、専用のハイエンドのサーバを用いるかしなければならない。
【０００４】
上述の３つのパッケージはすべて、それぞれ自分の応用分野では高品質の人工物を生成するが、それらのどれも、リアルタイムのデジタルフロントエンド（ＤＦＥ）を用いる処理及び印刷には適用することができず、したがって通常は印刷生成のためのラスターイメージプロセッサ（ＲＩＰ）の一部ではない。このことは、そのマシンに通信しなければならないデータの量が大量であること（例えば、各画像はそれぞれ固有のものであり個別に送信される）にもよる。画像の部分を送信するという方法はあるが、それにはそれで固有の問題がある。ここで、そして以下の部分では、「リアルタイム」（実時間）という用語は、出力装置の実際の印刷速度に匹敵する処理速度を指し示すのに用いることとする。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１０９９６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の欠点を克服しつつも、可変データ画像を単純なやり方で生成すると共に、データ転送や上流での処理を更に要求することのないシステム及び／又は方法が必要であるという、未解決の要望がある。
【課題を解決するための手段】
【０００７】
この明細書に記載する様々な側面に関して、単純且つ高速な方法でパーソナライズ（個人化）した画像の生成を支援するシステム及び方法について記載する。例えば、印刷のための電子画像のリアルタイムパーソナライゼーション方法では、電子画像内に表された平面上にあると考えられる四辺形の各頂点についての入力座標を受け取り、データベースから１つ又は複数の可変文字列読み出し、各文字列が矩形のテキストボックスが適合するようにアフィン変換を実行する。この方法では、その矩形テキストボックスの頂点を前記四辺形の頂点へと動かすよう、その矩形テキストボックスに対して非線形の投影変換を実行し、変換後の各文字列を、前記電子画像の各バージョン上の前記四辺形内に描画する。
【０００８】
この明細書に記載する別の側面では、電子画像のリアルタイムパーソナライゼーションのためのシステムは、メモリに格納されたコンピュータが実行可能な命令群であって、電子画像内に表された平面上にあると考えられる四辺形の各頂点についての入力座標を受け取るため及びデータベースから１つ又は複数の可変文字列を読み出すための命令群を含むコンピュータ実行可能な命令群を実行するプロセッサを備える。このプロセッサは、各文字列を矩形のテキストボックスに合わせるようにアフィン変換を実行するため、その矩形テキストボックスの頂点を前記四辺形の頂点へと動かすよう、その矩形テキストボックスに対して非線形の投影変換を実行するため、及び変換後の各文字列を前記電子画像の各バージョン上の前記四辺形内にレンダリング（描画）するため、の命令群を実行する。このシステムは、更に、前記電子画像上の前記四辺形内に前記文字列が配置された前記電子画像を印刷するプリンタを備える。
【０００９】
更に別の特徴は、電子画像をパーソナライズする方法に関する。この方法では、電子画像内の平面状の表面を識別し、その平面上の四辺形の輪郭を画定し、アフィン変換を用いて可変文字列を矩形テキストボックスに挿入する。この方法では、更に、非線形変換を用いることにより前記矩形テキストボックスを前記四辺形に投影し、投影後の可変文字列をその電子画像状の前記平面上の表面上に描画し、変更後の電子画像を出力する。
【図面の簡単な説明】
【００１０】
【図１】電子画像に対する文字列のオーバーレイ（重畳）をリアルタイムで行って複数の異なった文字列を含んだ電子画像を印刷する、画像パーソナライゼーションシステムを例示する図である。
【図２】原点Ωに位置するカメラを用いた、頂点Ａ’Ｂ’Ｃ’Ｄ’を有する矩形から頂点ＡＢＣＤを有する四辺形への投影変換を説明するための図である。
【図３】固定の矩形に可変テキストを配置するための複数の解決手法を説明するための図である。
【図４】ビルディングの電子画像を示す図である。
【図５】四辺形のオーバーレイが行われたビルディングの電子画像を示す図である。
【図６】文字列がオーバーレイされたビルディングの電子画像を示す図である。
【図７】画像のパーソナライズのためにテキストをオーバーレイするための四辺形をユーザが指定可能な平面を有する書籍の画像を示す図である。
【図８】テキストが挿入された９つの異なるユーザ指定の四辺形を示す図である。
【図９】視覚的な支援や視覚的な参照なしで、与えられた画像上で４点をクリックすることにより四辺形が生成された別の画像を示す図である。
【図１０】視覚的な支援や視覚的な参照なしで、与えられた画像上で４点をクリックすることにより四辺形が生成された別の画像を示す図である。
【図１１】この明細書に記載した様々な側面に関して、電子画像をリアルタイムでパーソナライズする方法の例を示す図である。
【発明を実施するための形態】
【００１１】
ここでは、可変データを写真のようにリアルにすることも許容しつつ（しかし必須とはせず）、「平らな」（すなわち平面状の）の面へのレンダリング（描画）を制限することにより、また変換データのいくつかを単純な非物理的な導出演算（non-physical derivation）で近似することにより、上述の問題を解決する。このようにして、見た目が十分にリアル（現実的）でありながらも、生成及び計算は非常に単純で、ＲＩＰ／ＤＦＥに実装可能なリアルタイム３Ｄ（三次元）近似が生成される。すなわち、画像に対するリアルなテキストのオーバーレイ（重畳）をリアルタイムで生成する。ここでの「リアル」は、テクスチャや照明その他の高次の要素を省略した、幾何学的な構造についてのことをいう。説明するシステム及び方法は、ＤＦＥに対して画像を１回送信した後で可変文字列を送信する例えばＸＭＰｉｅなどのＡＤＯＲ(Automatic Dynamic-Object Replacement: 自動ダイナミックオブジェクト置換)ワークフローのみならず、ＶＩＰＰ（Variable Information Postscript Printware）にも適用可能である。このように、このシステム及び方法は、データエントリごとに個別に完全に個別化した画像を送信する古典的な手法とは異なっている。そのような古典的な手法ではリアルタイムでは実行できない。このシステム及び方法のリアルタイム能力は、プリンタのアクティブなデバイス座標（例えばページ記述言語（ＰＤＬ）内のもの）を調整し、この一時的な座標系に、適切に変更されたデータ列をレンダリングすることにより実現される。なお、可変文字列とは、可変データ印刷（バリアブル印刷とも呼ばれる）で、印刷対象ごとに変更される文字列のことである。すなわち、可変データ印刷では、共通の定型（或いは背景）画像に対して、印刷対象（例えば顧客）ごとに異なる文字列をオーバーレイ（重畳）して印刷するが、その印刷対象ごとに異なる文字列を、可変文字列という。なお、共通の定型画像に、印刷対象ごとに個別の文字列を重畳して生成される、印刷対象ごとの印刷用画像のことを、以下では、印刷対象ごとの［バージョン］と呼ぶ。
【００１２】
このシステム及び方法は、すべての処理がＲＩＰ時（すなわち実際に印刷が行われるときに）にＤＦＥ上で実行されるＶＩＰＰシナリオにて動作可能なリアルタイム可変データ画像パーソナライゼーションを可能にする。このように、このシステム及び方法は、オフライン処理と大量のデータ転送（例えば、パーソナライズされた画像が個別に生成されて送信される場合）を必要とするシステムとは区別される。このように、この新機軸は、ハイエンド（計算資源を大量に要する）のアプリケーションと、テキストベースのパーソナライゼーションとの間のギャップを埋めるものであり、例えばトランスプロモーション（クレジットカードの月次明細書などの取引書類にプロモーションや広告を入れること）領域などといった現在のところ画像のパーソナライゼーションとなっていない領域において、より魅力のある文書を生成する能力を持つ。なお、画像のパーソナライゼーションとは、画像のうちの少なくとも一部分について、個々人向けに変更、追加、調整等を行うことである。また、このようなパーソナライゼーションを行うことを「パーソナライズする」という。また、可変データ又は可変文字列のアプリケーションとは、例えば、共通の画像（背景、帳票の定形など）に対して、対象（例えば顧客）ごとに異なるデータ又は文字列をオーバーレイすることで、個々の対象向けの画像データを生成するアプリケーションである。
【００１３】
図１には、電子画像に対するテキストのオーバーレイをリアルタイムで実行し、複数の異なるテキスト文字列を有する電子画像を印刷することを可能とする画像パーソナライゼーションシステム１０が例示されている。システム１０は、デジタルフロントエンド（ＤＦＥ）１２を備える。ＤＦＥ１２は、この明細書で説明する機能を実現するために、この明細書に記載した様々な方法及び／又は技術を実行するための一組又は複数組のコンピュータ実行可能な命令群を実行するプロセッサ１４と、それら命令群を格納するメモリ１６を備える。ＤＦＥ１２はユーザインタフェース（ＵＩ）１８に接続されており、ＵＩ１８はディスプレイ２０を備えている。ＵＩ１８及びＤＦＥ１２は更にプリンタ２２に接続されている。ユーザは、（例えばキーボード、マウス、スタイラスその他の適切な入力装置を用いて）ＵＩ１８に対して情報を入力し、ＤＦＥ１２及び／又はプリンタ２２により提供される情報をディスプレイ２０上で閲覧する。一つの側面では、ＵＩ１８及びディスプレイ２０は、ＤＦＥ１２及び／又はプリンタ２２に一体化されていてもよい。
【００１４】
メモリ１６には、投影変換（例えば非線形変換）２４、１つ又は複数の基準矩形（長方形）２６、及び、基準矩形が投影変換により投影（例えば変換）される投影先である１つ又は複数の四辺形２８、の情報が格納されている。メモリ１６には、更に、１つ又は複数のアフィン（例えば線形）変換３０が格納されている。アフィン変換３０は、テキスト文字列３２を四辺形２８に変換する前に基準矩形２６にフィットさせる（合わせる）ものであり、これによりテキスト文字列３２が、ＶＩＰＰデザイナー３５などを用いてオープンされた入力画像３４内の選択された平らな面にオーバーレイ（重畳）するために、基準矩形２６と共に変換すなわちゆがめられる。変換されたテキストが入力画像３４にオーバーレイされると、これにより変更された画像３６が、プリンタ２２での印刷のために及び／又はディスプレイ２０上への出力のために、メモリ１６に格納されるようにしてもよい。「変更された」画像は、元の入力画像と、その上にオーバーレイされた変換されたテキストとを含む。変換されたテキストのオーバーレイ以外に、入力画像は変更する必要がない。したがって、別の例では、変換されたテキストをメモリ１６に格納し、入力画像ファイルと同時に出力することにより、「変更された」画像を生成してもよい。
【００１５】
写真又はシーン（例えば電子画像内の）の中の平らなオブジェクトに関する例では、平面の任意の視点すなわちカメラポイントへの幾何学変換はよく知られている投影変換２４により記述することができる。この投影変換２４はプロセッサ１４で実行されると共に、メモリ１６に記憶される。この投影変換は、次のように表される。
【数１】
ここで、（ｘ，ｙ）は第１のカメラ視点すなわち基準のカメラ視点からみた当該平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置である。基準カメラの平面がオブジェクトの平面と平行であると仮定しても、一般性は失われない。同次座標での３×３の記述は、一般的なオブジェクトについての４×４変換よりも遙かに扱いやすい。この点は、後でｚ成分を２Ｄ（二次元）紙構造にマッピング（写像）する場合も同様である。なぜなら、二次元の平面では平面上のどの点についても視認性（見えるか否か）が変わらないからである。これに対し、三次元の面は影の（すなわち見えない）スポットに入ったり出たりする点を持つ。この隠れた領域は、もし取り扱うとするならば、完全なもっと複雑な三次元演算によって取り扱うことになろう。
【００１６】
この全体的なパーソナライズ画像方法はリアルタイム（例えばＶＩＰＰ）処理なので、式（１）の投影変換はページ記述言語（ＰＤＬ）ファイル３８（例えばPostscript（登録商標）又はその他の適切なＰＤＬ）にマップされる。この文脈では、一般的な透視変換は、Postscriptの基本的な行列変換概念の１つとしては入手不能である。この代わりに、カレント変換行列（ＣＴＭ: Current Transform Matrix）がメモリ１６に格納されたアフィン変換３０を介して実行される。このように、ＣＴＭアフィン変換３０が、テキスト３２を基準矩形２６内に仮想的にレンダリングするのに用いられる。
【００１７】
式（１）で表される透視変換により矩形２６を四辺形２８に変換する第２のステップがまだ残っている。Postscriptにおけるグラフィック（図形）要素の幾何学的変換のための更なるオプションをこの変換のために用いてもよい。特にテキストについては、「キャラクタパス」(charpath)は、Postscriptのネイティブのコマンドであり、指示された文字列についてのパス（経路）を与える。このcharpathデータは式（１）の行列により変換される。
【００１８】
このように、２つの変換、すなわちテキスト文字列ごとに異なる変換である（例えばＣＴＭを介する）アフィン変換３０と、この後に続く、charpathに加えられる透視変換２４（例えば固定の同次行列変換）とは、プロセッサ１４により連結される。このようにして、どのような背景画像３４についても、式（１）に到達するために逆行列の算出（matrix inversion）を１回だけ実行し、すべての可変文字列３２は同じ変換を再利用することができる。しかし、コンピュータのパワーに応じて、１つの変換を用い、各ジョブレコードについての同次行列の逆行列を求めた方が便利な場合もあることは理解されよう。
【００１９】
図１を更に参照しながら説明を続ける。図２は、カメラが原点Ωに位置する場合の、頂点Ａ’Ｂ’Ｃ’Ｄ’を有する矩形から頂点ＡＢＣＤを有する四辺形への透視変換を示す。投影５０は、矩形５４から凸四辺形５２への、３Ｄ空間内の任意の方向を持つ平坦な面上へ投影される変換（例えばプロセッサ１４で実行される）の例を表す。１つの例では、プロセッサ１４が、矩形５４から四辺形５２へ変換するための投影変換を実行する。この例では、四辺形の頂点Ａ，Ｂ，Ｃ，Ｄについての透視投影（破線）は、原点Ωから矩形における対応する頂点Ａ’，Ｂ’，Ｃ’，Ｄ’を通る方向に向かっている。他の例では、プロセッサがその変換行列の逆行列を投影から求める。
【００２０】
与えられた透視点について、サイズは任意であるが縦横比（アスペクト比）は一定の矩形を生成することができる。投影を矩形の右側に広げることが可能であることも理解されよう。透視点、例えば原点、を変えることにより、他の縦横比を達成することができ、これにより四辺形５２を任意の矩形５４にマッピング（写像）できることも理解されよう。この特徴により、システム１０は、任意の矩形をある与えられた四辺形にマッピングできる。変形行列の逆変換（逆行列の算出）のために、四辺形の座標Ａ，Ｂ，Ｃ，Ｄ（例えば画像中のその座標内にテキストがオーバーレイされる）が求められるか、又は検索され、任意の矩形の４頂点の座標も同様に計算又は検索される。この任意の矩形は、他の便利なパラメータに基づき選択されている。このようなパラメータは、投影のPostscript（ＰＤＬ）の部分に明示されている。
【００２１】
上述のように、どんな矩形でも四辺形ＡＢＣＤに変換できる。行列の逆変換（逆行列の算出）が任意の矩形Ａ’Ｂ’Ｃ’Ｄ’について実行されるので、レンダリング問題を低減するためには固定の基準矩形を用いて可変テキストを固定の矩形領域に配置することが望ましい。
【００２２】
受け手側の四辺形５２が現実の矩形オブジェクト投影であることを暗黙的に必要とするので、図２は既存のパッケージから明確に離れたものを表現していることに注意されたい。言い換えれば、画像内の四辺形は現実の三次元世界の中の実際の矩形を表現している。
【００２３】
図３は、可変テキストを固定の矩形に配置するための複数の解決方式６０を例示している。この例では「variable text」という文字列が、ある１つの矩形内に配置される。例えば、固定の矩形６１では、テキスト文字列が、固定の矩形の横幅にわたって延びている。矩形６２では、テキスト文字列が、その矩形をぴったり埋めるように、縦及び横方向に引き延ばされている。矩形６３では、その文字列の２つの単語が、その矩形内に、互いに縦に並ぶように配置され、単語「variable」がその矩形の横幅にわたって延びており、２つの単語がその矩形を縦方向について埋めるように延びている。矩形６４では、その文字列の２つの単語が矩形内に縦に並んで配置され、両方の単語が共に矩形を横方向に埋めるように引き延ばされているとともに、矩形を縦に埋めるように引き延ばされている。矩形６５では、その文字列の２つの単語が矩形内に縦に並んで配置され、矩形を横方向に埋めるように延びている。
【００２４】
図３から明らかなように、この実施形態の方法は、唯一の答えを出す必要はない。図２の矩形５４が四辺形５２にマッピングされるように、矩形６１から６５が１つの一つの四辺形にマッピングされるからである。このようにして、リアルタイム処理が可能になる。本質的には、ここに示す方法では、平面上の標準的なフォントに限定することで、テキストを受け取る面が平らなのでテキストの縦横比を正確に求める処理を実行する必要がなくなる。
【００２５】
図３の５つの異なる解決手法は、数学的な意味では「有効な」解決手法である。応用目的によっては、それの中の１つの解決手法が他のものよりもユーザに好まれる場合があるかもしれない。Postscriptでは、テキスト文字列内のなんらかの「空白」文字があるか否かを示す情報へのアクセスのみならず、入力文字列の縦横比に対するフルアクセスが、あらかじめ指定したどのようなフォントについても可能である。このようにアナモルフィック（歪像的）な拡大縮小（スケーリング）はある範囲に限られており、その情報に基づき異なる拡大縮小方式の間で切替を行うことが可能である。更に、必要ならば、テキスト文字列内の空白文字をラインブレーク（強制改行）に置き換えてもよい。
【００２６】
ＶＩＰＰアプリケーションでは、可変データ文字列は、データベースのフィールドから読み込まれる。したがって、そのデータベースフィールドの統計的な代表値である基準矩形の縦横比又はサイズをあらかじめ選択することができる。例えば、名前（氏名の名の方）フィールドは、名前の長さのメジアン（中央値）である６文字（米国人の名前の場合）（又はあらかじめ定められた他のなんらかの適切な文字数）であると仮定することができる。他の例では、縦横比ＡＲの推定値は四辺形から次のように求めることができる。
【数２】
【００２７】
この選択結果と図３に例示したレンダリング結果とを、ユーザ又はデザイナーに対してユーザインタフェース１８、例えばＶＩＰＰ ＰｒｏＰｕｂｌｉｓｈｅｒの一部などを介して提供することもできる。テキストを矩形に合わせる（フィッティングする）処理は、ＶＩＰＰ／Postscriptの標準的な機能である。図３の解決結果を生成するのに用いた拡大縮小の方法又は技術は、フィールドの属性として含まれるようにしてもよい。
【００２８】
図４〜図６は、この明細書に記載する技術を用いてテキストがオーバーレイされる画像の様々な段階を例示する図である。これらの図により、画像のリアルタイムのパーソナライゼーションがＶＩＰＰ及びＶＩＰＰ Ｄｅｓｉｇｎｅｒの中でどのようにして行われているのかを例示する。
【００２９】
図４は、ビルディング７２の電子画像を示す。この実施形態のシステム及び方法を用いて、カスタマイズされたテキスト文字列が画像７０内のビルディング７２の平面上にオーバーレイされる。このように、第１のステップとして、適切な背景画像が選択され、この背景画像はＶＩＰＰ Ｄｅｓｉｇｎｅｒ３５（図１）内でオープンすることができる。また、四辺形２８が人手で選択又はユーザにより入力されるようにしてもよい。
【００３０】
図５は、四辺形７４がオーバーレイされたビルディング７２の電子画像７０を示す。四辺形７４は、例えばユーザにより手で（例えば描くことで）指定してもよい。この四辺形７４の中に、テキスト文字列を、図６に示すようにレンダリングしてもよい。
【００３１】
図６は、テキスト文字列７６がオーバーレイされたビルディング７２の画像７０を示す。このテキスト文字列は、"Joe Smith's NY City vacation photos Jul 18, 2008"と読める。例えば、このテキスト文字列は、図１から図３を用いて説明したようにして、基準矩形に合わせる（フィットさせる）ことができ、この基準矩形をその四辺形７４へと変換し、その四辺形７４をビルディング７２上の選ばれた平面上にオーバーレイしてもよい。基準矩形内のテキストは、図６に例示した四辺形により画定される領域内にぴったりはまるように、基準矩形と共に調整すなわち変換される。このようにして、カスタマイズされたテキスト文字列７６は、プリンタ又はユーザインタフェースのディスプレイから出力するために、画像７０内のユーザが選択した領域（例えばその四辺形）にオーバーレイされる。
【００３２】
図６から分かるように、テキスト文字列７６は画像内に、視覚的に快い形で配置され、これはリアルタイムで行われている。例えば、テキスト文字列は、必ずしもビルディングのいかなる輪郭やテクスチャ（きめ）に従う必要なく、ビルディング上にオーバーレイされる。このようにして、ビルディングに付けられたレタリングのように見える。また、この例では、テキスト文字列は、画像に依存する照明状態の変化もなく、単一の色となっている。更に、ユーザが描いた四辺形は不正確かもしれず、またそのテキスト文字列を詳細に調べるとそのテキスト文字列はかすかに遠近法から逸脱していることが分かるかもしれない。しかし、図６の画像は明らかに使用に適したものであり、明確なパーソナライズされた属性を有している。しかし同時に図６は、処理速度のために写実的な品質を犠牲にしており、この実施形態の方法を従来の方法から区別するための好例となっている。
【００３３】
そこで、いくつかの単純化を行えば、どのようにリアルタイムで３Ｄの写実的なレンダリングを近似処理できるかを更に説明する。まず、受け手側の面は「平坦」である。これにより、レンダリングは、テキストを矩形にマッピングし、続いて矩形をその受け手側の四辺形にマッピングするという２ステップのリアルタイムの変換（変形）として実行することが可能になる。第２に、レンダリングされるテキストは、例えば、雪や砂などに書くなどの視覚的効果を許さず、単純なテキスト処理に制限してもよい。第３に、サイズや、セリフ／サンセリフの区別、フォント形状などといったテキストの性質は、画像内の他のテキストとは無関係である。例えば、地下鉄の標識に付加されるテキストの属性は、その標識上やその近くにある他のテキストとは正確に整合している必要はない。ビリヤード台上に付加されるテキストの属性は、その台の上の他のボールなどに正確に整合している必要はない。第４に、画像の受け手側である四辺形は、実際の三次元のシーン内の矩形を表現する。
【００３４】
これら４つの制約により、この方法で生成される画像は、精巧なシステムによって生成される画像とは視覚的な見栄えの点で区別できるものとなるが、さきに述べたように、それら制約によれば、広く用いられているＤＦＥ／ＲＩＰシステム上でのリアルタイム処理が可能になり、ひいては多くの状況において有利になる。
【００３５】
上の説明では、画像内の四辺形の最初の画定について特に述べなかった。１つの例では、この四辺形は、自動的に求められる。別の例では、その四辺形の四隅が、ユーザからの直接的な入力によって定められる。ここで、四隅は、４つの個別の点として、又は交わる複数の直線として、規定することができる。このように、様々なユーザインタラクション（コンピュータとユーザの対話・相互作用）により、この後に続く処理のための４点が画定される。
【００３６】
標準的なユーザが四辺形を生成する際の「精密さ」に対処するために、図７及び図８の例を以下に示す。図７の画像８０は、９人の異なるユーザに提供され、それら９人はテキスト文字列のオーバーレイを挿入するための四辺形を画定するように要求された。図８では、（図７に示される元の名前の文字列"David Owen"が削除された後に）名前の文字列"David Owen"が同じ画像に挿入されるとで、図８に示すように９つの結果が得られた。
【００３７】
図８を詳しく調べることで、真ん中下側の表現例のようないくつかの例は、幾何学的に不完全であることが分かる。しかし、９つの表現は、それでもなおすべて非常に有益である（例えば、トランスプロモーションへの利用などでは）。
【００３８】
図９及び図１０は、与えられた画像に対して、視覚的な補助や参照なしに４つの点をクリックすることで四辺形が生成される他の画像群を示している。この後、可変テキストが、ユーザにより生成された四辺形により輪郭が定められた領域の中にレンダリングされる。この例では、陽の逆行列演算（explicit matrix inversion）を用いてもよい。図９の変更した画像のレンダリング結果１００（バルコニーの入力画像に対して異なるテキスト文字列がそれぞれオーバーレイされている複数のバージョンを示している）では。図９は、既存の計算が複雑な方法との上述した区別を示している。文字「j」、「p」、「g」の並び線から下に延びた部分に見られるように、この方法では照明状態の変更を実行する必要がない。明るい日光から暗い陰への照明の変化を、それら文字の下に延びた部分に反映する必要がない。何度も言うが、この単純化は、説明したリアルタイムレンダリングを可能にするためのものである。
【００３９】
図１０の画像レンダリング結果（店舗正面の画像に異なるテキスト文字列をオーバーレイした複数のバージョンを示す）には、ＶＩＰＰに類似の構造を用いて画像上に様々な異なる名前がオーバーレイされている（例えば１つの写真とその上の複数の名前のレンダリング）。図９の場合と同様、店舗正面における木の影により生じる照明状態の変化が見られない点で、既存の方法との差が視認される。しかし、図９の場合と同様、トランスプロモーションのダイレクトメールなどのような大量生産物において注目を得るためのものとしては十分に写実的な品質が得られている。
【００４０】
図１１には、この明細書に記載した様々な側面に関連して、電子画像をリアルタイムでパーソナライズする方法が例示されている。ステップ１２０では、入力画像が受け取られる。入力画像は、例えば画像のデータベース（例えば、ユーザが取得又は選択した画像群を有する、ユーザによりあらかじめ生成された、及び／又は更新されたデータベース）から受信又は選択されるようにしてもよい。ステップ１２２では、四辺形の座標群が受け取られる。例えば、ユーザが、入力画像のグラフィカル表示上（例えばコンピュータ画面などの上）で、画像内の平面上の四辺形を規定する、四辺形の頂点群を入力又は選択する。ステップ１２４では、１つ又はそれ以上のテキスト文字列が、画像上にオーバーレイするためにデータベースから読み出される。例えば、ユーザは、画像上にオーバーレイするために１つ又はそれ以上のテキスト文字列をデータベースに入力しておいてもよい。データベースは、例えばスプレッドシート（表計算等で用いられる行と列からなる表）タイプのものでもよいし、リレーショナルデータベース等の他の形式のデータベースでもよい。
【００４１】
ステップ１２６では、テキスト文字列ごとに、基準矩形（例えばテキストボックス）内にそのテキスト文字列を配置するために、線形変換が実行される。ステップ１２８では、その基準矩形を四辺形に変換する非線形変換が実行される。すなわち、基準矩形を四辺形に変形するために、基準矩形の各頂点が四辺形の対応する頂点にそれぞれ再配置される。ステップ１３０では、ファイルが印刷のためにプリンタ（例えばマーキングエンジンなど）にダウンロードされる。ステップ１３２では、テキスト文字列データベースがＮ回（例えば１つのテキスト文字列につき１回）読み込まれ、画像がＮ回（例えば１つのテキスト文字列につき１回）印刷され、これにより各テキスト文字列が、画像の個別の具体例（印刷結果）上の四辺形内に印刷され、画像上にテキスト文字列がオーバーレイされた修正画像すなわち出力画像が生成される。
【００４２】
様々な上述した特徴やその他の特徴及び機能や、その代替例は、他の多くの異なるシステムやアプリケーションと組み合わせてもよい。また、これに対する現在のところ予想又は予期されていない代替例、変形例、バリエーション、又は改良などが今後当業者によりなされるかもしれないが、これらもこの後に続く特許請求の範囲に包含される。
【符号の説明】
【００４３】
１０ システム、１２ ＤＦＥ、１４ プロセッサ、１６ メモリ、１８ ＵＩ（ユーザインタフェース）、２０ ディスプレイ、２２ プリンタ、２４ 投影変換、２６ 基準矩形、２８ 四辺形、３０ アフィン変換、３２ テキスト文字列、３４ 入力画像、３６ ＶＩＰＰ／デザイナー、３８ 変更後の画像。
【特許請求の範囲】
【請求項１】
印刷のための電子画像のリアルタイムパーソナライゼーション方法であって、
電子画像内に表された平面上にあると考えられる四辺形の各頂点の入力座標を受け取るステップと、
データベースから1以上の可変テキスト文字列を読み出すステップと、
各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換を行うステップと、
前記矩形のテキストボックスの各頂点を前記四辺形の各頂点に移動させるよう前記矩形のテキストボックスに対して非線形投影変換を行うステップと、
変換された各可変テキスト文字列を、それぞれ前記電子画像の各バージョンの上の前記四辺形内にレンダリングするステップと、
を含み、前記非線形投影変換は、
【数１】
で表され、ここで（ｘ，ｙ）は第１すなわち基準のカメラ視点からみた平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置である、電子画像のリアルタイムパーソナライゼーション方法。
【請求項２】
電子画像のリアルタイムのパーソナライゼーションのためのシステムであって、
メモリに記憶されたコンピュータが実行可能な命令群を実行するプロセッサであって、
電子画像内に表された平面上にあると考えられる四辺形の各頂点の入力座標を受け取る処理と、
データベースから1以上の可変テキスト文字列を読み出す処理と、
各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換を行う処理と、
前記矩形のテキストボックスの各頂点を前記四辺形の各頂点に移動させるよう前記矩形のテキストボックスに対して非線形投影変換を行う処理と、
変換された各可変テキスト文字列を、それぞれ前記電子画像の各バージョンの上の前記四辺形内にレンダリングする処理と、
のための命令群を含む命令群を実行するプロセッサと、
前記四辺形内に前記可変テキスト文字列が配置された前記電子画像を印刷するプリンタと、
を備える、システム。
【請求項３】
請求項２に記載のシステムであって、前記１以上の可変テキスト文字列はスプレッドシートデータベースに格納され、
前記プロセッサは、前記スプレッドシートデータベースから前記１以上の可変テキスト文字列を順に読み出し、読み出した各可変テキスト文字列を、対応する矩形のテキストボックスに合わせるように前記アフィン変換を行う、
ことを特徴とするシステム。
【請求項４】
請求項２に記載のシステムであって、
前記非線形投影変換は、次の式（１）、すなわち、
【数２】
で表され、ここで（ｘ，ｙ）は第１すなわち基準のカメラ視点からみた平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置であり、
前記プロセッサは、ページ記述言語ファイル内の前記式（１）で表される前記非線形変換を実行し、
前記プロセッサは、前記電子画像の各バージョンの前記四辺形内に前記可変テキスト文字列を印刷するために、前記ページ記述言語ファイルを前記プリンタにダウンロードする、
ことを特徴とするシステム。
【請求項１】
印刷のための電子画像のリアルタイムパーソナライゼーション方法であって、
電子画像内に表された平面上にあると考えられる四辺形の各頂点の入力座標を受け取るステップと、
データベースから1以上の可変テキスト文字列を読み出すステップと、
各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換を行うステップと、
前記矩形のテキストボックスの各頂点を前記四辺形の各頂点に移動させるよう前記矩形のテキストボックスに対して非線形投影変換を行うステップと、
変換された各可変テキスト文字列を、それぞれ前記電子画像の各バージョンの上の前記四辺形内にレンダリングするステップと、
を含み、前記非線形投影変換は、
【数１】
で表され、ここで（ｘ，ｙ）は第１すなわち基準のカメラ視点からみた平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置である、電子画像のリアルタイムパーソナライゼーション方法。
【請求項２】
電子画像のリアルタイムのパーソナライゼーションのためのシステムであって、
メモリに記憶されたコンピュータが実行可能な命令群を実行するプロセッサであって、
電子画像内に表された平面上にあると考えられる四辺形の各頂点の入力座標を受け取る処理と、
データベースから1以上の可変テキスト文字列を読み出す処理と、
各可変テキスト文字列を矩形のテキストボックスに合わせるようにアフィン変換を行う処理と、
前記矩形のテキストボックスの各頂点を前記四辺形の各頂点に移動させるよう前記矩形のテキストボックスに対して非線形投影変換を行う処理と、
変換された各可変テキスト文字列を、それぞれ前記電子画像の各バージョンの上の前記四辺形内にレンダリングする処理と、
のための命令群を含む命令群を実行するプロセッサと、
前記四辺形内に前記可変テキスト文字列が配置された前記電子画像を印刷するプリンタと、
を備える、システム。
【請求項３】
請求項２に記載のシステムであって、前記１以上の可変テキスト文字列はスプレッドシートデータベースに格納され、
前記プロセッサは、前記スプレッドシートデータベースから前記１以上の可変テキスト文字列を順に読み出し、読み出した各可変テキスト文字列を、対応する矩形のテキストボックスに合わせるように前記アフィン変換を行う、
ことを特徴とするシステム。
【請求項４】
請求項２に記載のシステムであって、
前記非線形投影変換は、次の式（１）、すなわち、
【数２】
で表され、ここで（ｘ，ｙ）は第１すなわち基準のカメラ視点からみた平面上の点の位置であり、（ｘ’，ｙ’）は同じ点の第２のカメラ視点からみた位置であり、
前記プロセッサは、ページ記述言語ファイル内の前記式（１）で表される前記非線形変換を実行し、
前記プロセッサは、前記電子画像の各バージョンの前記四辺形内に前記可変テキスト文字列を印刷するために、前記ページ記述言語ファイルを前記プリンタにダウンロードする、
ことを特徴とするシステム。
【図１】
【図２】
【図３】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図１１】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２７９０３８（Ｐ２０１０−２７９０３８Ａ）
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願番号】特願２０１０−１２１１９４（Ｐ２０１０−１２１１９４）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２２年１２月９日（２０１０．１２．９）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（５９６１７０１７０）ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]