説明

画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラム

【課題】 原画像に対する挿入画像の合成または分離をより簡素にする。
【解決手段】 少なくとも1つの挿入画像を原画像に合成する画像合成処理装置であって、ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する埋込画像作成部と、埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する伸長原画像作成部と、所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する合成画像作成部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムに関し、特に原画像に対して挿入画像を合成または分離する画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来、自然画像である原画像に、別の画像データを挿入画像として合成する電子透かし技術が知られている。電子透かし技術では、原画像に対して挿入画像を目立たないように合成する必要がある。そこで、原画像の空間周波数成分を抽出して、高周波領域に挿入画像を合成することで、挿入画像を原画像に対して目立たなくすることが知られている(例えば、特許文献1参照)。
【0003】
また、他の電子透かし技術として、原画像の見た目に影響の少ない部分に挿入画像を合成する画素置換法が知られている。また、原画像および挿入画像に対してアマダール変換を施す画素空間利用法が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010−011252号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、原画像の空間周波数成分を利用して原画像に挿入画像を合成する場合、原画像を周波数成分に変換してからその係数を利用して挿入画像を合成するので、相対的に計算量、メモリ量などに対する負荷が高くなってしまう。画像置換法および画素空間利用法を利用して原画像に挿入画像を合成する場合でも、合成原理や手順が複雑で、実現困難である場合が多い。合成画像から挿入画像を分離する場合も同様に、分離原理や手順が複雑であるので、実現困難である場合が多い。
【0006】
本発明は、斯かる事情に鑑み、原画像に対する挿入画像の合成または分離をより簡素にする画像処理装置、画像処理システム、画像処理方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
本発明に係る画像合成処理装置は、少なくとも1つの挿入画像を原画像に合成する画像合成処理装置であって、ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する埋込画像作成部と、埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する伸長原画像作成部と、所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する合成画像作成部とを備える。
【0008】
斯かる構成によれば、挿入画像への所定の符号要素の挿入、原画像の伸長、および所定の条件にしたがう合成により合成画像を作成するので、簡素な作業で合成画像を作成できる。
【0009】
本発明に係る画像分離処理装置は、上記画像合成処理装置で作成された合成画像から挿入画像を分離する画像分離処理装置であって、ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素から、所定の合成条件を利用して、伸長原画像の各要素を復元する伸長原画像復元部と、ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を、所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元する挿入画像復元部とを備える。
【0010】
斯かる構成によれば、合成画像からの伸長原画像の復元、合成画像からの伸長原画像の要素の除去による挿入画像の各要素の復元、および復元された挿入画像の各要素の結合という、簡素な作業で合成画像から挿入画像を分離できる。
【0011】
また、本発明に係る画像処理システムは、合成画像を作成する上記画像合成処理装置と、該合成画像から挿入画像を分離する上記画像分離処理装置とを備える。
【0012】
斯かる構成によれば、簡素な作業で挿入画像および原画像を合成できるとともに、簡素な作業で合成画像から挿入画像が分離できるので、全体として簡素な作業で合成画像の作成および分離をすることができる。
【0013】
本発明に係る画像合成方法は、少なくとも1つの挿入画像を原画像に合成する画像合成方法であって、ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成するステップと、埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成するステップと、所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成するステップとを備える。
【0014】
斯かる構成によれば、挿入画像への所定の符号要素の挿入、原画像の伸長、および所定の合成条件にしたがう合成により合成画像を作成するので、簡素な作業で合成画像を作成できる。
【0015】
本発明に係る画像分離方法は、上記画像合成方法で作成された合成画像から挿入画像を分離する画像分離方法であって、ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素から、所定の合成条件を利用して、伸長原画像の各要素を復元するステップと、ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を、所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元するステップと、復元された挿入画像を結合するステップとを備える。
【0016】
斯かる構成によれば、合成画像からの伸長原画像の復元、合成画像からの伸長原画像の要素の除去による挿入画像の各要素の復元、および復元された挿入画像の各要素の結合という、簡素な作業で合成画像から挿入画像を分離できる。
【0017】
また、本発明に係る画像処理方法は、合成画像を作成する上記画像合成方法と、該合成画像から挿入画像を分離する上記画像分離方法とを備える。
【0018】
斯かる構成によれば、簡素な作業で挿入画像および原画像を合成できるとともに、簡素な作業で合成画像から挿入画像を分離できるので、全体として簡素な作業で合成画像の作成および分離をすることができる。
【0019】
本発明にかかるプログラムは、コンピュータを少なくとも1つの挿入画像を原画像に合成する画像合成処理装置として機能させるプログラムであって、コンピュータを、ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する埋込画像作成部、埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する伸長原画像作成部と、所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する合成画像作成部として機能させる。
【0020】
斯かる構成によれば、挿入画像への所定の符号要素の挿入、原画像の伸長、および所定の条件にしたがう合成により合成画像を作成するので、簡素な作業で合成画像を作成できる。
【0021】
また、本発明に係るプログラムは、コンピュータを、上記画像合成処理装置として機能させるプログラムを利用して作成された合成画像から、挿入画像を分離する画像分離処理装置として機能させるプログラムであって、コンピュータを、ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素とから、所定の合成条件を利用して、伸長原画像の各要素を復元する伸長原画像復元部、ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元する挿入画像復元部として機能させる。
【0022】
斯かる構成によれば、合成画像からの伸長原画像の復元、合成画像からの伸長原画像の要素の除去による挿入画像の各要素の復元、および復元された挿入画像の各要素の結合という、簡素な作業で合成画像から挿入画像を分離できる。
【0023】
また、本発明に係るプログラムは、コンピュータを、合成画像を作成する上記画像合成処理装置として機能させるプログラムと、該合成画像から挿入画像を分離する上記画像分離処理装置として機能させるプログラムとを備える。
【0024】
斯かる構成によれば、簡素な作業で挿入画像および原画像を合成できるとともに、簡素な作業で合成画像から挿入画像を分離できるので、全体として簡素な作業で合成画像の作成および分離をすることができる。
【発明の効果】
【0025】
以上の如く、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムによれば、原画像に対する挿入画像の合成または分離をより簡素にできるという優れた効果を奏する。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施形態に係る画像処理システムのシステム構成図を示す。
【図2】同実施形態に係る画像合成処理装置(画像分離処理装置)のハードウェア構成図を示す。
【図3】同実施形態に係る画像合成処理装置のブロック図を示す。
【図4】同実施形態に係る合成条件決定部のブロック図を示す。
【図5】同実施形態に係る画像合成部のブロック図を示す。
【図6】同実施形態に係る画像分離処理装置のブロック図を示す。
【図7】同実施形態に係る画像分離部のブロック図を示す。
【図8】同実施形態に係る合成画像の作成におけるフローチャートを示す。
【図9】同実施形態に係る合成条件の決定におけるフローチャートを示す。
【図10】同実施形態に係る挿入画像の分離におけるフローチャートを示す。
【図11】同実施形態に係る挿入画像と原画像とを合成する概略図を示す。
【図12】同実施形態に係る合成画像から挿入画像を分離する概略図を示す。
【図13】同実施形態に係る原画像および挿入画像を示し、図13(a)は、第1の原画像を示し、図13(b)は、第2の原画像を示し、図13(c)は、挿入画像を示す。
【図14】同実施形態に係る、所定の混合比率で合成された第1の合成画像と、第1の合成画像から分離された挿入画像とを示し、図14(a)は、所定の混合比率で合成された第1の合成画像を示し、図14(b)は、第1の合成画像から分離された挿入画像を示す。
【図15】同実施形態に係る、所定の混合比率で合成された第2の合成画像と、第2の合成画像から分離された挿入画像とを示し、図15(a)は、所定の混合比率で合成された第2の合成画像を示し、図15(b)は、第2の合成画像から分離された挿入画像を示す。
【図16】他の実施形態に係る、画像合成部のブロック図を示す。
【図17】他の実施形態に係る、合成条件の決定におけるフローチャートを示す。
【図18】他の実施形態に係る、所定の相対比率で合成された第3の合成画像と、第3の合成画像から分離された挿入画像とを示し、図18(a)は、所定の相対比率で合成された第3の合成画像を示し、図18(b)は、第2の合成画像から分離された挿入画像を示す。
【図19】他の実施形態に係る、所定の相対比率で合成された第4の合成画像と、第4の合成画像から分離された挿入画像とを示し、図19(a)は、所定の相対比率で合成された第4の合成画像を示し、図19(b)は、第4の合成画像から分離された挿入画像を示す。
【発明を実施するための形態】
【0027】
<第1の実施形態>
以下、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおける第1の実施形態について、図1〜図15を参酌して説明する。
【0028】
図1に示すように、画像処理システム1は、原画像と原画像に埋め込む挿入画像とを合成する画像合成処理装置2と、原画像および挿入画像を画像合成処理装置2に提供する画像提供装置3と、画像合成処理装置2において合成された合成画像を出力する合成画像出力装置4と、合成画像出力装置4において出力された合成画像から挿入画像を分離する画像分離処理装置5とを備える。なお、原画像は、例えば、複数の階調をもつ自然画像であってよい。また、挿入画像は、例えば、白と黒とで表される2値画像であってよい。本実施形態において、原画像は、複数の階調をもつ自然画像であり、挿入画像は、QRコード(登録商標)であるとして説明する。
【0029】
[画像合成処理装置]
【0030】
図2に示すように、本実施形態に係る画像合成処理装置2は、ホスト・コントローラ282により相互に接続されるCPU205、RAM220、グラフィック・コントローラ275、および表示装置280を有するCPU205周辺部と、入出力コントローラ284によりホスト・コントローラ282に接続される通信インターフェイス230、ハードディスクドライブ240、およびCD−ROMドライブ260を有する入出力部と、入出力コントローラ284に接続されるROM210と、入出力チップ270を有するレガシー入出力部とを備える。
【0031】
ホスト・コントローラ282は、RAM220と、高い転送レートでRAM220をアクセスするCPU205およびグラフィック・コントローラ275とを接続する。CPU205は、ROM210およびRAM220に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ275は、CPU205等がRAM220内に設けたフレーム・バッファ上に作成する画像データを取得して、表示装置280上に表示させる。これに代えて、グラフィック・コントローラ275は、CPU205等が作成する画像データを格納するフレーム・バッファを内部に含んでもよい。
【0032】
入出力コントローラ284は、ホスト・コントローラ282と、比較的高速な入出力装置である通信インターフェイス230、ハードディスクドライブ240、CD−ROMドライブ260を接続する。通信インターフェイス230は、ネットワークを介して他の装置と通信する。ハードディスクドライブ240は、画像合成処理装置2内のCPU205が使用するプログラムおよびデータを格納する。CD−ROMドライブ260は、CD−ROM295からプログラムまたはデータを読み取り、RAM220を介してハードディスクドライブ240に提供する。
【0033】
また、入出力コントローラ284には、ROM210と、入出力チップ270の比較的低速な入出力装置とが接続される。ROM210は、画像合成処理装置2が起動時に実行するブート・プログラム、画像合成処理装置2のハードウェアに依存するプログラム等を格納する。入出力チップ270は、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【0034】
RAM220を介してハードディスクドライブ240に提供されるプログラムは、CD−ROM295またはICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM220を介して画像合成処理装置2内のハードディスクドライブ240にインストールされ、CPU205において実行される。画像合成処理装置2にインストールされて実行されるプログラムは、CPU205等に働きかけて制御部として機能させ、画像合成処理装置2を制御させる。
【0035】
画像合成処理装置2は、例えば、携帯端末、パーソナルコンピュータ等であってよい。画像合成処理装置2は、画像提供部3および合成画像出力装置4と有線または無線で接続されて、原画像、挿入画像、および合成画像を送受信する。図3に示すように、画像合成処理装置2は、ユーザからの入力を受け付ける入力デバイス21aと、画像提供装置3から原画像および挿入画像を取得する画像取得部21と、画像取得部21が取得した原画像および挿入画像を格納する画像格納部22と、原画像および挿入画像の合成条件を決定する合成条件決定部23と、合成条件決定部23が決定した合成条件を格納する合成条件格納部24と、決定された合成条件にしたがって原画像および挿入画像を合成する画像合成部25と、合成画像および決定された合成条件を合成画像出力部4に出力する画像出力部26とを備える。
【0036】
入力デバイス21aは、例えばキーボードやマウス等である。入力デバイス21aは、画像提供装置3に格納されている原画像および合成画像のうち、ユーザから合成を希望する原画像および挿入画像を選択する情報の入力を受け付ける。入力デバイス21aは、入力された、原画像および挿入画像を選択する情報を、画像取得部21に送る。
【0037】
なお、入力デバイス21aは、スキャナ等の画像読取部であってもよく、入力デバイス21aに原画像または挿入画像が直接入力されてもよい。原画像または挿入画像が入力デバイス21aに入力された場合、入力デバイス21aは、入力された原画像または挿入画像を合成条件決定部23に送る。また、入力デバイス21aは、原画像および挿入画像を合成する合成条件の入力を受け付けてもよい。合成条件が入力された場合、入力デバイス21aは、入力された合成条件を合成条件決定部23に送る。
【0038】
画像取得部21は、例えば、LANカードや、無線通信手段、またはI/Oポート等を含む。画像取得部21は、入力デバイス21aから送られた原画像および挿入画像を選択する情報を取得する。画像取得部21は、選択された原画像および挿入画像を画像提供装置3から取得する。画像取得部21は、取得した原画像および挿入画像を画像格納部22に送る。
【0039】
画像格納部22は、例えば、ハードディスク、RAM、光メディア、またはSSDなどの記憶装置であってよい。画像格納部22は、画像受信部21によって受信された原画像および挿入画像を格納する。
【0040】
合成条件決定部23は、図4に示すように、原画像および挿入画像のそれぞれの画像を評価する画像評価部231と、原画像および挿入画像の合成画像における混合比率を決定する混合比率決定部232と、挿入画像に埋め込まれる符号要素の挿入条件を決定する符号挿入条件決定部233と、原画像の伸長条件を決定する伸長条件決定部234とを有する。合成条件決定部23は、全体としてCPU205が機能することで、原画像および挿入画像の所定の合成条件を決定する。
【0041】
画像評価部231は、画像格納部22に格納されている原画像および挿入画像を読み出す。画像評価部231は、読み出された挿入画像の枚数、量子化された原画像のサイズ、および量子化された挿入画像のサイズを評価する。画像評価部231は、評価して得られた挿入画像の枚数、量子化された原画像のサイズ、および量子化された挿入画像のサイズを伸長条件決定部234、および合成条件格納部24に送る。なお、本実施形態においては、簡便のために、画像評価部231は、挿入画像の枚数を1枚、原画像のサイズと挿入画像のサイズとを同じと評価して、評価結果を符号挿入条件決定部233、伸長条件決定部234、および合成条件格納部24に送るものとする。
【0042】
また、画像評価部231は、取得した原画像および挿入画像の画素値等を評価する。例えば、本実施形態において、画像評価部231は、原画像および挿入画像に含まれる画素の画素値や画像全体の色合い、輝度値等を評価する。例えば、画像評価部231は、原画像の輝度値が全体として高く、挿入画像の輝度値が全体として低いという評価をする。画像評価部231は、原画像および挿入画像の画素値等を評価して得られた結果を、混合比率決定部232、符号挿入条件決定部233、および伸長条件決定部234に送る。
【0043】
混合比率決定部232は、画像評価部231から受け取った評価結果から、合成画像における原画像と挿入画像との混合比率を決定する。混合比率決定部232は、原画像に対して挿入画像が目立たなくなり、かつ原画像から挿入画像を抽出できる程度の混合比率を決定する。
【0044】
例えば、原画像の輝度値が全体として高く、挿入画像の輝度値が全体として低いと評価されている場合、混合比率決定部232は、基準となる所定の混合比率に対して、合成画像における原画像の混合比率を相対的に低くし、挿入画像の混合比率を相対的に高くする。混合比率決定部232は、決定された混合比率を、合成条件格納部24に送る。なお、入力デバイス21aに混合比率の入力があった場合、混合比率決定部232は、入力された混合比率を合成条件格納部24に送る。
【0045】
なお、原画像に対して挿入画像が目立たなくなり、かつ原画像から挿入画像を抽出できる程度の混合比率としては、原画像と挿入画像とのS/N比が40dB程度であるのが好ましい。例えば、合成画像出力装置4が合成画像を電子データとして格納する場合、混合比率決定部232は、挿入画像の混合比率を0.004程度にするのが好ましい。すなわち、原画像の混合比率を0.996程度にするのが好ましい。画像合成処理装置2が合成画像を印刷物として合成画像出力装置4に出力する場合には、混合比率決定部232は、挿入画像の混合比率を0.3から0.03の間程度にするのが好ましい。すなわち、原画像の混合比率を0.7から0.97の間程度にするのが好ましい。本実施形態では、原画像の混合比率を0.996、挿入画像の混合比率を0.004として説明する。
【0046】
符号挿入条件決定部233は、画像評価部231から受け取った評価結果を利用して、埋込画像を作成するために、挿入画像に挿入する符号要素を決定する。すなわち、符号挿入条件決定部233は、原画像のサイズと、挿入画像のサイズと、原画像および挿入画像の画素値等とを利用して、挿入画像に挿入する符号要素を決定する。ここで、符号挿入条件決定部233は、挿入画像の量子化データを所定のデータ量ごとにブロック化して、ブロックに含まれる各要素と同じデータ量の符号要素を決定する。具体的には、符号挿入条件決定部233は、挿入画像の量子化データを行ベクトル毎にブロック化して、ブロックに含まれる各要素のデータ量に等しいデータ量の符号要素を決定する。
【0047】
例えば、符号挿入条件決定部233が、原画像および挿入画像のサイズが同じで、原画像の輝度が高く、挿入画像の輝度が低いという評価を受け取った場合を考える。この場合、符号挿入条件決定部233は、符号要素として、ブロック化された挿入画像の量子化データの各行ベクトルに含まれる要素と同じデータ量で、より白に近いデータをもつ符号要素を決定する。なお、本実施形態では、簡便のために、符号挿入条件決定部233は、奇数列目が0で偶数列目が1である行ベクトルを符号要素として決定するものとする。すなわち、符号挿入条件決定部233は、符号要素を(1,0,1,0,1,0,・・・)の行ベクトルに決定するものとする。符号挿入条件決定部233は、決定された符合要素を、合成条件格納部24に送る。なお、入力デバイス21aが符号要素の直接入力を受け付けた場合、符号挿入条件決定部233は、画像評価部231による画像評価を利用する符号要素の決定に代えて、入力された符号要素を決定された符合要素として合成条件格納部24に送ってもよい。
【0048】
伸長条件決定部234は、画像評価部231から受け取った評価結果から、所定の方向に原画像を伸長する伸長条件を決定する。具体的には、伸長条件決定部234は、挿入画像の枚数と、原画像および挿入画像のサイズとから、所定の方向に原画像を伸長する伸長条件を決定する。
【0049】
本実施形態では、挿入画像が1枚であり、原画像および挿入画像のサイズが等しいと評価されているので、伸長条件決定部234は、原画像を縦方向に2倍にすることを伸長条件として決定する。換言すると、伸長条件決定部234は、原画像の量子化データを列方向に2倍に伸長することを伸長条件として決定する。伸長条件決定部234は、決定した伸長条件を合成条件格納部24に送る。なお、入力デバイス21aが伸長条件の直接入力を受け付けた場合、伸長条件決定部234は、決定された伸長条件に代えて、入力された伸長条件を合成条件格納部24に送ってもよい。
【0050】
合成条件格納部24は、例えば、ハードディスク、RAM、またはSSD等の記憶装置で有ってよい。合成条件格納部24は、画像評価部231から送られた挿入画像の枚数、挿入画像および原画像のサイズ、混合比率決定部232から送られた混合比率、符号挿入条件決定部233から送られた符号要素、ならびに伸長条件決定部234から送られた伸長条件を原画像と挿入画像との合成条件として格納する。
【0051】
画像合成部25は、図5に示すように、決定された合成条件にしたがって埋込画像を作成する埋込画像作成部251と、決定された合成条件にしたがって伸長原画像を作成する伸長画像作成部252と、作成された埋込画像と作成された伸長原画像とを合成する合成画像作成部253とを有する。画像合成部25は、全体としてCPU205が機能することで、埋込画像と伸長原画像とを合成する。
【0052】
埋込画像作成部251は、画像格納部22に格納されている挿入画像を取得する。また、埋込画像作成部251は、合成条件格納部24に格納されている合成条件を取得する。埋込画像作成部251は、所定の方法を利用して、挿入画像をブロック化する。埋込画像作成部251は、ブロック化された挿入画像の量子化データにおける各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する。なお、埋込画像作成部251は、ブロック化する方法として、合成条件格納部24に予め格納されている方法を取得して利用してもよく、符号挿入条件決定部233から合成条件として受け取ってもよい。埋込画像作成部251は、作成された埋込画像を合成画像作成部253に送る。
【0053】
より詳しくは、埋込画像作成部251は、取得した合成条件に含まれる、挿入画像の枚数、伸長条件、および符号要素にしたがって、決定された符合要素を挿入画像に挿入して埋込画像を作成する。例えば、挿入画像が1枚の場合、埋込画像作成部251は、伸長条件に合わせて作成される伸長原画像のサイズに対して、挿入画像の枚数を加味した埋込画像のサイズを同じサイズにするように埋込画像を作成する。すなわち、合成条件に、挿入画像が1枚であり、原画像の量子化データを列方向に2倍に伸長するという伸長条件と、符号要素とが含まれている場合、埋込画像作成部251は、ブロック化された挿入画像の各行ベクトルの直上の行に、合成条件に含まれる符号要素を挿入することで埋込画像を作成する。これにより、埋込画像作成部251は、挿入画像のサイズに対して、列方向のサイズを2倍にした埋込画像を作成する。このようにして、埋込画像作成部251は、列方向に2倍に伸長される原画像のサイズと、作成された埋込画像のサイズとを同じサイズにする。埋込画像作成部251は、作成した埋込画像を合成画像作成部253に送る。
【0054】
本実施形態において、埋込画像作成部251は、挿入画像が1枚であり、原画像の量子化データを列方向に2倍に伸長するという伸長条件と、符号要素の行ベクトル(1,0,1,0,1,0,・・・)にしたがって、埋込画像を作成する。埋込画像作成部251は、挿入画像の直上の行に符号要素を挿入することで、伸長された原画像のサイズと、埋込画像のサイズとを同じサイズにする。これにより、埋込画像作成部251は、埋込画像の量子化データにおいて、奇数行を符号要素の行ベクトル、偶数行を挿入画像の量子化データの各行ベクトルとする埋込画像を作成する。
【0055】
伸長画像作成部252は、画像格納部22から原画像を取得する。また、伸長画像作成部252は、合成条件格納部24から合成条件を取得する。伸長画像作成部252は、埋込画像に含まれる挿入画像の要素と、該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する。具体的には、伸長画像作成部252は、合成条件に含まれる伸長条件にしたがって原画像を伸長することで、埋込画像の要素と、該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうち同じ要素をもつ1組のブロックを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する。伸長画像作成部252は、作成した伸長原画像を合成画像作成部253に送る。
【0056】
本実施形態では、合成条件が原画像を列方向に2倍に伸長するという伸長条件を含むので、伸長画像作成部252は、原画像の量子化データを列方向に2倍に伸長する。具体的には、伸長画像作成部252は、原画像の各行ベクトルの各要素を、該行ベクトルの直上に複製することで、原画像を伸長して伸長原画像を作成する。すなわち、伸長画像作成部252は、(2n−1)行の行ベクトル(nは自然数)に含まれる各要素と、2n行の行ベクトル(nは自然数)に含まれる各要素とが等しい伸長原画像を作成する。
【0057】
合成画像作成部253は、合成条件格納部24から合成条件を取得する。また、合成画像作成部253は、取得した合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する。
【0058】
すなわち、合成画像作成部253は、所定の合成条件に含まれる混合比率を利用して、以下の式を満たすように合成画像を作成する。
(式1)
ij=A11,ij+A22,ij
【0059】
ここで、Xijは、量子化された合成画像の第i行第j列目を示し、A1は、伸長原画像(原画像)の混合比率を示し、S1,ijは、量子化された伸長原画像の第i行第j列目を示し、A2は、埋込画像(挿入画像)の混合比率を示し、S2,ijは、量子化された埋込画像の第i行第j列目を示す。
【0060】
合成画像作成部253は、このようにして、伸長原画像の量子化データである各要素と、埋込画像の量子化データである各要素とを対応させて合成画像を作成する。本実施形態において、合成画像作成部253は、符号要素と複製された原画像の各行ベクトルとが合成される奇数行と、挿入画像の各行ベクトルと原画像の各行ベクトルとが合成される偶数行とをもつ合成画像を作成する。合成画像作成部253は、作成した合成画像を画像出力部26に送る。本実施形態では、合成画像作成部253は、伸長原画像の混合比率0.996と埋込画像の混合比率0.004とを利用して、伸長原画像および埋込画像とを合成する。そして、合成画像作成部253は、符号要素の行ベクトル(1,0,1,0,1,0,・・・)と複製された原画像の量子化データの行ベクトルとが合成された奇数行と、ブロック化された挿入画像の量子化データの各行ベクトルとブロック化された原画像の量子化データの各行ベクトルとが合成された偶数行とをもつ合成画像を作成する。
【0061】
画像出力部26は、例えば、LANカードや、無線通信手段、またはI/Oポート等を含む。画像出力部26は、作成された合成画像を合成画像出力装置4に送る。また、画像出力部26は、作成された合成画像とともに、合成条件格納部24に格納されている合成条件を取得して、合成画像出力装置4に送る。
【0062】
[画像提供装置]
画像提供装置3は、例えば、データベースを備えるサーバであり、画像合成処理装置2に提供する少なくとも1枚の原画像および少なくとも1枚の挿入画像を格納している。
【0063】
[合成画像出力装置]
合成画像出力装置4は、例えば、サーバやパーソナルコンピュータ、携帯端末等であり、画像合成処理装置2から合成画像を取得して、画像提供装置3から送られた合成画像および合成条件を、合成画像出力装置4内に設けられているデータベース(図示しない)等に格納する。なお、合成画像出力装置4は、例えば、プリンタでもよく、画像合成処理装置2から合成画像を取得して、合成画像を印刷する。
【0064】
[画像分離処理装置]
次に、画像分離処理装置5について説明する。画像分離処理装置5のハードウェア構成は、画像提供装置3のハードウェア構成に対して、画像分離処理装置5にインストールされて実行されるプログラムが、CPU205等に働きかけて制御部として機能させ、画像分離処理装置5を制御させる点で相違する。その他構成は、画像提供装置3の構成と同様であるので、ここでの説明を省略する。
【0065】
画像分離処理装置5は、図6に示すように、合成画像出力装置4から取得する合成画像を選択入力する入力デバイス51aと、合成画像出力装置4から選択された合成画像を取得する合成画像取得部51と、合成画像取得部51で取得された合成画像を格納する画像格納部52と、合成画像および抽出された挿入画像を表示する画像表示部53と、取得した合成画像の合成条件を取得する合成条件取得部54と、合成画像出力装置4から取得した合成条件を格納する合成条件格納部55と、合成条件に基づいて合成画像から挿入画像を分離する画像分離部56とを備える。なお、本実施形態では、画像合成処理装置2における実施形態において詳述した合成画像から挿入画像を分離する場合で説明する。
【0066】
入力デバイス51aは、例えば、キーボードやマウスであり、合成画像出力装置4に格納されている合成画像から、挿入画像の分離を希望する合成画像の選択入力をユーザから受け付ける。入力デバイス51aは、入力された合成画像の選択を、合成画像取得部51に送る。なお、合成画像出力装置4がプリンタ等の印刷機器である場合、入力デバイス51aは、スキャナ等の画像読取部を含んでもよく、合成画像を読み取って、合成画像取得部51に送ってもよい。さらに、入力デバイス51aは、合成画像に係る合成条件の入力を受け付けて、入力された該合成条件を合成条件取得部54に送ってもよい。
【0067】
合成画像取得部51は、例えば、LANカードや、無線通信手段、またはI/Oポート等を含む。合成画像取得部51は、入力デバイス51aに入力された合成画像の選択に基づいて、合成画像出力装置4から合成画像を取得する。合成画像取得部51は、取得した合成画像を画像格納部52に送る。また、合成画像取得部51は、合成画像出力装置4から合成画像の合成条件を取得して画像表示部53に送る。なお、入力デバイス51aがスキャナ等の画像読取部である場合には、合成画像取得部51は、入力デバイス51aで読取られた合成画像のデータを画像格納部52に送る。
【0068】
画像格納部52は、例えば、ハードディスク、RAM、光メディア、またはSSDなどの記憶装置であってよい。画像格納部52は、合成画像取得部51から送られた合成画像を格納する。
【0069】
画像表示部53は、例えば、ディスプレイであり、画像格納部52に格納された合成画像を取得して、ユーザに対して表示する。また、画像表示部53は、画像分離部56において分離された挿入画像をユーザに対して表示する。
【0070】
合成条件取得部54は、CPU205が機能することで、選択された合成画像に対応する合成条件を、合成画像出力装置4から取得する。合成条件取得部54は、取得した合成条件を、合成条件格納部55に送る。なお、入力デバイス51aに合成条件が入力された場合、合成条件取得部54は、入力された合成条件を合成条件格納部55に送る。本実施形態では、合成条件取得部54は、1枚の挿入画像、原画像と挿入画像とのサイズが同じ、符号要素が(1,0,1,0,1,0,・・・)である、原画像の伸長条件が列方向に2倍である、原画像の混合比率が0.996である、挿入画像の混合比率が0.004であるといった合成条件を合成画像出力装置4から取得する。
【0071】
合成条件格納部55は、例えば、ハードディスク、RAM、光メディア、またはSSDなどの記憶装置であってよい。合成条件格納部55は、合成条件取得部54から送られた合成条件を格納する。
【0072】
画像分離部56は、図7に示すように、合成画像から原画像を復元する原画像復元部561と、合成画像から原画像を復元する挿入画像復元部562とを有する。
【0073】
原画像復元部561は、画像格納部52から合成画像を取得する。また、原画像復元部561は、合成条件格納部55から該合成画像に係る合成条件を取得する。原画像復元部561は、ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と複製された原画像の各要素とが合成されている要素から、取得した合成条件を利用して、伸長原画像の各要素を復元する。すなわち、原画像復元部561は、所定の符号要素と伸長原画像の各要素とが合成されている要素を特定して、合成条件を利用して合成画像から原画像を復元する。原画像復元部561は、合成画像の量子化データと、復元された原画像の量子化データとを、挿入画像復元部562に送る。
【0074】
例えば、原画像復元部561は、ブロック化された合成画像の量子化データである各要素のうち、奇数行に当たる行に着目する。原画像復元部561は、合成条件に含まれる、混合比率および符号要素を利用して、符合要素と複製された原画像のブロックとが合成されている要素から、埋込画像の混合比率を加味して符号要素を除去する。これにより、原画像復元部561は、符号要素と複製された原画像のブロックとが合成されている要素から、伸長原画像の混合比率が加味された、複製された原画像のブロックの要素のみを抽出できる。原画像復元部561は、さらに、伸長原画像の混合比率を利用して、複製された原画像のブロックの各要素を復元するとともに、複製された原画像の各ブロックを列方向で結合することで原画像を復元する。原画像復元部561は、ブロック化された合成画像の量子化データと、復元された原画像の量子化データとを、挿入画像復元部562に送る。
【0075】
より具体的には、原画像復元部561は、合成画像の量子化データの各要素に対して、奇数行に着目する。そして、式1を変形した式2を利用してブロック化された原画像の量子化データの各要素を復元する。
(式2)
1,(2i)j=S1,(2i-1)j=X(2i-1)j/A1−A22,(2i-1)j/A1
【0076】
ここで、Xijは、量子化された合成画像の第i行第j列目を示し、A1は、伸長原画像(原画像)の混合比率を示し、S1,ijは、量子化された伸長原画像の第i行第j列目を示し、A2は、埋込画像(挿入画像)の混合比率を示し、S2,ijは、量子化された埋込画像の第i行第j列目を示す。
【0077】
本実施形態では、原画像復元部561は、合成画像の奇数行に着目する。まず、原画像復元部561は、合成画像の奇数行を合成画像から抽出する。そして、原画像復元部561は、抽出された各要素を列方向で結合する。原画像復元部561は、埋込画像の混合比率0.004を加味して、符号要素(1,0,1,0,1,0,・・・)を結合された画像から除去する。これにより、原画像復元部561は、原画像を復元する。原画像復元部561は、ブロック化された合成画像の量子化データと、復元された原画像の量子化データとを、挿入画像復元部562に送る。
【0078】
挿入画像復元部562は、原画像復元部561から、ブロック化された合成画像の量子化データと、復元された原画像の量子化データとを取得する。挿入画像復元部562は、ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の各要素を復元する。具体的には、挿入画像復元部562は、合成条件に含まれる、挿入画像の枚数、混合比率、および複製された原画像の各要素を利用して、ブロック化された合成画像の量子化データの偶数行から挿入画像の各要素を復元する。
【0079】
例えば、挿入画像復元部562は、ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と、原画像の各要素とが合成されている偶数行の要素に着目する。挿入画像復元部562は、合成条件に含まれる混合比率と複製された原画像の各要素とを利用して、挿入画像の各要素と原画像の各要素とが合成されている偶数行の要素から、伸長原画像の混合比率を加味して原画像の各要素を除去する。これにより、挿入画像復元部562は、挿入画像の各要素と原画像の各要素とが合成されている偶数行の要素から、埋込画像の混合比率が加味された挿入画像の要素を抽出できる。挿入画像復元部562は、さらに、埋込画像の混合比率を利用して、挿入画像の各要素を復元する。
【0080】
より具体的には、挿入画像復元部562は、合成画像の量子化データの各要素に対して、偶数行に着目する。そして、式2で得たS1,(2i)jをもとに、以下の式3を利用して原画像の量子化データの各要素を復元する。
(式3)
2,(2i)j=X(2i)j/A2−A11,(2i)j/A2
【0081】
ここで、Xijは、量子化された合成画像の第i行第j列目を示し、A1は、伸長原画像(原画像)の混合比率を示し、S1,ijは、量子化された伸長原画像の第i行第j列目を示し、A2は、埋込画像(挿入画像)の混合比率を示し、S2,ijは、量子化された埋込画像の第i行第j列目を示す。
【0082】
本実施形態では、挿入画像復元部562は、合成画像の偶数行に着目する。まず、挿入画像復元部562は、合成画像の偶数行を合成画像から抽出する。挿入画像復元部562は、抽出した偶数行の各要素を結合する。挿入画像復元部562は、結合された各要素から、伸長原画像の混合比率0.996を加味して、結合された各要素から原画像の各要素を除去する。これにより、挿入画像復元部562は、
なお、挿入画像復元部562は、合成条件格納部55から合成条件を取得して、合成条件に含まれる挿入画像の枚数に合わせて、挿入画像を復元してもよい。
【0083】
本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像処理方法、およびプログラムの構成については以上の通りであり、次に、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像処理方法、およびプログラムの作用について、図8〜図10に示すフローチャートを利用して説明する。
【0084】
[合成画像の作成]
まず、原画像および挿入画像から合成画像を作成する手順を図8および図9に示すフローチャートを利用して説明する。画像取得部21は、合成画像出力装置4から原画像を取得する(ステップS61)。画像取得部21は、入力デバイス21aに入力された原画像を選択する入力にしたがって、合成画像出力装置4から原画像を取得してもよい。画像格納部22は、画像取得部21によって取得された原画像を格納する。
【0085】
さらに、画像取得部21は、合成画像出力装置4から挿入画像を取得する(ステップS62)。画像取得部21は、入力デバイス21aに入力された挿入画像を選択する入力にしたがって、合成画像出力装置4から挿入画像を取得してもよい。画像格納部22は、画像取得部21によって取得された挿入画像を格納する。
【0086】
合成条件決定部23は、画像格納部22に格納された原画像および挿入画像について、合成条件を決定する(ステップS63)。図9に示すように、合成条件の決定は、原画像および挿入画像のそれぞれの画像の画素値の評価等(ステップS631)と、原画像および挿入画像の混合比率の決定(ステップS632)と、挿入画像へ符号要素を挿入する条件の決定(ステップS633)と、原画像の伸長条件の決定(ステップS634)とを含む。
【0087】
まず、画像評価部231は、原画像に挿入される挿入画像の枚数と、原画像のサイズと、挿入画像のサイズとを評価する。また、画像評価部231は、原画像および挿入画像に含まれる画素の画素値や画像全体の色合いおよび輝度等を評価する(ステップS631)。画像評価部231は、評価した結果を評価結果として、混合比率決定部232、符号挿入条件決定部233、および伸長条件決定部234に送る。また、画像評価部231は、評価結果を合成条件格納部24に送る。
【0088】
混合比率決定部232は、画像評価部231から送られた評価結果にしたがって、原画像と挿入画像を合成した合成画像における、原画像および挿入画像のそれぞれの混合比率を決定する(ステップS632)。混合比率決定部232は、合成画像において、挿入画像が原画像に対して目立たず、かつ合成画像から挿入画像を分離できる程度の混合比率を決定する。混合比率決定部232は、決定した混合比率を合成条件格納部24に送る。
【0089】
符号挿入条件決定部233は、画像評価部231から送られた評価結果にしたがって、挿入画像に挿入する符号要素を決定する(ステップS633)。たとえば、画像評価部231が評価結果において、原画像の輝度が高く、挿入画像の輝度が低いと評価している場合、符号挿入条件決定部233は、白に近い量子化データとなる符号要素を、挿入画像に挿入すべき符号要素として決定する。符号挿入条件決定部233は、決定した符合要素を合成条件格納部24に送る。合成条件格納部24は、挿入画像の枚数、伸長条件、混合比率、および符号要素を合成条件として格納する。
【0090】
伸長条件決定部234は、画像評価部231から送られた評価結果にしたがって、原画像の伸長条件を決定する(ステップS634)。伸長条件決定部234は、原画像を伸長する伸長条件として、原画像の伸長率および伸長方向を決定する。より詳しくは、伸長条件決定部234は、原画像に合成される挿入画像の枚数、および原画像に対する挿入画像の大きさに応じて、原画像の伸長率および伸長方向を決定する。例えば、原画像と同じ大きさの挿入画像を1枚合成する場合には、伸長条件決定部234は、縦方向に原画像を2倍に伸長する伸長条件を決定する。伸長条件決定部234は、決定した伸長条件を合成条件格納部24に送る。合成条件格納部24は、送られた伸長条件を格納する。
【0091】
埋込画像作成部251は、画像格納部22に格納されている挿入画像を読み出す。また、埋込画像作成部251は、合成条件格納部24に格納されている合成条件を読み出す。そして、埋込画像作成部251は、読み出された合成条件にしたがって、所定の符号要素を挿入画像に挿入して埋込画像を作成する(ステップS64)。埋込画像作成部251は、作成した埋込画像を合成画像作成部253に送る。
【0092】
伸長画像作成部252は、画像格納部22に格納されている挿入画像を読み出す。また、伸長画像作成部252は、合成条件格納部24に格納されている合成条件を読み出す。そして、伸長画像作成部252は、読み出された合成条件にしたがって、原画像を伸長して伸長原画像を作成する(ステップS65)。伸長画像作成部252は、作成した伸長原画像を合成画像作成部253に送る。
【0093】
合成画像作成部253は、合成条件格納部24に格納されている合成条件を読み出す。また、合成画像作成部253は、埋込画像作成部251から埋込画像を取得するとともに、伸長画像作成部252から伸長原画像を取得する。そして、合成画像作成部253は、合成条件にしたがって、埋込画像作成部251から送られた埋込画像と、伸長画像作成部252から送られた伸長原画像とを合成して、合成画像を作成する(ステップS66)。
【0094】
より詳しくは、合成画像作成部253は、合成条件に含まれる原画像および挿入画像の混合比率にしたがって、埋込画像作成部251から送られた埋込画像と、伸長画像作成部252から送られた伸長原画像とを合成して、合成画像を作成する。合成画像作成部253は、作成した合成画像を画像出力部26に送る。
【0095】
画像出力部26は、合成条件格納部24から合成条件を読み出す。画像出力部26は、読み出した合成条件と、合成画像作成部253から送られた合成画像とを合成画像出力装置4に出力する(ステップS67)。
【0096】
[挿入画像の分離]
次に、合成画像から挿入画像を分離する手順を図10に示すフローチャートを利用して説明する。合成画像取得部51は、入力デバイス51aに入力された合成画像を選択する情報に基づいて、出力装置4から合成画像を取得する(ステップS70)。合成画像取得部51は、取得した合成画像を画像格納部52に送る。画像格納部52は、合成画像取得部51から送られた合成画像を格納する。画像表示部53は、画像格納部52に格納された合成画像を取得して表示する。
【0097】
合成条件取得部54は、入力デバイス51aに入力された合成画像を選択する情報に基づいて、合成画像の合成条件を合成画像出力装置4から取得する(ステップS71)。合成条件取得部54は、取得した合成条件を合成条件格納部55に送る。合成条件格納部55は、合成条件取得部54から送られた合成条件を格納する。
【0098】
画像分離部56は、画像格納部52に格納されている合成画像を取得する。また、画像分離部56は、合成条件格納部55に格納されている合成条件を取得する。原画像復元部561は、合成条件にしたがって、ブロック化された合成画像の量子化データの各要素から、符号要素とブロック化された原画像の量子化データの各要素とが合成されている要素を特定および抽出する。さらに、原画像復元部561は、合成条件にしたがって、符号要素とブロック化された原画像の量子化データの各要素とが合成されている要素から、符号要素を取り除く。これにより、原画像復元部561は、符号要素とブロック化された原画像の量子化データの各要素とから、原画像の各要素を復元する(ステップS72)。原画像復元部561は、ブロック化された合成画像の量子化データと、復元した原画像の各要素とを挿入画像復元部562に送る。
【0099】
挿入画像復元部562は、合成条件にしたがって、ブロック化された合成画像の量子化データの各要素から、挿入画像の各要素と原画像の各要素とが合成されている要素を特定および抽出する。挿入画像復元部562は、抽出した各要素を結合する。さらに、挿入画像復元部562は、合成条件にしたがって、原画像復元部561から送られた原画像の各要素を利用して、挿入画像の各要素と原画像の各要素とが合成されている要素から、原画像の各要素を除去することで挿入画像を復元する。挿入画像復元部562は、結合された挿入画像を画像表示部53に送る。画像表示部53は、送られた合成画像を表示する(ステップS73)。
【0100】
次に、本実施形態に係る量子化データである原画像と量子化データである挿入画像との合成と、量子化データである合成画像からの量子化データである挿入画像の分離とを、簡易なモデルを利用して説明する。なお、ここでは、簡便のために、原画像および挿入画像の画像サイズを2×2行列、符号要素を(0,2)の行ベクトル、混合比率を50%として説明する。
【0101】
[合成画像の作成]
図11を参照して説明する。埋込画像作成部251は、量子化データである挿入画像の各行の直上に、符号要素(0,2)の行ベクトルを挿入することで、埋込画像を作成する。これにより、埋込画像は、(0,2)の行ベクトルをもつ奇数行と、挿入画像の行ベクトルをもつ偶数行とを有する。すなわち、埋込画像は、図11に示すような、2×4行列の量子化データになる。
【0102】
伸長画像作成部252は、量子化データである原画像の各行ベクトルを、列方向に複製することで、伸長原画像を作成する。これにより、伸長原画像は、同じ要素の行ベクトルをもつ1行目および2行目と、同じ要素の行ベクトルをもつ3行目および4行目とを有する。すなわち、伸長原画像は、図11に示すような、2×4行列の量子化データになる。
【0103】
画像合成部25は、混合比率50%で、量子化データである埋込画像と、量子化データである伸長原画像とを合成する。これにより、図11に示すような、2×4行列の量子化データである合成画像が生成される。
【0104】
[挿入画像の分離]
図12を参照して、図11において生成された合成画像から挿入画像を分離する場合を説明する。まず、原画像復元部561は、量子化データである合成画像から、奇数行を抽出して結合する。原画像復元部561は、混合比率50%を加味して、結合された各要素から符号要素(0,2)を除去することで、原画像を復元する。これにより、原画像復元部561は、合成前の量子化データである原画像を合成画像から分離できる。なお、図11では、原画像と推定される画像として、推定原画像と記載している。
【0105】
挿入画像復元部562は、量子化データである合成画像から、偶数行を抽出して結合する。挿入画像復元部562は、混合比率50%を加味して、結合された各要素から原画像の各要素を除去することで、挿入画像を復元する。これにより、挿入画像復元部562は、合成前の量子化データである挿入画像を合成画像から分離できる。
【0106】
<実施例1>
次に、本実施形態に係る実施例を説明する。実施例1においては図13(a)に示す画像を原画像とし、図13(c)に示す1枚の画像を挿入画像とした。また、原画像の混合比率を0.996、挿入画像の混合比率を0.004とした。
【0107】
画像合成処理装置2を利用して、原画像と挿入画像とを合成することで、図14(a)に示すような、挿入画像の目立たない合成画像を得ることができた。そして、画像分離処理装置5を利用して、図14(a)に示す合成画像から挿入画像を分離することで、図12(b)に示す挿入画像を得ることができた。このように、合成画像において挿入画像を目立たなくすることができるとともに、合成画像から挿入画像を抽出することができた。
【0108】
<実施例2>
実施例2として、図13(b)に示す画像を原画像とし、図13(c)に示す1枚の画像を挿入画像とした。また、原画像の混合比率を0.996、挿入画像の混合比率を0.004とした。
【0109】
画像合成処理装置2を利用して、原画像と挿入画像とを合成することで、図15(a)に示すような、挿入画像の目立たない合成画像を得ることができた。そして、画像分離処理装置5を利用して、図15(a)に示す合成画像から挿入画像を分離することで、図15(b)に示す挿入画像を得ることができた。このように、合成画像において挿入画像を目立たなくすることができるとともに、合成画像から挿入画像を抽出することができた。
【0110】
以上より、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムは、原画像に対する挿入画像の合成または分離をより簡素にできる。すなわち、原画像および挿入画像の分離原理や手順を簡素化することができるとともに、メモリ使用量などの負荷についても軽減することができる。
【0111】
また、挿入画像を原画像に挿入して目立たなくすることができるので、原画像および挿入画像を別々に表示または印刷する必要がない。したがって、挿入画像の外観が原画像に対して目立つことを防止でき、原画像の外観を良好に保つことができる。特に、挿入画像がQRコード(登録商標)やバーコード等の場合には、原画像に対してQRコード(登録商標)やバーコード等が目立つことを防止でき、原画像の外観を良好に保つことができる。
【0112】
<第2の実施形態>
次に、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおける第2の実施形態について、図16〜図19を参酌して説明する。なお、図16〜図19において、図1〜図15の符号と同一の符号を付した部分は、第1の実施形態と同一の構成又は要素を表す。
【0113】
本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムは、図16に示すように、第1の実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムに対して、混合比率決定部232を相対比率決定部235に変更したものである。したがって、本実施形態においては、相対比率決定部235以外の説明を省略する。
【0114】
相対比率決定部235は、画像評価部231から受け取った評価結果から、合成画像における原画像と挿入画像との相対比率を決定する。相対比率決定部235は、原画像に対して挿入画像が目立たなくなり、かつ原画像から挿入画像が抽出できる程度の相対比率を決定する。相対比率決定部235は、決定された相対比率を、合成条件格納部24に送る。なお、入力デバイス21aに相対比率の入力があった場合、相対比率決定部235は、入力された相対比率を合成条件格納部24に送る。
【0115】
例えば、原画像の輝度値が全体的に高く、挿入画像の輝度値が全体的に低いと評価されている場合、相対比率決定部235は、基準となる相対比率から、原画像の輝度値に合わせて相対比率を高くする。また、原画像の一部に白が多く、挿入画像に黒が多いと評価されている場合、相対比率決定部235は、基準となる相対比率から、相対比率を低くする。
【0116】
ここで、相対比率とは、原画像に対する挿入画像の画素値を相対的に変化させる比率である。相対比率を利用することで、合成画像の各要素は以下の式を利用して決定される。
(式4)
ij=(PS2,ij+1)S1,ij
【0117】
ここで、Xijは、合成画像Xの第i行第j列目の画素値を示し、Pは、相対比率を示し、S1,ijは、原画像S1の第i行第j列目の画素値を示し、S2,ijは、挿入画像S2の第i行第j列目の画素値を示す。
【0118】
すなわち、相対比率を利用する場合、混合比率を利用する場合における式1の混合比率を、以下の式5のように置き換えて利用することができる。
(式5)
1=PS1,ij
2=1
【0119】
本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムの構成は以上の通りであり、次に、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムの作用について図17に示すフローチャートを参照して説明する。なお、合成条件決定部23における作用以外については、混合比率を利用する点を除いて第1の実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムと同一であるので、ここでの説明を省略する。
【0120】
すなわち、図17に示すフローチャートでは、第1の実施形態における、図9に示すフローチャートにおける混合比率の決定(ステップS632)が、相対比率の決定に置き換えられる。相対比率決定部235は、画像評価部231から送られた評価結果にしたがって、原画像と挿入画像を合成した合成画像における、原画像に対する挿入画像の相対比率を決定する(ステップS635)。相対比率決定部235は、合成画像において、挿入画像が原画像に対して目立たず、かつ合成画像から挿入画像を分離できる程度の相対比率を決定する。相対比率決定部235は、決定した混合比率を合成条件格納部24に送る。
【0121】
<実施例3>
実施例3として、実施例1と同じ図13(a)に示す原画像および図13(c)に示す挿入画像を利用した。また、相対比率を−0.04とした。
【0122】
画像合成処理装置2を利用して、原画像と挿入画像とを合成することで、図18(a)に示すような、挿入画像の目立たない合成画像を得ることができた。そして、画像分離処理装置5を利用して、図18(a)に示す合成画像から挿入画像を分離することで、図18(b)に示す挿入画像を得ることができた。このように、合成画像において挿入画像を目立たなくすることができるとともに、合成画像から挿入画像を抽出することができた。
【0123】
<実施例4>
実施例4として、実施例2と同じ図13(b)に示す原画像および図13(c)に示す挿入画像を利用した。また、相対比率を−0.04とした。
【0124】
画像合成処理装置2を利用して、原画像と挿入画像とを合成することで、図19(a)に示すような、挿入画像の目立たない合成画像を得ることができた。そして、画像分離処理装置5を利用して、図19(a)に示す合成画像から挿入画像を分離することで、図19(b)に示す挿入画像を得ることができた。このように、合成画像において挿入画像を目立たなくすることができるとともに、合成画像から挿入画像を抽出することができた。
【0125】
以上により、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムによれば、第1の実施形態と同様に、原画像に対する挿入画像の合成または分離をより簡素にできる。すなわち、原画像および挿入画像の分離原理や手順を簡素化することができるとともに、メモリ使用量などの負荷についても軽減することができる。
【0126】
また、挿入画像を原画像に挿入して目立たなくすることができるので、原画像および挿入画像を別々に表示または印刷する必要がない。したがって、挿入画像の外観が原画像に対して目立つことを防止でき、原画像の外観を良好に保つことができる。特に、挿入画像がQRコード(登録商標)やバーコード等の場合には、原画像に対してQRコード(登録商標)やバーコード等が目立つことを防止でき、原画像の外観を良好に保つことができる。
【0127】
なお、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。また、上記した複数の実施形態の構成や方法等を任意に採用して組み合わせてもよく(1つの実施形態に係る構成や方法等を他の実施形態に係る構成や方法等に適用してもよく)、さらに、下記する各種の変更例に係る構成や方法等を任意に選択して、上記した実施形態に係る構成や方法等に採用してもよいことは勿論である。
【0128】
例えば、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムおいては、混合比率決定部232による混合比率の決定、および符号挿入条件決定部233による符号要素の決定の前に、伸長条件決定部234は、原画像の伸長条件を決定してもよい。
【0129】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、原画像の量子化データの各列ベクトルと、挿入画像の量子化データの各列ベクトルとをそれぞれブロック化してもよい。すなわち、原画像の各ブロックに含まれるデータ量と、挿入画像の各ブロックに含まれるデータ量とが等しくなるようにブロック化されるのであれば、どのようなブロック化方法を採用してもよい。これにより、原画像または挿入画像の画素値に合わせて、適したブロック化方法を採用することができる。
【0130】
また、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、挿入画像としてQRコード(登録商標)を利用して説明したが、挿入画像は、どのような画像であってもよい。例えば、文字や記号等であってもよい。
【0131】
また、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、符号挿入条件決定部233は、採用されたブロック化方法や、符号要素の挿入方法を合成条件に含めて合成条件格納部24に送ってもよい。これにより、画像分離処理装置5において、画像分離部56が合成条件を取得することで、画像提供装置3において採用されたブロック化方法または符号要素の挿入方法を利用して合成画像から挿入画像を分離することができる。
【0132】
また、本実施形態に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいて、混合比率決定部232は、原画像または挿入画像に含まれる領域毎に異なる混合比率を決定してもよい。例えば、混合比率決定部232が原画像の混合比率を決定する場合に、混合比率決定部232は、白の多い領域に対して高い混合比率を決定して、黒の多い領域に対して低い混合比率を決定してもよい。
【0133】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、挿入画像が2枚以上になる場合に、伸長画像作成部252は、原画像を4倍以上に伸長して、2枚以上の挿入画像を挿入してもよい。例えば、挿入画像が2枚である場合、伸長画像作成部252は、原画像の各行ベクトルの各要素を、該行ベクトルの直上の行に3回複製することで、原画像を4倍に伸長して伸長原画像を作成する。すなわち、伸長画像作成部252は、(4n−3)行の行ベクトル(nは自然数)に含まれる各要素と、(4n−2)、(4n−1)、および4n行の行ベクトル(nは自然数)のそれぞれに含まれる各要素とが等しい伸長原画像を作成する。合成画像作成部253は、(4n−3)行および(4n−2)行に、1枚目の挿入画像に係る埋込画像の行ベクトルを挿入し、(4n−1)行および4n行に、2枚目の挿入画像に係る埋込画像の行ベクトルを挿入することで、2枚の挿入画像を原画像に合成することができる。
【0134】
この場合、合成画像出力装置4の挿入画像復元部562は、合成条件に含まれる挿入画像の枚数が2枚であることを取得する。挿入画像復元部562は、(4n−3)行および(4n−2)行から1枚目の挿入画像の分離し、(4n−1)行および4n行から2枚目の挿入画像を分離する。これにより、原画像に対して、複数の挿入画像に係る情報を合わせて挿入することができる。
【0135】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、伸長画像作成部252は、原画像の量子化データの列方向への伸長率に合わせて列方向に伸長するとともに、行方向についても該伸長率に合わせて伸長してもよい。これにより、原画像の縦横比を崩すことなく、原画像と挿入画像とを合成することができる。
【0136】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、ブロック化された原画像の量子化データの各要素に隣接する位置であれば、いずれの方向に埋込画像の各要素を合成してもよい。例えば、1枚の挿入画像を原画像に合成する場合で、原画像および挿入画像のサイズが同じ場合、伸長画像作成部252は、ブロック化された原画像の量子化データを行方向および列方向にそれぞれ3倍することで、原画像の1つのブロックに対して複製された8つのブロックを作成して、伸長原画像を作成してもよい。埋込画像作成部251は、ブロック化された挿入画像の量子化データの各要素に対して、符号要素を各要素の周囲の8ブロックに挿入して埋込画像を作成してもよい。合成画像作成部253は、伸長原画像と埋込画像とを合成することで合成画像を作成してもよい。
【0137】
これにより、合成画像は、挿入画像の要素と原画像の要素とが合成されている1つの要素に対して、符号要素と原画像の要素とが合成されている8つの要素を含む。したがって、8つの要素から符号要素を除いた原画像の要素のそれぞれの閾値処理を実行することにより、原画像の要素をより確実に合成画像から分離することができる。すなわち、量子化誤差やノイズ等があっても、合成画像から原画像の各要素をより確実に分離することができる。したがって、挿入画像の各要素についても、より確実に合成画像から分離することができる。特に、合成画像出力装置4がプリンタ等である場合に、画像分離処理装置5は、合成画像出力装置4で印刷された合成画像を読取って、より確実に合成画像から挿入画像を分離できる。
【0138】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、画像合成処理装置2が電子データとして画像提供装置3に合成画像を出力する場合、画像合成部25は、合成条件を合成画像のヘッダに含めてもよい。この場合、画像出力部26は、合成条件のみを合成画像出力装置4に出力してもよい。これにより、画像分離処理装置5は、合成画像の取得以外に別途、合成条件を取得する必要がない。したがって、画像分離処理装置5において、合成条件の取得が出来ずに、挿入画像の分離が出来なくなることを防止できる。
【0139】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいては、画素値として、RGB成分、CMY成分、またはこれらのそれぞれの成分を利用することができる。これにより、例えば、画像合成部25は、伸長原画像および埋込画像のR成分のみを利用して合成画像を作成してもよい。これにより、原画像および挿入画像の色合いに合わせて、合成画像を作成することができる。
【0140】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいて、合成条件決定部23で合成条件を決定せずに、既知の合成条件を合成条件格納部24に格納しておき、画像合成部25は、既知の合成条件を利用して伸長原画像と埋込画像とを合成してもよい。同様に、合成条件格納部55が合成条件格納部24に格納されている合成条件と同じ既知の合成条件を格納しており、画像分離部56が既知の合成条件を利用して、合成画像を原画像と挿入画像とに分離してもよい。
【0141】
また、本発明に係る画像合成処理装置、画像分離処理装置、画像処理システム、画像合成処理方法、画像分離処理方法、画像処理方法、およびプログラムにおいて、画像提供装置3は、予め原画像と挿入画像とのサイズを同一にした上で、該原画像と該挿入画像とを格納していてもよい。
【符号の説明】
【0142】
1…画像処理システム、2…画像合成処理装置、3…画像提供装置、4…合成画像出力装置、5…画像分離処理装置、21…画像取得部、21a…入力デバイス、22…画像格納部、23…合成条件決定部、24…合成条件格納部、25…画像合成部、26…画像出力部、51…合成画像取得部、51a…入力デバイス、52…画像格納部、53…画像表示部、54…合成条件取得部、55…合成条件格納部、56…画像分離部、231…画像評価部、232…混合比率決定部、233…符号挿入条件決定部、234…伸長条件決定部、235…相対比率決定部、251…埋込画像作成部、252…伸長画像作成部、253…合成画像作成部、561…原画像復元部、562…挿入画像復元部

【特許請求の範囲】
【請求項1】
少なくとも1つの挿入画像を原画像に合成する画像合成処理装置であって、
ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する埋込画像作成部と、
埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する伸長原画像作成部と、
所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する合成画像作成部と
を備えることを特徴とする画像合成処理装置。
【請求項2】
請求項1の画像合成処理装置で作成された合成画像から挿入画像を分離する画像分離処理装置であって、
ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素から、所定の合成条件を利用して、伸長原画像の各要素を復元する伸長原画像復元部と、
ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を、所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元する挿入画像復元部と
を備えることを特徴とする画像分離処理装置。
【請求項3】
合成画像を作成する請求項1に記載の画像合成処理装置と、該合成画像から挿入画像を分離する請求項2に記載の画像分離処理装置とを備えることを特徴とする画像処理システム。
【請求項4】
少なくとも1つの挿入画像を原画像に合成する画像合成処理方法であって、
ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成するステップと、
埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成するステップと、
所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成するステップと
を備えることを特徴とする画像合成処理方法。
【請求項5】
請求項4の画像合成方法で作成された合成画像から挿入画像を分離する画像分離処理方法であって、
ブロック化された合成画像の量子化データである各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素から、所定の合成条件を利用して、伸長原画像の各要素を復元するステップと、
ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を、所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元するステップと、
復元された挿入画像の各要素を結合するステップと
を備えることを特徴とする画像分離処理方法。
【請求項6】
合成画像を作成する請求項4に記載の画像合成処理方法と、該合成画像から挿入画像を分離する請求項5に記載の画像分離処理方法とを備えることを特徴とする画像処理方法。
【請求項7】
コンピュータを少なくとも1つの挿入画像を原画像に合成する画像合成処理装置として機能させるプログラムであって、
コンピュータを、
ブロック化された挿入画像の量子化データである各要素の位置に対して所定の方向で隣接する位置に、各要素のデータ量に等しくブロック化された所定の符号要素を挿入して、埋込画像を作成する埋込画像作成部、
埋込画像に含まれる挿入画像の要素と該要素に対して挿入された符号要素とのそれぞれに、ブロック化された原画像の量子化データに含まれる要素のうちの1つを対応させて合成すべく、原画像の量子化データの各要素を複製することで原画像を所定の方向に伸長して伸長原画像を作成する伸長原画像作成部と、
所定の合成条件にしたがって、埋込画像に含まれる各要素と伸長原画像に含まれる各要素とを合成して合成画像を作成する合成画像作成部
として機能させることを特徴とするプログラム。
【請求項8】
コンピュータを、請求項7の画像合成処理装置として機能させるプログラムを利用して作成された合成画像から、挿入画像を分離する画像分離処理装置として機能させるプログラムであって、
コンピュータを、
ブロック化された合成画像の量子化である各要素のうち、所定の符号要素と伸長原画像の各要素とが合成されている要素とから、所定の合成条件を利用して、伸長原画像の各要素を復元する伸長原画像復元部、
ブロック化された合成画像の量子化データである各要素のうち、挿入画像の各要素と伸長原画像の各要素とが合成されている要素から、所定の方向で隣接する位置で抽出された伸長原画像の要素を所定の合成条件を利用して除去することで、合成画像の各要素から挿入画像の各要素を復元する挿入画像復元部
として機能させることを特徴とするプログラム。
【請求項9】
コンピュータを、合成画像を作成する請求項7の画像合成処理装置として機能させるプログラムと、該合成画像から挿入画像を分離する請求項8に記載の画像分離処理装置として機能させるプログラムとを備えることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図16】
image rotate

【図17】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図18】
image rotate

【図19】
image rotate


【公開番号】特開2012−222667(P2012−222667A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−87667(P2011−87667)
【出願日】平成23年4月11日(2011.4.11)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 〔発行者名〕 日本機械学会 〔刊行物名〕 第53回自動制御連合講演会CD−ROM 〔発行年月日〕 平成22年11月3日
【出願人】(399030060)学校法人 関西大学 (208)
【Fターム(参考)】