画像処理装置及び画像処理方法、並びにプログラム
【課題】電子透かしの有効性を損なうことなく、予め電子透かし処理が施された画像と他の画像とを合成することができる画像処理装置を提供する。
【解決手段】画像処理装置としての撮像装置は、電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出し、抽出された電子透かしを保持し、電子透かしが埋め込まれていない第２画像と、第１画像との合成画像を生成し、生成手段により生成された合成画像が、電子透かしが抽出できない画像となった場合に、保持されていた電子透かしを合成画像に埋め込む。
【解決手段】画像処理装置としての撮像装置は、電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出し、抽出された電子透かしを保持し、電子透かしが埋め込まれていない第２画像と、第１画像との合成画像を生成し、生成手段により生成された合成画像が、電子透かしが抽出できない画像となった場合に、保持されていた電子透かしを合成画像に埋め込む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子透かしが埋め込まれた画像と他の画像とを合成可能な画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタル画像・音声データ中に、人間に知覚されない別の情報を埋め込み、必要に応じて正当な資格や権利を有する者だけが埋め込んだ情報を取り出せる電子透かし（Watermark）技術がある。それによって、画像の証拠能力を高め、又は著作権を保護することが可能となる。電子透かし技術には、特許文献１に記載されているような埋め込みデータが人間に知覚されない「不可視データ埋め込み」の方法がある。また、特許文献２に記載されているような積極的に著作権情報等を知覚可能な状態で原画像に埋め込むことで、第三者に画像の不正使用を思いとどませる効果を期待した「可視データ埋め込み」という方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２９０３５９号公報
【特許文献２】特開平８−２４１４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、複数枚合成を伴う多重露光撮像という撮影モードが存在する。多重露光撮像の方式の１つとして、予め撮像されている画像を指定して、この画像に対して撮像した画像を順次合成処理していく方法がある。このような多重露光撮像で得られる合成画像に対して、従来、電子透かしを用いることが想定されていなかった。
【０００５】
上記課題に鑑み、本発明の目的は、多重露光撮像で得られる合成画像に対して、電子透かしを用いることが可能な画像処理装置及び画像処理方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の画像処理装置は、電子透かしが埋め込まれた画像から、前記電子透かしを抽出する抽出手段と、電子透かしが埋め込まれた第１画像から前記抽出手段により抽出された電子透かしを保持する保持手段と、前記第１画像と前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成手段と、前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、前記保持手段により保持されていた前記電子透かしを前記合成画像に埋め込む埋め込み手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多重露光撮像で得られる合成画像に対して、電子透かしを用いることが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る画像処理装置としての撮像装置の概略構成を示す図である。
【図２】図１における画像表示部に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示し、（Ｃ）は撮像合成モードが選択されている多重モード選択画面を示し、（Ｄ）は、選択合成モードが選択されている多重モード選択画面を示す。
【図３】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、撮像合成モード時の画像処理の手順を示している。
【図４】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時の画像処理の手順を示している。
【図５】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に電子透かしが埋め込まれている場合の画像処理の手順を示している。
【図６】抽出された埋め込み情報の一例を示す図である。
【図７】可視透かしの一例を示す図であり、（Ａ）は可視透かしを含む画像を示し、（Ｂ）は画像に含まれる不可視透かしの埋め込み情報を示す。
【図８】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に可視透かしが埋め込まれている場合の画像処理の手順を示している。
【図９】図１におけるシステム制御回路により実行される撮像された全ての画像を記録する撮像画像記録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１０】
本実施形態では、複数枚合成を伴う多重露光撮像モードにおいて電子透かしを有効にはたらかせるための処理を示す。前述したとおり、多重露光撮像の主な方式としては、撮像した画像を順次合成処理していく場合と、予め撮像されている画像を指定して、この画像に対して撮像した画像を順次合成処理していく場合とがある。このような多重露光撮像で得られる合成画像に対して、電子透かしの技術を用いた場合を考える。
【００１１】
前者の場合は、全ての画像を合成処理した後に電子透かしを埋め込むことで、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【００１２】
また、後者の場合においても、予め撮像されている画像に対して電子透かしが埋め込まれていなければ、撮像した画像を順次合成処理していく場合と同様の処理を行うことで、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【００１３】
しかしながら、予め撮像されている画像に対して電子透かし処理が施されている画像の場合は、合成処理によって、埋め込まれた電子透かし情報が正常に取り出せなくなる可能性がある。かといって、合成処理後に再び電子透かしの埋め込み処理を施すと画像の劣化が懸念される。
【００１４】
また、埋め込まれている電子透かしが可視透かしの場合は、合成処理を行うことにより可視透かし自体が見えにくくなってしまう。このように、予め電子透かし処理が施された画像と他の画像とを合成した場合に、電子透かしの有効性を損なってしまうという問題が生じる。
【００１５】
そこで、本実施形態では、予め撮像されている画像に対して電子透かし処理が施されている画像の場合には、その電子透かし情報を抽出し、合成画像が合成によって電子透かし情報を失った場合でも合成画像に対して当該電子透かしを埋め込む処理を行う。
【００１６】
図１は、本発明の実施の形態に係る画像処理装置としての撮像装置の概略構成を示す図である。
【００１７】
本実施の形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本実施の形態を適用することが可能である。
【００１８】
撮像装置１０００は、カメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えている。
【００１９】
レンズユニット３００は、撮像レンズ３１０、絞り３１２、レンズマウント３０６、インタフェース３２０、コネクタ３２２、絞り制御部３４０、フォーカス制御部３４２、ズーム制御部３４４、及びレンズシステム制御回路３５０を備える。
【００２０】
撮像レンズ３１０は、複数のレンズから成る。レンズマウント３０６は、レンズユニット３００をカメラ本体１００に機械的に結合する。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。インタフェース３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインタフェースである。コネクタ３２２は、レンズユニット３００をカメラ本体１００に電気的に接続するコネクタである。このコネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を用いて通信を行う構成としてもよい。
【００２１】
絞り制御部３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシャッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する。フォーカス制御部３４２は、撮像レンズ３１０のフォーカシングを制御する。ズーム制御部３４４は、撮像レンズ３１０のズーミングを制御する。
【００２２】
レンズシステム制御回路３５０は、レンズユニット３００全体を制御する。レンズシステム制御回路３５０は、動作用の定数、変数、プログラム等を記録するメモリを備えている。更に、レンズシステム制御回路３５０は、レンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発性メモリも備えている。
【００２３】
次に、カメラ本体１００の構成について説明する。カメラ本体１００は、レンズマウント１０６、ミラー１３０，１３２、光学ファインダ１０４、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６、タイミング発生回路１８、画像処理回路２０、メモリ制御回路２２、画像表示部２８、画像表示メモリ２４、画像合成回路３１、メモリ３０、圧縮伸長回路３２を備える。
【００２４】
レンズマウント１０６は、カメラ本体１００とレンズユニット３００を機械的に結合する。ミラー１３０，１３２は、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
【００２５】
光学ファインダ１０４は、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導かれた撮像レンズ３１０に入射された光線を、光学像として表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮像を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正等が表示される。
【００２６】
シャッター１２は、フォーカルプレーン式となっている。撮像素子１４は、ＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子が配置されている。撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。
【００２７】
Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換する。Ｄ／Ａ変換器２６は、画像表示メモリ２４に書き込まれた表示用の画像を画像表示部２８により表示させるために画像をアナログ信号に変換する。
【００２８】
タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２９】
画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。
【００３０】
なお、本実施形態における図３に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。
【００３１】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２、電子透かし回路３３を制御する。Ａ／Ｄ変換器１６から出力される画像は、画像処理回路２０、メモリ制御回路２２を介して、又はメモリ制御回路２２のみを介して、画像表示メモリ２４又はメモリ３０に書き込まれる。
【００３２】
画像表示部２８は、ＴＦＴ方式のＬＣＤ等であり、画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像を逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。
【００３３】
画像合成回路３１は、複数枚の画像を合成処理する回路である。後述する操作部７０に含まれる通常撮像モード／多重露光撮像モード切り替えボタンで、多重露光撮像モードが設定されているとき、画像合成回路３１は、メモリ３０に記録される撮像画像の合成処理を行う。
【００３４】
電子透かし回路３３は電子透かしの埋め込み処理と、電子透かしの抽出処理を行う。電子透かし回路３３は、メモリ３０に記録された画像と、システム制御回路５０で生成される鍵情報及び埋め込み情報を読み込んで、画像の所定の位置に電子透かしを埋め込む回路である。また、電子透かしが埋め込まれた画像と鍵情報を読み込んで、電子透かしを抽出する回路である。さらに、電子透かし回路３３は、可視の電子透かし、及び不可視の電子透かしを抽出可能であり、また、可視の電子透かし、及び不可視の電子透かしを埋め込み可能である。なお、以下の説明において、単に電子透かしと表現した場合には、不可視の電子透かしを示し、可視、不可視を区別する場合には、それぞれ可視電子透かし、不可視電子透かしと表現する。
【００３５】
メモリ３０は、静止画像又は動画像を記録するためのメモリであり、所定枚数の静止画像又は所定量の動画像を記録するのに十分な記録容量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。多重露光撮像では合成処理するための画像を複数枚保持することも可能である。また、動画像撮像時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３６】
圧縮伸長回路３２は、公知の圧縮方法を用いて画像を圧縮・伸長する回路である。圧縮伸長回路３２は、メモリ３０に記録された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、圧縮伸長回路３２は、動画像を所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。
【００３７】
カメラ本体１００は、さらにシャッター制御部４０、焦点調節部４２、測光制御部４６、及びフラッシュ４８を備える。
【００３８】
シャッター制御部４０は、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。焦点調節部４２は、ＡＦ（オートフォーカス）処理を行うための焦点調節部である。焦点調節部４２は、レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像を画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。
【００３９】
測光制御部４６は、ＡＥ（自動露出）処理を行う。測光制御部４６は、レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像を画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
【００４０】
フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。
【００４１】
また、カメラ本体１００は、インタフェース１２０、及びコネクタ１２２を備える。インタフェース１２０は、レンズマウント１０６内でカメラ本体１００をレンズユニット３００に接続するためのインタフェースである。コネクタ１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。
【００４２】
さらに、カメラ本体１００は、電源スイッチ７２、電源制御部８０、コネクタ８２，８４、及び電源８６を備える。
【００４３】
電源スイッチ７２は、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【００４４】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ‐ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等である。コネクタ８２，８４は電源制御部８０と電源とを接続する。
【００４５】
さらに、カメラ本体１００は、システム制御回路５０、メモリ５２、通知部５４、不揮発性メモリ５６を備える。システム制御回路５０は、カメラ本体１００全体を制御し、周知のＣＰＵ等を内蔵する。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記録するメモリである。
【００４６】
通知部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を外部に通知する。通知部５４としては、例えばＬＣＤやＬＥＤ等による視覚的な表示を行う表示部や音声による通知を行う発音素子等が用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の後述する操作部７０近辺の、視認しやすい単数又は複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００４７】
通知部５４の表示内容のうち、ＬＣＤ等の画像表示部２８に表示する内容としては以下のものがある。まず、単写／連写撮像表示、セルフタイマ表示等、撮像モードに関する内容がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示等の記録に関する内容がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮像条件に関する内容がある。その他に、マクロ撮像表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す内容等もある。
【００４８】
また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示する内容としては、例えば、以下のものがある。合焦表示、撮像準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
【００４９】
不揮発性メモリ５６は、後述するプログラム等が記録された電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００５０】
また、カメラ本体１００は、モードダイアル６０、シャッタースイッチ６２，６４、再生スイッチ６６、単写／連写スイッチ６８、及び操作部７０を備える。
【００５１】
これらは、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００５２】
モードダイアル６０は、自動撮像モード、プログラム撮像モード、シャッター速度優先撮像モード、絞り優先撮像モード、マニュアル撮像モード、焦点深度優先（デプス）撮像モード等の各機能撮像モードを切り替え設定することができる。他に、モードダイアル６０は、ポートレート撮像モード、風景撮像モード、接写撮像モード、スポーツ撮像モード、夜景撮像モード、パノラマ撮像モード、等の各機能撮像モードを切り替え設定することもできる。
【００５３】
シャッタースイッチ６２は、ＳＷ１に対応しており、不図示のシャッターボタンの操作途中（例えば、半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００５４】
シャッタースイッチ６４は、ＳＷ２に対応しており、不図示のシャッターボタンの操作完了（例えば、全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像を読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００又はＰＣ２１０に書き込む、又は送信する。
【００５５】
再生スイッチ６６は、撮像モード状態で撮像した画像をメモリ３０又は記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。
【００５６】
単写／連写スイッチ６８は、シャッタースイッチ６４を押した場合に、１コマの撮像を行って待機状態とする単写モードと、シャッタースイッチ６４を押している間、連続して撮像を行い続ける連写モードとを設定することができる。
【００５７】
操作部７０は各種ボタンやタッチパネル等から成る。各種ボタンの一例として、通常撮像モード／多重露光撮像モード切り替えボタン、多重露光撮像枚数の設定ボタン、ライブビュー開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、各種ボタンの一例として、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタン等も含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、ユーザは、より軽快に数値や機能を選択することが可能となる。
【００５８】
また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮像直後に撮像した画像を自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、又は撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチ等がある。ワンショットＡＦモードでは、シャッタースイッチ６２を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチ６２を押している間、連続してオートフォーカス動作を続ける。
【００５９】
また、カメラ本体１００は、アクセサリシュー１１０、及び外部フラッシュ１１２を備える。
【００６０】
アクセサリシュー１１０は、システム制御回路５０と外部フラッシュ１１２とのインタフェースである。
【００６１】
さらに、カメラ本体１００は、記録媒体着脱検知回路９８、インタフェース９０，９４及びコネクタ９２，９６を備える。インタフェース９０，９４は、メモリカードやハードディスク等の記録媒体やＰＣとのインタフェースである。コネクタ９２，９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。記録媒体着脱検知回路９８は、コネクタ９２及び／又は９６に記録媒体２００又はＰＣ２１０が装着されているか否かを検知する。
【００６２】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数又は複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００６３】
インタフェース及びコネクタとしては、種々の記録媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０，９４、そしてコネクタ９２，９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。
【００６４】
通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像や画像に付属した管理情報を転送し合うことができる。
【００６５】
記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインタフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。
【００６６】
記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００６７】
ＰＣ２１０は、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインタフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インタフェース９４はＵＳＢやＩＥＥＥ１３９４等が挙げられるが、特に限定されない。
【００６８】
図２は、図１における画像表示部２８に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示し、（Ｃ）は撮像合成モードが選択されている多重モード選択画面を示し、（Ｄ）は、選択合成モードが選択されている多重モード選択画面を示す。
【００６９】
図２（Ａ）において、撮像モード切り替え画面は、操作部７０に含まれる、通常撮像モード／多重露光撮像モード切り替えボタンを操作することで表示され、ユーザは、通常撮像モードと、多重露光撮像モードを切り替えることが出来る。
【００７０】
また、図２（Ｂ）において、多重露光撮像枚数画面は、操作部７０に含まれる、多重露光撮像枚数設定ボタンを操作することで表示され、ユーザは、多重露光撮像した際の撮像枚数（図では３枚）を設定することが出来る。
【００７１】
さらに、操作部７０に含まれる、撮像合成モード／選択合成モード切替ボタンを操作することで、画像表示部２８に切り替えメニューが表示され、撮像合成モードと、選択合成モードを切り替えることが出来る。
【００７２】
図２（Ｃ）における「撮像合成モード」では、撮像した画像を順次合成処理していくモードである。また、図２（Ｄ）における「選択合成モード」では、記録媒体２００に、予め記録されている画像を選択して、この画像に対して撮像した画像を順次合成処理してくモードである。
【００７３】
図３は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、撮像合成モード時の画像処理の手順を示している。
【００７４】
図３において、操作部７０に含まれる、多重露光撮像枚数設定ボタンと、撮像合成モード／選択合成モード切替ボタンを操作することで、「撮像合成モード」がユーザにより選択される（ステップＳ２００）。
【００７５】
シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。そして、シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ２０１）。このとき、画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【００７６】
次いで、ステップＳ２０１での撮像が、多重露光における最初の撮像か否か判別し（ステップＳ２０２）、最初の撮像のときは（ステップＳ２０２でＹＥＳ）、合成処理する画像が無いので、ステップＳ２０１へ戻り、再びシャッタースイッチ６４がユーザによりオンされることを待つ。最初の撮像でないときは（ステップＳ２０２でＮＯ）、合成処理を行う（ステップＳ２０３）。このステップＳ２０３では、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行う。
【００７７】
次いで、設定した多重露光撮像枚数に達しているか否かを判別し（ステップＳ２０４）、達しているときは（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進み、達していないときは（ステップＳ２０４でＮＯ）、ステップＳ２０１以降の処理を実行する。
【００７８】
例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ２０５へ進む。３枚目の撮像が終わっていなければステップＳ２０１へ戻ることとなる。
【００７９】
ステップＳ２０５では、多重露光撮像と合成処理が終わっているので、メモリ３０に記録されている合成処理済みの画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形され、インタフェース９０を介して記録媒体２００へ書き込まれる。
【００８０】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００８１】
図４は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、選択合成モード時の画像処理の手順を示している。
【００８２】
図４において、操作部７０に含まれる、多重露光撮像枚数設定ボタンと、撮像合成モード／選択合成モード切替ボタンを操作することで、「選択合成モード」がユーザにより選択される（ステップＳ６００）。
【００８３】
次いで、撮像画像と合成する撮像済の画像がユーザにより選択される（ステップＳ６０１）。今の場合は、予め撮像された画像が記録媒体２００に記録されているものとする。ユーザが再生スイッチ６６を操作することで、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【００８４】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【００８５】
シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ６０２）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【００８６】
メモリ３０の画像バッファに記録されている２つの画像を、画像合成回路３１にて合成処理を行う（ステップＳ６０３）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。
【００８７】
次いで、設定した多重露光撮像枚数に達しているか否かを判別し（ステップＳ６０４）、達しているときは（ステップＳ６０４でＹＥＳ）、ステップＳ６０５に進み、達していないときは（ステップＳ６０４でＮＯ）、ステップＳ６０２以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ６０５へ進む。３枚目の撮像が終わっていなければステップＳ６０２へ戻ることとなる。
【００８８】
ステップＳ６０５では、多重露光撮像と合成処理が終わっているので、メモリ３０に記録されている合成処理済みの画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形され、インタフェース９０を介して記録媒体２００へ書き込まれる。
【００８９】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００９０】
上述した図３、図４の処理に示されるように、撮像合成モードと選択合成モードとの違いは、予め撮像しておいたデータと合成させるか否かという点である。
【００９１】
次に、本実施形態で用いる電子透かしの処理について説明する。まず、画像を、１ブロックがｎ画素×ｍ画素のブロックで複数に分割する（分割処理）。次に分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。
【００９２】
埋め込み情報の埋め込み処理に先立ち、直交変換処理で得られた周波数成分行列のどの位置に埋め込み情報を埋め込むかを示す埋め込み位置を乱数により決定し、さらにその周波数成分の値をどの程度変更するかを示す変更量を決定し、この埋め込み位置と変更量を鍵情報として取得・保存しておく。
【００９３】
埋め込み情報を埋め込む場合、１つのブロックに対する周波数成分行列に全てを埋め込む必要はなく、複数のブロックの周波数成分行列に跨がって埋め込んでも良い。その場合、画面内のコントラストが適切なブロック群を選択する。
【００９４】
埋め込み位置として、例えば周波数成分行列の低周波数部分を選択することにより、人間に知覚できないように埋め込むことができる。また、変更量を変えることにより、周波数成分行列の元の値との差を変えられるため、画質の劣化を制御することができる。
【００９５】
前述した各ブロックの周波数成分行列の値を、鍵情報の埋め込み位置と変更量に基づいて変更することにより、埋め込み情報を埋め込む（埋め込み処理）。さらに、埋め込み情報が埋め込まれた各ブロックの周波数成分行列を逆直交変換し、ｎ画素×ｍ画素の複数ブロックの画像を得る（逆直交変換処理）。最後に、逆直交変換処理で得られた複数ブロックの画像をつなぎ合わせ、埋め込み情報が埋め込まれた透かし画像を得る（再構成処理）。
【００９６】
次に、透かし画像から埋め込み情報を抽出する場合の処理の流れについて説明する。まず、透かし画像を、１ブロックがｎ画素×ｍ画素の複数ブロックに分割する（分割処理）。次に、分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。さらに、埋め込む時に用いた鍵情報から埋め込み位置と変更量を得て、各ブロックの周波数成分行列から埋め込み情報を取り出す（取り出し処理）。
【００９７】
図５は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に電子透かしが埋め込まれている場合の画像処理の手順を示している。
【００９８】
図５において、電子透かしが埋め込まれている画像は、選択された画像（第１画像）とする。また、撮像モードとして「多重露光モード」、多重露光撮像枚数として「３枚」、多重モードとして「選択合成モード」が設定されているとする。従って、多重露光撮像により得られた複数の撮像画像（第１画像とは異なる画像）が選択された画像に合成される。従って、撮像画像と異なる少なくとも１枚の画像と合成されることとなる。
【００９９】
撮像画像と合成する撮像済の画像とがユーザにより選択される（ステップＳ１００）。予め撮像されることで得られた撮像済の画像が記録媒体２００に記録されている。再生スイッチ６６を操作することで選択され、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【０１００】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【０１０１】
次いで、ステップＳ１００で選択された画像に対して、電子透かしの抽出処理を行う（ステップＳ１０１）（抽出手段）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、電子透かしが埋め込まれていれば、埋め込まれた電子透かしが抽出される。抽出された電子透かしをメモリ３０に保持する（ステップＳ１０２）（保持手段）。図６は、抽出された埋め込み情報の一例を示している。また、埋め込み情報が抽出された場合には、画像表示部２８に電子透かしが埋め込まれた画像であることを表示するようにしてもよい。
【０１０２】
次いで、シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ１０３）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【０１０３】
次いで、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行い、合成画像を生成する（ステップＳ１０４）（生成手段）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。すなわち、被写体を撮像するごとに、選択された画像に、撮像により得られた画像を逐次合成していくこととなる。
【０１０４】
次いで、合成画像に対して、電子透かしの抽出処理を行い、電子透かしが抽出されたか否かを判別する（ステップＳ１０５）（判定ステップ）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、埋め込み情報が抽出された場合は、ステップＳ１０１で抽出された埋め込み情報と比較する。比較した結果、一致した場合は電子透かしが抽出されたと判別し、不一致の場合は電子透かしが抽出されなかったと判別する。
【０１０５】
ステップＳ１０５の判別の結果、電子透かしが抽出されたときは（ステップＳ１０５でＹＥＳ）、ステップＳ１０６へ進む。電子透かしが抽出されなかったときは（ステップＳ１０５でＮＯ）、埋め込み情報が消失したことを画像表示部２８を用いてユーザに通知することで警告を発生し（ステップＳ１１０）（警告発生手段）、ステップＳ１０６へ進む。
【０１０６】
次いで、設定した多重露光撮像枚数に達したことで、多重露光が終了したか否かを判別し（ステップＳ１０６）、多重露光が終了したときは（ステップＳ１０６でＹＥＳ）、ステップＳ１０７に進み、多重露光が終了していないときは（ステップＳ１０６でＮＯ）、ステップＳ１０３以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ１０７へ進む。３枚目の撮像が終わっていなければステップＳ１０３へ戻ることとなる。
【０１０７】
次いで、電子透かしを合成画像に埋め込むか否かを判別する（ステップＳ１０７）。ステップＳ１０７では、ステップＳ１１０を経てステップＳ１０７へ進んだ場合は、元々埋め込まれていた情報が消失しているので、埋め込むと判別される。一方、ステップＳ１１０を経ていない場合は、画像に元々埋め込まれていた情報が保持されているので、埋め込まないと判別される。
【０１０８】
ステップＳ１０７での判別の結果、電子透かしを埋め込まないとき（ステップＳ１０７でＮＯ）、ステップＳ１０９に進む。ステップＳ１０７での判別の結果、電子透かしを埋め込むと判別されたとき（ステップＳ１０７でＹＥＳ）、ステップＳ１０２で保持された埋め込み情報により、画像に電子透かしを埋め込む（ステップＳ１０８）（埋め込み手段）。ステップＳ１０８では、メモリ３０に記録されている合成画像を読み出して、電子透かし回路３３により、電子透かしを埋め込む。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１０９】
次いで、メモリ３０に記録されている画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに画像を成形し、インタフェース９０を介して記録媒体２００へ画像を記録する（ステップＳ１０９）（記録手段）。
【０１１０】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に記録された表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【０１１１】
図５の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０５でＮＯ）、合成画像に保持されていた選択画像の電子透かしを埋め込む（ステップＳ１０８）。これにより、電子透かしの有効性を損なうことなく、予め電子透かし処理が施された画像と他の画像とを合成することができる。また、最後に一度だけ電子透かしを埋め込むので、不要な埋め込み処理による画像劣化を防ぐことが可能になる。また、図５の処理によれば、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【０１１２】
さらに、図５の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０５でＮＯ）、警告を発生する（ステップＳ１１０）ので、ユーザに電子透かしの消失を通知することが可能になる。なお、上記ステップＳ１０９において、ユーザに対して、画像記録前に再度、電子透かしの埋め込み処理を実施するかどうかを選択できるように構成することで、ユーザの意図しない埋め込み処理による画像劣化を防ぐことが可能になる。
【０１１３】
図５の処理では、電子透かしが非可視化透かしであったが、次に電子透かしが可視透かしの場合についての実施の形態について説明する。
【０１１４】
可視化情報による可視透かしは、画像を利用する利用者に対し、画像制作者の著作権等を明示的に示す役割を持っている。よって、多重露光撮像において、可視透かしが見えにくくなることは画像制作者にとって本意ではない。
【０１１５】
図７は、可視透かしの一例を示す図であり、（Ａ）は可視透かしを含む画像を示し、（Ｂ）は画像に含まれる不可視透かしの埋め込み情報を示す。
【０１１６】
図７（Ａ）において、可視透かし９０１は、高さＶと幅Ｈの矩形で示され、その矩形の１つの頂点の座標は（Ｘ，Ｙ）となっている。また、図７（Ｂ）では不可視の埋め込み情報として、撮像者、撮像日時、カメラＩＤの他に、上述した可視透かしの埋め込み位置（Ｘ，Ｙ）とサイズを表す高さＶと幅Ｈが埋め込まれている。
【０１１７】
図８は、図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に可視透かしが埋め込まれている場合の画像処理の手順を示している。
【０１１８】
図８において、可視透かしが埋め込まれている画像は、選択された画像とする。また、撮像モードとして「多重露光モード」、多重露光撮像枚数として「３枚」、多重モードとして「選択合成モード」が設定されているとする。
【０１１９】
なお、図８に示されるフローチャートに示される基本的な手順は、図５に示した処理における手順と同じであるため、その箇所のステップには同じ番号を付している。
【０１２０】
図８において、撮像画像と合成する撮像済の画像がユーザにより選択される（ステップＳ１００）。予め撮像された画像が記録媒体２００に記録されている。再生スイッチ６６を操作することで、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【０１２１】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【０１２２】
次いで、ステップＳ１００で選択された画像に対して、電子透かしの抽出処理を行う（ステップＳ１０１）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、電子透かしが埋め込まれていれば、埋め込まれた埋め込み情報が抽出される。抽出された埋め込み情報をメモリ３０に保持する。
【０１２３】
次いで、可視透かしが抽出されたか否かを判別し（ステップＳ１０００）、抽出されなかったとき（ステップＳ１００１でＮＯ）、ステップＳ１０２に進み、抽出されたとき（ステップＳ１００１でＹＥＳ）、可視透かしを保持し（ステップＳ１００１）、ステップＳ１０２に進む。可視透かしの保持とは、具体的に可視透かしの領域をコピーしておくことを意味する。
【０１２４】
次いで、シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ１０２）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【０１２５】
次いで、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行う（ステップＳ１０３）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。
【０１２６】
次いで、合成処理された画像に対して、電子透かしの抽出処理を行い、電子透かしが抽出されたか否かを判別する（ステップＳ１０４）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、埋め込み情報が抽出された場合は、ステップＳ１０１で抽出された埋め込み情報と比較する。比較した結果、一致した場合は電子透かしが抽出されたと判別し、不一致の場合は電子透かしが抽出されなかったと判別する。
【０１２７】
ステップＳ１０４の判別の結果、抽出されたときは（ステップＳ１０４でＹＥＳ）、ステップＳ１０６へ進む。抽出されなかったときは（ステップＳ１０４でＮＯ）、埋め込み情報が消失したことを画像表示部２８を用いてユーザに通知し（ステップＳ１１０）、ステップＳ１０６へ進む。
【０１２８】
次いで、設定した多重露光撮像枚数に達したことで、多重露光が終了したか否かを判別し（ステップＳ１０６）、多重露光が終了したときは（ステップＳ１０６でＹＥＳ）、ステップＳ１０７に進み、多重露光が終了していないときは（ステップＳ１０６でＮＯ）、ステップＳ１０２以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ１０７へ進む。３枚目の撮像が終わっていなければステップＳ１０２へ戻ることとなる。
【０１２９】
次いで、電子透かしを合成画像に再埋め込みするか否かを判別する（ステップＳ１０７）。ステップＳ１０７では、ステップＳ１１０を経てステップＳ１０７へ進んだ場合は、元々埋め込まれていた情報が消失しているので、埋め込むと判別される。一方、ステップＳ１１０を経ていない場合は、画像に元々埋め込まれていた情報が保持されているので、埋め込まないと判別される。また、埋め込まないと判別されたときであっても、可視透かしの有無により分岐する。
【０１３０】
ステップＳ１０７での判別の結果、再埋め込みと判別されたとき（ステップＳ１０７でＹＥＳ）、ステップＳ１０２で保持された埋め込み情報により、画像に電子透かしを埋め込み（ステップＳ１０８）、ステップＳ１００２に進む。ステップＳ１０８では、メモリ３０に記録されている合成画像を読み出して、電子透かし回路３３により、電子透かしを埋め込む。
【０１３１】
ステップＳ１０７で、再埋め込みしないと判別されたとき（ステップＳ１０７でＮＯ）、可視透かしがあるか否かを判別し、可視透かしがないとき（ステップＳ１１１でＮＯ）、ステップＳ１０９に進み、可視透かしがあるとき（ステップＳ１１１でＹＥＳ）、可視透かしを埋め込み（ステップＳ１００２）、ステップＳ１０９に進む。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１３２】
次いで、メモリ３０に記録されている画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに画像を成形し、インタフェース９０を介して記録媒体２００へ画像を記録して（ステップＳ１０９）、本処理を終了する。
【０１３３】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に記録された表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【０１３４】
図８の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０４でＮＯ）、合成画像に保持されていた電子透かしを埋め込む（不可視透かしの場合はステップＳ１０８、可視透かしの場合はステップＳ１００２）ので、電子透かしの有効性を損なうことなく、予め電子透かし処理が施された画像と他の画像とを合成することができる。また、最後に一度だけ電子透かしを埋め込むので、不要な埋め込み処理による画像劣化を防ぐことが可能になる。
【０１３５】
なお、図８の処理では、検出された可視透かしを最後に埋め込み直すように制御したが、ステップＳ１０３における合成処理で、可視透かし領域を合成対象から除くように制御するように構成することも可能である。この場合も、可視透かしの有用性を損なわないようにすることが可能になる。
【０１３６】
図８で説明した多重露光処理では、そのステップＳ１０９において、全ての合成処理が行われた後の画像が記録されるが、撮像された全ての画像も別々に記録したい場合もある。
【０１３７】
図９は、図１におけるシステム制御回路５０により実行される撮像された全ての画像を記録する撮像画像記録処理の手順を示すフローチャートである。
【０１３８】
図９における撮像画像記録処理は、図８のステップＳ１０２と同図のステップＳ１０３との間に挿入される処理である。
【０１３９】
従って、ステップＳ１０２で撮像されると、撮像した画像に対して電子透かしの埋め込みを行うか否か判別し（ステップＳ１１００）、行わないときは（ステップＳ１１００でＮＯ）、ステップＳ１１０２に進み、行うときは（ステップＳ１１００でＹＥＳ）、メモリ３０に記録されている撮像した画像を読み出して、電子透かし回路３３により、撮像画像に電子透かしを埋め込む（ステップＳ１１０１）。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１４０】
次いで、メモリ３０に記録されている撮像した画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形された画像は、インタフェース９０を介して記録媒体２００へ書き込まれる（ステップＳ１１０２）。その後、次の撮像に備えてステップＳ１０２へ戻る。
【０１４１】
図９の処理によれば、電子透かし回路３３により電子透かしが埋め込まれた合成画像をさらに記録する（ステップＳ１１０２）ので、個別に記録された画像にも電子透かしが埋め込まれるので、不要な埋め込み処理による画像劣化を防ぐとともに、個別に記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【０１４２】
（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記録した記録媒体は本発明を構成することになる。
【符号の説明】
【０１４３】
３０，５２ メモリ
３１ 画像合成回路
３３ 電子透かし回路
５０ システム制御回路
１００ カメラ本体
２００ 記録媒体
３００ レンズユニット
１０００ 撮像装置
【技術分野】
【０００１】
本発明は、電子透かしが埋め込まれた画像と他の画像とを合成可能な画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
デジタル画像・音声データ中に、人間に知覚されない別の情報を埋め込み、必要に応じて正当な資格や権利を有する者だけが埋め込んだ情報を取り出せる電子透かし（Watermark）技術がある。それによって、画像の証拠能力を高め、又は著作権を保護することが可能となる。電子透かし技術には、特許文献１に記載されているような埋め込みデータが人間に知覚されない「不可視データ埋め込み」の方法がある。また、特許文献２に記載されているような積極的に著作権情報等を知覚可能な状態で原画像に埋め込むことで、第三者に画像の不正使用を思いとどませる効果を期待した「可視データ埋め込み」という方法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２９０３５９号公報
【特許文献２】特開平８−２４１４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、複数枚合成を伴う多重露光撮像という撮影モードが存在する。多重露光撮像の方式の１つとして、予め撮像されている画像を指定して、この画像に対して撮像した画像を順次合成処理していく方法がある。このような多重露光撮像で得られる合成画像に対して、従来、電子透かしを用いることが想定されていなかった。
【０００５】
上記課題に鑑み、本発明の目的は、多重露光撮像で得られる合成画像に対して、電子透かしを用いることが可能な画像処理装置及び画像処理方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１の画像処理装置は、電子透かしが埋め込まれた画像から、前記電子透かしを抽出する抽出手段と、電子透かしが埋め込まれた第１画像から前記抽出手段により抽出された電子透かしを保持する保持手段と、前記第１画像と前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成手段と、前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、前記保持手段により保持されていた前記電子透かしを前記合成画像に埋め込む埋め込み手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、多重露光撮像で得られる合成画像に対して、電子透かしを用いることが可能である。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る画像処理装置としての撮像装置の概略構成を示す図である。
【図２】図１における画像表示部に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示し、（Ｃ）は撮像合成モードが選択されている多重モード選択画面を示し、（Ｄ）は、選択合成モードが選択されている多重モード選択画面を示す。
【図３】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、撮像合成モード時の画像処理の手順を示している。
【図４】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時の画像処理の手順を示している。
【図５】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に電子透かしが埋め込まれている場合の画像処理の手順を示している。
【図６】抽出された埋め込み情報の一例を示す図である。
【図７】可視透かしの一例を示す図であり、（Ａ）は可視透かしを含む画像を示し、（Ｂ）は画像に含まれる不可視透かしの埋め込み情報を示す。
【図８】図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に可視透かしが埋め込まれている場合の画像処理の手順を示している。
【図９】図１におけるシステム制御回路により実行される撮像された全ての画像を記録する撮像画像記録処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１０】
本実施形態では、複数枚合成を伴う多重露光撮像モードにおいて電子透かしを有効にはたらかせるための処理を示す。前述したとおり、多重露光撮像の主な方式としては、撮像した画像を順次合成処理していく場合と、予め撮像されている画像を指定して、この画像に対して撮像した画像を順次合成処理していく場合とがある。このような多重露光撮像で得られる合成画像に対して、電子透かしの技術を用いた場合を考える。
【００１１】
前者の場合は、全ての画像を合成処理した後に電子透かしを埋め込むことで、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【００１２】
また、後者の場合においても、予め撮像されている画像に対して電子透かしが埋め込まれていなければ、撮像した画像を順次合成処理していく場合と同様の処理を行うことで、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【００１３】
しかしながら、予め撮像されている画像に対して電子透かし処理が施されている画像の場合は、合成処理によって、埋め込まれた電子透かし情報が正常に取り出せなくなる可能性がある。かといって、合成処理後に再び電子透かしの埋め込み処理を施すと画像の劣化が懸念される。
【００１４】
また、埋め込まれている電子透かしが可視透かしの場合は、合成処理を行うことにより可視透かし自体が見えにくくなってしまう。このように、予め電子透かし処理が施された画像と他の画像とを合成した場合に、電子透かしの有効性を損なってしまうという問題が生じる。
【００１５】
そこで、本実施形態では、予め撮像されている画像に対して電子透かし処理が施されている画像の場合には、その電子透かし情報を抽出し、合成画像が合成によって電子透かし情報を失った場合でも合成画像に対して当該電子透かしを埋め込む処理を行う。
【００１６】
図１は、本発明の実施の形態に係る画像処理装置としての撮像装置の概略構成を示す図である。
【００１７】
本実施の形態においては、撮像装置としてレンズ交換可能な一眼レフタイプのデジタルカメラを例に挙げて説明する。なお撮像装置としては、他にレンズ交換が可能なデジタルビデオカメラ等にも、本実施の形態を適用することが可能である。
【００１８】
撮像装置１０００は、カメラ本体１００と、交換レンズタイプのレンズユニット３００とを備えている。
【００１９】
レンズユニット３００は、撮像レンズ３１０、絞り３１２、レンズマウント３０６、インタフェース３２０、コネクタ３２２、絞り制御部３４０、フォーカス制御部３４２、ズーム制御部３４４、及びレンズシステム制御回路３５０を備える。
【００２０】
撮像レンズ３１０は、複数のレンズから成る。レンズマウント３０６は、レンズユニット３００をカメラ本体１００に機械的に結合する。レンズマウント３０６内には、レンズユニット３００をカメラ本体１００と電気的に接続する各種機能が含まれている。インタフェース３２０は、レンズマウント３０６において、レンズユニット３００をカメラ本体１００と接続するためのインタフェースである。コネクタ３２２は、レンズユニット３００をカメラ本体１００に電気的に接続するコネクタである。このコネクタ３２２は、カメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を用いて通信を行う構成としてもよい。
【００２１】
絞り制御部３４０は、測光制御部４６からの測光情報に基づいて、後述するカメラ本体１００のシャッター１２を制御するシャッター制御部４０と連携しながら、絞り３１２を制御する。フォーカス制御部３４２は、撮像レンズ３１０のフォーカシングを制御する。ズーム制御部３４４は、撮像レンズ３１０のズーミングを制御する。
【００２２】
レンズシステム制御回路３５０は、レンズユニット３００全体を制御する。レンズシステム制御回路３５０は、動作用の定数、変数、プログラム等を記録するメモリを備えている。更に、レンズシステム制御回路３５０は、レンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値等を保持する不揮発性メモリも備えている。
【００２３】
次に、カメラ本体１００の構成について説明する。カメラ本体１００は、レンズマウント１０６、ミラー１３０，１３２、光学ファインダ１０４、シャッター１２、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６、タイミング発生回路１８、画像処理回路２０、メモリ制御回路２２、画像表示部２８、画像表示メモリ２４、画像合成回路３１、メモリ３０、圧縮伸長回路３２を備える。
【００２４】
レンズマウント１０６は、カメラ本体１００とレンズユニット３００を機械的に結合する。ミラー１３０，１３２は、撮像レンズ３１０に入射した光線を一眼レフ方式によって光学ファインダ１０４に導く。なお、ミラー１３０はクイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
【００２５】
光学ファインダ１０４は、一眼レフ方式によって、絞り３１２、レンズマウント３０６，１０６、ミラー１３０，１３２を介して導かれた撮像レンズ３１０に入射された光線を、光学像として表示することができる。これにより、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮像を行うことが可能である。また、光学ファインダ１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッター速度、絞り値、露出補正等が表示される。
【００２６】
シャッター１２は、フォーカルプレーン式となっている。撮像素子１４は、ＣＣＤ、ＣＭＯＳセンサ等からなり、被写体像を光電変換する撮像素子である。なお、撮像素子１４の前方には、光学ローパスフィルター等の光学素子が配置されている。撮像レンズ３１０に入射した光線は、一眼レフ方式によって光量制限手段である絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導かれ、光学像として撮像素子１４上に結像される。
【００２７】
Ａ／Ｄ変換器１６は、撮像素子１４から出力されるアナログ信号（出力信号）をデジタル信号に変換する。Ｄ／Ａ変換器２６は、画像表示メモリ２４に書き込まれた表示用の画像を画像表示部２８により表示させるために画像をアナログ信号に変換する。
【００２８】
タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給し、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００２９】
画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ又はメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０は、必要に応じて、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０がシャッター制御部４０、焦点調節部４２を制御するための、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行うことができる。さらに、画像処理回路２０は、Ａ／Ｄ変換器１６から出力される画像を用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。
【００３０】
なお、本実施形態における図３に示す例では、焦点調節部４２及び測光制御部４６を専用に備えている。従って、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行わない構成としても構わない。また、焦点調節部４２及び測光制御部４６を用いてＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行い、さらに、画像処理回路２０を用いたＡＦ処理、ＡＥ処理、ＥＦ処理の各処理を行う構成としてもよい。
【００３１】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２、電子透かし回路３３を制御する。Ａ／Ｄ変換器１６から出力される画像は、画像処理回路２０、メモリ制御回路２２を介して、又はメモリ制御回路２２のみを介して、画像表示メモリ２４又はメモリ３０に書き込まれる。
【００３２】
画像表示部２８は、ＴＦＴ方式のＬＣＤ等であり、画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、撮像した画像を逐次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ本体１００の電力消費を大幅に低減することができる。
【００３３】
画像合成回路３１は、複数枚の画像を合成処理する回路である。後述する操作部７０に含まれる通常撮像モード／多重露光撮像モード切り替えボタンで、多重露光撮像モードが設定されているとき、画像合成回路３１は、メモリ３０に記録される撮像画像の合成処理を行う。
【００３４】
電子透かし回路３３は電子透かしの埋め込み処理と、電子透かしの抽出処理を行う。電子透かし回路３３は、メモリ３０に記録された画像と、システム制御回路５０で生成される鍵情報及び埋め込み情報を読み込んで、画像の所定の位置に電子透かしを埋め込む回路である。また、電子透かしが埋め込まれた画像と鍵情報を読み込んで、電子透かしを抽出する回路である。さらに、電子透かし回路３３は、可視の電子透かし、及び不可視の電子透かしを抽出可能であり、また、可視の電子透かし、及び不可視の電子透かしを埋め込み可能である。なお、以下の説明において、単に電子透かしと表現した場合には、不可視の電子透かしを示し、可視、不可視を区別する場合には、それぞれ可視電子透かし、不可視電子透かしと表現する。
【００３５】
メモリ３０は、静止画像又は動画像を記録するためのメモリであり、所定枚数の静止画像又は所定量の動画像を記録するのに十分な記録容量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。多重露光撮像では合成処理するための画像を複数枚保持することも可能である。また、動画像撮像時には、所定レートで連続的に書き込まれる画像のフレームバッファとして使用される。さらに、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００３６】
圧縮伸長回路３２は、公知の圧縮方法を用いて画像を圧縮・伸長する回路である。圧縮伸長回路３２は、メモリ３０に記録された画像を読み込んで圧縮処理又は伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。また、圧縮伸長回路３２は、動画像を所定のフォーマットに圧縮符号化し、又は所定の圧縮符号化データから動画像信号を伸張する機能も有する。
【００３７】
カメラ本体１００は、さらにシャッター制御部４０、焦点調節部４２、測光制御部４６、及びフラッシュ４８を備える。
【００３８】
シャッター制御部４０は、測光制御部４６からの測光情報に基づいて絞り３１２を制御する絞り制御部３４０と連携しながらシャッター１２を制御する。焦点調節部４２は、ＡＦ（オートフォーカス）処理を行うための焦点調節部である。焦点調節部４２は、レンズユニット３００内の撮像レンズ３１０に入射した光線を絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び焦点調節用サブミラー（不図示）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の合焦状態を測定する。焦点調節部４２による測定結果と、Ａ／Ｄ変換器１６からの画像を画像処理回路２０によって演算した演算結果とを用いて、ＡＦ制御を行うようにしてもよい。
【００３９】
測光制御部４６は、ＡＥ（自動露出）処理を行う。測光制御部４６は、レンズユニット３００内の撮像レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６，１０６、ミラー１３０及び測光用サブミラー（図示せず）を介して一眼レフ方式で入射させることにより、光学像として結像された画像の露出状態を測定する。測光制御部４６による測定結果と、Ａ／Ｄ変換器１６からの画像を画像処理回路２０によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
【００４０】
フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。測光制御部４６はフラッシュ４８と連携することにより、ＥＦ（フラッシュ調光）処理機能も有する。
【００４１】
また、カメラ本体１００は、インタフェース１２０、及びコネクタ１２２を備える。インタフェース１２０は、レンズマウント１０６内でカメラ本体１００をレンズユニット３００に接続するためのインタフェースである。コネクタ１２２はカメラ本体１００をレンズユニット３００と電気的に接続するコネクタである。また、レンズマウント１０６及びコネクタ１２２にレンズユニット３００が装着されているか否かは、不図示のレンズ着脱検知部により検知される。コネクタ１２２はカメラ本体１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信だけでなく、光通信、音声通信により通信を行う構成としてもよい。
【００４２】
さらに、カメラ本体１００は、電源スイッチ７２、電源制御部８０、コネクタ８２，８４、及び電源８６を備える。
【００４３】
電源スイッチ７２は、カメラ本体１００の電源オン、電源オフの各モードを切り替え設定することができる。また、カメラ本体１００に接続されたレンズユニット３００、外部フラッシュ１１２、記録媒体２００、ＰＣ２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
【００４４】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源８６はアルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ‐ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等である。コネクタ８２，８４は電源制御部８０と電源とを接続する。
【００４５】
さらに、カメラ本体１００は、システム制御回路５０、メモリ５２、通知部５４、不揮発性メモリ５６を備える。システム制御回路５０は、カメラ本体１００全体を制御し、周知のＣＰＵ等を内蔵する。メモリ５２は、システム制御回路５０の動作用の定数、変数、プログラム等を記録するメモリである。
【００４６】
通知部５４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を外部に通知する。通知部５４としては、例えばＬＣＤやＬＥＤ等による視覚的な表示を行う表示部や音声による通知を行う発音素子等が用いられるが、通知部５４はこれらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、カメラ本体１００の後述する操作部７０近辺の、視認しやすい単数又は複数箇所に設置される。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。
【００４７】
通知部５４の表示内容のうち、ＬＣＤ等の画像表示部２８に表示する内容としては以下のものがある。まず、単写／連写撮像表示、セルフタイマ表示等、撮像モードに関する内容がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示等の記録に関する内容がある。また、シャッター速度表示、絞り値表示、露出補正表示、調光補正表示、外部フラッシュ発光量表示、赤目緩和表示等の撮像条件に関する内容がある。その他に、マクロ撮像表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及びＰＣ２１０の着脱状態表示がある。更に、レンズユニット３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す内容等もある。
【００４８】
また、通知部５４の表示内容のうち、光学ファインダ１０４内に表示する内容としては、例えば、以下のものがある。合焦表示、撮像準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッター速度表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示等である。
【００４９】
不揮発性メモリ５６は、後述するプログラム等が記録された電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００５０】
また、カメラ本体１００は、モードダイアル６０、シャッタースイッチ６２，６４、再生スイッチ６６、単写／連写スイッチ６８、及び操作部７０を備える。
【００５１】
これらは、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数又は複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【００５２】
モードダイアル６０は、自動撮像モード、プログラム撮像モード、シャッター速度優先撮像モード、絞り優先撮像モード、マニュアル撮像モード、焦点深度優先（デプス）撮像モード等の各機能撮像モードを切り替え設定することができる。他に、モードダイアル６０は、ポートレート撮像モード、風景撮像モード、接写撮像モード、スポーツ撮像モード、夜景撮像モード、パノラマ撮像モード、等の各機能撮像モードを切り替え設定することもできる。
【００５３】
シャッタースイッチ６２は、ＳＷ１に対応しており、不図示のシャッターボタンの操作途中（例えば、半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。
【００５４】
シャッタースイッチ６４は、ＳＷ２に対応しており、不図示のシャッターボタンの操作完了（例えば、全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込み、更に、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。更に、記録処理では、メモリ３０から画像を読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体２００又はＰＣ２１０に書き込む、又は送信する。
【００５５】
再生スイッチ６６は、撮像モード状態で撮像した画像をメモリ３０又は記録媒体２００、ＰＣ２１０から読み出して画像表示部２８に表示する再生動作の開始を指示する。再生スイッチ６６は、他に、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを設定することができる。
【００５６】
単写／連写スイッチ６８は、シャッタースイッチ６４を押した場合に、１コマの撮像を行って待機状態とする単写モードと、シャッタースイッチ６４を押している間、連続して撮像を行い続ける連写モードとを設定することができる。
【００５７】
操作部７０は各種ボタンやタッチパネル等から成る。各種ボタンの一例として、通常撮像モード／多重露光撮像モード切り替えボタン、多重露光撮像枚数の設定ボタン、ライブビュー開始／停止ボタン、メニューボタン、セットボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、各種ボタンの一例として、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮像画質選択ボタン、露出補正ボタン、調光補正ボタン、外部フラッシュ発光量設定ボタン、日付／時間設定ボタン等も含む。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、ユーザは、より軽快に数値や機能を選択することが可能となる。
【００５８】
また、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ、撮像直後に撮像した画像を自動再生するクイックレビュー機能を設定するクイックレビューＯＮ／ＯＦＦスイッチがある。また、ＪＰＥＧ圧縮の圧縮率を選択するため、又は撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである圧縮モードスイッチがある。また、ワンショットＡＦモードとサーボＡＦモードとを設定可能なＡＦモード設定スイッチ等がある。ワンショットＡＦモードでは、シャッタースイッチ６２を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続ける。サーボＡＦモードでは、シャッタースイッチ６２を押している間、連続してオートフォーカス動作を続ける。
【００５９】
また、カメラ本体１００は、アクセサリシュー１１０、及び外部フラッシュ１１２を備える。
【００６０】
アクセサリシュー１１０は、システム制御回路５０と外部フラッシュ１１２とのインタフェースである。
【００６１】
さらに、カメラ本体１００は、記録媒体着脱検知回路９８、インタフェース９０，９４及びコネクタ９２，９６を備える。インタフェース９０，９４は、メモリカードやハードディスク等の記録媒体やＰＣとのインタフェースである。コネクタ９２，９６はメモリカードやハードディスク等の記録媒体やＰＣと接続を行うコネクタである。記録媒体着脱検知回路９８は、コネクタ９２及び／又は９６に記録媒体２００又はＰＣ２１０が装着されているか否かを検知する。
【００６２】
なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数又は複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００６３】
インタフェース及びコネクタとしては、種々の記録媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等である。インタフェース９０，９４、そしてコネクタ９２，９６をＰＣＭＣＩＡカードやＣＦカード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。
【００６４】
通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像や画像に付属した管理情報を転送し合うことができる。
【００６５】
記録媒体２００は、メモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ本体１００とのインタフェース２０４、カメラ本体１００と接続を行うコネクタ２０６を備えている。
【００６６】
記録媒体２００としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。
【００６７】
ＰＣ２１０は、磁気ディスク（ＨＤ）等から構成される記録部２１２、カメラ本体１００とのインタフェース２１４、カメラ本体１００と接続を行うコネクタ２１６を備えている。インタフェース９４はＵＳＢやＩＥＥＥ１３９４等が挙げられるが、特に限定されない。
【００６８】
図２は、図１における画像表示部２８に表示される多重露光撮像モード設定画面を示す図であり、（Ａ）は撮像モード切り替え画面を示し、（Ｂ）は多重露光撮像枚数画面を示し、（Ｃ）は撮像合成モードが選択されている多重モード選択画面を示し、（Ｄ）は、選択合成モードが選択されている多重モード選択画面を示す。
【００６９】
図２（Ａ）において、撮像モード切り替え画面は、操作部７０に含まれる、通常撮像モード／多重露光撮像モード切り替えボタンを操作することで表示され、ユーザは、通常撮像モードと、多重露光撮像モードを切り替えることが出来る。
【００７０】
また、図２（Ｂ）において、多重露光撮像枚数画面は、操作部７０に含まれる、多重露光撮像枚数設定ボタンを操作することで表示され、ユーザは、多重露光撮像した際の撮像枚数（図では３枚）を設定することが出来る。
【００７１】
さらに、操作部７０に含まれる、撮像合成モード／選択合成モード切替ボタンを操作することで、画像表示部２８に切り替えメニューが表示され、撮像合成モードと、選択合成モードを切り替えることが出来る。
【００７２】
図２（Ｃ）における「撮像合成モード」では、撮像した画像を順次合成処理していくモードである。また、図２（Ｄ）における「選択合成モード」では、記録媒体２００に、予め記録されている画像を選択して、この画像に対して撮像した画像を順次合成処理してくモードである。
【００７３】
図３は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、撮像合成モード時の画像処理の手順を示している。
【００７４】
図３において、操作部７０に含まれる、多重露光撮像枚数設定ボタンと、撮像合成モード／選択合成モード切替ボタンを操作することで、「撮像合成モード」がユーザにより選択される（ステップＳ２００）。
【００７５】
シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。そして、シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ２０１）。このとき、画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【００７６】
次いで、ステップＳ２０１での撮像が、多重露光における最初の撮像か否か判別し（ステップＳ２０２）、最初の撮像のときは（ステップＳ２０２でＹＥＳ）、合成処理する画像が無いので、ステップＳ２０１へ戻り、再びシャッタースイッチ６４がユーザによりオンされることを待つ。最初の撮像でないときは（ステップＳ２０２でＮＯ）、合成処理を行う（ステップＳ２０３）。このステップＳ２０３では、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行う。
【００７７】
次いで、設定した多重露光撮像枚数に達しているか否かを判別し（ステップＳ２０４）、達しているときは（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進み、達していないときは（ステップＳ２０４でＮＯ）、ステップＳ２０１以降の処理を実行する。
【００７８】
例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ２０５へ進む。３枚目の撮像が終わっていなければステップＳ２０１へ戻ることとなる。
【００７９】
ステップＳ２０５では、多重露光撮像と合成処理が終わっているので、メモリ３０に記録されている合成処理済みの画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形され、インタフェース９０を介して記録媒体２００へ書き込まれる。
【００８０】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００８１】
図４は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、選択合成モード時の画像処理の手順を示している。
【００８２】
図４において、操作部７０に含まれる、多重露光撮像枚数設定ボタンと、撮像合成モード／選択合成モード切替ボタンを操作することで、「選択合成モード」がユーザにより選択される（ステップＳ６００）。
【００８３】
次いで、撮像画像と合成する撮像済の画像がユーザにより選択される（ステップＳ６０１）。今の場合は、予め撮像された画像が記録媒体２００に記録されているものとする。ユーザが再生スイッチ６６を操作することで、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【００８４】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【００８５】
シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ６０２）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【００８６】
メモリ３０の画像バッファに記録されている２つの画像を、画像合成回路３１にて合成処理を行う（ステップＳ６０３）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。
【００８７】
次いで、設定した多重露光撮像枚数に達しているか否かを判別し（ステップＳ６０４）、達しているときは（ステップＳ６０４でＹＥＳ）、ステップＳ６０５に進み、達していないときは（ステップＳ６０４でＮＯ）、ステップＳ６０２以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ６０５へ進む。３枚目の撮像が終わっていなければステップＳ６０２へ戻ることとなる。
【００８８】
ステップＳ６０５では、多重露光撮像と合成処理が終わっているので、メモリ３０に記録されている合成処理済みの画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形され、インタフェース９０を介して記録媒体２００へ書き込まれる。
【００８９】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００９０】
上述した図３、図４の処理に示されるように、撮像合成モードと選択合成モードとの違いは、予め撮像しておいたデータと合成させるか否かという点である。
【００９１】
次に、本実施形態で用いる電子透かしの処理について説明する。まず、画像を、１ブロックがｎ画素×ｍ画素のブロックで複数に分割する（分割処理）。次に分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。
【００９２】
埋め込み情報の埋め込み処理に先立ち、直交変換処理で得られた周波数成分行列のどの位置に埋め込み情報を埋め込むかを示す埋め込み位置を乱数により決定し、さらにその周波数成分の値をどの程度変更するかを示す変更量を決定し、この埋め込み位置と変更量を鍵情報として取得・保存しておく。
【００９３】
埋め込み情報を埋め込む場合、１つのブロックに対する周波数成分行列に全てを埋め込む必要はなく、複数のブロックの周波数成分行列に跨がって埋め込んでも良い。その場合、画面内のコントラストが適切なブロック群を選択する。
【００９４】
埋め込み位置として、例えば周波数成分行列の低周波数部分を選択することにより、人間に知覚できないように埋め込むことができる。また、変更量を変えることにより、周波数成分行列の元の値との差を変えられるため、画質の劣化を制御することができる。
【００９５】
前述した各ブロックの周波数成分行列の値を、鍵情報の埋め込み位置と変更量に基づいて変更することにより、埋め込み情報を埋め込む（埋め込み処理）。さらに、埋め込み情報が埋め込まれた各ブロックの周波数成分行列を逆直交変換し、ｎ画素×ｍ画素の複数ブロックの画像を得る（逆直交変換処理）。最後に、逆直交変換処理で得られた複数ブロックの画像をつなぎ合わせ、埋め込み情報が埋め込まれた透かし画像を得る（再構成処理）。
【００９６】
次に、透かし画像から埋め込み情報を抽出する場合の処理の流れについて説明する。まず、透かし画像を、１ブロックがｎ画素×ｍ画素の複数ブロックに分割する（分割処理）。次に、分割した各ブロックに離散コサイン変換（ＤＣＴ変換）等の直交変換を施し、ｎ×ｍの周波数成分行列を得る（直交変換処理）。さらに、埋め込む時に用いた鍵情報から埋め込み位置と変更量を得て、各ブロックの周波数成分行列から埋め込み情報を取り出す（取り出し処理）。
【００９７】
図５は、図１におけるシステム制御回路５０により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に電子透かしが埋め込まれている場合の画像処理の手順を示している。
【００９８】
図５において、電子透かしが埋め込まれている画像は、選択された画像（第１画像）とする。また、撮像モードとして「多重露光モード」、多重露光撮像枚数として「３枚」、多重モードとして「選択合成モード」が設定されているとする。従って、多重露光撮像により得られた複数の撮像画像（第１画像とは異なる画像）が選択された画像に合成される。従って、撮像画像と異なる少なくとも１枚の画像と合成されることとなる。
【００９９】
撮像画像と合成する撮像済の画像とがユーザにより選択される（ステップＳ１００）。予め撮像されることで得られた撮像済の画像が記録媒体２００に記録されている。再生スイッチ６６を操作することで選択され、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【０１００】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【０１０１】
次いで、ステップＳ１００で選択された画像に対して、電子透かしの抽出処理を行う（ステップＳ１０１）（抽出手段）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、電子透かしが埋め込まれていれば、埋め込まれた電子透かしが抽出される。抽出された電子透かしをメモリ３０に保持する（ステップＳ１０２）（保持手段）。図６は、抽出された埋め込み情報の一例を示している。また、埋め込み情報が抽出された場合には、画像表示部２８に電子透かしが埋め込まれた画像であることを表示するようにしてもよい。
【０１０２】
次いで、シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ１０３）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【０１０３】
次いで、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行い、合成画像を生成する（ステップＳ１０４）（生成手段）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。すなわち、被写体を撮像するごとに、選択された画像に、撮像により得られた画像を逐次合成していくこととなる。
【０１０４】
次いで、合成画像に対して、電子透かしの抽出処理を行い、電子透かしが抽出されたか否かを判別する（ステップＳ１０５）（判定ステップ）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、埋め込み情報が抽出された場合は、ステップＳ１０１で抽出された埋め込み情報と比較する。比較した結果、一致した場合は電子透かしが抽出されたと判別し、不一致の場合は電子透かしが抽出されなかったと判別する。
【０１０５】
ステップＳ１０５の判別の結果、電子透かしが抽出されたときは（ステップＳ１０５でＹＥＳ）、ステップＳ１０６へ進む。電子透かしが抽出されなかったときは（ステップＳ１０５でＮＯ）、埋め込み情報が消失したことを画像表示部２８を用いてユーザに通知することで警告を発生し（ステップＳ１１０）（警告発生手段）、ステップＳ１０６へ進む。
【０１０６】
次いで、設定した多重露光撮像枚数に達したことで、多重露光が終了したか否かを判別し（ステップＳ１０６）、多重露光が終了したときは（ステップＳ１０６でＹＥＳ）、ステップＳ１０７に進み、多重露光が終了していないときは（ステップＳ１０６でＮＯ）、ステップＳ１０３以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ１０７へ進む。３枚目の撮像が終わっていなければステップＳ１０３へ戻ることとなる。
【０１０７】
次いで、電子透かしを合成画像に埋め込むか否かを判別する（ステップＳ１０７）。ステップＳ１０７では、ステップＳ１１０を経てステップＳ１０７へ進んだ場合は、元々埋め込まれていた情報が消失しているので、埋め込むと判別される。一方、ステップＳ１１０を経ていない場合は、画像に元々埋め込まれていた情報が保持されているので、埋め込まないと判別される。
【０１０８】
ステップＳ１０７での判別の結果、電子透かしを埋め込まないとき（ステップＳ１０７でＮＯ）、ステップＳ１０９に進む。ステップＳ１０７での判別の結果、電子透かしを埋め込むと判別されたとき（ステップＳ１０７でＹＥＳ）、ステップＳ１０２で保持された埋め込み情報により、画像に電子透かしを埋め込む（ステップＳ１０８）（埋め込み手段）。ステップＳ１０８では、メモリ３０に記録されている合成画像を読み出して、電子透かし回路３３により、電子透かしを埋め込む。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１０９】
次いで、メモリ３０に記録されている画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに画像を成形し、インタフェース９０を介して記録媒体２００へ画像を記録する（ステップＳ１０９）（記録手段）。
【０１１０】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に記録された表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【０１１１】
図５の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０５でＮＯ）、合成画像に保持されていた選択画像の電子透かしを埋め込む（ステップＳ１０８）。これにより、電子透かしの有効性を損なうことなく、予め電子透かし処理が施された画像と他の画像とを合成することができる。また、最後に一度だけ電子透かしを埋め込むので、不要な埋め込み処理による画像劣化を防ぐことが可能になる。また、図５の処理によれば、記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【０１１２】
さらに、図５の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０５でＮＯ）、警告を発生する（ステップＳ１１０）ので、ユーザに電子透かしの消失を通知することが可能になる。なお、上記ステップＳ１０９において、ユーザに対して、画像記録前に再度、電子透かしの埋め込み処理を実施するかどうかを選択できるように構成することで、ユーザの意図しない埋め込み処理による画像劣化を防ぐことが可能になる。
【０１１３】
図５の処理では、電子透かしが非可視化透かしであったが、次に電子透かしが可視透かしの場合についての実施の形態について説明する。
【０１１４】
可視化情報による可視透かしは、画像を利用する利用者に対し、画像制作者の著作権等を明示的に示す役割を持っている。よって、多重露光撮像において、可視透かしが見えにくくなることは画像制作者にとって本意ではない。
【０１１５】
図７は、可視透かしの一例を示す図であり、（Ａ）は可視透かしを含む画像を示し、（Ｂ）は画像に含まれる不可視透かしの埋め込み情報を示す。
【０１１６】
図７（Ａ）において、可視透かし９０１は、高さＶと幅Ｈの矩形で示され、その矩形の１つの頂点の座標は（Ｘ，Ｙ）となっている。また、図７（Ｂ）では不可視の埋め込み情報として、撮像者、撮像日時、カメラＩＤの他に、上述した可視透かしの埋め込み位置（Ｘ，Ｙ）とサイズを表す高さＶと幅Ｈが埋め込まれている。
【０１１７】
図８は、図１におけるシステム制御回路により実行される画像処理の手順を示すフローチャートであり、選択合成モード時に可視透かしが埋め込まれている場合の画像処理の手順を示している。
【０１１８】
図８において、可視透かしが埋め込まれている画像は、選択された画像とする。また、撮像モードとして「多重露光モード」、多重露光撮像枚数として「３枚」、多重モードとして「選択合成モード」が設定されているとする。
【０１１９】
なお、図８に示されるフローチャートに示される基本的な手順は、図５に示した処理における手順と同じであるため、その箇所のステップには同じ番号を付している。
【０１２０】
図８において、撮像画像と合成する撮像済の画像がユーザにより選択される（ステップＳ１００）。予め撮像された画像が記録媒体２００に記録されている。再生スイッチ６６を操作することで、記録媒体２００に記録されている画像はインタフェース９０を介して読み出され、メモリ３０に記録される。
【０１２１】
メモリ３０に記録された画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に書き込まれた表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。その後、ユーザが操作部７０に含まれる画像移動ボタンを操作することで、撮像画像と合成したい撮像済の画像を選択することができる。
【０１２２】
次いで、ステップＳ１００で選択された画像に対して、電子透かしの抽出処理を行う（ステップＳ１０１）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、電子透かしが埋め込まれていれば、埋め込まれた埋め込み情報が抽出される。抽出された埋め込み情報をメモリ３０に保持する。
【０１２３】
次いで、可視透かしが抽出されたか否かを判別し（ステップＳ１０００）、抽出されなかったとき（ステップＳ１００１でＮＯ）、ステップＳ１０２に進み、抽出されたとき（ステップＳ１００１でＹＥＳ）、可視透かしを保持し（ステップＳ１００１）、ステップＳ１０２に進む。可視透かしの保持とは、具体的に可視透かしの領域をコピーしておくことを意味する。
【０１２４】
次いで、シャッタースイッチ６２がオンされると、測光制御部４６で測光演算を行い、また、焦点調節部４２にて被写体への焦点調節を実行する。シャッタースイッチ６４がオンされると、撮像素子１４を駆動して撮像する（ステップＳ１０２）。画像は画像処理回路２０で所定の画素補間処理や色変換処理が行われ、メモリ３０内の画像バッファへ一時保存される。
【０１２５】
次いで、メモリ３０の画像バッファに記録されている２枚の画像を、画像合成回路３１にて合成処理を行う（ステップＳ１０３）。最初の撮像が行われた後の動作では、選択された画像と撮像された画像とが合成処理される。２枚目以降の撮像が行われたあとの動作では、一度目の合成処理が行われた画像と、２枚目に撮像された画像が合成処理される。３枚目以降は同様の動作が順次繰り返されていく。
【０１２６】
次いで、合成処理された画像に対して、電子透かしの抽出処理を行い、電子透かしが抽出されたか否かを判別する（ステップＳ１０４）。メモリ３０に記録された画像は、再度読み出され、電子透かし回路３３にて電子透かしの抽出処理が行われる。この時、埋め込み情報が抽出された場合は、ステップＳ１０１で抽出された埋め込み情報と比較する。比較した結果、一致した場合は電子透かしが抽出されたと判別し、不一致の場合は電子透かしが抽出されなかったと判別する。
【０１２７】
ステップＳ１０４の判別の結果、抽出されたときは（ステップＳ１０４でＹＥＳ）、ステップＳ１０６へ進む。抽出されなかったときは（ステップＳ１０４でＮＯ）、埋め込み情報が消失したことを画像表示部２８を用いてユーザに通知し（ステップＳ１１０）、ステップＳ１０６へ進む。
【０１２８】
次いで、設定した多重露光撮像枚数に達したことで、多重露光が終了したか否かを判別し（ステップＳ１０６）、多重露光が終了したときは（ステップＳ１０６でＹＥＳ）、ステップＳ１０７に進み、多重露光が終了していないときは（ステップＳ１０６でＮＯ）、ステップＳ１０２以降の処理を実行する。例えば、図２（Ｂ）のように、多重露光撮像枚数として３枚を設定している場合は、３枚目の撮像が終わっていれば、ステップＳ１０７へ進む。３枚目の撮像が終わっていなければステップＳ１０２へ戻ることとなる。
【０１２９】
次いで、電子透かしを合成画像に再埋め込みするか否かを判別する（ステップＳ１０７）。ステップＳ１０７では、ステップＳ１１０を経てステップＳ１０７へ進んだ場合は、元々埋め込まれていた情報が消失しているので、埋め込むと判別される。一方、ステップＳ１１０を経ていない場合は、画像に元々埋め込まれていた情報が保持されているので、埋め込まないと判別される。また、埋め込まないと判別されたときであっても、可視透かしの有無により分岐する。
【０１３０】
ステップＳ１０７での判別の結果、再埋め込みと判別されたとき（ステップＳ１０７でＹＥＳ）、ステップＳ１０２で保持された埋め込み情報により、画像に電子透かしを埋め込み（ステップＳ１０８）、ステップＳ１００２に進む。ステップＳ１０８では、メモリ３０に記録されている合成画像を読み出して、電子透かし回路３３により、電子透かしを埋め込む。
【０１３１】
ステップＳ１０７で、再埋め込みしないと判別されたとき（ステップＳ１０７でＮＯ）、可視透かしがあるか否かを判別し、可視透かしがないとき（ステップＳ１１１でＮＯ）、ステップＳ１０９に進み、可視透かしがあるとき（ステップＳ１１１でＹＥＳ）、可視透かしを埋め込み（ステップＳ１００２）、ステップＳ１０９に進む。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１３２】
次いで、メモリ３０に記録されている画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに画像を成形し、インタフェース９０を介して記録媒体２００へ画像を記録して（ステップＳ１０９）、本処理を終了する。
【０１３３】
また、メモリ３０に記録されている合成処理済みの画像は、再度読み出され、画像処理回路にて表示用の画像に変換されて画像表示メモリ２４へ記録される。画像表示メモリ２４に記録された表示用の画像はＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【０１３４】
図８の処理によれば、生成された合成画像が、電子透かしが抽出できない画像となった場合に（ステップＳ１０４でＮＯ）、合成画像に保持されていた電子透かしを埋め込む（不可視透かしの場合はステップＳ１０８、可視透かしの場合はステップＳ１００２）ので、電子透かしの有効性を損なうことなく、予め電子透かし処理が施された画像と他の画像とを合成することができる。また、最後に一度だけ電子透かしを埋め込むので、不要な埋め込み処理による画像劣化を防ぐことが可能になる。
【０１３５】
なお、図８の処理では、検出された可視透かしを最後に埋め込み直すように制御したが、ステップＳ１０３における合成処理で、可視透かし領域を合成対象から除くように制御するように構成することも可能である。この場合も、可視透かしの有用性を損なわないようにすることが可能になる。
【０１３６】
図８で説明した多重露光処理では、そのステップＳ１０９において、全ての合成処理が行われた後の画像が記録されるが、撮像された全ての画像も別々に記録したい場合もある。
【０１３７】
図９は、図１におけるシステム制御回路５０により実行される撮像された全ての画像を記録する撮像画像記録処理の手順を示すフローチャートである。
【０１３８】
図９における撮像画像記録処理は、図８のステップＳ１０２と同図のステップＳ１０３との間に挿入される処理である。
【０１３９】
従って、ステップＳ１０２で撮像されると、撮像した画像に対して電子透かしの埋め込みを行うか否か判別し（ステップＳ１１００）、行わないときは（ステップＳ１１００でＮＯ）、ステップＳ１１０２に進み、行うときは（ステップＳ１１００でＹＥＳ）、メモリ３０に記録されている撮像した画像を読み出して、電子透かし回路３３により、撮像画像に電子透かしを埋め込む（ステップＳ１１０１）。電子透かしを埋め込まれた画像は再びメモリ３０へ記録される。
【０１４０】
次いで、メモリ３０に記録されている撮像した画像を読み出して、圧縮伸長回路３２にてＪＰＥＧ圧縮等の圧縮処理を行い、所定のファイルフォーマットに成形された画像は、インタフェース９０を介して記録媒体２００へ書き込まれる（ステップＳ１１０２）。その後、次の撮像に備えてステップＳ１０２へ戻る。
【０１４１】
図９の処理によれば、電子透かし回路３３により電子透かしが埋め込まれた合成画像をさらに記録する（ステップＳ１１０２）ので、個別に記録された画像にも電子透かしが埋め込まれるので、不要な埋め込み処理による画像劣化を防ぐとともに、個別に記録される画像に対して画像の証拠能力を高め、又は著作権を保護することが可能となる。
【０１４２】
（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記録した記録媒体は本発明を構成することになる。
【符号の説明】
【０１４３】
３０，５２ メモリ
３１ 画像合成回路
３３ 電子透かし回路
５０ システム制御回路
１００ カメラ本体
２００ 記録媒体
３００ レンズユニット
１０００ 撮像装置
【特許請求の範囲】
【請求項１】
電子透かしが埋め込まれた画像から、前記電子透かしを抽出する抽出手段と、
電子透かしが埋め込まれた第１画像から前記抽出手段により抽出された電子透かしを保持する保持手段と、
前記第１画像と前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、前記保持手段により保持されていた前記電子透かしを前記合成画像に埋め込む埋め込み手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、可視の電子透かし、及び不可視の電子透かしを抽出可能であり、
前記埋め込み手段は、可視の電子透かし、及び不可視の電子透かしを埋め込み可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、警告を発生する警告発生手段をさらに備えることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記生成手段により生成され、前記電子透かしが埋め込まれた合成画像を記録する記録手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
被写体を撮像する撮像手段を有し、
前記生成手段は、前記被写体を撮像するごとに、前記第１画像に、当該撮像により得られた画像を逐次合成していき、
前記記録手段は、前記生成手段により逐次合成され、前記電子透かしが埋め込まれた合成画像を記録することを特徴とする請求項４記載の画像処理装置。
【請求項６】
電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出する抽出ステップと、
前記抽出ステップにより抽出された電子透かしを保持手段に保持する保持ステップと、
前記第１画像と、前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成ステップと、
前記生成ステップで生成された合成画像から前記電子透かしが抽出できるか否かを判定する判定ステップと、
前記判定ステップで前記電子透かしが抽出できない画像となった場合に、前記保持ステップで保持された前記電子透かしを前記合成画像に埋め込む埋め込みステップと
を備えたことを特徴とする画像処理方法。
【請求項７】
画像処理装置の画像処理方法をコンピュータに実行させるためのプログラムであって、
前記画像処理方法は、
電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出する抽出ステップと、
前記抽出ステップにより抽出された電子透かしを保持手段に保持する保持ステップと、
前記第１画像と、前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成ステップと、
前記生成ステップで生成された合成画像から前記電子透かしが抽出できるか否かを判定する判定ステップと、
前記判定ステップで前記電子透かしが抽出できない画像となった場合に、前記保持ステップで保持された前記電子透かしを前記合成画像に埋め込む埋め込みステップと
を備えることを特徴とするプログラム。
【請求項１】
電子透かしが埋め込まれた画像から、前記電子透かしを抽出する抽出手段と、
電子透かしが埋め込まれた第１画像から前記抽出手段により抽出された電子透かしを保持する保持手段と、
前記第１画像と前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成手段と、
前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、前記保持手段により保持されていた前記電子透かしを前記合成画像に埋め込む埋め込み手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、可視の電子透かし、及び不可視の電子透かしを抽出可能であり、
前記埋め込み手段は、可視の電子透かし、及び不可視の電子透かしを埋め込み可能であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段により生成された合成画像が、前記抽出手段により前記電子透かしが抽出できない画像となった場合に、警告を発生する警告発生手段をさらに備えることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記生成手段により生成され、前記電子透かしが埋め込まれた合成画像を記録する記録手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
被写体を撮像する撮像手段を有し、
前記生成手段は、前記被写体を撮像するごとに、前記第１画像に、当該撮像により得られた画像を逐次合成していき、
前記記録手段は、前記生成手段により逐次合成され、前記電子透かしが埋め込まれた合成画像を記録することを特徴とする請求項４記載の画像処理装置。
【請求項６】
電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出する抽出ステップと、
前記抽出ステップにより抽出された電子透かしを保持手段に保持する保持ステップと、
前記第１画像と、前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成ステップと、
前記生成ステップで生成された合成画像から前記電子透かしが抽出できるか否かを判定する判定ステップと、
前記判定ステップで前記電子透かしが抽出できない画像となった場合に、前記保持ステップで保持された前記電子透かしを前記合成画像に埋め込む埋め込みステップと
を備えたことを特徴とする画像処理方法。
【請求項７】
画像処理装置の画像処理方法をコンピュータに実行させるためのプログラムであって、
前記画像処理方法は、
電子透かしが埋め込まれた第１画像から、前記電子透かしを抽出する抽出ステップと、
前記抽出ステップにより抽出された電子透かしを保持手段に保持する保持ステップと、
前記第１画像と、前記第１画像と異なる少なくとも１枚の画像とを合成し、合成画像を生成する生成ステップと、
前記生成ステップで生成された合成画像から前記電子透かしが抽出できるか否かを判定する判定ステップと、
前記判定ステップで前記電子透かしが抽出できない画像となった場合に、前記保持ステップで保持された前記電子透かしを前記合成画像に埋め込む埋め込みステップと
を備えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１２４８２８（Ｐ２０１２−１２４８２８Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７５７７５（Ｐ２０１０−２７５７７５）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]