撮像装置、画像処理装置、画像処理方法
【課題】 従来の印刷効果の合成方法においては、ユーザは印刷装置で様々な設定を行う必要があり、手間がかかるという課題があった。本発明は特別な装置を用いることなく、かつ手間のかからない画像合成システムを提供することを目的とする。
【解決手段】 本発明に関する画像合成システムにおいては、撮影直前の撮像装置の動きに応じて自動で合成用画像を付加することによって、画像合成用の特別な操作をせずに画像合成を行うことを特徴とする。
【解決手段】 本発明に関する画像合成システムにおいては、撮影直前の撮像装置の動きに応じて自動で合成用画像を付加することによって、画像合成用の特別な操作をせずに画像合成を行うことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システムに係り、特に撮像手段撮影画像に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した撮影画像をプリンタで印刷する場合において、ユーザの好みに応じて、画像に特殊な合成効果を付加して印刷する手段が提供されている。例えば、画像の輪郭を際立たせる「シャープネス」や輪郭をぼやかす「ソフトネス」、画像内の光源に対して擬似的にクロスフィルタを適用した効果を与える「クロスフィルタ」、星マークやふきだしなどの合成用の画像を画像内に貼り付ける「スタンプ」などがある。また、予め合成用のスタンプ画像等を用意しておき、撮影画像に合成することも可能である。
【０００３】
印刷対象の撮影画像に合成効果を付加する場合、ユーザは操作ボタンやタッチペン等を使用し、合成効果モードの選択や、必要に応じて合成効果の度合い、大きさ、位置等の選択を行う。
【０００４】
また特許文献１では、撮影時に光源位置を特定領域として検出することで、光源位置の領域に自動で合成用の画像を合成する手段が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２９７７５４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
印刷対象の画像に合成効果を付加するために、ユーザはプリンタを操作することで様々な設定を行う必要があり、手間がかかるという課題があった。
【０００７】
また特許文献１によれば、自動で光源位置に合成用画像を合成するため、ユーザの操作の手間を減少させることは可能である。しかし、撮影時に予め光源を用意する必要がある。また、光源の位置は固定であるため、ユーザの所望する位置に合成用データを合成させることはできなかった。
【０００８】
本発明では、光源等のような特別な装置を用いることなく、かつ手間をかけずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明の撮像装置は、画像を撮影する撮影手段を有する撮像装置であって、所定期間の撮像装置の動きに関する動き情報を取得する取得手段と、取得手段により取得した動き情報に基づいて、撮影手段により撮影した画像に合成用画像を合成する合成手段とを有することを特徴とする。
【００１０】
また、本発明の画像処理装置は、撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得手段と、動き情報に基づいて、撮影画像に合成用画像を合成する合成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影時の所定期間の動きに応じて自動で合成効果を付加することができる。そのため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置及び印刷装置の概要図である。
【図２】撮像装置の構成ブロック図である。
【図３】印刷装置の構成ブロック図である。
【図４】撮像装置での撮像処理のフローチャートを示す。
【図５】印刷装置での印刷処理のフローチャートを示す。
【図６】本発明のシステムを示す概略図である。
【図７】動き情報の構成を示す図である。
【図８】動き情報に基づく合成を説明するための概要図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施例を説明する。
【００１４】
＜第１の実施形態＞
＜画像処理システムの構成＞
図１は、班発明に係る撮像装置及び印刷装置の概要図である。本実施形態では、画像処理装置の一例として印刷装置で説明するが、画像表示装置、画像記録装置等を用いても良い。
１００は被写体を撮影するデジタルカメラ等の撮像装置である。撮像装置１００では、被写体の撮影及び被写体の動き情報の記録を行うことができる。
撮像装置１００で記録された撮影画像データと動き情報データはメモリカード等の記録媒体２００もしくはデータ通信媒体４００を介して印刷装置３００に転送される。データ通信媒体４００は、物理的なケーブルとして有線通信を行ってもよいし、データ通信媒体４００は電波として、無線通信を行ってもよい。
データを取得した印刷装置３００は撮像装置１００で記録した動き情報を取得して、動き情報に応じて撮影画像データに合成効果を付加して印刷する。
撮像装置側で動き情報に応じて撮影画像データに合成効果を付加し、その画像を印刷装置によって印刷するようにしても良い。
【００１５】
＜撮像装置の構成＞
図２は撮像装置１００の構成を示す図である。
１００は撮像装置である。１０１は撮影レンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１０５は撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路１０７及びシステム制御回路１０８により制御される。１０９は画像処理回路であり、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御回路１０７からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０８が露光制御手段１１０、測距制御手段１１１に対して制御を行う。システム制御回路１０８や露光制御手段１１０、測距制御手段１１１では、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス処理（ＡＦ処理）、自動露出処理（ＡＥ処理）、フラッシュプリ発光処理（ＥＦ）を行っている。さらに、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス処理（ＡＷＢ処理）も行っている。
【００１６】
１０７はメモリ制御回路であり、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０９、画像表示メモリ１１２、Ｄ／Ａ変換器１０６、メモリ１１３、圧縮・伸長回路１１４を制御する。Ａ／Ｄ変換器１０４のデータが画像処理回路１０９、メモリ制御回路１０７を介して、或いはＡ／Ｄ変換器１０４のデータが直接メモリ制御回路１０７を介して、画像表示メモリ１１２或いはメモリ１１３に書き込まれる。
【００１７】
１１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ１１２に書き込まれた表示用の画像データはＤ／Ａ変換器１０６を介して画像表示部１１５により表示される。画像表示部１１５を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１１５は、システム制御回路１０８の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。さらに、画像表示部１１５は、回転可能なヒンジ部によって撮像装置１００本体と結合されており、自由な向き、角度を設定して電子ファインダー機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部１１５の表示部分を撮像装置１００に向けて格納することが可能であり、この場合は画像表示部開閉検知手段１１６により格納状態を検知することができる。ここで、格納状態にあると検知したならば画像表示部１１５の表示動作を停止して不要な電力消費を禁止することが可能である。
【００１８】
１１７はＤ／Ａ変換器１０６の出力を外部モニタに出力するコネクタである。外部出力コネクタ１１７にコネクタが挿されている場合は外部出力接続検知手段１１８によりシステム制御回路１０８は外部出力状態を知る事ができる。ここで、接続状態にあると検知したならば画像表示部１１５の代わりに外部モニタを表示装置として用いることが可能である。
【００１９】
１１３は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１１３に対して行うことが可能となる。また、メモリ１１３はシステム制御回路１０８の作業領域としても使用することが可能である。メモリ１１３は、記録媒体２００の書き込みバッファとしても使われる。
【００２０】
１１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１３に書き込む。
１１０は絞り機能を備えるシャッター１０２を制御する露光制御手段であり、フラッシュ１１９と連携することによりフラッシュ調光機能も有するものである。
１１１は撮影レンズ１０１のフォーカシングを制御する測距制御手段、１２０は撮影レンズ１０１のズーミングを制御するズーム制御手段、１２１はバリアである保護手段１２２の動作を制御するバリア制御手段である。
１１９はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００２１】
１０８は撮像装置１００全体を制御するシステム制御回路、１２３はシステム制御回路１０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路は、メモリ１２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。
１２４はシステム制御回路１０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置１２４では、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００２２】
１２５は光学ファインダであり、画像表示部１１５による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
表示部１２４は、その一部の機能が光学ファインダー１２５内に設置されている。表示部１２４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、等もある。また、表示部１２４の表示内容のうち、光学ファインダー１２５内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
１２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。
【００２３】
１２７、１２８、１２９及び１３０は、システム制御回路１０８の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２４】
ここで、これらの操作手段の具体的な説明を行う。
１２７はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード（パノラマ撮影モード、動画撮影モード含む）、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
１２８はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２５】
１２９はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（完全押し）でＯＮとなる。ＳＷ２がＯＮとなると、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０７を介してメモリ１１３に画像データを書き込む露光処理を行う。さらに、メモリ制御回路１０７によりメモリ１１３から画像データを読み出し、読み出した画像データに画像処理回路１０９で現像処理を施し、その後、圧縮・伸長回路１１４で圧縮を行い、記録媒体２００に画像データを書き込む記録処理を行う。この一連の撮影処理がＳＷ２のＯＮが入力されることにより実行される。
【００２６】
１３０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン等がある。さらに、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００２７】
１３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路１０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００２８】
１３２はコネクタ、１３３はコネクタ、１３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００２９】
１３５はメモリカードやハードディスク等の記録媒体とのインタフェース、１３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、１３７はコネクタ１３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース１３５、そしてコネクタ１３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードが装着できる。このような通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００３０】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、撮像装置１００とのインタフェース２０２、撮像装置１００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。
【００３１】
１３８は加速度検出手段であり、撮像装置１００の移動方向及び速度を検出することが可能である。なお、加速度検出手段１３８は、撮像装置１００の姿勢を検知する手段であってもよい。
【００３２】
１３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１４０は通信手段１３９により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３３】
１４１はマイクで、音声データ取得手段である。１４２はマイク１４１で得られた音声データをシステム制御回路１０８で取得するためにＡ／Ｄ変換するＡ／Ｄ変換器である。
【００３４】
１４３はスピーカーで、音声データ再生手段である。１４４はシステム制御回路１０８から出力されるデジタル音声データをスピーカー１４３で再生するためにＤ／Ａ変換するＤ／Ａ変換器である。
【００３５】
＜印刷装置の構成＞
図３は印刷装置３００の構成を示す図である。
３００は印刷装置である。３０５は、Ｄ／Ａ変換器３０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路３０７及びシステム制御回路３０８により制御される。３０９は画像処理回路であり、メモリ制御回路３０７からのデータに対して所定の画素補間処理や色変換処理を行う。３０７はメモリ制御回路であり、タイミング発生回路３０５、画像処理回路３０９、画像表示メモリ３１２、Ｄ／Ａ変換器３０６、メモリ３１３、圧縮・伸長回路３１４を制御する。
【００３６】
３１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ３１２に書き込まれた表示用の画像データはＤ／Ａ変換器３０６を介して画像表示部３１５により表示される。メモリ３１３はシステム制御回路３０８の作業領域として使用することが可能である。メモリ３１３は、記録媒体２００の書き込みバッファとしても使われる。
【００３７】
３１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３１３に書き込む。
【００３８】
３０８は印刷装置３００全体を制御するシステム制御回路、３２３はシステム制御回路３０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路３０８は、メモリ３２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。
【００３９】
３２４はシステム制御回路３０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置３２４は、印刷装置３００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。表示部３２４の表示内容のうち、ＬＣＤ等に表示するものとしては、枚数表示、電池残量表示、エラー表示、記録媒体３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、印刷情報等がある。
【００４０】
３２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。ここには、撮影画像に合成するための合成用画像（スタンプやフレーム、吹きだし等）が複数種類記録されており、合成用画像を合成して印刷する歳には、この中から合成するものを選択して合成する。合成用画像の選択は、ユーザが行っても良いし、システム制御回路で自動的に行っても良い。３３０は各種ボタンやタッチパネル等からなる操作部ある。操作部として、メニューボタン、セットボタン、マルチ画面再生改ページボタン、印刷枚数＋（プラス）ボタン、印刷枚数−（マイナス）ボタン、ズーム＋（プラス）ボタン、ズーム−（マイナス）ボタン、印刷ボタン等がある。
【００４１】
３３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路３０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。３３２はコネクタ、３３３はコネクタ、３３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００４２】
３３５はメモリカードやハードディスク等の記録媒体とのインタフェース、３３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、３３７はコネクタ３３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース３３５、そしてコネクタ３３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードを接続できる。このような通信カードを接続することにより、他のコンピュータやデジタルカメラ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４３】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、印刷装置３００とのインタフェース２０２、印刷装置３００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。
【００４４】
３３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。３４０は通信手段３３９により印刷装置３００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。３５０は記録紙搬送制御手段でシステム制御回路３０８からの指示に基づいて記録紙３６０を搬送する。３５１は印刷制御手段でシステム制御回路３０８からの指示に基づいてインクカセット３６１を制御し、記録紙搬送手段３５０によって搬送される記録用紙３６０に印刷をする。
【００４５】
＜画像処理システムの詳細な動作＞
以下、図４〜図８を参照して、本発明に係る撮像装置および印刷装置の動作を説明する。
【００４６】
まず図６において本実施形態の概略を示す。
Ｓ４０１において撮像装置１００のシャッタースイッチＳＷ１（１２８）がＯＮになると、撮像装置の加速度検出手段１３８によって撮像装置１００の動き情報の記憶を開始し、Ｓ４０２のようにＳＷ１（がＯＮの間は、所定時間毎に動き情報を蓄積していく。Ｓ４０３において撮像装置１００のシャッタースイッチＳＷ２（１２９）がＯＮになると撮影処理を行う。撮影処理が終わると撮影画像とともに蓄積していた撮像装置１００の動き情報５０１を記録媒体２００に記録する。
【００４７】
Ｓ４０４において記録媒体２００もしくは撮像装置の通信手段１３９と印刷装置の通信手段３３９によって、撮影データとその撮影データに対応する撮像装置１００の動き情報を印刷装置に転送する。Ｓ４０５において印刷装置３００は撮像装置１００の動き情報５０１を基に、撮影データに合成用画像を合成し、記録用紙に印刷して印刷物５０３を得ることができる。
【００４８】
合成用画像を合成する際には、動きの方向に応じて、合成する画像の向きを変えて合成したり、また、動きの早さによって合成する数を変えたりすると良い、また、動きの向きや早さに応じて、合成する画像を印刷装置の不揮発性メモリ３２６に記録されている複数の合成用画像の中から、合成する合成用画像を印刷装置が自動的に選択してもよい。
【００４９】
図４は本実施形態の撮像装置における撮像処理のフローチャートを示す。
撮像装置１００が撮影モードを開始すると、Ｓ１０１においてシャッタースイッチＳＷ１がＯＮ（シャッターボタンが半押し）であるかどうかを判定し、シャッタースイッチＳＷ１がＯＮでない場合はＳ１０１に戻る。シャッタースイッチＳＷ１がＯＮである場合は、Ｓ１０２において前述したＡＦ、ＡＥ、ＡＷＢ、ＥＦ処理等の撮影準備処理を行う。
【００５０】
撮影準備処理が終わると、Ｓ１０３において周期的に撮像装置の動きを加速度検出手段１３８が検出し、検出した動き情報をメモリ１１３に記録して蓄積する。本実施形態では、撮影直前の撮像装置の動きに応じた様々な合成効果を自動で付加するために、一定時間、撮像装置の動き情報を記録する必要がある。そのため、動き情報を蓄積しておく。
【００５１】
Ｓ１０４では、シャッタースイッチＳＷ２がＯＮ（全押し）であるかどうかを判定し、シャッタースイッチＳＷ２がＯＮでない場合はＳ１０３に戻り、再度撮像装置の動き情報の蓄積を行う。蓄積する情報量についてはあらかじめ設定しておき、設定された量を超えた場合は、最も古い情報から順に消去または上書きして蓄積していく。また、情報を蓄積する時間間隔（周期）については、撮像装置の動きの解析を行う際に十分な情報量となるよう、あらかじめ設定しておく。
【００５２】
Ｓ１０４においてシャッタースイッチＳＷ２がＯＮ（シャッターボタンが全押しされた）の場合は、前述した撮影動作を行い、撮影動作で得られた撮影画像を記録媒体２００に記録する（Ｓ１０５）。
【００５３】
撮影処理が終わると、蓄積した動き情報を撮影直前の撮像装置の動き情報として記録媒体２００に記録する（Ｓ１０６）。撮像装置の動き情報の記録については、撮影画像のＥｘｉｆ情報等の管理情報に含めても良いし、別ファイルとして保存しても良い。また、撮影直前の撮像装置の動き情報と共に、撮影時の被写体の位置も記録しておく。
【００５４】
本実施形態における動き情報の構造について、図７を参照して説明する。
【００５５】
図７は撮像装置１００で記録する動き情報データ６００を示す図である。
動き情報データ６００は＜＞でくくられたタグによって情報分けされており、例えば＜Ｐｒｏｄｕｃｔ＞は撮像装置１００の製品名が記述され、＜Ｉｍａｇｅ＞は同時に撮影された画像ファイル名が記述されている。＜Ｓｉｚｅ＞には、画像データの縦横のサイズが記述されている。また撮影した際の合焦位置に合成用画像が重なってしまうのを避けるため＜Ｆｏｃｕｓ＞で合焦の位置を＜Ｆｓｉｚｅ＞でオートフォーカス時の枠の大きさを記述する。合焦の位置には主被写体がある場合がおおいので、合焦の位置を記録したが、合焦の位置ではなく被写体の位置や大きさを記述してもよい。実際の撮像装置１００の動きデータは＜Ｄａｔａ＞に記述され、撮像装置の６つの自由度ｘ，ｙ，ｚ，α，β，γの順にスペースで区切られて記述されている。ｘ，ｙ，ｚは、撮像装置がどの方向にどのくらい動いたかを表しており、α，β，γではｍ撮像装置をどのくらい回転させたかを表している。図７においては、ユーザはα方向に撮像装置１００を回転させて動いたことが分かる。
【００５６】
撮影画像と位置情報の記録が終わると、Ｓ１０７において撮影モードを終了するかどうかを判定し、撮影モードを終了しない場合はＳ１０１に戻る。
【００５７】
図５は本実施形態の印刷装置における印刷処理のフローチャートを示す。
印刷装置３００が印刷モードを開始すると、Ｓ２０１において撮影画像と撮影直前の撮像装置の動き情報、被写体の位置の情報を取得する。ここでは、記録媒体２００から撮像装置で記録したデータを読み込むことで取得しても良いし、撮像装置１００から通信手段１３９、３３９を用いて有線若しくは無線の通信によって取得しても良い。
【００５８】
Ｓ２０２においては、Ｓ２０１で取得したデータを解析し、撮影前の撮影装置の動きや、撮影時の被写体の位置の解析を行う。撮像装置の移動方向や移動距離、移動速度を判定する。
【００５９】
撮像装置の動きを解析した後、Ｓ２０３において、撮影画像に対して合成用画像を合成して画像表示部３１５に表示する。合成する画像の種類や数、位置については、Ｓ２０２において解析した被写体の動き情報に基づいて決定する。
【００６０】
ここで、動き情報に基づく合成用画像の合成について、図８を参照して説明する。
図８は撮影画像に合成用画像を合成する際の概要図である。
撮影画像５００とこの撮影画像に対応する動き情報５０１がある場合、まず合焦位置や被写体位置を確認する。また、動き情報データ５０１を解析し、撮像装置の動きの方向や速度を判定する。５０１では、＜Ｄａｔａ＞タグにより撮像装置１００は水平回転方向に動かされていることが分かる。そのため、撮像装置の動きに、星の合成用画像を合成している。合成する星の数は被写体の早さに合わせて調整する。また、所定値よりも動きが早い場合は彗星の合成用画像を選択する。合成する場合は、合焦位置や被写体位置、被写体の大きさの情報から、合成用画像が被写体や合焦位置にかぶらないように合成する。本実施形態では撮像装置が水平に動いているので星の合成用画像を合成したが、上下に動いている場合には、他の合成用画像を合成する。動きのパターンによって合成する画像を印刷装置が印刷装置の不揮発性メモリ３２６に記録されている複数の合成用画像の中から、合成する合成用画像を自動的に選択する。選択された合成用画像が、方向を持つ画像である場合には、動き情報から撮像装置が動いた移動方向を判定し、撮像装置の移動方向に合わせて合成用画像を反転したり回転してから撮影画像に合成しても良い。
【００６１】
ここでの合成においては、実際に画像処理回路３０９によって撮影画像データに合成用画像を合成しても良いし、ユーザが合成されているように見えるように合成画像を重ねて画像表示部３１５に表示するだけでも良い。
【００６２】
合成用画像を合成して表示した後は、Ｓ２０４において操作部３３０によるユーザ操作を受け付ける。ここでは、ユーザは合成する画像の種類及び位置を変更することが可能である。例えば、合成用画像の追加や削除、種類の変更、位置の調整などを行うことができる。合成用画像の変更を受け付けた場合はＳ２０７に遷移し、変更を反映させて画像表示部３１５に画像を表示させる。
【００６３】
Ｓ２０４において合成用画像の変更ではなく、画像の合成が決定されて印刷処理の開始を指示された場合、Ｓ２０５において印刷処理を実行する。なお、Ｓ２０３において撮影画像データに合成用画像を撮影画像に実際に合成していない場合は、この印刷処理内で合成用画像を付加する処理を行ってから印刷を行う。
印刷終了後は、Ｓ２０６において印刷装置３００が印刷モードを終了するかどうかを判定し、印刷モードを終了しない場合はＳ２０１に戻る。
【００６４】
このようにして、ユーザは合成のための特別な操作を行わずに、撮影画像に合成用画像を合成することができる。
【００６５】
＜その他の実施形態＞
以上、図１〜図８を用いて本発明の実施形態の説明を行った。
以上説明したように、本実施形態によれば、撮影時の所定期間の被写体の動きに応じて自動で合成効果を付加することができるため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。
【００６６】
上述の実施形態では、動き情報の記録を撮像装置で、動き情報に基づく合成用画像の合成および合成結果の印刷を印刷装置で行ったが、動き情報に基づく合成用画像の合成を撮像装置で行っても良い。処理の方法は印刷での方法と同じであるため説明は省略する。また、撮像装置で合成する場合は、画像の撮影直後に、合成結果を表示して、ユーザに確認可能にすると良い。また、合成結果を記録媒体２００に記録すると良い。
【００６７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【技術分野】
【０００１】
本発明は、画像処理システムに係り、特に撮像手段撮影画像に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等で撮影した撮影画像をプリンタで印刷する場合において、ユーザの好みに応じて、画像に特殊な合成効果を付加して印刷する手段が提供されている。例えば、画像の輪郭を際立たせる「シャープネス」や輪郭をぼやかす「ソフトネス」、画像内の光源に対して擬似的にクロスフィルタを適用した効果を与える「クロスフィルタ」、星マークやふきだしなどの合成用の画像を画像内に貼り付ける「スタンプ」などがある。また、予め合成用のスタンプ画像等を用意しておき、撮影画像に合成することも可能である。
【０００３】
印刷対象の撮影画像に合成効果を付加する場合、ユーザは操作ボタンやタッチペン等を使用し、合成効果モードの選択や、必要に応じて合成効果の度合い、大きさ、位置等の選択を行う。
【０００４】
また特許文献１では、撮影時に光源位置を特定領域として検出することで、光源位置の領域に自動で合成用の画像を合成する手段が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−２９７７５４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
印刷対象の画像に合成効果を付加するために、ユーザはプリンタを操作することで様々な設定を行う必要があり、手間がかかるという課題があった。
【０００７】
また特許文献１によれば、自動で光源位置に合成用画像を合成するため、ユーザの操作の手間を減少させることは可能である。しかし、撮影時に予め光源を用意する必要がある。また、光源の位置は固定であるため、ユーザの所望する位置に合成用データを合成させることはできなかった。
【０００８】
本発明では、光源等のような特別な装置を用いることなく、かつ手間をかけずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明の撮像装置は、画像を撮影する撮影手段を有する撮像装置であって、所定期間の撮像装置の動きに関する動き情報を取得する取得手段と、取得手段により取得した動き情報に基づいて、撮影手段により撮影した画像に合成用画像を合成する合成手段とを有することを特徴とする。
【００１０】
また、本発明の画像処理装置は、撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得手段と、動き情報に基づいて、撮影画像に合成用画像を合成する合成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影時の所定期間の動きに応じて自動で合成効果を付加することができる。そのため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置及び印刷装置の概要図である。
【図２】撮像装置の構成ブロック図である。
【図３】印刷装置の構成ブロック図である。
【図４】撮像装置での撮像処理のフローチャートを示す。
【図５】印刷装置での印刷処理のフローチャートを示す。
【図６】本発明のシステムを示す概略図である。
【図７】動き情報の構成を示す図である。
【図８】動き情報に基づく合成を説明するための概要図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施例を説明する。
【００１４】
＜第１の実施形態＞
＜画像処理システムの構成＞
図１は、班発明に係る撮像装置及び印刷装置の概要図である。本実施形態では、画像処理装置の一例として印刷装置で説明するが、画像表示装置、画像記録装置等を用いても良い。
１００は被写体を撮影するデジタルカメラ等の撮像装置である。撮像装置１００では、被写体の撮影及び被写体の動き情報の記録を行うことができる。
撮像装置１００で記録された撮影画像データと動き情報データはメモリカード等の記録媒体２００もしくはデータ通信媒体４００を介して印刷装置３００に転送される。データ通信媒体４００は、物理的なケーブルとして有線通信を行ってもよいし、データ通信媒体４００は電波として、無線通信を行ってもよい。
データを取得した印刷装置３００は撮像装置１００で記録した動き情報を取得して、動き情報に応じて撮影画像データに合成効果を付加して印刷する。
撮像装置側で動き情報に応じて撮影画像データに合成効果を付加し、その画像を印刷装置によって印刷するようにしても良い。
【００１５】
＜撮像装置の構成＞
図２は撮像装置１００の構成を示す図である。
１００は撮像装置である。１０１は撮影レンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１０５は撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路１０７及びシステム制御回路１０８により制御される。１０９は画像処理回路であり、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御回路１０７からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０８が露光制御手段１１０、測距制御手段１１１に対して制御を行う。システム制御回路１０８や露光制御手段１１０、測距制御手段１１１では、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス処理（ＡＦ処理）、自動露出処理（ＡＥ処理）、フラッシュプリ発光処理（ＥＦ）を行っている。さらに、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス処理（ＡＷＢ処理）も行っている。
【００１６】
１０７はメモリ制御回路であり、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０９、画像表示メモリ１１２、Ｄ／Ａ変換器１０６、メモリ１１３、圧縮・伸長回路１１４を制御する。Ａ／Ｄ変換器１０４のデータが画像処理回路１０９、メモリ制御回路１０７を介して、或いはＡ／Ｄ変換器１０４のデータが直接メモリ制御回路１０７を介して、画像表示メモリ１１２或いはメモリ１１３に書き込まれる。
【００１７】
１１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ１１２に書き込まれた表示用の画像データはＤ／Ａ変換器１０６を介して画像表示部１１５により表示される。画像表示部１１５を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１１５は、システム制御回路１０８の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。さらに、画像表示部１１５は、回転可能なヒンジ部によって撮像装置１００本体と結合されており、自由な向き、角度を設定して電子ファインダー機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部１１５の表示部分を撮像装置１００に向けて格納することが可能であり、この場合は画像表示部開閉検知手段１１６により格納状態を検知することができる。ここで、格納状態にあると検知したならば画像表示部１１５の表示動作を停止して不要な電力消費を禁止することが可能である。
【００１８】
１１７はＤ／Ａ変換器１０６の出力を外部モニタに出力するコネクタである。外部出力コネクタ１１７にコネクタが挿されている場合は外部出力接続検知手段１１８によりシステム制御回路１０８は外部出力状態を知る事ができる。ここで、接続状態にあると検知したならば画像表示部１１５の代わりに外部モニタを表示装置として用いることが可能である。
【００１９】
１１３は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１１３に対して行うことが可能となる。また、メモリ１１３はシステム制御回路１０８の作業領域としても使用することが可能である。メモリ１１３は、記録媒体２００の書き込みバッファとしても使われる。
【００２０】
１１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１３に書き込む。
１１０は絞り機能を備えるシャッター１０２を制御する露光制御手段であり、フラッシュ１１９と連携することによりフラッシュ調光機能も有するものである。
１１１は撮影レンズ１０１のフォーカシングを制御する測距制御手段、１２０は撮影レンズ１０１のズーミングを制御するズーム制御手段、１２１はバリアである保護手段１２２の動作を制御するバリア制御手段である。
１１９はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。
【００２１】
１０８は撮像装置１００全体を制御するシステム制御回路、１２３はシステム制御回路１０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路は、メモリ１２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。
１２４はシステム制御回路１０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置１２４では、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００２２】
１２５は光学ファインダであり、画像表示部１１５による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
表示部１２４は、その一部の機能が光学ファインダー１２５内に設置されている。表示部１２４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、等もある。また、表示部１２４の表示内容のうち、光学ファインダー１２５内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
１２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。
【００２３】
１２７、１２８、１２９及び１３０は、システム制御回路１０８の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２４】
ここで、これらの操作手段の具体的な説明を行う。
１２７はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード（パノラマ撮影モード、動画撮影モード含む）、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
１２８はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００２５】
１２９はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（完全押し）でＯＮとなる。ＳＷ２がＯＮとなると、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０７を介してメモリ１１３に画像データを書き込む露光処理を行う。さらに、メモリ制御回路１０７によりメモリ１１３から画像データを読み出し、読み出した画像データに画像処理回路１０９で現像処理を施し、その後、圧縮・伸長回路１１４で圧縮を行い、記録媒体２００に画像データを書き込む記録処理を行う。この一連の撮影処理がＳＷ２のＯＮが入力されることにより実行される。
【００２６】
１３０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン等がある。さらに、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００２７】
１３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路１０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００２８】
１３２はコネクタ、１３３はコネクタ、１３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００２９】
１３５はメモリカードやハードディスク等の記録媒体とのインタフェース、１３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、１３７はコネクタ１３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース１３５、そしてコネクタ１３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードが装着できる。このような通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００３０】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、撮像装置１００とのインタフェース２０２、撮像装置１００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。
【００３１】
１３８は加速度検出手段であり、撮像装置１００の移動方向及び速度を検出することが可能である。なお、加速度検出手段１３８は、撮像装置１００の姿勢を検知する手段であってもよい。
【００３２】
１３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１４０は通信手段１３９により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００３３】
１４１はマイクで、音声データ取得手段である。１４２はマイク１４１で得られた音声データをシステム制御回路１０８で取得するためにＡ／Ｄ変換するＡ／Ｄ変換器である。
【００３４】
１４３はスピーカーで、音声データ再生手段である。１４４はシステム制御回路１０８から出力されるデジタル音声データをスピーカー１４３で再生するためにＤ／Ａ変換するＤ／Ａ変換器である。
【００３５】
＜印刷装置の構成＞
図３は印刷装置３００の構成を示す図である。
３００は印刷装置である。３０５は、Ｄ／Ａ変換器３０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路３０７及びシステム制御回路３０８により制御される。３０９は画像処理回路であり、メモリ制御回路３０７からのデータに対して所定の画素補間処理や色変換処理を行う。３０７はメモリ制御回路であり、タイミング発生回路３０５、画像処理回路３０９、画像表示メモリ３１２、Ｄ／Ａ変換器３０６、メモリ３１３、圧縮・伸長回路３１４を制御する。
【００３６】
３１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ３１２に書き込まれた表示用の画像データはＤ／Ａ変換器３０６を介して画像表示部３１５により表示される。メモリ３１３はシステム制御回路３０８の作業領域として使用することが可能である。メモリ３１３は、記録媒体２００の書き込みバッファとしても使われる。
【００３７】
３１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３１３に書き込む。
【００３８】
３０８は印刷装置３００全体を制御するシステム制御回路、３２３はシステム制御回路３０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路３０８は、メモリ３２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。
【００３９】
３２４はシステム制御回路３０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置３２４は、印刷装置３００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。表示部３２４の表示内容のうち、ＬＣＤ等に表示するものとしては、枚数表示、電池残量表示、エラー表示、記録媒体３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、印刷情報等がある。
【００４０】
３２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。ここには、撮影画像に合成するための合成用画像（スタンプやフレーム、吹きだし等）が複数種類記録されており、合成用画像を合成して印刷する歳には、この中から合成するものを選択して合成する。合成用画像の選択は、ユーザが行っても良いし、システム制御回路で自動的に行っても良い。３３０は各種ボタンやタッチパネル等からなる操作部ある。操作部として、メニューボタン、セットボタン、マルチ画面再生改ページボタン、印刷枚数＋（プラス）ボタン、印刷枚数−（マイナス）ボタン、ズーム＋（プラス）ボタン、ズーム−（マイナス）ボタン、印刷ボタン等がある。
【００４１】
３３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路３０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。３３２はコネクタ、３３３はコネクタ、３３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。
【００４２】
３３５はメモリカードやハードディスク等の記録媒体とのインタフェース、３３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、３３７はコネクタ３３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース３３５、そしてコネクタ３３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードを接続できる。このような通信カードを接続することにより、他のコンピュータやデジタルカメラ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４３】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、印刷装置３００とのインタフェース２０２、印刷装置３００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。
【００４４】
３３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。３４０は通信手段３３９により印刷装置３００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。３５０は記録紙搬送制御手段でシステム制御回路３０８からの指示に基づいて記録紙３６０を搬送する。３５１は印刷制御手段でシステム制御回路３０８からの指示に基づいてインクカセット３６１を制御し、記録紙搬送手段３５０によって搬送される記録用紙３６０に印刷をする。
【００４５】
＜画像処理システムの詳細な動作＞
以下、図４〜図８を参照して、本発明に係る撮像装置および印刷装置の動作を説明する。
【００４６】
まず図６において本実施形態の概略を示す。
Ｓ４０１において撮像装置１００のシャッタースイッチＳＷ１（１２８）がＯＮになると、撮像装置の加速度検出手段１３８によって撮像装置１００の動き情報の記憶を開始し、Ｓ４０２のようにＳＷ１（がＯＮの間は、所定時間毎に動き情報を蓄積していく。Ｓ４０３において撮像装置１００のシャッタースイッチＳＷ２（１２９）がＯＮになると撮影処理を行う。撮影処理が終わると撮影画像とともに蓄積していた撮像装置１００の動き情報５０１を記録媒体２００に記録する。
【００４７】
Ｓ４０４において記録媒体２００もしくは撮像装置の通信手段１３９と印刷装置の通信手段３３９によって、撮影データとその撮影データに対応する撮像装置１００の動き情報を印刷装置に転送する。Ｓ４０５において印刷装置３００は撮像装置１００の動き情報５０１を基に、撮影データに合成用画像を合成し、記録用紙に印刷して印刷物５０３を得ることができる。
【００４８】
合成用画像を合成する際には、動きの方向に応じて、合成する画像の向きを変えて合成したり、また、動きの早さによって合成する数を変えたりすると良い、また、動きの向きや早さに応じて、合成する画像を印刷装置の不揮発性メモリ３２６に記録されている複数の合成用画像の中から、合成する合成用画像を印刷装置が自動的に選択してもよい。
【００４９】
図４は本実施形態の撮像装置における撮像処理のフローチャートを示す。
撮像装置１００が撮影モードを開始すると、Ｓ１０１においてシャッタースイッチＳＷ１がＯＮ（シャッターボタンが半押し）であるかどうかを判定し、シャッタースイッチＳＷ１がＯＮでない場合はＳ１０１に戻る。シャッタースイッチＳＷ１がＯＮである場合は、Ｓ１０２において前述したＡＦ、ＡＥ、ＡＷＢ、ＥＦ処理等の撮影準備処理を行う。
【００５０】
撮影準備処理が終わると、Ｓ１０３において周期的に撮像装置の動きを加速度検出手段１３８が検出し、検出した動き情報をメモリ１１３に記録して蓄積する。本実施形態では、撮影直前の撮像装置の動きに応じた様々な合成効果を自動で付加するために、一定時間、撮像装置の動き情報を記録する必要がある。そのため、動き情報を蓄積しておく。
【００５１】
Ｓ１０４では、シャッタースイッチＳＷ２がＯＮ（全押し）であるかどうかを判定し、シャッタースイッチＳＷ２がＯＮでない場合はＳ１０３に戻り、再度撮像装置の動き情報の蓄積を行う。蓄積する情報量についてはあらかじめ設定しておき、設定された量を超えた場合は、最も古い情報から順に消去または上書きして蓄積していく。また、情報を蓄積する時間間隔（周期）については、撮像装置の動きの解析を行う際に十分な情報量となるよう、あらかじめ設定しておく。
【００５２】
Ｓ１０４においてシャッタースイッチＳＷ２がＯＮ（シャッターボタンが全押しされた）の場合は、前述した撮影動作を行い、撮影動作で得られた撮影画像を記録媒体２００に記録する（Ｓ１０５）。
【００５３】
撮影処理が終わると、蓄積した動き情報を撮影直前の撮像装置の動き情報として記録媒体２００に記録する（Ｓ１０６）。撮像装置の動き情報の記録については、撮影画像のＥｘｉｆ情報等の管理情報に含めても良いし、別ファイルとして保存しても良い。また、撮影直前の撮像装置の動き情報と共に、撮影時の被写体の位置も記録しておく。
【００５４】
本実施形態における動き情報の構造について、図７を参照して説明する。
【００５５】
図７は撮像装置１００で記録する動き情報データ６００を示す図である。
動き情報データ６００は＜＞でくくられたタグによって情報分けされており、例えば＜Ｐｒｏｄｕｃｔ＞は撮像装置１００の製品名が記述され、＜Ｉｍａｇｅ＞は同時に撮影された画像ファイル名が記述されている。＜Ｓｉｚｅ＞には、画像データの縦横のサイズが記述されている。また撮影した際の合焦位置に合成用画像が重なってしまうのを避けるため＜Ｆｏｃｕｓ＞で合焦の位置を＜Ｆｓｉｚｅ＞でオートフォーカス時の枠の大きさを記述する。合焦の位置には主被写体がある場合がおおいので、合焦の位置を記録したが、合焦の位置ではなく被写体の位置や大きさを記述してもよい。実際の撮像装置１００の動きデータは＜Ｄａｔａ＞に記述され、撮像装置の６つの自由度ｘ，ｙ，ｚ，α，β，γの順にスペースで区切られて記述されている。ｘ，ｙ，ｚは、撮像装置がどの方向にどのくらい動いたかを表しており、α，β，γではｍ撮像装置をどのくらい回転させたかを表している。図７においては、ユーザはα方向に撮像装置１００を回転させて動いたことが分かる。
【００５６】
撮影画像と位置情報の記録が終わると、Ｓ１０７において撮影モードを終了するかどうかを判定し、撮影モードを終了しない場合はＳ１０１に戻る。
【００５７】
図５は本実施形態の印刷装置における印刷処理のフローチャートを示す。
印刷装置３００が印刷モードを開始すると、Ｓ２０１において撮影画像と撮影直前の撮像装置の動き情報、被写体の位置の情報を取得する。ここでは、記録媒体２００から撮像装置で記録したデータを読み込むことで取得しても良いし、撮像装置１００から通信手段１３９、３３９を用いて有線若しくは無線の通信によって取得しても良い。
【００５８】
Ｓ２０２においては、Ｓ２０１で取得したデータを解析し、撮影前の撮影装置の動きや、撮影時の被写体の位置の解析を行う。撮像装置の移動方向や移動距離、移動速度を判定する。
【００５９】
撮像装置の動きを解析した後、Ｓ２０３において、撮影画像に対して合成用画像を合成して画像表示部３１５に表示する。合成する画像の種類や数、位置については、Ｓ２０２において解析した被写体の動き情報に基づいて決定する。
【００６０】
ここで、動き情報に基づく合成用画像の合成について、図８を参照して説明する。
図８は撮影画像に合成用画像を合成する際の概要図である。
撮影画像５００とこの撮影画像に対応する動き情報５０１がある場合、まず合焦位置や被写体位置を確認する。また、動き情報データ５０１を解析し、撮像装置の動きの方向や速度を判定する。５０１では、＜Ｄａｔａ＞タグにより撮像装置１００は水平回転方向に動かされていることが分かる。そのため、撮像装置の動きに、星の合成用画像を合成している。合成する星の数は被写体の早さに合わせて調整する。また、所定値よりも動きが早い場合は彗星の合成用画像を選択する。合成する場合は、合焦位置や被写体位置、被写体の大きさの情報から、合成用画像が被写体や合焦位置にかぶらないように合成する。本実施形態では撮像装置が水平に動いているので星の合成用画像を合成したが、上下に動いている場合には、他の合成用画像を合成する。動きのパターンによって合成する画像を印刷装置が印刷装置の不揮発性メモリ３２６に記録されている複数の合成用画像の中から、合成する合成用画像を自動的に選択する。選択された合成用画像が、方向を持つ画像である場合には、動き情報から撮像装置が動いた移動方向を判定し、撮像装置の移動方向に合わせて合成用画像を反転したり回転してから撮影画像に合成しても良い。
【００６１】
ここでの合成においては、実際に画像処理回路３０９によって撮影画像データに合成用画像を合成しても良いし、ユーザが合成されているように見えるように合成画像を重ねて画像表示部３１５に表示するだけでも良い。
【００６２】
合成用画像を合成して表示した後は、Ｓ２０４において操作部３３０によるユーザ操作を受け付ける。ここでは、ユーザは合成する画像の種類及び位置を変更することが可能である。例えば、合成用画像の追加や削除、種類の変更、位置の調整などを行うことができる。合成用画像の変更を受け付けた場合はＳ２０７に遷移し、変更を反映させて画像表示部３１５に画像を表示させる。
【００６３】
Ｓ２０４において合成用画像の変更ではなく、画像の合成が決定されて印刷処理の開始を指示された場合、Ｓ２０５において印刷処理を実行する。なお、Ｓ２０３において撮影画像データに合成用画像を撮影画像に実際に合成していない場合は、この印刷処理内で合成用画像を付加する処理を行ってから印刷を行う。
印刷終了後は、Ｓ２０６において印刷装置３００が印刷モードを終了するかどうかを判定し、印刷モードを終了しない場合はＳ２０１に戻る。
【００６４】
このようにして、ユーザは合成のための特別な操作を行わずに、撮影画像に合成用画像を合成することができる。
【００６５】
＜その他の実施形態＞
以上、図１〜図８を用いて本発明の実施形態の説明を行った。
以上説明したように、本実施形態によれば、撮影時の所定期間の被写体の動きに応じて自動で合成効果を付加することができるため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。
【００６６】
上述の実施形態では、動き情報の記録を撮像装置で、動き情報に基づく合成用画像の合成および合成結果の印刷を印刷装置で行ったが、動き情報に基づく合成用画像の合成を撮像装置で行っても良い。処理の方法は印刷での方法と同じであるため説明は省略する。また、撮像装置で合成する場合は、画像の撮影直後に、合成結果を表示して、ユーザに確認可能にすると良い。また、合成結果を記録媒体２００に記録すると良い。
【００６７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００６８】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【特許請求の範囲】
【請求項１】
画像を撮影する撮影手段を有する撮像装置であって、
所定期間の前記撮像装置の動きに関する動き情報を取得する取得手段と、
前記取得手段により取得した動き情報に基づいて、前記撮影手段により撮影した画像に合成用画像を合成する合成手段とを有することを特徴とする撮像装置。
【請求項２】
複数の合成用画像を記憶する記憶手段を有し、
前記合成手段は、前記撮像装置の動きの尾パターンに応じて、前記複数の合成用画像の中から前記撮影画像に合成する合成用画像を選択して、前記撮影画像に合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記取得手段は、前記撮影手段により撮影した画像の合焦位置または被写体位置を取得し、
前記合成手段は、前記取得手段により取得した合焦位置または被写体位置を避けて合成用画像を合成することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮影手段による撮影画像の撮影を指示するためのシャッターボタンを有し、
前記所定期間は、前記シャッターボタンの半押しされてから、前記シャッターボタンが全押しされるまでの期間であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮影手段による撮影を指示するための操作部を有し、
前記所定期間は、前記操作部により撮影の準備が指示されてから、前記操作部により撮影が指示されるまでの期間であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項６】
前記撮影の準備は、オートフォーカス処理、自動露出処理、オートホワイトバランス処理、フラッシュプリ発光処理のうち、少なくとも１つを含むことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮影手段による画像の撮影後に、前記合成手段により合成用画像を合成した画像を表示するための表示手段を有することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記動き情報を解析し、前記撮像装置の移動方向または移動速度を判定する判定手段を有し、
前記合成手段は、前記判定手段での判定結果に応じて、合成する合成用画像の数を決定することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
【請求項９】
前記動き情報を解析し、前記撮像装置の移動方向を判定する判定手段を有し、
前記合成手段は、前記判定手段での判定結果に応じて、合成する合成用画像を反転または回転させ手合成することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
【請求項１０】
撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得手段と、
前記動き情報に基づいて、前記撮影画像に合成用画像を合成する合成手段とを有することを特徴とする画像処理装置。
【請求項１１】
撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得工程と、
前記動き情報に基づいて、前記撮影画像に合成用画像を合成する合成工程とを有することを特徴とする画像処理方法。
【請求項１】
画像を撮影する撮影手段を有する撮像装置であって、
所定期間の前記撮像装置の動きに関する動き情報を取得する取得手段と、
前記取得手段により取得した動き情報に基づいて、前記撮影手段により撮影した画像に合成用画像を合成する合成手段とを有することを特徴とする撮像装置。
【請求項２】
複数の合成用画像を記憶する記憶手段を有し、
前記合成手段は、前記撮像装置の動きの尾パターンに応じて、前記複数の合成用画像の中から前記撮影画像に合成する合成用画像を選択して、前記撮影画像に合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記取得手段は、前記撮影手段により撮影した画像の合焦位置または被写体位置を取得し、
前記合成手段は、前記取得手段により取得した合焦位置または被写体位置を避けて合成用画像を合成することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮影手段による撮影画像の撮影を指示するためのシャッターボタンを有し、
前記所定期間は、前記シャッターボタンの半押しされてから、前記シャッターボタンが全押しされるまでの期間であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮影手段による撮影を指示するための操作部を有し、
前記所定期間は、前記操作部により撮影の準備が指示されてから、前記操作部により撮影が指示されるまでの期間であることを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
【請求項６】
前記撮影の準備は、オートフォーカス処理、自動露出処理、オートホワイトバランス処理、フラッシュプリ発光処理のうち、少なくとも１つを含むことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮影手段による画像の撮影後に、前記合成手段により合成用画像を合成した画像を表示するための表示手段を有することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
【請求項８】
前記動き情報を解析し、前記撮像装置の移動方向または移動速度を判定する判定手段を有し、
前記合成手段は、前記判定手段での判定結果に応じて、合成する合成用画像の数を決定することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
【請求項９】
前記動き情報を解析し、前記撮像装置の移動方向を判定する判定手段を有し、
前記合成手段は、前記判定手段での判定結果に応じて、合成する合成用画像を反転または回転させ手合成することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
【請求項１０】
撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得手段と、
前記動き情報に基づいて、前記撮影画像に合成用画像を合成する合成手段とを有することを特徴とする画像処理装置。
【請求項１１】
撮影画像と、撮影画像が撮影された際の撮像装置の動きに関する動き情報とを取得する取得工程と、
前記動き情報に基づいて、前記撮影画像に合成用画像を合成する合成工程とを有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１３０２０９（Ｐ２０１１−１３０２０９Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８６９０４（Ｐ２００９−２８６９０４）
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１７日（２００９．１２．１７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]