画像処理装置、画像処理方法、プログラム
【課題】撮像画像の再生時に、撮像時の雰囲気を再現した動的画像効果を与える。
【解決手段】画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果の種類又は効果量を決定する。そして画像データの表示に伴って、決定された種類又は効果量に応じた効果態様で、動的画像効果が実行されるように表示動作を制御する。
【解決手段】画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果の種類又は効果量を決定する。そして画像データの表示に伴って、決定された種類又は効果量に応じた効果態様で、動的画像効果が実行されるように表示動作を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関し、特に撮像画像の表示の際に画像効果を与える技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００５−２５０９７７号公報
【背景技術】
【０００３】
上記特許文献１には、撮影者の感情を写真に反映させる技術が開示されている。この場合、撮影者の感情反映パラメータを求め、感情パラメータに応じて画像の明暗等を画像処理により変化させる。そしてこのような画像処理後の画像を表示させることで、撮影時の感情を表現した画像表示を行うことが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明では、ユーザが通常に写真撮影を行った後、写真を鑑賞するときなどにおいて、新たな楽しみを創出することを目的とする。
即ち撮像画像を見ている人が、撮像時の雰囲気を感じられるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定部と、画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御部とを備える。
また上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である。
また上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする。
また上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする。
【０００６】
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、比較対象となる所定の環境情報との比較によって得られる環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する。
上記比較対象となる所定の環境情報は、上記再生対象画像データの前の時点で再生対象とされた画像データについての環境情報である。
また複数の画像データを順次再生表示させる場合において、上記比較対象となる所定の環境情報は、上記再生対象画像データの直前に再生対象とされた画像データについての環境情報である。
また選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備える。
また、上記比較対象となる所定の環境情報は、時間情報が上記再生対象画像データに最も近い前の時点の画像データについての環境情報である。
また上記比較対象となる所定の環境情報は、固定的な値として設定された環境情報である。
【０００７】
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、体感環境情報に変換し、該体感環境情報を用いて、上記再生対象画像データについての動的画像効果を決定する。
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報と、比較対象となる所定の環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する。
また上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する。
また上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する。
また上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも１つが含まれる。
【０００８】
本発明の画像処理方法は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップとを行う。
本発明のプログラムは、この画像処理方法を情報処理装置に実行させるプログラムである。
【０００９】
このような本発明は、撮像時の環境情報を用いて、再生表示させる画像データに、動的な画像効果を与えるものである。この動的な画像効果によって、画像を見ている人に対して、撮像時の環境、例えば撮像者が体感している環境（明暗、寒暖、時間、場所等）を表現する。
【発明の効果】
【００１０】
本発明により、撮像された画像データの再生表示を見ている人が、撮像時の雰囲気を感じることができるようになる。このことで「思い出を思い出させる」、「感動を伝える」などの写真やビデオが本来持つ効果をより有効化でき、写真等の画像再生における新たな楽しみを創出できる。
また、動的な画像効果を与えることで、見ている人によりダイナミックに雰囲気を伝えることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態を適用できる装置例の説明図である。
【図２】実施の形態の画像処理装置の構成のブロック図である。
【図３】実施の形態の画像処理装置に該当する撮像装置のブロック図である。
【図４】実施の形態の画像データと環境情報の説明図である。
【図５】実施の形態の撮像装置の撮像時の処理のフローチャートである。
【図６】実施の形態の基準値設定処理のフローチャートである。
【図７】実施の形態のスライドショウ再生処理のフローチャートである。
【図８】実施の形態の効果算出処理のフローチャートである。
【図９】実施の形態の環境情報と体感環境情報の説明図である。
【図１０】実施の形態の効果テンプレートの説明図である。
【図１１】実施の形態の環境情報の親和性と優先度低の効果強度の説明図である。
【図１２】実施の形態の動的画像効果例の説明図である。
【図１３】実施の形態の動的画像効果例の説明図である。
【図１４】実施の形態の動的画像効果例の説明図である。
【図１５】実施の形態の動的画像効果例の説明図である。
【図１６】実施の形態の動的画像効果例の説明図である。
【図１７】実施の形態の静的画像効果例の説明図である。
【図１８】実施の形態の静的画像効果例の説明図である。
【図１９】実施の形態の動的及び静的画像効果例の説明図である。
【図２０】実施の形態の画像効果例の説明図である。
【図２１】実施の形態のスライドショウ選択再生処理のフローチャートである。
【図２２】実施の形態のスライドショウ実行設定及び再生対象画像準備処理のフローチャートである。
【図２３】実施の形態の再生対象画像についての効果算出処理のフローチャートである。
【図２４】実施の形態の効果テンプレート設定変更処理のフローチャートである。
【図２５】実施の形態のスライドショウ実行設定の説明図である。
【図２６】実施の形態の前後画像関係による画像効果への影響の説明図である。
【図２７】実施の形態の画像内容による画像効果への影響の説明図である。
【図２８】実施の形態の一画像データからの効果設定のフローチャートである。
【図２９】実施の形態の情報処理装置のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を次の順序で説明する。
［１．本発明の適用−実施の形態の画像処理装置］
［２．実施の形態としての撮像装置の構成］
［３．撮像時の処理及び環境情報例］
［４．動的画像効果を与えるスライドショウ再生］
［５．画像効果例］
［６．スライドショウ選択再生］
［７．一画像からの効果設定］
［８．各種変形例、適用例］
［９．情報処理装置／プログラム］
【００１３】
［１．本発明の適用−実施の形態の画像処理装置］
実施の形態の画像処理装置は、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定し、当該画像効果を与えた再生表示を行うことで、画像と共に撮像時の雰囲気が再現されるような表示を行うものである。
このような画像処理装置による動作は、各種多様な機器やシステムにおいて実現される。
【００１４】
図１に各種の適用例を示す。
図１（ａ）はデジタルスチルカメラとしての撮像装置１を示している。この撮像装置１が実施の形態の画像処理装置としての機能を有することで、撮像した画像データについて表示パネル６で再生表示を行う際に、環境情報に基づく画像効果を与えた表示を行うことができる。
即ち撮像装置１は、撮像処理によって内部メモリやメモリカード等の記録媒体に撮像した画像データを記憶する。このとき、撮像時の環境情報も取得するようにし、撮像した画像データに関連付けて環境情報も記憶する。
そして画像データを再生する際には、対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像データを再生表示する際に、その決定した画像効果を与えて表示パネル６で画像表示を実行する。
これによりユーザは、撮像装置１を単体で用いて撮像画像を再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
【００１５】
図１（ｂ）は、撮像装置１を外部のモニタ装置１００と接続して画像再生を行う場合の例を示している。モニタ装置１００は、撮像装置１に対応する専用のモニタ装置でも良いし、テレビジョン受像器、或いはパーソナルコンピュータ用モニタなどが想定される。
撮像装置１で撮像した画像を、接続したモニタ装置１００で表示させる際、撮像装置１が上記の画像処理装置としての機能を持つことで、再生時に環境情報に基づいた画像効果を与えた表示をモニタ装置１００上で見ることができる。
【００１６】
図１（ｃ）は、画像再生装置１０１とモニタ装置１００を示している。画像再生装置１０１は、ビデオプレーヤ、静止画再生機など、画像データ再生を行うことのできる機器としている。
画像再生装置１０１は、装填された可搬性記録媒体に記録された画像データ、内部メモリ、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）等の記録媒体に記録された画像データ等を再生し、再生画像信号としてモニタ装置１００に出力する。
この画像再生装置１０１には、撮像装置１等で撮像された画像データが記憶されたメモリカード等を装填したり、或いは撮像装置１から画像データを転送して内部のＨＤＤ等に記録させることができる。このとき、画像データとともに環境情報も記録媒体に記録された状態とする。
画像再生装置１０１が、記録媒体から画像データを再生する際に、その画像データに対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像効果を与えた再生画像信号を生成してモニタ装置１００に出力する。これによりユーザは、撮像画像を画像再生装置１０１で再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
【００１７】
なお、図１（ｂ）（ｃ）のようにモニタ装置１００を用いるシステムを想定した場合、モニタ装置１００が画像処理装置としての機能を備えるようにしてもよい。
即ち、モニタ装置１００が他の機器（デジタルスチルカメラやビデオプレーヤ等）から画像データと環境情報の転送を受けるようにする。そしてモニタ装置１００の内部で、画像データの再生に際しての画像効果を環境情報に基づいて決定し、画像効果を与えたた再生表示を行うものである。
【００１８】
図１（ｄ）はパーソナルコンピュータ１０２を示している。例えば撮像装置１で撮像された画像データ及び環境情報が記憶されたメモリカード等をパーソナルコンピュータ２００に装填したり、或いは撮像装置１から画像データ及び環境情報を転送して内部のＨＤＤ等にデータファイルとして記録させる。パーソナルコンピュータ１０２では、所定のアプリケーションソフトウエアにより、これらの画像データについて再生させる際に、当該アプリケーションソフトウエアが画像データに対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像効果を与えた再生画像信号を生成してモニタディスプレイに表示出力する。
【００１９】
以上は例示にすぎないが、本発明の実施の形態は、例えばこれらのように多様な実現例が想定される。例えば各種ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡなどの機器でも実現可能である。
各種機器において本実施の形態を実現する場合、それらの機器やシステムにおいて設けられる構成例を図２に示す。
図２では、画像格納部２００、制御部２０１、画像処理／表示制御部２０２、表示部２０３、画像出力部２０４、操作入力部２０５、画像解析部２０６を示している。
【００２０】
画像格納部２００は、撮像動作によって得られた画像データと環境情報を関連付けて記憶する部位である。
この画像格納部２００は、例えばメモリカード、光ディスク等の可搬性記録媒体とその再生部として構成されたり、ＨＤＤとして構成されたり、内部メモリ（ＲＡＭ、フラッシュメモリ等）として構成される。また画像格納部２００は接続された外部機器、或いはネットワーク等を介して通信可能な外部機器として構成されてもよい。
【００２１】
画像格納部２００には、例えば多数の画像データが、フォルダ単位で格納される。例えばフォルダＦＬＤ１には、画像データＰＣＴ１１，ＰＣＴ１２・・・が含まれる。またフォルダＦＬＤ２には、画像データＰＣＴ２１，ＰＣＴ２２・・・が含まれる。
各フォルダにおいては、画像データＰＣＴだけでなく、その画像データの撮像時の環境情報ＣＩも関連付けられて記憶される。例えば画像データＰＣＴ（ＰＣＴ１１，ＰＣＴ１２・・・）にそれぞれ対応して環境情報ＣＩ（ＣＩ１１，ＣＩ１２・・・）が記憶される。
【００２２】
なお、このようなフォルダ管理は一例であり、画像データＰＣＴと環境情報ＣＩの管理形態（フォルダ構成、ディレクトリ構造等）はどのようなものであっても良い。本実施の形態に関しては、少なくとも画像データＰＣＴと環境情報ＣＩが関連付けられて記憶されているものであればよい。
【００２３】
制御部２０１は、一つ以上のＣＰＵ（Central Processing Unit）、制御用回路、制御に利用する組替え可能なハードウェア等を含む。
制御部２０１は、データ読出処理、画像効果決定処理、画像再生制御処理等を行う。
データ読出処理とは、再生する画像データＰＣＴ及び環境情報ＣＩを画像格納部２００から読み出す処理である。
画像効果決定処理とは、再生対象とする画像データＰＣＴの撮像時の環境情報ＣＩを用いて表示の際の画像効果を決定する処理である。
画像再生制御処理とは、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理である。
【００２４】
画像処理／表示制御部２０２は、再生表示する画像データについて画像効果（画像エフェクト）を与える処理、及び画像データを表示出力する処理を行う。画像効果としては、画像表示に際しての輝度変化、カラーバランス変化、コントラスト変化などの表示パラメータを変化させたり、キャラクタ画像やイメージ画像等の画像合成処理などを行う。
この画像処理／表示制御部２０２は、制御部２０１で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示部２０３で表示出力されたり、画像出力部２０４から外部モニタ機器に出力されて表示されることになる。
これにより、画像データＰＣＴの再生に際して、環境情報ＣＩに基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
【００２５】
操作入力部２０５は、ユーザが各種の操作入力を行う部位である。例えばキー、ダイヤル等の操作子が設けられたり、リモートコントローラの操作信号の受信部などとして構成される。
操作入力部２０５による操作情報は制御部２０１によって検知され、制御部２０１は操作に応じた動作制御を行う。例えば制御部２０１は画像再生制御や再生画像の選択処理等を操作情報に応じて実行する。
画像解析部２０６は、画像データを解析して画像内容を判別する。例えば風景画像であるか人が写っている画像であるかなどの判別を行う。この解析結果に基づいて、制御部２０１が再生画像を選択したり、解析結果を画像効果決定の一要素として用いることなどができる。
【００２６】
例えば以上のような構成を図１に示した撮像装置１、画像再生装置１０１、パーソナルコンピュータ１０２等が備えることで、本実施の形態としての動作が各機器で実現できる。特には、制御部２０１が本発明請求項に記載した画像効果決定部に相当し、画像処理／表示制御部２０２が本発明請求項に記載した表示制御部（及び順次再生制御部）に相当する。この制御部２０１と画像処理／表示制御部２０２に相当する構成が少なくともハードウエアもしくはソフトウエアにより実装されることが本実施の形態に該当する機器として必要である。
【００２７】
［２．実施の形態としての撮像装置の構成］
以下、より具体的な実施の形態として、本発明を例えばデジタルスチルカメラとしての撮像装置１に適用した例により、構成及び動作を詳細に説明していく。
実施の形態の撮像装置１の構成を図３で説明する。
【００２８】
図３に示すように撮像装置１は、撮像系２、制御系３、カメラＤＳＰ（Digital Signal Processor）４、操作部５、表示パネル６、表示コントローラ７、画像出力部１１を備える。また撮像装置１は、外部インターフェース８、センサ部１２、ネットワークインターフェース２９，ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）９、媒体インターフェース１０を備える。
【００２９】
撮像系２は、撮像動作を実行する部位とされ、レンズ機構部２１，絞り／ＮＤフィルタ機構２２、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５を備える。また撮像系２は、レンズ駆動部２６、レンズ位置検出部２７、タイミング生成回路２８、ブレ検出部１３、発光駆動部１４、フラッシュ発光部１５、レンズ駆動ドライバ１７、絞り／ＮＤ駆動ドライバ１８、撮像素子ドライバ１９を備える。
【００３０】
被写体からの入射光は、レンズ機構部２１及び絞り／ＮＤフィルタ機構２２を介して撮像素子部２３に導かれる。
レンズ機構部２１は、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。
レンズ駆動部２６は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。このレンズ駆動部２６はレンズ駆動ドライバ１７によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するＣＰＵ（Central Processing Unit）３１はレンズ駆動ドライバ１７を制御することで、焦点制御やズーム動作を実行させる。
【００３１】
絞り／ＮＤフィルタ機構２２は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる（調整する）ＮＤフィルタ機構を有し、光量調整を行う。
絞り／ＮＤ駆動ドライバ１８は、絞り機構の開閉により入射光量の調節を行う。また絞り／ＮＤ駆動ドライバ１８は、ＮＤフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。ＣＰＵ３１は、絞り／ＮＤ駆動ドライバ１８を制御して絞り機構やＮＤフィルタを駆動させることで入射光量制御（露光調整制御）を行うことができる。
【００３２】
被写体からの光束はレンズ機構部２１、絞り／ＮＤフィルタ機構２２を通過し、撮像素子部２３上に被写体像が結像される。
撮像素子部２３は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部２３は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部２４に出力する。撮像素子部２３としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。
【００３３】
アナログ信号処理部２４は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、撮像素子部２３から入力される画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部２５は、アナログ信号処理部２４で処理されたアナログ信号をデジタル信号に変換し、カメラＤＳＰ４に供給する。
【００３４】
タイミング生成回路２８は、ＣＰＵ３１により制御され、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５の各動作のタイミングを制御する。
即ちタイミング生成回路２８は、撮像素子部２３の撮像動作タイミングを制御するために、露光／電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ１９を介して撮像素子部２３に供給する。またアナログ信号処理部２４で、撮像素子部２３での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部２４にも供給する。
ＣＰＵ３１は、タイミング生成回路２８により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御（フレーム内の露光時間可変制御）を行うことができる。またＣＰＵ３１は、例えばタイミング生成回路２８を介してアナログ信号処理部２４にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
【００３５】
ブレ検出部１３は、手ぶれ量や撮像装置１自体の動きの量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をＣＰＵ３１に供給する。
フラッシュ発光部１５は発光駆動部１４によって発光駆動される。ＣＰＵ３１は、ユーザの操作その他による所定タイミングで、発光駆動部１４にフラッシュ発光を指示し、フラッシュ発光部１５を発光させることができる。
【００３６】
カメラＤＳＰ４は、撮像系２のＡ／Ｄ変換部２５から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラＤＳＰ４では、例えば図示のように画像信号処理部４１，圧縮／解凍処理部４２、ＳＤＲＡＭコントローラ４３等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
【００３７】
画像信号処理部４１は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系２の駆動制御用の演算処理として、オートフォーカス（ＡＦ）用処理、オートアイリス（ＡＥ）用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス（ＡＷＢ）処理などを行う。
【００３８】
例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
【００３９】
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。
【００４０】
カメラＤＳＰ４の画像信号処理部４１が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてＣＰＵ３１に供給する。平均輝度の算出としては例えば１フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
ＣＰＵ３１は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、ＮＤフィルタ、或いは撮像素子部２３における電子シャッタ制御、アナログ信号処理部２４へのゲイン制御により、露光調整を行うことができる。
【００４１】
カメラＤＳＰ４の画像信号処理部４１は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。
【００４２】
カメラＤＳＰ４における圧縮／解凍処理部４２は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による圧縮処理／解凍処理を行う。
【００４３】
ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保などに用いられる。
ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。
【００４４】
制御系３は、ＣＰＵ３１、ＲＡＭ３２、フラッシュＲＯＭ３３、時計回路３４、画像解析部３５を備える。制御系３の各部、及びカメラＤＳＰ４、撮像系２の各部、表示コントローラ７、外部インターフェース８、媒体インターフェース１０は、システムバスによって相互に画像データや制御情報の通信が可能とされている。
【００４５】
ＣＰＵ３１は、撮像装置１の全体を制御する。即ちＣＰＵ３１は内部のＲＯＭ等に保持したプログラム及び操作部５によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
特にＣＰＵ３１は、表示パネル６における表示画像や外部のモニタ装置に出力する表示画像信号に関しては、図２で述べた制御部２０１としての処理機能を有し、必要な演算処理、制御処理を実行する。
即ちＣＰＵ３１はデータ読出処理として、再生する画像データ及び環境情報を記録媒体９０やフラッシュＲＯＭ３３等から読み出す処理を行う。
またＣＰＵ３１は画像効果決定処理として、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定する処理を行う。
またＣＰＵ３１は、画像再生制御処理として、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理を行う。
【００４６】
ＲＡＭ（Random Access Memory）３２は、カメラＤＳＰ４で処理された撮像画像信号（各フレームの画像データ）の一時的な保存や、ＣＰＵ３１の各種処理に応じた情報が記憶される。
フラッシュＲＯＭ３３は、撮像画像としての（ユーザが静止画又は動画として撮像した）画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置１の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路３４は、現在日時情報（年月日時分秒）を計数する。
【００４７】
画像解析部３５は図２で述べた画像解析部２０６に相当する。画像解析部３５は、例えばＣＰＵ３１の再生制御により表示出力される画像データについて画像解析を行い、各種の画像認識を行う。
例えば画像解析部３５は被写体画像に含まれている人物認識や顔認識の処理を行う。また風景を中心とした画像であるかの判別を行う。さらに画像解析部３５は、対象の画像データについての撮像時の外光状況、撮像時の天候（雨／晴れ）、位置（屋外／屋内／水中等）など、画像解析によって認識可能な各種の情報を検出する場合もある。
【００４８】
操作部５は、ユーザが操作する各種操作子及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部５からＣＰＵ３１に伝達される。
操作子としては、例えばシャッタ操作キー、モード選択のダイヤル、ワイド／テレ操作キー、メニュー項目選択や画像選択その他に用いられる十字キー、カーソルキーなどが設けられる。
なお、操作部５としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば表示パネル６にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
操作部５は図２の操作入力部２０５に相当する。
【００４９】
表示コントローラ７は、ＣＰＵ３１の制御に基づいて、表示パネル６に所要の表示動作を実行させる。また画像出力部１１から外部機器に表示画像信号を出力する処理を行う。
表示コントローラ７は、図２の画像処理／表示制御部２０２に相当し、表示パネル６は表示部２０３に、また画像出力部１１は画像出力部２０４に、それぞれ相当する。
表示パネル６は例えば図１（ａ）のように撮像装置１の筐体上に液晶パネルや有機ＥＬ（Electroluminescence）パネルなどとして設けられる。
画像出力部１１は、アナログ映像信号出力端子やデジタル映像信号出力端子などとして設けられる。
【００５０】
表示コントローラ７は、ＣＰＵ３１の制御に基づき、再生表示する画像データについて画像効果（画像エフェクト）を与える処理、及び画像データを表示出力する処理を行う。画像効果としては、画像表示に際しての輝度変化、カラーバランス変化、コントラスト変化などの表示パラメータを変化させたり、キャラクタ画像やイメージ画像等の画像合成処理などを行う。
この表示コントローラ７は、ＣＰＵ３１で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示パネル６で表示出力されたり、画像出力部１１から外部モニタ機器（例えば図１（ｂ）に示したモニタ装置１００）に出力されて表示されることになる。
これにより、画像データの再生に際して、環境情報に基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
また表示コントローラ７は、表示パネル６や外部のモニタ装置における表示動作として、記録媒体９０やフラッシュＲＯＭ３３から読み出した再生画像表示の他に、操作メニュー表示、各種アイコン表示、時刻表示なども行われるようにする。
【００５１】
媒体インタフェース１０は、ＣＰＵ３１の制御に基づいて、撮像装置１の内部にセットされたメモリカード（カード状のリムーバブルメモリ）等の記録媒体９０に対してデータの読出／書込を行う。例えば媒体インタフェース１０は、撮像結果としての静止画データや動画データについて記録媒体９０に記録する動作を行う。また再生モード時には画像データを記録媒体９０から読み出す動作を行う。
なお、ここでは記録媒体９０として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤを搭載して記録するようにしてもよい。
この記録媒体９０や上述したフラッシュＲＯＭ３３が、図２で言う画像格納部２００に相当する。即ち記録媒体９０や上述したフラッシュＲＯＭ３３において、画像データＰＣＴと環境情報ＣＩが、例えばフォルダＦＬＤ毎に格納される。
【００５２】
外部インタフェース８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんＵＳＢ方式に限らず、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース８を構成しても良い。
撮像装置１は、この外部インターフェース８を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像した画像データＰＣＴや環境情報ＣＩを外部機器に転送することができる。
【００５３】
ネットワークインターフェース２９は、例えばインターネット等のネットワークを介して外部のサーバ装置やウェブサイト等にアクセスするための通信処理を行う。ＣＰＵ３１は、ネットワークインターフェース２９を介したネットワーク通信により、所定のサーバ装置等から環境情報（例えば現在位置の天候、気温、場所の属性など）を取得することも可能である。
【００５４】
センサ部１２は、撮像装置１に搭載されうる各種センサを総括的に示している。本例では特に撮像時の環境情報を検出するセンサとされる。
例えば温度センサ、湿度センサ、外光光量センサ、紫外線光量センサ、風量センサ、風速センサ、風向センサ、速度センサ、加速度センサ、気圧センサ、水圧センサ、高度センサ、音量センサなどがセンサ部１２として搭載されることが想定される。
また、位置センサとして、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力するＧＰＳ受信部などもセンサ部１２として設けることも考えられる。
【００５５】
［３．撮像時の処理及び環境情報例］
先に図２で、画像格納部２００には画像データＰＣＴと環境情報ＣＩが格納されると述べた。図３の撮像装置１の場合、撮像の際に、記録媒体９０又はフラッシュＲＯＭ３３において、画像データＰＣＴと環境情報ＣＩが記録されることになる。ここでは、このような記録を行う撮像時の処理について説明する。
【００５６】
図４は画像データＰＣＴ（ｘ）と、それに対応する環境情報ＣＩ（ｘ）を例示したものである。画像データＰＣＴ（ｘ）は、ユーザが例えば撮像装置１を用いて撮像した画像である。これに対して、環境情報ＣＩ（ｘ）が関連付けられる。
ここでは、環境情報ＣＩ（ｘ）の内容は、気温：２５℃、光量：１００００ルクス、紫外線光量：１００ルクス、湿度：４０％、風量：４ｍ／ｓとされている。
この環境情報ＣＩ（ｘ）の内容は、画像データＰＣＴ（ｘ）の撮像の際に得られた環境値である。つまり撮像者がその時点で感じている雰囲気（寒暖、明暗等）に応じた値となる。
撮像装置１は、撮像時において、画像データＰＣＴを記録するとともに、センサ部１２、画像解析部３５、画像信号処理部４１、ネットワークインターフェース２９、時計回路３４から、各種の環境値を取得し、環境情報ＣＩを生成する。
【００５７】
図５に、撮像装置１の撮像時の処理を示す。
撮像装置１は例えばパワーオンとなると、ステップＦ１でモニタリング動作を開始する。なお、ユーザが電源オフ状態から再生指示操作を行う場合など、パワーオンの際に再生動作状態となる場合もある。再生動作状態とは、後述するように撮像した画像を再生する場合であり、この場合の処理は図５では省略している。
ユーザが、通常に撮像装置１を用いて静止画等の撮像を行う場合は、撮像系２による撮像を行うための動作としてまずモニタリング動作が行われる。
【００５８】
このモニタリング動作とは、表示パネル６に被写体画像（スルー画）を表示させる動作である。
即ちＣＰＵ３１は、モニタリング動作においては撮像系２、カメラＤＳＰ４にそれぞれ撮像時に必要な動作を実行させる。そしてカメラＤＳＰ４から供給されるフレーム毎の撮像画像データを例えばＲＡＭ３２に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ７に受け渡し、表示パネル６にモニタリング表示を実行させる。
このモニタリング動作により、ユーザは、表示パネル６の表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
ユーザがシャッタ操作を行っていない期間は、撮像終了（例えばパワーオフ）とならなければ、ステップＦ２→Ｆ６→Ｆ１としてモニタリング動作が継続される。
【００５９】
モニタリング処理中に、ユーザがシャッタ操作を行ったことを検出すると、ＣＰＵ３１はステップＦ３に進み、撮像画像記録処理を行う。
即ちＣＰＵ３１は、このシャッタ操作のタイミングで撮像される１フレームの撮像画像データを、静止画データとして保存する処理を行う。ＣＰＵ３１は当該タイミングで取り込んだ撮像画像データを媒体インターフェース１０に転送し、画像データＰＣＴとして記録媒体９０に記録させる。
なおシャッタ操作に応じた記録動作としては、記録媒体９０ではなく、フラッシュＲＯＭ３３において行うようにしてもよい。また、通常は記録媒体９０に記録するが、記録媒体９０が装填されていない場合はフラッシュＲＯＭ３３に記録するような動作方式でも良い。
【００６０】
またこのときＣＰＵ３１は、ステップＦ４で、その時点の環境値を取り込む。例えばセンサ部１２、画像解析部３５、画像信号処理部４１、ネットワークインターフェース２９、時計回路３４から、各種の環境値を取得する。
そしてステップＦ５でＣＰＵ３１は環境情報ＣＩを生成する。図４の例で言えば、例えばＣＰＵ３１はセンサ部１２における温度センサ、光量センサ、紫外線光量センサ、湿度センサ、風量センサから、気温、光量、紫外線光量、湿度、風量の各環境値を取り込んで、図示するような環境情報ＣＩを生成する。
そしてＣＰＵ３１は生成した環境情報ＣＩを、記録媒体９０（又はフラッシュＲＯＭ３３）に、画像データＰＣＴに関連づけした状態で記録させる。
【００６１】
撮像時には、この図５のような処理をＣＰＵ３１が行うことで、記録媒体９０やフラッシュＲＯＭ３３には、撮像された画像データＰＣＴと環境情報ＣＩが対応されて記録されることになる。
記録媒体９０等に記録された画像データＰＣＴについては、そのまま撮像装置１を再生モードの動作により表示パネル６で再生させることができる。その際にＣＰＵ３１は、再生する画像データＰＣＴに対応する環境情報ＣＩを用いて、画像効果を与える制御を行う（図１（ａ）の態様）。
また、画像効果を与えるようにした表示信号を画像出力部１１から外部のモニタ装置１００等に出力し、モニタ装置１００等で同様の表示を行わせることができる（図１（ｂ）の態様）。
さらに、記録媒体９０がメモリーカード等の可搬性記録媒体の場合は、記録媒体９０を画像再生装置１０１やパーソナルコンピュータ１０２等に装填し、記録されている画像データＰＣＴを再生させることができる。この場合に、画像再生装置１０１やパーソナルコンピュータ１０２において図２の制御部２０１，画像処理／表示制御部２０２としての構成を備えていることで、画像再生表示の際に、環境情報ＣＩに応じた画像効果を与えることができる（図１（ｃ）（ｄ）の態様）。
また、撮像装置１は、記録媒体９０やフラッシュＲＯＭ３３に記録された画像データＰＣＴと環境情報ＣＩを、外部インターフェース８によって画像再生装置１０１やパーソナルコンピュータ１０２に転送できる。その場合も画像再生装置１０１やパーソナルコンピュータ１０２での画像再生表示の際に、環境情報ＣＩに応じた画像効果を与えることができる（図１（ｃ）（ｄ）の態様）。
【００６２】
ここで実施の形態で想定される環境情報ＣＩの内容例及び取得経路について例示しておく。環境情報とは、撮像時にユーザ（カメラマン）が実際に感じる現場の状況を示す情報であり、撮像現場の雰囲気を表す各種情報である。以下の例が考えられる。
【００６３】
・光量（撮像時の外光光量値）
撮像時にユーザが明るさや暗さを感じる周囲の光量値である。光量値は、センサ部１２に光量センサを備えることで取得できる。また、撮像時には露光制御を行うために、画像信号処理部４１では撮像画像信号から輝度レベルを算出している。この画像信号の輝度から外光光量を推定算出することも可能である。さらに例えばＥＶ値、ＩＳＯ感度、絞り値、シャッタ速度、レンズ特性から算出することも可能である。また、位置情報（地域、屋外／屋内等）や天候情報（その地域の日照度や天気）を参照して、算出した光量値を補正することも考えられる。
【００６４】
・紫外線光量（撮像時の外光光量値）
撮像時の現場の紫外線光量であり、ユーザの感じるまぶしさに影響を与える。
紫外線光量値は、センサ部１２に波長フィルタを備えた光量センサを設けることで取得できる。また画像信号輝度レベル、位置情報、天候情報等を参照して紫外線光量を算出することも考えられる。
【００６５】
・温度、湿度
撮像時の現場の温度、湿度の情報であり、ユーザの感じる暑さ、寒さ、快適さ、不快さ等を示す指標となる。
温度、湿度の情報はセンサ部１２に温度センサ、湿度センサを設けることで取得できる。またインターネット等を介して、撮像現場の位置／日時に基づいて、撮像時の温度・湿度の情報を取得することも考えられる。
【００６６】
・風量、風速、風向
撮像時の現場の風の状況の情報であり、ユーザの感じる環境の１つの要素となる。
風量、風速、風向の情報はセンサ部１２に風量センサ等を設けることで取得できる。またインターネット等を介して、撮像現場の位置／日時に基づいて、撮像時の現場の風の状況の情報を取得することも考えられる。
【００６７】
・日時（時刻、時間帯、時期等）
撮像時の日時（時間情報）として、朝、昼、晩、夜、夜明け前などの時間帯の情報や、年、月、曜日、季節、祝日、平日などの情報は、ユーザが撮像時に感じる雰囲気を形成する要素となる。
この日時に関する情報は、時計回路３４の日時計数により得られる。撮像場所によって、時差を考慮して時刻を修正することも適切である。
【００６８】
・位置（緯度／経度、屋内／屋外、海中／海上、水中、高度等）
位置の情報として緯度／経度は、地図情報と合わせて具体的な場所、街、施設、地域、国等を把握できることになり、撮像現場の環境情報として有用である。さらに屋内／屋外、海中／海上、水中、高度等は、ユーザが直接的に撮像時に感じる雰囲気を作り出している情報であり、環境情報として有用である。
緯度・経度の情報は、センサ部１２にＧＰＳ受信器を備えることで取得できる。また緯度／経度の精度と地図情報によっては、屋内／屋外の判別や、海上の判別も可能である。ネットワークを介して位置に応じた屋内／屋外の情報を得ることもできる。
高度は、センサ部１２に高度センサを設けたり、或いは航空機等を考慮しないのであれば、緯度／経度の情報と地図情報によって高度を算出できる。
また屋内／屋外、海中／海上、水中などは、画像解析部３５による画像データＰＣＴの画像内容の解析によっても推定可能である。
【００６９】
・音(音量・音声情報等)
撮像現場の周囲の音量、人の音声の音量、自然音の音量などは、騒がしさ、賑やかさ、静かさなどの雰囲気の要素となる。
音量はセンサ部１２として音量センサを設けることで取得できる。また、音声解析部を設けて人の音声、自然音等を判別し、それらの音量測定を行うこともできる。
【００７０】
・速度および加速度（撮像側／被写体側）
撮像装置１やカメラマンの移動速度、被写体の移動速度も撮像時の雰囲気の要素となる。例えば車上で撮像している場合や、動きの速い被写体を撮像している場合などを判別できる。
撮像装置１やカメラマンの移動速度の情報は、センサ部１２に速度センサ、加速度センサ、角速度センサ等を設けることで取得できる。また被写体速度（撮像装置１との相対速度）は、画像解析部３５による解析、例えば前後フレームでの動体画像の位置比較などによって推定算出可能である。
なお、手ぶれ量も、撮像装置１自体の動きの情報となり得る。ブレ検出部１３によって得られる手ブレ量も環境情報ＣＩに加えることも考えられる。
【００７１】
・気圧、水圧
撮像時の気圧、水圧も撮像時の雰囲気の要素となる。
センサ部１２に気圧センサ、水圧センサを設けることで、これらの値を取得できる。また、位置情報と地図情報から、現場の高度を算出し、気圧を推定することも可能である。
【００７２】
・撮像方向
撮像時の被写体の方向（東西南北）も撮像画像についての撮像時の雰囲気の要素となる。
例えばセンサ部１２に方位センサを設けることで、撮像方向の情報を取得することができる。
【００７３】
・天気
晴れ、日照量、曇り、雨、降雨量、雨上がり後経過時間、雪、霧、雷、みぞれ、雹など、竜巻、台風、スモッグ等の天気に関する情報も撮像時の雰囲気の要素となる。
例えばインターネット等を介して、撮像日時と場所の情報から現場の天候情報を取得することができる。また、雨、雪、みぞれ、霞などは、画像解析部３５による解析によって判定可能である。
【００７４】
例えば以上のように多様な環境情報ＣＩの内容が想定される。もちろんこれら以外の内容も考えられる。これらの内容が環境情報ＣＩとして含まれればよい。
そして各情報は、センサ部１２の検出、画像解析部３５による画像内容からの判定、画像信号処理部４１による輝度等の検出、ネットワークインターフェース２９によるネットワークを介した取得、他の情報（位置情報等）を加味した判定などによって取得可能である。
【００７５】
［４．動的画像効果を与えるスライドショウ再生］
次に、環境情報ＣＩが対応付けられた画像データＰＣＴを再生させる際の画像効果を与える具体的な処理例を述べる。例えば撮像装置１が表示パネル６やモニタ装置１００において再生表示を行う場合の例として述べる。
【００７６】
撮像装置１に対してユーザが再生動作を指示する操作を行った場合、ＣＰＵ３１は再生動作モードとしての処理を行う。
この場合、ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録された画像を再生する処理を行う。ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録されている画像を読み出し、表示コントローラ７に指示して、表示パネル６でサムネイル画像や１枚の再生画像を表示させる制御を行う。このとき、単に画像データＰＣＴが再生表示されるだけでなく、環境情報ＣＩに応じた動的効果を与えた表示が行われるようにする。
動的な画像効果とは、再生時に撮像環境を髣髴させるための効果であって、静止画像の表示中に連続的な視覚的変化を生じさせる画像効果である。例えば画像効果の種類、画像効果の強度、画像効果の時系列的表現、及びそれらの組み合わせなどにより撮像時の環境を表現する。
【００７７】
以下、スライドショウ再生を行う場合の例で述べる。スライドショウ再生とは、例えばユーザが指定したフォルダ単位内などの複数の画像データＰＣＴを、順次再生させる動作である。再生対象の画像データＰＣＴは、記録媒体９０に記録されているとする。
また環境情報ＣＩは、上記のように多様な内容が考えられるが、ここでは一例として、温度、湿度、光量、紫外線光量を含むものとして説明する。
【００７８】
まず図６で基準値設定処理を説明する。基準値とは、再生時に与える動的な効果を決定する際に用いる値である。図６（ａ）（ｂ）（ｃ）に基準値設定処理例を示す。
図６（ａ）の例では、ＣＰＵ３１は、ステップＦ１０１で記憶された全画像の環境情報を読み出す。例えばその時点で記録媒体９０に格納されている全ての画像データＰＣＴに対応する全ての環境情報ＣＩを読み出す。
そしてＣＰＵ３１はステップＦ１０２で、各環境情報ＣＩの項目毎に平均値を算出する。温度、湿度、光量、紫外線光量を環境情報ＣＩの内容とする場合、温度、湿度、光量、紫外線光量の各項目について、それぞれ平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を算出する。
ステップＦ１０３でＣＰＵ３１は、算出した各平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を、それぞれの項目についての基準値として設定する。
【００７９】
図６（ｂ）は他の基準値設定処理例であり、この場合ＣＰＵ３１は、ステップＦ１１１で、再生対象とされた全画像の環境情報を読み出す。例えばスライドショウ再生は、ユーザが或るフォルダＦＬＤ１を指定して再生指示した場合、フォルダＦＬＤ１内の全画像データＰＣＴを順次再生させる動作となる。また複数のフォルダＦＬＤ１、ＦＬＤ２を指定して再生指示した場合、フォルダＦＬＤ１、ＦＬＤ２内の全画像データＰＣＴを順次再生させる動作となる。さらに、或るフォルダＦＬＤ１内の一部をユーザが指定した場合は、当該一部に含まれる画像データＰＣＴを順次再生させる。ステップＦ１１１では、ユーザの指定に応じた範囲で、再生対象となる全ての画像データＰＣＴに対応する全ての環境情報ＣＩを読み出す。
ＣＰＵ３１はステップＦ１１２で、読み出した各環境情報ＣＩの項目毎に平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を算出する。そしてステップＦ１０３でＣＰＵ３１は、算出した各平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を、それぞれの項目についての基準値として設定する。
つまり図６（ａ）との違いは、基準値設定のための平均値算出範囲を、今回のスライドショウ再生での再生対象のみに絞ったことである。
【００８０】
図６（ｃ）はさらに他の基準値設定処理例である。この場合ＣＰＵ３１は、ステップＦ１２１で、現在の環境値を検出する。現在とは、スライドショウ再生を実行しようとしている現時点である。例えばセンサ部１２から、各環境情報ＣＩの項目に応じた現在の環境値として、現在の温度、湿度、光量、紫外線光量を検出する。そしてステップＦ１２２でＣＰＵ３１は、検出した各環境値（温度、湿度、光量、紫外線光量）を、それぞれの項目についての基準値として設定する。
【００８１】
例えばこのような基準値設定処理が、スライドショウ再生に先立って行われる。なお、この図６（ａ）の処理を行う場合は、特にスライドショウ再生の際に行わなくとも、記録媒体９０が装填された時点、或いは撮像によって新たに記録媒体９０に画像データＰＣＴ及び環境情報ＣＩが記録された時点などに行っておいてもよい。
【００８２】
ユーザが再生範囲（例えばフォルダ等）を指定してスライドショウ再生を指示する操作を行った場合のＣＰＵ３１の処理を図７に示す。
スライドショウ再生の指示操作に応じて、ＣＰＵ３１は処理をステップＦ２０１からＦ２０２に進める。そしてスライドショウ再生の準備処理を行う。例えばユーザの入力に応じてスライドショウ再生を行う範囲を決定する。また１枚の画像の再生時間や再生順序などを設定する。
また、上記基準値設定処理として図６（ｂ）又は図６（ｃ）の処理を行う場合は、この段階で基準値設定処理を行うことが考えられる。
さらに、最初に表示させる画像データＰＣＴ及び対応する環境情報ＣＩを記録媒体９０から読み出し、ＲＡＭ３２に取り込む。
【００８３】
再生準備を終えたら、ステップＦ２０３に進み、再生対象とされた範囲で最初の画像データＰＣＴからの再生を開始する。即ち記録媒体９０から読み出した最初の画像データＰＣＴを表示コントローラ７に転送し、表示コントローラ７に表示パネル６（又はモニタ装置１００）での表示を実行させる。
なお、この図７の例では、順次再生させる前後の画像の環境情報の差分に応じて動的効果を与えるものとするため、最初の画像については通常に表示（特に画像効果を与えない表示）をさせるものとするが、最初の画像から動的効果を与える例も考えられる。
【００８４】
ステップＦ２０４の再生終了判断は、スライドショウ再生としての一連の画像再生の途中でユーザが表示終了の操作入力を行った場合に再生終了と判断するものである。
再生終了操作が検知されていなければ、ＣＰＵ３１はステップＦ２０５に進み、次の再生対象画像についての準備処理を行う。
ステップＦ２０３でスライドショウ再生が開始され、最初の画像データＰＣＴについての再生表示が行われているときは、ステップＦ２０５で、２番目に再生表示する画像データＰＣＴについての準備処理を行う。この場合、２番目に再生表示する画像データＰＣＴを特定し、その画像データＰＣＴ及び環境情報ＣＩを記録媒体９０から読み出して例えばＲＡＭ３２に取り込む。
【００８５】
続いてステップＦ２０６で、ＲＡＭ３２に取り込んだ再生対象の画像データＰＣＴについての効果算出を行う。つまり当該画像データＰＣＴを表示させる際に、動的画像効果を与えるか否か、また動的画像効果を与える場合は、その画像効果の種類や効果量、画像効果のかけ方を決定する。この決定は、当該画像データＰＣＴの環境情報ＣＩと、前の画像データＰＣＴ（つまり現在静止画表示されている画像データ）の環境情報ＣＩの比較に基づいて決定する。
効果算出処理の例は図８〜図１１で後述する。
【００８６】
その後ＣＰＵ３１はステップＦ２０７でスライドショウの画像切替タイミングを待機する。例えばスライドショウ再生の１枚当たりの表示時間が６秒であれば、現在表示中の画像の表示開始から６秒経過までを待機する。切替タイミングとなったら、ステップＦ２０８に進み、次の再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ２０６で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に動的画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
【００８７】
ステップＦ２０９では、次の再生対象画像の有無を判断する。スライドショウ再生としての一連の画像再生の全てについて再生が完了し、次の再生対象画像がない場合はステップＦ２０９から処理を終える。まだスライドショウ再生が完了しておらず、次の再生対象画像が存在する場合は、ステップＦ２０４に戻り、ステップＦ２０５で次の再生対象画像の準備処理を行う。なお、スライドショウ再生が繰り返しリピートして行われる場合は、全画像を再生完了したら、次に最初の画像データＰＣＴの再生を行うため、最後の画像表示を行っている場合でも、ステップＦ２０９からＦ２０４に戻ることになる。
【００８８】
このようなスライドショウ再生の過程において、ＣＰＵ３１はステップＦ２０６で動的画像効果を決定し、ステップＦ２０８での制御によって表示コントローラ７が動的画像効果を与えた画像表示を実行させる。
以下、ステップＦ２０６の画像効果算出処理の例を詳しく説明する。
【００８９】
図８（ａ）は再生対象画像についての画像効果算出処理例である。図８（ｂ）は図８（ａ）の各ステップで算出する具体的な数値例を示している。
図８の例では、次の再生対象画像の環境情報ＣＩと、前の再生対象画像（表示中の画像：以下「前画像」という）の環境情報ＣＩの各項目の値を体感環境情報値に変換し、その差分に基づいて画像効果を決定するものとしている。
【００９０】
まずステップＦ３０１でＣＰＵ３１は、前画像及び再生対象画像の環境情報ＣＩを取り込む。例えば図７のステップＦ２０５（Ｆ２０２）で記録媒体９０からＲＡＭ３２に取り込んだ前画像及び再生対象画像の環境情報ＣＩを取得する。
例えば図８（ｂ）のように、前画像について温度：２５℃、湿度：１０％、光量１００００ルクス、紫外線光量１００ルクスという各項目の値と、再生対象画像について温度：４０℃、湿度：６０％、光量１０ルクス、紫外線光量０ルクスという各項目の値を取得する。
【００９１】
次にステップＦ３０２でＣＰＵ３１は、取得した環境情報ＣＩの値を体感環境情報に変換する。例えば体感環境情報として、体感温度と体感光量を算出する。図９（ａ）に体感環境情報の算出式を示す。
体感温度Ｍは、温度ｔ、湿度ｈを用いて、
Ｍ＝ｔ−（１／２．３）×（ｔ−１０）×（０．８−（ｈ／１００））
で算出できる。
また体感光量Ｎは、光量α、紫外線光量βを用いて、
Ｎ＝α＋β×１００
で算出できる。
このような算出式により、例えば図８（ｂ）のように、前画像については体感温度：２１℃、体感光量：２００００ルクスと算出される。再生対象画像については体感温度：３７℃、体感光量：１０ルクスと算出される。
【００９２】
ＣＰＵ３１はステップＦ３０３では、各体感環境情報を数値上昇量が体感量に応じるよう、環境変化体感量に変換する。そしてステップＦ３０４で、各環境変化体感量同士を比較可能となるように正規化する。
例えば図９（ｂ）は、体感温度を環境変化体感量に変換し、さらに正規化されたポイント値ｐｔとする関係を示し、図９（ｃ）は、体感光量を環境変化体感量に変換し、さらに正規化されたポイント値ｐｔとする関係を示している。
体感温度を環境変化体感量に変換することとは、人の温度変化に対する感覚を反映させる処理である。例えば２０℃から１０℃に１０℃変化した場合、人は敏感に「寒くなった」という温度変化を感じるが、−１０℃から−２０℃に変化しても、同じ１０℃変化でありながら、どちらも「とても寒い」という感覚であって、その温度変化を敏感に感じるものではない。明暗についても同様の感覚がある。
本実施の形態は、撮像時のユーザの感覚を動的画像効果に反映させることから、このような感じ方の差も反映させることが好適である。
そこで、図９（ｂ）（ｃ）のようなカーブを設定し、人の温度や明暗に対する感覚を環境変化体感量として反映させ、かつポイント値ｐｔとして正規化する。
【００９３】
例えば図８（ｂ）のように、前画像の体感温度：２１℃については、図９（ｂ）の変換により、６７ｐｔとされる。再生対象画像の体感温度：３７℃は、同じく図９（ｂ）の変換により８８ｐｔとされる。
また前画像の体感光量：２００００ルクスについては、図９（ｃ）の変換により、９０ｐｔとされ、再生対象画像の体感光量：１０ルクスは、同じく図９（ｃ）の変換により１０ｐｔとされる。
【００９４】
次にＣＰＵ３１はステップＦ３０５で、正規化後の各環境変化体感量の変化、つまり前画像と再生対象画像での各環境変化体感量の差分として。体感温度差と体感光量差を算出する。
体感温度差は、８８ｐｔ−６７ｐｔ＝＋２１ｐｔとなる。
体感光量差は、１０ｐｔ−９０ｐｔ＝−８０ｐｔとなる。
【００９５】
ステップＦ３０６ではＣＰＵ３１は、基準値を考慮し、各体感環境情報毎に画像効果の種類を決定する。基準値とは先に述べたように図６の処理で設定した値である。
この画像効果の決定には、例えば図１０のような効果テンプレートを用いる。効果テンプレートは、予め設定され、例えばフラッシュＲＯＭ３３等に記憶されていることで、ＣＰＵ３１が逐次利用できるようにされている。
【００９６】
図１０の効果テンプレートは、体感温度と体感光量に関する内容を有する例としており、変化、基準値との関係、実行する最低ポイント、効果種類、効果の詳細を示している。
変化とは、体感温度や体感光量の変化が上昇であるか下落であるかで場合分けを行う条件設定となる。
基準値との関係は、体感温度や体感光量が変化した後に、基準値以上となっているか基準値未満であるかで場合分けを行う条件設定である。
実行する最低ポイントとは、変化の絶対値により、変化量が最低ポイント未満であれば画像効果を与えないとする条件設定である。この例では、体感温度について２０ｐｔ、体感光量について３０ｐｔとしている。
【００９７】
効果種類は、動的効果として表現したい雰囲気を規定する。
効果の詳細は、効果種類で示される雰囲気を表現するための動的効果の内容（効果の種類や効果量、時系列的表現等）を示すものである。
効果の詳細として、序盤、中盤、終盤とは、スライドショウ再生での静止画表示時間を３つの期間に分けた例である。例えば上記のように１枚の再生表示時間が６秒であれば、２秒ごとの期間を序盤、中盤、終盤とする。
例えば「暑くなった」の効果の詳細は、序盤は効果なし、中盤で色温度を徐々に低下させるとともに明るさ（画像輝度）を徐々に増加させ、終盤は効果なしとする設定としている。
【００９８】
体感温度については、「変化」の条件で、前画像と再生対象画像についての変化で上昇であるか下落であるかが分けられる。つまりステップＦ３０５で算出した体感温度差が正値であるか負値であるかである。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感温度差が絶対値で例えば２０ｐｔ以上であるときに画像効果を与えること等が決められる。
【００９９】
例えば図８（ｂ）の例のように体感温度差が＋２１ｐｔとなっている場合、体感温度は「上昇」であり、また実行する最低ポイント（２０ｐｔ）以上であるため、動的効果実行とされる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報ＣＩの内容である温度（４０℃）、もしくはステップＦ３０２で算出した体感温度（３７℃）を比較する。
例えば基準値としての温度が２３℃に設定されていたとすると、再生対象画像についての温度又は体感温度は、この場合、上昇後に基準値以上になったことになり、効果種類は「暑くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
【０１００】
また体感光量については、「変化」の条件で、前画像と再生対象画像についての変化で上昇であるか下落であるかが分けられる。つまりステップＦ３０５で算出した体感光量差が正値であるか負値であるかである。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感光量差が絶対値で例えば２０ｐｔ以上であるときに画像効果を与えること等が決められる。
【０１０１】
例えば図８（ｂ）の例のように体感光量差が−８０ｐｔとなっている場合、体感光量は「下落」であり、また実行する最低ポイント（３０ｐｔ）以上であるため、動的効果実行とされる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報ＣＩの内容である光量（１０ルクス）、もしくはステップＦ３０２で算出した体感光量（１０ルクス）を比較する。
例えば基準値としての温度が１０００ルクスに設定されていたとすると、再生対象画像についての光量又は体感光量は、この場合、下落後基準値未満となったことになり、効果種類は「暗くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
【０１０２】
ＣＰＵ３１は例えば以上のように効果テンプレートを用いて体感温度、体感光量に関する効果の内容を決定する。
次にステップＦ３０７でＣＰＵ３１は、体感変化の大きい順に環境情報の優先順位付けを行う。この場合、体感温度と体感光量の優先順位を決めることになる。
図８（ｂ）の例では、変化量としては体感温度は２１ｐｔ、体感光量は８０ｐｔであるため、体感光量が第１優先、体感温度が第２優先と決定する。つまり「暗くなった」という効果を最優先とし、「暑くなった」という効果を２番目とする。
【０１０３】
ステップＦ３０８では、優先順位順に、環境情報変化の効果の親和性を確認する。これは親和性に応じて、効果をどのよう重複してかけるか、或いは優先順位の低い方の効果を反映しないかという、複数の効果種類についての実行する画像効果への反映のさせ方を決める処理である。
【０１０４】
図１１に親和性と優先度の低い画像効果の強度の設定内容例を示す。
図１１では、縦方向と横方向の各効果「暑くなった」「寒さが緩和された」「暑さが緩和された」「寒くなった」・・・「暗くなくなった」の関係を示している。
「×」は、例えば「暑くなった」と「寒くなった」など、第１優先、第２優先の各効果として起こりえないケースである。
「なし」は第１優先、第２優先の各効果が親和性がないケースである。親和性がないとは、具体的な画像効果として重複して反映させる必要がないケースといえる。例えば第１優先、第２優先の各効果が「寒さが緩和された」と「暗くなくなった」であるときは、第２優先の効果は考慮しないという場合である。
「１％」〜「９９％」の数値は、親和性があり、その場合に優先度の低い効果の強度（効果量の低減量）を示している。例えば第１優先、第２優先の各効果が「寒くなった」と「暗くなった」であるときは、第２優先の効果「暗くなった」については、その効果量を図１０の効果テンプレートの効果の詳細で規定される効果量の５０％とするという意味である。
【０１０５】
図８（ｂ）の例でいえば、第１優先は「暗くなった」であり、第２優先は「暑くなった」である。この場合、図１１の関係でいえば、第２優先について「１０％」とされることになる。つまり「暑くなった」という効果に関しては、効果テンプレートの効果の詳細で規定される効果量の１０％とすることになる。
【０１０６】
最後にＣＰＵ３１はステップＦ３０９で、変化量と優先順位の効果同士の相性から、実行する画像効果の種別と、各効果の強度を決定する。
図８（ｂ）の例でいえば、第１優先は「暗くなった」と、１０％効果量とされた第２優先は「暑くなった」により、具体的な画像効果の種類や効果量を決定する。
例えば序盤は明るさを８０ｐｔ×１％に減少させ、シャープネスを８０ｐｔ×０．５％に減少させる。図１０の効果テンプレートでは、序盤については「暑くなった」は効果無しであるため、「暗くなった」の序盤の効果のみが実行されるようにすることとなる。
中盤は、「暗くなった」は徐々に戻していくという効果が設定されているため、これをそのまま反映される。一方「暑くなった」については色温度を徐々に減少、明るさを徐々に増加という内容であるが、第２優先であるため効果量に「１０％」を乗ずる。従って、。色温度は２１ｐｔ×０．１％づつ徐々に減少させていく。明るさについては２１ｐｔ×０．０２％増加となる。但しこの０．０２％の増加は、あまりに小さい効果量であるため、実行しないとする。
終盤は、「暗くなった」「暑くなった」のいづれも効果なしとされているため、効果無しとする。
【０１０７】
図７のステップＦ２０６では、以上の図８（ａ）のように再生対象画像についての具体的な画像交換種類や効果量、時系列表現を決定する。
ＣＰＵ３１は、この決定した画像効果をステップＦ２０８で表示コントローラ７に指示することになる。表示コントローラ７は、当該再生対象画像を表示パネル６に表示させる際に、表示パラメータ（明るさ、色温度、シャープネス、コントラスト等）を変化させることや画像合成処理を行うなどで、指示された画像効果を与えた表示制御を行うことになる。
【０１０８】
このような処理により、撮像された画像データのスライドショウを見ている人が、撮像時の雰囲気の変化を感じることができるようになる。特に画像効果の決定を、再生対象画像と前画像の環境情報ＣＩの比較に基づいて決定することで、スライドショウで順次再生される画像において、各画像の撮像時の雰囲気の変化、撮像者が体感した変化を適切に表現できる。このことで「思い出を思い出させる」、「感動を伝える」などの写真やビデオが本来持つ効果をより有効化でき、写真等の画像再生における新たな楽しみを創出できる。
【０１０９】
なお、以上はスライドショウ再生における処理として示したが、スライドショウ再生ではなく、通常のユーザの画面送り操作に応じてフォルダ内の各画像データを順次再生するような場合も、上記処理は同様に適用できる。
また効果決定の処理では、環境情報ＣＩの内容から体感環境情報を求め、体感環境情報に応じて効果の種類や効果量等を決めることとしたが、体感環境情報ではなく、環境情報ＣＩの各項目の値（温度、光量等）をそのまま用いて効果決定を行ってもよい。
【０１１０】
［５．画像効果例］
実際の画像効果の例を説明していく。
図１２〜図１５は、上記図８〜図１１で画像効果が決定された場合の例である。
例えば図１２は、スライドショウ再生の過程で、現在、画像データＰＣＴ１が表示されており、次の再生対象画像として画像データＰＣＴ２を表示する場合である。画像データＰＣＴ１、ＰＣＴ２について、それぞれの環境情報を例示している。光量については、画像データＰＣＴ１が１００００ルクス、画像データＰＣＴ２が１０ルクスであったとする。
撮像時のユーザの状況としては、画像データＰＣＴ１は屋外の或る場所で撮像し、その後、洞窟などの暗いところに入ったときに画像データＰＣＴ２となる次の撮像を行ったような場合である。
【０１１１】
図面下部の破線内が、動的画像効果を与えた表示画面の移り変わりの様子を示している。これは、画像データＰＣＴ１から画像データＰＣＴ２の環境情報に基づいた図８の効果算出処理で、「暗くなった」という画像効果が与えられることとなった場合の例である。
この画像効果は、ユーザが撮像時に体感した雰囲気を再現するものである。即ちユーザは、それまで明るい屋外にいた後に洞窟に入ることで、非常に暗く感じる。このときにユーザが感じる暗さの感覚、即ち暗い所に移動した際、入る前は景色が見えていたが、入ると暗くて見えず、しばらくして徐々に瞳孔が慣れ、見えるようになる状況を、動的画像効果により表現する。
破線内に示すように、スライドショウ再生の切替タイミングで、画像データＰＣＴ１の表示から画像データＰＣＴ２（＃１）の表示に切り替わる。その直後、画像データＰＣＴ２の表示は、輝度及びシャープネスが下げられ画面が暗くなる（＃２）。これは人が暗所に入った際、はじめは暗くて周りが見えなくなる現象を、輝度を下げるという動的な効果で表すものである。また暗所ではものがはっきり見えないので、シャープネスも減少させる。
その後、明るさ及びシャープネスが徐々に戻されていく（＃３）。少しづつ目がなじみ、徐々に周りが見えるようになってくる現象を動的な効果で表現している。最後に通常の表示に戻る（＃４）。これは目がなじみ、周りが観察できるようになる現象を表現している。
【０１１２】
図１３は、次に画像データＰＣＴ２から画像データＰＣＴ３に変わったときの様子を示している。前画像である画像データＰＣＴ２の光量は１０ルクス、再生対象画像である画像データＰＣＴ３の光量は８００００ルクスであり、「眩しくなった」という動的効果をかける場合となる。ユーザの撮像時の状況は、洞窟から明るい場所に出た場合となる。
破線部内の表示画像の変化は、まぶしい所に出た際、一瞬景色が見えた気がした後、まぶしさで見えなくなるが、徐々に瞳孔が慣れて見えるようになる状況と、明るいところでは輪郭がハッキリし、明るく鮮やかに見える状況の再現のための動的画像効果をかけた例である。
【０１１３】
破線内に示すように、スライドショウ再生の切替タイミングで、画像データＰＣＴ２の表示から画像データＰＣＴ３（＃１）の表示に切り替わる。
直後、全体輝度が非常に高くされる効果がかけられる（＃２）。これは人が明るい所に出た際に、目が眩み、モノが見難くなる現象を、動的な効果で表している。
その後、目がなじみ、徐々に周りが見えるようになってくる現象を、輝度を徐々に戻すという動的な効果で表現する（＃３）。そして最後にシャープネス、明るさ、彩度を適切な値とし、明るいところでは、ものがハッキリ、明るく、鮮やかに見える現象を表現する（＃４）。
【０１１４】
次に図１４は、暑い所に移動した時の写真を表示する際の処理例である。
前画像となる画像データＰＣＴ１０は、環境情報の「気温」が２５℃で、この写真は２５℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データＰＣＴ１１は、環境情報の「気温」が４５℃で、この写真は４５℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、暑いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データＰＣＴ１０から画像データＰＣＴ１１の表示に切り替わる（＃１）。
暑さを表現するためには例えば、色温度を低く、明るさを増加させ、シャープネスを減少させる。
暑い所に移動した際、温度によってはすぐ「暑い」と思う場合より、しばらくしてジワジワ暑く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする（＃２）。その後、少しづつ感覚の認識が進み暑くなってくる現象の表現として、徐々に色温度を下げ、明るさを上げ、シャープネスを下げていく（＃３）。そして最後に暑いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる（＃４）。
【０１１５】
図１５は、寒い所に移動した時の写真を表示する際の処理例である。
前画像となる画像データＰＣＴ２０は、環境情報の「気温」が２５℃で、この写真は２５℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データＰＣＴ２１は、環境情報の「気温」が３℃で、この写真は３℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、寒いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データＰＣＴ２０から画像データＰＣＴ２１の表示に切り替わる（＃１）。
寒さを表現するためには例えば、色温度を高く、明るさを減少させ、シャープネスを増加させる。
寒い所に移動した際、温度によってはすぐ「寒い」と思う場合より、しばらくしてジワジワ寒く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする（＃２）。その後、少しづつ感覚の認識が進み寒くなってくる現象の表現として、徐々に色温度を上げ、明るさを下げ、シャープネスを上げていく（＃３）。そして最後に寒いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる（＃４）。
【０１１６】
以上の図１２〜図１５は、例えば図１０の効果テンプレートで決定された画像効果に応じて、表示コントローラ７が明るさ（輝度変化（明暗））、色温度、シャープネス(輪郭強調、ぼかし）等の表示パラメータを時間軸方向に動的に変更することで実現する。
画像データＰＣＴについて、表示パラメータによる画像効果としては、さらに、カラーバランス変化、画像特殊効果（ゆらぎ、うごき、変形等）、コントラスト変化、彩度変化、などを行うことが考えられる。またガンマ値変化、解像度変化、画像重複（透明の同じ画像をずらして重ねる）、ノイズ追加、色階調変化、光源強化（白い部分が広がっていく等）などを行うことも考えられる。
なお、これらの動的画像効果は、画像データ自体には変更を与えずに、表示画面上で視覚的な動的変化を与えるものである。
画像データ自体を変更せずに表示画像を変化させるという意味で、輝度、色温度、シャープネス等の表示パラメータを動的に変化させる例を述べたが、表示パラメータ変化以外に画像データ自体を変更しないで表示画像を変化させる手法も考えられる。例えば表示パネルのバックライトの輝度を動的に変更する場合もこれに相当する。
【０１１７】
また撮像時の雰囲気を再現する画像効果の例としてはさらに多様な例がある。例えば表示する画像データ自体に変更を加えたり、表示画像を追加するといった手法も考えられる。図１６〜図２０で他の画像効果例を例示する。
【０１１８】
図１６は画像合成により動的画像効果を与える例である。即ち画像合成処理によって表示対象の画像データ自体を変化させていく例である。
例えば前画像となる画像データＰＣＴ３０は、環境情報の「天気」が曇りであり、次の再生対象画像として準備される画像データＰＣＴ３１は、環境情報の「天気」が雨であったとする。
この場合の図中破線部内の表示画像の変化は、画像データＰＣＴ３１の撮像時に雨が降ってきた状況を画像合成により再現する例である。
まず画像データＰＣＴ３０から画像データＰＣＴ３１の表示に切り替わる（＃１）。
雨が降り始めたことを表現するために、画像データＰＣＴ３１に雨滴の画像を合成するという手法を採る。即ち画像データＰＣＴ３１の表示に切り替わった後、徐々に雨滴画像の合成量を増やしていくことで、表示上で徐々に雨滴が多くなるようにする（＃１→＃２→＃３→＃４）。
このような動的画像効果により、撮像時の状況を表現できる。
【０１１９】
雨滴以外にも、天候に応じて各種の画像合成例が考えられる。例えば環境情報が曇りから晴れに変化する際に、日が射す画像（日光の光線の画像）を合成したり、雨があがった時の画像に、虹の画像を合成することなどである。
【０１２０】
図１７は、画像合成による静的な画像効果として日付表示を加える例である。
前画像となる画像データＰＣＴ４０は、環境情報の「日付」が２００８年５月２日であり、次の再生対象画像として準備される画像データＰＣＴ４１は、環境情報の「日付」が２００８年５月３日であったとする。
この場合の図中破線部内には、スライドショウ再生で画像データＰＣＴ４０→ＰＣＴ４１→ＰＣＴ４２→ＰＣＴ４３が順次再生されていく場合を示しているが、日付が変わるタイミング、即ち画像データＰＣＴ４１の表示のタイミングで、日付を合成する。
このような画像効果により、スライドショウ再生中に一連の再生画像の途中で日付が変わったこと、つまりユーザにとっては、画像データＰＣＴ３１からが次の日の撮像によるものであることを提示し、撮像時の感覚を思い起こさせるものとなる。
【０１２１】
環境情報としての日付を用いる例として図１８の画像効果も考えられる。
この図１８は、撮像した画像データ自体に画像効果をかけるのではなく、スライドショウ再生の過程において挿入画像を表示させる例である。
例えば例１としての破線部内に示すように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、挿入画像として、画像データＰＣＴ４１の日付「２００８年５月３日」を示した画像を挿入する。
また例２のように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、画像データＰＣＴ４０の日付を示した挿入画像＃１と、画像データＰＣＴ４１の日付を示した挿入画像＃２が順次切り替えて表示され、その後画像データＰＣＴ４１を表示する。
このような画像効果によっても、スライドショウ再生中に一連の再生画像の途中で日付が変わったことをユーザに提示でき、撮像時の感覚を思い起こさせる。
【０１２２】
図１９は動的画像効果と静的画像効果を組み合わせた例である。
画像データＰＣＴ４０，ＰＣＴ４１の環境情報としては上記図１７，図１８と同様に日付を用いる。
図中破線部内に示すように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、画像データＰＣＴ４０をフェードアウトさせる（＃１→＃２→＃３）。
またフェードアウト後、画像データＰＣＴ４１に切り替えるが、このとき、日付表示を合成する。
このようなフェードアウトとしての動的画像効果により、この写真（ＰＣＴ４０）で一日が終わり、次の写真（ＰＣＴ４１）から次の日の撮像による写真であることをユーザに認識させ、撮像当時の雰囲気を思い起こさせることができる。
【０１２３】
図２０（ａ）は、環境情報としての「位置」に応じた静的画像効果を付加する例である。画像データＰＣＴ５１は、成田空港で撮像した画像とする。画像データＰＣＴ５２はハワイ到着後に撮像した画像とする。
この前後の画像の位置情報が「成田空港」「ハワイ」で異なる場合に、画像データＰＣＴ５１の再生時には「成田空港」という文字画像を合成する。そして画像データＰＣＴ５２に切り替えた後は、画像データＰＣＴ５２に「ハワイ到着」という文字画像を合成する。これによってユーザに撮像場所の変化を提示でき、旅行時の感覚を思い起こさせる。
図２０（ｂ）は、画像データＰＣＴ５１、ＰＣＴ５２の表示の際に、位置情報が異なることに応じて挿入画像を表示させる例である。
この場合、挿入画像として地球の画像を表示し、当該地球画像上で赤丸Ｒなどのポインタを成田からハワイへ移動させるようにする。このような表示によって、ハワイへの移動を実感させることができる。
【０１２４】
ここまで各種の画像効果例を示したが、もちろん画像効果（動的画像効果、静的画像効果、及びこれらの組合せ）については各種考えられ、環境情報の種別によっても画像効果は多様となる。
例えば風量、風速などの環境条件に応じて、画面を揺らす、木の葉が飛んでいる画像を加えるなどが考えられる。
また位置が「水上」であるときは、水しぶきの画像がランダムに加わるといった効果が考えられる。
また未明、朝、昼、夕方、夜などの時間帯の進行に伴って、基本的な表示画像のトーン（輝度や色温度など）を変化させるといった効果も考えられる。
また歓声やざわめきなどの音量によって、擬音文字の画像を加えるといった画像効果も考えられる。
【０１２５】
［６．スライドショウ選択再生］
続いてスライドショウ選択再生の動作について説明する。
上述したスライドショウ再生では、ユーザのフォルダ指定などに応じて、再生対象の画像データが順次再生されるものとしたが、スライドショウ選択再生とは、再生対象とする画像データＰＣＴの選択に条件設定を行うものである。そしてそのようなスライドショウ選択再生の過程で撮像時の雰囲気を彷彿させる画像効果を与える。
また画像効果の決定には上述した例と同様に効果テンプレートを用いることとするが、ここでは前後の画像データの環境情報を考慮して効果テンプレートの内容の設定変更を行う処理も加える例とする。
【０１２６】
スライドショウ選択再生の際のＣＰＵ３１の処理を図２１に示す。
まずステップＦ４０１としてスライドショウ実行設定処理を行う。このスライドショウ実行設定処理を図２２（ａ）に示す。
ＣＰＵ３１は図２２（ａ）のステップＦ４５１として、表示コントローラ７に指示し、表示パネル６（又はモニタ装置１００）にスライドショウ実行設定画面を表示させる。
スライドショウ実行設定画面とは、ユーザがスライドショウ再生の対象とする画像の選択条件を設定する画面であり、例えば図２５（ａ）のような画面とする。ここでは「再生対象」「再生画像の特徴」「再生する画像の品質基準」としての各項目の内容をプルダウンメニューで選択できるものとしている。またスライドショウ開始ボタン、キャンセルボタン等が表示される。
【０１２７】
ＣＰＵ３１はステップＦ４５２で、このスライドショウ実行設定画面に対するユーザ入力の受付処理を行う。
スライドショウ実行設定画面に対する内容の例を図２５（ｂ）に示す。
例えば「再生対象」の項目に関しては、オプションとして「すべて」「同じフォルダ」「同じ日付」をユーザが選択できるようにする。
「すべて」は、全ての画像データＰＣＴを再生対象とする設定である。
「同じフォルダ」は、現在の表示写真と同じフォルダ内の写真（画像データＰＣＴ）を再生グループとする設定である。
「同じ日付」は、現在の表示写真と同じ日付の写真（画像データＰＣＴ）を再生グループとする設定である。
【０１２８】
「再生画像の特徴」の項目に関しては、オプションとして「すべて」「赤ちゃん」「人物」をユーザが選択できるようにする。
「すべて」は画像内容の特徴では制限しない設定である。
「赤ちゃん」は赤ちゃんが写っている写真のみを再生する設定である。
「人物」は人物が写っている写真のみを再生する設定である。
もちろんこれ以外にも、「風景のみ」「風景を主とする写真」「自然物を主とする写真」「人工物を主とする写真」などの設定例も考えられる。
【０１２９】
「再生する画像の品質基準」の項目に関しては、オプションとして「手ブレしていない」「すべて」「構図が適切」「おまかせ」をユーザが選択できるようにする。
「手ブレしていない」は、手ブレ量が一定以上の写真は再生しない設定である。
「すべて」は画像の品質では制限しない設定である。
「構図が適切」は構図が悪いもの、例えば顔の一部がフレームの隅で切れているものなどを再生しない設定である。
「おまかせ」は所定の条件で自動判定を行う設定である。
これら以外にも「ピンぼけしていない」「逆光でない」などの設定例も考えられる。
【０１３０】
ユーザは、スライドショウ実行設定画面に対してプルダウン操作入力等を行い、任意に設定を選択する。そして設定条件を入力したら、スライドショウ開始の操作入力を行う。
ＣＰＵ３１は、ステップＦ４５２で入力を受け付け、ユーザがスライドショウ開始の入力を行ったら、設定入力が決定されたとしてステップＦ４５３からＦ４５４に進み、ＣＰＵ３１は、再生画像選択パラメータを決定する。即ち「再生対象」「再生画像の特徴」「再生する画像の品質基準」の各項目についてユーザ入力の設定条件を確定させる。
そしてステップＦ４５５で「再生対象」の項目の設定条件から、再生対象画像群を決定する。例えば「同じフォルダ」が選ばれた場合は、現在の表示画像と同じフォルダに含まれる全画像データＰＣＴを再生対象画像群とする。
【０１３１】
なお、図２１、図２２では図６で述べた基準値設定処理については述べていないが、図６（ａ）の処理を採用する場合は、予め基準値設定処理を行っておけばよい。また図６（ｂ）の処理を採用する場合は、ステップＦ４５５で再生対象画像群が決定した時点で、その再生対象画像群の全画像データを対象として基準値設定処理を行えばよい。
また図６（ｃ）の処理を行う場合も、このスライドショウ実行設定のタイミングで基準値設定処理を行うことが考えられる。
【０１３２】
このようにスライドショウ実行設定を終えたら、ＣＰＵ３１は図２１のステップＦ４０２で最初の再生対象画像データの準備を行う。
この再生対象画像準備処理を図２２に（ｂ）に示す。
ＣＰＵ３１はステップＦ４６１で、先にスライドショウ実行設定（図２２（ａ）のステップＦ４５５）で決定した再生対象画像群の中から、最初の画像データを取得する。即ち最初に表示させる画像データＰＣＴ及び対応する環境情報ＣＩを記録媒体９０から読み出し、ＲＡＭ３２に取り込む。
そして取得した画像データＰＣＴについて、「再生画像の特徴」及び「再生する画像の品質基準」の各項目について、条件を満たしているか否かを判断する。
この場合、各項目の設定が「すべて」でなければ、当該画像データＰＣＴを画像解析部３５に転送し、画像解析処理結果により条件を満たしているか否かを判断することになる。
「再生画像の特徴」が「赤ちゃん」又は「人物」であれば、画像に赤ちゃん又は人物が含まれているかを画像解析により判定する。
「再生する画像の品質基準」については「手ブレ」「構図」等を画像解析で判定することになる。なお「手ブレ」については、ブレ検出部１３で得られた撮像時の手ブレ量が環境情報ＣＩ、或いは画像に加えられていれば、その値を参照すればよい。
【０１３３】
ＣＰＵ３１は、画像解析の結果を確認し、取得した画像データＰＣＴが、「再生画像の特徴」及び「再生する画像の品質基準」が共に設定条件を満たしていると判断した場合、ステップＦ４６２→Ｆ４６３→Ｆ４６４と進む。そして当該画像データＰＣＴを対象画像として決定する。次にステップＦ４６５で当該画像データＰＣＴをスライドショウ用に準備する。
一方、「再生画像の特徴」又は「再生する画像の品質基準」のいづれか一方の設定条件を満たしていなければ、ステップＦ４６１に戻り、再生対象画像群の中から次の画像データＰＣＴを選択し、記録媒体９０から取り込むことになる。そしてその画像データＰＣＴについて同様の判断を行う。
【０１３４】
このような再生対象画像の準備処理を終えたら、ＣＰＵ３１は図２１のステップＦ４０３→Ｆ４０４に進んで、スライドショウとしての画像表示を開始する。
即ち図２２（ｂ）のステップＦ４６５で最初に再生する「対象画像」とされた画像データＰＣＴを表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。
なお、ステップＦ４０３で再生終了となる場合とは、ステップＦ４０２（図２２（ｂ））で再生対象画像群に含まれる全ての画像データＰＣＴが「再生画像の特徴」又は「再生する画像の品質基準」の設定条件を満たさなかった場合である。つまりユーザの望む条件の画像データが存在しないとしてスライドショウ選択再生を終了する。
【０１３５】
ステップＦ４０４でスライドショウ再生が開始され、最初の画像データＰＣＴについての再生表示が行われているときは、ステップＦ４０５で、次に再生表示する画像データＰＣＴについての準備処理を行う。
このステップＦ４０４の処理も、ステップＦ４０２と同様、図２２（ｂ）の処理として行われる。これにより、ユーザの望む条件を満たした次の再生画像が決定される。
【０１３６】
ステップＦ４０６では再生終了判断が行われる。これは、スライドショウ再生としての一連の画像再生の途中でユーザが表示終了の操作入力を行った場合に再生終了と判断するものである。
再生終了操作が検知されていなければ、ＣＰＵ３１はステップＦ４０７に進み、次の再生対象画像についての画像効果の算出処理を行う。
【０１３７】
ステップＦ４０７の効果算出では、次の再生対象となる画像データＰＣＴについて、表示の際に、動的画像効果を与えるか否か、また動的画像効果を与える場合は、その画像効果の種類や効果量、画像効果のかけ方を決定する。この決定は、当該画像データＰＣＴの環境情報ＣＩと、前画像（現在静止画表示されている画像データ）の環境情報ＣＩの比較に基づいて決定する。さらに、前画像の環境情報との比較結果によって効果テンプレートの設定変更も行う。
【０１３８】
ステップＦ４０７の効果算出処理を図２３に示す。
まずステップＦ４７１でＣＰＵ３１は、前画像及び再生対象画像の環境情報ＣＩを取得する。例えば図２１のステップＦ４０５（又はＦ４０２）で記録媒体９０からＲＡＭ３２に取り込んだ前画像及び再生対象画像の環境情報ＣＩを取得する。
【０１３９】
次にＣＰＵ３１はステップＦ４７２で効果テンプレート（図１０参照）の設定変更を行う。効果テンプレートの設定変更については後述する。
その後、ステップＦ４７４〜Ｆ４８１で画像効果の種類、効果量、時系列表現を決定するが、この処理は先に述べた図８（ａ）のステップＦ３０２〜Ｆ３０９と同様としており、重複説明を避ける。
このステップＦ４７４〜Ｆ４８１では、体感光量と体感温度に応じて画像効果を決定する例としているが、本例の場合、明るさ変化と温度変化を考慮した画像効果決定であることにより、後述する効果テンプレートの設定変更によっては画像効果をかけないとする場合も生ずる。そのため、画像効果オフとされた場合はステップＦ４７３から図２３の処理（図２１のステップＦ４０７）を終える。
【０１４０】
その後ＣＰＵ３１は図２１のステップＦ４０８でスライドショウの画像切替タイミングを待機する。例えばスライドショウ再生の１枚当たりの表示時間が６秒であれば、現在表示中の画像の表示開始から６秒経過までを待機する。
切替タイミングとなったら、ステップＦ４０９に進み、次の再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ４０７で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に動的画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
【０１４１】
ステップＦ４１０では、次の再生対象画像の有無を判断する。スライドショウ再生としての一連の画像再生の全てについて再生が完了し、次の再生対象画像がない場合はステップＦ４１０から処理を終える。まだスライドショウ再生が完了しておらず、次の再生対象画像が存在する場合は、ステップＦ４０５に戻り、再生終了操作がされていなければステップＦ４０７で次の再生対象画像の準備処理を行う。
なお、スライドショウ再生がリピートして行われる場合は、全画像を再生完了したら、次に最初の画像データＰＣＴの再生を行うため、最後の画像表示を行っている場合でも、ステップＦ４１０からＦ４０５に戻ることになる。
【０１４２】
このようなスライドショウ選択再生の過程において、ＣＰＵ３１がステップＦ２０７で動的画像効果を決定する。そしてステップＦ４０９での制御によって表示コントローラ７が動的画像効果を与えた画像表示を実行させる。
【０１４３】
図２１のステップＦ４０７において、図２３のステップＦ４７２で行われる効果テンプレートの設定変更について図２４、図２６、図２７で説明する。
図２６は設定変更の条件として、前画像と再生対象画像の環境情報ＣＩの内容に鑑みて、雰囲気再現として適切な画像効果をかけるために考慮すべきケースを示している。
一例として、「フォルダをまたぐ場合」「１２時間以上撮像間隔が開いた場合」「７日以上撮像間隔が開いた場合」「室内／屋外の変化があった場合」「水中／水上の変化があった場合」を示している。
また、環境情報ＣＩの項目については説明の簡単のため明るさと温度のみを例示している。
【０１４４】
「フォルダをまたぐ場合」とは、現在表示中の前画像の画像データＰＣＴと、現在効果算出対象となっている再生対象画像の画像データＰＣＴが、異なるフォルダＦＬＤである場合である。
通常、ユーザは撮像画像をフォルダに分けて整理する。例えば旅行や運動会などのイベント毎などに分ける場合が多い。すると、スライドショウで続けて再生される前後の画像であってもフォルダを跨いでいる場合、あまり関連性の無い画像であることが多い。そのため、フォルダをまたぐ場合は、画像効果をかけないほうが良い場合が考えられる。そこで、このような場合、前後の環境情報ＣＩにおいて明るさ変化、温度変化等を反映しないとする。
【０１４５】
「１２時間以上撮像間隔が開いた場合」は、ユーザの感じた撮像当時の雰囲気の変化としての前後の写真の関係性は比較的薄いと考えられる。そこで、このケースの場合は、図１０の効果テンプレートの「実行する最低ｐｔ」の値を１０ポイント増加させる。先に述べたように、「実行する最低ｐｔ」は、画像効果を与えるか否かの閾値となるため、この値が増加するということは、画像効果を与えることになる可能性を低くするものとなる。
「７日以上撮像間隔が開いた場合」は、前後の写真の関係性はさらに薄く、ユーザの感じる雰囲気の変化としては殆ど関連がないと考えられる。そこでこのケースでは前後画像の環境情報ＣＩの内容において明るさ変化、温度変化を反映しないこととする。
【０１４６】
前後の画像で「室内／屋外の変化があった場合」は、光量や温度は比較的大きく変化することが多い。またユーザは、自分が屋内から屋外に出る（或いはその逆）の行動をとっていることから、室内と屋外の環境変化は或る程度感覚的に当然と捉えて、光量や温度が著しく変化しない限りは、あまり敏感には感じない。そこで、効果テンプレートの「実行する最低ｐｔ」の値を１０ポイント増加させ、温度や光量が大きく変化した場合のみ画像効果を与えるようにする。
前後の画像で「水中／水上の変化があった場合」は、明るさ変化、温度変化は著しく、また水中の画像と水上の画像は画像自体が全く異なるため、雰囲気再現の画像効果をあえてかけないとする場合も考えられる。そこで、このケースでは前後画像の明るさ変化、温度変化を反映しないこととしてもよい。
【０１４７】
例えばこのようなケースが、効果テンプレートの設定変更を行うべき場合と想定される。もちろんあくまで例示であり、これ以外のケースも考えられる。
ＣＰＵ３１は図２３のステップＦ４７２で、これらのようなケースに応じて効果テンプレートの設定変更を行う。例えば図２４の処理を行う。
図２４の例は、図２６の「フォルダをまたぐ場合」「１２時間以上撮像間隔が開いた場合」「７日以上撮像間隔が開いた場合」の３つのケースを考慮する例である。
【０１４８】
ＣＰＵ３１は、図２４のステップＦ４９１で、前画像と再生対象画像の各画像データＰＣＴが、異なるフォルダＦＬＤに含まれるの画像データであるか否かを判断する。異なるフォルダＦＬＤであれば、ステップＦ４９４で効果オフ設定を行う。
【０１４９】
なお本例では上記のように図２３のステップＦ４７４〜Ｆ４８１では、明るさ変化と温度変化を考慮した画像効果決定を行うものである。この場合に、図２６のようにフォルダをまたぐ場合は明るさ変化と温度変化を反映しないとすることは、画像効果をかけないことを意味する。そのため、ステップＦ４９４で画像効果を実行しないという意味で効果オフの設定をする。
ステップＦ４９４で効果オフとされた場合、図２３の処理は画像効果決定を行わずにステップＦ４７３から処理を終えることになる。
但し、画像効果決定に温度や明るさ以外の他の要素、例えば場所、日時、風量、天気などを反映させる場合は、ステップＦ４９４では、画像効果オフの設定ではなく、温度と明るさに関してのみ反映しないとする設定とすればよい。つまり温度や明るさ以外の環境情報に応じた画像効果が行われるようにもできる。
【０１５０】
ＣＰＵ３１は図２４のステップＦ４９１で前後画像が同じフォルダと判別した場合は、ステップＦ４９２で、前後画像の環境情報ＣＩの日時の情報を確認し、撮像間隔を判別する。そして撮像間隔が７日以上であれば、ステップＦ４９４で効果オフ設定を行う。
一方、撮像間隔が７日未満であれば、ステップＦ４９３で撮像間隔が１２時間以上であるか否かで処理を分岐する。
１２時間未満であれば、特に効果テンプレートの設定変更を行わずに図２４の処理を終える。
一方、撮像間隔が１２時間以上であれば、ステップＦ４９５に進み、明るさ変化、温度変化のそれぞれについて、効果テンプレートの「実行する最低ｐｔ」を１０ポイント増加するように設定変更を行う。そして図２４の処理を終える。
【０１５１】
つまりこの図２４の効果テンプレートの設定変更処理によれば、再生対象画像が、前画像と同じフォルダの画像であって、かつ撮像間隔が１２時間未満であれば、図２３のステップＦ４７４〜Ｆ４８１で、通常の効果テンプレートの設定に基づいて画像効果決定が行われる。
また再生対象画像が、前画像と同じフォルダの画像であって、撮像間隔が１２時間以上７日未満であれば、効果テンプレートの設定（「実行する最低ｐｔ」）が変更された上で、図２３のステップＦ４７４〜Ｆ４８１で、当該変更された効果テンプレートの設定に基づいて画像効果決定が行われる。
また再生対象画像が、前画像と異なるフォルダの画像である場合、又は撮像間隔が７日以上であるときは、画像効果オフと設定され、図２３のステップＦ４７４〜Ｆ４８１の画像効果決定は行われない。つまり再生対象画像の表示の際に画像効果はかけられない。
【０１５２】
以上の処理は効果テンプレートの設定変更がある場合を加えた一例である。
図２４の処理において、図２６に示した屋内／屋外のケースや、水中／水上のケースも効果テンプレートの設定変更条件に加えることも当然考えられるし、他の変更条件もあり得る。
設定変更に反映すべきケースをユーザが選択できるようにしても良い。
また効果テンプレートの設定変更の内容としては、「実行する最低ｐｔ」の増減だけでなく、基準値の増減、効果の詳細における係数の増減などを行っても良い。
【０１５３】
さらに画像内容によって効果テンプレートの設定変更を行うことも考えられる。
図２７に例を示す。画像内容として「顔主体」「人物主体」「集合写真」「風景主体」「手ブレしている」「構図が不適切」等のケースを設定する。
これらの画像内容に該当するか否かは、図２１のステップＦ４０５（図２２（ｂ））で行う画像解析において同時に判別するようにすればよい。
【０１５４】
例えば再生対象画像が「顔主体」の場合は、明るさ変化、温度変化に関して、「実行する最低ｐｔ」を１０ポイント増加させる。
再生対象画像が「人物主体」の場合は、明るさ変化、温度変化に関して、「実行する最低ｐｔ」を５ポイント増加させる。
再生対象画像が「集合写真」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「風景主体」の場合は通常の効果テンプレートの設定、つまり設定変更無しとする。
再生対象画像が「手ブレしている」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「構図が不適切」の場合は、明るさ変化、温度変化を反映しないものとする。
もちろんこれらのケースや設定変更内容は一例であり、実際には撮像時の雰囲気再現のための画像効果が適切に実行されるように決められればよい。
例えばケースとしては他にも、「特定の人の写った写真」「特定以上の人数が写った写真」「特定のシーンの写真」「特定の場所付近で撮絵した写真」「フォーカスがあっていない」などが考えられる。
【０１５５】
また、いわゆる高速連写として、非常に短い間隔で多数枚の撮像を行ったような画像データ群については、スライドショウの場合に全部を順次再生させたくない場合もある。
このため、連写画像については、環境情報や画像内容、品質等を考慮して、再生させる少数の画像を抽出するような処理も考えられる。
【０１５６】
以上のようにスライドショウ選択再生では、まずスライドショウとして再生される画像について、ユーザが条件設定で選択できる。これによりユーザの望む写真を集めたスライドショウが実行できる。
また前後の画像の関係や再生対象画像の画像内容等に応じて効果テンプレートの設定変更を行うことで、撮像時の雰囲気再現としてより適切な画像効果を実行できる。
なお、効果テンプレートの設定変更に関しては、スライドショウ再生における処理だけでなく、通常のユーザの画面送り操作に応じてフォルダ内の各画像データを順次再生するような場合にも同様に適用できる。
【０１５７】
［７．一画像からの効果設定］
上記のスライドショウ再生、スライドショウ選択再生の例では、画像効果の決定を、再生対象画像と前画像の環境情報ＣＩの比較に基づいて決定した。これによって撮像時の雰囲気の変化を適切に表現できるが、１枚の写真だけを考慮して雰囲気を再現することも可能である。
即ち前画像の環境情報ＣＩは考慮せず、再生対象画像の環境情報ＣＩのみから画像効果を決定する処理例である。
【０１５８】
図２８にＣＰＵ３１の処理例を示す。
或る画像データの再生を実行する場合、ＣＰＵ３１は処理をステップＦ５０１からＦ５０２に進める。例えばサムネイル一覧表示された中からユーザが或る画像を指定して表示を指示したような場合である。またスライドショウ再生における次の画像についての再生処理と考えても良い。
【０１５９】
ステップＦ５０２では、ＣＰＵ３１は再生対象画像の環境情報ＣＩを取得する。即ちＣＰＵ３１は記録媒体９０から再生対象とされる画像データＰＣＴ及び環境情報ＣＩを記録読み出して例えばＲＡＭ３２に取り込む。そして環境情報ＣＩを確認する。
【０１６０】
次にステップＦ６０３で、ＣＰＵ３１は基準環境情報を取得する。基準環境情報とは、効果決定のために環境情報ＣＩと比較する対象となる環境情報である。
これは図６で説明した基準値と同じ情報と考えればよい。従って、図６（ａ）のように全画像データの平均値としての温度、明るさなどの各情報としてもよいし、現在のフォルダの平均値としてもよい。または図６（ｃ）と同様の処理で、現在の温度、光量等の情報として取得しても良い。
さらには固定値とされていても良い。例えば出荷先（日本、北米、南米、欧州、東南アジア等）に応じた平均の気温などの情報が用いられても良い。
また、再生時の日時や場所に応じた基準環境情報をネットワークを介して所定のサーバから取得できるようにしたり、ユーザが基準環境情報を入力して任意に設定できるようにすることも考えられる。
【０１６１】
次にステップＦ５０４でＣＰＵ３１は、再生対象画像の環境情報ＣＩと、基準環境情報の比較処理を行う。例えば温度差、光量差などを算出する。
そしてステップＦ５０５で、比較結果に応じて画像効果の種別や効果量、時系列表現等を決定する。例えば上述した効果テンプレートを用いた決定を行うことができる。
【０１６２】
画像効果を決定したら、ＣＰＵ３１はステップＦ５０６で、再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ５０５で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、指示された画像効果を与えるように表示制御処理を行う。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で画像効果が実行されるようにする。
【０１６３】
このような処理によれば、１つの画像データについての環境情報ＣＩに基づいて、その画像データの撮像時の雰囲気を再現する再生表示が可能となる。
この場合も、画像データの再生表示を見ている人が、撮像時の雰囲気の変化を感じることができ、写真が本来持つ効果をより有効化できるとともに、写真画像再生における新たな楽しみを創出できる。
【０１６４】
［８．各種変形例、適用例］
本発明は上述してきた例以外にも多様な変形例や適用例が想定される。以下各種の変形例、適用例を挙げていく。
【０１６５】
環境情報に応じた動的画像効果の設定として、画像効果の強度については、上述した画像効果決定処理では温度変化と光量変化の値の程度や組合せで決める例を述べたが、各種の環境情報の値の程度や環境情報の項目の組み合わせで算出するものとして多様な例が考えられる。
例えば、すこし高温なら、すこし赤みのかかったものに変化していき、非常に高温なら、非常に赤みのかかったものに変化していくというような効果強度の設定により、雰囲気をより的確に再現できる。
効果決定に使用する環境情報の項目（位置、日時、風量、気圧、天候等）などによっても、その環境情報の値や組合せによって画像効果の強度を決定することが適切である。
多数の環境情報項目を考慮する場合は、上述のように優先順位を設定することが適切であるが、優先順位は固定としてもよいし、優劣を付けずに全て同等に画像効果に反映させるという手法もとり得る。
【０１６６】
画像効果の時系列的表現としては、上述の図１２等の例のように効果強度を徐々にかえていくものの他、効果のかかった画像と徐々に切り替えていくもの、或いは、環境情報値の程度や組み合わせによって効果強度の変化速度が変わるものなども考えられる。
例えば前後の画像の撮像日時が近接していながら温度変化が大きい場合は、画像効果量の変化速度を速くし、一方温度変化は大きいが撮像間隔が長い場合は画像効果量をゆっくり変化させるなどである。
また、画像効果を動的に変化させる期間は、静止画像の表示期間のうちの少なくとも一部の期間である。
例えば上述したスライドショウ再生の場合等で、１枚の写真画像の表示開始から終了までの期間が決まっている場合、その全表示期間にわたって動的に変化する画像効果を与えても良い。或いは、１枚の写真画像の全表示期間のうちで、一部の期間のみに動的に変化する画像効果を与えても良い。もちろん固定的な画像効果も考えられる。
さらには、１枚の写真画像の全表示期間を複数の一部期間毎にわけ、当該一部期間毎に、同一又は異なる画像効果を与えても良い。
またユーザの選択操作に応じた通常の画像データ再生などで、１枚の写真画像の表示期間が不定の場合に、例えば表示開始から数秒などの間、画像効果を与え、その後画像効果は与えないようにすることが考えられるが、繰り返し画像効果を与えることも考えられる。もちろん数秒のインターバルをおいて繰り返し同一の画像効果を与えたり、或いは異なる画像効果を与えることも想定される。
【０１６７】
画像効果の種類、強度、時系列的表現や、それらの組み合わせが、表示する撮像画像の環境情報と、前後に表示した（する）撮像画像の環境情報を考慮するものとして各種の例が考えられる。
上記例では前画像と再生対象画像の比較で画像効果の決定を行ったが、再生対象画像と次の再生対象画像との環境情報を用いて画像効果決定を行ってもよい。
例えば或る写真が、或る場所の風景であり、次の写真が、上記風景内に含まれる或る建物に近づいて撮像したようなものであった場合を想定する。この場合、両画像データの位置情報や撮像方向の情報に基づいて、現在の再生対象画像の表示中に、該当の建物にズームインする表示を行った後、次の再生対象画像に切り替えるような動的画像効果が考えられる。例えば現在の再生対象画像の画像データの該当の建物の部分が徐々に拡大していくような動的画像効果である。
【０１６８】
また再生対象画像の画像効果決定の際に、前画像の環境情報ＣＩと比較する場合、前画像としては、直前の再生画像に限られない。
例えば上記のスライドショウ選択再生の場合には、条件によって再生対象が間引きされるため、直前の再生画像とは、必ずしも撮像時の順序としては直前ではない。そこで、スライドショウ選択再生では再生されないこととなった画像データを含めて、直前の画像データ（つまり撮像時に直前に撮像された画像データ）を前画像として扱うことが考えられる。そして当該前画像の環境情報ＣＩを参照して、再生対象画像の画像効果決定を行う。
【０１６９】
さらに、画像効果決定において考慮する前画像は一つでなく、複数としてもよい。例えば再生される画像としての前画像、前々画像、前々々画像についてそれぞれ環境情報ＣＩを参照し、或る程度長いスパンでの雰囲気の変化を判別する。そしてその雰囲気の変化に応じて再生対象画像の画像効果決定を行う。
もちろん再生されない画像を含めて、複数の画像データの環境情報ＣＩを参照してもよい。
また前画像と後画像の両方の環境情報ＣＩを考慮して画像効果決定を行っても良い。
さらに、ユーザが基本となる画像データを選択し、その画像データの環境情報ＣＩを比較対象として考慮して画像効果決定を行っても良い。
【０１７０】
また画像効果決定のために、特に前後の画像ではなくとも、表示する画像データの環境情報ＣＩと、記録媒体９０等に保存されている他の画像データの環境情報ＣＩを考慮することも考えられる。
また、画像効果決定のために、表示する画像データの撮像日時と、記録媒体９０等に保存されている他の画像データの撮像日時との間隔を考慮することも考えられる。
【０１７１】
また、画像効果決定処理として、ユーザが選択したテーマに応じた画像効果決定を行うことも考えられる。
また考慮すべき環境情報の項目をユーザが選択できるようにしたり、複数項目の場合の優先順位を指定できるようにしてもよい。
また画像効果決定で考慮する環境情報を選ぶために、記録媒体９０等にある全てもしくは、一定のまとまりの撮像画像の環境情報の平均や分散で決めることもできる。
またスライドショウの場合に、実行される画像効果の種類等に応じて、１枚の再生時間を変化させるようにしてもよい。
【０１７２】
再生時に画像効果に関しては、実行する画像効果の種類をいくつか減らすことで、処理能力の低い機器に最適化させたり、より強く環境を彷彿させるために画像効果の種類を増やしたりすることもできる。
また、単に暑い、寒いといっても、暑さの度合いによって人が感じる感覚はかわるので、画像効果もユーザに合わせて切り替えることもできる。
変化が顕著な環境条件が複数ある場合は、一つに絞ることも、画像効果を組み合わせることも、組み合わせのための別の効果を用意することもできる。
【０１７３】
上述の実施の形態では、画像データはフォルダ単位で記録媒体９０等に格納されるものとしたが、画像データを管理形式（グルーピング）は多様に考えられる。
例えばグルーピングが撮像時の順序に応じたフォルダ単位のものや、グルーピングが日付単位のもの、グルーピングが日付や時間の間隔等を考慮したイベント単位のもの、グルーピングが少なくとも撮影位置と日付を考慮したものなどが想定される。
またユーザがグルーピングの方式を選ぶことができる機能をもったものも考えられる。
【０１７４】
また、撮像装置１等における、グルーピングされた画像データ群に対する再生方式としては、グループ分割された一つのグループを再生画像とする機能をもつことや、グループ分割された複数のグループを再生画像とする機能をもつことが考えられる。
また再生時の処理として、グループの先頭画像の場合は、前の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることが考えられる。
また再生画像群がグループに分かれている場合、グループの最終画像の場合は、後の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることも考えられる。
また再生画像群がグループに分かれている場合、グループの切れ目を考慮するか否かをユーザが選ぶことのできる機能をもつことも考えられる。
【０１７５】
また画像効果は、例えば表示コントローラ７は表示パラメータの変化や画像合成を行うことで実現するとしたが、画像データ（表示画像信号）についての処理以外で画像効果を実現することもできる。
例えば表示パネル６などの表示部がバックライト方式の液晶パネルとされている場合、バックライト光源の輝度を変化させることで、画面上の明るさ変化を表現することもできる。
【０１７６】
［９．情報処理装置／プログラム］
以上の実施の形態は、撮像装置１で画像効果を伴う再生を行うものとして述べたが、同様の再生処理は、図１で説明したようにパーソナルコンピュータ１０２等の他の装置で行うこともできる。
図２９はパーソナルコンピュータ（以下「ＰＣ」）１０２の構成を示している。
ＰＣ１０２は図示するように、ＣＰＵ２１１、メモリ部２１２、ネットワークインターフェース部２１３、ディスプレイコントローラ２１４、入力機器インターフェース部２１５、ＨＤＤインターフェース部２１６を有する。またキーボード２１７、マウス２１８、ＨＤＤ２１９、表示装置２２０、バス２２１、外部機器インターフェース部２２２、メモリカードインターフェース部２２３などを有する。
【０１７７】
ＰＣ１０２のメインコントローラであるＣＰＵ２１１は、メモリ部２１２に格納されているプログラムに応じて、各種の制御処理を実行する。ＣＰＵ２１１は、バス２２１によって他の各部と相互接続されている。
バス２２１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ２１１はこれらアドレスによって機器アクセスが可能となっている。バス２２１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【０１７８】
メモリ部２１２は揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
このメモリ部２１２には、ＣＰＵ２１１において実行されるプログラムコードやＰＣ１０２に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
【０１７９】
ネットワークインターフェース部２１３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、ＰＣ１０２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。ＣＰＵ２１１はネットワークインターフェース部２１３を介して、ネットワーク接続された各機器と通信を行うことができる。
【０１８０】
ディスプレイコントローラ２１４は、ＣＰＵ２１１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ２１４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置２２０に画面出力される。表示装置２２０は、例えば、有機ＥＬディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイなどとして形成される。
【０１８１】
入力機器インターフェース部２１５は、キーボード２１７やマウス２１８などのユーザ入力機器をＰＣ１０２としてのコンピュータシステムに接続するための装置である。
即ちＰＣ１０２に対するユーザの操作入力がキーボード２１７及びマウス２１８を用いて行われ、その操作入力情報が、入力機器インターフェース部２１５を介してＣＰＵ２１１に供給される。
【０１８２】
ＨＤＤインターフェース部２１６は、ハードディスクドライブ（ＨＤＤ）２１９に対する書込／読出のインターフェース処理を行う。
ＨＤＤ２１９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ＰＣ１０２にインストールされた各種のソフトウェアプログラムは、実行可能な状態でＨＤＤ２１９に格納される。通常、ＨＤＤ２１９には、ＣＰＵ２１１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
ＨＤＤ２１９に格納されている各種プログラムは、ＰＣ１０２の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいた処理を行う。
【０１８３】
外部機器インターフェース部２２２は、例えばＵＳＢ規格などにより接続された外部機器とのインターフェースである。
本例の場合、外部機器としては、例えば撮像装置１等が想定される。
ＰＣ１０２は、この外部機器インターフェース部２２２を介した通信により、撮像装置１からの画像データの取込などが可能となる。
例えば上記撮像装置１の外部インターフェース８とＰＣ１０２の外部インターフェース部２２２の間を接続し、撮像装置１で撮像された画像データＰＣＴ及び環境情報ＣＩを取り込むことができる。
なお、外部機器インターフェース部２２２は、ＵＳＢ規格に限らず、例えばＩＥＥＥ１３９４など、他のインターフェース規格であってもよい。
【０１８４】
メモリカードインターフェース部２２３は、メモリカード等の記録媒体９０に対するデータの書込／読出を行う。
例えば上述した撮像装置１のようなデジタルスチルカメラで用いられた記録媒体９０を装着することで、その記録媒体９０から画像データＰＣＴ及び環境情報ＣＩを読み込むこともできる。
【０１８５】
このようなＰＣ１０２では、ＣＰＵ２１１におけるソフトウエア構造、即ちアプリケーションプログラム、ＯＳ（Operating System）、デバイスドライバなどのソフトウエアに基づく演算処理／制御動作を行うことで、各種動作が実行される。
この場合、例えば図２の画像格納部２００として、ＨＤＤ２１９や記録媒体９０が機能し、図２の制御部２０１（及び画像解析部２０６）としてＣＰＵ２１１が機能し、図２の画像処理／表示制御部２０２としてディスプレイコントローラ２１４が機能する。
そして図６、図７，図８の処理、又は図２１〜図２４の処理、又は図２８の処理を行うプログラムが、例えばＨＤＤ２１９にインストールされ、起動時にメモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
これにより、図６、図７，図８、又は図２１〜図２４のようなスライドショウの実行処理、もしくは図２８の処理が、ＣＰＵ２１１において実行される。
これによって上述してきたような各種画像効果を伴った再生動作が、ＰＣ１０２において実現される。
【０１８６】
なお、これらの処理をＣＰＵ２１１に実行させるプログラムは、ＰＣ１０２等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc：登録商標）、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１８７】
本例では情報処理装置としてパーソナルコンピュータ１０２を例に挙げたが、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機器、ビデオ編集機、その他画像データを用いる多様な情報処理装置においても同様の画像再生を実行できるようにすることができる。
【符号の説明】
【０１８８】
１ 撮像装置、２ 撮像系、３ 制御系、４ カメラＤＳＰ、５ 操作部、６ 表示パネル、７ 表示コントローラ、８ 外部インターフェース、９ ＳＤＲＡＭ、１０ 媒体インターフェース、１３ ブレ検出部、１４ 発光駆動部、１５ フラッシュ発光部、１７ レンズ駆動ドライバ、１８ 絞り／ＮＤ駆動ドライバ、１９ 撮像素子ドライバ２１ レンズ機構部、２２ 絞り／ＮＤフィルタ機構、２３ 撮像素子部、２４ アナログ信号処理部、２５ Ａ／Ｄ変換部、２６ レンズ駆動部、２７ レンズ位置検出部、２８ タイミング生成回路、２９ ネットワークインターフェース、３１ ＣＰＵ、３２ ＲＡＭ、３３ フラッシュＲＯＭ、３４ 時計回路、３５ 画像解析部、４１ 画像信号処理部，４２ 圧縮／解凍処理部、４３ ＳＤＲＡＭコントローラ、９０ メモリカード、１００ モニタ装置、１０１ 画像再生装置、２００ 画像格納部、２０１ 制御部、２０２ 画像処理／表示制御部、２０３ 表示部、２０４ 画像出力部、２０５ 操作入力部、２０６ 画像解析部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関し、特に撮像画像の表示の際に画像効果を与える技術に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２００５−２５０９７７号公報
【背景技術】
【０００３】
上記特許文献１には、撮影者の感情を写真に反映させる技術が開示されている。この場合、撮影者の感情反映パラメータを求め、感情パラメータに応じて画像の明暗等を画像処理により変化させる。そしてこのような画像処理後の画像を表示させることで、撮影時の感情を表現した画像表示を行うことが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明では、ユーザが通常に写真撮影を行った後、写真を鑑賞するときなどにおいて、新たな楽しみを創出することを目的とする。
即ち撮像画像を見ている人が、撮像時の雰囲気を感じられるようにするものである。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定部と、画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御部とを備える。
また上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である。
また上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする。
また上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする。
【０００６】
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、比較対象となる所定の環境情報との比較によって得られる環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する。
上記比較対象となる所定の環境情報は、上記再生対象画像データの前の時点で再生対象とされた画像データについての環境情報である。
また複数の画像データを順次再生表示させる場合において、上記比較対象となる所定の環境情報は、上記再生対象画像データの直前に再生対象とされた画像データについての環境情報である。
また選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備える。
また、上記比較対象となる所定の環境情報は、時間情報が上記再生対象画像データに最も近い前の時点の画像データについての環境情報である。
また上記比較対象となる所定の環境情報は、固定的な値として設定された環境情報である。
【０００７】
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、体感環境情報に変換し、該体感環境情報を用いて、上記再生対象画像データについての動的画像効果を決定する。
また上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報と、比較対象となる所定の環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する。
また上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する。
また上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する。
また上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも１つが含まれる。
【０００８】
本発明の画像処理方法は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップとを行う。
本発明のプログラムは、この画像処理方法を情報処理装置に実行させるプログラムである。
【０００９】
このような本発明は、撮像時の環境情報を用いて、再生表示させる画像データに、動的な画像効果を与えるものである。この動的な画像効果によって、画像を見ている人に対して、撮像時の環境、例えば撮像者が体感している環境（明暗、寒暖、時間、場所等）を表現する。
【発明の効果】
【００１０】
本発明により、撮像された画像データの再生表示を見ている人が、撮像時の雰囲気を感じることができるようになる。このことで「思い出を思い出させる」、「感動を伝える」などの写真やビデオが本来持つ効果をより有効化でき、写真等の画像再生における新たな楽しみを創出できる。
また、動的な画像効果を与えることで、見ている人によりダイナミックに雰囲気を伝えることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態を適用できる装置例の説明図である。
【図２】実施の形態の画像処理装置の構成のブロック図である。
【図３】実施の形態の画像処理装置に該当する撮像装置のブロック図である。
【図４】実施の形態の画像データと環境情報の説明図である。
【図５】実施の形態の撮像装置の撮像時の処理のフローチャートである。
【図６】実施の形態の基準値設定処理のフローチャートである。
【図７】実施の形態のスライドショウ再生処理のフローチャートである。
【図８】実施の形態の効果算出処理のフローチャートである。
【図９】実施の形態の環境情報と体感環境情報の説明図である。
【図１０】実施の形態の効果テンプレートの説明図である。
【図１１】実施の形態の環境情報の親和性と優先度低の効果強度の説明図である。
【図１２】実施の形態の動的画像効果例の説明図である。
【図１３】実施の形態の動的画像効果例の説明図である。
【図１４】実施の形態の動的画像効果例の説明図である。
【図１５】実施の形態の動的画像効果例の説明図である。
【図１６】実施の形態の動的画像効果例の説明図である。
【図１７】実施の形態の静的画像効果例の説明図である。
【図１８】実施の形態の静的画像効果例の説明図である。
【図１９】実施の形態の動的及び静的画像効果例の説明図である。
【図２０】実施の形態の画像効果例の説明図である。
【図２１】実施の形態のスライドショウ選択再生処理のフローチャートである。
【図２２】実施の形態のスライドショウ実行設定及び再生対象画像準備処理のフローチャートである。
【図２３】実施の形態の再生対象画像についての効果算出処理のフローチャートである。
【図２４】実施の形態の効果テンプレート設定変更処理のフローチャートである。
【図２５】実施の形態のスライドショウ実行設定の説明図である。
【図２６】実施の形態の前後画像関係による画像効果への影響の説明図である。
【図２７】実施の形態の画像内容による画像効果への影響の説明図である。
【図２８】実施の形態の一画像データからの効果設定のフローチャートである。
【図２９】実施の形態の情報処理装置のブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を次の順序で説明する。
［１．本発明の適用−実施の形態の画像処理装置］
［２．実施の形態としての撮像装置の構成］
［３．撮像時の処理及び環境情報例］
［４．動的画像効果を与えるスライドショウ再生］
［５．画像効果例］
［６．スライドショウ選択再生］
［７．一画像からの効果設定］
［８．各種変形例、適用例］
［９．情報処理装置／プログラム］
【００１３】
［１．本発明の適用−実施の形態の画像処理装置］
実施の形態の画像処理装置は、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定し、当該画像効果を与えた再生表示を行うことで、画像と共に撮像時の雰囲気が再現されるような表示を行うものである。
このような画像処理装置による動作は、各種多様な機器やシステムにおいて実現される。
【００１４】
図１に各種の適用例を示す。
図１（ａ）はデジタルスチルカメラとしての撮像装置１を示している。この撮像装置１が実施の形態の画像処理装置としての機能を有することで、撮像した画像データについて表示パネル６で再生表示を行う際に、環境情報に基づく画像効果を与えた表示を行うことができる。
即ち撮像装置１は、撮像処理によって内部メモリやメモリカード等の記録媒体に撮像した画像データを記憶する。このとき、撮像時の環境情報も取得するようにし、撮像した画像データに関連付けて環境情報も記憶する。
そして画像データを再生する際には、対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像データを再生表示する際に、その決定した画像効果を与えて表示パネル６で画像表示を実行する。
これによりユーザは、撮像装置１を単体で用いて撮像画像を再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
【００１５】
図１（ｂ）は、撮像装置１を外部のモニタ装置１００と接続して画像再生を行う場合の例を示している。モニタ装置１００は、撮像装置１に対応する専用のモニタ装置でも良いし、テレビジョン受像器、或いはパーソナルコンピュータ用モニタなどが想定される。
撮像装置１で撮像した画像を、接続したモニタ装置１００で表示させる際、撮像装置１が上記の画像処理装置としての機能を持つことで、再生時に環境情報に基づいた画像効果を与えた表示をモニタ装置１００上で見ることができる。
【００１６】
図１（ｃ）は、画像再生装置１０１とモニタ装置１００を示している。画像再生装置１０１は、ビデオプレーヤ、静止画再生機など、画像データ再生を行うことのできる機器としている。
画像再生装置１０１は、装填された可搬性記録媒体に記録された画像データ、内部メモリ、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）等の記録媒体に記録された画像データ等を再生し、再生画像信号としてモニタ装置１００に出力する。
この画像再生装置１０１には、撮像装置１等で撮像された画像データが記憶されたメモリカード等を装填したり、或いは撮像装置１から画像データを転送して内部のＨＤＤ等に記録させることができる。このとき、画像データとともに環境情報も記録媒体に記録された状態とする。
画像再生装置１０１が、記録媒体から画像データを再生する際に、その画像データに対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像効果を与えた再生画像信号を生成してモニタ装置１００に出力する。これによりユーザは、撮像画像を画像再生装置１０１で再生させる際に、撮像時の雰囲気を再現した画像表示を見ることができる。
【００１７】
なお、図１（ｂ）（ｃ）のようにモニタ装置１００を用いるシステムを想定した場合、モニタ装置１００が画像処理装置としての機能を備えるようにしてもよい。
即ち、モニタ装置１００が他の機器（デジタルスチルカメラやビデオプレーヤ等）から画像データと環境情報の転送を受けるようにする。そしてモニタ装置１００の内部で、画像データの再生に際しての画像効果を環境情報に基づいて決定し、画像効果を与えたた再生表示を行うものである。
【００１８】
図１（ｄ）はパーソナルコンピュータ１０２を示している。例えば撮像装置１で撮像された画像データ及び環境情報が記憶されたメモリカード等をパーソナルコンピュータ２００に装填したり、或いは撮像装置１から画像データ及び環境情報を転送して内部のＨＤＤ等にデータファイルとして記録させる。パーソナルコンピュータ１０２では、所定のアプリケーションソフトウエアにより、これらの画像データについて再生させる際に、当該アプリケーションソフトウエアが画像データに対応する環境情報も読み出し、環境情報に基づいて画像効果を決定する。そして画像効果を与えた再生画像信号を生成してモニタディスプレイに表示出力する。
【００１９】
以上は例示にすぎないが、本発明の実施の形態は、例えばこれらのように多様な実現例が想定される。例えば各種ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡなどの機器でも実現可能である。
各種機器において本実施の形態を実現する場合、それらの機器やシステムにおいて設けられる構成例を図２に示す。
図２では、画像格納部２００、制御部２０１、画像処理／表示制御部２０２、表示部２０３、画像出力部２０４、操作入力部２０５、画像解析部２０６を示している。
【００２０】
画像格納部２００は、撮像動作によって得られた画像データと環境情報を関連付けて記憶する部位である。
この画像格納部２００は、例えばメモリカード、光ディスク等の可搬性記録媒体とその再生部として構成されたり、ＨＤＤとして構成されたり、内部メモリ（ＲＡＭ、フラッシュメモリ等）として構成される。また画像格納部２００は接続された外部機器、或いはネットワーク等を介して通信可能な外部機器として構成されてもよい。
【００２１】
画像格納部２００には、例えば多数の画像データが、フォルダ単位で格納される。例えばフォルダＦＬＤ１には、画像データＰＣＴ１１，ＰＣＴ１２・・・が含まれる。またフォルダＦＬＤ２には、画像データＰＣＴ２１，ＰＣＴ２２・・・が含まれる。
各フォルダにおいては、画像データＰＣＴだけでなく、その画像データの撮像時の環境情報ＣＩも関連付けられて記憶される。例えば画像データＰＣＴ（ＰＣＴ１１，ＰＣＴ１２・・・）にそれぞれ対応して環境情報ＣＩ（ＣＩ１１，ＣＩ１２・・・）が記憶される。
【００２２】
なお、このようなフォルダ管理は一例であり、画像データＰＣＴと環境情報ＣＩの管理形態（フォルダ構成、ディレクトリ構造等）はどのようなものであっても良い。本実施の形態に関しては、少なくとも画像データＰＣＴと環境情報ＣＩが関連付けられて記憶されているものであればよい。
【００２３】
制御部２０１は、一つ以上のＣＰＵ（Central Processing Unit）、制御用回路、制御に利用する組替え可能なハードウェア等を含む。
制御部２０１は、データ読出処理、画像効果決定処理、画像再生制御処理等を行う。
データ読出処理とは、再生する画像データＰＣＴ及び環境情報ＣＩを画像格納部２００から読み出す処理である。
画像効果決定処理とは、再生対象とする画像データＰＣＴの撮像時の環境情報ＣＩを用いて表示の際の画像効果を決定する処理である。
画像再生制御処理とは、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理である。
【００２４】
画像処理／表示制御部２０２は、再生表示する画像データについて画像効果（画像エフェクト）を与える処理、及び画像データを表示出力する処理を行う。画像効果としては、画像表示に際しての輝度変化、カラーバランス変化、コントラスト変化などの表示パラメータを変化させたり、キャラクタ画像やイメージ画像等の画像合成処理などを行う。
この画像処理／表示制御部２０２は、制御部２０１で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示部２０３で表示出力されたり、画像出力部２０４から外部モニタ機器に出力されて表示されることになる。
これにより、画像データＰＣＴの再生に際して、環境情報ＣＩに基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
【００２５】
操作入力部２０５は、ユーザが各種の操作入力を行う部位である。例えばキー、ダイヤル等の操作子が設けられたり、リモートコントローラの操作信号の受信部などとして構成される。
操作入力部２０５による操作情報は制御部２０１によって検知され、制御部２０１は操作に応じた動作制御を行う。例えば制御部２０１は画像再生制御や再生画像の選択処理等を操作情報に応じて実行する。
画像解析部２０６は、画像データを解析して画像内容を判別する。例えば風景画像であるか人が写っている画像であるかなどの判別を行う。この解析結果に基づいて、制御部２０１が再生画像を選択したり、解析結果を画像効果決定の一要素として用いることなどができる。
【００２６】
例えば以上のような構成を図１に示した撮像装置１、画像再生装置１０１、パーソナルコンピュータ１０２等が備えることで、本実施の形態としての動作が各機器で実現できる。特には、制御部２０１が本発明請求項に記載した画像効果決定部に相当し、画像処理／表示制御部２０２が本発明請求項に記載した表示制御部（及び順次再生制御部）に相当する。この制御部２０１と画像処理／表示制御部２０２に相当する構成が少なくともハードウエアもしくはソフトウエアにより実装されることが本実施の形態に該当する機器として必要である。
【００２７】
［２．実施の形態としての撮像装置の構成］
以下、より具体的な実施の形態として、本発明を例えばデジタルスチルカメラとしての撮像装置１に適用した例により、構成及び動作を詳細に説明していく。
実施の形態の撮像装置１の構成を図３で説明する。
【００２８】
図３に示すように撮像装置１は、撮像系２、制御系３、カメラＤＳＰ（Digital Signal Processor）４、操作部５、表示パネル６、表示コントローラ７、画像出力部１１を備える。また撮像装置１は、外部インターフェース８、センサ部１２、ネットワークインターフェース２９，ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）９、媒体インターフェース１０を備える。
【００２９】
撮像系２は、撮像動作を実行する部位とされ、レンズ機構部２１，絞り／ＮＤフィルタ機構２２、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５を備える。また撮像系２は、レンズ駆動部２６、レンズ位置検出部２７、タイミング生成回路２８、ブレ検出部１３、発光駆動部１４、フラッシュ発光部１５、レンズ駆動ドライバ１７、絞り／ＮＤ駆動ドライバ１８、撮像素子ドライバ１９を備える。
【００３０】
被写体からの入射光は、レンズ機構部２１及び絞り／ＮＤフィルタ機構２２を介して撮像素子部２３に導かれる。
レンズ機構部２１は、カバーレンズ、フォーカスレンズ、ズームレンズなどの複数の光学レンズ群を有する。
レンズ駆動部２６は、フォーカスレンズやズームレンズを光軸方向に移送する移送機構とされる。このレンズ駆動部２６はレンズ駆動ドライバ１７によって駆動電力が印加されフォーカスレンズやズームレンズを移送する。後述するＣＰＵ（Central Processing Unit）３１はレンズ駆動ドライバ１７を制御することで、焦点制御やズーム動作を実行させる。
【００３１】
絞り／ＮＤフィルタ機構２２は、絞り機構と、レンズ光学系内に挿入されることによって入射光量を減衰させる（調整する）ＮＤフィルタ機構を有し、光量調整を行う。
絞り／ＮＤ駆動ドライバ１８は、絞り機構の開閉により入射光量の調節を行う。また絞り／ＮＤ駆動ドライバ１８は、ＮＤフィルタを入射光の光軸上に対して出し入れすることで、入射光量の調節を行う。ＣＰＵ３１は、絞り／ＮＤ駆動ドライバ１８を制御して絞り機構やＮＤフィルタを駆動させることで入射光量制御（露光調整制御）を行うことができる。
【００３２】
被写体からの光束はレンズ機構部２１、絞り／ＮＤフィルタ機構２２を通過し、撮像素子部２３上に被写体像が結像される。
撮像素子部２３は、結像される被写体像を光電変換し、被写体像に対応する撮像画像信号を出力する。
この撮像素子部２３は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部２４に出力する。撮像素子部２３としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。
【００３３】
アナログ信号処理部２４は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、撮像素子部２３から入力される画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部２５は、アナログ信号処理部２４で処理されたアナログ信号をデジタル信号に変換し、カメラＤＳＰ４に供給する。
【００３４】
タイミング生成回路２８は、ＣＰＵ３１により制御され、撮像素子部２３、アナログ信号処理部２４、Ａ／Ｄ変換部２５の各動作のタイミングを制御する。
即ちタイミング生成回路２８は、撮像素子部２３の撮像動作タイミングを制御するために、露光／電荷読出のタイミング信号や、電子シャッタ機能としてのタイミング信号、転送クロック、フレームレートに応じた同期信号等を、撮像素子ドライバ１９を介して撮像素子部２３に供給する。またアナログ信号処理部２４で、撮像素子部２３での画像信号の転送に同期して処理が行われるように、上記各タイミング信号をアナログ信号処理部２４にも供給する。
ＣＰＵ３１は、タイミング生成回路２８により発生させる各タイミング信号の制御を行うことで、撮像画像のフレームレートの変更や、電子シャッタ制御（フレーム内の露光時間可変制御）を行うことができる。またＣＰＵ３１は、例えばタイミング生成回路２８を介してアナログ信号処理部２４にゲイン制御信号を与えるようにすることで、撮像画像信号のゲイン可変制御を行うことができる。
【００３５】
ブレ検出部１３は、手ぶれ量や撮像装置１自体の動きの量を検出する。例えば加速度センサ、振動センサなどで構成され、ブレ量としての検出情報をＣＰＵ３１に供給する。
フラッシュ発光部１５は発光駆動部１４によって発光駆動される。ＣＰＵ３１は、ユーザの操作その他による所定タイミングで、発光駆動部１４にフラッシュ発光を指示し、フラッシュ発光部１５を発光させることができる。
【００３６】
カメラＤＳＰ４は、撮像系２のＡ／Ｄ変換部２５から入力される撮像画像信号に対して、各種のデジタル信号処理を行う。
このカメラＤＳＰ４では、例えば図示のように画像信号処理部４１，圧縮／解凍処理部４２、ＳＤＲＡＭコントローラ４３等の処理機能が内部のハードウエア及びソフトウエアにより実現される。
【００３７】
画像信号処理部４１は入力される撮像画像信号に対する処理を行う。例えば撮像画像信号を用いた撮像系２の駆動制御用の演算処理として、オートフォーカス（ＡＦ）用処理、オートアイリス（ＡＥ）用処理などを行い、また入力される撮像画像信号自体に対する処理としてオートホワイトバランス（ＡＷＢ）処理などを行う。
【００３８】
例えばオートフォーカス用処理としては、画像信号処理部４１は入力される撮像画像信号についてコントラスト検出を行い、検出情報をＣＰＵ３１に伝える。オートフォーカス制御方式としては、各種の制御手法が知られているが、いわゆるコントラストＡＦと呼ばれる手法では、フォーカスレンズを強制的に移動させながら、各時点の撮像画像信号のコントラスト検出を行い、最適コントラスト状態のフォーカスレンズ位置を判別する。即ちＣＰＵ３１は、撮像動作に先立って、フォーカスレンズの移動制御を実行させながら画像信号処理部４１で検出されるコントラスト検出値を確認し、最適なコントラスト状態となった位置をフォーカス最適位置とする制御を行う。
【００３９】
また、撮像中のフォーカス制御としては、いわゆるウォブリングＡＦと呼ばれる検出方式が実行できる。ＣＰＵ３１は、撮像動作中に、常時フォーカスレンズの位置を微小に前後にゆらすように移動させながら、画像信号処理部４１で検出されるコントラスト検出値を確認する。フォーカスレンズの最適位置は、当然、被写体の状況によって変動するが、フォーカスレンズを前後に微小変位させながらコントラスト検出を行うことで、被写体の変動に応じたフォーマット制御方向の変化を判定できる。これによって、被写体状況に追尾したオートフォーカスが実行できることになる。
なお、レンズ駆動部２６における移送機構には、各移送位置毎にアドレスが割り当てられており、その移送位置アドレスによってレンズ位置が判別される。
レンズ位置検出部２７は、フォーカスレンズの現在のレンズ位置としてのアドレスを判別することで、合焦状態となっている被写体までの距離を算出し、それを距離情報としてＣＰＵ３１に供給することができる。これによってＣＰＵ３１は、合焦状態としている主たる被写体までの距離を判別できる。
【００４０】
カメラＤＳＰ４の画像信号処理部４１が実行するオートアイリス用処理としては、例えば被写体輝度の算出が行われる。例えば入力される撮像画像信号の平均輝度を算出し、これを被写体輝度情報、即ち露光量情報としてＣＰＵ３１に供給する。平均輝度の算出としては例えば１フレームの撮像画像データの全画素の輝度信号値の平均値、或いは画像の中央部分に重みを与えた輝度信号値の平均値の算出など、各種の方式が考えられる。
ＣＰＵ３１は、この露光量情報に基づいて、自動露光制御を行うことができる。即ち絞り機構、ＮＤフィルタ、或いは撮像素子部２３における電子シャッタ制御、アナログ信号処理部２４へのゲイン制御により、露光調整を行うことができる。
【００４１】
カメラＤＳＰ４の画像信号処理部４１は、これらのオートフォーカス動作、オートアイリス動作に用いる信号生成処理の他、撮像画像信号自体の信号処理として、オートホワイトバランス、γ補正、エッジ強調処理、手ブレ補正処理等を行う。
【００４２】
カメラＤＳＰ４における圧縮／解凍処理部４２は、撮像画像信号に対する圧縮処理や、圧縮された画像データに対する解凍処理を行う。例えばＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による圧縮処理／解凍処理を行う。
【００４３】
ＳＤＲＡＭコントローラ４３は、ＳＤＲＡＭ９に対する書込／読出を行う。ＳＤＲＡＭ９は、例えば撮像系２から入力された撮像画像信号の一時保存、画像処理部４１や圧縮／解凍処理部４２での処理過程における保存やワーク領域の確保などに用いられる。
ＳＤＲＡＭコントローラ４３は、これらのデータについてＳＤＲＡＭ９に対する書込／読出を行う。
【００４４】
制御系３は、ＣＰＵ３１、ＲＡＭ３２、フラッシュＲＯＭ３３、時計回路３４、画像解析部３５を備える。制御系３の各部、及びカメラＤＳＰ４、撮像系２の各部、表示コントローラ７、外部インターフェース８、媒体インターフェース１０は、システムバスによって相互に画像データや制御情報の通信が可能とされている。
【００４５】
ＣＰＵ３１は、撮像装置１の全体を制御する。即ちＣＰＵ３１は内部のＲＯＭ等に保持したプログラム及び操作部５によるユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
特にＣＰＵ３１は、表示パネル６における表示画像や外部のモニタ装置に出力する表示画像信号に関しては、図２で述べた制御部２０１としての処理機能を有し、必要な演算処理、制御処理を実行する。
即ちＣＰＵ３１はデータ読出処理として、再生する画像データ及び環境情報を記録媒体９０やフラッシュＲＯＭ３３等から読み出す処理を行う。
またＣＰＵ３１は画像効果決定処理として、再生対象とする画像データの撮像時の環境情報を用いて表示の際の画像効果を決定する処理を行う。
またＣＰＵ３１は、画像再生制御処理として、例えばスライドショウ再生やユーザの操作に応じた再生などとしての再生動作の制御処理を行う。
【００４６】
ＲＡＭ（Random Access Memory）３２は、カメラＤＳＰ４で処理された撮像画像信号（各フレームの画像データ）の一時的な保存や、ＣＰＵ３１の各種処理に応じた情報が記憶される。
フラッシュＲＯＭ３３は、撮像画像としての（ユーザが静止画又は動画として撮像した）画像データの保存や、その他不揮発的に保存することが求められる情報の記憶に用いられる。撮像装置１の制御用ソフトウェアプログラム、カメラの設定データなどを記憶する場合もある。
時計回路３４は、現在日時情報（年月日時分秒）を計数する。
【００４７】
画像解析部３５は図２で述べた画像解析部２０６に相当する。画像解析部３５は、例えばＣＰＵ３１の再生制御により表示出力される画像データについて画像解析を行い、各種の画像認識を行う。
例えば画像解析部３５は被写体画像に含まれている人物認識や顔認識の処理を行う。また風景を中心とした画像であるかの判別を行う。さらに画像解析部３５は、対象の画像データについての撮像時の外光状況、撮像時の天候（雨／晴れ）、位置（屋外／屋内／水中等）など、画像解析によって認識可能な各種の情報を検出する場合もある。
【００４８】
操作部５は、ユーザが操作する各種操作子及びその操作に基づく信号発生部からなる。各種操作子によるユーザの操作情報は、操作部５からＣＰＵ３１に伝達される。
操作子としては、例えばシャッタ操作キー、モード選択のダイヤル、ワイド／テレ操作キー、メニュー項目選択や画像選択その他に用いられる十字キー、カーソルキーなどが設けられる。
なお、操作部５としては、操作子だけでなく、タッチパネル操作を可能な構成としてもよい。例えば表示パネル６にタッチセンサを配し、画面表示に対するユーザのタッチ操作で、操作入力が行われるようにしてもよい。
操作部５は図２の操作入力部２０５に相当する。
【００４９】
表示コントローラ７は、ＣＰＵ３１の制御に基づいて、表示パネル６に所要の表示動作を実行させる。また画像出力部１１から外部機器に表示画像信号を出力する処理を行う。
表示コントローラ７は、図２の画像処理／表示制御部２０２に相当し、表示パネル６は表示部２０３に、また画像出力部１１は画像出力部２０４に、それぞれ相当する。
表示パネル６は例えば図１（ａ）のように撮像装置１の筐体上に液晶パネルや有機ＥＬ（Electroluminescence）パネルなどとして設けられる。
画像出力部１１は、アナログ映像信号出力端子やデジタル映像信号出力端子などとして設けられる。
【００５０】
表示コントローラ７は、ＣＰＵ３１の制御に基づき、再生表示する画像データについて画像効果（画像エフェクト）を与える処理、及び画像データを表示出力する処理を行う。画像効果としては、画像表示に際しての輝度変化、カラーバランス変化、コントラスト変化などの表示パラメータを変化させたり、キャラクタ画像やイメージ画像等の画像合成処理などを行う。
この表示コントローラ７は、ＣＰＵ３１で決定された画像効果の種類又は効果量に応じて、再生する画像データに対してこれらの処理を行って、表示画像信号を生成する。
そして生成された表示画像信号が、表示パネル６で表示出力されたり、画像出力部１１から外部モニタ機器（例えば図１（ｂ）に示したモニタ装置１００）に出力されて表示されることになる。
これにより、画像データの再生に際して、環境情報に基づいて決定された種類又は効果量に応じた効果態様で、画像効果が与えられた表示が実行される。
また表示コントローラ７は、表示パネル６や外部のモニタ装置における表示動作として、記録媒体９０やフラッシュＲＯＭ３３から読み出した再生画像表示の他に、操作メニュー表示、各種アイコン表示、時刻表示なども行われるようにする。
【００５１】
媒体インタフェース１０は、ＣＰＵ３１の制御に基づいて、撮像装置１の内部にセットされたメモリカード（カード状のリムーバブルメモリ）等の記録媒体９０に対してデータの読出／書込を行う。例えば媒体インタフェース１０は、撮像結果としての静止画データや動画データについて記録媒体９０に記録する動作を行う。また再生モード時には画像データを記録媒体９０から読み出す動作を行う。
なお、ここでは記録媒体９０として可搬性のメモリカードを例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤを搭載して記録するようにしてもよい。
この記録媒体９０や上述したフラッシュＲＯＭ３３が、図２で言う画像格納部２００に相当する。即ち記録媒体９０や上述したフラッシュＲＯＭ３３において、画像データＰＣＴと環境情報ＣＩが、例えばフォルダＦＬＤ毎に格納される。
【００５２】
外部インタフェース８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。もちろんＵＳＢ方式に限らず、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４方式など、他の規格による外部インターフェースとしてもよい。
また、有線伝送方式ではなく、赤外線伝送、近距離無線通信その他の無線伝送方式で外部インターフェース８を構成しても良い。
撮像装置１は、この外部インターフェース８を介して、パーソナルコンピュータその他各種機器とデータ送受信を行うことができる。例えば撮像した画像データＰＣＴや環境情報ＣＩを外部機器に転送することができる。
【００５３】
ネットワークインターフェース２９は、例えばインターネット等のネットワークを介して外部のサーバ装置やウェブサイト等にアクセスするための通信処理を行う。ＣＰＵ３１は、ネットワークインターフェース２９を介したネットワーク通信により、所定のサーバ装置等から環境情報（例えば現在位置の天候、気温、場所の属性など）を取得することも可能である。
【００５４】
センサ部１２は、撮像装置１に搭載されうる各種センサを総括的に示している。本例では特に撮像時の環境情報を検出するセンサとされる。
例えば温度センサ、湿度センサ、外光光量センサ、紫外線光量センサ、風量センサ、風速センサ、風向センサ、速度センサ、加速度センサ、気圧センサ、水圧センサ、高度センサ、音量センサなどがセンサ部１２として搭載されることが想定される。
また、位置センサとして、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報を出力するＧＰＳ受信部などもセンサ部１２として設けることも考えられる。
【００５５】
［３．撮像時の処理及び環境情報例］
先に図２で、画像格納部２００には画像データＰＣＴと環境情報ＣＩが格納されると述べた。図３の撮像装置１の場合、撮像の際に、記録媒体９０又はフラッシュＲＯＭ３３において、画像データＰＣＴと環境情報ＣＩが記録されることになる。ここでは、このような記録を行う撮像時の処理について説明する。
【００５６】
図４は画像データＰＣＴ（ｘ）と、それに対応する環境情報ＣＩ（ｘ）を例示したものである。画像データＰＣＴ（ｘ）は、ユーザが例えば撮像装置１を用いて撮像した画像である。これに対して、環境情報ＣＩ（ｘ）が関連付けられる。
ここでは、環境情報ＣＩ（ｘ）の内容は、気温：２５℃、光量：１００００ルクス、紫外線光量：１００ルクス、湿度：４０％、風量：４ｍ／ｓとされている。
この環境情報ＣＩ（ｘ）の内容は、画像データＰＣＴ（ｘ）の撮像の際に得られた環境値である。つまり撮像者がその時点で感じている雰囲気（寒暖、明暗等）に応じた値となる。
撮像装置１は、撮像時において、画像データＰＣＴを記録するとともに、センサ部１２、画像解析部３５、画像信号処理部４１、ネットワークインターフェース２９、時計回路３４から、各種の環境値を取得し、環境情報ＣＩを生成する。
【００５７】
図５に、撮像装置１の撮像時の処理を示す。
撮像装置１は例えばパワーオンとなると、ステップＦ１でモニタリング動作を開始する。なお、ユーザが電源オフ状態から再生指示操作を行う場合など、パワーオンの際に再生動作状態となる場合もある。再生動作状態とは、後述するように撮像した画像を再生する場合であり、この場合の処理は図５では省略している。
ユーザが、通常に撮像装置１を用いて静止画等の撮像を行う場合は、撮像系２による撮像を行うための動作としてまずモニタリング動作が行われる。
【００５８】
このモニタリング動作とは、表示パネル６に被写体画像（スルー画）を表示させる動作である。
即ちＣＰＵ３１は、モニタリング動作においては撮像系２、カメラＤＳＰ４にそれぞれ撮像時に必要な動作を実行させる。そしてカメラＤＳＰ４から供給されるフレーム毎の撮像画像データを例えばＲＡＭ３２に取り込む。そしてこのフレーム毎の撮像画像データを表示コントローラ７に受け渡し、表示パネル６にモニタリング表示を実行させる。
このモニタリング動作により、ユーザは、表示パネル６の表示を見ながら、被写体を選択したり、シャッタータイミングを狙うこととなる。
ユーザがシャッタ操作を行っていない期間は、撮像終了（例えばパワーオフ）とならなければ、ステップＦ２→Ｆ６→Ｆ１としてモニタリング動作が継続される。
【００５９】
モニタリング処理中に、ユーザがシャッタ操作を行ったことを検出すると、ＣＰＵ３１はステップＦ３に進み、撮像画像記録処理を行う。
即ちＣＰＵ３１は、このシャッタ操作のタイミングで撮像される１フレームの撮像画像データを、静止画データとして保存する処理を行う。ＣＰＵ３１は当該タイミングで取り込んだ撮像画像データを媒体インターフェース１０に転送し、画像データＰＣＴとして記録媒体９０に記録させる。
なおシャッタ操作に応じた記録動作としては、記録媒体９０ではなく、フラッシュＲＯＭ３３において行うようにしてもよい。また、通常は記録媒体９０に記録するが、記録媒体９０が装填されていない場合はフラッシュＲＯＭ３３に記録するような動作方式でも良い。
【００６０】
またこのときＣＰＵ３１は、ステップＦ４で、その時点の環境値を取り込む。例えばセンサ部１２、画像解析部３５、画像信号処理部４１、ネットワークインターフェース２９、時計回路３４から、各種の環境値を取得する。
そしてステップＦ５でＣＰＵ３１は環境情報ＣＩを生成する。図４の例で言えば、例えばＣＰＵ３１はセンサ部１２における温度センサ、光量センサ、紫外線光量センサ、湿度センサ、風量センサから、気温、光量、紫外線光量、湿度、風量の各環境値を取り込んで、図示するような環境情報ＣＩを生成する。
そしてＣＰＵ３１は生成した環境情報ＣＩを、記録媒体９０（又はフラッシュＲＯＭ３３）に、画像データＰＣＴに関連づけした状態で記録させる。
【００６１】
撮像時には、この図５のような処理をＣＰＵ３１が行うことで、記録媒体９０やフラッシュＲＯＭ３３には、撮像された画像データＰＣＴと環境情報ＣＩが対応されて記録されることになる。
記録媒体９０等に記録された画像データＰＣＴについては、そのまま撮像装置１を再生モードの動作により表示パネル６で再生させることができる。その際にＣＰＵ３１は、再生する画像データＰＣＴに対応する環境情報ＣＩを用いて、画像効果を与える制御を行う（図１（ａ）の態様）。
また、画像効果を与えるようにした表示信号を画像出力部１１から外部のモニタ装置１００等に出力し、モニタ装置１００等で同様の表示を行わせることができる（図１（ｂ）の態様）。
さらに、記録媒体９０がメモリーカード等の可搬性記録媒体の場合は、記録媒体９０を画像再生装置１０１やパーソナルコンピュータ１０２等に装填し、記録されている画像データＰＣＴを再生させることができる。この場合に、画像再生装置１０１やパーソナルコンピュータ１０２において図２の制御部２０１，画像処理／表示制御部２０２としての構成を備えていることで、画像再生表示の際に、環境情報ＣＩに応じた画像効果を与えることができる（図１（ｃ）（ｄ）の態様）。
また、撮像装置１は、記録媒体９０やフラッシュＲＯＭ３３に記録された画像データＰＣＴと環境情報ＣＩを、外部インターフェース８によって画像再生装置１０１やパーソナルコンピュータ１０２に転送できる。その場合も画像再生装置１０１やパーソナルコンピュータ１０２での画像再生表示の際に、環境情報ＣＩに応じた画像効果を与えることができる（図１（ｃ）（ｄ）の態様）。
【００６２】
ここで実施の形態で想定される環境情報ＣＩの内容例及び取得経路について例示しておく。環境情報とは、撮像時にユーザ（カメラマン）が実際に感じる現場の状況を示す情報であり、撮像現場の雰囲気を表す各種情報である。以下の例が考えられる。
【００６３】
・光量（撮像時の外光光量値）
撮像時にユーザが明るさや暗さを感じる周囲の光量値である。光量値は、センサ部１２に光量センサを備えることで取得できる。また、撮像時には露光制御を行うために、画像信号処理部４１では撮像画像信号から輝度レベルを算出している。この画像信号の輝度から外光光量を推定算出することも可能である。さらに例えばＥＶ値、ＩＳＯ感度、絞り値、シャッタ速度、レンズ特性から算出することも可能である。また、位置情報（地域、屋外／屋内等）や天候情報（その地域の日照度や天気）を参照して、算出した光量値を補正することも考えられる。
【００６４】
・紫外線光量（撮像時の外光光量値）
撮像時の現場の紫外線光量であり、ユーザの感じるまぶしさに影響を与える。
紫外線光量値は、センサ部１２に波長フィルタを備えた光量センサを設けることで取得できる。また画像信号輝度レベル、位置情報、天候情報等を参照して紫外線光量を算出することも考えられる。
【００６５】
・温度、湿度
撮像時の現場の温度、湿度の情報であり、ユーザの感じる暑さ、寒さ、快適さ、不快さ等を示す指標となる。
温度、湿度の情報はセンサ部１２に温度センサ、湿度センサを設けることで取得できる。またインターネット等を介して、撮像現場の位置／日時に基づいて、撮像時の温度・湿度の情報を取得することも考えられる。
【００６６】
・風量、風速、風向
撮像時の現場の風の状況の情報であり、ユーザの感じる環境の１つの要素となる。
風量、風速、風向の情報はセンサ部１２に風量センサ等を設けることで取得できる。またインターネット等を介して、撮像現場の位置／日時に基づいて、撮像時の現場の風の状況の情報を取得することも考えられる。
【００６７】
・日時（時刻、時間帯、時期等）
撮像時の日時（時間情報）として、朝、昼、晩、夜、夜明け前などの時間帯の情報や、年、月、曜日、季節、祝日、平日などの情報は、ユーザが撮像時に感じる雰囲気を形成する要素となる。
この日時に関する情報は、時計回路３４の日時計数により得られる。撮像場所によって、時差を考慮して時刻を修正することも適切である。
【００６８】
・位置（緯度／経度、屋内／屋外、海中／海上、水中、高度等）
位置の情報として緯度／経度は、地図情報と合わせて具体的な場所、街、施設、地域、国等を把握できることになり、撮像現場の環境情報として有用である。さらに屋内／屋外、海中／海上、水中、高度等は、ユーザが直接的に撮像時に感じる雰囲気を作り出している情報であり、環境情報として有用である。
緯度・経度の情報は、センサ部１２にＧＰＳ受信器を備えることで取得できる。また緯度／経度の精度と地図情報によっては、屋内／屋外の判別や、海上の判別も可能である。ネットワークを介して位置に応じた屋内／屋外の情報を得ることもできる。
高度は、センサ部１２に高度センサを設けたり、或いは航空機等を考慮しないのであれば、緯度／経度の情報と地図情報によって高度を算出できる。
また屋内／屋外、海中／海上、水中などは、画像解析部３５による画像データＰＣＴの画像内容の解析によっても推定可能である。
【００６９】
・音(音量・音声情報等)
撮像現場の周囲の音量、人の音声の音量、自然音の音量などは、騒がしさ、賑やかさ、静かさなどの雰囲気の要素となる。
音量はセンサ部１２として音量センサを設けることで取得できる。また、音声解析部を設けて人の音声、自然音等を判別し、それらの音量測定を行うこともできる。
【００７０】
・速度および加速度（撮像側／被写体側）
撮像装置１やカメラマンの移動速度、被写体の移動速度も撮像時の雰囲気の要素となる。例えば車上で撮像している場合や、動きの速い被写体を撮像している場合などを判別できる。
撮像装置１やカメラマンの移動速度の情報は、センサ部１２に速度センサ、加速度センサ、角速度センサ等を設けることで取得できる。また被写体速度（撮像装置１との相対速度）は、画像解析部３５による解析、例えば前後フレームでの動体画像の位置比較などによって推定算出可能である。
なお、手ぶれ量も、撮像装置１自体の動きの情報となり得る。ブレ検出部１３によって得られる手ブレ量も環境情報ＣＩに加えることも考えられる。
【００７１】
・気圧、水圧
撮像時の気圧、水圧も撮像時の雰囲気の要素となる。
センサ部１２に気圧センサ、水圧センサを設けることで、これらの値を取得できる。また、位置情報と地図情報から、現場の高度を算出し、気圧を推定することも可能である。
【００７２】
・撮像方向
撮像時の被写体の方向（東西南北）も撮像画像についての撮像時の雰囲気の要素となる。
例えばセンサ部１２に方位センサを設けることで、撮像方向の情報を取得することができる。
【００７３】
・天気
晴れ、日照量、曇り、雨、降雨量、雨上がり後経過時間、雪、霧、雷、みぞれ、雹など、竜巻、台風、スモッグ等の天気に関する情報も撮像時の雰囲気の要素となる。
例えばインターネット等を介して、撮像日時と場所の情報から現場の天候情報を取得することができる。また、雨、雪、みぞれ、霞などは、画像解析部３５による解析によって判定可能である。
【００７４】
例えば以上のように多様な環境情報ＣＩの内容が想定される。もちろんこれら以外の内容も考えられる。これらの内容が環境情報ＣＩとして含まれればよい。
そして各情報は、センサ部１２の検出、画像解析部３５による画像内容からの判定、画像信号処理部４１による輝度等の検出、ネットワークインターフェース２９によるネットワークを介した取得、他の情報（位置情報等）を加味した判定などによって取得可能である。
【００７５】
［４．動的画像効果を与えるスライドショウ再生］
次に、環境情報ＣＩが対応付けられた画像データＰＣＴを再生させる際の画像効果を与える具体的な処理例を述べる。例えば撮像装置１が表示パネル６やモニタ装置１００において再生表示を行う場合の例として述べる。
【００７６】
撮像装置１に対してユーザが再生動作を指示する操作を行った場合、ＣＰＵ３１は再生動作モードとしての処理を行う。
この場合、ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録された画像を再生する処理を行う。ＣＰＵ３１は、ユーザの操作に応じて、記録媒体９０やフラッシュＲＯＭ３３に記録されている画像を読み出し、表示コントローラ７に指示して、表示パネル６でサムネイル画像や１枚の再生画像を表示させる制御を行う。このとき、単に画像データＰＣＴが再生表示されるだけでなく、環境情報ＣＩに応じた動的効果を与えた表示が行われるようにする。
動的な画像効果とは、再生時に撮像環境を髣髴させるための効果であって、静止画像の表示中に連続的な視覚的変化を生じさせる画像効果である。例えば画像効果の種類、画像効果の強度、画像効果の時系列的表現、及びそれらの組み合わせなどにより撮像時の環境を表現する。
【００７７】
以下、スライドショウ再生を行う場合の例で述べる。スライドショウ再生とは、例えばユーザが指定したフォルダ単位内などの複数の画像データＰＣＴを、順次再生させる動作である。再生対象の画像データＰＣＴは、記録媒体９０に記録されているとする。
また環境情報ＣＩは、上記のように多様な内容が考えられるが、ここでは一例として、温度、湿度、光量、紫外線光量を含むものとして説明する。
【００７８】
まず図６で基準値設定処理を説明する。基準値とは、再生時に与える動的な効果を決定する際に用いる値である。図６（ａ）（ｂ）（ｃ）に基準値設定処理例を示す。
図６（ａ）の例では、ＣＰＵ３１は、ステップＦ１０１で記憶された全画像の環境情報を読み出す。例えばその時点で記録媒体９０に格納されている全ての画像データＰＣＴに対応する全ての環境情報ＣＩを読み出す。
そしてＣＰＵ３１はステップＦ１０２で、各環境情報ＣＩの項目毎に平均値を算出する。温度、湿度、光量、紫外線光量を環境情報ＣＩの内容とする場合、温度、湿度、光量、紫外線光量の各項目について、それぞれ平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を算出する。
ステップＦ１０３でＣＰＵ３１は、算出した各平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を、それぞれの項目についての基準値として設定する。
【００７９】
図６（ｂ）は他の基準値設定処理例であり、この場合ＣＰＵ３１は、ステップＦ１１１で、再生対象とされた全画像の環境情報を読み出す。例えばスライドショウ再生は、ユーザが或るフォルダＦＬＤ１を指定して再生指示した場合、フォルダＦＬＤ１内の全画像データＰＣＴを順次再生させる動作となる。また複数のフォルダＦＬＤ１、ＦＬＤ２を指定して再生指示した場合、フォルダＦＬＤ１、ＦＬＤ２内の全画像データＰＣＴを順次再生させる動作となる。さらに、或るフォルダＦＬＤ１内の一部をユーザが指定した場合は、当該一部に含まれる画像データＰＣＴを順次再生させる。ステップＦ１１１では、ユーザの指定に応じた範囲で、再生対象となる全ての画像データＰＣＴに対応する全ての環境情報ＣＩを読み出す。
ＣＰＵ３１はステップＦ１１２で、読み出した各環境情報ＣＩの項目毎に平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を算出する。そしてステップＦ１０３でＣＰＵ３１は、算出した各平均値（平均温度、平均湿度、平均光量、平均紫外線光量）を、それぞれの項目についての基準値として設定する。
つまり図６（ａ）との違いは、基準値設定のための平均値算出範囲を、今回のスライドショウ再生での再生対象のみに絞ったことである。
【００８０】
図６（ｃ）はさらに他の基準値設定処理例である。この場合ＣＰＵ３１は、ステップＦ１２１で、現在の環境値を検出する。現在とは、スライドショウ再生を実行しようとしている現時点である。例えばセンサ部１２から、各環境情報ＣＩの項目に応じた現在の環境値として、現在の温度、湿度、光量、紫外線光量を検出する。そしてステップＦ１２２でＣＰＵ３１は、検出した各環境値（温度、湿度、光量、紫外線光量）を、それぞれの項目についての基準値として設定する。
【００８１】
例えばこのような基準値設定処理が、スライドショウ再生に先立って行われる。なお、この図６（ａ）の処理を行う場合は、特にスライドショウ再生の際に行わなくとも、記録媒体９０が装填された時点、或いは撮像によって新たに記録媒体９０に画像データＰＣＴ及び環境情報ＣＩが記録された時点などに行っておいてもよい。
【００８２】
ユーザが再生範囲（例えばフォルダ等）を指定してスライドショウ再生を指示する操作を行った場合のＣＰＵ３１の処理を図７に示す。
スライドショウ再生の指示操作に応じて、ＣＰＵ３１は処理をステップＦ２０１からＦ２０２に進める。そしてスライドショウ再生の準備処理を行う。例えばユーザの入力に応じてスライドショウ再生を行う範囲を決定する。また１枚の画像の再生時間や再生順序などを設定する。
また、上記基準値設定処理として図６（ｂ）又は図６（ｃ）の処理を行う場合は、この段階で基準値設定処理を行うことが考えられる。
さらに、最初に表示させる画像データＰＣＴ及び対応する環境情報ＣＩを記録媒体９０から読み出し、ＲＡＭ３２に取り込む。
【００８３】
再生準備を終えたら、ステップＦ２０３に進み、再生対象とされた範囲で最初の画像データＰＣＴからの再生を開始する。即ち記録媒体９０から読み出した最初の画像データＰＣＴを表示コントローラ７に転送し、表示コントローラ７に表示パネル６（又はモニタ装置１００）での表示を実行させる。
なお、この図７の例では、順次再生させる前後の画像の環境情報の差分に応じて動的効果を与えるものとするため、最初の画像については通常に表示（特に画像効果を与えない表示）をさせるものとするが、最初の画像から動的効果を与える例も考えられる。
【００８４】
ステップＦ２０４の再生終了判断は、スライドショウ再生としての一連の画像再生の途中でユーザが表示終了の操作入力を行った場合に再生終了と判断するものである。
再生終了操作が検知されていなければ、ＣＰＵ３１はステップＦ２０５に進み、次の再生対象画像についての準備処理を行う。
ステップＦ２０３でスライドショウ再生が開始され、最初の画像データＰＣＴについての再生表示が行われているときは、ステップＦ２０５で、２番目に再生表示する画像データＰＣＴについての準備処理を行う。この場合、２番目に再生表示する画像データＰＣＴを特定し、その画像データＰＣＴ及び環境情報ＣＩを記録媒体９０から読み出して例えばＲＡＭ３２に取り込む。
【００８５】
続いてステップＦ２０６で、ＲＡＭ３２に取り込んだ再生対象の画像データＰＣＴについての効果算出を行う。つまり当該画像データＰＣＴを表示させる際に、動的画像効果を与えるか否か、また動的画像効果を与える場合は、その画像効果の種類や効果量、画像効果のかけ方を決定する。この決定は、当該画像データＰＣＴの環境情報ＣＩと、前の画像データＰＣＴ（つまり現在静止画表示されている画像データ）の環境情報ＣＩの比較に基づいて決定する。
効果算出処理の例は図８〜図１１で後述する。
【００８６】
その後ＣＰＵ３１はステップＦ２０７でスライドショウの画像切替タイミングを待機する。例えばスライドショウ再生の１枚当たりの表示時間が６秒であれば、現在表示中の画像の表示開始から６秒経過までを待機する。切替タイミングとなったら、ステップＦ２０８に進み、次の再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ２０６で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に動的画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
【００８７】
ステップＦ２０９では、次の再生対象画像の有無を判断する。スライドショウ再生としての一連の画像再生の全てについて再生が完了し、次の再生対象画像がない場合はステップＦ２０９から処理を終える。まだスライドショウ再生が完了しておらず、次の再生対象画像が存在する場合は、ステップＦ２０４に戻り、ステップＦ２０５で次の再生対象画像の準備処理を行う。なお、スライドショウ再生が繰り返しリピートして行われる場合は、全画像を再生完了したら、次に最初の画像データＰＣＴの再生を行うため、最後の画像表示を行っている場合でも、ステップＦ２０９からＦ２０４に戻ることになる。
【００８８】
このようなスライドショウ再生の過程において、ＣＰＵ３１はステップＦ２０６で動的画像効果を決定し、ステップＦ２０８での制御によって表示コントローラ７が動的画像効果を与えた画像表示を実行させる。
以下、ステップＦ２０６の画像効果算出処理の例を詳しく説明する。
【００８９】
図８（ａ）は再生対象画像についての画像効果算出処理例である。図８（ｂ）は図８（ａ）の各ステップで算出する具体的な数値例を示している。
図８の例では、次の再生対象画像の環境情報ＣＩと、前の再生対象画像（表示中の画像：以下「前画像」という）の環境情報ＣＩの各項目の値を体感環境情報値に変換し、その差分に基づいて画像効果を決定するものとしている。
【００９０】
まずステップＦ３０１でＣＰＵ３１は、前画像及び再生対象画像の環境情報ＣＩを取り込む。例えば図７のステップＦ２０５（Ｆ２０２）で記録媒体９０からＲＡＭ３２に取り込んだ前画像及び再生対象画像の環境情報ＣＩを取得する。
例えば図８（ｂ）のように、前画像について温度：２５℃、湿度：１０％、光量１００００ルクス、紫外線光量１００ルクスという各項目の値と、再生対象画像について温度：４０℃、湿度：６０％、光量１０ルクス、紫外線光量０ルクスという各項目の値を取得する。
【００９１】
次にステップＦ３０２でＣＰＵ３１は、取得した環境情報ＣＩの値を体感環境情報に変換する。例えば体感環境情報として、体感温度と体感光量を算出する。図９（ａ）に体感環境情報の算出式を示す。
体感温度Ｍは、温度ｔ、湿度ｈを用いて、
Ｍ＝ｔ−（１／２．３）×（ｔ−１０）×（０．８−（ｈ／１００））
で算出できる。
また体感光量Ｎは、光量α、紫外線光量βを用いて、
Ｎ＝α＋β×１００
で算出できる。
このような算出式により、例えば図８（ｂ）のように、前画像については体感温度：２１℃、体感光量：２００００ルクスと算出される。再生対象画像については体感温度：３７℃、体感光量：１０ルクスと算出される。
【００９２】
ＣＰＵ３１はステップＦ３０３では、各体感環境情報を数値上昇量が体感量に応じるよう、環境変化体感量に変換する。そしてステップＦ３０４で、各環境変化体感量同士を比較可能となるように正規化する。
例えば図９（ｂ）は、体感温度を環境変化体感量に変換し、さらに正規化されたポイント値ｐｔとする関係を示し、図９（ｃ）は、体感光量を環境変化体感量に変換し、さらに正規化されたポイント値ｐｔとする関係を示している。
体感温度を環境変化体感量に変換することとは、人の温度変化に対する感覚を反映させる処理である。例えば２０℃から１０℃に１０℃変化した場合、人は敏感に「寒くなった」という温度変化を感じるが、−１０℃から−２０℃に変化しても、同じ１０℃変化でありながら、どちらも「とても寒い」という感覚であって、その温度変化を敏感に感じるものではない。明暗についても同様の感覚がある。
本実施の形態は、撮像時のユーザの感覚を動的画像効果に反映させることから、このような感じ方の差も反映させることが好適である。
そこで、図９（ｂ）（ｃ）のようなカーブを設定し、人の温度や明暗に対する感覚を環境変化体感量として反映させ、かつポイント値ｐｔとして正規化する。
【００９３】
例えば図８（ｂ）のように、前画像の体感温度：２１℃については、図９（ｂ）の変換により、６７ｐｔとされる。再生対象画像の体感温度：３７℃は、同じく図９（ｂ）の変換により８８ｐｔとされる。
また前画像の体感光量：２００００ルクスについては、図９（ｃ）の変換により、９０ｐｔとされ、再生対象画像の体感光量：１０ルクスは、同じく図９（ｃ）の変換により１０ｐｔとされる。
【００９４】
次にＣＰＵ３１はステップＦ３０５で、正規化後の各環境変化体感量の変化、つまり前画像と再生対象画像での各環境変化体感量の差分として。体感温度差と体感光量差を算出する。
体感温度差は、８８ｐｔ−６７ｐｔ＝＋２１ｐｔとなる。
体感光量差は、１０ｐｔ−９０ｐｔ＝−８０ｐｔとなる。
【００９５】
ステップＦ３０６ではＣＰＵ３１は、基準値を考慮し、各体感環境情報毎に画像効果の種類を決定する。基準値とは先に述べたように図６の処理で設定した値である。
この画像効果の決定には、例えば図１０のような効果テンプレートを用いる。効果テンプレートは、予め設定され、例えばフラッシュＲＯＭ３３等に記憶されていることで、ＣＰＵ３１が逐次利用できるようにされている。
【００９６】
図１０の効果テンプレートは、体感温度と体感光量に関する内容を有する例としており、変化、基準値との関係、実行する最低ポイント、効果種類、効果の詳細を示している。
変化とは、体感温度や体感光量の変化が上昇であるか下落であるかで場合分けを行う条件設定となる。
基準値との関係は、体感温度や体感光量が変化した後に、基準値以上となっているか基準値未満であるかで場合分けを行う条件設定である。
実行する最低ポイントとは、変化の絶対値により、変化量が最低ポイント未満であれば画像効果を与えないとする条件設定である。この例では、体感温度について２０ｐｔ、体感光量について３０ｐｔとしている。
【００９７】
効果種類は、動的効果として表現したい雰囲気を規定する。
効果の詳細は、効果種類で示される雰囲気を表現するための動的効果の内容（効果の種類や効果量、時系列的表現等）を示すものである。
効果の詳細として、序盤、中盤、終盤とは、スライドショウ再生での静止画表示時間を３つの期間に分けた例である。例えば上記のように１枚の再生表示時間が６秒であれば、２秒ごとの期間を序盤、中盤、終盤とする。
例えば「暑くなった」の効果の詳細は、序盤は効果なし、中盤で色温度を徐々に低下させるとともに明るさ（画像輝度）を徐々に増加させ、終盤は効果なしとする設定としている。
【００９８】
体感温度については、「変化」の条件で、前画像と再生対象画像についての変化で上昇であるか下落であるかが分けられる。つまりステップＦ３０５で算出した体感温度差が正値であるか負値であるかである。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感温度差が絶対値で例えば２０ｐｔ以上であるときに画像効果を与えること等が決められる。
【００９９】
例えば図８（ｂ）の例のように体感温度差が＋２１ｐｔとなっている場合、体感温度は「上昇」であり、また実行する最低ポイント（２０ｐｔ）以上であるため、動的効果実行とされる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報ＣＩの内容である温度（４０℃）、もしくはステップＦ３０２で算出した体感温度（３７℃）を比較する。
例えば基準値としての温度が２３℃に設定されていたとすると、再生対象画像についての温度又は体感温度は、この場合、上昇後に基準値以上になったことになり、効果種類は「暑くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
【０１００】
また体感光量については、「変化」の条件で、前画像と再生対象画像についての変化で上昇であるか下落であるかが分けられる。つまりステップＦ３０５で算出した体感光量差が正値であるか負値であるかである。
変化が上昇の場合は、上昇によって基準値以上となったか、或いは上昇しても基準値未満のままであるかで条件分けを行う。
変化が下落の場合は、下落によって基準値以上のままか、或いは下落して基準値未満となったかで条件分けを行う。
また実行する最低ポイントにより、例えば体感光量差が絶対値で例えば２０ｐｔ以上であるときに画像効果を与えること等が決められる。
【０１０１】
例えば図８（ｂ）の例のように体感光量差が−８０ｐｔとなっている場合、体感光量は「下落」であり、また実行する最低ポイント（３０ｐｔ）以上であるため、動的効果実行とされる。
基準値との比較については、基準値に対して、再生対象画像についての環境情報ＣＩの内容である光量（１０ルクス）、もしくはステップＦ３０２で算出した体感光量（１０ルクス）を比較する。
例えば基準値としての温度が１０００ルクスに設定されていたとすると、再生対象画像についての光量又は体感光量は、この場合、下落後基準値未満となったことになり、効果種類は「暗くなった」と決定される。従って動的画像効果の内容が効果の詳細に示すように具体的に決定される。
【０１０２】
ＣＰＵ３１は例えば以上のように効果テンプレートを用いて体感温度、体感光量に関する効果の内容を決定する。
次にステップＦ３０７でＣＰＵ３１は、体感変化の大きい順に環境情報の優先順位付けを行う。この場合、体感温度と体感光量の優先順位を決めることになる。
図８（ｂ）の例では、変化量としては体感温度は２１ｐｔ、体感光量は８０ｐｔであるため、体感光量が第１優先、体感温度が第２優先と決定する。つまり「暗くなった」という効果を最優先とし、「暑くなった」という効果を２番目とする。
【０１０３】
ステップＦ３０８では、優先順位順に、環境情報変化の効果の親和性を確認する。これは親和性に応じて、効果をどのよう重複してかけるか、或いは優先順位の低い方の効果を反映しないかという、複数の効果種類についての実行する画像効果への反映のさせ方を決める処理である。
【０１０４】
図１１に親和性と優先度の低い画像効果の強度の設定内容例を示す。
図１１では、縦方向と横方向の各効果「暑くなった」「寒さが緩和された」「暑さが緩和された」「寒くなった」・・・「暗くなくなった」の関係を示している。
「×」は、例えば「暑くなった」と「寒くなった」など、第１優先、第２優先の各効果として起こりえないケースである。
「なし」は第１優先、第２優先の各効果が親和性がないケースである。親和性がないとは、具体的な画像効果として重複して反映させる必要がないケースといえる。例えば第１優先、第２優先の各効果が「寒さが緩和された」と「暗くなくなった」であるときは、第２優先の効果は考慮しないという場合である。
「１％」〜「９９％」の数値は、親和性があり、その場合に優先度の低い効果の強度（効果量の低減量）を示している。例えば第１優先、第２優先の各効果が「寒くなった」と「暗くなった」であるときは、第２優先の効果「暗くなった」については、その効果量を図１０の効果テンプレートの効果の詳細で規定される効果量の５０％とするという意味である。
【０１０５】
図８（ｂ）の例でいえば、第１優先は「暗くなった」であり、第２優先は「暑くなった」である。この場合、図１１の関係でいえば、第２優先について「１０％」とされることになる。つまり「暑くなった」という効果に関しては、効果テンプレートの効果の詳細で規定される効果量の１０％とすることになる。
【０１０６】
最後にＣＰＵ３１はステップＦ３０９で、変化量と優先順位の効果同士の相性から、実行する画像効果の種別と、各効果の強度を決定する。
図８（ｂ）の例でいえば、第１優先は「暗くなった」と、１０％効果量とされた第２優先は「暑くなった」により、具体的な画像効果の種類や効果量を決定する。
例えば序盤は明るさを８０ｐｔ×１％に減少させ、シャープネスを８０ｐｔ×０．５％に減少させる。図１０の効果テンプレートでは、序盤については「暑くなった」は効果無しであるため、「暗くなった」の序盤の効果のみが実行されるようにすることとなる。
中盤は、「暗くなった」は徐々に戻していくという効果が設定されているため、これをそのまま反映される。一方「暑くなった」については色温度を徐々に減少、明るさを徐々に増加という内容であるが、第２優先であるため効果量に「１０％」を乗ずる。従って、。色温度は２１ｐｔ×０．１％づつ徐々に減少させていく。明るさについては２１ｐｔ×０．０２％増加となる。但しこの０．０２％の増加は、あまりに小さい効果量であるため、実行しないとする。
終盤は、「暗くなった」「暑くなった」のいづれも効果なしとされているため、効果無しとする。
【０１０７】
図７のステップＦ２０６では、以上の図８（ａ）のように再生対象画像についての具体的な画像交換種類や効果量、時系列表現を決定する。
ＣＰＵ３１は、この決定した画像効果をステップＦ２０８で表示コントローラ７に指示することになる。表示コントローラ７は、当該再生対象画像を表示パネル６に表示させる際に、表示パラメータ（明るさ、色温度、シャープネス、コントラスト等）を変化させることや画像合成処理を行うなどで、指示された画像効果を与えた表示制御を行うことになる。
【０１０８】
このような処理により、撮像された画像データのスライドショウを見ている人が、撮像時の雰囲気の変化を感じることができるようになる。特に画像効果の決定を、再生対象画像と前画像の環境情報ＣＩの比較に基づいて決定することで、スライドショウで順次再生される画像において、各画像の撮像時の雰囲気の変化、撮像者が体感した変化を適切に表現できる。このことで「思い出を思い出させる」、「感動を伝える」などの写真やビデオが本来持つ効果をより有効化でき、写真等の画像再生における新たな楽しみを創出できる。
【０１０９】
なお、以上はスライドショウ再生における処理として示したが、スライドショウ再生ではなく、通常のユーザの画面送り操作に応じてフォルダ内の各画像データを順次再生するような場合も、上記処理は同様に適用できる。
また効果決定の処理では、環境情報ＣＩの内容から体感環境情報を求め、体感環境情報に応じて効果の種類や効果量等を決めることとしたが、体感環境情報ではなく、環境情報ＣＩの各項目の値（温度、光量等）をそのまま用いて効果決定を行ってもよい。
【０１１０】
［５．画像効果例］
実際の画像効果の例を説明していく。
図１２〜図１５は、上記図８〜図１１で画像効果が決定された場合の例である。
例えば図１２は、スライドショウ再生の過程で、現在、画像データＰＣＴ１が表示されており、次の再生対象画像として画像データＰＣＴ２を表示する場合である。画像データＰＣＴ１、ＰＣＴ２について、それぞれの環境情報を例示している。光量については、画像データＰＣＴ１が１００００ルクス、画像データＰＣＴ２が１０ルクスであったとする。
撮像時のユーザの状況としては、画像データＰＣＴ１は屋外の或る場所で撮像し、その後、洞窟などの暗いところに入ったときに画像データＰＣＴ２となる次の撮像を行ったような場合である。
【０１１１】
図面下部の破線内が、動的画像効果を与えた表示画面の移り変わりの様子を示している。これは、画像データＰＣＴ１から画像データＰＣＴ２の環境情報に基づいた図８の効果算出処理で、「暗くなった」という画像効果が与えられることとなった場合の例である。
この画像効果は、ユーザが撮像時に体感した雰囲気を再現するものである。即ちユーザは、それまで明るい屋外にいた後に洞窟に入ることで、非常に暗く感じる。このときにユーザが感じる暗さの感覚、即ち暗い所に移動した際、入る前は景色が見えていたが、入ると暗くて見えず、しばらくして徐々に瞳孔が慣れ、見えるようになる状況を、動的画像効果により表現する。
破線内に示すように、スライドショウ再生の切替タイミングで、画像データＰＣＴ１の表示から画像データＰＣＴ２（＃１）の表示に切り替わる。その直後、画像データＰＣＴ２の表示は、輝度及びシャープネスが下げられ画面が暗くなる（＃２）。これは人が暗所に入った際、はじめは暗くて周りが見えなくなる現象を、輝度を下げるという動的な効果で表すものである。また暗所ではものがはっきり見えないので、シャープネスも減少させる。
その後、明るさ及びシャープネスが徐々に戻されていく（＃３）。少しづつ目がなじみ、徐々に周りが見えるようになってくる現象を動的な効果で表現している。最後に通常の表示に戻る（＃４）。これは目がなじみ、周りが観察できるようになる現象を表現している。
【０１１２】
図１３は、次に画像データＰＣＴ２から画像データＰＣＴ３に変わったときの様子を示している。前画像である画像データＰＣＴ２の光量は１０ルクス、再生対象画像である画像データＰＣＴ３の光量は８００００ルクスであり、「眩しくなった」という動的効果をかける場合となる。ユーザの撮像時の状況は、洞窟から明るい場所に出た場合となる。
破線部内の表示画像の変化は、まぶしい所に出た際、一瞬景色が見えた気がした後、まぶしさで見えなくなるが、徐々に瞳孔が慣れて見えるようになる状況と、明るいところでは輪郭がハッキリし、明るく鮮やかに見える状況の再現のための動的画像効果をかけた例である。
【０１１３】
破線内に示すように、スライドショウ再生の切替タイミングで、画像データＰＣＴ２の表示から画像データＰＣＴ３（＃１）の表示に切り替わる。
直後、全体輝度が非常に高くされる効果がかけられる（＃２）。これは人が明るい所に出た際に、目が眩み、モノが見難くなる現象を、動的な効果で表している。
その後、目がなじみ、徐々に周りが見えるようになってくる現象を、輝度を徐々に戻すという動的な効果で表現する（＃３）。そして最後にシャープネス、明るさ、彩度を適切な値とし、明るいところでは、ものがハッキリ、明るく、鮮やかに見える現象を表現する（＃４）。
【０１１４】
次に図１４は、暑い所に移動した時の写真を表示する際の処理例である。
前画像となる画像データＰＣＴ１０は、環境情報の「気温」が２５℃で、この写真は２５℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データＰＣＴ１１は、環境情報の「気温」が４５℃で、この写真は４５℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、暑いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データＰＣＴ１０から画像データＰＣＴ１１の表示に切り替わる（＃１）。
暑さを表現するためには例えば、色温度を低く、明るさを増加させ、シャープネスを減少させる。
暑い所に移動した際、温度によってはすぐ「暑い」と思う場合より、しばらくしてジワジワ暑く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする（＃２）。その後、少しづつ感覚の認識が進み暑くなってくる現象の表現として、徐々に色温度を下げ、明るさを上げ、シャープネスを下げていく（＃３）。そして最後に暑いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる（＃４）。
【０１１５】
図１５は、寒い所に移動した時の写真を表示する際の処理例である。
前画像となる画像データＰＣＴ２０は、環境情報の「気温」が２５℃で、この写真は２５℃の環境下で撮られた写真だということが表されている。一方、次の再生対象画像として準備される画像データＰＣＴ２１は、環境情報の「気温」が３℃で、この写真は３℃の環境下で撮られた写真だということが表されている。
この場合の図中破線部内の表示画像の変化は、寒いところに移動した際、視覚での状況認知後、皮膚にじわりと温度変化を感じる状況を再現する例である。
まず画像データＰＣＴ２０から画像データＰＣＴ２１の表示に切り替わる（＃１）。
寒さを表現するためには例えば、色温度を高く、明るさを減少させ、シャープネスを増加させる。
寒い所に移動した際、温度によってはすぐ「寒い」と思う場合より、しばらくしてジワジワ寒く感じていくことが多い。そこで始めは色温度、明るさ、シャープネスの変化量を小さくする（＃２）。その後、少しづつ感覚の認識が進み寒くなってくる現象の表現として、徐々に色温度を上げ、明るさを下げ、シャープネスを上げていく（＃３）。そして最後に寒いところにいるという感覚がさらにハッキリつたわるように最も色温度等のパラメータの変化量が大きくなった状態となる（＃４）。
【０１１６】
以上の図１２〜図１５は、例えば図１０の効果テンプレートで決定された画像効果に応じて、表示コントローラ７が明るさ（輝度変化（明暗））、色温度、シャープネス(輪郭強調、ぼかし）等の表示パラメータを時間軸方向に動的に変更することで実現する。
画像データＰＣＴについて、表示パラメータによる画像効果としては、さらに、カラーバランス変化、画像特殊効果（ゆらぎ、うごき、変形等）、コントラスト変化、彩度変化、などを行うことが考えられる。またガンマ値変化、解像度変化、画像重複（透明の同じ画像をずらして重ねる）、ノイズ追加、色階調変化、光源強化（白い部分が広がっていく等）などを行うことも考えられる。
なお、これらの動的画像効果は、画像データ自体には変更を与えずに、表示画面上で視覚的な動的変化を与えるものである。
画像データ自体を変更せずに表示画像を変化させるという意味で、輝度、色温度、シャープネス等の表示パラメータを動的に変化させる例を述べたが、表示パラメータ変化以外に画像データ自体を変更しないで表示画像を変化させる手法も考えられる。例えば表示パネルのバックライトの輝度を動的に変更する場合もこれに相当する。
【０１１７】
また撮像時の雰囲気を再現する画像効果の例としてはさらに多様な例がある。例えば表示する画像データ自体に変更を加えたり、表示画像を追加するといった手法も考えられる。図１６〜図２０で他の画像効果例を例示する。
【０１１８】
図１６は画像合成により動的画像効果を与える例である。即ち画像合成処理によって表示対象の画像データ自体を変化させていく例である。
例えば前画像となる画像データＰＣＴ３０は、環境情報の「天気」が曇りであり、次の再生対象画像として準備される画像データＰＣＴ３１は、環境情報の「天気」が雨であったとする。
この場合の図中破線部内の表示画像の変化は、画像データＰＣＴ３１の撮像時に雨が降ってきた状況を画像合成により再現する例である。
まず画像データＰＣＴ３０から画像データＰＣＴ３１の表示に切り替わる（＃１）。
雨が降り始めたことを表現するために、画像データＰＣＴ３１に雨滴の画像を合成するという手法を採る。即ち画像データＰＣＴ３１の表示に切り替わった後、徐々に雨滴画像の合成量を増やしていくことで、表示上で徐々に雨滴が多くなるようにする（＃１→＃２→＃３→＃４）。
このような動的画像効果により、撮像時の状況を表現できる。
【０１１９】
雨滴以外にも、天候に応じて各種の画像合成例が考えられる。例えば環境情報が曇りから晴れに変化する際に、日が射す画像（日光の光線の画像）を合成したり、雨があがった時の画像に、虹の画像を合成することなどである。
【０１２０】
図１７は、画像合成による静的な画像効果として日付表示を加える例である。
前画像となる画像データＰＣＴ４０は、環境情報の「日付」が２００８年５月２日であり、次の再生対象画像として準備される画像データＰＣＴ４１は、環境情報の「日付」が２００８年５月３日であったとする。
この場合の図中破線部内には、スライドショウ再生で画像データＰＣＴ４０→ＰＣＴ４１→ＰＣＴ４２→ＰＣＴ４３が順次再生されていく場合を示しているが、日付が変わるタイミング、即ち画像データＰＣＴ４１の表示のタイミングで、日付を合成する。
このような画像効果により、スライドショウ再生中に一連の再生画像の途中で日付が変わったこと、つまりユーザにとっては、画像データＰＣＴ３１からが次の日の撮像によるものであることを提示し、撮像時の感覚を思い起こさせるものとなる。
【０１２１】
環境情報としての日付を用いる例として図１８の画像効果も考えられる。
この図１８は、撮像した画像データ自体に画像効果をかけるのではなく、スライドショウ再生の過程において挿入画像を表示させる例である。
例えば例１としての破線部内に示すように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、挿入画像として、画像データＰＣＴ４１の日付「２００８年５月３日」を示した画像を挿入する。
また例２のように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、画像データＰＣＴ４０の日付を示した挿入画像＃１と、画像データＰＣＴ４１の日付を示した挿入画像＃２が順次切り替えて表示され、その後画像データＰＣＴ４１を表示する。
このような画像効果によっても、スライドショウ再生中に一連の再生画像の途中で日付が変わったことをユーザに提示でき、撮像時の感覚を思い起こさせる。
【０１２２】
図１９は動的画像効果と静的画像効果を組み合わせた例である。
画像データＰＣＴ４０，ＰＣＴ４１の環境情報としては上記図１７，図１８と同様に日付を用いる。
図中破線部内に示すように、画像データＰＣＴ４０からＰＣＴ４１に切り替わる際に、画像データＰＣＴ４０をフェードアウトさせる（＃１→＃２→＃３）。
またフェードアウト後、画像データＰＣＴ４１に切り替えるが、このとき、日付表示を合成する。
このようなフェードアウトとしての動的画像効果により、この写真（ＰＣＴ４０）で一日が終わり、次の写真（ＰＣＴ４１）から次の日の撮像による写真であることをユーザに認識させ、撮像当時の雰囲気を思い起こさせることができる。
【０１２３】
図２０（ａ）は、環境情報としての「位置」に応じた静的画像効果を付加する例である。画像データＰＣＴ５１は、成田空港で撮像した画像とする。画像データＰＣＴ５２はハワイ到着後に撮像した画像とする。
この前後の画像の位置情報が「成田空港」「ハワイ」で異なる場合に、画像データＰＣＴ５１の再生時には「成田空港」という文字画像を合成する。そして画像データＰＣＴ５２に切り替えた後は、画像データＰＣＴ５２に「ハワイ到着」という文字画像を合成する。これによってユーザに撮像場所の変化を提示でき、旅行時の感覚を思い起こさせる。
図２０（ｂ）は、画像データＰＣＴ５１、ＰＣＴ５２の表示の際に、位置情報が異なることに応じて挿入画像を表示させる例である。
この場合、挿入画像として地球の画像を表示し、当該地球画像上で赤丸Ｒなどのポインタを成田からハワイへ移動させるようにする。このような表示によって、ハワイへの移動を実感させることができる。
【０１２４】
ここまで各種の画像効果例を示したが、もちろん画像効果（動的画像効果、静的画像効果、及びこれらの組合せ）については各種考えられ、環境情報の種別によっても画像効果は多様となる。
例えば風量、風速などの環境条件に応じて、画面を揺らす、木の葉が飛んでいる画像を加えるなどが考えられる。
また位置が「水上」であるときは、水しぶきの画像がランダムに加わるといった効果が考えられる。
また未明、朝、昼、夕方、夜などの時間帯の進行に伴って、基本的な表示画像のトーン（輝度や色温度など）を変化させるといった効果も考えられる。
また歓声やざわめきなどの音量によって、擬音文字の画像を加えるといった画像効果も考えられる。
【０１２５】
［６．スライドショウ選択再生］
続いてスライドショウ選択再生の動作について説明する。
上述したスライドショウ再生では、ユーザのフォルダ指定などに応じて、再生対象の画像データが順次再生されるものとしたが、スライドショウ選択再生とは、再生対象とする画像データＰＣＴの選択に条件設定を行うものである。そしてそのようなスライドショウ選択再生の過程で撮像時の雰囲気を彷彿させる画像効果を与える。
また画像効果の決定には上述した例と同様に効果テンプレートを用いることとするが、ここでは前後の画像データの環境情報を考慮して効果テンプレートの内容の設定変更を行う処理も加える例とする。
【０１２６】
スライドショウ選択再生の際のＣＰＵ３１の処理を図２１に示す。
まずステップＦ４０１としてスライドショウ実行設定処理を行う。このスライドショウ実行設定処理を図２２（ａ）に示す。
ＣＰＵ３１は図２２（ａ）のステップＦ４５１として、表示コントローラ７に指示し、表示パネル６（又はモニタ装置１００）にスライドショウ実行設定画面を表示させる。
スライドショウ実行設定画面とは、ユーザがスライドショウ再生の対象とする画像の選択条件を設定する画面であり、例えば図２５（ａ）のような画面とする。ここでは「再生対象」「再生画像の特徴」「再生する画像の品質基準」としての各項目の内容をプルダウンメニューで選択できるものとしている。またスライドショウ開始ボタン、キャンセルボタン等が表示される。
【０１２７】
ＣＰＵ３１はステップＦ４５２で、このスライドショウ実行設定画面に対するユーザ入力の受付処理を行う。
スライドショウ実行設定画面に対する内容の例を図２５（ｂ）に示す。
例えば「再生対象」の項目に関しては、オプションとして「すべて」「同じフォルダ」「同じ日付」をユーザが選択できるようにする。
「すべて」は、全ての画像データＰＣＴを再生対象とする設定である。
「同じフォルダ」は、現在の表示写真と同じフォルダ内の写真（画像データＰＣＴ）を再生グループとする設定である。
「同じ日付」は、現在の表示写真と同じ日付の写真（画像データＰＣＴ）を再生グループとする設定である。
【０１２８】
「再生画像の特徴」の項目に関しては、オプションとして「すべて」「赤ちゃん」「人物」をユーザが選択できるようにする。
「すべて」は画像内容の特徴では制限しない設定である。
「赤ちゃん」は赤ちゃんが写っている写真のみを再生する設定である。
「人物」は人物が写っている写真のみを再生する設定である。
もちろんこれ以外にも、「風景のみ」「風景を主とする写真」「自然物を主とする写真」「人工物を主とする写真」などの設定例も考えられる。
【０１２９】
「再生する画像の品質基準」の項目に関しては、オプションとして「手ブレしていない」「すべて」「構図が適切」「おまかせ」をユーザが選択できるようにする。
「手ブレしていない」は、手ブレ量が一定以上の写真は再生しない設定である。
「すべて」は画像の品質では制限しない設定である。
「構図が適切」は構図が悪いもの、例えば顔の一部がフレームの隅で切れているものなどを再生しない設定である。
「おまかせ」は所定の条件で自動判定を行う設定である。
これら以外にも「ピンぼけしていない」「逆光でない」などの設定例も考えられる。
【０１３０】
ユーザは、スライドショウ実行設定画面に対してプルダウン操作入力等を行い、任意に設定を選択する。そして設定条件を入力したら、スライドショウ開始の操作入力を行う。
ＣＰＵ３１は、ステップＦ４５２で入力を受け付け、ユーザがスライドショウ開始の入力を行ったら、設定入力が決定されたとしてステップＦ４５３からＦ４５４に進み、ＣＰＵ３１は、再生画像選択パラメータを決定する。即ち「再生対象」「再生画像の特徴」「再生する画像の品質基準」の各項目についてユーザ入力の設定条件を確定させる。
そしてステップＦ４５５で「再生対象」の項目の設定条件から、再生対象画像群を決定する。例えば「同じフォルダ」が選ばれた場合は、現在の表示画像と同じフォルダに含まれる全画像データＰＣＴを再生対象画像群とする。
【０１３１】
なお、図２１、図２２では図６で述べた基準値設定処理については述べていないが、図６（ａ）の処理を採用する場合は、予め基準値設定処理を行っておけばよい。また図６（ｂ）の処理を採用する場合は、ステップＦ４５５で再生対象画像群が決定した時点で、その再生対象画像群の全画像データを対象として基準値設定処理を行えばよい。
また図６（ｃ）の処理を行う場合も、このスライドショウ実行設定のタイミングで基準値設定処理を行うことが考えられる。
【０１３２】
このようにスライドショウ実行設定を終えたら、ＣＰＵ３１は図２１のステップＦ４０２で最初の再生対象画像データの準備を行う。
この再生対象画像準備処理を図２２に（ｂ）に示す。
ＣＰＵ３１はステップＦ４６１で、先にスライドショウ実行設定（図２２（ａ）のステップＦ４５５）で決定した再生対象画像群の中から、最初の画像データを取得する。即ち最初に表示させる画像データＰＣＴ及び対応する環境情報ＣＩを記録媒体９０から読み出し、ＲＡＭ３２に取り込む。
そして取得した画像データＰＣＴについて、「再生画像の特徴」及び「再生する画像の品質基準」の各項目について、条件を満たしているか否かを判断する。
この場合、各項目の設定が「すべて」でなければ、当該画像データＰＣＴを画像解析部３５に転送し、画像解析処理結果により条件を満たしているか否かを判断することになる。
「再生画像の特徴」が「赤ちゃん」又は「人物」であれば、画像に赤ちゃん又は人物が含まれているかを画像解析により判定する。
「再生する画像の品質基準」については「手ブレ」「構図」等を画像解析で判定することになる。なお「手ブレ」については、ブレ検出部１３で得られた撮像時の手ブレ量が環境情報ＣＩ、或いは画像に加えられていれば、その値を参照すればよい。
【０１３３】
ＣＰＵ３１は、画像解析の結果を確認し、取得した画像データＰＣＴが、「再生画像の特徴」及び「再生する画像の品質基準」が共に設定条件を満たしていると判断した場合、ステップＦ４６２→Ｆ４６３→Ｆ４６４と進む。そして当該画像データＰＣＴを対象画像として決定する。次にステップＦ４６５で当該画像データＰＣＴをスライドショウ用に準備する。
一方、「再生画像の特徴」又は「再生する画像の品質基準」のいづれか一方の設定条件を満たしていなければ、ステップＦ４６１に戻り、再生対象画像群の中から次の画像データＰＣＴを選択し、記録媒体９０から取り込むことになる。そしてその画像データＰＣＴについて同様の判断を行う。
【０１３４】
このような再生対象画像の準備処理を終えたら、ＣＰＵ３１は図２１のステップＦ４０３→Ｆ４０４に進んで、スライドショウとしての画像表示を開始する。
即ち図２２（ｂ）のステップＦ４６５で最初に再生する「対象画像」とされた画像データＰＣＴを表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。
なお、ステップＦ４０３で再生終了となる場合とは、ステップＦ４０２（図２２（ｂ））で再生対象画像群に含まれる全ての画像データＰＣＴが「再生画像の特徴」又は「再生する画像の品質基準」の設定条件を満たさなかった場合である。つまりユーザの望む条件の画像データが存在しないとしてスライドショウ選択再生を終了する。
【０１３５】
ステップＦ４０４でスライドショウ再生が開始され、最初の画像データＰＣＴについての再生表示が行われているときは、ステップＦ４０５で、次に再生表示する画像データＰＣＴについての準備処理を行う。
このステップＦ４０４の処理も、ステップＦ４０２と同様、図２２（ｂ）の処理として行われる。これにより、ユーザの望む条件を満たした次の再生画像が決定される。
【０１３６】
ステップＦ４０６では再生終了判断が行われる。これは、スライドショウ再生としての一連の画像再生の途中でユーザが表示終了の操作入力を行った場合に再生終了と判断するものである。
再生終了操作が検知されていなければ、ＣＰＵ３１はステップＦ４０７に進み、次の再生対象画像についての画像効果の算出処理を行う。
【０１３７】
ステップＦ４０７の効果算出では、次の再生対象となる画像データＰＣＴについて、表示の際に、動的画像効果を与えるか否か、また動的画像効果を与える場合は、その画像効果の種類や効果量、画像効果のかけ方を決定する。この決定は、当該画像データＰＣＴの環境情報ＣＩと、前画像（現在静止画表示されている画像データ）の環境情報ＣＩの比較に基づいて決定する。さらに、前画像の環境情報との比較結果によって効果テンプレートの設定変更も行う。
【０１３８】
ステップＦ４０７の効果算出処理を図２３に示す。
まずステップＦ４７１でＣＰＵ３１は、前画像及び再生対象画像の環境情報ＣＩを取得する。例えば図２１のステップＦ４０５（又はＦ４０２）で記録媒体９０からＲＡＭ３２に取り込んだ前画像及び再生対象画像の環境情報ＣＩを取得する。
【０１３９】
次にＣＰＵ３１はステップＦ４７２で効果テンプレート（図１０参照）の設定変更を行う。効果テンプレートの設定変更については後述する。
その後、ステップＦ４７４〜Ｆ４８１で画像効果の種類、効果量、時系列表現を決定するが、この処理は先に述べた図８（ａ）のステップＦ３０２〜Ｆ３０９と同様としており、重複説明を避ける。
このステップＦ４７４〜Ｆ４８１では、体感光量と体感温度に応じて画像効果を決定する例としているが、本例の場合、明るさ変化と温度変化を考慮した画像効果決定であることにより、後述する効果テンプレートの設定変更によっては画像効果をかけないとする場合も生ずる。そのため、画像効果オフとされた場合はステップＦ４７３から図２３の処理（図２１のステップＦ４０７）を終える。
【０１４０】
その後ＣＰＵ３１は図２１のステップＦ４０８でスライドショウの画像切替タイミングを待機する。例えばスライドショウ再生の１枚当たりの表示時間が６秒であれば、現在表示中の画像の表示開始から６秒経過までを待機する。
切替タイミングとなったら、ステップＦ４０９に進み、次の再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ４０７で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に動的画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、視覚上、動的に画像が変化する動的画像効果を与えるようにする。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で動的画像効果が実行されるようにする。
【０１４１】
ステップＦ４１０では、次の再生対象画像の有無を判断する。スライドショウ再生としての一連の画像再生の全てについて再生が完了し、次の再生対象画像がない場合はステップＦ４１０から処理を終える。まだスライドショウ再生が完了しておらず、次の再生対象画像が存在する場合は、ステップＦ４０５に戻り、再生終了操作がされていなければステップＦ４０７で次の再生対象画像の準備処理を行う。
なお、スライドショウ再生がリピートして行われる場合は、全画像を再生完了したら、次に最初の画像データＰＣＴの再生を行うため、最後の画像表示を行っている場合でも、ステップＦ４１０からＦ４０５に戻ることになる。
【０１４２】
このようなスライドショウ選択再生の過程において、ＣＰＵ３１がステップＦ２０７で動的画像効果を決定する。そしてステップＦ４０９での制御によって表示コントローラ７が動的画像効果を与えた画像表示を実行させる。
【０１４３】
図２１のステップＦ４０７において、図２３のステップＦ４７２で行われる効果テンプレートの設定変更について図２４、図２６、図２７で説明する。
図２６は設定変更の条件として、前画像と再生対象画像の環境情報ＣＩの内容に鑑みて、雰囲気再現として適切な画像効果をかけるために考慮すべきケースを示している。
一例として、「フォルダをまたぐ場合」「１２時間以上撮像間隔が開いた場合」「７日以上撮像間隔が開いた場合」「室内／屋外の変化があった場合」「水中／水上の変化があった場合」を示している。
また、環境情報ＣＩの項目については説明の簡単のため明るさと温度のみを例示している。
【０１４４】
「フォルダをまたぐ場合」とは、現在表示中の前画像の画像データＰＣＴと、現在効果算出対象となっている再生対象画像の画像データＰＣＴが、異なるフォルダＦＬＤである場合である。
通常、ユーザは撮像画像をフォルダに分けて整理する。例えば旅行や運動会などのイベント毎などに分ける場合が多い。すると、スライドショウで続けて再生される前後の画像であってもフォルダを跨いでいる場合、あまり関連性の無い画像であることが多い。そのため、フォルダをまたぐ場合は、画像効果をかけないほうが良い場合が考えられる。そこで、このような場合、前後の環境情報ＣＩにおいて明るさ変化、温度変化等を反映しないとする。
【０１４５】
「１２時間以上撮像間隔が開いた場合」は、ユーザの感じた撮像当時の雰囲気の変化としての前後の写真の関係性は比較的薄いと考えられる。そこで、このケースの場合は、図１０の効果テンプレートの「実行する最低ｐｔ」の値を１０ポイント増加させる。先に述べたように、「実行する最低ｐｔ」は、画像効果を与えるか否かの閾値となるため、この値が増加するということは、画像効果を与えることになる可能性を低くするものとなる。
「７日以上撮像間隔が開いた場合」は、前後の写真の関係性はさらに薄く、ユーザの感じる雰囲気の変化としては殆ど関連がないと考えられる。そこでこのケースでは前後画像の環境情報ＣＩの内容において明るさ変化、温度変化を反映しないこととする。
【０１４６】
前後の画像で「室内／屋外の変化があった場合」は、光量や温度は比較的大きく変化することが多い。またユーザは、自分が屋内から屋外に出る（或いはその逆）の行動をとっていることから、室内と屋外の環境変化は或る程度感覚的に当然と捉えて、光量や温度が著しく変化しない限りは、あまり敏感には感じない。そこで、効果テンプレートの「実行する最低ｐｔ」の値を１０ポイント増加させ、温度や光量が大きく変化した場合のみ画像効果を与えるようにする。
前後の画像で「水中／水上の変化があった場合」は、明るさ変化、温度変化は著しく、また水中の画像と水上の画像は画像自体が全く異なるため、雰囲気再現の画像効果をあえてかけないとする場合も考えられる。そこで、このケースでは前後画像の明るさ変化、温度変化を反映しないこととしてもよい。
【０１４７】
例えばこのようなケースが、効果テンプレートの設定変更を行うべき場合と想定される。もちろんあくまで例示であり、これ以外のケースも考えられる。
ＣＰＵ３１は図２３のステップＦ４７２で、これらのようなケースに応じて効果テンプレートの設定変更を行う。例えば図２４の処理を行う。
図２４の例は、図２６の「フォルダをまたぐ場合」「１２時間以上撮像間隔が開いた場合」「７日以上撮像間隔が開いた場合」の３つのケースを考慮する例である。
【０１４８】
ＣＰＵ３１は、図２４のステップＦ４９１で、前画像と再生対象画像の各画像データＰＣＴが、異なるフォルダＦＬＤに含まれるの画像データであるか否かを判断する。異なるフォルダＦＬＤであれば、ステップＦ４９４で効果オフ設定を行う。
【０１４９】
なお本例では上記のように図２３のステップＦ４７４〜Ｆ４８１では、明るさ変化と温度変化を考慮した画像効果決定を行うものである。この場合に、図２６のようにフォルダをまたぐ場合は明るさ変化と温度変化を反映しないとすることは、画像効果をかけないことを意味する。そのため、ステップＦ４９４で画像効果を実行しないという意味で効果オフの設定をする。
ステップＦ４９４で効果オフとされた場合、図２３の処理は画像効果決定を行わずにステップＦ４７３から処理を終えることになる。
但し、画像効果決定に温度や明るさ以外の他の要素、例えば場所、日時、風量、天気などを反映させる場合は、ステップＦ４９４では、画像効果オフの設定ではなく、温度と明るさに関してのみ反映しないとする設定とすればよい。つまり温度や明るさ以外の環境情報に応じた画像効果が行われるようにもできる。
【０１５０】
ＣＰＵ３１は図２４のステップＦ４９１で前後画像が同じフォルダと判別した場合は、ステップＦ４９２で、前後画像の環境情報ＣＩの日時の情報を確認し、撮像間隔を判別する。そして撮像間隔が７日以上であれば、ステップＦ４９４で効果オフ設定を行う。
一方、撮像間隔が７日未満であれば、ステップＦ４９３で撮像間隔が１２時間以上であるか否かで処理を分岐する。
１２時間未満であれば、特に効果テンプレートの設定変更を行わずに図２４の処理を終える。
一方、撮像間隔が１２時間以上であれば、ステップＦ４９５に進み、明るさ変化、温度変化のそれぞれについて、効果テンプレートの「実行する最低ｐｔ」を１０ポイント増加するように設定変更を行う。そして図２４の処理を終える。
【０１５１】
つまりこの図２４の効果テンプレートの設定変更処理によれば、再生対象画像が、前画像と同じフォルダの画像であって、かつ撮像間隔が１２時間未満であれば、図２３のステップＦ４７４〜Ｆ４８１で、通常の効果テンプレートの設定に基づいて画像効果決定が行われる。
また再生対象画像が、前画像と同じフォルダの画像であって、撮像間隔が１２時間以上７日未満であれば、効果テンプレートの設定（「実行する最低ｐｔ」）が変更された上で、図２３のステップＦ４７４〜Ｆ４８１で、当該変更された効果テンプレートの設定に基づいて画像効果決定が行われる。
また再生対象画像が、前画像と異なるフォルダの画像である場合、又は撮像間隔が７日以上であるときは、画像効果オフと設定され、図２３のステップＦ４７４〜Ｆ４８１の画像効果決定は行われない。つまり再生対象画像の表示の際に画像効果はかけられない。
【０１５２】
以上の処理は効果テンプレートの設定変更がある場合を加えた一例である。
図２４の処理において、図２６に示した屋内／屋外のケースや、水中／水上のケースも効果テンプレートの設定変更条件に加えることも当然考えられるし、他の変更条件もあり得る。
設定変更に反映すべきケースをユーザが選択できるようにしても良い。
また効果テンプレートの設定変更の内容としては、「実行する最低ｐｔ」の増減だけでなく、基準値の増減、効果の詳細における係数の増減などを行っても良い。
【０１５３】
さらに画像内容によって効果テンプレートの設定変更を行うことも考えられる。
図２７に例を示す。画像内容として「顔主体」「人物主体」「集合写真」「風景主体」「手ブレしている」「構図が不適切」等のケースを設定する。
これらの画像内容に該当するか否かは、図２１のステップＦ４０５（図２２（ｂ））で行う画像解析において同時に判別するようにすればよい。
【０１５４】
例えば再生対象画像が「顔主体」の場合は、明るさ変化、温度変化に関して、「実行する最低ｐｔ」を１０ポイント増加させる。
再生対象画像が「人物主体」の場合は、明るさ変化、温度変化に関して、「実行する最低ｐｔ」を５ポイント増加させる。
再生対象画像が「集合写真」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「風景主体」の場合は通常の効果テンプレートの設定、つまり設定変更無しとする。
再生対象画像が「手ブレしている」の場合は、明るさ変化、温度変化を反映しないものとする。
再生対象画像が「構図が不適切」の場合は、明るさ変化、温度変化を反映しないものとする。
もちろんこれらのケースや設定変更内容は一例であり、実際には撮像時の雰囲気再現のための画像効果が適切に実行されるように決められればよい。
例えばケースとしては他にも、「特定の人の写った写真」「特定以上の人数が写った写真」「特定のシーンの写真」「特定の場所付近で撮絵した写真」「フォーカスがあっていない」などが考えられる。
【０１５５】
また、いわゆる高速連写として、非常に短い間隔で多数枚の撮像を行ったような画像データ群については、スライドショウの場合に全部を順次再生させたくない場合もある。
このため、連写画像については、環境情報や画像内容、品質等を考慮して、再生させる少数の画像を抽出するような処理も考えられる。
【０１５６】
以上のようにスライドショウ選択再生では、まずスライドショウとして再生される画像について、ユーザが条件設定で選択できる。これによりユーザの望む写真を集めたスライドショウが実行できる。
また前後の画像の関係や再生対象画像の画像内容等に応じて効果テンプレートの設定変更を行うことで、撮像時の雰囲気再現としてより適切な画像効果を実行できる。
なお、効果テンプレートの設定変更に関しては、スライドショウ再生における処理だけでなく、通常のユーザの画面送り操作に応じてフォルダ内の各画像データを順次再生するような場合にも同様に適用できる。
【０１５７】
［７．一画像からの効果設定］
上記のスライドショウ再生、スライドショウ選択再生の例では、画像効果の決定を、再生対象画像と前画像の環境情報ＣＩの比較に基づいて決定した。これによって撮像時の雰囲気の変化を適切に表現できるが、１枚の写真だけを考慮して雰囲気を再現することも可能である。
即ち前画像の環境情報ＣＩは考慮せず、再生対象画像の環境情報ＣＩのみから画像効果を決定する処理例である。
【０１５８】
図２８にＣＰＵ３１の処理例を示す。
或る画像データの再生を実行する場合、ＣＰＵ３１は処理をステップＦ５０１からＦ５０２に進める。例えばサムネイル一覧表示された中からユーザが或る画像を指定して表示を指示したような場合である。またスライドショウ再生における次の画像についての再生処理と考えても良い。
【０１５９】
ステップＦ５０２では、ＣＰＵ３１は再生対象画像の環境情報ＣＩを取得する。即ちＣＰＵ３１は記録媒体９０から再生対象とされる画像データＰＣＴ及び環境情報ＣＩを記録読み出して例えばＲＡＭ３２に取り込む。そして環境情報ＣＩを確認する。
【０１６０】
次にステップＦ６０３で、ＣＰＵ３１は基準環境情報を取得する。基準環境情報とは、効果決定のために環境情報ＣＩと比較する対象となる環境情報である。
これは図６で説明した基準値と同じ情報と考えればよい。従って、図６（ａ）のように全画像データの平均値としての温度、明るさなどの各情報としてもよいし、現在のフォルダの平均値としてもよい。または図６（ｃ）と同様の処理で、現在の温度、光量等の情報として取得しても良い。
さらには固定値とされていても良い。例えば出荷先（日本、北米、南米、欧州、東南アジア等）に応じた平均の気温などの情報が用いられても良い。
また、再生時の日時や場所に応じた基準環境情報をネットワークを介して所定のサーバから取得できるようにしたり、ユーザが基準環境情報を入力して任意に設定できるようにすることも考えられる。
【０１６１】
次にステップＦ５０４でＣＰＵ３１は、再生対象画像の環境情報ＣＩと、基準環境情報の比較処理を行う。例えば温度差、光量差などを算出する。
そしてステップＦ５０５で、比較結果に応じて画像効果の種別や効果量、時系列表現等を決定する。例えば上述した効果テンプレートを用いた決定を行うことができる。
【０１６２】
画像効果を決定したら、ＣＰＵ３１はステップＦ５０６で、再生対象画像を表示コントローラ７に転送し、表示コントローラ７に表示パネル６での表示を実行させる。このとき、ステップＦ５０５で決定した効果の種類、効果量、効果のかけ方を指示し、表示の際に画像効果を実行させる。
表示コントローラ７は、ＣＰＵ３１の指示に応じて、転送されてきた画像データＰＣＴを表示パネル６で静止画表示させるとともに、指示された画像効果を与えるように表示制御処理を行う。例えば静止画表示中に表示パラメータを変化させたり、静止画像に対する画像合成処理を行うことで、表示画面上で画像効果が実行されるようにする。
【０１６３】
このような処理によれば、１つの画像データについての環境情報ＣＩに基づいて、その画像データの撮像時の雰囲気を再現する再生表示が可能となる。
この場合も、画像データの再生表示を見ている人が、撮像時の雰囲気の変化を感じることができ、写真が本来持つ効果をより有効化できるとともに、写真画像再生における新たな楽しみを創出できる。
【０１６４】
［８．各種変形例、適用例］
本発明は上述してきた例以外にも多様な変形例や適用例が想定される。以下各種の変形例、適用例を挙げていく。
【０１６５】
環境情報に応じた動的画像効果の設定として、画像効果の強度については、上述した画像効果決定処理では温度変化と光量変化の値の程度や組合せで決める例を述べたが、各種の環境情報の値の程度や環境情報の項目の組み合わせで算出するものとして多様な例が考えられる。
例えば、すこし高温なら、すこし赤みのかかったものに変化していき、非常に高温なら、非常に赤みのかかったものに変化していくというような効果強度の設定により、雰囲気をより的確に再現できる。
効果決定に使用する環境情報の項目（位置、日時、風量、気圧、天候等）などによっても、その環境情報の値や組合せによって画像効果の強度を決定することが適切である。
多数の環境情報項目を考慮する場合は、上述のように優先順位を設定することが適切であるが、優先順位は固定としてもよいし、優劣を付けずに全て同等に画像効果に反映させるという手法もとり得る。
【０１６６】
画像効果の時系列的表現としては、上述の図１２等の例のように効果強度を徐々にかえていくものの他、効果のかかった画像と徐々に切り替えていくもの、或いは、環境情報値の程度や組み合わせによって効果強度の変化速度が変わるものなども考えられる。
例えば前後の画像の撮像日時が近接していながら温度変化が大きい場合は、画像効果量の変化速度を速くし、一方温度変化は大きいが撮像間隔が長い場合は画像効果量をゆっくり変化させるなどである。
また、画像効果を動的に変化させる期間は、静止画像の表示期間のうちの少なくとも一部の期間である。
例えば上述したスライドショウ再生の場合等で、１枚の写真画像の表示開始から終了までの期間が決まっている場合、その全表示期間にわたって動的に変化する画像効果を与えても良い。或いは、１枚の写真画像の全表示期間のうちで、一部の期間のみに動的に変化する画像効果を与えても良い。もちろん固定的な画像効果も考えられる。
さらには、１枚の写真画像の全表示期間を複数の一部期間毎にわけ、当該一部期間毎に、同一又は異なる画像効果を与えても良い。
またユーザの選択操作に応じた通常の画像データ再生などで、１枚の写真画像の表示期間が不定の場合に、例えば表示開始から数秒などの間、画像効果を与え、その後画像効果は与えないようにすることが考えられるが、繰り返し画像効果を与えることも考えられる。もちろん数秒のインターバルをおいて繰り返し同一の画像効果を与えたり、或いは異なる画像効果を与えることも想定される。
【０１６７】
画像効果の種類、強度、時系列的表現や、それらの組み合わせが、表示する撮像画像の環境情報と、前後に表示した（する）撮像画像の環境情報を考慮するものとして各種の例が考えられる。
上記例では前画像と再生対象画像の比較で画像効果の決定を行ったが、再生対象画像と次の再生対象画像との環境情報を用いて画像効果決定を行ってもよい。
例えば或る写真が、或る場所の風景であり、次の写真が、上記風景内に含まれる或る建物に近づいて撮像したようなものであった場合を想定する。この場合、両画像データの位置情報や撮像方向の情報に基づいて、現在の再生対象画像の表示中に、該当の建物にズームインする表示を行った後、次の再生対象画像に切り替えるような動的画像効果が考えられる。例えば現在の再生対象画像の画像データの該当の建物の部分が徐々に拡大していくような動的画像効果である。
【０１６８】
また再生対象画像の画像効果決定の際に、前画像の環境情報ＣＩと比較する場合、前画像としては、直前の再生画像に限られない。
例えば上記のスライドショウ選択再生の場合には、条件によって再生対象が間引きされるため、直前の再生画像とは、必ずしも撮像時の順序としては直前ではない。そこで、スライドショウ選択再生では再生されないこととなった画像データを含めて、直前の画像データ（つまり撮像時に直前に撮像された画像データ）を前画像として扱うことが考えられる。そして当該前画像の環境情報ＣＩを参照して、再生対象画像の画像効果決定を行う。
【０１６９】
さらに、画像効果決定において考慮する前画像は一つでなく、複数としてもよい。例えば再生される画像としての前画像、前々画像、前々々画像についてそれぞれ環境情報ＣＩを参照し、或る程度長いスパンでの雰囲気の変化を判別する。そしてその雰囲気の変化に応じて再生対象画像の画像効果決定を行う。
もちろん再生されない画像を含めて、複数の画像データの環境情報ＣＩを参照してもよい。
また前画像と後画像の両方の環境情報ＣＩを考慮して画像効果決定を行っても良い。
さらに、ユーザが基本となる画像データを選択し、その画像データの環境情報ＣＩを比較対象として考慮して画像効果決定を行っても良い。
【０１７０】
また画像効果決定のために、特に前後の画像ではなくとも、表示する画像データの環境情報ＣＩと、記録媒体９０等に保存されている他の画像データの環境情報ＣＩを考慮することも考えられる。
また、画像効果決定のために、表示する画像データの撮像日時と、記録媒体９０等に保存されている他の画像データの撮像日時との間隔を考慮することも考えられる。
【０１７１】
また、画像効果決定処理として、ユーザが選択したテーマに応じた画像効果決定を行うことも考えられる。
また考慮すべき環境情報の項目をユーザが選択できるようにしたり、複数項目の場合の優先順位を指定できるようにしてもよい。
また画像効果決定で考慮する環境情報を選ぶために、記録媒体９０等にある全てもしくは、一定のまとまりの撮像画像の環境情報の平均や分散で決めることもできる。
またスライドショウの場合に、実行される画像効果の種類等に応じて、１枚の再生時間を変化させるようにしてもよい。
【０１７２】
再生時に画像効果に関しては、実行する画像効果の種類をいくつか減らすことで、処理能力の低い機器に最適化させたり、より強く環境を彷彿させるために画像効果の種類を増やしたりすることもできる。
また、単に暑い、寒いといっても、暑さの度合いによって人が感じる感覚はかわるので、画像効果もユーザに合わせて切り替えることもできる。
変化が顕著な環境条件が複数ある場合は、一つに絞ることも、画像効果を組み合わせることも、組み合わせのための別の効果を用意することもできる。
【０１７３】
上述の実施の形態では、画像データはフォルダ単位で記録媒体９０等に格納されるものとしたが、画像データを管理形式（グルーピング）は多様に考えられる。
例えばグルーピングが撮像時の順序に応じたフォルダ単位のものや、グルーピングが日付単位のもの、グルーピングが日付や時間の間隔等を考慮したイベント単位のもの、グルーピングが少なくとも撮影位置と日付を考慮したものなどが想定される。
またユーザがグルーピングの方式を選ぶことができる機能をもったものも考えられる。
【０１７４】
また、撮像装置１等における、グルーピングされた画像データ群に対する再生方式としては、グループ分割された一つのグループを再生画像とする機能をもつことや、グループ分割された複数のグループを再生画像とする機能をもつことが考えられる。
また再生時の処理として、グループの先頭画像の場合は、前の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることが考えられる。
また再生画像群がグループに分かれている場合、グループの最終画像の場合は、後の画像の環境情報は考慮しない、もしくは、通常と違う考慮をする機能をもつようにすることも考えられる。
また再生画像群がグループに分かれている場合、グループの切れ目を考慮するか否かをユーザが選ぶことのできる機能をもつことも考えられる。
【０１７５】
また画像効果は、例えば表示コントローラ７は表示パラメータの変化や画像合成を行うことで実現するとしたが、画像データ（表示画像信号）についての処理以外で画像効果を実現することもできる。
例えば表示パネル６などの表示部がバックライト方式の液晶パネルとされている場合、バックライト光源の輝度を変化させることで、画面上の明るさ変化を表現することもできる。
【０１７６】
［９．情報処理装置／プログラム］
以上の実施の形態は、撮像装置１で画像効果を伴う再生を行うものとして述べたが、同様の再生処理は、図１で説明したようにパーソナルコンピュータ１０２等の他の装置で行うこともできる。
図２９はパーソナルコンピュータ（以下「ＰＣ」）１０２の構成を示している。
ＰＣ１０２は図示するように、ＣＰＵ２１１、メモリ部２１２、ネットワークインターフェース部２１３、ディスプレイコントローラ２１４、入力機器インターフェース部２１５、ＨＤＤインターフェース部２１６を有する。またキーボード２１７、マウス２１８、ＨＤＤ２１９、表示装置２２０、バス２２１、外部機器インターフェース部２２２、メモリカードインターフェース部２２３などを有する。
【０１７７】
ＰＣ１０２のメインコントローラであるＣＰＵ２１１は、メモリ部２１２に格納されているプログラムに応じて、各種の制御処理を実行する。ＣＰＵ２１１は、バス２２１によって他の各部と相互接続されている。
バス２２１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ２１１はこれらアドレスによって機器アクセスが可能となっている。バス２２１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【０１７８】
メモリ部２１２は揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
このメモリ部２１２には、ＣＰＵ２１１において実行されるプログラムコードやＰＣ１０２に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
【０１７９】
ネットワークインターフェース部２１３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、ＰＣ１０２をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。ＣＰＵ２１１はネットワークインターフェース部２１３を介して、ネットワーク接続された各機器と通信を行うことができる。
【０１８０】
ディスプレイコントローラ２１４は、ＣＰＵ２１１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ２１４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置２２０に画面出力される。表示装置２２０は、例えば、有機ＥＬディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイなどとして形成される。
【０１８１】
入力機器インターフェース部２１５は、キーボード２１７やマウス２１８などのユーザ入力機器をＰＣ１０２としてのコンピュータシステムに接続するための装置である。
即ちＰＣ１０２に対するユーザの操作入力がキーボード２１７及びマウス２１８を用いて行われ、その操作入力情報が、入力機器インターフェース部２１５を介してＣＰＵ２１１に供給される。
【０１８２】
ＨＤＤインターフェース部２１６は、ハードディスクドライブ（ＨＤＤ）２１９に対する書込／読出のインターフェース処理を行う。
ＨＤＤ２１９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ＰＣ１０２にインストールされた各種のソフトウェアプログラムは、実行可能な状態でＨＤＤ２１９に格納される。通常、ＨＤＤ２１９には、ＣＰＵ２１１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
ＨＤＤ２１９に格納されている各種プログラムは、ＰＣ１０２の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいた処理を行う。
【０１８３】
外部機器インターフェース部２２２は、例えばＵＳＢ規格などにより接続された外部機器とのインターフェースである。
本例の場合、外部機器としては、例えば撮像装置１等が想定される。
ＰＣ１０２は、この外部機器インターフェース部２２２を介した通信により、撮像装置１からの画像データの取込などが可能となる。
例えば上記撮像装置１の外部インターフェース８とＰＣ１０２の外部インターフェース部２２２の間を接続し、撮像装置１で撮像された画像データＰＣＴ及び環境情報ＣＩを取り込むことができる。
なお、外部機器インターフェース部２２２は、ＵＳＢ規格に限らず、例えばＩＥＥＥ１３９４など、他のインターフェース規格であってもよい。
【０１８４】
メモリカードインターフェース部２２３は、メモリカード等の記録媒体９０に対するデータの書込／読出を行う。
例えば上述した撮像装置１のようなデジタルスチルカメラで用いられた記録媒体９０を装着することで、その記録媒体９０から画像データＰＣＴ及び環境情報ＣＩを読み込むこともできる。
【０１８５】
このようなＰＣ１０２では、ＣＰＵ２１１におけるソフトウエア構造、即ちアプリケーションプログラム、ＯＳ（Operating System）、デバイスドライバなどのソフトウエアに基づく演算処理／制御動作を行うことで、各種動作が実行される。
この場合、例えば図２の画像格納部２００として、ＨＤＤ２１９や記録媒体９０が機能し、図２の制御部２０１（及び画像解析部２０６）としてＣＰＵ２１１が機能し、図２の画像処理／表示制御部２０２としてディスプレイコントローラ２１４が機能する。
そして図６、図７，図８の処理、又は図２１〜図２４の処理、又は図２８の処理を行うプログラムが、例えばＨＤＤ２１９にインストールされ、起動時にメモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
これにより、図６、図７，図８、又は図２１〜図２４のようなスライドショウの実行処理、もしくは図２８の処理が、ＣＰＵ２１１において実行される。
これによって上述してきたような各種画像効果を伴った再生動作が、ＰＣ１０２において実現される。
【０１８６】
なお、これらの処理をＣＰＵ２１１に実行させるプログラムは、ＰＣ１０２等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc：登録商標）、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１８７】
本例では情報処理装置としてパーソナルコンピュータ１０２を例に挙げたが、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機器、ビデオ編集機、その他画像データを用いる多様な情報処理装置においても同様の画像再生を実行できるようにすることができる。
【符号の説明】
【０１８８】
１ 撮像装置、２ 撮像系、３ 制御系、４ カメラＤＳＰ、５ 操作部、６ 表示パネル、７ 表示コントローラ、８ 外部インターフェース、９ ＳＤＲＡＭ、１０ 媒体インターフェース、１３ ブレ検出部、１４ 発光駆動部、１５ フラッシュ発光部、１７ レンズ駆動ドライバ、１８ 絞り／ＮＤ駆動ドライバ、１９ 撮像素子ドライバ２１ レンズ機構部、２２ 絞り／ＮＤフィルタ機構、２３ 撮像素子部、２４ アナログ信号処理部、２５ Ａ／Ｄ変換部、２６ レンズ駆動部、２７ レンズ位置検出部、２８ タイミング生成回路、２９ ネットワークインターフェース、３１ ＣＰＵ、３２ ＲＡＭ、３３ フラッシュＲＯＭ、３４ 時計回路、３５ 画像解析部、４１ 画像信号処理部，４２ 圧縮／解凍処理部、４３ ＳＤＲＡＭコントローラ、９０ メモリカード、１００ モニタ装置、１０１ 画像再生装置、２００ 画像格納部、２０１ 制御部、２０２ 画像処理／表示制御部、２０３ 表示部、２０４ 画像出力部、２０５ 操作入力部、２０６ 画像解析部
【特許請求の範囲】
【請求項１】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定部と、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御部と、
を備えた画像処理装置。
【請求項２】
上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である請求項１に記載の画像処理装置。
【請求項３】
上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする請求項２に記載の画像処理装置。
【請求項４】
上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする請求項２に記載の画像処理装置。
【請求項５】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、比較対象となる所定の環境情報との比較によって得られる環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する請求項１に記載の画像処理装置。
【請求項６】
上記比較対象となる所定の環境情報は、上記再生対象画像データの前の時点で再生対象とされた画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項７】
複数の画像データを順次再生表示させる場合において、上記比較対象となる所定の環境情報は、上記再生対象画像データの直前に再生対象とされた画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項８】
選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備えた請求項７に記載の画像処理装置。
【請求項９】
上記比較対象となる所定の環境情報は、時間情報が上記再生対象画像データに最も近い前の時点の画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項１０】
上記比較対象となる所定の環境情報は、固定的な値として設定された環境情報である請求項５に記載の画像処理装置。
【請求項１１】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、体感環境情報に変換し、該体感環境情報を用いて、上記再生対象画像データについての動的画像効果を決定する請求項１に記載の画像処理装置。
【請求項１２】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報と、比較対象となる所定の環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する請求項１１に記載の画像処理装置。
【請求項１３】
上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する請求項１に記載の画像処理装置。
【請求項１４】
上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する請求項１に記載の画像処理装置。
【請求項１５】
上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも１つが含まれる請求項１に記載の画像処理装置。
【請求項１６】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を行う画像処理方法。
【請求項１７】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を情報処理装置に実行させるプログラム。
【請求項１】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定部と、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御部と、
を備えた画像処理装置。
【請求項２】
上記動的画像効果とは、静止画像の表示期間のうちの少なくとも一部期間に連続的な視覚的変化を生じさせる画像効果である請求項１に記載の画像処理装置。
【請求項３】
上記表示制御部は、静止画像の表示中に表示パラメータを変化させることで、表示画面上で上記動的画像効果が実行されるようにする請求項２に記載の画像処理装置。
【請求項４】
上記表示制御部は、静止画像の表示中に、該静止画像に対する画像合成処理を行うことで、表示画面上で上記動的画像効果が実行されるようにする請求項２に記載の画像処理装置。
【請求項５】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、比較対象となる所定の環境情報との比較によって得られる環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する請求項１に記載の画像処理装置。
【請求項６】
上記比較対象となる所定の環境情報は、上記再生対象画像データの前の時点で再生対象とされた画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項７】
複数の画像データを順次再生表示させる場合において、上記比較対象となる所定の環境情報は、上記再生対象画像データの直前に再生対象とされた画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項８】
選択パラメータに応じて、順次再生表示させる複数の画像データを選択する順次再生制御部をさらに備えた請求項７に記載の画像処理装置。
【請求項９】
上記比較対象となる所定の環境情報は、時間情報が上記再生対象画像データに最も近い前の時点の画像データについての環境情報である請求項５に記載の画像処理装置。
【請求項１０】
上記比較対象となる所定の環境情報は、固定的な値として設定された環境情報である請求項５に記載の画像処理装置。
【請求項１１】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報を、体感環境情報に変換し、該体感環境情報を用いて、上記再生対象画像データについての動的画像効果を決定する請求項１に記載の画像処理装置。
【請求項１２】
上記画像効果決定部は、再生表示を行う再生対象画像データの環境情報と、比較対象となる所定の環境情報とを、それぞれ体感環境情報に変換し、体感環境情報の比較によって得られる体感環境情報差分に基づいて、上記再生対象画像データについての動的画像効果を決定する請求項１１に記載の画像処理装置。
【請求項１３】
上記画像効果決定部は、画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する請求項１に記載の画像処理装置。
【請求項１４】
上記画像効果決定部は、画像データの画像内容に基づいて、動的画像効果の実行／不実行、又は実行／不実行の判定基準を決定する請求項１に記載の画像処理装置。
【請求項１５】
上記環境情報には、画像データ撮像時の周囲の温度情報、画像データ撮像時の外光光量情報、画像データ撮像時の時間情報、画像データ撮像場所情報のうちの少なくとも１つが含まれる請求項１に記載の画像処理装置。
【請求項１６】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を行う画像処理方法。
【請求項１７】
画像データに関連付けられた該画像データ撮像時の環境情報に基づいて、上記画像データの画像表示の際に表示画像に視覚的な変化を与える動的画像効果を決定する画像効果決定ステップと、
画像データの表示に伴って、上記画像効果決定部で決定された動的画像効果が実行されるように表示動作を制御する表示制御ステップと、
を情報処理装置に実行させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図４】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図４】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１０−２６３３４０（Ｐ２０１０−２６３３４０Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１１７０８（Ｐ２００９−１１１７０８）
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月１日（２００９．５．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]