画像編集装置、カメラ及びプログラム
【課題】動画への静止画の挿入編集が簡単にできる画像編集装置を提供する。
【解決手段】静止画を動画に挿入する編集を行う画像編集装置において、動画の代表画像１０４と静止画１０２を所定の順番に並べてインデックス画面１００として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、動画の再生時間を示す時間軸上１１１で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え 上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報１１４と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報１１５、１１６のいずれかを選択に応じて表示する。
【解決手段】静止画を動画に挿入する編集を行う画像編集装置において、動画の代表画像１０４と静止画１０２を所定の順番に並べてインデックス画面１００として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、動画の再生時間を示す時間軸上１１１で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え 上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報１１４と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報１１５、１１６のいずれかを選択に応じて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画中の任意の箇所に静止画を編集する編集用のＩＦ技術に関する。
【背景技術】
【０００２】
撮影されたなまの動画では、重要な場面以外の場面も多く含まれ、そのままでは、見るものを退屈させてしまうので、通常は、冗長な箇所を編集でカットしたり、重要な場面だけを抽出して再生することが行われる。
【０００３】
さらに、単なるカットだけではなく、積極的に動画に画面効果の挿入を行う画像編集装置も提案されている（特許文献１）。また、動画をつなぐ際にそのつなぎ目の遷移パターンを簡単に設定できるようにと、遷移効果の設定用画面を表示する編集装置も提案されている（特許文献２）。
【０００４】
また、所望の静止画を動画の適当な位置に挿入するものとして、インデックス表示された動画のコマを指定する編集装置が特許文献３で提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８６９２５号公報
【特許文献２】特開２００４−１４０７５０公報
【特許文献３】特開平９−１１４６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、不要と思われる箇所（冗長な箇所）がカットされ編集された動画であっても、連続した場面を撮影している限りは、一本の調子の画面になってしまうことも多い。一方、静止画は一般に吟味して撮影された画像であるので、画像としては動画よりも優れた画像であることが多い。このようなうまいアングルで撮れた静止画を動画の例えば冗長な箇所に挿入するようにすれば、単にカット編集しただけの動画に比べて、動画の再生にメリハリがつき、鑑賞に堪える画像を作成することができるはずである。
【０００７】
また、動画と静止画を切換えて撮影できるカメラも多くなっているので、１つのイベントで、動画と静止画の両方の画像が得られる機会も多い。そこで、再生時にこの動画と静止画を別々でなく、うまく組み合わせて表示することができれば、よい演出が発揮できるはずである。そのためには、編集される動画とその編集に用いる静止画の選択、あるいは編集条件の設定等の一連の設定操作が簡単にできることが望ましい。
【０００８】
本発明は、上記課題に鑑み、動画への静止画の挿入編集が簡単にできる画像編集装置、カメラ及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第1の発明に係る画像編集装置は、静止画を動画に挿入する編集を行う画像編集装置において、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するものである。
【００１０】
第1の発明によれば、動画への編集位置を、粗調用の第1の編集位置情報と、微調用の第2の編集位置情報を切換えることができるので、編集条件設定が容易になる。
【００１１】
第２の発明に係る画像編集装置は、第１の発明に係る画像編集装置において、上記編集条件設定部により設定された編集条件に基づき、動画の編集を行う動画編集部を備え、上記動画編集部は、選択された静止画に置き換えた動画期間の音声を、当該音声を続けて再生するか、あるいは当該音声を消去するかを指示に応じて選択するものである。
【００１２】
第３の発明に係るプログラムは、静止画を動画に挿入する編集を行う画像編集装置のコンピュータで実行されるプログラムにおいて、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択するステップと、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するステップを備えるものである。
【発明の効果】
【００１３】
本発明によれば、動画への静止画の挿入編集が簡単にできる画像編集装置、カメラ及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、一実施形態におけるカメラ１の構成を示すブロック図である。
【図２】図２は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図の（１）である。
【図３】図３は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図の（２）である。
【図４】図４は, 設定された効果により開始から終了までの静止画の動画に対する成分比を示す図である。
【図５】図５は、図４に対応して設定された効果による実際の画面変化の様子を模式的に示す図である。
【図６】図６は、編集用の静止画として複数の静止画が選択された場合の編集画面を説明する図である。
【図７】図７は、選択した複数の静止画を１組にまとめ、まとめた静止画を一括して動画に編集する場合の編集操作を説明する図である。
【図８】図８は、図７で説明した組み合わされた３枚の静止画による、静止画の切換わりを具体的に示す図である。
【図９】図９は、動画編集された箇所の音声処理を説明するための図である。
【図１０】図１０は、画像編集処理の内容を説明するメインのフローチャートである。
【図１１】図１１は、編集画面の処理に係るサブルーチンを説明するためのフローチャートである。
【図１２】図１２は、画像編集処理の内容を説明するサブルーチンのフローチャートである。
【図１３】図１３は、確認再生処理の内容を説明するサブルーチンのフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、一実施形態における画像編集装置の構成を示すブロック図である。ここでは、画像編集装置が、デジタルカメラ１の制御部の機能部として搭載された例で示す。デジタルカメラ１には、撮像部１１、SDRAM１２、画像処理部１３、画像記録再生部１４、音声記録再生部１５、マイク１６、出力端子１７、記憶部１８、表示ドライバー部１９、表示部２０、制御部（ＣＰＵ）２１、操作部２２、プログラム記憶部２３、バスライン３０等が備えられる。
【００１６】
撮像部１１は、被写体像を画像データに変換するものである。撮像部１１は、レンズや絞り等の光学部材、ＣＣＤやＣＭＯＳからなる撮像素子、及びＡＧＣ・ＣＤＳ・ＡＤ変換部等撮像回路を有する。
【００１７】
ＳＤＲＡＭ１２は、電気的に書き換え可能な揮発性の一時記憶メモリである。ＳＤＲＡＭ１２は、撮像部１１で撮影された画像データやマイクで入力された音声データの各種処理のための一時記憶用のメモリとして用いられる。
【００１８】
画像処理部１３は、撮像部１１で光電変換された画像データに対して、ホワイトバランス処理やガンマ補正や各種色補正等の画像処理を施すものである。
【００１９】
画像記録再生部１４は、画像を記録再生する機能に加えて圧縮伸長機能も備える。画像記録再生部１４は、動画撮影モードが選択されている場合には、レリーズ操作に合わせて、画像処理された動画像データについてH.264やＭＰＥＧ等の圧縮処理を行い、圧縮した動画像データを画像ファイルの形式で記憶部１８に記録する。
【００２０】
また、画像記録再生部１４は、静止画撮影モードが選択されている場合には、画像処理された静止画画像データにＪＰＥＧ等の圧縮処理を行い、圧縮した静止画画像データを画像ファイルの形式で記憶部１８に記録する。
【００２１】
そして、画像記録再生部１４は、再生時には、記憶部１８から指示された動画または静止画の画像ファイルを読み出し、読み出した圧縮された画像データに対して逆に伸長処理を行い、画像データに戻して、表示部２０に再生する。
【００２２】
音声記録再生部１５は、音声を記録再生する機能に加えて音声用の圧縮伸長機能を備える。音声記録再生部１５には、マイク１６と出力端子１７が接続される。マイク１６は、音声を入力させるためのものである。出力端子１７は、記録中の音声のモニターや記録した音声を再生する場合に、イヤホーンを接続するための端子である。
【００２３】
音声記録再生部１５は、マイク１６から入力された音声をAGC処理やノイズ低減処理等を施してからＡ／D変換してデジタルの音声データに直す。音声記録再生部１５は、さらに、この音声データに音声用の圧縮処理を行ってから、音声ファイルとして記憶部１８に記録する。音声記録は、通常動画撮影と連動して行われるが、撮影済みの静止画へのアフレコ指示がされた場合にも行われる。
【００２４】
画像記録再生部１５は、記憶部１８から指示された音声ファイルを読み出し、読み出した圧縮された音声データに対して逆に伸長処理を行い、音声データに戻す。画像記録再生部１５は、さらにＤ／Ａ変換してアナログの音声信号に戻し、適当なレベルで増幅して出力端子１７に出力する。音声再生は、動画再生指示あるいは対応する静止画再生指示あるいは単独での音声再生指示により、行われる。
【００２５】
記憶部１８は、ハードディスクあるいはフラッシュメモリからなり、撮影された画像および入力された音声データを保存する保存用のメモリである。
【００２６】
表示ドライバー部１９は、表示部２０への表示を電気的に駆動するものである。表示ドライバー部１９は、撮影時にはライブビュー画像を表示部２０に表示し、再生時には、記憶部１８から読み出され再生された画像を表示部２０に表示する。表示部２０は、ＬＣＤや有機ＥＬからなる。表示部２０には、上述したライブビュー画像や再生画像以外に、条件設定用にメニュー画面も表示される。
【００２７】
制御部２１は、プログラムに従って、カメラ１の全体を制御する。制御部２１には、操作部２３、プログラム記憶部２４が接続される。プログラム記憶部２４は、例えばフラッシュからなる不揮発性のメモリである。プログラム記憶部２４には、制御部２１で読み込まれる装置の動作プログラムや 処理に使用される各種データが記憶される。
【００２８】
操作部２３は、再生や記録の動作モードの切換え、記録の開始や終了指示、あるいは省電力モードの種類の選択を行うため等の、各種操作部材を有する。操作部材はカメラ１の外観に備えられる。また、操作部材には、表示部２０上に設けられたタッチパネルが含まれる。操作部２３は、操作部材への使用者からの操作指示の内容を、制御部２１に通知する。
【００２９】
制御部２１は、プログラム記憶部２４から動作プログラムを読み込んで、操作部２３から入力される操作者からの指示に応じて、記録再生等の各種処理あるいは編集処理を実行する。
【００３０】
制御部２１は、プログラムに従って撮影再生を制御する他に画像編集処理を実行する。この画像編集処理を実行する機能を以下で便宜的に画像編集部（装置）２２と呼ぶ。さらに、画像編集部２２によって実行される画像編集処理には、編集画像選択処理、編集条件設定処理、動画編集処理が含まれるが、それぞれを機能を、編集画像選択部３１、編集条件設定部３２、動画編集部３３と呼ぶ。
【００３１】
編集画像選択部３１は、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する。また、編集条件設定部３２は、動画の時間軸上で、上記挿入される静止画と当該静止画の再生開始位置と終了位置を含む編集位置情報を表し、編集条件を設定させる。動画編集部３３は、編集条件設定部により設定された条件に基づき、上記編集画像選択部により選択され動画の一部を選択された静止画に置き換えて動画の編集を行う。また、動画編集部３３は、編集処理のされた動画を、一部に静止画を合成した新たな動画ファイルとして記憶部１８に記録する。なお、動画編集部３３は、編集の形態として、新たな動画ファイルとして記録するのではなく、編集に必要な情報だけを記憶しておき、再生指示があった場合に、その情報に基づいて編集動画を生成するような形態にしてもよい。
【００３２】
また、動画編集部３３は、動画編集の場合に、指示に応じて、動画に付帯されて記録された音声につき、そのまま再生するか、あるいはミュートとするか、あるいは、出力レベルダウンさせるかを制御する。また、バスライン３０は、各部間でデータの受け渡しを行う。
【００３３】
かかる構成を備えるカメラ１には、動作モードとして撮影モードと再生モードの他に、画像編集モードが備えられる。画像編集モードとは、動画の任意の位置に指定した静止画を挿入して新たな編集動画を生成するモードである。以下、図面に沿って、画像編集モードの操作・表示の具体例を説明する。
【００３４】
図２、図３は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図である。ここで、表示部２０は、タッチパネル付きのものである。
【００３５】
図２（Ａ）は、表示部２０の画面１００に、撮影画像を撮影順に一覧的に並べたインデックス画面が表示された様子を示す図である。編集する静止画と動画を選択するための画面である。この画面を選択画面とも呼ぶ。動画では例えばその動画の先頭画像が代表画像として表示される。縮小画像中の各数字（１〜９）は、画像番号である。また、動画については、静止画と区別するために、左右にパーフォレーションが付されている。本例では、画像番号のＮｏ１，２，３，５，６，７，９の計7枚が静止画である。画像番号のＮｏ４，８が動画である。
【００３６】
このインデックス画面上で、編集する動画と編集に用いられる静止画の組が選択される。ここでは、編集に用いられる静止画をタッチして、編集する動画までドラッグ操作することで、編集に用いられる静止画と編集される動画の組が選択される。例えば、操作者がＮｏ１の静止画をＮｏ8の動画に挿入しようとする場合には、Ｎｏ１の静止画を示すサムネイル画像１０２にタッチして、そのままＮｏ８の動画を示すサムネイル画像１０４まで、ドラッグ操作すればよい。編集画像選択部３１が、操作部２３のタッチパネルからの操作を検出して、編集用の静止画と編集される動画の選択処理を行う。インデックス画面には、記憶部１８から画像記録再生部１４によって再生された静止画・動画が表示される。インデックス画面は、不図示の操作部材への操作によってページを切換えるように更新され、表示される画像を順次表示させることができる。なお、静止画や動画は、編集候補に登録しておけば、静止画と動画が異なるインデックス画面上に表示された場合でも、両者の対応付けは可能である。
【００３７】
特定の静止画が特定の動画へドラッグ操作された後に、その動画がダブルクリック操作されると、選択画面を終了し、画面１００が図２（Ａ）のインデックス画面から図２（Ｂ）に切換わる。図２（Ｂ）〜（H）の画面を、編集条件設定画面または編集画面と呼ぶ。図２（Ｂ）は、編集画面の最初の画面で、選択された画像番号Ｎｏ８の動画の最初の画像が静止画として表示され、この画像に重畳して、各編集条件が表示される。各編集条件として、時間軸１１１と静止画ウインドウ１３０と効果アイコン１３８、再生時間１３２、再生種別情報１３６が表示される。
【００３８】
時間軸１１１は動画の時間位置を示すものである。時間軸１１１は画面１００の下部に水平方向に表示され、時間軸１１１の下には、適当な間隔で時刻１１２が本例では 秒単位で表示される。また、時間軸１１１の右端には全長時間１１３（ここでは１６５秒）が表示される。そして、時間軸１１１の左端に動画の編集位置を指示するための第１の編集位置情報１１４が表示される。第１の編集位置情報１１４は、デフォルトでは、撮影開始位置に表示させるものとする。また、撮影終了位置あるいは撮影の中間位置に表示させるようにしてもよい。第１の編集位置情報１１４は、２本の縦線が一定間隔に並んだ形状である。第１の編集位置情報１１４は、時間軸上で編集位置をおおよそ設定するための情報である。換言すれば、第1の編集位置情報は、粗調用のマークだからである。
【００３９】
静止画ウインドウ１３０は挿入する静止画の内容を示すもので、選択された静止画（Ｎｏ８）が縮小表示される。静止画ウインドウ１３０は第１の編集位置情報１１４の近傍(例えば上部)に表示される。効果アイコン１３８は、後ほど図２（Ｆ）で説明する効果メニュー１４０を呼び出すためのアイコンである。効果メニューは、静止画と動画の切換わりの画面効果を一覧的に表示されるものである。効果メニューは、静止画と動画の切換わりの画面効果として複数種類の用意されたものから、操作者によって選択させるためのものである。効果アイコン１３８は、静止画ウインドウ１３０の下に表示される。現在は、画面効果が選択されていない状態、つまり、特に画面効果なしで静止画・動画が瞬間的に切換わる状態である。
【００４０】
再生時間１３２は、画面に表示されている動画の時間を表す。現在は、動画スタート時点なので、０秒が示される。再生種別情報１３６は、表示中の画像が動画の静止画像か連続画像のいずれかであるかを示すものである。現在は、動画が静止画像で表示されていることを示している。
【００４１】
図２（Ｃ）は、時間軸１１１の左端（撮影スタート）に最初に設定された第１の編集位置情報１１４を、切換え希望の位置まで移動させる状態を示す画面を示す図である。第１の編集位置情報１１４を操作者が時間軸１１１に沿ってドラッグ操作することで、時間軸１１１上のおおよその時間を編集位置に指定することが可能である。そして、ドラッグ操作されて、第１の編集位置情報１１４の時間軸１１１上で移動する位置にあわせて、対応する時間の動画が画面に再生される。
【００４２】
静止画ウインドウ１３０及び効果アイコン１３８も、第１の編集位置情報１１４の移動に伴って移動される。また、再生種別情報１３６は、ドラッグ操作中の現在は、動画表示であることを示す表示に切換わる。再生時間１３２もドラッグ操作に連動した表示中の時間を表示する（７０秒）。第１の編集位置情報１１４の移動操作を停止したり、第１の編集位置情報１１４から指を離すと、動画がその時点で停止される。また、画面１００の左上隅に、前画面に戻すための戻しアイコン１３４が表示される。
【００４３】
図２（Ｃ）において、第１の編集位置情報１１４に対してダブルクリック操作がされると、図２（Ｄ）の画面に切換わる。図２（Ｄ）は、第２の編集位置情報を示す図である。図２（Ｄ）では、時間軸１１１において、第１の編集位置情報１１４で指示された位置が拡大して表示される。そして、第１の編集位置情報１１４に代わり、第２の編集位置情報が表示される。第２の編集位置情報は、開始マーク１１５、終了マーク１１６、開始時間１１７、終了時間１１９、区別マーク１１８からなる。なお、第１の編集位置情報１１４を第２の編集位置情報に切換える操作は、ダブルクリックに限定するものではなく、他のアイコンへのタッチ操作でもよい。第1の編集位置情報は、微調用のマークである。
【００４４】
開始マーク１１５及び終了マーク１１６は、時間軸１１１上で、開始終了位置をそれぞれ独立して設定するためのマークである。開始時間１１７（６８．５秒）は、開始マーク１１５の現在位置に対応する開始時間を示す。終了時間１１９（７１．５秒）は、終了マーク１１６の現在位置に対応する終了時間を示す。ここで、区別マーク１１８は、現在画面に表示されている画像が、開始マーク位置に対応する画像なのか終了マーク位置に対応する画像なのかを区別するための表示である。ここでは、開始マーク１１５の下に区別マーク１１８が表示され、現画面が開始マーク位置の画像（６８．５秒）であることを示している。なお、その区別をより明確にするために、開始時間１１７の方を枠で囲んだ表示もしている。また、再生種別情報１３６は、動画が静止画像で表示されていることを示している。
【００４５】
図２（Ｅ）は、図２（Ｄ）の画面から、操作者によって開始マーク１１５がタッチされて、左方向にドラッグ移動された状態の画面を示す図である。ドラッグ操作に応じて、動画は逆方向に再生される。操作者は、画面の動画を見ながら、選択した静止画を挿入して再生を開始する最適位置を設定することができる。開始マーク１１５の移動を停止したり、指を離すと 画像はその時点で停止する。ここでは、ドラッグ操作によって、開始時間１１７が６５秒の位置に設定されたとする。
【００４６】
図２（Ｆ）は、効果メニューが表示された画面を示す図である。図２（Ｅ）の画面で、効果アイコン１３８がタッチ（クリック）されたとすると、図２（Ｆ）の画面に切換わる。効果メニュー１４０が、動画像に重畳して画面に表示される。効果としては、例えば、クロスフェード、ホワイトアウト、ブラックアウトが例示される。ここでは、クロスフェードがタッチされ選択されたとすると、効果メニュー１４０が消えて、図２（Ｆ）から図３（A）の画面に切換わる。
【００４７】
クロスフェードとは、動画／静止画の切換わる際、２つの画像を混合表示しながら、時系列に両者の混合比率を変化させて、画像の切り替える効果を加えるものであり、具体的な作用については、後の項で説明する。
ホワイトアウトとは、動画から静止画に切換わる際に、動画から全体が白の画面に切換わり、その白の画面から徐々に静止画の画面に切換わり、静止画を所定時間表示後は、静止画から徐々に白の画面に切換わり、全体が白の画面に切換わった後に、動画像の再生が再開されるような効果である。ブラックアウトは、白の画面を黒の画面に代えた効果である。ただし、動画／静止画の切換わり時間は、ホワイトアウトでは1秒程度で、ブラックアウトでは、２〜３秒にするようにしてもよい。
【００４８】
図３（A）では、効果として選択されたクロスフェードの略号（ＣＦ）を付した効果アイコン１３８が開始マーク１１５の上部に表示される。開始時に設定された効果が明確にわかる。この効果アイコン１３８がタッチされれば、効果メニュー１４０が再度表示され、効果の変更が可能である。
【００４９】
更に、図３（A）では、終了マーク１１６がタッチされ、画像が、６５秒時点の画像から７１．５秒時点の画像に切換わって表示されたものとする。開始マークと終了マーク１１６のタッチに連動して、表示画像も切換わる。終了位置を変更設定するためである。対応して、区別マーク１１８は終了マーク１１５の下が表示される。
【００５０】
図３（B）は、図３（A）の画面で終了マーク１１６が右方向にドラッグ操作された状態を示す図である。終了マーク１１６の位置は、終了時間１１９で示される７４秒の位置である。この状態で、終了時の効果の選択が可能である。図示はしないが、図２（F）で説明したと同様な操作による。ここでは、開始と同じクロスフェード（CF）が選択されたとする。終了マーク１１６の上部に選択された効果の種類を示す効果アイコン１３８が表示される。以上で、開始と終了の位置と効果の設定が終了したものとする。
【００５１】
図３（C）で、戻るアイコン１３４がダブルクリックされると、画像編集モードを終了して、動画編集部３３によって動画編集が行われ、画面は再生モードに切換わる（図３（D））。動画編集部３３によって、選択された静止画が設定された動画の位置に挿入された編集動画が作成されて、編集動画ファイルとして記憶部１８に記憶される。
図３（D）は、切換わった再生モードの画面を示す図である。直近に編集された画像番号Ｎｏ８の動画のスタート画面が表示され、スタート操作がされると、編集された動画像を再生する。
【００５２】
一方、図３（Ｃ）で、戻るアイコン１３４がシングルクリックされると、第１の編集位置情報を示す画面に戻る（図３（Ｅ））。図２（Ｃ）で説明したと同様な画面である。図３（Ｅ）の画面では、さらに、編集内容を確認する確認再生の実行を指示する確認再生アイコン１４２が、画面の右上隅に表示される。確認再生アイコン１４２がタッチされると、動画像の中で編集された箇所だけが、再生される。
【００５３】
図４、図５は、図３（Ｅ）で示された確認再生の詳細を説明する図である。図４は、設定された効果により開始から終了までの静止画の動画に対する成分比（例えば濃度や輝度）を示す図である。図５は、図４に対応して実際の画面変化の様子を模式的に示す図である。
【００５４】
クロスフェードとは、２つの画像を混合表示しながら切り替える方式であり、具体的な例として、図４で、静止画（Ｎｏ１）の成分比の時間的な変化をカーブ１５０で示す。静止画の成分は、６５秒から徐々に増加していき、６７．５秒から７３秒までの区間は静止画のみとなり、７３秒から７４秒までの区間では、徐々に静止画成分の割合が減少し、７４秒以降は、動画のみの表示になる。
【００５５】
図５は、動画(２０４)に代わって静止画（２０２）が徐々に出現し、静止画（２０２）が再び消滅し、動画(２０４)だけの表示に戻る様子を、時間に沿った画面で示す図である。図５（Ａ）は、図４の開始位置Ａ点（６５秒）に対応する画面で、動画のみが表示されている画面である。画面１００の右隅上には、確認再生画面であることを明示する確認再生アイコン１４２が表示される。戻しアイコン１３４がタッチされると、図３（E）の画面に戻る。
【００５６】
図５（Ｂ）は、図４のＢ点に対応する画面で、背景の動画（２０２）に静止画（２０４）がオーバーラップされた画面を模式的に示している。図５（Ｃ）は、図４のＣ区間に対応する画面で、静止画のみが表示されている画面である。このＣ区間では、画面に動画は表示されないが、動画の再生は進行しているものとする。図５（Ｄ）は、図４のＤ点に対応する画面で、図５（Ｂ）のように背景の動画（２０４）に静止画（２０２）がオーバーラップされた画面である。図５（Ｄ）は、動画の成分割合が大きくなり逆に静止画の成分割合が減少していく画面である。図５（Ｅ）は、図４のＥ点に対応する画面で、静止画の成分がなくなり、本来の動画のみで構成された画面である。
【００５７】
図６は、編集用の静止画として複数の静止画が選択された場合の編集画面を説明する図である。図６（Ａ）は、図２（Ａ）と同じ編集モードにおけるインデックス画面（選択画面）を示す図である。図６（Ａ）のインデックス画面で、編集用静止画として、Ｎｏ１の静止画だけでなく、Ｎｏ２及びＮｏ６の静止画が選択されたとする。選択方法は、図２の場合と同じく、Ｎｏ２及びＮｏ６を動画のサムネイル画像１０４へ、破線のようにドラッグ操作することによる。選択後に、動画のサムネイル画像１０４をダブルクリックすると、図６（Ｂ）の編集条件設定画面に切換わる。
【００５８】
図６（Ｂ）に示す編集条件設定画面の最初の画面では、３つの静止画の中で最も番号の小さいＮｏ１の静止画が、最初の編集候補として選択される。そこで、静止画ウインドウ１３０には、Ｎｏ１の静止画が表示される。そして、選択された他の2つの静止画は、画面１００の右上に候補静止画２１０として表示される。
【００５９】
編集画像を代える場合には、静止画ウインドウ１３０を候補静止画２１０の領域に移動する操作をし、その後に、候補静止画２１０のいずれかを静止画ウインドウ１３０に移動させる操作をすればよい。つまり、破線で示すようなドラッグ操作により、編集用の静止画像を交換することができる。ここでは、Ｎｏ１の静止画に代えて、Ｎｏ２の静止画が選択されたとする。これにより、図２（Ｂ）から、図２（Ｃ）に画面が切換わる。
【００６０】
図２（Ｃ）では、静止画ウインドウ１３０には、Ｎｏ２の画像が表示され、Ｎｏ１の画像は、候補静止画２１０として表示される。また、時間軸１１１の開始位置に第１の編集位置情報１１４が表示される。その後、前述の図２（Ｃ）で説明したと同様な操作がなされとし、図６（Ｄ）で、第２の編集位置情報１１４が表示される。そして、図２（Ｄ）〜（Ｆ）、図３（Ａ）〜図（Ｃ）で説明したと同様な操作がなされて、図６（Ｅ）に示す画面が表示される。これにより、Ｎｏ２の静止画についての開始位置、終了位置、効果の設定が完了したとする。
【００６１】
図６（Ｅ）で、戻しアイコン１３４がシングルクリックされると、第１の編集位置情報が示される図６（Ｆ）の画面に切換わる。図６（Ｆ）では、編集設定が完了した静止画Ｎｏ２の第１の編集位置情報と、編集操作を待つ静止画Ｎｏ１の第１の編集位置情報とが表示される。設定が終了した静止画Ｎｏ２については、静止画ウインドウ１３０と設定された効果が示される効果アイコン１３８の組が、設定された時間軸の位置に表示される。静止画Ｎｏ２の編集が終わったので、次の候補として、最も番号の若い静止画Ｎｏ１の第１の編集位置情報を時間軸１１１の先頭に表示する。
【００６２】
静止画Ｎｏ１についても同様にして編集条件が設定され、最後に静止画Ｎｏ３についても、同様に編集条件が設定される。Ｎｏ１、２，３の各静止画の編集条件が設定され、その設定された画面を示すのが、図６（Ｇ）である。図６（Ｇ）では、Ｎｏ１の静止画は、１００秒近傍で効果をホワイトアウトとして設定され（図示例では、効果アイコン１３８はホワイトアウトの略称 ＷＯと表示）、Ｎｏ２の静止画は、７５秒近傍で効果をクロスフェードとして設定され（図示例では、効果アイコン１３８はクロスフェードの略称 ＣＦと表示）、Ｎｏ３の静止画は、３０秒近傍で効果をブラックアウトとして設定されていることを示す。（図示例では、効果アイコン１３８はブラックアウトの略称 ＢＯと表示）。以上により、複数（3つ）の静止画をそれぞれ適当な動画の位置に挿入する編集作業を行うことができる。
【００６３】
図７は、選択した複数の静止画を１組にまとめ、まとめた静止画を一括して動画に編集する場合の編集操作を説明する図である。図７（Ａ）は、図６（Ｂ）と同じである。ここで、破線で示すように候補静止画２１０（静止画Ｎｏ２、Ｎｏ３）を静止画ウインドウ１３０（静止画Ｎｏ１）に移動させるようなドラッグ操作をすると、候補静止画２１０が静止画ウインドウ１３０と１つの組にする処理が行われる。
【００６４】
図７（Ｂ）は、静止画Ｎｏ１から３が１組にされて、対応する第１の編集位置情報を示す図である。ここで、複数の静止画が１組になったことを示すために、静止画ウインドウ１３０も、複数の画像が重なったような形状で表示する。図７（Ｃ）は、３枚の静止画を１組として、第２の編集位置情報を示す図である。ここでも、静止画ウインドウ１３０は、複数の画像が重なったような形状で表示する。
【００６５】
図８は、図７で説明したような組み合わされた３枚の静止画による、静止画の切換わりを具体的に示す図である。横軸が時間（秒）で、縦軸が動画あるいは静止画の成分（濃度や輝度）割合を示す。カーブ２２０、カーブ２２２、カーブ２２４は、それぞれ静止画Ｎｏ１、Ｎｏ２、Ｎｏ３の成分比を示す線図である。破線のカーブ２３０は、動画Ｎｏ８の濃度変化を示す線図である。
【００６６】
６８．５秒までは、１００％動画が表示され、その後、静止画Ｎｏ１〜Ｎｏ３までの静止画が切換わりながら７１．５秒まで表示される。７１．５秒後から、１００％動画が再開される。上記の操作により、複数の静止画を動画に一括挿入する編集作業が簡単にできる。一括して挿入された静止画による再生は、単独の静止画にはない変わった雰囲気を出すことができる場合がある。
【００６７】
図９は、動画編集された箇所の音声処理を説明するための図である。動画撮影時には、通常は音声も同時に記録され、動画は音声データを伴ったものが多い。上述した動画編集された部分について、音声が付帯されている場合には、その音声について以下の処理が選択できる。
【００６８】
図９の一番上のチャートが動画の編集位置の１例を示す時間軸２４０である。動画の途中にＮｏ１〜Ｎｏ３の静止画が挿入されている。このＮｏ１，Ｎｏ２，Ｎｏ３の静止画が挿入された部分を、編集区間２４２、編集区間２４４、編集区間２４６と表示する。上述したように、音声処理については、用意されたいくつかの処理パターンの中から操作者が選択できるようにする。代表的な３パターンを、時間軸上の音量レベルのカーブ２６０、２６２，２６４として示す。縦軸が音量レベルである。
【００６９】
第1の処理は、カーブ２６０で示すパターンであって、画像編集期間であっても、音声についてはそのまま再生するケースである。音声が不連続になると、不自然感を生じてしまうため、音声をそのまま再生する方が良い場合である。
【００７０】
第2の処理は、カーブ２６２で示すパターンであって、画像編集期間は、音声再生を停止させる場合である。ノイズ的な音の場合には、音声を消して、静止画表示にした方が良いからである。
【００７１】
第3の処理は、カーブ２６４で示すパターンであって、画像編集期間は、音声のレベルをダウンさせる場合である。上記第1と第2の中間的な場合である。
【００７２】
その他の処理として、上記第２の処理に代えて、画像編集期間には、他の音声を合成する場合もある。また、動画と静止画の切換わり時に効果を選択できたと同様に、音声を消したり音声のレベルダウンの処理でも、遷移時にスローダウンするような処理を行ってもよい。
【００７３】
なお、第1，２，３のような処理パターンの選択は、編集モードでの図示しないメニュー画面で行うようにしてもよいし、効果メニュー１４０に音声処理のメニューを表示させて、そのときに選択させるようにしてもよい。
【００７４】
図１０から図１３は、画像編集処理の内容を説明するフローチャートである。図１０は、メインのフローチャートである。以下の処理は、主に、画像編集部２２に含まれる、編集画像選択部３１、編集条件設定部３２、動画編集部３３により、実行される。
【００７５】
カメラの電源がオンにされたとし、操作者により設定された動作モードが画像編集モードかを判断する（Ｓ１１）。このカメラ１では、撮影、再生、編集の３つのモードが用意されている。編集モードでないと判断すると（Ｓ１１NO）、次に再生モードであるかを判断する（Ｓ１２）。動作モードとして再生モードが設定されたと判断する場合には（Ｓ１２ＹＥＳ）、再生処理を実行する（Ｓ１３）。再生モードが設定されていないと判断する場合には（Ｓ１２ＮＯ）、撮影処理を実行する（Ｓ１４）。本実施形態は、画像編集モードの処理が主要な内容であるので、撮影処理と再生処理の説明は省略する。
【００７６】
動作モードが画像編集モードであると判断すると（Ｓ１１ＹＥＳ）、まず、インデックス画面を表示する（Ｓ１５）。図２（Ａ）や図６（Ａ）で示した画面である。このインデックス画面を表示して、編集用の静止画と編集される動画の選択を待つ（Ｓ１６）。指示によるインデックス画面の切換えも含む。編集用の静止画と編集される動画が選択されたと判断すると（Ｓ１６ＹＥＳ）、編集画面での処理を行う（Ｓ１７）。
【００７７】
図１１は、Ｓ１７の編集画面の処理に係るサブルーチンを説明するためのフローチャートである。インデックス画面を編集画面に切換えて表示する（Ｓ３１）。最初の編集画面として、動画のスタート画面（静止画）を表示し（Ｓ３２）、さらに、動画に重畳させて第1の編集位置情報を表示する（Ｓ３３）。図２（Ｂ）のような画面である。次に、インデックス画面で選択された静止画が複数であるかを判断し（Ｓ３４）、静止画が1枚の場合には（Ｓ３４ＮＯ）は、Ｓ５１に進む。複数の静止画が選択された場合には（Ｓ３４ＹＥＳ）は、編集用静止画の変更操作処理を行う。
【００７８】
まず、図６（Ｂ）で示したような、編集用静止画を交換する操作がされたかを判断し（Ｓ４１）、静止画の交換操作がされたと判断すると（Ｓ４１ＹＥＳ）、静止画ウインドウと候補静止画を交換する処理を行う（Ｓ４２）。編集用静止画を交換する操作は、静止画ウインドウを画面右上にドラッグして移動させておいて、その後、候補静止画を静止画ウインドウの領域にドラッグする操作である。
【００７９】
次に、図７（Ａ）で示したような、編集用静止画をまとめる操作(集合化)がされたかを判断し（Ｓ４３）、まとめる操作(集合化)がされたと判断すると（Ｓ４３ＹＥＳ）、画面の静止画ウインドウを積層化された形状に変更する（Ｓ４４）。あわせて、集合化された静止画をまとめて取り扱うように処理を変える。Ｓ４３，Ｓ４４の処理後は、Ｓ５１に進む。複数の静止画が選択されていない場合（Ｓ３４ＮＯ）にも、Ｓ５１に進む。
【００８０】
Ｓ５１では、表示される位置情報が第1の編集位置情報に設定されているかを判断する。最初の編集画面では、デフォルトの位置情報として第1の編集位置情報が表示される。第1の編集位置情報は、動画の中で編集位置を概略で決めるための、租調用のマークだからである。位置情報が第1の編集位置情報に設定されていると判断すると（Ｓ５１ＹＥＳ）、次に、第１の編集位置情報が画面で操作されたかを判断する（Ｓ５２）。当該画面で、図２（Ｃ）で示したように、第１の編集位置情報１１４に対する移動操作があったと判断すると（Ｓ５２ＹＥＳ）、ドラッグ操作に合わせて、時間軸１１１上を第1の編集位置情報１１４を移動させ、同時に第1の編集位置情報１１４の移動に対応した動画を再生する（Ｓ５３）。
【００８１】
また、位置情報が第1の編集位置情報ではなく、第2の編集位置情報を表示する設定がされていると判断すると（Ｓ５１NO）、第2の編集位置情報を表示する処理を行う。例えば、第1の編集位置情報から第2の編集位置情報への切換え操作があったと判断すると、第2の編集位置情報の表示を行う（Ｓ５４）。図２（Ｃ）から図２（Ｄ）への切換わりである。既に、第2の編集位置情報が表示されている場合には、Ｓ５４をジャンプして、Ｓ５５に進む。
【００８２】
そして、第２の編集位置情報が画面で操作されたかを判断する（Ｓ５５）。当該画面で、図２（Ｅ）で示したように、時間軸１１１上で開始マーク１１５や終了マーク１１６の移動操作があったと判断すると（Ｓ５５ＹＥＳ）、各ドラッグ操作に合わせて、時間軸１１１上で開始マーク１１５あるいは終了マーク１１６を移動させ、同時に対応した動画を再生する（Ｓ５３）。
【００８３】
Ｓ５２，Ｓ５３、Ｓ５５またはＳ５６の処理の次には、Ｓ５７に進む。Ｓ５７以降では、画面に対する操作を並列的に処理する。まず、Ｓ５７では、図２（Ｅ）で示したような効果アイコンへの操作があったかを判断し、効果アイコンへの操作があったかとを判断すると(Ｓ５７ＹＥＳ)、効果処理を実行する（Ｓ５８）。
【００８４】
図１２は、効果処理のサブルーチンを説明するためのフローチャートである。まず、効果メニュー１４０を表示する（Ｓ７１）。図２（Ｆ）で説明した画面である。メニュー選択操作があったかを判断し（Ｓ７２）、メニュー選択操作されたと判断すると（Ｓ７２ＹＥＳ）、選択された効果の種類を 効果として決定する（Ｓ７３）。また、図２（Ｆ）では、説明を省略したが、効果の種類だけでなく、この効果メニューにて切換わりの時間をデフォルト値からマニュアルで変更できるようにしてもよい。なお、特に効果が設定されない場合には、デフォルトの効果をそのまま適用するようにする。デフォルトの効果は、例えば、ブラックアウトである。効果が決定されたら、図１１のＳ５９に戻る。また、効果アイコンへの操作がないとを判断すると(Ｓ５７ＮＯ)、Ｓ５９に進む。
【００８５】
Ｓ５９では、設定された編集条件についての確認再生を指示する操作があったかを判断する。確認再生指示があったと判断すると（Ｓ５９ＹＥＳ）、確認再生の処理を実行する（Ｓ６０）。図１３は、確認再生処理のサブルーチンを説明するためのフローチャートである。
【００８６】
確認再生処理では、該当する編集部分を再生する（Ｓ８１）。図５に示したような画面を再生する。再生終了指示があるまで（Ｓ８２）、繰り返し再生する。再生終了指示がされたと判断すると（Ｓ８２ＹＥＳ）、ステップＳ６１に戻る。また、確認再生指示がないと判断すると（Ｓ５９ＮＯ）、Ｓ６１に進む。
【００８７】
Ｓ６１では、Ｓ３４で複数の静止画が選択された場合に、静止画を切換える操作があったかを判断する。静止画を切換える操作があったと判断すると（Ｓ６１ＹＥＳ）、操作に従い静止画を切換える処理を行う（Ｓ６２）。図６（Ｆ）で示したような場合である。
【００８８】
選択された静止画が1枚の場合や、静止画が複数あっても静止画を切換える操作がないと判断する場合（Ｓ６１ＮＯ）や、Ｓ６２の後は、編集モードを終了する指示があったかを判断する（Ｓ６３）。終了指示があったと判断すると（Ｓ６３ＹＥＳ）、図１０のＳ１８に進む。編集モードを終了する指示がないと判断すれば（Ｓ６３ＮＯ）、Ｓ５１に戻る。
【００８９】
Ｓ１８では、設定された内容に従って、編集画像を作成して、作成した動画データを記憶部１８に記録させる（Ｓ１８）。あわせて、編集画面を閉じる。
【００９０】
次に、Ｓ１８または、再生処理（Ｓ１３）及び撮影処理（Ｓ１４）に続き、カメラの電源オフ操作がされたかを判断する（Ｓ１９）。電源オフ操作がされたと判断すると（Ｓ１９ＹＥＳ）、カメラ全体のオフ処理を行う。電源オフ操作がされていないと判断すると（Ｓ１９ＮＯ）、
動作モードの切換え操作がされたかを判断する（Ｓ２０）。動作モードの切換え操作がされたと判断すると（Ｓ２０ＹＥＳ）、Ｓ１１に戻り、動作モードの切換え操作がされていないと判断すると（Ｓ２０ＮＯ）、Ｓ１５に戻る。
【００９１】
以上説明したように、上記実施形態によれば、動画への静止画の挿入編集が簡単にできる画像編集装置を提供することができる。具体的には、編集する静止画と動画をインデックス画面上で簡単に選択できるので、動画編集が容易にできる。編集用の静止画を複数選択する操作も容易である。また、動画への編集位置を、粗調用の第1の編集位置情報と、微調用の第2の編集位置情報を切換えることができるので、設定が容易になる。
【００９２】
特に、挿入する静止画として、動画の前後の時間に撮影された静止画を選んで、動画の適当な箇所に挿入すれば、短時間の動画であっても、幅広い時間の画像の印象を与えることができる。長時間の動画を撮影した後で、編集して短時間化された動画よりも、強い印象を与える可能性がある。
【００９３】
また、動画に代えて静止画を再生する際に、動画の音声の処理を選択できるので、音声の内容に応じた対応が可能になる。例えば、音声は動画の音声をそのままをとぎらせずに再生すれば、不自然感が少なく、動画の冗長部分を無すことができる。また、複数の静止画を一括して、動画に挿入することもできるので、1枚の静止画を挿入するよりも、更に変化に富んだ表示をすることができる。
【００９４】
なお、以上の実施形態においては、制御部２１がプログラム記憶部２４に格納されたプログラムを読み出して実行することで、上記フローチャートが処理されるので、制御用プログラムも本発明となる。あわせて、このような制御用プログラムが記録された記録媒体も本発明となる。プログラムを格納する記録媒体としては、フラッシュメモリに限定されるものではなく、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカードなどの半導体メモリであってもよい。そして、かかる処理は、ソフトウェア処理に限るものではなく、ソフトウェア処理とハードウェア処理の組み合わせで、実現してもよい。
【００９５】
また、本発明の一実施形態においては、画像編集装置がデジタルカメラに搭載された例を説明したが、画像編集装置は、デジタルカメラに搭載されるだけでなく、ビデオカメラや画像再生装置やソフトウェアに搭載されても構わない。
【００９６】
また、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【符号の説明】
【００９７】
１１…撮像部、１２…SDAM、１３…画像処理部、１４…画像記録再生部、１５…音声記録再生部、１６…マイク、１７・・・出力端子、１８・・・記憶部、１９…表示制御部、２０…表示部、２１…制御部、２２…画像編集部、２３…操作部、２４…プログラム記憶部、３０…バスライン、３１…編集画像選択部、３２…編集条件設定部、３３…動画編集部、
【技術分野】
【０００１】
本発明は、動画中の任意の箇所に静止画を編集する編集用のＩＦ技術に関する。
【背景技術】
【０００２】
撮影されたなまの動画では、重要な場面以外の場面も多く含まれ、そのままでは、見るものを退屈させてしまうので、通常は、冗長な箇所を編集でカットしたり、重要な場面だけを抽出して再生することが行われる。
【０００３】
さらに、単なるカットだけではなく、積極的に動画に画面効果の挿入を行う画像編集装置も提案されている（特許文献１）。また、動画をつなぐ際にそのつなぎ目の遷移パターンを簡単に設定できるようにと、遷移効果の設定用画面を表示する編集装置も提案されている（特許文献２）。
【０００４】
また、所望の静止画を動画の適当な位置に挿入するものとして、インデックス表示された動画のコマを指定する編集装置が特許文献３で提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１８６９２５号公報
【特許文献２】特開２００４−１４０７５０公報
【特許文献３】特開平９−１１４６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、不要と思われる箇所（冗長な箇所）がカットされ編集された動画であっても、連続した場面を撮影している限りは、一本の調子の画面になってしまうことも多い。一方、静止画は一般に吟味して撮影された画像であるので、画像としては動画よりも優れた画像であることが多い。このようなうまいアングルで撮れた静止画を動画の例えば冗長な箇所に挿入するようにすれば、単にカット編集しただけの動画に比べて、動画の再生にメリハリがつき、鑑賞に堪える画像を作成することができるはずである。
【０００７】
また、動画と静止画を切換えて撮影できるカメラも多くなっているので、１つのイベントで、動画と静止画の両方の画像が得られる機会も多い。そこで、再生時にこの動画と静止画を別々でなく、うまく組み合わせて表示することができれば、よい演出が発揮できるはずである。そのためには、編集される動画とその編集に用いる静止画の選択、あるいは編集条件の設定等の一連の設定操作が簡単にできることが望ましい。
【０００８】
本発明は、上記課題に鑑み、動画への静止画の挿入編集が簡単にできる画像編集装置、カメラ及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第1の発明に係る画像編集装置は、静止画を動画に挿入する編集を行う画像編集装置において、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するものである。
【００１０】
第1の発明によれば、動画への編集位置を、粗調用の第1の編集位置情報と、微調用の第2の編集位置情報を切換えることができるので、編集条件設定が容易になる。
【００１１】
第２の発明に係る画像編集装置は、第１の発明に係る画像編集装置において、上記編集条件設定部により設定された編集条件に基づき、動画の編集を行う動画編集部を備え、上記動画編集部は、選択された静止画に置き換えた動画期間の音声を、当該音声を続けて再生するか、あるいは当該音声を消去するかを指示に応じて選択するものである。
【００１２】
第３の発明に係るプログラムは、静止画を動画に挿入する編集を行う画像編集装置のコンピュータで実行されるプログラムにおいて、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択するステップと、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するステップを備えるものである。
【発明の効果】
【００１３】
本発明によれば、動画への静止画の挿入編集が簡単にできる画像編集装置、カメラ及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、一実施形態におけるカメラ１の構成を示すブロック図である。
【図２】図２は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図の（１）である。
【図３】図３は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図の（２）である。
【図４】図４は, 設定された効果により開始から終了までの静止画の動画に対する成分比を示す図である。
【図５】図５は、図４に対応して設定された効果による実際の画面変化の様子を模式的に示す図である。
【図６】図６は、編集用の静止画として複数の静止画が選択された場合の編集画面を説明する図である。
【図７】図７は、選択した複数の静止画を１組にまとめ、まとめた静止画を一括して動画に編集する場合の編集操作を説明する図である。
【図８】図８は、図７で説明した組み合わされた３枚の静止画による、静止画の切換わりを具体的に示す図である。
【図９】図９は、動画編集された箇所の音声処理を説明するための図である。
【図１０】図１０は、画像編集処理の内容を説明するメインのフローチャートである。
【図１１】図１１は、編集画面の処理に係るサブルーチンを説明するためのフローチャートである。
【図１２】図１２は、画像編集処理の内容を説明するサブルーチンのフローチャートである。
【図１３】図１３は、確認再生処理の内容を説明するサブルーチンのフローチャートである。
【発明を実施するための形態】
【００１５】
図１は、一実施形態における画像編集装置の構成を示すブロック図である。ここでは、画像編集装置が、デジタルカメラ１の制御部の機能部として搭載された例で示す。デジタルカメラ１には、撮像部１１、SDRAM１２、画像処理部１３、画像記録再生部１４、音声記録再生部１５、マイク１６、出力端子１７、記憶部１８、表示ドライバー部１９、表示部２０、制御部（ＣＰＵ）２１、操作部２２、プログラム記憶部２３、バスライン３０等が備えられる。
【００１６】
撮像部１１は、被写体像を画像データに変換するものである。撮像部１１は、レンズや絞り等の光学部材、ＣＣＤやＣＭＯＳからなる撮像素子、及びＡＧＣ・ＣＤＳ・ＡＤ変換部等撮像回路を有する。
【００１７】
ＳＤＲＡＭ１２は、電気的に書き換え可能な揮発性の一時記憶メモリである。ＳＤＲＡＭ１２は、撮像部１１で撮影された画像データやマイクで入力された音声データの各種処理のための一時記憶用のメモリとして用いられる。
【００１８】
画像処理部１３は、撮像部１１で光電変換された画像データに対して、ホワイトバランス処理やガンマ補正や各種色補正等の画像処理を施すものである。
【００１９】
画像記録再生部１４は、画像を記録再生する機能に加えて圧縮伸長機能も備える。画像記録再生部１４は、動画撮影モードが選択されている場合には、レリーズ操作に合わせて、画像処理された動画像データについてH.264やＭＰＥＧ等の圧縮処理を行い、圧縮した動画像データを画像ファイルの形式で記憶部１８に記録する。
【００２０】
また、画像記録再生部１４は、静止画撮影モードが選択されている場合には、画像処理された静止画画像データにＪＰＥＧ等の圧縮処理を行い、圧縮した静止画画像データを画像ファイルの形式で記憶部１８に記録する。
【００２１】
そして、画像記録再生部１４は、再生時には、記憶部１８から指示された動画または静止画の画像ファイルを読み出し、読み出した圧縮された画像データに対して逆に伸長処理を行い、画像データに戻して、表示部２０に再生する。
【００２２】
音声記録再生部１５は、音声を記録再生する機能に加えて音声用の圧縮伸長機能を備える。音声記録再生部１５には、マイク１６と出力端子１７が接続される。マイク１６は、音声を入力させるためのものである。出力端子１７は、記録中の音声のモニターや記録した音声を再生する場合に、イヤホーンを接続するための端子である。
【００２３】
音声記録再生部１５は、マイク１６から入力された音声をAGC処理やノイズ低減処理等を施してからＡ／D変換してデジタルの音声データに直す。音声記録再生部１５は、さらに、この音声データに音声用の圧縮処理を行ってから、音声ファイルとして記憶部１８に記録する。音声記録は、通常動画撮影と連動して行われるが、撮影済みの静止画へのアフレコ指示がされた場合にも行われる。
【００２４】
画像記録再生部１５は、記憶部１８から指示された音声ファイルを読み出し、読み出した圧縮された音声データに対して逆に伸長処理を行い、音声データに戻す。画像記録再生部１５は、さらにＤ／Ａ変換してアナログの音声信号に戻し、適当なレベルで増幅して出力端子１７に出力する。音声再生は、動画再生指示あるいは対応する静止画再生指示あるいは単独での音声再生指示により、行われる。
【００２５】
記憶部１８は、ハードディスクあるいはフラッシュメモリからなり、撮影された画像および入力された音声データを保存する保存用のメモリである。
【００２６】
表示ドライバー部１９は、表示部２０への表示を電気的に駆動するものである。表示ドライバー部１９は、撮影時にはライブビュー画像を表示部２０に表示し、再生時には、記憶部１８から読み出され再生された画像を表示部２０に表示する。表示部２０は、ＬＣＤや有機ＥＬからなる。表示部２０には、上述したライブビュー画像や再生画像以外に、条件設定用にメニュー画面も表示される。
【００２７】
制御部２１は、プログラムに従って、カメラ１の全体を制御する。制御部２１には、操作部２３、プログラム記憶部２４が接続される。プログラム記憶部２４は、例えばフラッシュからなる不揮発性のメモリである。プログラム記憶部２４には、制御部２１で読み込まれる装置の動作プログラムや 処理に使用される各種データが記憶される。
【００２８】
操作部２３は、再生や記録の動作モードの切換え、記録の開始や終了指示、あるいは省電力モードの種類の選択を行うため等の、各種操作部材を有する。操作部材はカメラ１の外観に備えられる。また、操作部材には、表示部２０上に設けられたタッチパネルが含まれる。操作部２３は、操作部材への使用者からの操作指示の内容を、制御部２１に通知する。
【００２９】
制御部２１は、プログラム記憶部２４から動作プログラムを読み込んで、操作部２３から入力される操作者からの指示に応じて、記録再生等の各種処理あるいは編集処理を実行する。
【００３０】
制御部２１は、プログラムに従って撮影再生を制御する他に画像編集処理を実行する。この画像編集処理を実行する機能を以下で便宜的に画像編集部（装置）２２と呼ぶ。さらに、画像編集部２２によって実行される画像編集処理には、編集画像選択処理、編集条件設定処理、動画編集処理が含まれるが、それぞれを機能を、編集画像選択部３１、編集条件設定部３２、動画編集部３３と呼ぶ。
【００３１】
編集画像選択部３１は、動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する。また、編集条件設定部３２は、動画の時間軸上で、上記挿入される静止画と当該静止画の再生開始位置と終了位置を含む編集位置情報を表し、編集条件を設定させる。動画編集部３３は、編集条件設定部により設定された条件に基づき、上記編集画像選択部により選択され動画の一部を選択された静止画に置き換えて動画の編集を行う。また、動画編集部３３は、編集処理のされた動画を、一部に静止画を合成した新たな動画ファイルとして記憶部１８に記録する。なお、動画編集部３３は、編集の形態として、新たな動画ファイルとして記録するのではなく、編集に必要な情報だけを記憶しておき、再生指示があった場合に、その情報に基づいて編集動画を生成するような形態にしてもよい。
【００３２】
また、動画編集部３３は、動画編集の場合に、指示に応じて、動画に付帯されて記録された音声につき、そのまま再生するか、あるいはミュートとするか、あるいは、出力レベルダウンさせるかを制御する。また、バスライン３０は、各部間でデータの受け渡しを行う。
【００３３】
かかる構成を備えるカメラ１には、動作モードとして撮影モードと再生モードの他に、画像編集モードが備えられる。画像編集モードとは、動画の任意の位置に指定した静止画を挿入して新たな編集動画を生成するモードである。以下、図面に沿って、画像編集モードの操作・表示の具体例を説明する。
【００３４】
図２、図３は、画像編集モードにおいて、静止画を動画に編集する際の操作とそれに対応する画面を、順番に説明する図である。ここで、表示部２０は、タッチパネル付きのものである。
【００３５】
図２（Ａ）は、表示部２０の画面１００に、撮影画像を撮影順に一覧的に並べたインデックス画面が表示された様子を示す図である。編集する静止画と動画を選択するための画面である。この画面を選択画面とも呼ぶ。動画では例えばその動画の先頭画像が代表画像として表示される。縮小画像中の各数字（１〜９）は、画像番号である。また、動画については、静止画と区別するために、左右にパーフォレーションが付されている。本例では、画像番号のＮｏ１，２，３，５，６，７，９の計7枚が静止画である。画像番号のＮｏ４，８が動画である。
【００３６】
このインデックス画面上で、編集する動画と編集に用いられる静止画の組が選択される。ここでは、編集に用いられる静止画をタッチして、編集する動画までドラッグ操作することで、編集に用いられる静止画と編集される動画の組が選択される。例えば、操作者がＮｏ１の静止画をＮｏ8の動画に挿入しようとする場合には、Ｎｏ１の静止画を示すサムネイル画像１０２にタッチして、そのままＮｏ８の動画を示すサムネイル画像１０４まで、ドラッグ操作すればよい。編集画像選択部３１が、操作部２３のタッチパネルからの操作を検出して、編集用の静止画と編集される動画の選択処理を行う。インデックス画面には、記憶部１８から画像記録再生部１４によって再生された静止画・動画が表示される。インデックス画面は、不図示の操作部材への操作によってページを切換えるように更新され、表示される画像を順次表示させることができる。なお、静止画や動画は、編集候補に登録しておけば、静止画と動画が異なるインデックス画面上に表示された場合でも、両者の対応付けは可能である。
【００３７】
特定の静止画が特定の動画へドラッグ操作された後に、その動画がダブルクリック操作されると、選択画面を終了し、画面１００が図２（Ａ）のインデックス画面から図２（Ｂ）に切換わる。図２（Ｂ）〜（H）の画面を、編集条件設定画面または編集画面と呼ぶ。図２（Ｂ）は、編集画面の最初の画面で、選択された画像番号Ｎｏ８の動画の最初の画像が静止画として表示され、この画像に重畳して、各編集条件が表示される。各編集条件として、時間軸１１１と静止画ウインドウ１３０と効果アイコン１３８、再生時間１３２、再生種別情報１３６が表示される。
【００３８】
時間軸１１１は動画の時間位置を示すものである。時間軸１１１は画面１００の下部に水平方向に表示され、時間軸１１１の下には、適当な間隔で時刻１１２が本例では 秒単位で表示される。また、時間軸１１１の右端には全長時間１１３（ここでは１６５秒）が表示される。そして、時間軸１１１の左端に動画の編集位置を指示するための第１の編集位置情報１１４が表示される。第１の編集位置情報１１４は、デフォルトでは、撮影開始位置に表示させるものとする。また、撮影終了位置あるいは撮影の中間位置に表示させるようにしてもよい。第１の編集位置情報１１４は、２本の縦線が一定間隔に並んだ形状である。第１の編集位置情報１１４は、時間軸上で編集位置をおおよそ設定するための情報である。換言すれば、第1の編集位置情報は、粗調用のマークだからである。
【００３９】
静止画ウインドウ１３０は挿入する静止画の内容を示すもので、選択された静止画（Ｎｏ８）が縮小表示される。静止画ウインドウ１３０は第１の編集位置情報１１４の近傍(例えば上部)に表示される。効果アイコン１３８は、後ほど図２（Ｆ）で説明する効果メニュー１４０を呼び出すためのアイコンである。効果メニューは、静止画と動画の切換わりの画面効果を一覧的に表示されるものである。効果メニューは、静止画と動画の切換わりの画面効果として複数種類の用意されたものから、操作者によって選択させるためのものである。効果アイコン１３８は、静止画ウインドウ１３０の下に表示される。現在は、画面効果が選択されていない状態、つまり、特に画面効果なしで静止画・動画が瞬間的に切換わる状態である。
【００４０】
再生時間１３２は、画面に表示されている動画の時間を表す。現在は、動画スタート時点なので、０秒が示される。再生種別情報１３６は、表示中の画像が動画の静止画像か連続画像のいずれかであるかを示すものである。現在は、動画が静止画像で表示されていることを示している。
【００４１】
図２（Ｃ）は、時間軸１１１の左端（撮影スタート）に最初に設定された第１の編集位置情報１１４を、切換え希望の位置まで移動させる状態を示す画面を示す図である。第１の編集位置情報１１４を操作者が時間軸１１１に沿ってドラッグ操作することで、時間軸１１１上のおおよその時間を編集位置に指定することが可能である。そして、ドラッグ操作されて、第１の編集位置情報１１４の時間軸１１１上で移動する位置にあわせて、対応する時間の動画が画面に再生される。
【００４２】
静止画ウインドウ１３０及び効果アイコン１３８も、第１の編集位置情報１１４の移動に伴って移動される。また、再生種別情報１３６は、ドラッグ操作中の現在は、動画表示であることを示す表示に切換わる。再生時間１３２もドラッグ操作に連動した表示中の時間を表示する（７０秒）。第１の編集位置情報１１４の移動操作を停止したり、第１の編集位置情報１１４から指を離すと、動画がその時点で停止される。また、画面１００の左上隅に、前画面に戻すための戻しアイコン１３４が表示される。
【００４３】
図２（Ｃ）において、第１の編集位置情報１１４に対してダブルクリック操作がされると、図２（Ｄ）の画面に切換わる。図２（Ｄ）は、第２の編集位置情報を示す図である。図２（Ｄ）では、時間軸１１１において、第１の編集位置情報１１４で指示された位置が拡大して表示される。そして、第１の編集位置情報１１４に代わり、第２の編集位置情報が表示される。第２の編集位置情報は、開始マーク１１５、終了マーク１１６、開始時間１１７、終了時間１１９、区別マーク１１８からなる。なお、第１の編集位置情報１１４を第２の編集位置情報に切換える操作は、ダブルクリックに限定するものではなく、他のアイコンへのタッチ操作でもよい。第1の編集位置情報は、微調用のマークである。
【００４４】
開始マーク１１５及び終了マーク１１６は、時間軸１１１上で、開始終了位置をそれぞれ独立して設定するためのマークである。開始時間１１７（６８．５秒）は、開始マーク１１５の現在位置に対応する開始時間を示す。終了時間１１９（７１．５秒）は、終了マーク１１６の現在位置に対応する終了時間を示す。ここで、区別マーク１１８は、現在画面に表示されている画像が、開始マーク位置に対応する画像なのか終了マーク位置に対応する画像なのかを区別するための表示である。ここでは、開始マーク１１５の下に区別マーク１１８が表示され、現画面が開始マーク位置の画像（６８．５秒）であることを示している。なお、その区別をより明確にするために、開始時間１１７の方を枠で囲んだ表示もしている。また、再生種別情報１３６は、動画が静止画像で表示されていることを示している。
【００４５】
図２（Ｅ）は、図２（Ｄ）の画面から、操作者によって開始マーク１１５がタッチされて、左方向にドラッグ移動された状態の画面を示す図である。ドラッグ操作に応じて、動画は逆方向に再生される。操作者は、画面の動画を見ながら、選択した静止画を挿入して再生を開始する最適位置を設定することができる。開始マーク１１５の移動を停止したり、指を離すと 画像はその時点で停止する。ここでは、ドラッグ操作によって、開始時間１１７が６５秒の位置に設定されたとする。
【００４６】
図２（Ｆ）は、効果メニューが表示された画面を示す図である。図２（Ｅ）の画面で、効果アイコン１３８がタッチ（クリック）されたとすると、図２（Ｆ）の画面に切換わる。効果メニュー１４０が、動画像に重畳して画面に表示される。効果としては、例えば、クロスフェード、ホワイトアウト、ブラックアウトが例示される。ここでは、クロスフェードがタッチされ選択されたとすると、効果メニュー１４０が消えて、図２（Ｆ）から図３（A）の画面に切換わる。
【００４７】
クロスフェードとは、動画／静止画の切換わる際、２つの画像を混合表示しながら、時系列に両者の混合比率を変化させて、画像の切り替える効果を加えるものであり、具体的な作用については、後の項で説明する。
ホワイトアウトとは、動画から静止画に切換わる際に、動画から全体が白の画面に切換わり、その白の画面から徐々に静止画の画面に切換わり、静止画を所定時間表示後は、静止画から徐々に白の画面に切換わり、全体が白の画面に切換わった後に、動画像の再生が再開されるような効果である。ブラックアウトは、白の画面を黒の画面に代えた効果である。ただし、動画／静止画の切換わり時間は、ホワイトアウトでは1秒程度で、ブラックアウトでは、２〜３秒にするようにしてもよい。
【００４８】
図３（A）では、効果として選択されたクロスフェードの略号（ＣＦ）を付した効果アイコン１３８が開始マーク１１５の上部に表示される。開始時に設定された効果が明確にわかる。この効果アイコン１３８がタッチされれば、効果メニュー１４０が再度表示され、効果の変更が可能である。
【００４９】
更に、図３（A）では、終了マーク１１６がタッチされ、画像が、６５秒時点の画像から７１．５秒時点の画像に切換わって表示されたものとする。開始マークと終了マーク１１６のタッチに連動して、表示画像も切換わる。終了位置を変更設定するためである。対応して、区別マーク１１８は終了マーク１１５の下が表示される。
【００５０】
図３（B）は、図３（A）の画面で終了マーク１１６が右方向にドラッグ操作された状態を示す図である。終了マーク１１６の位置は、終了時間１１９で示される７４秒の位置である。この状態で、終了時の効果の選択が可能である。図示はしないが、図２（F）で説明したと同様な操作による。ここでは、開始と同じクロスフェード（CF）が選択されたとする。終了マーク１１６の上部に選択された効果の種類を示す効果アイコン１３８が表示される。以上で、開始と終了の位置と効果の設定が終了したものとする。
【００５１】
図３（C）で、戻るアイコン１３４がダブルクリックされると、画像編集モードを終了して、動画編集部３３によって動画編集が行われ、画面は再生モードに切換わる（図３（D））。動画編集部３３によって、選択された静止画が設定された動画の位置に挿入された編集動画が作成されて、編集動画ファイルとして記憶部１８に記憶される。
図３（D）は、切換わった再生モードの画面を示す図である。直近に編集された画像番号Ｎｏ８の動画のスタート画面が表示され、スタート操作がされると、編集された動画像を再生する。
【００５２】
一方、図３（Ｃ）で、戻るアイコン１３４がシングルクリックされると、第１の編集位置情報を示す画面に戻る（図３（Ｅ））。図２（Ｃ）で説明したと同様な画面である。図３（Ｅ）の画面では、さらに、編集内容を確認する確認再生の実行を指示する確認再生アイコン１４２が、画面の右上隅に表示される。確認再生アイコン１４２がタッチされると、動画像の中で編集された箇所だけが、再生される。
【００５３】
図４、図５は、図３（Ｅ）で示された確認再生の詳細を説明する図である。図４は、設定された効果により開始から終了までの静止画の動画に対する成分比（例えば濃度や輝度）を示す図である。図５は、図４に対応して実際の画面変化の様子を模式的に示す図である。
【００５４】
クロスフェードとは、２つの画像を混合表示しながら切り替える方式であり、具体的な例として、図４で、静止画（Ｎｏ１）の成分比の時間的な変化をカーブ１５０で示す。静止画の成分は、６５秒から徐々に増加していき、６７．５秒から７３秒までの区間は静止画のみとなり、７３秒から７４秒までの区間では、徐々に静止画成分の割合が減少し、７４秒以降は、動画のみの表示になる。
【００５５】
図５は、動画(２０４)に代わって静止画（２０２）が徐々に出現し、静止画（２０２）が再び消滅し、動画(２０４)だけの表示に戻る様子を、時間に沿った画面で示す図である。図５（Ａ）は、図４の開始位置Ａ点（６５秒）に対応する画面で、動画のみが表示されている画面である。画面１００の右隅上には、確認再生画面であることを明示する確認再生アイコン１４２が表示される。戻しアイコン１３４がタッチされると、図３（E）の画面に戻る。
【００５６】
図５（Ｂ）は、図４のＢ点に対応する画面で、背景の動画（２０２）に静止画（２０４）がオーバーラップされた画面を模式的に示している。図５（Ｃ）は、図４のＣ区間に対応する画面で、静止画のみが表示されている画面である。このＣ区間では、画面に動画は表示されないが、動画の再生は進行しているものとする。図５（Ｄ）は、図４のＤ点に対応する画面で、図５（Ｂ）のように背景の動画（２０４）に静止画（２０２）がオーバーラップされた画面である。図５（Ｄ）は、動画の成分割合が大きくなり逆に静止画の成分割合が減少していく画面である。図５（Ｅ）は、図４のＥ点に対応する画面で、静止画の成分がなくなり、本来の動画のみで構成された画面である。
【００５７】
図６は、編集用の静止画として複数の静止画が選択された場合の編集画面を説明する図である。図６（Ａ）は、図２（Ａ）と同じ編集モードにおけるインデックス画面（選択画面）を示す図である。図６（Ａ）のインデックス画面で、編集用静止画として、Ｎｏ１の静止画だけでなく、Ｎｏ２及びＮｏ６の静止画が選択されたとする。選択方法は、図２の場合と同じく、Ｎｏ２及びＮｏ６を動画のサムネイル画像１０４へ、破線のようにドラッグ操作することによる。選択後に、動画のサムネイル画像１０４をダブルクリックすると、図６（Ｂ）の編集条件設定画面に切換わる。
【００５８】
図６（Ｂ）に示す編集条件設定画面の最初の画面では、３つの静止画の中で最も番号の小さいＮｏ１の静止画が、最初の編集候補として選択される。そこで、静止画ウインドウ１３０には、Ｎｏ１の静止画が表示される。そして、選択された他の2つの静止画は、画面１００の右上に候補静止画２１０として表示される。
【００５９】
編集画像を代える場合には、静止画ウインドウ１３０を候補静止画２１０の領域に移動する操作をし、その後に、候補静止画２１０のいずれかを静止画ウインドウ１３０に移動させる操作をすればよい。つまり、破線で示すようなドラッグ操作により、編集用の静止画像を交換することができる。ここでは、Ｎｏ１の静止画に代えて、Ｎｏ２の静止画が選択されたとする。これにより、図２（Ｂ）から、図２（Ｃ）に画面が切換わる。
【００６０】
図２（Ｃ）では、静止画ウインドウ１３０には、Ｎｏ２の画像が表示され、Ｎｏ１の画像は、候補静止画２１０として表示される。また、時間軸１１１の開始位置に第１の編集位置情報１１４が表示される。その後、前述の図２（Ｃ）で説明したと同様な操作がなされとし、図６（Ｄ）で、第２の編集位置情報１１４が表示される。そして、図２（Ｄ）〜（Ｆ）、図３（Ａ）〜図（Ｃ）で説明したと同様な操作がなされて、図６（Ｅ）に示す画面が表示される。これにより、Ｎｏ２の静止画についての開始位置、終了位置、効果の設定が完了したとする。
【００６１】
図６（Ｅ）で、戻しアイコン１３４がシングルクリックされると、第１の編集位置情報が示される図６（Ｆ）の画面に切換わる。図６（Ｆ）では、編集設定が完了した静止画Ｎｏ２の第１の編集位置情報と、編集操作を待つ静止画Ｎｏ１の第１の編集位置情報とが表示される。設定が終了した静止画Ｎｏ２については、静止画ウインドウ１３０と設定された効果が示される効果アイコン１３８の組が、設定された時間軸の位置に表示される。静止画Ｎｏ２の編集が終わったので、次の候補として、最も番号の若い静止画Ｎｏ１の第１の編集位置情報を時間軸１１１の先頭に表示する。
【００６２】
静止画Ｎｏ１についても同様にして編集条件が設定され、最後に静止画Ｎｏ３についても、同様に編集条件が設定される。Ｎｏ１、２，３の各静止画の編集条件が設定され、その設定された画面を示すのが、図６（Ｇ）である。図６（Ｇ）では、Ｎｏ１の静止画は、１００秒近傍で効果をホワイトアウトとして設定され（図示例では、効果アイコン１３８はホワイトアウトの略称 ＷＯと表示）、Ｎｏ２の静止画は、７５秒近傍で効果をクロスフェードとして設定され（図示例では、効果アイコン１３８はクロスフェードの略称 ＣＦと表示）、Ｎｏ３の静止画は、３０秒近傍で効果をブラックアウトとして設定されていることを示す。（図示例では、効果アイコン１３８はブラックアウトの略称 ＢＯと表示）。以上により、複数（3つ）の静止画をそれぞれ適当な動画の位置に挿入する編集作業を行うことができる。
【００６３】
図７は、選択した複数の静止画を１組にまとめ、まとめた静止画を一括して動画に編集する場合の編集操作を説明する図である。図７（Ａ）は、図６（Ｂ）と同じである。ここで、破線で示すように候補静止画２１０（静止画Ｎｏ２、Ｎｏ３）を静止画ウインドウ１３０（静止画Ｎｏ１）に移動させるようなドラッグ操作をすると、候補静止画２１０が静止画ウインドウ１３０と１つの組にする処理が行われる。
【００６４】
図７（Ｂ）は、静止画Ｎｏ１から３が１組にされて、対応する第１の編集位置情報を示す図である。ここで、複数の静止画が１組になったことを示すために、静止画ウインドウ１３０も、複数の画像が重なったような形状で表示する。図７（Ｃ）は、３枚の静止画を１組として、第２の編集位置情報を示す図である。ここでも、静止画ウインドウ１３０は、複数の画像が重なったような形状で表示する。
【００６５】
図８は、図７で説明したような組み合わされた３枚の静止画による、静止画の切換わりを具体的に示す図である。横軸が時間（秒）で、縦軸が動画あるいは静止画の成分（濃度や輝度）割合を示す。カーブ２２０、カーブ２２２、カーブ２２４は、それぞれ静止画Ｎｏ１、Ｎｏ２、Ｎｏ３の成分比を示す線図である。破線のカーブ２３０は、動画Ｎｏ８の濃度変化を示す線図である。
【００６６】
６８．５秒までは、１００％動画が表示され、その後、静止画Ｎｏ１〜Ｎｏ３までの静止画が切換わりながら７１．５秒まで表示される。７１．５秒後から、１００％動画が再開される。上記の操作により、複数の静止画を動画に一括挿入する編集作業が簡単にできる。一括して挿入された静止画による再生は、単独の静止画にはない変わった雰囲気を出すことができる場合がある。
【００６７】
図９は、動画編集された箇所の音声処理を説明するための図である。動画撮影時には、通常は音声も同時に記録され、動画は音声データを伴ったものが多い。上述した動画編集された部分について、音声が付帯されている場合には、その音声について以下の処理が選択できる。
【００６８】
図９の一番上のチャートが動画の編集位置の１例を示す時間軸２４０である。動画の途中にＮｏ１〜Ｎｏ３の静止画が挿入されている。このＮｏ１，Ｎｏ２，Ｎｏ３の静止画が挿入された部分を、編集区間２４２、編集区間２４４、編集区間２４６と表示する。上述したように、音声処理については、用意されたいくつかの処理パターンの中から操作者が選択できるようにする。代表的な３パターンを、時間軸上の音量レベルのカーブ２６０、２６２，２６４として示す。縦軸が音量レベルである。
【００６９】
第1の処理は、カーブ２６０で示すパターンであって、画像編集期間であっても、音声についてはそのまま再生するケースである。音声が不連続になると、不自然感を生じてしまうため、音声をそのまま再生する方が良い場合である。
【００７０】
第2の処理は、カーブ２６２で示すパターンであって、画像編集期間は、音声再生を停止させる場合である。ノイズ的な音の場合には、音声を消して、静止画表示にした方が良いからである。
【００７１】
第3の処理は、カーブ２６４で示すパターンであって、画像編集期間は、音声のレベルをダウンさせる場合である。上記第1と第2の中間的な場合である。
【００７２】
その他の処理として、上記第２の処理に代えて、画像編集期間には、他の音声を合成する場合もある。また、動画と静止画の切換わり時に効果を選択できたと同様に、音声を消したり音声のレベルダウンの処理でも、遷移時にスローダウンするような処理を行ってもよい。
【００７３】
なお、第1，２，３のような処理パターンの選択は、編集モードでの図示しないメニュー画面で行うようにしてもよいし、効果メニュー１４０に音声処理のメニューを表示させて、そのときに選択させるようにしてもよい。
【００７４】
図１０から図１３は、画像編集処理の内容を説明するフローチャートである。図１０は、メインのフローチャートである。以下の処理は、主に、画像編集部２２に含まれる、編集画像選択部３１、編集条件設定部３２、動画編集部３３により、実行される。
【００７５】
カメラの電源がオンにされたとし、操作者により設定された動作モードが画像編集モードかを判断する（Ｓ１１）。このカメラ１では、撮影、再生、編集の３つのモードが用意されている。編集モードでないと判断すると（Ｓ１１NO）、次に再生モードであるかを判断する（Ｓ１２）。動作モードとして再生モードが設定されたと判断する場合には（Ｓ１２ＹＥＳ）、再生処理を実行する（Ｓ１３）。再生モードが設定されていないと判断する場合には（Ｓ１２ＮＯ）、撮影処理を実行する（Ｓ１４）。本実施形態は、画像編集モードの処理が主要な内容であるので、撮影処理と再生処理の説明は省略する。
【００７６】
動作モードが画像編集モードであると判断すると（Ｓ１１ＹＥＳ）、まず、インデックス画面を表示する（Ｓ１５）。図２（Ａ）や図６（Ａ）で示した画面である。このインデックス画面を表示して、編集用の静止画と編集される動画の選択を待つ（Ｓ１６）。指示によるインデックス画面の切換えも含む。編集用の静止画と編集される動画が選択されたと判断すると（Ｓ１６ＹＥＳ）、編集画面での処理を行う（Ｓ１７）。
【００７７】
図１１は、Ｓ１７の編集画面の処理に係るサブルーチンを説明するためのフローチャートである。インデックス画面を編集画面に切換えて表示する（Ｓ３１）。最初の編集画面として、動画のスタート画面（静止画）を表示し（Ｓ３２）、さらに、動画に重畳させて第1の編集位置情報を表示する（Ｓ３３）。図２（Ｂ）のような画面である。次に、インデックス画面で選択された静止画が複数であるかを判断し（Ｓ３４）、静止画が1枚の場合には（Ｓ３４ＮＯ）は、Ｓ５１に進む。複数の静止画が選択された場合には（Ｓ３４ＹＥＳ）は、編集用静止画の変更操作処理を行う。
【００７８】
まず、図６（Ｂ）で示したような、編集用静止画を交換する操作がされたかを判断し（Ｓ４１）、静止画の交換操作がされたと判断すると（Ｓ４１ＹＥＳ）、静止画ウインドウと候補静止画を交換する処理を行う（Ｓ４２）。編集用静止画を交換する操作は、静止画ウインドウを画面右上にドラッグして移動させておいて、その後、候補静止画を静止画ウインドウの領域にドラッグする操作である。
【００７９】
次に、図７（Ａ）で示したような、編集用静止画をまとめる操作(集合化)がされたかを判断し（Ｓ４３）、まとめる操作(集合化)がされたと判断すると（Ｓ４３ＹＥＳ）、画面の静止画ウインドウを積層化された形状に変更する（Ｓ４４）。あわせて、集合化された静止画をまとめて取り扱うように処理を変える。Ｓ４３，Ｓ４４の処理後は、Ｓ５１に進む。複数の静止画が選択されていない場合（Ｓ３４ＮＯ）にも、Ｓ５１に進む。
【００８０】
Ｓ５１では、表示される位置情報が第1の編集位置情報に設定されているかを判断する。最初の編集画面では、デフォルトの位置情報として第1の編集位置情報が表示される。第1の編集位置情報は、動画の中で編集位置を概略で決めるための、租調用のマークだからである。位置情報が第1の編集位置情報に設定されていると判断すると（Ｓ５１ＹＥＳ）、次に、第１の編集位置情報が画面で操作されたかを判断する（Ｓ５２）。当該画面で、図２（Ｃ）で示したように、第１の編集位置情報１１４に対する移動操作があったと判断すると（Ｓ５２ＹＥＳ）、ドラッグ操作に合わせて、時間軸１１１上を第1の編集位置情報１１４を移動させ、同時に第1の編集位置情報１１４の移動に対応した動画を再生する（Ｓ５３）。
【００８１】
また、位置情報が第1の編集位置情報ではなく、第2の編集位置情報を表示する設定がされていると判断すると（Ｓ５１NO）、第2の編集位置情報を表示する処理を行う。例えば、第1の編集位置情報から第2の編集位置情報への切換え操作があったと判断すると、第2の編集位置情報の表示を行う（Ｓ５４）。図２（Ｃ）から図２（Ｄ）への切換わりである。既に、第2の編集位置情報が表示されている場合には、Ｓ５４をジャンプして、Ｓ５５に進む。
【００８２】
そして、第２の編集位置情報が画面で操作されたかを判断する（Ｓ５５）。当該画面で、図２（Ｅ）で示したように、時間軸１１１上で開始マーク１１５や終了マーク１１６の移動操作があったと判断すると（Ｓ５５ＹＥＳ）、各ドラッグ操作に合わせて、時間軸１１１上で開始マーク１１５あるいは終了マーク１１６を移動させ、同時に対応した動画を再生する（Ｓ５３）。
【００８３】
Ｓ５２，Ｓ５３、Ｓ５５またはＳ５６の処理の次には、Ｓ５７に進む。Ｓ５７以降では、画面に対する操作を並列的に処理する。まず、Ｓ５７では、図２（Ｅ）で示したような効果アイコンへの操作があったかを判断し、効果アイコンへの操作があったかとを判断すると(Ｓ５７ＹＥＳ)、効果処理を実行する（Ｓ５８）。
【００８４】
図１２は、効果処理のサブルーチンを説明するためのフローチャートである。まず、効果メニュー１４０を表示する（Ｓ７１）。図２（Ｆ）で説明した画面である。メニュー選択操作があったかを判断し（Ｓ７２）、メニュー選択操作されたと判断すると（Ｓ７２ＹＥＳ）、選択された効果の種類を 効果として決定する（Ｓ７３）。また、図２（Ｆ）では、説明を省略したが、効果の種類だけでなく、この効果メニューにて切換わりの時間をデフォルト値からマニュアルで変更できるようにしてもよい。なお、特に効果が設定されない場合には、デフォルトの効果をそのまま適用するようにする。デフォルトの効果は、例えば、ブラックアウトである。効果が決定されたら、図１１のＳ５９に戻る。また、効果アイコンへの操作がないとを判断すると(Ｓ５７ＮＯ)、Ｓ５９に進む。
【００８５】
Ｓ５９では、設定された編集条件についての確認再生を指示する操作があったかを判断する。確認再生指示があったと判断すると（Ｓ５９ＹＥＳ）、確認再生の処理を実行する（Ｓ６０）。図１３は、確認再生処理のサブルーチンを説明するためのフローチャートである。
【００８６】
確認再生処理では、該当する編集部分を再生する（Ｓ８１）。図５に示したような画面を再生する。再生終了指示があるまで（Ｓ８２）、繰り返し再生する。再生終了指示がされたと判断すると（Ｓ８２ＹＥＳ）、ステップＳ６１に戻る。また、確認再生指示がないと判断すると（Ｓ５９ＮＯ）、Ｓ６１に進む。
【００８７】
Ｓ６１では、Ｓ３４で複数の静止画が選択された場合に、静止画を切換える操作があったかを判断する。静止画を切換える操作があったと判断すると（Ｓ６１ＹＥＳ）、操作に従い静止画を切換える処理を行う（Ｓ６２）。図６（Ｆ）で示したような場合である。
【００８８】
選択された静止画が1枚の場合や、静止画が複数あっても静止画を切換える操作がないと判断する場合（Ｓ６１ＮＯ）や、Ｓ６２の後は、編集モードを終了する指示があったかを判断する（Ｓ６３）。終了指示があったと判断すると（Ｓ６３ＹＥＳ）、図１０のＳ１８に進む。編集モードを終了する指示がないと判断すれば（Ｓ６３ＮＯ）、Ｓ５１に戻る。
【００８９】
Ｓ１８では、設定された内容に従って、編集画像を作成して、作成した動画データを記憶部１８に記録させる（Ｓ１８）。あわせて、編集画面を閉じる。
【００９０】
次に、Ｓ１８または、再生処理（Ｓ１３）及び撮影処理（Ｓ１４）に続き、カメラの電源オフ操作がされたかを判断する（Ｓ１９）。電源オフ操作がされたと判断すると（Ｓ１９ＹＥＳ）、カメラ全体のオフ処理を行う。電源オフ操作がされていないと判断すると（Ｓ１９ＮＯ）、
動作モードの切換え操作がされたかを判断する（Ｓ２０）。動作モードの切換え操作がされたと判断すると（Ｓ２０ＹＥＳ）、Ｓ１１に戻り、動作モードの切換え操作がされていないと判断すると（Ｓ２０ＮＯ）、Ｓ１５に戻る。
【００９１】
以上説明したように、上記実施形態によれば、動画への静止画の挿入編集が簡単にできる画像編集装置を提供することができる。具体的には、編集する静止画と動画をインデックス画面上で簡単に選択できるので、動画編集が容易にできる。編集用の静止画を複数選択する操作も容易である。また、動画への編集位置を、粗調用の第1の編集位置情報と、微調用の第2の編集位置情報を切換えることができるので、設定が容易になる。
【００９２】
特に、挿入する静止画として、動画の前後の時間に撮影された静止画を選んで、動画の適当な箇所に挿入すれば、短時間の動画であっても、幅広い時間の画像の印象を与えることができる。長時間の動画を撮影した後で、編集して短時間化された動画よりも、強い印象を与える可能性がある。
【００９３】
また、動画に代えて静止画を再生する際に、動画の音声の処理を選択できるので、音声の内容に応じた対応が可能になる。例えば、音声は動画の音声をそのままをとぎらせずに再生すれば、不自然感が少なく、動画の冗長部分を無すことができる。また、複数の静止画を一括して、動画に挿入することもできるので、1枚の静止画を挿入するよりも、更に変化に富んだ表示をすることができる。
【００９４】
なお、以上の実施形態においては、制御部２１がプログラム記憶部２４に格納されたプログラムを読み出して実行することで、上記フローチャートが処理されるので、制御用プログラムも本発明となる。あわせて、このような制御用プログラムが記録された記録媒体も本発明となる。プログラムを格納する記録媒体としては、フラッシュメモリに限定されるものではなく、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカードなどの半導体メモリであってもよい。そして、かかる処理は、ソフトウェア処理に限るものではなく、ソフトウェア処理とハードウェア処理の組み合わせで、実現してもよい。
【００９５】
また、本発明の一実施形態においては、画像編集装置がデジタルカメラに搭載された例を説明したが、画像編集装置は、デジタルカメラに搭載されるだけでなく、ビデオカメラや画像再生装置やソフトウェアに搭載されても構わない。
【００９６】
また、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【符号の説明】
【００９７】
１１…撮像部、１２…SDAM、１３…画像処理部、１４…画像記録再生部、１５…音声記録再生部、１６…マイク、１７・・・出力端子、１８・・・記憶部、１９…表示制御部、２０…表示部、２１…制御部、２２…画像編集部、２３…操作部、２４…プログラム記憶部、３０…バスライン、３１…編集画像選択部、３２…編集条件設定部、３３…動画編集部、
【特許請求の範囲】
【請求項１】
静止画を動画に挿入する編集を行う画像編集装置において、
動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え
上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示する
ことを特徴とする画像編集装置。
【請求項２】
上記編集条件設定部により設定された編集条件に基づき、動画の編集を行う動画編集部を備え、
上記動画編集部は、選択された静止画に置き換えた動画期間の音声を、当該音声を続けて再生するか、あるいは当該音声を消去するかを指示に応じて選択する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項３】
上記動画編集部は、上記音声を続けて再生する場合には、当該期間については音声の音量を下げて再生する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項４】
上記編集条件設定部は、上記静止画を動画へ切換える際の効果の種類を選択可能に表示する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項５】
上記編集条件設定部は、上記編集条件として、複数の静止画を1組にまとめる操作がされた場合には、上記第1の編集位置情報及び上記第２の編集位置情報において、まとめられた複数の静止画を1組の静止画として扱う
ことを特徴とする請求項1に記載の画像編集装置。
【請求項６】
請求項1乃至５のいずれか1項に記載された画像編集装置を備える
ことを特徴とするカメラ。
【請求項７】
静止画を動画に挿入する編集を行う画像編集装置のコンピュータで実行されるプログラムにおいて、
動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択するステップと、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するステップを備える
ことを特徴とするプログラム。
【請求項１】
静止画を動画に挿入する編集を行う画像編集装置において、
動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択する編集画像選択部と、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報を移動可能に表示して、編集条件を設定する編集条件設定部とを、備え
上記編集条件設定部は、上記編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示する
ことを特徴とする画像編集装置。
【請求項２】
上記編集条件設定部により設定された編集条件に基づき、動画の編集を行う動画編集部を備え、
上記動画編集部は、選択された静止画に置き換えた動画期間の音声を、当該音声を続けて再生するか、あるいは当該音声を消去するかを指示に応じて選択する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項３】
上記動画編集部は、上記音声を続けて再生する場合には、当該期間については音声の音量を下げて再生する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項４】
上記編集条件設定部は、上記静止画を動画へ切換える際の効果の種類を選択可能に表示する
ことを特徴とする請求項1に記載の画像編集装置。
【請求項５】
上記編集条件設定部は、上記編集条件として、複数の静止画を1組にまとめる操作がされた場合には、上記第1の編集位置情報及び上記第２の編集位置情報において、まとめられた複数の静止画を1組の静止画として扱う
ことを特徴とする請求項1に記載の画像編集装置。
【請求項６】
請求項1乃至５のいずれか1項に記載された画像編集装置を備える
ことを特徴とするカメラ。
【請求項７】
静止画を動画に挿入する編集を行う画像編集装置のコンピュータで実行されるプログラムにおいて、
動画の代表画像と静止画を所定の順番に並べてインデックス画面として表示し、挿入する静止画と挿入される動画を選択するステップと、
動画の再生時間を示す時間軸上で、当該静止画の再生開始位置と終了位置を含む編集位置情報として、上記再生開始位置と終了位置がまとめて移動可能なように当該再生開始位置と終了位置が1組にされた第1の編集位置情報と、再生開始位置と終了位置を別々に移動可能な第2の編集位置情報のいずれかを選択に応じて表示するステップを備える
ことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−９０００８（Ｐ２０１３−９０００８Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２６１３６（Ｐ２０１１−２２６１３６）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]