編集装置、編集方法、プログラム、および記録媒体
【課題】複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することが可能な、編集装置、編集方法、プログラム、および記録媒体を提供する。
【解決手段】複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、ストーリ決定部において決定されたストーリと、複数の候補画像それぞれに設定されており候補画像の特徴を示す１または２以上の特徴値とに基づいて、候補画像ごとの評価値をストーリにおける選択時間ごとに算出する評価値算出部と、評価値算出部において算出された評価値に基づいて、候補画像の中から選択時間ごとに画像を選択する画像選択部と、画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、を備える編集装置が提供される。
【解決手段】複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、ストーリ決定部において決定されたストーリと、複数の候補画像それぞれに設定されており候補画像の特徴を示す１または２以上の特徴値とに基づいて、候補画像ごとの評価値をストーリにおける選択時間ごとに算出する評価値算出部と、評価値算出部において算出された評価値に基づいて、候補画像の中から選択時間ごとに画像を選択する画像選択部と、画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、を備える編集装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、編集装置、編集方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
近年、例えばＰＣ（Personal Computer）などのコンピュータの処理能力の飛躍的な向上に伴い、特別な装置を用いなくとも、実用的な処理時間で画像（動画像／静止画像）の編集を行うことが可能となりつつある。また、上記に伴い、例えば個人的、家庭的に画像の編集を行うユーザの数は、増加している。ここで、画像を編集するためには、例えば、“画像（素材）の分類”、“ストーリの決定”、“画像の選択”、“画像の繋ぎ方の選択”など、様々な作業を要する。そのため、画像の編集の自動化を望むニーズが存在する。
【０００３】
このような中、画像の編集を自動的に行う技術が開発されている。動画像から当該動画像が示すコンテンツの流れを反映させたイベントなどを抽出し、コンテンツの流れが反映されたシーンが繋ぎ合わされた、ダイジェストの画像を自動的に生成する技術としては、例えば、特許文献１が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５３１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の編集を自動的に行う従来の技術（以下、単に「従来の技術」という。）が適用された編集装置（以下、「従来の編集装置」という。）は、“起承転結”という観点に基づいて動画像からシーンを抽出し、抽出されたシーンが繋ぎ合わされた、ダイジェストの画像を生成する。しかしながら、従来の編集装置は、“起承転結”という観点に基づいて動画像からシーンを抽出するので、“起承転結”が成立していないコンテンツを示す動画像を処理する場合には、当該動画像からシーンを抽出できるとは限らない。
【０００６】
また、画像の編集を自動的に行う他の方法としては、例えば、編集装置が、予め用意された、編集後に作成される画像が示すコンテンツの流れ（いわゆる、ストーリ）を規定するストーリ・テンプレートに基づいて、複数の画像の中から画像を選択して時系列に繋ぎ合わせることが想定される。
【０００７】
しかしながら、編集の対象となりうる画像（以下、「候補画像」という。）の中に、ストーリ・テンプレートに適した候補画像があるとは限らない。そのため、ストーリ・テンプレートを用いる場合には、ストーリ・テンプレートに適した候補画像がないことによって、当該ストーリ・テンプレートが規定するストーリが完成されない、未完成の画像が編集後の画像として得られてしまう恐れがある。
【０００８】
また、ストーリ・テンプレートに適した候補画像がない場合、編集装置が、例えば候補画像の中から任意の候補画像を選択することによって、一応完成された画像が、編集後の画像として得られる。しかしながら、上記の場合には、ストーリ・テンプレートを用いて編集を行う趣旨を十分に活かすことはできない。
【０００９】
上記のように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、“起承転結”という観点（一種のストーリ）に合致するシーンの抽出や、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。したがって、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
【００１０】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することが可能な、新規かつ改良された編集装置、編集方法、プログラム、および記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、上記ストーリ決定部において決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出する評価値算出部と、上記評価値算出部において算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択する画像選択部と、上記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、を備える編集装置が提供される。
【００１２】
かかる構成により、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００１３】
また、上記評価値算出部は、上記評価値として、上記候補画像の特徴値と上記候補画像の特徴値の期待値とに基づくマンハッタン距離を上記選択時間ごとに算出してもよい。
【００１４】
また、上記画像選択部は、上記選択時間それぞれにおける上記評価値が最小の候補画像を、上記選択時間ごとの上記選択画像として選択してもよい。
【００１５】
また、上記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、上記選択時間ごとの上記選択画像を選択してもよい。
【００１６】
また、上記候補画像に基づいて、上記候補画像に対する上記特徴値を設定する画像評価部をさらに備えてもよい。
【００１７】
また、上記画像評価部は、上記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が上記所定の時間内となるように上記候補画像を分割し、分割された上記候補画像それぞれに対して上記特徴値を設定してもよい。
【００１８】
また、ユーザ操作に基づいて、上記候補画像を決定する候補画像決定部をさらに備えてもよい。
【００１９】
また、外部装置と通信を行う通信部をさらに備え、上記ストーリ決定部は、上記通信部が受信した、上記外部装置から送信された上記ストーリを示すストーリ情報に基づいて、上記ストーリを決定してもよい。
【００２０】
上記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表されてもよい。
【００２１】
上記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表されてもよい。
【００２２】
上記目的を達成するために、本発明の第２の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップと、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップと、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、を有する編集方法が提供される。
【００２３】
かかる方法を用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００２４】
上記目的を達成するために、本発明の第３の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２５】
かかるプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００２６】
上記目的を達成するために、本発明の第４の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【００２７】
かかる記録媒体に記録されたプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【発明の効果】
【００２８】
本発明によれば、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る編集装置における編集アプローチに係る処理の一例を示す流れ図である。
【図２】本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。
【図３】本発明の実施形態に係る編集装置におけるストーリ決定処理の一例を示す流れ図である。
【図４】本発明の実施形態に係る編集装置における評価値算出処理の一例を示す流れ図である。
【図５】本発明の実施形態に係る編集装置における画像選択処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係る編集装置における画像選択処理の他の例を説明するための説明図である。
【図７】本発明の実施形態に係る編集装置における画像選択処理の一例を示す流れ図である。
【図８】本発明の実施形態に係る編集装置の構成の一例を示すブロック図である。
【図９】本発明の実施形態に係る編集装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る制御装置
３．本発明の実施形態に係るプログラム
４．本発明の実施形態に係るプログラムが記録された記録媒体
【００３２】
（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る編集装置（以下、「編集装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像の編集アプローチについて説明する。ここで、本発明の実施形態に係る画像とは、静止画像または動画像である。以下では、編集の対象となりうる画像である候補画像を、「素材」と示す場合がある。なお、以下に示す本発明の実施形態に係る編集アプローチに係る処理は、本発明の実施形態に係る編集方法に係る処理と捉えることができる。
【００３３】
［編集アプローチの概要］
上述したように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。上記のように、候補画像の選択をすることができないことが生じた場合には、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
【００３４】
そこで、本発明の実施形態に係る編集装置１００は、時間の関数で表されるストーリと、候補画像それぞれに設定されている特徴値とに基づいて、候補画像それぞれに対する評価値を選択時間ごとに算出する。また、編集装置１００は、選択時間ごとに算出された評価値に基づいて、候補画像の中から画像を選択する。そして、編集装置１００は、選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせることによって、編集後の画像を生成する。
【００３５】
ここで、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数（具体例は、後述する。）で表される。また、本発明の実施形態に係る選択時間は、ストーリにおいて評価値を算出する時間を示すものである。つまり、本発明の実施形態に係る選択時間は、編集装置１００が、ストーリに沿って候補画像を選択するための処理を行うための時間を示す。選択時間としては、例えば、編集を開始時点から経過時間（例えば、秒、分、時間などで表される。）が挙げられる。ここで、本発明の実施形態に係る選択時間は、例えば、予め規定されたものであってもよいし、ユーザにより適宜設定されてもよい。
【００３６】
編集装置１００は、上記のように、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、本発明の実施形態に係る編集装置１００では、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことが防止される。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００３７】
また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像（例えば、評価値が最小の評価画像や、評価値が最大の評価画像）を、選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。よって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を、候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
【００３８】
さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。これに対して、ストーリ・テンプレートは、人間である作成者が作成するものであるので、自動的にストーリ・テンプレートを変更することは困難である。つまり、ストーリ・テンプレートに変更を加えてストーリの延長、短縮を図ることは困難であり、ストーリ・テンプレートを用いるときにストーリの延長、短縮を行う場合には、例えば、複数のストーリ・テンプレートを容易して、これらのストーリ・テンプレートを適宜変更する必要がある。よって、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
【００３９】
［編集アプローチに係る処理の具体例］
次に、上述した本発明の実施形態に係る編集アプローチを実現するための処理の一例について説明する。図１は、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例を示す流れ図である。
【００４０】
編集装置１００は、素材グループを決定する（Ｓ１００）。ステップＳ１００の処理が行われることによって、候補画像が決定されることとなる。ここで、本発明の実施形態に係る素材グループとは、例えば、運動会や結婚式、海などのように、候補画像が、所定のテーマでグループ化されているものである。本発明の実施形態に係る素材グループは、例えば、ユーザが手動で分類したものであってもよいし、また、編集装置１００や、サーバなどの外部装置が画像処理を行って自動的に分類したものであってもよい。
【００４１】
編集装置１００は、例えばユーザ操作に基づいてステップＳ１００の処理を行う。ここで、本発明の実施形態に係る「ユーザ操作に基づいて処理を行う」とは、例えば、編集装置１００が、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号、または、ネットワークを介して（あるいは直接的に）外部装置から送信された操作信号に基づいて、処理を行うことをいう。
【００４２】
なお、本発明の実施形態に係る編集装置１００は、図１に示すステップＳ１００の処理を行わなくてもよい。上記の場合には、編集装置１００は、例えば、ユーザ操作に基づいて決定された、特段のグループ化されていない候補画像から選択画像を選択することとなる。
【００４３】
編集装置１００は、上述したように、例えばステップＳ１００において決定された候補画像に設定されている特徴値に基づいて処理を行う。ここで、本発明の実施形態に係る候補画像に設定された特徴値について説明する。
【００４４】
図２は、本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。ここで、図２では、画像ｍ１〜ｍ１４に対して設定されている特徴値の一例を示している。
【００４５】
候補画像には、カテゴリ（Ｃ）ごとに特徴値（いわゆる、スコア）が設定される。ここで、本発明の実施形態に係るカテゴリとは、画像を分類し、編集後の画像の指向を定める、画像における着目点である。本発明の実施形態に係るカテゴリは、例えば、予め規定されたものであってもよいし、複数のカテゴリの候補の中から、ユーザが任意に選択したものであってもよい。本発明の実施形態に係るカテゴリとしては、例えば、画像の撮像時刻に基づく着目点を示す時刻（ｃ１）や、画像の撮像場所に基づく着目点を示す場所（ｃ２）、画角に基づく着目点を示す画角（ｃ３）、被写体が特定のものであるかに基づく着目点を示すポートレート度（ｃ４）、撮像対象または撮像装置がどの程度動いているか（パンやズームを含んでいてもよい）に基づく着目点を示す動き度（ｃ５）などが挙げられる。なお、本発明の実施形態に係るカテゴリは、上記に限られない。例えば、本発明の実施形態に係るカテゴリは、被写体の数や、シャッター速度などに基づく着目点を示していてもよい。
【００４６】
編集装置１００は、例えば、候補画像を画像解析することや、候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。例えば場所（ｃ２）の特徴値を設定する場合には、編集装置１００は、ＧＰＳ（Global Positioning System）などを利用して取得した自装置の位置と各候補画像が撮像された位置との間の一次元の距離に応じて１０段階で、各候補画像の特徴値を設定する。また、画角（ｃ３）の特徴値を設定する場合には、編集装置１００は、広角を１、望遠を１０とした１０段階で、各候補画像の特徴値を設定する。また、ポートレート度（ｃ４）の特徴値を設定する場合には、編集装置１００は、被写体がない候補画像を１、特定の被写体に注視している候補画像（例えば、被写体が中央に写っているなど）を１０とした１０段階で、各候補画像の特徴値を設定する。なお、編集装置１００における特徴値の設定方法は、上記に限られず、例えば、具体的な数値を正規化することによって、正規化された特徴値を設定してもよい。
【００４７】
また、編集装置１００は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を時間軸で分割することも可能である。上記の場合、編集装置１００は、分割された候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えば、候補画像のメタデータを参照することによって、当該候補画像の再生時間を特定するが、本発明の実施形態に係る候補画像の再生時間の特定方法は、上記に限られない。また、上記所定の時間は、例えば、予め規定されたものであってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
【００４８】
上記のように、再生時間が所定の時間内となるように候補画像を時間軸で分割し、分割された候補画像それぞれに対して特徴値を設定することによって、編集装置１００は、分割前の候補画像に対して特徴値を設定する場合よりも、より画像の特徴が表された特徴値を設定することができる。
【００４９】
以下では、候補画像（Ｍ）に対するカテゴリ（Ｃ）の特徴値を、「Ｓ（Ｍ，Ｃ）」と示す。例えば図２に示す画像ｍ１におけるカテゴリ（ｃ２）の特徴値は、Ｓ（ｍ１，ｃ２）＝１と表される。なお、図２では、候補画像それぞれに複数のカテゴリ（Ｃ）が設定されている例を示しているが、本発明の実施形態に係る候補画像に設定されるカテゴリ（Ｃ）が、１つであってもよいことは、言うまでもない。
【００５０】
編集装置１００は、例えば上記のように、候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えばステップＳ１００において候補画像として決定された画像に対して、特徴値を設定するが、本発明の実施形態に係る編集装置１００における処理は、上記に限られない。例えば、編集装置１００は、ステップＳ１００の処理が行われたか否かによらず、候補画像となりうる画像に対して、特徴値を設定する処理を行うことも可能である。なお、編集装置１００は、特徴値を設定する処理を行わず、例えば、候補画像（または候補画像となりうる画像）をサーバなどの外部装置へ送信し、当該外部装置において設定された特徴値を用いて後述する評価値の算出に係る処理を行うこともできる。
【００５１】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１００において素材グループが決定されると、編集装置１００は、ストーリを決定する（Ｓ１０２；ストーリ決定処理）。編集装置１００は、例えば、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する。なお、編集装置１００におけるストーリの決定方法は、上記に限られない。例えば、編集装置１００は、ネットワークを介して（あるいは直接的に）接続されている外部装置から送信された、ストーリが記録されたストーリ情報を受信した場合には、当該ストーリ情報が示すストーリを、後述する処理に用いるストーリとして決定することもできる。
【００５２】
上述したように、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数で表される。ストーリは、例えば、選択時間ｔにおける候補画像の特徴値の期待値（ＳＸ）と、特徴値とを用いて表される。以下では、候補画像におけるカテゴリ（ｃｎ）（ｎは、１以上の整数）の選択時間ｔにおける期待値を「ＳＸ（ｃｎ，ｔ）」と示す。
【００５３】
下記の数式１〜数式３は、本発明の実施形態に係るストーリの一例を示している。ここで、数式１は、候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を、選択時間ｔにおける評価値として算出するためのストーリの一例を示している。また、数式２、数式３は、選択時間ｔにおけるカテゴリごとの期待値の一例を示している。ここで、数式１、数式３に示すＮは、候補画像のカテゴリ数を示している。
【００５４】
【数１】
【００５５】
【数２】
【００５６】
【数３】
【００５７】
なお、本発明の実施形態に係るストーリは、上記数式１〜数式３に示すものに限られない。例えば、編集装置１００は、実距離に限られず、カテゴリ（Ｃ）に対して重み付けをした上でマンハッタン距離を、評価値として算出してもよい。また、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることができる。また、時間の関数であるストーリのグラフ（例えば横軸に時間、縦軸に期待値をとるグラフ）をユーザに提示し、ユーザ操作に基づき変化した当該グラフが示す期待値の値を、ストーリとして用いることもできる。
【００５８】
〔ストーリ決定処理の一例〕
ここで、本発明の実施形態に係る編集装置１００におけるストーリ決定処理について、より具体的に説明する。図３は、本発明の実施形態に係る編集装置１００におけるストーリ決定処理の一例を示す流れ図である。ここで、図３は、編集装置１００が、ユーザ操作に応じた操作信号や、ユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する場合の処理の一例を示している。以下では、編集装置１００が、ユーザ操作に応じた操作信号に基づいてストーリを決定する場合を例に挙げて説明する。
【００５９】
編集装置１００は、ストーリを初期設定する（Ｓ２００）。ここで、ステップＳ２００の処理は、例えばプリセットされたストーリを設定する処理に相当する。編集装置１００は、例えば、記憶部（後述する）に記憶されたストーリ情報を読み出すことによって、ステップＳ２００の処理を行う。なお、編集装置１００におけるステップＳ２００の処理は、上記に限られない。例えば、編集装置１００は、ストーリ情報を記憶するサーバなどの外部装置と通信を行い、当該外部装置から取得したストーリ情報を用いてステップＳ２００の処理を行うこともできる。
【００６０】
ステップＳ２００においてストーリが初期設定されると、編集装置１００は、適用可能なストーリを提示する（Ｓ２０２）。ここで、適用可能なストーリとは、後述するステップＳ２０８においてエラーが表示されたストーリに該当しないストーリである。つまり、ステップＳ２００において初期設定されたストーリは、ステップＳ２０２において提示される。
【００６１】
ステップＳ２０２においてストーリが提示されると、編集装置１００は、ストーリが指定されたか否かを判定する（Ｓ２０４）。編集装置１００は、例えばユーザ操作に応じた操作信号に基づいて、ステップＳ２０４の判定を行う。
【００６２】
ステップＳ２０４においてストーリが指定されたと判定されない場合には、編集装置１００は、ストーリが指定されたと判定されるまで処理を進めない。なお、図３では示していないが、例えばステップＳ２０２の処理が行われてから所定の時間、操作信号が検出されない場合には、編集装置１００は、ストーリ決定処理を終了してもよい（いわゆる、タイムアウト）。また、上記の場合、編集装置１００は、例えばストーリ決定処理を終了した旨をユーザに通知する。
【００６３】
ステップＳ２０４においてストーリが指定されたと判定された場合には、編集装置１００は、指定されたストーリが適用可能なストーリか否かを判定する（Ｓ２０６）。上述したように、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることが可能である。編集装置１００は、例えばユーザにより異常値が入力された場合に、適用可能なストーリではないと判定する。
【００６４】
ステップＳ２０６において適用可能なストーリであると判定されない場合には、編集装置１００は、エラーを通知する（Ｓ２０８）。そして、編集装置１００は、ステップＳ２０２からの処理を繰り返す。ここで、編集装置１００は、例えば、表示画面にエラー画面を表示させることや、エラー音声を出力することによって、視覚的、および／または、聴覚的にエラーを通知するが、編集装置１００におけるステップＳ２０８の処理は、上記に限られない。
【００６５】
また、ステップＳ２０６において適用可能なストーリであると判定された場合には、編集装置１００は、ストーリを確定するか否かを判定する（Ｓ２１０）。編集装置１００は、例えば、表示画面にストーリの確定するか否かをユーザに選択させるための画面を表示させ、ユーザ操作に応じた操作信号に基づいて、ステップＳ２１０の判定を行う。
【００６６】
ステップＳ２１０においてストーリを確定すると判定されない場合には、編集装置１００は、ステップＳ２０２からの処理を繰り返す。
【００６７】
また、ステップＳ２１０においてストーリを確定すると判定された場合には、編集装置１００は、ステップＳ２０４において指定されたストーリを処理に用いるストーリとして決定し（Ｓ２１２）、ストーリ決定処理を終了する。
【００６８】
編集装置１００は、例えば図３に示す処理を行うことによって、ストーリを決定する。なお、本発明の実施形態に係るストーリ決定処理が、図３に示す例に限られないことは、言うまでもない。
【００６９】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０２においてストーリが決定されると、編集装置１００は、候補画像に対する評価値を算出する（Ｓ１０４；評価値算出処理）。
【００７０】
〔評価値算出処理の一例〕
図４は、本発明の実施形態に係る編集装置１００における評価値算出処理の一例を示す流れ図である。ここで、図４は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出する処理の一例を示している。図４では、各候補画像が、図２に示すように、ｍｘ（ｘは、１以上の整数）で表されるものとして説明する。
【００７１】
編集装置１００は、選択時間ｔの値としてｔ＝０を設定し（Ｓ３００）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝０を設定する（Ｓ３０２）。
【００７２】
ステップＳ３０２の処理が行われると、編集装置１００は、候補画像（ｍｘ）に対する評価値Ｄ（ｍｘ）（ｔ）を算出する（Ｓ３０４）。ここで、編集装置１００は、例えば、数式１と、図３のステップＳ２１２において確定された期待値とを用いて、マンハッタン距離Ｄ（ｍｘ）（ｔ）を評価値として算出する。
【００７３】
ステップＳ３０４において評価値Ｄ（ｍｘ）（ｔ）が算出されると、編集装置１００は、算出された評価値Ｄ（ｍｘ）（ｔ）を記憶する（Ｓ３０６）。そして、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ３０８）。
【００７４】
ステップＳ３０８においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ３１０）。ステップＳ３１０においてｘの値が候補画像数より小さいと判定された場合には、評価値を算出していない候補画像が存在するので、編集装置１００は、ステップＳ３０４からの処理を繰り返す。
【００７５】
また、ステップＳ３１０においてｘの値が候補画像数より小さいと判定されない場合には、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ３１２）。ここで、本発明の実施形態に係るΔｔは、選択時間ｔの間隔を規定する。図４では、Δｔが一定である場合を示しているが、本発明の実施形態に係るΔｔは、上記に限られない。例えば、本発明の実施形態に係るΔｔは、ユーザにより変更された不定の値であってもよいし、編集装置１００がランダムに設定することも可能である。
【００７６】
ステップＳ３１２においてｔの値が更新されると、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ３１４）。ここで、本発明の実施形態に係る再生総時間Ｔは、例えば、予め規定された値であってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
【００７７】
ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ３０２からの処理を繰り返す。また、ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、評価値算出処理を終了する。
【００７８】
編集装置１００は、例えば図４に示す処理を行うことによって、候補画像それぞれに対する評価値を、選択時間ごとに算出する。なお、本発明の実施形態に係る評価値算出処理が、図４に示す例に限られないことは、言うまでもない。
【００７９】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０４において候補画像に対する評価値が算出されると、編集装置１００は、評価値に基づいて、候補画像の中から選択画像を選択する（Ｓ１０６；画像選択処理）。
【００８０】
図５は、本発明の実施形態に係る編集装置１００における画像選択処理の一例を説明するための説明図である。ここで、図５は、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図５に示すＡ）、各選択時間ｔにおいて選択される選択画像と（図５に示すＢ）を示している。
【００８１】
図５に示すように、マンハッタン距離Ｄ（Ｍ）（ｔ）を評価値として算出した場合には、各選択時間ｔにおける評価値の最小値をとる候補画像が、選択画像として選択される。なお、本発明の実施形態に係る編集装置１００は、評価値の最小値をとる候補画像を選択画像として選択することに限られず、評価値の種類によっては、評価値の最大値をとる候補画像を選択画像として選択してもよい。つまり、編集装置１００は、評価値に基づいて評価がより高い候補画像を選択画像として選択する。よって、編集装置１００は、よりストーリに沿った候補画像を、選択時間ごとに選択することができる。また、編集装置１００は、評価値が最小（または最大）となる候補画像が複数ある場合には、例えば、これらの候補画像の中からランダムに選択画像を選択してもよいし、予め規定された候補画像の優先度に応じて選択画像を選択してもよい。
【００８２】
なお、本発明の実施形態に係る編集装置１００における画像選択処理は、図５に示すように、同一の候補画像が、複数回選択画像として選択される処理に限られない。図６は、本発明の実施形態に係る編集装置１００における画像選択処理の他の例を説明するための説明図である。ここで、図６は、図５と同様に、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図６に示すＣ）、各選択時間ｔにおいて選択される選択画像と（図６に示すＤ）を示している。
【００８３】
図６に示すように、編集装置１００は、一度選択画像として選択された候補画像を除外し、除外後の候補画像の中から選択画像を選択することもできる。図６に示すように選択画像を選択することによって、同一の候補画像が選択画像として選択されることが防止されるので、編集装置１００は、図５に示す処理を行う場合よりもより多様性に富んだ画像を生成することが可能となる。
【００８４】
〔画像選択処理の一例〕
ここで、本発明の実施形態に係る編集装置１００における画像選択処理について、より具体的に説明する。図７は、本発明の実施形態に係る編集装置１００における画像選択処理の一例を示す流れ図である。ここで、図７は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出した場合における画像選択処理の一例を示している。また、図７は、図５に示すように、複数の選択時間において同一の候補画像が選択画像として選択されうる画像選択処理の一例を示している。さらに、図７は、評価値が同一の候補画像が複数あった場合には、より先に処理を行った候補画像が優先的に選択画像として選択される場合の処理を示している。
【００８５】
編集装置１００は、選択時間ｔにおける評価値の最小値ｍｉｎ（ｔ）の値として、ｍｉｎ（ｔ）＝０を設定する（Ｓ４００）。また、編集装置１００は、図４のステップＳ３００、Ｓ３０２と同様に、選択時間ｔの値としてｔ＝０を設定し（Ｓ４０２）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝０を設定する（Ｓ４０４）。
【００８６】
ステップＳ４０４の処理が行われると、編集装置１００は、評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいか否かを判定する（Ｓ４０６）。ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合には、編集装置１００は、後述するステップＳ４１０の処理を行う。
【００８７】
また、ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定された場合には、編集装置１００は、ｍｉｎ（ｔ）の値を、ｍｉｎ（ｔ）＝Ｄ（ｍｘ）（ｔ）に更新する（Ｓ４０８）。
【００８８】
ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合、または、ステップＳ４０８のの処理が行われた場合には、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ４１０）。
【００８９】
ステップＳ４１０においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ４１２）。ステップＳ４１２においてｘの値が候補画像数より小さいと判定された場合には、編集装置１００は、ステップＳ４０６からの処理を繰り返す。
【００９０】
また、ステップＳ４１２においてｘの値が候補画像数より小さいと判定されない場合には、編集装置１００は、ｍｉｎ（ｔ）に対応する候補画像を、選択時間ｔにおける選択画像とする（Ｓ４１４）。
【００９１】
ステップＳ４１４の処理が行われると、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ４１６）。そして、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ４１８）。
【００９２】
ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ４０４からの処理を繰り返す。また、ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、画像選択処理を終了する。
【００９３】
編集装置１００は、例えば図７に示す処理を行うことによって、各選択時間において評価値の最小値をとる候補画像（すなわち、より評価が高い候補画像）を、選択時間ごとの選択画像として選択する。なお、本発明の実施形態に係る画像選択処理が、図７に示す例に限られないことは、言うまでもない。
【００９４】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０６において選択時間ごとの選択画像が選択されると、編集装置１００は、選択画像を時系列に繋ぎ合わせることによって、編集を行う（Ｓ１０８；編集処理）。
【００９５】
例えば図１に示す処理を行うことによって、編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、選択時間ごとに評価値が最小の候補画像（評価がより高い候補画像）を、選択時間ごとの選択画像とすることが可能である。よって、例えば図１に示す処理を行うことによって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、例えば図１に示す処理を行うことによって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集アプローチに係る処理が、図１に示す例に限られないことは、言うまでもない。
【００９６】
また、上記では、本発明の実施形態に係る編集アプローチに係る処理を、編集装置１００が行うものとして説明したが、本発明の実施形態に係る編集アプローチに係る処理は、１つの装置で実現されることに限られない。例えば、本発明の実施形態に係る編集アプローチに係る処理（すなわち、本発明の実施形態に係る編集方法に係る処理）は、例えば、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）における分散処理により実現されてもよい。
【００９７】
（本発明の実施形態に係る編集装置）
次に、上述した本発明の実施形態に係る編集アプローチに係る処理を行うことが可能な、本発明の実施形態に係る編集装置１００の構成の一例について説明する。図８は、本発明の実施形態に係る編集装置１００の構成の一例を示すブロック図である。
【００９８】
図８を参照すると、編集装置１００は、例えば、記憶部１０２と、通信部１０４と、制御部１０６と、操作部１０８と、表示部１１０とを備える。
【００９９】
また、編集装置１００は、例えば、ＲＯＭ（Read Only Memory；図示せず）や、ＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。編集装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。ここで、ＲＯＭ（図示せず）は、例えば制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部１０６により実行されるプログラムなどを一時的に記憶する。
【０１００】
［編集装置１００のハードウェア構成例］
図９は、本発明の実施形態に係る編集装置１００のハードウェア構成の一例を示す説明図である。図９を参照すると、編集装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、編集装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
【０１０１】
ＭＰＵ１５０は、ＭＰＵ（Micro Processing Unit）や、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、編集装置１００において、後述する候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０としての役目を果たすこともできる。
【０１０２】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１０３】
記録媒体１５６は、記憶部１０２として機能し、例えば、画像データや、ストーリ情報、図２に示すような画像の特徴値が記録された画像評価情報、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられる。また、編集装置１００は、編集装置１００から着脱可能な記録媒体１５６を備えることもできる。
【０１０４】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部１０８として機能し、また、表示デバイス１６２は、表示部１１０として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、入出力インタフェース１５８が、編集装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス（例えば、外部ディスプレイなど）と接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１０５】
通信インタフェース１６４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行うための通信部１０４として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１０６】
編集装置１００は、例えば図９に示す構成によって、本発明の実施形態に係る編集アプローチに係る処理を行う。なお、本発明の実施形態に係る編集装置１００のハードウェア構成は、図９に示す構成に限られない。例えば、編集装置１００は、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、編集装置１００は、例えば図３のステップＳ２０８においてエラー音声を上記音声出力デバイスから出力することによって、聴覚的にエラーを通知することが可能となる。また、編集装置１００は、例えば、図９に示す操作デバイス１６０や表示デバイス１６２を備えない構成であってもよい。
【０１０７】
再度図８を参照して、本発明の実施形態に係る編集装置１００の構成について説明する。記憶部１０２は、編集装置１００が備える記憶手段である。ここで、記憶部１０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
【０１０８】
また、記憶部１０２は、例えば、画像データや、ストーリ情報、画像評価情報、アプリケーションなどを記憶する。ここで、図８では、画像データ１４０、…と、ストーリ情報１４２と、画像評価情報１４４とが記憶部１０２に記憶されている例を示している。
【０１０９】
通信部１０４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０４は、例えば、制御部１０６により通信が制御される。
【０１１０】
ここで、通信部１０４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０４の構成は、上記に限られない。例えば、通信部１０４は、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
【０１１１】
制御部１０６は、例えば、ＭＰＵや、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する役目を果たす。また、制御部１０６は、候補画像決定部１２０と、画像評価部１２２と、ストーリ決定部１２４と、評価値算出部１２６と、画像選択部１２８と、編集処理部１３０とを備え、本発明の実施形態に係る編集アプローチに係る処理を主導的に行う役目を果たす。また、制御部１０６は、サーバなどの外部装置との通信を制御する通信制御部（図示せず）を備えていてもよい。
【０１１２】
候補画像決定部１２０は、ユーザ操作に基づいて候補画像を決定する。より具体的には、候補画像決定部１２０は、例えば図１に示すステップＳ１００の処理を主導的に行う役目を果たす。
【０１１３】
画像評価部１２２は、候補画像に基づいて当該候補画像に対する特徴値を設定する。より具体的には、画像評価部１２２は、例えば、候補画像決定部１２０において候補画像が決定されるごとに、決定された候補画像を画像解析することや候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。そして、画像評価部１２２は、例えば、画像評価情報を生成して記憶部１０２に記録する。なお、記憶部１０２に画像評価情報が記憶されている場合には、当該画像評価情報を上書き更新してもよいし、別途記録してもよい。なお、画像評価部１２２の処理は、上記に限られない。例えば、画像評価部１２２は、候補画像決定部１２０において候補画像が決定されることに依存せず、記憶部１０２に記憶されている画像データに対して特徴値を設定してもよい。
【０１１４】
また、画像評価部１２２は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を分割し、分割された候補画像それぞれに対して特徴値を設定する。
【０１１５】
ストーリ決定部１２４は、ストーリを決定する。より具体的には、ストーリ決定部１２４は、例えば図１に示すステップＳ１０２の処理を主導的に行う役目を果たす。
【０１１６】
評価値算出部１２６は、ストーリ決定部１２４において決定されたストーリと、複数の候補画像それぞれに設定されている特徴値とに基づいて、候補画像ごとの評価値を選択時間ごとに算出する。より具体的には、評価値算出部１２６は、例えば、ストーリ決定部１２４において決定されたストーリと、記憶部１０２に記憶された画像評価情報１４４とを用いて、図１に示すステップＳ１０４の処理を主導的に行う役目を果たす。
【０１１７】
画像選択部１２８は、評価値算出部１２６において算出された評価値に基づいて、候補画像の中から選択時間ごとに選択画像を選択する。より具体的には、画像選択部１２８は、例えば図１に示すステップＳ１０６の処理を主導的に行う役目を果たす。
【０１１８】
編集処理部１３０は、画像選択部１２８において選択時間ごとに選択された選択画像を、時系列に繋ぎ合わせる。つまり、編集処理部１３０は、例えば図１に示すステップＳ１０８の処理を主導的に行う役目を果たす。
【０１１９】
制御部１０６は、例えば候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０を備えることによって、編集アプローチに係る処理を主導的に行うことができる。なお、制御部１０６の構成が、図８に示す構成に限られないことはいうまでもない。
【０１２０】
操作部１０８は、ユーザによる操作を可能とする編集装置１００が備える操作手段である。編集装置１００は、操作部１０８を備えることによって、ユーザ操作を可能とし、ユーザ操作に応じてユーザが所望する処理を行うことができる。ここで、操作部１０８としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
【０１２１】
表示部１１０は、編集装置１００が備える表示手段であり、表示画面に様々な情報を表示する。表示部１１０の表示画面に表示される画面としては、例えば、例えば図３のステップＳ２０８においてエラーを視覚的に通知するためのエラー画面や、画像データが示す画像が表示される再生画面、所望する動作を編集装置１００に対して行わせるための操作画面などが挙げられる。また、表示部１１０としては、例えば、ＬＣＤや有機ＥＬディスプレイなどが挙げられる。なお、編集装置１００は、表示部１１０を、タッチスクリーンで構成することもできる。上記の場合には、表示部１１０は、ユーザ操作および表示の双方が可能な操作表示部として機能することとなる。
【０１２２】
編集装置１００は、例えば図８に示す構成によって、例えば図１に示すような本発明の実施形態に係る編集アプローチに係る処理を実現することができる。したがって、編集装置１００は、例えば図８に示す構成によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集装置１００の構成が、図８に示す構成に限られないことは、言うまでもない。
【０１２３】
以上のように、本発明の実施形態に係る編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【０１２４】
また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像を選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。したがって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
【０１２５】
さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。つまり、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
【０１２６】
以上、本発明の実施形態として編集装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。
【０１２７】
また、本発明の実施形態は、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）を構成するコンピュータ群などに適用することができる。
【０１２８】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る編集装置として機能させるためのプログラム（例えば図１、図３、図４、図７に示すような、本発明の実施形態に係る編集アプローチに係る処理を実現するためのプログラム）によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【０１２９】
（本発明の実施形態に係るプログラムを記録した記録媒体）
また、上記では、コンピュータを、本発明の実施形態に係る制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１３０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３１】
例えば、本発明の実施形態に係る編集装置１００は、図８に示す候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１３２】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１３３】
１００ 編集装置
１０２ 記憶部
１０４ 通信部
１０６ 制御部
１０８ 操作部
１１０ 表示部
１２０ 候補画像決定部
１２２ 画像評価部
１２４ ストーリ決定部
１２６ 評価値算出部
１２８ 画像選択部
１３０ 編集処理部
【技術分野】
【０００１】
本発明は、編集装置、編集方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
近年、例えばＰＣ（Personal Computer）などのコンピュータの処理能力の飛躍的な向上に伴い、特別な装置を用いなくとも、実用的な処理時間で画像（動画像／静止画像）の編集を行うことが可能となりつつある。また、上記に伴い、例えば個人的、家庭的に画像の編集を行うユーザの数は、増加している。ここで、画像を編集するためには、例えば、“画像（素材）の分類”、“ストーリの決定”、“画像の選択”、“画像の繋ぎ方の選択”など、様々な作業を要する。そのため、画像の編集の自動化を望むニーズが存在する。
【０００３】
このような中、画像の編集を自動的に行う技術が開発されている。動画像から当該動画像が示すコンテンツの流れを反映させたイベントなどを抽出し、コンテンツの流れが反映されたシーンが繋ぎ合わされた、ダイジェストの画像を自動的に生成する技術としては、例えば、特許文献１が挙げられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１５３１４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の編集を自動的に行う従来の技術（以下、単に「従来の技術」という。）が適用された編集装置（以下、「従来の編集装置」という。）は、“起承転結”という観点に基づいて動画像からシーンを抽出し、抽出されたシーンが繋ぎ合わされた、ダイジェストの画像を生成する。しかしながら、従来の編集装置は、“起承転結”という観点に基づいて動画像からシーンを抽出するので、“起承転結”が成立していないコンテンツを示す動画像を処理する場合には、当該動画像からシーンを抽出できるとは限らない。
【０００６】
また、画像の編集を自動的に行う他の方法としては、例えば、編集装置が、予め用意された、編集後に作成される画像が示すコンテンツの流れ（いわゆる、ストーリ）を規定するストーリ・テンプレートに基づいて、複数の画像の中から画像を選択して時系列に繋ぎ合わせることが想定される。
【０００７】
しかしながら、編集の対象となりうる画像（以下、「候補画像」という。）の中に、ストーリ・テンプレートに適した候補画像があるとは限らない。そのため、ストーリ・テンプレートを用いる場合には、ストーリ・テンプレートに適した候補画像がないことによって、当該ストーリ・テンプレートが規定するストーリが完成されない、未完成の画像が編集後の画像として得られてしまう恐れがある。
【０００８】
また、ストーリ・テンプレートに適した候補画像がない場合、編集装置が、例えば候補画像の中から任意の候補画像を選択することによって、一応完成された画像が、編集後の画像として得られる。しかしながら、上記の場合には、ストーリ・テンプレートを用いて編集を行う趣旨を十分に活かすことはできない。
【０００９】
上記のように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、“起承転結”という観点（一種のストーリ）に合致するシーンの抽出や、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。したがって、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
【００１０】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することが可能な、新規かつ改良された編集装置、編集方法、プログラム、および記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の第１の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、上記ストーリ決定部において決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出する評価値算出部と、上記評価値算出部において算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択する画像選択部と、上記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、を備える編集装置が提供される。
【００１２】
かかる構成により、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００１３】
また、上記評価値算出部は、上記評価値として、上記候補画像の特徴値と上記候補画像の特徴値の期待値とに基づくマンハッタン距離を上記選択時間ごとに算出してもよい。
【００１４】
また、上記画像選択部は、上記選択時間それぞれにおける上記評価値が最小の候補画像を、上記選択時間ごとの上記選択画像として選択してもよい。
【００１５】
また、上記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、上記選択時間ごとの上記選択画像を選択してもよい。
【００１６】
また、上記候補画像に基づいて、上記候補画像に対する上記特徴値を設定する画像評価部をさらに備えてもよい。
【００１７】
また、上記画像評価部は、上記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が上記所定の時間内となるように上記候補画像を分割し、分割された上記候補画像それぞれに対して上記特徴値を設定してもよい。
【００１８】
また、ユーザ操作に基づいて、上記候補画像を決定する候補画像決定部をさらに備えてもよい。
【００１９】
また、外部装置と通信を行う通信部をさらに備え、上記ストーリ決定部は、上記通信部が受信した、上記外部装置から送信された上記ストーリを示すストーリ情報に基づいて、上記ストーリを決定してもよい。
【００２０】
上記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表されてもよい。
【００２１】
上記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表されてもよい。
【００２２】
上記目的を達成するために、本発明の第２の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップと、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップと、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、を有する編集方法が提供される。
【００２３】
かかる方法を用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００２４】
上記目的を達成するために、本発明の第３の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２５】
かかるプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００２６】
上記目的を達成するために、本発明の第４の観点によれば、複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、上記決定するステップにおいて決定された上記ストーリと、複数の上記候補画像それぞれに設定されており上記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、上記候補画像ごとの評価値を上記ストーリにおける選択時間ごとに算出するステップ、上記算出するステップにおいて算出された上記評価値に基づいて、上記候補画像の中から上記選択時間ごとに画像を選択するステップ、上記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
【００２７】
かかる記録媒体に記録されたプログラムを用いることにより、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【発明の効果】
【００２８】
本発明によれば、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態に係る編集装置における編集アプローチに係る処理の一例を示す流れ図である。
【図２】本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。
【図３】本発明の実施形態に係る編集装置におけるストーリ決定処理の一例を示す流れ図である。
【図４】本発明の実施形態に係る編集装置における評価値算出処理の一例を示す流れ図である。
【図５】本発明の実施形態に係る編集装置における画像選択処理の一例を説明するための説明図である。
【図６】本発明の実施形態に係る編集装置における画像選択処理の他の例を説明するための説明図である。
【図７】本発明の実施形態に係る編集装置における画像選択処理の一例を示す流れ図である。
【図８】本発明の実施形態に係る編集装置の構成の一例を示すブロック図である。
【図９】本発明の実施形態に係る編集装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００３０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３１】
また、以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る制御装置
３．本発明の実施形態に係るプログラム
４．本発明の実施形態に係るプログラムが記録された記録媒体
【００３２】
（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る編集装置（以下、「編集装置１００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る画像の編集アプローチについて説明する。ここで、本発明の実施形態に係る画像とは、静止画像または動画像である。以下では、編集の対象となりうる画像である候補画像を、「素材」と示す場合がある。なお、以下に示す本発明の実施形態に係る編集アプローチに係る処理は、本発明の実施形態に係る編集方法に係る処理と捉えることができる。
【００３３】
［編集アプローチの概要］
上述したように、従来の技術やストーリ・テンプレートを用いて自動的な編集を行ったとしても、ストーリにマッチする候補画像の選択をすることができないことが起こりうる。上記のように、候補画像の選択をすることができないことが生じた場合には、未完成の画像が編集後の画像として得られてしまう恐れがあることから、編集後の画像が、ユーザが所望する画像となるとは限らない。
【００３４】
そこで、本発明の実施形態に係る編集装置１００は、時間の関数で表されるストーリと、候補画像それぞれに設定されている特徴値とに基づいて、候補画像それぞれに対する評価値を選択時間ごとに算出する。また、編集装置１００は、選択時間ごとに算出された評価値に基づいて、候補画像の中から画像を選択する。そして、編集装置１００は、選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせることによって、編集後の画像を生成する。
【００３５】
ここで、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数（具体例は、後述する。）で表される。また、本発明の実施形態に係る選択時間は、ストーリにおいて評価値を算出する時間を示すものである。つまり、本発明の実施形態に係る選択時間は、編集装置１００が、ストーリに沿って候補画像を選択するための処理を行うための時間を示す。選択時間としては、例えば、編集を開始時点から経過時間（例えば、秒、分、時間などで表される。）が挙げられる。ここで、本発明の実施形態に係る選択時間は、例えば、予め規定されたものであってもよいし、ユーザにより適宜設定されてもよい。
【００３６】
編集装置１００は、上記のように、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、本発明の実施形態に係る編集装置１００では、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことが防止される。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【００３７】
また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像（例えば、評価値が最小の評価画像や、評価値が最大の評価画像）を、選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。よって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を、候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
【００３８】
さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。これに対して、ストーリ・テンプレートは、人間である作成者が作成するものであるので、自動的にストーリ・テンプレートを変更することは困難である。つまり、ストーリ・テンプレートに変更を加えてストーリの延長、短縮を図ることは困難であり、ストーリ・テンプレートを用いるときにストーリの延長、短縮を行う場合には、例えば、複数のストーリ・テンプレートを容易して、これらのストーリ・テンプレートを適宜変更する必要がある。よって、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
【００３９】
［編集アプローチに係る処理の具体例］
次に、上述した本発明の実施形態に係る編集アプローチを実現するための処理の一例について説明する。図１は、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例を示す流れ図である。
【００４０】
編集装置１００は、素材グループを決定する（Ｓ１００）。ステップＳ１００の処理が行われることによって、候補画像が決定されることとなる。ここで、本発明の実施形態に係る素材グループとは、例えば、運動会や結婚式、海などのように、候補画像が、所定のテーマでグループ化されているものである。本発明の実施形態に係る素材グループは、例えば、ユーザが手動で分類したものであってもよいし、また、編集装置１００や、サーバなどの外部装置が画像処理を行って自動的に分類したものであってもよい。
【００４１】
編集装置１００は、例えばユーザ操作に基づいてステップＳ１００の処理を行う。ここで、本発明の実施形態に係る「ユーザ操作に基づいて処理を行う」とは、例えば、編集装置１００が、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号、または、ネットワークを介して（あるいは直接的に）外部装置から送信された操作信号に基づいて、処理を行うことをいう。
【００４２】
なお、本発明の実施形態に係る編集装置１００は、図１に示すステップＳ１００の処理を行わなくてもよい。上記の場合には、編集装置１００は、例えば、ユーザ操作に基づいて決定された、特段のグループ化されていない候補画像から選択画像を選択することとなる。
【００４３】
編集装置１００は、上述したように、例えばステップＳ１００において決定された候補画像に設定されている特徴値に基づいて処理を行う。ここで、本発明の実施形態に係る候補画像に設定された特徴値について説明する。
【００４４】
図２は、本発明の実施形態に係る候補画像に設定された特徴値の一例を示す説明図である。ここで、図２では、画像ｍ１〜ｍ１４に対して設定されている特徴値の一例を示している。
【００４５】
候補画像には、カテゴリ（Ｃ）ごとに特徴値（いわゆる、スコア）が設定される。ここで、本発明の実施形態に係るカテゴリとは、画像を分類し、編集後の画像の指向を定める、画像における着目点である。本発明の実施形態に係るカテゴリは、例えば、予め規定されたものであってもよいし、複数のカテゴリの候補の中から、ユーザが任意に選択したものであってもよい。本発明の実施形態に係るカテゴリとしては、例えば、画像の撮像時刻に基づく着目点を示す時刻（ｃ１）や、画像の撮像場所に基づく着目点を示す場所（ｃ２）、画角に基づく着目点を示す画角（ｃ３）、被写体が特定のものであるかに基づく着目点を示すポートレート度（ｃ４）、撮像対象または撮像装置がどの程度動いているか（パンやズームを含んでいてもよい）に基づく着目点を示す動き度（ｃ５）などが挙げられる。なお、本発明の実施形態に係るカテゴリは、上記に限られない。例えば、本発明の実施形態に係るカテゴリは、被写体の数や、シャッター速度などに基づく着目点を示していてもよい。
【００４６】
編集装置１００は、例えば、候補画像を画像解析することや、候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。例えば場所（ｃ２）の特徴値を設定する場合には、編集装置１００は、ＧＰＳ（Global Positioning System）などを利用して取得した自装置の位置と各候補画像が撮像された位置との間の一次元の距離に応じて１０段階で、各候補画像の特徴値を設定する。また、画角（ｃ３）の特徴値を設定する場合には、編集装置１００は、広角を１、望遠を１０とした１０段階で、各候補画像の特徴値を設定する。また、ポートレート度（ｃ４）の特徴値を設定する場合には、編集装置１００は、被写体がない候補画像を１、特定の被写体に注視している候補画像（例えば、被写体が中央に写っているなど）を１０とした１０段階で、各候補画像の特徴値を設定する。なお、編集装置１００における特徴値の設定方法は、上記に限られず、例えば、具体的な数値を正規化することによって、正規化された特徴値を設定してもよい。
【００４７】
また、編集装置１００は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を時間軸で分割することも可能である。上記の場合、編集装置１００は、分割された候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えば、候補画像のメタデータを参照することによって、当該候補画像の再生時間を特定するが、本発明の実施形態に係る候補画像の再生時間の特定方法は、上記に限られない。また、上記所定の時間は、例えば、予め規定されたものであってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
【００４８】
上記のように、再生時間が所定の時間内となるように候補画像を時間軸で分割し、分割された候補画像それぞれに対して特徴値を設定することによって、編集装置１００は、分割前の候補画像に対して特徴値を設定する場合よりも、より画像の特徴が表された特徴値を設定することができる。
【００４９】
以下では、候補画像（Ｍ）に対するカテゴリ（Ｃ）の特徴値を、「Ｓ（Ｍ，Ｃ）」と示す。例えば図２に示す画像ｍ１におけるカテゴリ（ｃ２）の特徴値は、Ｓ（ｍ１，ｃ２）＝１と表される。なお、図２では、候補画像それぞれに複数のカテゴリ（Ｃ）が設定されている例を示しているが、本発明の実施形態に係る候補画像に設定されるカテゴリ（Ｃ）が、１つであってもよいことは、言うまでもない。
【００５０】
編集装置１００は、例えば上記のように、候補画像それぞれに対して特徴値を設定する。ここで、編集装置１００は、例えばステップＳ１００において候補画像として決定された画像に対して、特徴値を設定するが、本発明の実施形態に係る編集装置１００における処理は、上記に限られない。例えば、編集装置１００は、ステップＳ１００の処理が行われたか否かによらず、候補画像となりうる画像に対して、特徴値を設定する処理を行うことも可能である。なお、編集装置１００は、特徴値を設定する処理を行わず、例えば、候補画像（または候補画像となりうる画像）をサーバなどの外部装置へ送信し、当該外部装置において設定された特徴値を用いて後述する評価値の算出に係る処理を行うこともできる。
【００５１】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１００において素材グループが決定されると、編集装置１００は、ストーリを決定する（Ｓ１０２；ストーリ決定処理）。編集装置１００は、例えば、操作部（後述する）から伝達されるユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作デバイスから送信されたユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する。なお、編集装置１００におけるストーリの決定方法は、上記に限られない。例えば、編集装置１００は、ネットワークを介して（あるいは直接的に）接続されている外部装置から送信された、ストーリが記録されたストーリ情報を受信した場合には、当該ストーリ情報が示すストーリを、後述する処理に用いるストーリとして決定することもできる。
【００５２】
上述したように、本発明の実施形態に係るストーリとは、複数の候補画像の中から画像を選択するための基準となるものであり、時間の関数で表される。ストーリは、例えば、選択時間ｔにおける候補画像の特徴値の期待値（ＳＸ）と、特徴値とを用いて表される。以下では、候補画像におけるカテゴリ（ｃｎ）（ｎは、１以上の整数）の選択時間ｔにおける期待値を「ＳＸ（ｃｎ，ｔ）」と示す。
【００５３】
下記の数式１〜数式３は、本発明の実施形態に係るストーリの一例を示している。ここで、数式１は、候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を、選択時間ｔにおける評価値として算出するためのストーリの一例を示している。また、数式２、数式３は、選択時間ｔにおけるカテゴリごとの期待値の一例を示している。ここで、数式１、数式３に示すＮは、候補画像のカテゴリ数を示している。
【００５４】
【数１】
【００５５】
【数２】
【００５６】
【数３】
【００５７】
なお、本発明の実施形態に係るストーリは、上記数式１〜数式３に示すものに限られない。例えば、編集装置１００は、実距離に限られず、カテゴリ（Ｃ）に対して重み付けをした上でマンハッタン距離を、評価値として算出してもよい。また、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることができる。また、時間の関数であるストーリのグラフ（例えば横軸に時間、縦軸に期待値をとるグラフ）をユーザに提示し、ユーザ操作に基づき変化した当該グラフが示す期待値の値を、ストーリとして用いることもできる。
【００５８】
〔ストーリ決定処理の一例〕
ここで、本発明の実施形態に係る編集装置１００におけるストーリ決定処理について、より具体的に説明する。図３は、本発明の実施形態に係る編集装置１００におけるストーリ決定処理の一例を示す流れ図である。ここで、図３は、編集装置１００が、ユーザ操作に応じた操作信号や、ユーザ操作に応じた外部操作信号に基づいて、ストーリを決定する場合の処理の一例を示している。以下では、編集装置１００が、ユーザ操作に応じた操作信号に基づいてストーリを決定する場合を例に挙げて説明する。
【００５９】
編集装置１００は、ストーリを初期設定する（Ｓ２００）。ここで、ステップＳ２００の処理は、例えばプリセットされたストーリを設定する処理に相当する。編集装置１００は、例えば、記憶部（後述する）に記憶されたストーリ情報を読み出すことによって、ステップＳ２００の処理を行う。なお、編集装置１００におけるステップＳ２００の処理は、上記に限られない。例えば、編集装置１００は、ストーリ情報を記憶するサーバなどの外部装置と通信を行い、当該外部装置から取得したストーリ情報を用いてステップＳ２００の処理を行うこともできる。
【００６０】
ステップＳ２００においてストーリが初期設定されると、編集装置１００は、適用可能なストーリを提示する（Ｓ２０２）。ここで、適用可能なストーリとは、後述するステップＳ２０８においてエラーが表示されたストーリに該当しないストーリである。つまり、ステップＳ２００において初期設定されたストーリは、ステップＳ２０２において提示される。
【００６１】
ステップＳ２０２においてストーリが提示されると、編集装置１００は、ストーリが指定されたか否かを判定する（Ｓ２０４）。編集装置１００は、例えばユーザ操作に応じた操作信号に基づいて、ステップＳ２０４の判定を行う。
【００６２】
ステップＳ２０４においてストーリが指定されたと判定されない場合には、編集装置１００は、ストーリが指定されたと判定されるまで処理を進めない。なお、図３では示していないが、例えばステップＳ２０２の処理が行われてから所定の時間、操作信号が検出されない場合には、編集装置１００は、ストーリ決定処理を終了してもよい（いわゆる、タイムアウト）。また、上記の場合、編集装置１００は、例えばストーリ決定処理を終了した旨をユーザに通知する。
【００６３】
ステップＳ２０４においてストーリが指定されたと判定された場合には、編集装置１００は、指定されたストーリが適用可能なストーリか否かを判定する（Ｓ２０６）。上述したように、編集装置１００は、例えば、カテゴリ（Ｃ）に対する期待値をユーザに入力させることによって、ユーザ操作に基づくストーリを用いることが可能である。編集装置１００は、例えばユーザにより異常値が入力された場合に、適用可能なストーリではないと判定する。
【００６４】
ステップＳ２０６において適用可能なストーリであると判定されない場合には、編集装置１００は、エラーを通知する（Ｓ２０８）。そして、編集装置１００は、ステップＳ２０２からの処理を繰り返す。ここで、編集装置１００は、例えば、表示画面にエラー画面を表示させることや、エラー音声を出力することによって、視覚的、および／または、聴覚的にエラーを通知するが、編集装置１００におけるステップＳ２０８の処理は、上記に限られない。
【００６５】
また、ステップＳ２０６において適用可能なストーリであると判定された場合には、編集装置１００は、ストーリを確定するか否かを判定する（Ｓ２１０）。編集装置１００は、例えば、表示画面にストーリの確定するか否かをユーザに選択させるための画面を表示させ、ユーザ操作に応じた操作信号に基づいて、ステップＳ２１０の判定を行う。
【００６６】
ステップＳ２１０においてストーリを確定すると判定されない場合には、編集装置１００は、ステップＳ２０２からの処理を繰り返す。
【００６７】
また、ステップＳ２１０においてストーリを確定すると判定された場合には、編集装置１００は、ステップＳ２０４において指定されたストーリを処理に用いるストーリとして決定し（Ｓ２１２）、ストーリ決定処理を終了する。
【００６８】
編集装置１００は、例えば図３に示す処理を行うことによって、ストーリを決定する。なお、本発明の実施形態に係るストーリ決定処理が、図３に示す例に限られないことは、言うまでもない。
【００６９】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０２においてストーリが決定されると、編集装置１００は、候補画像に対する評価値を算出する（Ｓ１０４；評価値算出処理）。
【００７０】
〔評価値算出処理の一例〕
図４は、本発明の実施形態に係る編集装置１００における評価値算出処理の一例を示す流れ図である。ここで、図４は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出する処理の一例を示している。図４では、各候補画像が、図２に示すように、ｍｘ（ｘは、１以上の整数）で表されるものとして説明する。
【００７１】
編集装置１００は、選択時間ｔの値としてｔ＝０を設定し（Ｓ３００）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝０を設定する（Ｓ３０２）。
【００７２】
ステップＳ３０２の処理が行われると、編集装置１００は、候補画像（ｍｘ）に対する評価値Ｄ（ｍｘ）（ｔ）を算出する（Ｓ３０４）。ここで、編集装置１００は、例えば、数式１と、図３のステップＳ２１２において確定された期待値とを用いて、マンハッタン距離Ｄ（ｍｘ）（ｔ）を評価値として算出する。
【００７３】
ステップＳ３０４において評価値Ｄ（ｍｘ）（ｔ）が算出されると、編集装置１００は、算出された評価値Ｄ（ｍｘ）（ｔ）を記憶する（Ｓ３０６）。そして、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ３０８）。
【００７４】
ステップＳ３０８においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ３１０）。ステップＳ３１０においてｘの値が候補画像数より小さいと判定された場合には、評価値を算出していない候補画像が存在するので、編集装置１００は、ステップＳ３０４からの処理を繰り返す。
【００７５】
また、ステップＳ３１０においてｘの値が候補画像数より小さいと判定されない場合には、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ３１２）。ここで、本発明の実施形態に係るΔｔは、選択時間ｔの間隔を規定する。図４では、Δｔが一定である場合を示しているが、本発明の実施形態に係るΔｔは、上記に限られない。例えば、本発明の実施形態に係るΔｔは、ユーザにより変更された不定の値であってもよいし、編集装置１００がランダムに設定することも可能である。
【００７６】
ステップＳ３１２においてｔの値が更新されると、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ３１４）。ここで、本発明の実施形態に係る再生総時間Ｔは、例えば、予め規定された値であってもよいし、ユーザ操作に基づいて設定されたものであってもよい。
【００７７】
ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ３０２からの処理を繰り返す。また、ステップＳ３１４においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、評価値算出処理を終了する。
【００７８】
編集装置１００は、例えば図４に示す処理を行うことによって、候補画像それぞれに対する評価値を、選択時間ごとに算出する。なお、本発明の実施形態に係る評価値算出処理が、図４に示す例に限られないことは、言うまでもない。
【００７９】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０４において候補画像に対する評価値が算出されると、編集装置１００は、評価値に基づいて、候補画像の中から選択画像を選択する（Ｓ１０６；画像選択処理）。
【００８０】
図５は、本発明の実施形態に係る編集装置１００における画像選択処理の一例を説明するための説明図である。ここで、図５は、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図５に示すＡ）、各選択時間ｔにおいて選択される選択画像と（図５に示すＢ）を示している。
【００８１】
図５に示すように、マンハッタン距離Ｄ（Ｍ）（ｔ）を評価値として算出した場合には、各選択時間ｔにおける評価値の最小値をとる候補画像が、選択画像として選択される。なお、本発明の実施形態に係る編集装置１００は、評価値の最小値をとる候補画像を選択画像として選択することに限られず、評価値の種類によっては、評価値の最大値をとる候補画像を選択画像として選択してもよい。つまり、編集装置１００は、評価値に基づいて評価がより高い候補画像を選択画像として選択する。よって、編集装置１００は、よりストーリに沿った候補画像を、選択時間ごとに選択することができる。また、編集装置１００は、評価値が最小（または最大）となる候補画像が複数ある場合には、例えば、これらの候補画像の中からランダムに選択画像を選択してもよいし、予め規定された候補画像の優先度に応じて選択画像を選択してもよい。
【００８２】
なお、本発明の実施形態に係る編集装置１００における画像選択処理は、図５に示すように、同一の候補画像が、複数回選択画像として選択される処理に限られない。図６は、本発明の実施形態に係る編集装置１００における画像選択処理の他の例を説明するための説明図である。ここで、図６は、図５と同様に、図２に示す候補画像ｍ１〜ｍ１４に対して数式１〜数式３に示すストーリを適用することによって、各選択時間ｔにおいて算出された評価値と（図６に示すＣ）、各選択時間ｔにおいて選択される選択画像と（図６に示すＤ）を示している。
【００８３】
図６に示すように、編集装置１００は、一度選択画像として選択された候補画像を除外し、除外後の候補画像の中から選択画像を選択することもできる。図６に示すように選択画像を選択することによって、同一の候補画像が選択画像として選択されることが防止されるので、編集装置１００は、図５に示す処理を行う場合よりもより多様性に富んだ画像を生成することが可能となる。
【００８４】
〔画像選択処理の一例〕
ここで、本発明の実施形態に係る編集装置１００における画像選択処理について、より具体的に説明する。図７は、本発明の実施形態に係る編集装置１００における画像選択処理の一例を示す流れ図である。ここで、図７は、編集装置１００が、数式１に示す候補画像（Ｍ）の特徴値と候補画像の期待値とに基づくマンハッタン距離Ｄ（Ｍ）（ｔ）を選択時間ｔにおける評価値として算出した場合における画像選択処理の一例を示している。また、図７は、図５に示すように、複数の選択時間において同一の候補画像が選択画像として選択されうる画像選択処理の一例を示している。さらに、図７は、評価値が同一の候補画像が複数あった場合には、より先に処理を行った候補画像が優先的に選択画像として選択される場合の処理を示している。
【００８５】
編集装置１００は、選択時間ｔにおける評価値の最小値ｍｉｎ（ｔ）の値として、ｍｉｎ（ｔ）＝０を設定する（Ｓ４００）。また、編集装置１００は、図４のステップＳ３００、Ｓ３０２と同様に、選択時間ｔの値としてｔ＝０を設定し（Ｓ４０２）、評価値を算出する対象の候補画像を規定するｘの値としてｘ＝０を設定する（Ｓ４０４）。
【００８６】
ステップＳ４０４の処理が行われると、編集装置１００は、評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいか否かを判定する（Ｓ４０６）。ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合には、編集装置１００は、後述するステップＳ４１０の処理を行う。
【００８７】
また、ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定された場合には、編集装置１００は、ｍｉｎ（ｔ）の値を、ｍｉｎ（ｔ）＝Ｄ（ｍｘ）（ｔ）に更新する（Ｓ４０８）。
【００８８】
ステップＳ４０６において評価値Ｄ（ｍｘ）（ｔ）の値がｍｉｎ（ｔ）よりも小さいと判定されない場合、または、ステップＳ４０８のの処理が行われた場合には、編集装置１００は、ｘの値をｘ＋１に更新する（Ｓ４１０）。
【００８９】
ステップＳ４１０においてｘの値が更新されると、編集装置１００は、ｘの値が候補画像数より小さいか否かを判定する（Ｓ４１２）。ステップＳ４１２においてｘの値が候補画像数より小さいと判定された場合には、編集装置１００は、ステップＳ４０６からの処理を繰り返す。
【００９０】
また、ステップＳ４１２においてｘの値が候補画像数より小さいと判定されない場合には、編集装置１００は、ｍｉｎ（ｔ）に対応する候補画像を、選択時間ｔにおける選択画像とする（Ｓ４１４）。
【００９１】
ステップＳ４１４の処理が行われると、編集装置１００は、ｔの値をｔ＋Δｔに更新する（Ｓ４１６）。そして、編集装置１００は、ｔの値が、編集後の画像の再生総時間Ｔより小さいか否かを判定する（Ｓ４１８）。
【００９２】
ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定された場合には、編集装置１００は、ステップＳ４０４からの処理を繰り返す。また、ステップＳ４１８においてｔの値が再生総時間Ｔより小さいと判定されない場合には、編集装置１００は、画像選択処理を終了する。
【００９３】
編集装置１００は、例えば図７に示す処理を行うことによって、各選択時間において評価値の最小値をとる候補画像（すなわち、より評価が高い候補画像）を、選択時間ごとの選択画像として選択する。なお、本発明の実施形態に係る画像選択処理が、図７に示す例に限られないことは、言うまでもない。
【００９４】
再度図１を参照して、本発明の実施形態に係る編集装置１００における編集アプローチに係る処理の一例について説明する。ステップＳ１０６において選択時間ごとの選択画像が選択されると、編集装置１００は、選択画像を時系列に繋ぎ合わせることによって、編集を行う（Ｓ１０８；編集処理）。
【００９５】
例えば図１に示す処理を行うことによって、編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、選択時間ごとに評価値が最小の候補画像（評価がより高い候補画像）を、選択時間ごとの選択画像とすることが可能である。よって、例えば図１に示す処理を行うことによって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、例えば図１に示す処理を行うことによって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集アプローチに係る処理が、図１に示す例に限られないことは、言うまでもない。
【００９６】
また、上記では、本発明の実施形態に係る編集アプローチに係る処理を、編集装置１００が行うものとして説明したが、本発明の実施形態に係る編集アプローチに係る処理は、１つの装置で実現されることに限られない。例えば、本発明の実施形態に係る編集アプローチに係る処理（すなわち、本発明の実施形態に係る編集方法に係る処理）は、例えば、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）における分散処理により実現されてもよい。
【００９７】
（本発明の実施形態に係る編集装置）
次に、上述した本発明の実施形態に係る編集アプローチに係る処理を行うことが可能な、本発明の実施形態に係る編集装置１００の構成の一例について説明する。図８は、本発明の実施形態に係る編集装置１００の構成の一例を示すブロック図である。
【００９８】
図８を参照すると、編集装置１００は、例えば、記憶部１０２と、通信部１０４と、制御部１０６と、操作部１０８と、表示部１１０とを備える。
【００９９】
また、編集装置１００は、例えば、ＲＯＭ（Read Only Memory；図示せず）や、ＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。編集装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。ここで、ＲＯＭ（図示せず）は、例えば制御部１０６が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部１０６により実行されるプログラムなどを一時的に記憶する。
【０１００】
［編集装置１００のハードウェア構成例］
図９は、本発明の実施形態に係る編集装置１００のハードウェア構成の一例を示す説明図である。図９を参照すると、編集装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、編集装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
【０１０１】
ＭＰＵ１５０は、ＭＰＵ（Micro Processing Unit）や、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する制御部１０６として機能する。また、ＭＰＵ１５０は、編集装置１００において、後述する候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０としての役目を果たすこともできる。
【０１０２】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１０３】
記録媒体１５６は、記憶部１０２として機能し、例えば、画像データや、ストーリ情報、図２に示すような画像の特徴値が記録された画像評価情報、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられる。また、編集装置１００は、編集装置１００から着脱可能な記録媒体１５６を備えることもできる。
【０１０４】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部１０８として機能し、また、表示デバイス１６２は、表示部１１０として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、編集装置１００上に備えられ、編集装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。なお、入出力インタフェース１５８が、編集装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス（例えば、外部ディスプレイなど）と接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１０５】
通信インタフェース１６４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行うための通信部１０４として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１０６】
編集装置１００は、例えば図９に示す構成によって、本発明の実施形態に係る編集アプローチに係る処理を行う。なお、本発明の実施形態に係る編集装置１００のハードウェア構成は、図９に示す構成に限られない。例えば、編集装置１００は、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、編集装置１００は、例えば図３のステップＳ２０８においてエラー音声を上記音声出力デバイスから出力することによって、聴覚的にエラーを通知することが可能となる。また、編集装置１００は、例えば、図９に示す操作デバイス１６０や表示デバイス１６２を備えない構成であってもよい。
【０１０７】
再度図８を参照して、本発明の実施形態に係る編集装置１００の構成について説明する。記憶部１０２は、編集装置１００が備える記憶手段である。ここで、記憶部１０２としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
【０１０８】
また、記憶部１０２は、例えば、画像データや、ストーリ情報、画像評価情報、アプリケーションなどを記憶する。ここで、図８では、画像データ１４０、…と、ストーリ情報１４２と、画像評価情報１４４とが記憶部１０２に記憶されている例を示している。
【０１０９】
通信部１０４は、編集装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０４は、例えば、制御部１０６により通信が制御される。
【０１１０】
ここで、通信部１０４としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０４の構成は、上記に限られない。例えば、通信部１０４は、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
【０１１１】
制御部１０６は、例えば、ＭＰＵや、制御機能を実現するための複数の回路が集積された集積回路などで構成され、編集装置１００全体を制御する役目を果たす。また、制御部１０６は、候補画像決定部１２０と、画像評価部１２２と、ストーリ決定部１２４と、評価値算出部１２６と、画像選択部１２８と、編集処理部１３０とを備え、本発明の実施形態に係る編集アプローチに係る処理を主導的に行う役目を果たす。また、制御部１０６は、サーバなどの外部装置との通信を制御する通信制御部（図示せず）を備えていてもよい。
【０１１２】
候補画像決定部１２０は、ユーザ操作に基づいて候補画像を決定する。より具体的には、候補画像決定部１２０は、例えば図１に示すステップＳ１００の処理を主導的に行う役目を果たす。
【０１１３】
画像評価部１２２は、候補画像に基づいて当該候補画像に対する特徴値を設定する。より具体的には、画像評価部１２２は、例えば、候補画像決定部１２０において候補画像が決定されるごとに、決定された候補画像を画像解析することや候補画像のメタデータを参照することによって、候補画像それぞれに対して特徴値を設定する。そして、画像評価部１２２は、例えば、画像評価情報を生成して記憶部１０２に記録する。なお、記憶部１０２に画像評価情報が記憶されている場合には、当該画像評価情報を上書き更新してもよいし、別途記録してもよい。なお、画像評価部１２２の処理は、上記に限られない。例えば、画像評価部１２２は、候補画像決定部１２０において候補画像が決定されることに依存せず、記憶部１０２に記憶されている画像データに対して特徴値を設定してもよい。
【０１１４】
また、画像評価部１２２は、例えば、候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が当該所定の時間内となるように候補画像を分割し、分割された候補画像それぞれに対して特徴値を設定する。
【０１１５】
ストーリ決定部１２４は、ストーリを決定する。より具体的には、ストーリ決定部１２４は、例えば図１に示すステップＳ１０２の処理を主導的に行う役目を果たす。
【０１１６】
評価値算出部１２６は、ストーリ決定部１２４において決定されたストーリと、複数の候補画像それぞれに設定されている特徴値とに基づいて、候補画像ごとの評価値を選択時間ごとに算出する。より具体的には、評価値算出部１２６は、例えば、ストーリ決定部１２４において決定されたストーリと、記憶部１０２に記憶された画像評価情報１４４とを用いて、図１に示すステップＳ１０４の処理を主導的に行う役目を果たす。
【０１１７】
画像選択部１２８は、評価値算出部１２６において算出された評価値に基づいて、候補画像の中から選択時間ごとに選択画像を選択する。より具体的には、画像選択部１２８は、例えば図１に示すステップＳ１０６の処理を主導的に行う役目を果たす。
【０１１８】
編集処理部１３０は、画像選択部１２８において選択時間ごとに選択された選択画像を、時系列に繋ぎ合わせる。つまり、編集処理部１３０は、例えば図１に示すステップＳ１０８の処理を主導的に行う役目を果たす。
【０１１９】
制御部１０６は、例えば候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０を備えることによって、編集アプローチに係る処理を主導的に行うことができる。なお、制御部１０６の構成が、図８に示す構成に限られないことはいうまでもない。
【０１２０】
操作部１０８は、ユーザによる操作を可能とする編集装置１００が備える操作手段である。編集装置１００は、操作部１０８を備えることによって、ユーザ操作を可能とし、ユーザ操作に応じてユーザが所望する処理を行うことができる。ここで、操作部１０８としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクタ、あるいは、これらの組み合わせなどが挙げられる。
【０１２１】
表示部１１０は、編集装置１００が備える表示手段であり、表示画面に様々な情報を表示する。表示部１１０の表示画面に表示される画面としては、例えば、例えば図３のステップＳ２０８においてエラーを視覚的に通知するためのエラー画面や、画像データが示す画像が表示される再生画面、所望する動作を編集装置１００に対して行わせるための操作画面などが挙げられる。また、表示部１１０としては、例えば、ＬＣＤや有機ＥＬディスプレイなどが挙げられる。なお、編集装置１００は、表示部１１０を、タッチスクリーンで構成することもできる。上記の場合には、表示部１１０は、ユーザ操作および表示の双方が可能な操作表示部として機能することとなる。
【０１２２】
編集装置１００は、例えば図８に示す構成によって、例えば図１に示すような本発明の実施形態に係る編集アプローチに係る処理を実現することができる。したがって、編集装置１００は、例えば図８に示す構成によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。なお、本発明の実施形態に係る編集装置１００の構成が、図８に示す構成に限られないことは、言うまでもない。
【０１２３】
以上のように、本発明の実施形態に係る編集装置１００は、時間の関数で表されるストーリと候補画像それぞれに設定されている特徴値とに基づいて選択時間ごとの評価値を順次算出し、例えば選択時間ごとに評価値が最小（または、最大）の候補画像（すなわち、評価がより高い候補画像）を、選択時間ごとの選択画像とする。よって、編集装置１００は、従来の技術やストーリ・テンプレートを用いて自動編集を行う場合に起こりうる、各選択時間において選択画像が選択されないことを防止することができる。したがって、編集装置１００は、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【０１２４】
また、編集装置１００は、複数の候補画像の中から算出された評価値が示す評価が高い候補画像を選択画像として選択するので、例えば、不特定多数の候補画像の中から編集を行う場合であっても、よりストーリに沿った選択画像を選択することが可能である。したがって、編集装置１００は、例えば、複数のユーザが画像を任意に追加、削除するような画像コミュニティサイトの画像を候補画像として処理するときなど、候補画像が動的に変化する場合であっても、候補画像の中からよりストーリに沿った選択画像を選択することができる。
【０１２５】
さらに、編集装置１００は、時間の関数で表されるストーリを用いるので、例えば選択時間の設定に応じてストーリを延長、短縮することができる。つまり、編集装置１００は、時間の関数で表されるストーリを用いることによって、例えば用いるストーリ・テンプレート自体を変更しなければストーリの延長、短縮が困難な、ストーリ・テンプレートを用いる場合よりも容易に、ストーリの延長、短縮を行うことが可能である。したがって、編集装置１００は、時間の関数で表されるストーリを用いることによって、より汎用性が高い画像の編集を行うことができる。
【０１２６】
以上、本発明の実施形態として編集装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話などの携帯型通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、様々な機器に適用することができる。
【０１２７】
また、本発明の実施形態は、クラウドコンピューティングなどのネットワークへの接続を前提としたシステム（編集システム）を構成するコンピュータ群などに適用することができる。
【０１２８】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る編集装置として機能させるためのプログラム（例えば図１、図３、図４、図７に示すような、本発明の実施形態に係る編集アプローチに係る処理を実現するためのプログラム）によって、複数の候補画像の中からストーリに対応する画像を画像の選択を行う選択時間ごとに選択して、選択された画像を編集することができる。
【０１２９】
（本発明の実施形態に係るプログラムを記録した記録媒体）
また、上記では、コンピュータを、本発明の実施形態に係る制御装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１３０】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３１】
例えば、本発明の実施形態に係る編集装置１００は、図８に示す候補画像決定部１２０、画像評価部１２２、ストーリ決定部１２４、評価値算出部１２６、画像選択部１２８、および編集処理部１３０を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１３２】
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
【符号の説明】
【０１３３】
１００ 編集装置
１０２ 記憶部
１０４ 通信部
１０６ 制御部
１０８ 操作部
１１０ 表示部
１２０ 候補画像決定部
１２２ 画像評価部
１２４ ストーリ決定部
１２６ 評価値算出部
１２８ 画像選択部
１３０ 編集処理部
【特許請求の範囲】
【請求項１】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
前記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、
を備える、編集装置。
【請求項２】
前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離を前記選択時間ごとに算出する、請求項１に記載の編集装置。
【請求項３】
前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとの前記選択画像として選択する、請求項２に記載の編集装置。
【請求項４】
前記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、前記選択時間ごとの前記選択画像を選択する、請求項１〜３のいずれか１項に記載の編集装置。
【請求項５】
前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備える、請求項１〜３のいずれか１項に記載の編集装置。
【請求項６】
前記画像評価部は、
前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、
分割された前記候補画像それぞれに対して前記特徴値を設定する、請求項５に記載の編集装置。
【請求項７】
ユーザ操作に基づいて、前記候補画像を決定する候補画像決定部をさらに備える、請求項１〜３のいずれか１項に記載の編集装置。
【請求項８】
外部装置と通信を行う通信部をさらに備え、
前記ストーリ決定部は、前記通信部が受信した、前記外部装置から送信された前記ストーリを示すストーリ情報に基づいて、前記ストーリを決定する、請求項１〜３のいずれか１項に記載の編集装置。
【請求項９】
前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表される、請求項１に記載の編集装置。
【請求項１０】
前記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表される、請求項９に記載の編集装置。
【請求項１１】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップと、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップと、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、
を有する、編集方法。
【請求項１２】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
をコンピュータに実行させるためのプログラム。
【請求項１３】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するストーリ決定部と、
前記ストーリ決定部において決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出する評価値算出部と、
前記評価値算出部において算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択する画像選択部と、
前記画像選択部において選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせる編集処理部と、
を備える、編集装置。
【請求項２】
前記評価値算出部は、前記評価値として、前記候補画像の特徴値と前記候補画像の特徴値の期待値とに基づくマンハッタン距離を前記選択時間ごとに算出する、請求項１に記載の編集装置。
【請求項３】
前記画像選択部は、前記選択時間それぞれにおける前記評価値が最小の候補画像を、前記選択時間ごとの前記選択画像として選択する、請求項２に記載の編集装置。
【請求項４】
前記画像選択部は、既に選択されている候補画像が除外された候補画像の中から、前記選択時間ごとの前記選択画像を選択する、請求項１〜３のいずれか１項に記載の編集装置。
【請求項５】
前記候補画像に基づいて、前記候補画像に対する前記特徴値を設定する画像評価部をさらに備える、請求項１〜３のいずれか１項に記載の編集装置。
【請求項６】
前記画像評価部は、
前記候補画像が、再生時間が所定の時間を越える動画像の場合には、再生時間が前記所定の時間内となるように前記候補画像を分割し、
分割された前記候補画像それぞれに対して前記特徴値を設定する、請求項５に記載の編集装置。
【請求項７】
ユーザ操作に基づいて、前記候補画像を決定する候補画像決定部をさらに備える、請求項１〜３のいずれか１項に記載の編集装置。
【請求項８】
外部装置と通信を行う通信部をさらに備え、
前記ストーリ決定部は、前記通信部が受信した、前記外部装置から送信された前記ストーリを示すストーリ情報に基づいて、前記ストーリを決定する、請求項１〜３のいずれか１項に記載の編集装置。
【請求項９】
前記ストーリは、画像の特徴量を示す特徴値を用いた時間の関数によって表される、請求項１に記載の編集装置。
【請求項１０】
前記ストーリは、画像のカテゴリを示す情報を用いた時間の関数によって表される、請求項９に記載の編集装置。
【請求項１１】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップと、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップと、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップと、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップと、
を有する、編集方法。
【請求項１２】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
をコンピュータに実行させるためのプログラム。
【請求項１３】
複数の候補画像の中から画像を選択するための基準となる、時間の関数で表されるストーリを決定するステップ、
前記決定するステップにおいて決定された前記ストーリと、複数の前記候補画像それぞれに設定されており前記候補画像の特徴を示す、１または２以上の特徴値とに基づいて、前記候補画像ごとの評価値を前記ストーリにおける選択時間ごとに算出するステップ、
前記算出するステップにおいて算出された前記評価値に基づいて、前記候補画像の中から前記選択時間ごとに画像を選択するステップ、
前記選択するステップにおいて選択時間ごとに選択された画像である選択画像を、時系列に繋ぎ合わせるステップ、
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−９４９４９（Ｐ２０１２−９４９４９Ａ）
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願番号】特願２０１０−２３８１７０（Ｐ２０１０−２３８１７０）
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年５月１７日（２０１２．５．１７）
【国際特許分類】
【出願日】平成２２年１０月２５日（２０１０．１０．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]