撮影支援システム、撮影支援装置、撮影支援方法及びプログラム
【課題】より適切な表現技法による撮影となるよう支援する撮影支援装置を提供する。
【解決手段】 撮影支援システム１は、ユーザの指定した感性情報に応じて、被写体の種類や被写体の周辺状況ならびにユーザの状態を随時認識した上で適切にユーザに指示する、あるいはカメラ１０を制御することにより、撮影に関する学習プロセスを実撮影プロセスの中に取り込むことができ、適切なカメラアングル、ショットサイズ、カメラワークで被写体を撮影しつつ、適切な撮影を行う経験を効果的に積み重ねることを可能にする。また、撮影時の状態を反映して適切な時期に支援を受け、映像による感性情報表現に関する知識や技術がなくても目的とする映像表現に則した撮影が可能となり、撮影に関する専門知識を得る機会の乏しい一般ユーザの映像メディアリテラシ向上も期待できる。
【解決手段】 撮影支援システム１は、ユーザの指定した感性情報に応じて、被写体の種類や被写体の周辺状況ならびにユーザの状態を随時認識した上で適切にユーザに指示する、あるいはカメラ１０を制御することにより、撮影に関する学習プロセスを実撮影プロセスの中に取り込むことができ、適切なカメラアングル、ショットサイズ、カメラワークで被写体を撮影しつつ、適切な撮影を行う経験を効果的に積み重ねることを可能にする。また、撮影時の状態を反映して適切な時期に支援を受け、映像による感性情報表現に関する知識や技術がなくても目的とする映像表現に則した撮影が可能となり、撮影に関する専門知識を得る機会の乏しい一般ユーザの映像メディアリテラシ向上も期待できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影支援システムに関する。
【背景技術】
【０００２】
映像機器の普及にともない、映像制作は一般家庭にも浸透するようになった。しかしながら、結婚式や子供の成長記録などの用途でユーザにより撮影された映像が、映像の揺れが大きく見るに耐えないものであったり、被写体の捉え方、たとえばショットサイズ（被写体をどのくらいの大きさで撮影するか）などが不適切であるために見る側の興味を引かない映像の連続である場合などは編集されずに二度と見られることがないといったことも頻繁に見られる。優れた場面を撮影していたとしても、適切なショットサイズで撮影することなく、あるいはパンやズームなどのカメラ操作によるユーザの演出意図なしに単に広角で撮影していたのでは映像によって表現したいノンバーバル情報を効果的に表現することはできない。撮影する場面の雰囲気、感性情報、あるいはノンバーバル情報を効果的に表現するためには撮影の際に適切なカメラアングルやカメラワークを選択する必要がある。専門的な知識や経験のないユーザにとっては、これらは必ずしも容易ではなく、制作者（ユーザ）と視聴者の間の親和性の高い映像によるコミュニケーションを阻む要因になっていると考えられる。
【０００３】
映像撮影の支援に関する研究は、大きく分けて撮影の仕方を指示するなどの監督法の支援とシーンやショットなどの撮影方法を提示するなど映画撮影法の支援の2つに分かれる。
監督法の支援としては、Active captureにおけるビデオカメラによる演技の指導を行う試みがある（非特許文献１）。非特許文献２では、ホームビデオを撮影する際、撮影意図の概念が提案され、撮影をしている人の意図の重要性が強調されている。非特許文献３では、撮影時にどこで誰（何）を撮影するのかなどアノテーションを入力することによってショットの撮影方法の提案を行い、 撮影プロセスと編集プロセスを統合しようと試みられた。非特許文献４では「常識」を利用して鑑賞者に分かりやすいストーリー制作を支援するシステムが提案された。
【０００４】
映画撮影法の支援では、手ぶれや光学的ノイズの除去（非特許文献５）や、ビデオ撮影のナビゲーションシステム（非特許文献６）などがある。非特許文献６では、撮影中の映像を解析することによって不適切なカメラの動きを検出する手法が開示されている。
【０００５】
本発明もこの映画撮影法支援に分類されうるが、非特許文献６で述べられているような視聴に堪える映像としての基本的な要求である不必要な映像の揺れ等を抑えるような「技術的支援」ではなく制作者が表現したい場面の雰囲気などの感性情報を適切に視聴者へ伝えるために考慮すべき撮影法に関する支援である「感性的支援」を目的とした映像撮影プロセスの支援技術である。
感性的支援に分類される研究例としては、非特許文献７による映像文法を利用した自動編集システムが挙げられる。このシステムでは、ユーザが選択した、目標とする感性情報を適切に表現しうる映像区間を映像中の動きや編集ルールなどをもとに決定することによって、複数の映像ソースを自動的に編集し、編集された映像を生成する。
【０００６】
また、従来より知られている技術には、過度な揺れや明るさの変化などを抑えて安定した映像を撮影するシステム（特許文献１）や、例えば笑いを誘う映像を提示することにより被写体の自然な表情を引きだすことを補助するもの（特許文献２）等がある。前者は、撮影経験の少ないユーザが映像を撮影する際に起こりやすい激しい手振れや速すぎるパン、チルトなどを検出し、ユーザに警告することでユーザがぶれなどを抑制した安定した映像が撮影できるように支援を行う。
後者は、被写体の自然な表情やポーズなどを引き出し、カメラで捉えることは難しいことから、被写体側に向いて設置された映像提示装置により、たとえば笑いを誘うような映像刺激を被写体に提示し、被写体の自然な表情やポーズ、動作などを表出させるための支援を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２５０６５号公報
【特許文献２】特開２０１０−１２８００９号公報
【非特許文献１】M. Davis, "Active capture: integrating human-computer interaction and computer vision/audition to automate media capture," Proceedings of the 2003 International Conference on Multimedia and Expo, vol. 1, pp. 185-188, 2003.
【非特許文献２】T. Mei, X. S. Hua, H. Q. Zhou, and S. Li, "Modeling and mining of users' capture intention for home videos," IEEE transactions on multimedia, vol. 9, pp. 66-77, 2007.
【非特許文献３】B. Adams and S. Venkatesh, "Situated event bootstrapping and capture guidance for automated home movie authoring," Proceedings of the 13th annual ACM international conference on Multimedia, pp. 754-763, 2005.
【非特許文献４】B. Barry and G. Davenport, "Documenting life: Videography and common sense," International Conference on Multimedia and Expo, vol. 2, pp. 197-200, 2003.
【非特許文献５】W. Q. Yan and M. S. Kankanhalli, "Detection and removal of lighting & shaking artifacts in home videos," Proceedings of the tenth ACM international conference on Multimedia, pp.107-116, 2002.
【非特許文献６】M. Kumano, K. Uehara, and Y. Ariki, "Online Training-Oriented Video Shooting Navigation System Based on Real-Time Camerawork Evaluation," IEEE International Conference on Multimedia and Expo, pp. 1281-1284, 2006.
【非特許文献７】A. Yoshitaka and Y. Deguchi, "Rendition-Based Video Editing for Public Contents Authoring," IEEE International Conference on Image Processing, pp. 1825-1828, 2009.
【非特許文献８】B. Mamer, Film production technique: creating the accomplished image, 2nd edition ed. : Wadsworth Pub Co, 2000
【非特許文献９】ダニエル・アリホン, 岩本憲児ほか訳：映画の文法―実作品にみる撮影と編集の技法, 紀伊國屋書店, 1980
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、より適切な表現技法による撮影となるよう支援する撮影支援装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の撮影支援システムは、静止画像又は動画像を撮影するカメラと、前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、前記入力手段により受け付けた感性情報に応じて、それを表現するに適切な前記カメラによる撮影方法を出力する出力手段とを有する。
【００１０】
好適には、前記感性情報は、感情表現、力強さ、ひ弱さ、緊張感、興奮、共感、親密さ、解放感、及び、孤独感あるいはそれに同等な感性表現のうち、少なくとも１つを示す情報を含み、前記出力手段は、前記入力手段により受け付けた感性情報と、前記カメラによる撮影の撮影状況を判断するために有用な情報とに基づいて、前記カメラの撮影位置、前記カメラの姿勢、前記カメラの移動、及び、前記カメラによるズームイン又はズームアウトの少なくとも１つに関する指示情報を画面に表示させる、または、音声により前記指示情報を提示する。
【００１１】
好適には、前記カメラの姿勢を検知する姿勢検知手段をさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記姿勢検知手段により検知されたカメラの姿勢と、前記カメラにより撮影されている画像とに基づいて、少なくとも、前記カメラの姿勢に関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する。
好適には、前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段をさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置に関する指示情報、あるいは、ズームイン又はズームアウトに関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する。
【００１２】
好適には、前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段と、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる撮影状況変化手段とをさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置、姿勢、ズームイン又はズームアウトに関する指示情報を、前記撮影状況変更手段に出力し、前記撮影状況変更手段は、前記出力手段により出力された指示情報に応じて、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる。
【００１３】
また、本発明の撮影支援装置は、カメラによる静止画像又は動画像の撮影を支援する撮影支援装置であって、前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、前記入力手段により受け付けた感性情報に応じて、前記カメラによる撮影方法を出力する出力手段とを有する。
【００１４】
また、本発明の撮影支援方法は、カメラによる静止画像又は動画像の撮影を支援する撮影支援方法であって、前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップとを有する。
【００１５】
また、本発明のプログラムは、カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップとを実行させる。
【００１６】
また、本発明のプログラムは、カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、前記カメラにより撮影される画像に関して、被写体の種類あるいは撮影しようとしている場面の種類を入力として受け入れ，それをその被写体あるいは撮影しようとしている場面の特徴を表現するに適切な感性情報へと変換し，その感性情報に応じて、前記カメラによる撮影方法を出力する，あるいはカメラ自体を自動制御するステップを実行させる。
【発明の効果】
【００１７】
本発明によれば、より適切な表現技法による撮影となるよう支援できる。
【図面の簡単な説明】
【００１８】
【図１】ユーザと撮影支援システム１のインタラクションモデルを表した図である。
【図２】各撮影技法と、これらの技法を用いた場合の印象（感性情報）と関係を説明するための表である。
【図３】撮影支援システムのハードウェア構成を例示する図である。
【図４】撮影支援システムを実現するための撮影支援プログラム及びデータを例示する図である。
【図５】（Ａ）は、撮影支援システム１の全体動作を説明するフローチャート（Ｓ１）であり、（Ｂ）は、変形例の全体動作を説明するフローチャート（Ｓ２）である。
【図６】（Ａ）は、初期化処理（Ｓ１２）のフローチャートであり、（Ｂ）は、印象選択処理（Ｓ４４）のフローチャートである。
【図７】感性表示処理（Ｓ２０）のフローチャートである。
【図８】（Ａ）は、感情表現判定支援処理（Ｓ２６）のフローチャートであり、（Ｂ）は、力強さ判定支援処理（Ｓ２８）のフローチャートであり、（Ｃ）は、ひ弱さ判定支援処理（Ｓ３０）のフローチャートである。
【図９】（Ａ）は、緊張感・興奮判定支援処理（Ｓ３２）のフローチャートであり、（Ｂ）は、共感・親密さ判定支援処理（Ｓ３４）のフローチャートである。
【図１０】（Ａ）は、解放感判定支援処理（Ｓ３８）のフローチャートであり、（Ｂ）は、孤独感判定支援処理（Ｓ３６）のフローチャートである。
【図１１】顔をより大きく映すことを促す画面表示の一例である。
【図１２】感性情報の選択画面を例示する図である。
【図１３】（Ａ）は、顔をより大きく映すことを促すアイコン表示の一例であり、（Ｂ）は、カメラ１０の角度を下げることを促すアイコン表示の一例であり、（Ｃ）は、ズームインを促すアイコン表示の一例である。
【図１４】カメラ撮影による「感情表現」の表現における顔のサイズの比率を表したグラフである。
【図１５】カメラ撮影による「力強さ」の表現におけるカメラ角度の違いを表したグラフである。
【図１６】カメラ撮影による「弱さ」の表現におけるカメラ角度の違いを表したグラフである。
【図１７】カメラ撮影による「緊張感・興奮」の表現における速いズームイン比率を表したグラフである。
【図１８】カメラ撮影による「緊張感・興奮」の表現において撮影中の動作の割合を表したグラフである。
【図１９】カメラ撮影による「共感・親密さ」の表現における遅いズームイン比率を表したグラフである。
【図２０】カメラ撮影による「共感・親密さ」の表現において撮影中の動作の割合を表したグラフである。
【図２１】カメラ撮影による「孤独感」の表現における遅いズームアウト比率を表したグラフである。
【図２２】カメラ撮影による「孤独感」の表現において撮影中の動作の割合を表したグラフである。
【図２３】カメラ撮影による「解放感」の表現における速いズームアウト比率を表したグラフである。
【図２４】カメラ撮影による「解放感」の表現において撮影中の動作の割合を表したグラフである。
【図２５】各被験者の実験に掛かった時間を表した表である。
【発明を実施するための形態】
【実施例１】
【００１９】
図１は、本発明に係る実施形態の概要を説明する図である。
撮影支援システム１は各ショットを撮影する際に図１のような手順で支援を行う。
（１）ユーザは自分がどのような雰囲気・印象で撮影したいのか、あるいは撮影しようとする被写体の種類や被写体の置かれた状況を入力する（図１の「感性情報入力」の部分）。
（２）システム１はユーザによって入力された印象などの情報（感性情報）をもとにどのような撮影方法が適切か判断する。あるいは、入力された被写体の種類や被写体の置かれた状況に関する情報から映像として表現すべき雰囲気、印象を対応付け、どのような撮影方法が適切かを判断する（図１の「撮影方法の選択」部分）。
（３）システム１は、得られる動画像情報から映像の特徴を分析する（図１の「映像分析」部分）。同時にカメラ１０の上下方向の傾き角度を検出する（図１の「加速度センサ」部分）。
（４）システム１は、映像の分析結果ならびにユーザにより入力された印象、あるいは入力された被写体の種類や被写体の置かれた状況からどのように撮影すればよいかをユーザに教示し、あるいは直接カメラを制御する（図１の「撮影方法の提示」部分）。例えばユーザが「（被写体の）感情表現」と入力した場合で、かつ、現在撮影されている顔の大きさが小さすぎる場合は、顔部分を大きく撮影するように促す。「ひ弱さ」と入力していれば、被写体を上から撮影する必要があるので、カメラ１０を斜め下に向けることを促す。「緊張感・興奮」と入力していれば、早いズームインを行う必要があるので、早いズームイン操作を行うように促す。
（５）ユーザは指示に従ってカメラ１０を操作し撮影を行う（図１の「映像撮影」部分）。
（６）もし、システム１からの指示を反映しても適切な映像表現になっていない場合は、システム１は再度適切な撮影を行うために必要な操作指示を提示し、上記（３）〜（５）を繰り返す。
【００２０】
ユーザは自分がどのような印象で撮影したいのかが分からない場合もあるので、その場合は被写体の種類や被写体の置かれた状況を入力することも可能である。例えば、運動会で徒競走などと入力するとシステム１が自動的に徒競争に対応付け得る印象表現を選択してユーザに提案する。
撮影目標を満たす程度に物理的なカメラ操作をユーザあるいはシステム１が実行できない場合などは、高精細撮影した映像より、映像の切り出し、拡大、縮小処理等を行うことで仮想的なカメラ操作を実現し、目標とする撮影映像を得る。
【００２１】
本発明の別の実施形態として、文字やイラストなどで撮影に関する指示を与えるだけでなく、一部カメラ操作の計算機制御により半自動で撮影操作を実行する形態のインタラクションや、テレビ局のスタジオなどで使用されるパン、チルト、トラック、ズーム等をカメラ外部より制御可能なカメラ１０を用いて印象選択時にユーザの操作なしで自動的に撮影時のカメラ操作を実行させるような実装形態もある。
【００２２】
上記特許文献１はユーザの撮影する映像全体を解析し、手振れなど映像として最低限視聴に耐える基本的画質を保証することを目的とした技術的な訓練の支援にとどまり、実撮影時の被写体や被写体周辺の環境を考慮しつつ、カメラを向ける角度やショットサイズ、カメラ操作により表現し得る場面の雰囲気などの感性情報表現の支援を目的としたものではない。 特許文献２は、画像による刺激を被写体である人物に与えることよって被写体の自然な表情を引きだすための技術であり、ユーザに対して撮影法に関する支援を行うものではない。
【００２３】
ユーザが表現したい場面の雰囲気などの感性情報を映像により表現することを目的として撮影するためには、ユーザの状態や被写体の写っている状況など撮影環境に対応した支援を行う必要がある。例えば、映像表現法に関する専門的知識や技術を持たない初心者には被写体の「力強さ」「緊張感」などの印象あるいは雰囲気を撮影法の工夫により演出・表現することは難しい。また、仮に撮影を行う際に撮影法に関する技術書等を読んだとしても、実際の撮影状況が技術書の記述に対応しているとは限らず、撮影時の実際の状況に即した判断を即座に行うことは困難である。
【００２４】
従来の映像撮影支援技術は露出の自動調整やオートフォーカスなどの光学系の自動調整や三分割線、水平線といった基準線の提示にとどまり、ユーザに明示的に撮影方法を教示するものではない。本実施形態では、映像により表現したい雰囲気や印象などの感性情報と熟練者の映像撮影手法との関係、ならびに被写体や被写体撮影時の状況にふさわしい雰囲気や印象などと感性情報との対応づけ、感性情報と映像撮影手法との関係を知識化し、その知識に基づいて被写体やユーザの撮影状態に応じて適切な撮影方法を教示する。
このような撮影モデルに基づく映像制作では、ユーザが表現したい雰囲気や印象に関係する感性情報、あるいは被写体の種類や撮影時の状況を入力すると、システム１が上記知識を参照すると共に映像の分析ならびにセンサ情報からのカメラの状態認識により適切なカメラアングルやカメラワーク、ショットサイズを決定し、撮影状況がそれとは異なる場合に修正すべき方策を視覚的に例示し、あるいはカメラそのものをシステムが制御することにより、目標とする雰囲気や印象を表現するのに適切な撮影を実現するための支援を行う。
【００２５】
表現したい雰囲気や印象、すなわち感性情報に則した適切な撮影、編集を行えば、映像メディアはより効果的にノンバーバル情報をも伝達することができるようになる。しかし、撮影段階で生じたミスの影響を編集の段階である程度隠蔽することはできても、根本的に改善することは出来ない。本実施形態では、映像を制作する際に映像監督やカメラマンなどに広く一般的に採用されている規範である、映画プロダクションにおける撮影技法、映画の文法などの映像表現技法を知識化し、被写体の種類や撮影状況とそれを表現するにふさわしい雰囲気や印象などの感性情報とを対応付け、さらには映像表現目標とする感性情報と適切なカメラアングル、カメラワークを対応付け、撮影支援を実現するものである。
【００２６】
初期の映像撮影モデルでは、ズームなどの機能を用いて、ユーザが撮影システムを一方的に操作するのみであった。現在は光学・ディジタル処理による色彩、焦点や露出の自動調整などの技術的支援に加え、水平線や三分割構図線などの基準線によりカメラ位置の決定に有用な指針を提示する機能を備えた装置が既に実用化している。しかしながら、ショットサイズやカメラアングル、カメラワークなどをどのようにして撮影すべきかについて具体的な被写体や被写体周辺環境、ユーザの状況を反映して適切な撮影法を支援する技術についてはこれまでに存在していない。本実施形態で述べる撮影支援モデルに基づく撮影支援技術では、ユーザの主体的な撮影をシステム１が支える形でユーザを密に支援し、表現意図に適切に沿うショット撮影を目指す。
【００２７】
次に、本実施形態における撮影支援方法の有効性を裏付ける実験結果を説明する。
感性情報に訴える撮影、編集上の視覚効果を適切に施した場合、映像メディアはより効果的に情報を伝達することができるようになる。しかし、適切に感性情報を表現するような撮影ができなかった場合、撮影の段階で生じたミスをある程度隠すことはできても、その失敗を根本的に改善することは出来ない。そこで、一般ユーザが事前知識なしに映像を用いてどの程度感性情報を表現できるのか実験を行い、その映像の評価を行った。一般ユーザがどのように撮影を行うのか調査するため、「感情」「力強さ」「ひ弱さ」「緊張感・興奮」「共感・親密さ」「孤独感」「解放感」の７種類の感性語を指示し、撮影対象が椅子に座っている状況で、被験者にビデオカメラを用いてそれぞれの感性語に対応する雰囲気を表現・強調するように撮影させる実験を行った。 被験者は、２０代前半の大学院生１０名で、全くビデオ撮影の経験がない者が５名、１〜２本のビデオ作品を撮影したことのある者が２名、５本以上が１名、１０本以上が２名であった。内訳は主にホームビデオ、他には研究のデモ映像や学園祭の露店のＣＭなどである。実験の際には、被験者に録画、ズームイン、ズームアウトの操作方法のみを教示し、他の機能は使用しないよう指示した。次に７つの感性語を与え、座っている被写体の撮影時のカメラアングルやカメラワークを用いてそれぞれを表現するよう指示した。
【００２８】
「感情」「力強さ」「ひ弱さ」に関してはカメラアングルのみを用いて、「緊張感・興奮」「共感・親密さ」「孤独感」「解放感」に関してはカメラワーク（移動、ズームイン、ズームアウトのみ）を用いて表現するよう指示を与え、それ以外の指示や教示をせずにそれぞれの感性語に応じた適切な撮影（例えば「力強さ」であれば、ローアングルショット）が行えるかどうかについて調査した。
【００２９】
実験の結果、明らかになったことは大きく分けて２つある。１つは、撮影経験があれば自分の撮影したものが適切に撮影できているかどうかは判断できる一方で、必ずしも撮影経験のある被験者が適切に撮影を行える訳ではないこと、もう１つはユーザ自身がうまく撮影できたと思っていても実際は必ずしも適切な撮影方法で撮影できている訳ではないことである。撮影経験を闇雲に増やしても、表現意図に沿った撮影ができるようにはならない。したがって、十分な撮影知識や経験を持たないユーザが適切な撮影を効率的に行うためには、システムが撮影中に撮影方法を適宜支援する必要がある。
【００３０】
ユーザの表現意図に沿った映像を撮影するためには、従来の方法では、まず撮影技法に関する知識をある程度学んで適切な撮影方法を知り、更に撮影時の状況や自分の状態に応じて柔軟な判断を行うための学習活動が必要である。本実施形態の撮影支援システム１を使用する場合、撮影システム１が被写体の種類や被写体の周辺状況ならびにユーザの状態を随時認識した上で適切にユーザに指示する、あるいはカメラ１０を制御することにより、撮影に関する学習プロセスを実撮影プロセスの中に取り込むことができ、適切なカメラアングル、ショットサイズ、カメラワークで被写体を撮影しつつ、適切な撮影を行う経験を効果的に積み重ねることを可能にする。また、撮影時の状態を反映して適切な時期に支援を受け、映像による感性情報表現に関する知識や技術がなくても目的とする映像表現に則した撮影が可能となり、撮影に関する専門知識を得る機会の乏しい一般ユーザの映像メディアリテラシ向上にも貢献すると考える。従来の撮影方法は、ユーザが自らの判断に基づいて撮影を行い、ビデオカメラはユーザの指示通りに撮影パラメタを設定する、あるいは自動的に色調や光学系パラメタを調整するのみであった。本実施形態の撮影支援システム１で実現できる撮影モデルにおいては、撮影支援システム１は被写体の種類や状況あるいはユーザの映像表現意図（どのような雰囲気や印象といった感性情報を表現したいのか）、ならびにユーザの状態を考慮した撮影手法の提案あるいはシステム制御による撮影を行う。それにより、ユーザは撮影を通して撮影方法とその方法が表現する雰囲気や印象との関係についての撮影技術を十分に知らずとも適切な撮影ができ、かつ、感性情報に基づいた映像表現技術を身につけることができる。従来の撮影モデルはユーザの知識や経験のみに基づいた映像撮影であり、ビデオカメラはあくまでそれを受動的な装置という位置づけにあったが、本実施形態の撮影モデルは、人と撮影支援システム１が協調して1つの映像を適切に作り上げる方式を実現するものである。
【００３１】
図２は、各撮影技法と、これらの技法を用いた場合の印象（感性情報）と関係を説明するための表である。
映像を撮影する際には、画面の中に被写体がどの位の大きさで写っているか（映像フレームに占める大きさ。ショットサイズという。）、被写体がどのような角度で映っているか（水平、上向き、下向きならびにその角度。カメラアングルという。）、カメラをどのように操作するか（パン、チルト、ズームなど。カメラワークという。）を適切に決定する必要がある。例えば被写体の感情描写を強調させたければクロースアップ撮影が効果的であるし、「力強さ」を印象付ける映像を撮影したいのであれば被写体を下から上に仰ぐように撮影することによってそのような印象あるいは雰囲気を視聴者に与えるような映像を効果的に表現することができる。図２（Ａ）及び（Ｂ）は、ショットサイズ、カメラアングルについてまとめたものである。
【００３２】
ロングショットで撮影すると、被写体（基本的に人物を想定）は小さく写ることになるので、その結果、画像のどこが、ユーザが視聴者に注目してもらいたい重要な部分なのか不明瞭になる。ミディアムショットは、被写体の腰から上が含まれるように写したショットで、人と人とが会話をするときの距離を想起させるため、特別な印象を与えることはない。一方、被写体の肩より上部を主に写すクロースアップで撮影する場合は、人物の顔により接している印象を与えるため、被写体の感情描写を印象付ける映像となる。ローアングルショット（下の位置から上向きに撮影）、ハイアングルショット（上の位置から下向きに撮影）、アイレベルショット（被写体の目の位置から水平方向に撮影）はそれぞれ、日本ではアオリ、俯瞰、目高と呼ばれている。これらのショットを適切に使い分けることで、背の高い人物が背の低い人物を見下したり、あるいはその逆の印象を与えることができる（図２（Ｂ））。アオリを使用することで、画面内の被写体の力強さや威圧感を、俯瞰を使用することでひ弱さや脅されている雰囲気を、また、斜めのショットを使用すれば被写体の狂気や世界の歪みなどを表現することができる。
【００３３】
カメラの配置方法以外にも、図２（Ｃ）に例示するように、急激なズームインやズームアウトなどカメラワークによっても緊張感や解放感などを表すことができる。
ドリーとは移動式の撮影機材を載せる台車のことで、ドリーイン／アウトとはこの台車を被写体に向けて、あるいは被写体から離れていくように移動させながら撮影する技法を指す。ズームを使用した撮影とは背景の変化が異なるため全く同じ効果は得られないが、ズームをドリーと同じ視覚効果をもたらすように用いることが可能な場合もある。これらのカメラワークを用いることで、緊張感や解放感、共感や孤独感などを効果的に表現できる。
【００３４】
ショットサイズ、カメラアングル、カメラワークにより、例えば「感情表現」、「力強さ」、「ひ弱さ」、「緊張感・興奮」、「共感・親密さ」、「孤独感」、「解放感」の７つの印象を視聴者が受けるような映像を撮影できるようにユーザを支援、あるいは電気信号等により計算機制御可能なカメラ装置を制御し、表現したい印象、雰囲気どおりに撮影できるようにする。また、撮影中の映像がどのような印象あるいは雰囲気を視聴者に与える映像になっているのかを判定する。その判定処理は以下のように行う。
【００３５】
「感情表現」：人の感情を引きだすためにはクロースアップ（被写体に寄る）で撮影を行う必要がある。このような映像表現になっているかを検出する処理ではカメラに写された映像より人の顔領域を検出し、顔領域の大きさ（領域の縦あるいは横の長さ、あるいはそれらの複合判定による）が閾値より小さければ、基準値を超えるまでズームインまたは被写体により近づいて顔部分をより大きく撮影するよう「もっと大きく撮影してください」等の文字によるメッセージや近づくことを促す矢印、あるいは音声等による指示が出力される。あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３６】
「力強さ」「ひ弱さ」：映像技法では、人を力強く見せるためには被写体より下の位置から見上げるように撮影する必要があり、ひ弱く見せるためには被写体より上の位置から見下ろすように撮影する必要がある。この処理では人の顔の有無およびカメラの角度を検出し、「力強さ」であればカメラの角度が閾値より小さい場合により上向きに傾けるよう指示が、「ひ弱さ」であればカメラの角度が閾値より大きい場合に角度を抑えるよう「もっと傾けてください」「傾きを抑えてください」などの文字によるメッセージやカメラの角度修正を指示する図表現、あるいは音声等による指示が出力される。あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３７】
「緊張感・興奮」「共感・親密さ」：映像技法では、緊張感や興奮を表すためには速いズームインを、共感や親密さを表す為には遅いズームインを用いる。この処理ではカメラ１０のズームインの速さを検出し、「緊張感・興奮」ではズームの速度が閾値より小さければ、より速くズームインするように「もっと速くズームインして下さい」などのメッセージやズームインを表すイラストや音声による指示が、「共感・親密さ」ではズームの速度が基準値より大きければ、速度を抑えるよう「もっとゆっくりズームインしてください」など指示が文字、イラスト、あるいは音声により提示される。
あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３８】
「解放感」「孤独感」：映像技法では、孤独感を表すためには遅いズームアウトを、解放感を表すためには速いズームアウトを用いる。この処理ではカメラのズームアウトの速さを検出し、「解放感」ではズームの速度が閾値より小さい場合、速くズームアウトするように「もっと速くズームアウトして下さい」などのメッセージやズームアウトを表すイラストや音声による指示が、「孤独感」ではズームの速度が閾値より大きい場合ズームアウトの速度を抑えるよう指示が文字、イラストや音声で指示される。あるいは上記条件を満たすようにシステム１がカメラ１０の位置、角度、ズーム等の制御を行う。
【００３９】
このような印象判断条件は、基本的な一例であり、上記記載以外の条件も被写体の種別や撮影環境に応じて付与する場合もある。
このように、撮影技法などの知識を体系化し、目的とする映像表現、つまり感情表現（クロースアップに対応）、力強さ（アオリに対応）、ひ弱さ（俯瞰に対応）、緊張感・興奮（速いズームインに対応）、共感・親密さ（遅いズームインに対応）、孤独感（遅いズームアウトに対応）、解放感（速いズームアウトに対応）の大きく７つに大別した表現目標に基づき撮影支援をするシステムにより、あるいは被写体の種類や撮影環境から表現すべき印象や雰囲気、すなわち感性情報への対応付けを行ったうえで、現在撮影している映像がどのような印象を視聴者に与えうるものであるのかを判定し、目標とする映像表現を実現するためのユーザに対する操作支援、あるいはシステムによるカメラ制御を行う。
【００４０】
なお、ユーザに指示するカメラ操作あるいはシステム１が直接制御することにより実現されるカメラ操作に代えて、高解像度映像より特定領域を切り出し、拡大、縮小処理等を行った画像を出力する、仮想的なカメラ操作により上記撮影を実現する方法も可能であり、物理的カメラ操作、仮想的カメラ操作のいずれにより目標とするカメラ操作を実現するかは撮影環境等に応じ適宜選択し実行する。
【００４１】
図３は、撮影支援システムのハードウェア構成を例示する図である。
図４は、撮影支援システムを実現するための撮影支援プログラム及びデータを例示する図である。
図３（Ａ）に例示するように、撮影支援システム１は、カメラ１０と、これに内蔵された制御部１００、記憶部１０２、データ入力部１０４、操作部１０６、データ出力部１０８及びセンサ１１０とを備えて構成されている。なお、カメラ１０に内蔵された制御部１００、記憶部１０２、データ入力部１０４、操作部１０６、データ出力部１０８及びセンサ１１０は、本発明に係る撮影支援装置の一例である。
制御部１００は、内蔵プログラムの命令を実行するＣＰＵ（central processing unit）、プログラムを展開するＲＡＭ（random access memory）、プログラムやデータを格納したＲＯＭ（read only memory）などを備えたコンピュータによって構成されている。そして、制御部１００は、撮影支援プログラム（図４の制御部内に設けられた機能ブロックに相当）を実行することにより、印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０の各部として機能する。さらに、記憶部１０２には、入力印象情報記録部６００、操作情報記録部６０２、検知情報記録部６０４、場合情報記録部６０６、及び、撮影データ記録部６０８が設けられている。
【００４２】
上記撮影支援プログラム（すなわち、印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０を実現するプログラムコード）は、そのプログラムを記録した記録媒体から上記カメラ１０に供給することができる。この撮影支援プログラムを記録した記録媒体は、上記カメラ１０と分離可能に構成してもよく、上記カメラ１０に組み込むようになっていてもよい。この記録媒体は、記録したプログラムコードをカメラ１０などのコンピュータが直接読み取ることができるようにコンピュータに装着されるものであっても、外部記憶装置としてコンピュータに接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。上記記録媒体としては、例えば、磁気テープ、フレキシブルディスク、ハードディスク、ＭＯ、ＭＤ、ＤＶＤ（各種）、ＣＤ（各種）、ＩＣカード、各種ＲＯＭなどを用いることができる。なお、制御部を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。つまり、上記撮影支援プログラムは、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態をとって供給されることもある。
【００４３】
なお、本実施形態では、カメラ１０と撮影支援プログラムとによって制御部１００の上記各部を実現することを想定しているが、ハードウェアによって制御部１００の上記各部を構成してもよい。記憶部１０２は、ハードディスクなどの記憶媒体によって構成され、ユーザによって撮影された映像データなどを記憶する。
なお、記憶部１０２に記憶される各種データの一部は、記憶部１０２に記憶する代わりに、制御部１００内部のＲＡＭ等に記憶するようにしてもよい。また、記憶部１０２は、ハードディスクに限らず、上記データを記憶することができる記憶装置であればよい。
【００４４】
データ入力部１０４は、外部から撮影支援装置（制御部１００）に対して供給される映像データを内部へ入力するためのものであり、データ出力部１０８は、カメラ１０を用いて撮影された映像データを外部へ出力するためのものである。
操作部１０６は、カメラ１０の操作者からの操作入力を受け付け、その操作入力に応じた信号を制御部１００に対して出力するものである。
【００４５】
制御部１００内の各部（図４の印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０）の機能や動作の詳細については、フローチャートに基づいて以下に説明する。
なお、図３（Ｂ）に例示するように、カメラ１０と、撮影支援装置１１とが別体で構成され、ＵＳＢケーブルなどの通信回線３０を介して、カメラ１０と撮影支援装置１１とが互いに通信し、全体して撮影支援システム１として機能してもよい。
【００４６】
次に、図５〜図１０のフローチャートを参照して、撮影支援システム１の具体的な動作を説明する。
図５（Ａ）は、撮影支援システム１の全体動作を説明するフローチャート（Ｓ１）であり、図５（Ｂ）は、変形例の全体動作を説明するフローチャート（Ｓ２）である。
図５（Ａ）に示すように、撮影支援システム１は、まず、初期画面を表示し（Ｓ１０）、システム初期化（Ｓ１２）ののち、カメラ１０により撮影された映像を内蔵モニタで表示する。
次に、操作部１０６は、通常撮影または感性表現支援の選択をユーザに促し（Ｓ１６：図１１）、ユーザの選択操作を受け付ける（Ｓ１８）。制御部１００は、感性表現支援が選択された場合（Ｓ１８：２を選択）、現在カメラ１０により撮影されている映像に基づいて感性表示処理を行い（Ｓ２０）、通常撮影が選択された場合（Ｓ１８：１を選択）、Ｓ１４に戻り、通常の撮影を行う。
【００４７】
次に、制御部１００は、「感情表現」、「力強さ」、「ひ弱さ」、「緊張感・興奮」、「共感・親密さ」、「孤独感」、「解放感」を感性情報の選択肢として提示し（Ｓ２４）、いずれかの感性情報を指定するユーザの操作を受け付ける（Ｓ２５）。なお、図１２は、感性情報の選択肢を表示した表示例であり、本例では、同時に、各感性情報に対応する撮影方法の説明文も含まれている。
次に、制御部１００は、「感情表現」がユーザに選択された場合に、カメラ１０により撮影されている映像に基づいて、「感情表現」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ２６）。また、制御部１００は、「力強さ」がユーザに選択された場合に、カメラ１０により撮影されている映像と、センサ１１０により検知されたカメラ１０の傾き（角度）とに基づいて、「力強さ」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ２８）。また、制御部１００は、「ひ弱さ」がユーザに選択された場合に、カメラ１０により撮影されている映像と、センサ１１０により検知されたカメラ１０の傾き（角度）とに基づいて、「ひ弱さ」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３０）。また、制御部１００は、「緊張感・興奮」がユーザに選択された場合に、カメラ１０により撮影されている映像と、カメラ１０のズームインの速度とに基づいて、「緊張感・興奮」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３２）。また、制御部１００は、「共感・親密さ」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「共感・親密さ」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３４）。また、制御部１００は、「孤独感」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「孤独感」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３６）。また、制御部１００は、「解放感」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「解放感」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３８）。
【００４８】
なお、図５（Ｂ）に例示するように、感性表示（Ｓ２０）の後、制御部１００は、ユーザに撮影状況（運動会など）の入力を促し、ユーザが被写体とその場面の種類を選択すると、自動的にその状況に適応した印象（感性情報）を特定し（Ｓ４４）、特定された印象（感性情報）に応じて、Ｓ２６〜Ｓ３８のいずれかの処理に移行するようにしてもよい。
【００４９】
図６（Ａ）は、初期化処理（Ｓ１２）のフローチャートである。
図６（Ａ）に示すように、制御部１００は、まずカメラの接続をチェックし（Ｓ１２０）、接続が確認された場合（Ｓ１２２：Ｙｅｓ）、カメラ１０により撮影されている映像を読み込み（Ｓ１２６、接続が確認されない場合（Ｓ１２２：Ｎｏ）、カメラ１０が接続されていない旨を通知する（Ｓ１２４）。
その後、制御部１００は、加速度センサなどのセンサ１１０を接続し（Ｓ１２８）、接続に成功した場合（Ｓ１３０：Ｙｅｓ）、初期化処理を終了し、接続に失敗した場合（Ｓ１３０：Ｎｏ）、その旨を通知し（Ｓ１３２）、再度センサ１１０の接続を行う。
なお、加速度センサはカメラ１０の撮影角度検出のためのセンサ１１０の一例であり、カメラ１０の傾きを検出可能な他のセンサを用いてもよい。
【００５０】
図６（Ｂ）は、印象選択処理（Ｓ４４）のフローチャートである。
図６（Ｂ）に示すように、制御部１００は、ユーザが撮影状況を入力すると（Ｓ４４０）、被写体や場面の状況などと感性情報が対応付けられたテーブルである被写体感性情報変換テーブルと照合が行われ（Ｓ４４２）、場面に対応した印象を返す（Ｓ４４４）。
【００５１】
図７は、感性表示処理（Ｓ２０）のフローチャートである。
図７に示すように、制御部１００は、データ入力部１０４を介して、カメラ１０により撮影されている映像の入力が行われると、まず撮影対象解析部５０４が顔検出を行い（Ｓ２００：Ｙｅｓ）、検出された顔の大きさが閾値FaceSIZE（すなわち、「感情表現」に関連付けて設定された閾値）より大きい場合（Ｓ２０２：Ｙｅｓ）、「感情表現」であると判定し、その旨を文字やアイコンなどイラストによる表示を行う（Ｓ２０４）。
制御部１００は、検出された顔の大きさが閾値FaceSIZEより小さい場合（Ｓ２０２：Ｎｏ）、センサ１１０によってカメラ１０の角度を特定し、特定された角度が閾値THSTRENGTH（「力強さ」に関連付けて設定された閾値）より大きい場合（Ｓ２０６：Ｙｅｓ）、「力強さ」であると判定してその旨表示する（Ｓ２０８）。制御部１００は、特定された角度が閾値THSTRENGTHより小さい場合（Ｓ２０６：Ｎｏ）、特定されたカメラ１０の角度が閾値THWEAKNESS（「ひ弱さ」に関連付けて設定された閾値）より小さいか比較し、小さい場合（Ｓ２１０：Ｙｅｓ）、「ひ弱さ」であると判定して表示を行う（Ｓ２１２）。
【００５２】
制御部１００は、次にズームの有無を判断し（Ｓ２１４）、なければそのまま処理を終了する（Ｓ２１４：Ｎｏ）。ズームがあった場合は（Ｓ２１４：Ｙｅｓ）、制御部１００は、ズームインであるか否かを判断し（Ｓ２１６）、ズームインであった場合は（Ｓ２１６：Ｙｅｓ）、制御部１００は、ズームインの速度が閾値ZITENSION（「緊張感・興奮」に関連付けて設定された閾値）より速い場合（Ｓ２１８：Ｙｅｓ）、「緊張感・興奮」と判定して表示を行う（Ｓ２２０）また、制御部１００は、ズームインの速度が閾値ZIINTIMACY（「共感・親密さ」に関連付けて設定された閾値）より遅ければ（Ｓ２２２：Ｙｅｓ）、「共感・親密さ」であると判定して表示を行う（Ｓ２２４）。
【００５３】
制御部１００は、ズームアウトがあった場合は（Ｓ２１６：Ｎｏ）、ズームアウトの速度が閾値ZOLIBERATION（「解放感」に関連付けて設定された閾値）より速ければ（Ｓ２２６：Ｙｅｓ）、「解放感」であると判定して表示を行い（Ｓ２２８）、ズームアウトの速度がZOLONELINESS（「孤独感」に関連付けて設定された閾値）より遅ければ（Ｓ２３０：Ｙｅｓ）、「孤独感」であると判定して表示を行う（Ｓ２３２）。
【００５４】
図８（Ａ）は、感情表現判定支援処理（Ｓ２６）のフローチャートである。
図８（Ａ）に示すように、制御部１００は、顔検出処理（Ｓ２６０）および顔の大きさ検出（Ｓ２６６）を行い、顔が検出されなかった場合（Ｓ２６２：Ｎｏ）や、検出された顔の大きさが閾値FaceSIZE（「感情表現」に関連付けて設定された閾値）より小さかった場合（Ｓ２６８：Ｎｏ）は、文字やアイコンなどで「顔を映して下さい」のメッセージ（Ｓ２６４）又は「顔をより大きく映して下さい」のメッセージ（Ｓ２７２）を表示する（図１１）。なお、図１３（Ａ）は、顔をより大きく映すことを促すアイコン表示の一例である。
また、制御部１００は、検出された顔の大きさが閾値FaceSIZEより大きい場合（Ｓ２６８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ２７０）。
【００５５】
図８（Ｂ）は、力強さ判定支援処理（Ｓ２８）のフローチャートである。
図８（Ｂ）に示すように、制御部１００は、顔検出（Ｓ２８０）およびカメラの傾きを検出し（Ｓ２８６）、顔が検出されなかった場合（Ｓ２８２：Ｎｏ）や、カメラ１０の角度が閾値THSTRENGTH（「力強さ」に関連付けて設定された閾値）より小さい場合（Ｓ２８８：Ｎｏ）は、「顔を映してください」のメッセージ（Ｓ２８４）又は「もっと下から映して下さい」のメッセージ（Ｓ２９２）を表示する。また、制御部１００は、検出されたカメラの角度が閾値THSTRENGTHより大きい場合（Ｓ２８８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ２９０）。
【００５６】
図８（Ｃ）は、ひ弱さ判定支援処理（Ｓ３０）のフローチャートである。
図８（Ｃ）に示すように、制御部１００は、顔検出（Ｓ３００）およびカメラの傾きを検出し（Ｓ３０６）、顔が検出されなかった場合（Ｓ３０２：Ｎｏ）や、カメラ１０の角度が閾値THWEAKNESS（「ひ弱さ」に関連付けて設定された閾値）より大きい場合（Ｓ３０８：Ｎｏ）は、「顔を映してください」のメッセージ（Ｓ３０４）又は「もっと上から映してください」のメッセージ（Ｓ３１２）を表示する。なお、図１３（Ｂ）は、カメラ１０の角度を下げることを促すアイコン表示の一例である。
また、制御部１００は、検出されたカメラの角度が閾値THWEAKNESSより小さい場合（Ｓ３０８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ３１０）。
【００５７】
図９（Ａ）は、緊張感・興奮判定支援処理（Ｓ３２）のフローチャートである。
図９（Ａ）に示すように、制御部１００は、顔検出（Ｓ３２０）およびズームインの有無を検出する（Ｓ３２４）。顔が検出され（Ｓ３２２：Ｙｅｓ）、同時にズームインがある場合（Ｓ３２８：Ｙｅｓ）、制御部１００は、ズームインの速さが閾値ZITENSION（「緊張感・興奮」に関連付けて設定された閾値）より速ければ（Ｓ３３０：Ｙｅｓ）、適切な撮影方法であると判定して表示する（Ｓ３３４）。また、制御部１００は、ズームアウトが検出された場合（Ｓ３２８：Ｎｏ）、速いズームインを促すメッセージを表示し（Ｓ３３２）、ズームインが閾値ZITENSIONより遅い場合（Ｓ３３０：Ｎｏ）、ズームインの速度を上げるよう促すメッセージを表示する（Ｓ３３６）。なお、図１３（Ｃ）は、ズームインを促すアイコン表示の一例である。
【００５８】
図９（Ｂ）は、共感・親密さ判定支援処理（Ｓ３４）のフローチャートである。
図９（Ｂ）に示すように、制御部１００は、顔検出（Ｓ３４０）のうえ、逆にズームインが閾値ZIINTIMACY（「共感・親密さ」に関連付けて設定された閾値）より遅ければ（Ｓ３５０：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３５４）。また、制御部１００は、ズームインが検出されなかった場合（Ｓ３４８：Ｎｏ）、遅いズームインを促すメッセージを表示し（Ｓ３５２）、ズームインが閾値ZIINTIMACYより速い場合（Ｓ３５０：Ｎｏ）、ズームインの速度を落とすよう促すメッセージを表示する（Ｓ３５６）。
【００５９】
図１０（Ａ）は、解放感判定支援処理（Ｓ３８）のフローチャートである。
図１０（Ａ）に示すように、制御部１００は、顔検出のうえ（Ｓ３８０）、ズームアウトの速さが閾値ZOLIBERATION（「解放感」に関連付けて設定された閾値）より速ければ（Ｓ３８８：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３９２）。また、制御部１００は、ズームアウトが検出されなかった場合（Ｓ３８６：Ｎｏ）、速いズームアウトを促すメッセージを表示し（Ｓ３９０）、ズームアウトが閾値ZOLIBERATIONより遅い場合（Ｓ３８８：Ｎｏ）、ズームアウトの速度を上げるよう促すメッセージを表示する（Ｓ３９４）。
【００６０】
図１０（Ｂ）は、孤独感判定支援処理（Ｓ３６）のフローチャートである。
図１０（Ｂ）に示すように、制御部１００は、顔検出のうえ（Ｓ３６０）、ズームアウトの速さが閾値ZOLONELINESS（「孤独感」に関連付けて設定された閾値）より遅ければ（Ｓ３６８：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３７２）。また、制御部１００は、ズームアウトが検出されなかった場合（Ｓ３６６：Ｎｏ）、遅いズームアウトを促すメッセージを表示し（Ｓ３７０）、ズームアウトが閾値ZOLONELINESSより速い場合（Ｓ３６６：Ｎｏ）、ズームアウトの速度を落とすよう促すメッセージを表示する（Ｓ３７４）。
【００６１】
［実験例］
次に、上記実施形態の実験例を説明する。
撮影支援システムの評価のため、一般ユーザ１０名に７つの感性語に基づいて撮影を行う２種類の実験を指示した。１つは、撮影支援システムを使用せずに被験者が考えた通り自由に撮影を行うものであり、もう一つは、撮影支援システムを使用してナビゲーションに従って撮影を行うものである。
【００６２】
感性情報表現支援を行うシステム（撮影支援システム）を実装し、下記の実験に用いた。用いた器具は、ビデオカメラＨＸＲ−ＭＣ２０００Ｊ、タッチパネル付き液晶ディスプレイＨＭ−ＴＬ７Ｔ、加速度センサＴＤＳ０１Ｖ、及び自作のズーム操作検出ユニットである。カメラの映像出力並びに液晶ディスプレイは、ノートＰＣ（ＣＰＵ：Ｉｎｔｅｌ Ｃｏｒｅ ２Ｄｕｏ ２．４０ＧＨｚ）に接続しており、動画像処理の速度や応答性を保つため、処理はこのＰＣで行った。ソフトウェアは、ＶｉｓｕａｌＣ＋＋とＯｐｅｎ ＣＶを用いて実装している。
【００６３】
以下は、感性語である「感情表現」の撮影の実験結果について説明である。なお、クロースアップショットの定義は、顔のショットではなく、頭部のショットである。
そのため、実験者（本願発明者）は、フレームサイズに対しての被験者の頭部のサイズを手動で測定した。被験者は、「感情表現」を表現するため、被写体の感情を強調することができるにクロースアップショットを使用する必要がある。撮影支援システムを使用する際、システムは顔を映すように指示を行い、自動的に顔の高さを測定し正しい大きさになるよう指導を行った。
【００６４】
図１４は、「感情表現」タスクにおいて被験者がどのように撮影したか表している。
縦軸は、フレームサイズに対する頭部のサイズ比率を示し、横軸は、被験者を示す。実線は、システム未使用時を示し、点線は、システム使用時を示している。縦に伸びる線は、実線及び点線共に、被験者が撮影中にズームを使用したことを表している。短い横線は、ズームを使用しなかったことを示している。図１４の結果より、顔の最大サイズは、システム使用時の方がシステム未使用時よりも大きくなる傾向にあることが判明した。また、システムが大きく撮影するように指示を与えたために撮影中にズームを行う傾向があった。
【００６５】
以下は、感性語の「力強さ」、及び「弱さ」の撮影の実験結果についての説明である。
図１５、及び図１６の実線は、撮影支援システム使用時のカメラの平均角度、点線は、撮影支援システム未使用時のカメラの平均角度を示している。図１５、及び図１６において白い棒グラフは、撮影支援システム使用時のピッチ角度が撮影支援システム未使用時より高いことを示す。黒い棒グラフは、撮影支援システム使用時のピッチ角度が撮影支援システム未使用時よりも低いことを示す。
【００６６】
図１５は、カメラ撮影による「力強さ」の表現におけるカメラ角度の違いを表したグラフである。
力強さを表現するためには、被験者は、カメラを上に向けたまま被写体の顔を撮影する必要がある。カメラが大きく、重いことから、被験者の数人は、カメラを大きく傾けること自体が困難であり、十分に傾けることができなかった被験者も存在した。
図１５より、カメラの角度は、撮影支援システム未使用時より撮影支援システム使用時の方が大きい傾向にあることが判明した。
【００６７】
図１６は、カメラ撮影による「弱さ」の表現におけるカメラ角度の違いを表したグラフである。
「弱さ」を表現するためには、ハイアングルショットを使用する必要があり、被験者は、カメラを下に向けて被写体の顔を撮影する必要がある。図１６より、ピッチ角度は、撮影支援システム未使用時よりも撮影支援システム使用時の方が小さい傾向にあることが判明した。
【００６８】
以下は、感性語の「緊張感・興奮」、「共感・親密さ」、「孤独感」、及び「解放感」の撮影の実験結果についての説明である。
「緊張感・興奮」、「共感・親密さ」、「孤独感」、及び「解放感」は、ズームを使用することにより表現することが出来る。図１７、図１９、図２１、及び図２３は、各感性語を表現するタスクにおいて被験者がどのように撮影したかを表している。実線は、撮影支援システム使用時にどの程度ズームを使用したかを表しており、点線は、撮影支援システム未使用時を表している。各グラフの縦軸は、ショット自体の長さに対し、どの程度該当のズームを使用したかを表している。図１８、図２０、図２２及び図２４は、各感性語の表現の撮影において１０名の被験者がショットを撮影中にどの程度の時間の割合でどのような操作を行ったかを積算して表したものである。
【００６９】
図１７は、カメラ撮影による「緊張感・興奮」の表現における速いズームイン比率を表したグラフである。
図１８は、カメラ撮影による「緊張感・興奮」の表現において撮影中の動作の割合を表したグラフである。
図１７より、全ての被験者において、撮影支援システム未使用時よりも撮影支援システム使用時に、速いズームの比率は増加したが、該当の操作が行われる秒数そのものが少ないために、撮影支援システム使用時と撮影支援システム未使用時の速いズームの比率の差は、比較的小さかった。また、図１８より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の速いズームインの割合が増していることが分かった。図１７及び図１８から「緊張感・興奮」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７０】
図１９は、カメラ撮影による「共感・親密さ」の表現における遅いズームイン比率を表したグラフである。
図２０は、カメラ撮影による「共感・親密さ」の表現において撮影中の動作の割合を表したグラフである。
図１９より、殆どの被験者において、システム未使用時よりもシステム使用時の方が、遅いズームの比率は、増加した。また、図２０より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の遅いズームインの割合が増していることが分かった。図１９及び図２０から「共感・親密さ」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７１】
図２１は、カメラ撮影による「孤独感」の表現における遅いズームアウト比率を表したグラフである。
図２２は、カメラ撮影による「孤独感」の表現において撮影中の動作の割合を表したグラフである。
図２１より殆どの被験者において、撮影支援システム未使用時よりも撮影支援システム使用時の方が、遅いズームアウトの比率は増加した。また、図２２より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の遅いズームアウトの割合が増していることが分かった。図２１及び図２２から「孤独感」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７２】
図２３は、カメラ撮影による「解放感」の表現における速いズームアウト比率を表したグラフである。
図２４は、カメラ撮影による「解放感」の表現において撮影中の動作の割合を表したグラフである。
図２３より、殆どの被験者において、撮影支援システム未使用時よりも撮影支援システム使用時の方が、速いズームアウトの比率は増加した。また、図２４より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の速いズームアウトの割合が増していることが分かった。図２３及び図２４から「解放感」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７３】
図２５は、各被験者の実験に掛かった時間を表した表である。
図２５より、１０名の撮影実験を行うためには計６時間４０分３５秒かかっている。各被験者の所要時間（撮影時間）には、制限を設けなかったため、被験者それぞれで撮影時間が異なっている。撮影支援システムの使用により、撮影時間が短縮している傾向にある。
【００７４】
評価実験や、被験者の質問紙回答により、撮影支援システムは、撮影方法考案時間の減少と、撮影支援による学習効果とが得られることが分かった。被験者からは、システム未使用時には、実際に撮影するまでにどのように撮影するのかイメージすることに時間がかかったが、撮影支援システムによりイメージする時間を省くことが可能になり、撮影方法が理解できた等の意見が存在した。
【００７５】
［その他の変形例］
上記実施形態では、ユーザがカメラ１０の全操作を行う場合を説明したが、これに限定されるものではなく、撮影支援装置１１が一部の操作を代替して行う形態、又は、撮影支援装置１１が全てのカメラ操作を行う形態も考えられる。
ユーザが装置の全操作を行う場合、ユーザが装置を手で保持する、あるいは三脚に載せてカメラ操作を行い、カメラ１０内蔵の撮影支援装置又は外付けの撮影支援装置１１が撮影方法を前述の方法により提示し、ユーザを支援することができる。
また、撮影支援装置１１が一部の操作を代替して行う場合、ユーザが全操作を行うのではなく、撮影支援装置１１が一部の操作を代替することもできる。例えば、「感情表現」を選択した際に、ユーザが選択した撮影対象の顔がフレーム内で適切な大きさになるように自動的にズームを行う場合や、「緊張感・興奮」を選択した際に、場合によって適切なズームスピードを自動制御することが考えられる。
また、撮影支援装置１１が全ての操作を行う場合、三脚の上に固定されたカメラなど同期させることによって、ユーザは感情、力強さなどパラメタを入力するだけで装置は自動的に被写体の撮影を行う。
また、上記実施形態では、撮影方法を促す情報を画面表示で出力する形態を具体例として説明したが、これに限定されるものではなく、例えば、音声によって、感性情報に対応する撮影方法を促すメッセージを提示してもよい。
【符号の説明】
【００７６】
１ 撮影支援システム
１０ カメラ
１１ 撮影支援装置
【技術分野】
【０００１】
本発明は、撮影支援システムに関する。
【背景技術】
【０００２】
映像機器の普及にともない、映像制作は一般家庭にも浸透するようになった。しかしながら、結婚式や子供の成長記録などの用途でユーザにより撮影された映像が、映像の揺れが大きく見るに耐えないものであったり、被写体の捉え方、たとえばショットサイズ（被写体をどのくらいの大きさで撮影するか）などが不適切であるために見る側の興味を引かない映像の連続である場合などは編集されずに二度と見られることがないといったことも頻繁に見られる。優れた場面を撮影していたとしても、適切なショットサイズで撮影することなく、あるいはパンやズームなどのカメラ操作によるユーザの演出意図なしに単に広角で撮影していたのでは映像によって表現したいノンバーバル情報を効果的に表現することはできない。撮影する場面の雰囲気、感性情報、あるいはノンバーバル情報を効果的に表現するためには撮影の際に適切なカメラアングルやカメラワークを選択する必要がある。専門的な知識や経験のないユーザにとっては、これらは必ずしも容易ではなく、制作者（ユーザ）と視聴者の間の親和性の高い映像によるコミュニケーションを阻む要因になっていると考えられる。
【０００３】
映像撮影の支援に関する研究は、大きく分けて撮影の仕方を指示するなどの監督法の支援とシーンやショットなどの撮影方法を提示するなど映画撮影法の支援の2つに分かれる。
監督法の支援としては、Active captureにおけるビデオカメラによる演技の指導を行う試みがある（非特許文献１）。非特許文献２では、ホームビデオを撮影する際、撮影意図の概念が提案され、撮影をしている人の意図の重要性が強調されている。非特許文献３では、撮影時にどこで誰（何）を撮影するのかなどアノテーションを入力することによってショットの撮影方法の提案を行い、 撮影プロセスと編集プロセスを統合しようと試みられた。非特許文献４では「常識」を利用して鑑賞者に分かりやすいストーリー制作を支援するシステムが提案された。
【０００４】
映画撮影法の支援では、手ぶれや光学的ノイズの除去（非特許文献５）や、ビデオ撮影のナビゲーションシステム（非特許文献６）などがある。非特許文献６では、撮影中の映像を解析することによって不適切なカメラの動きを検出する手法が開示されている。
【０００５】
本発明もこの映画撮影法支援に分類されうるが、非特許文献６で述べられているような視聴に堪える映像としての基本的な要求である不必要な映像の揺れ等を抑えるような「技術的支援」ではなく制作者が表現したい場面の雰囲気などの感性情報を適切に視聴者へ伝えるために考慮すべき撮影法に関する支援である「感性的支援」を目的とした映像撮影プロセスの支援技術である。
感性的支援に分類される研究例としては、非特許文献７による映像文法を利用した自動編集システムが挙げられる。このシステムでは、ユーザが選択した、目標とする感性情報を適切に表現しうる映像区間を映像中の動きや編集ルールなどをもとに決定することによって、複数の映像ソースを自動的に編集し、編集された映像を生成する。
【０００６】
また、従来より知られている技術には、過度な揺れや明るさの変化などを抑えて安定した映像を撮影するシステム（特許文献１）や、例えば笑いを誘う映像を提示することにより被写体の自然な表情を引きだすことを補助するもの（特許文献２）等がある。前者は、撮影経験の少ないユーザが映像を撮影する際に起こりやすい激しい手振れや速すぎるパン、チルトなどを検出し、ユーザに警告することでユーザがぶれなどを抑制した安定した映像が撮影できるように支援を行う。
後者は、被写体の自然な表情やポーズなどを引き出し、カメラで捉えることは難しいことから、被写体側に向いて設置された映像提示装置により、たとえば笑いを誘うような映像刺激を被写体に提示し、被写体の自然な表情やポーズ、動作などを表出させるための支援を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３２５０６５号公報
【特許文献２】特開２０１０−１２８００９号公報
【非特許文献１】M. Davis, "Active capture: integrating human-computer interaction and computer vision/audition to automate media capture," Proceedings of the 2003 International Conference on Multimedia and Expo, vol. 1, pp. 185-188, 2003.
【非特許文献２】T. Mei, X. S. Hua, H. Q. Zhou, and S. Li, "Modeling and mining of users' capture intention for home videos," IEEE transactions on multimedia, vol. 9, pp. 66-77, 2007.
【非特許文献３】B. Adams and S. Venkatesh, "Situated event bootstrapping and capture guidance for automated home movie authoring," Proceedings of the 13th annual ACM international conference on Multimedia, pp. 754-763, 2005.
【非特許文献４】B. Barry and G. Davenport, "Documenting life: Videography and common sense," International Conference on Multimedia and Expo, vol. 2, pp. 197-200, 2003.
【非特許文献５】W. Q. Yan and M. S. Kankanhalli, "Detection and removal of lighting & shaking artifacts in home videos," Proceedings of the tenth ACM international conference on Multimedia, pp.107-116, 2002.
【非特許文献６】M. Kumano, K. Uehara, and Y. Ariki, "Online Training-Oriented Video Shooting Navigation System Based on Real-Time Camerawork Evaluation," IEEE International Conference on Multimedia and Expo, pp. 1281-1284, 2006.
【非特許文献７】A. Yoshitaka and Y. Deguchi, "Rendition-Based Video Editing for Public Contents Authoring," IEEE International Conference on Image Processing, pp. 1825-1828, 2009.
【非特許文献８】B. Mamer, Film production technique: creating the accomplished image, 2nd edition ed. : Wadsworth Pub Co, 2000
【非特許文献９】ダニエル・アリホン, 岩本憲児ほか訳：映画の文法―実作品にみる撮影と編集の技法, 紀伊國屋書店, 1980
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、より適切な表現技法による撮影となるよう支援する撮影支援装置を提供する。
【課題を解決するための手段】
【０００９】
本発明の撮影支援システムは、静止画像又は動画像を撮影するカメラと、前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、前記入力手段により受け付けた感性情報に応じて、それを表現するに適切な前記カメラによる撮影方法を出力する出力手段とを有する。
【００１０】
好適には、前記感性情報は、感情表現、力強さ、ひ弱さ、緊張感、興奮、共感、親密さ、解放感、及び、孤独感あるいはそれに同等な感性表現のうち、少なくとも１つを示す情報を含み、前記出力手段は、前記入力手段により受け付けた感性情報と、前記カメラによる撮影の撮影状況を判断するために有用な情報とに基づいて、前記カメラの撮影位置、前記カメラの姿勢、前記カメラの移動、及び、前記カメラによるズームイン又はズームアウトの少なくとも１つに関する指示情報を画面に表示させる、または、音声により前記指示情報を提示する。
【００１１】
好適には、前記カメラの姿勢を検知する姿勢検知手段をさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記姿勢検知手段により検知されたカメラの姿勢と、前記カメラにより撮影されている画像とに基づいて、少なくとも、前記カメラの姿勢に関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する。
好適には、前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段をさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置に関する指示情報、あるいは、ズームイン又はズームアウトに関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する。
【００１２】
好適には、前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段と、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる撮影状況変化手段とをさらに有し、前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置、姿勢、ズームイン又はズームアウトに関する指示情報を、前記撮影状況変更手段に出力し、前記撮影状況変更手段は、前記出力手段により出力された指示情報に応じて、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる。
【００１３】
また、本発明の撮影支援装置は、カメラによる静止画像又は動画像の撮影を支援する撮影支援装置であって、前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、前記入力手段により受け付けた感性情報に応じて、前記カメラによる撮影方法を出力する出力手段とを有する。
【００１４】
また、本発明の撮影支援方法は、カメラによる静止画像又は動画像の撮影を支援する撮影支援方法であって、前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップとを有する。
【００１５】
また、本発明のプログラムは、カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップとを実行させる。
【００１６】
また、本発明のプログラムは、カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、前記カメラにより撮影される画像に関して、被写体の種類あるいは撮影しようとしている場面の種類を入力として受け入れ，それをその被写体あるいは撮影しようとしている場面の特徴を表現するに適切な感性情報へと変換し，その感性情報に応じて、前記カメラによる撮影方法を出力する，あるいはカメラ自体を自動制御するステップを実行させる。
【発明の効果】
【００１７】
本発明によれば、より適切な表現技法による撮影となるよう支援できる。
【図面の簡単な説明】
【００１８】
【図１】ユーザと撮影支援システム１のインタラクションモデルを表した図である。
【図２】各撮影技法と、これらの技法を用いた場合の印象（感性情報）と関係を説明するための表である。
【図３】撮影支援システムのハードウェア構成を例示する図である。
【図４】撮影支援システムを実現するための撮影支援プログラム及びデータを例示する図である。
【図５】（Ａ）は、撮影支援システム１の全体動作を説明するフローチャート（Ｓ１）であり、（Ｂ）は、変形例の全体動作を説明するフローチャート（Ｓ２）である。
【図６】（Ａ）は、初期化処理（Ｓ１２）のフローチャートであり、（Ｂ）は、印象選択処理（Ｓ４４）のフローチャートである。
【図７】感性表示処理（Ｓ２０）のフローチャートである。
【図８】（Ａ）は、感情表現判定支援処理（Ｓ２６）のフローチャートであり、（Ｂ）は、力強さ判定支援処理（Ｓ２８）のフローチャートであり、（Ｃ）は、ひ弱さ判定支援処理（Ｓ３０）のフローチャートである。
【図９】（Ａ）は、緊張感・興奮判定支援処理（Ｓ３２）のフローチャートであり、（Ｂ）は、共感・親密さ判定支援処理（Ｓ３４）のフローチャートである。
【図１０】（Ａ）は、解放感判定支援処理（Ｓ３８）のフローチャートであり、（Ｂ）は、孤独感判定支援処理（Ｓ３６）のフローチャートである。
【図１１】顔をより大きく映すことを促す画面表示の一例である。
【図１２】感性情報の選択画面を例示する図である。
【図１３】（Ａ）は、顔をより大きく映すことを促すアイコン表示の一例であり、（Ｂ）は、カメラ１０の角度を下げることを促すアイコン表示の一例であり、（Ｃ）は、ズームインを促すアイコン表示の一例である。
【図１４】カメラ撮影による「感情表現」の表現における顔のサイズの比率を表したグラフである。
【図１５】カメラ撮影による「力強さ」の表現におけるカメラ角度の違いを表したグラフである。
【図１６】カメラ撮影による「弱さ」の表現におけるカメラ角度の違いを表したグラフである。
【図１７】カメラ撮影による「緊張感・興奮」の表現における速いズームイン比率を表したグラフである。
【図１８】カメラ撮影による「緊張感・興奮」の表現において撮影中の動作の割合を表したグラフである。
【図１９】カメラ撮影による「共感・親密さ」の表現における遅いズームイン比率を表したグラフである。
【図２０】カメラ撮影による「共感・親密さ」の表現において撮影中の動作の割合を表したグラフである。
【図２１】カメラ撮影による「孤独感」の表現における遅いズームアウト比率を表したグラフである。
【図２２】カメラ撮影による「孤独感」の表現において撮影中の動作の割合を表したグラフである。
【図２３】カメラ撮影による「解放感」の表現における速いズームアウト比率を表したグラフである。
【図２４】カメラ撮影による「解放感」の表現において撮影中の動作の割合を表したグラフである。
【図２５】各被験者の実験に掛かった時間を表した表である。
【発明を実施するための形態】
【実施例１】
【００１９】
図１は、本発明に係る実施形態の概要を説明する図である。
撮影支援システム１は各ショットを撮影する際に図１のような手順で支援を行う。
（１）ユーザは自分がどのような雰囲気・印象で撮影したいのか、あるいは撮影しようとする被写体の種類や被写体の置かれた状況を入力する（図１の「感性情報入力」の部分）。
（２）システム１はユーザによって入力された印象などの情報（感性情報）をもとにどのような撮影方法が適切か判断する。あるいは、入力された被写体の種類や被写体の置かれた状況に関する情報から映像として表現すべき雰囲気、印象を対応付け、どのような撮影方法が適切かを判断する（図１の「撮影方法の選択」部分）。
（３）システム１は、得られる動画像情報から映像の特徴を分析する（図１の「映像分析」部分）。同時にカメラ１０の上下方向の傾き角度を検出する（図１の「加速度センサ」部分）。
（４）システム１は、映像の分析結果ならびにユーザにより入力された印象、あるいは入力された被写体の種類や被写体の置かれた状況からどのように撮影すればよいかをユーザに教示し、あるいは直接カメラを制御する（図１の「撮影方法の提示」部分）。例えばユーザが「（被写体の）感情表現」と入力した場合で、かつ、現在撮影されている顔の大きさが小さすぎる場合は、顔部分を大きく撮影するように促す。「ひ弱さ」と入力していれば、被写体を上から撮影する必要があるので、カメラ１０を斜め下に向けることを促す。「緊張感・興奮」と入力していれば、早いズームインを行う必要があるので、早いズームイン操作を行うように促す。
（５）ユーザは指示に従ってカメラ１０を操作し撮影を行う（図１の「映像撮影」部分）。
（６）もし、システム１からの指示を反映しても適切な映像表現になっていない場合は、システム１は再度適切な撮影を行うために必要な操作指示を提示し、上記（３）〜（５）を繰り返す。
【００２０】
ユーザは自分がどのような印象で撮影したいのかが分からない場合もあるので、その場合は被写体の種類や被写体の置かれた状況を入力することも可能である。例えば、運動会で徒競走などと入力するとシステム１が自動的に徒競争に対応付け得る印象表現を選択してユーザに提案する。
撮影目標を満たす程度に物理的なカメラ操作をユーザあるいはシステム１が実行できない場合などは、高精細撮影した映像より、映像の切り出し、拡大、縮小処理等を行うことで仮想的なカメラ操作を実現し、目標とする撮影映像を得る。
【００２１】
本発明の別の実施形態として、文字やイラストなどで撮影に関する指示を与えるだけでなく、一部カメラ操作の計算機制御により半自動で撮影操作を実行する形態のインタラクションや、テレビ局のスタジオなどで使用されるパン、チルト、トラック、ズーム等をカメラ外部より制御可能なカメラ１０を用いて印象選択時にユーザの操作なしで自動的に撮影時のカメラ操作を実行させるような実装形態もある。
【００２２】
上記特許文献１はユーザの撮影する映像全体を解析し、手振れなど映像として最低限視聴に耐える基本的画質を保証することを目的とした技術的な訓練の支援にとどまり、実撮影時の被写体や被写体周辺の環境を考慮しつつ、カメラを向ける角度やショットサイズ、カメラ操作により表現し得る場面の雰囲気などの感性情報表現の支援を目的としたものではない。 特許文献２は、画像による刺激を被写体である人物に与えることよって被写体の自然な表情を引きだすための技術であり、ユーザに対して撮影法に関する支援を行うものではない。
【００２３】
ユーザが表現したい場面の雰囲気などの感性情報を映像により表現することを目的として撮影するためには、ユーザの状態や被写体の写っている状況など撮影環境に対応した支援を行う必要がある。例えば、映像表現法に関する専門的知識や技術を持たない初心者には被写体の「力強さ」「緊張感」などの印象あるいは雰囲気を撮影法の工夫により演出・表現することは難しい。また、仮に撮影を行う際に撮影法に関する技術書等を読んだとしても、実際の撮影状況が技術書の記述に対応しているとは限らず、撮影時の実際の状況に即した判断を即座に行うことは困難である。
【００２４】
従来の映像撮影支援技術は露出の自動調整やオートフォーカスなどの光学系の自動調整や三分割線、水平線といった基準線の提示にとどまり、ユーザに明示的に撮影方法を教示するものではない。本実施形態では、映像により表現したい雰囲気や印象などの感性情報と熟練者の映像撮影手法との関係、ならびに被写体や被写体撮影時の状況にふさわしい雰囲気や印象などと感性情報との対応づけ、感性情報と映像撮影手法との関係を知識化し、その知識に基づいて被写体やユーザの撮影状態に応じて適切な撮影方法を教示する。
このような撮影モデルに基づく映像制作では、ユーザが表現したい雰囲気や印象に関係する感性情報、あるいは被写体の種類や撮影時の状況を入力すると、システム１が上記知識を参照すると共に映像の分析ならびにセンサ情報からのカメラの状態認識により適切なカメラアングルやカメラワーク、ショットサイズを決定し、撮影状況がそれとは異なる場合に修正すべき方策を視覚的に例示し、あるいはカメラそのものをシステムが制御することにより、目標とする雰囲気や印象を表現するのに適切な撮影を実現するための支援を行う。
【００２５】
表現したい雰囲気や印象、すなわち感性情報に則した適切な撮影、編集を行えば、映像メディアはより効果的にノンバーバル情報をも伝達することができるようになる。しかし、撮影段階で生じたミスの影響を編集の段階である程度隠蔽することはできても、根本的に改善することは出来ない。本実施形態では、映像を制作する際に映像監督やカメラマンなどに広く一般的に採用されている規範である、映画プロダクションにおける撮影技法、映画の文法などの映像表現技法を知識化し、被写体の種類や撮影状況とそれを表現するにふさわしい雰囲気や印象などの感性情報とを対応付け、さらには映像表現目標とする感性情報と適切なカメラアングル、カメラワークを対応付け、撮影支援を実現するものである。
【００２６】
初期の映像撮影モデルでは、ズームなどの機能を用いて、ユーザが撮影システムを一方的に操作するのみであった。現在は光学・ディジタル処理による色彩、焦点や露出の自動調整などの技術的支援に加え、水平線や三分割構図線などの基準線によりカメラ位置の決定に有用な指針を提示する機能を備えた装置が既に実用化している。しかしながら、ショットサイズやカメラアングル、カメラワークなどをどのようにして撮影すべきかについて具体的な被写体や被写体周辺環境、ユーザの状況を反映して適切な撮影法を支援する技術についてはこれまでに存在していない。本実施形態で述べる撮影支援モデルに基づく撮影支援技術では、ユーザの主体的な撮影をシステム１が支える形でユーザを密に支援し、表現意図に適切に沿うショット撮影を目指す。
【００２７】
次に、本実施形態における撮影支援方法の有効性を裏付ける実験結果を説明する。
感性情報に訴える撮影、編集上の視覚効果を適切に施した場合、映像メディアはより効果的に情報を伝達することができるようになる。しかし、適切に感性情報を表現するような撮影ができなかった場合、撮影の段階で生じたミスをある程度隠すことはできても、その失敗を根本的に改善することは出来ない。そこで、一般ユーザが事前知識なしに映像を用いてどの程度感性情報を表現できるのか実験を行い、その映像の評価を行った。一般ユーザがどのように撮影を行うのか調査するため、「感情」「力強さ」「ひ弱さ」「緊張感・興奮」「共感・親密さ」「孤独感」「解放感」の７種類の感性語を指示し、撮影対象が椅子に座っている状況で、被験者にビデオカメラを用いてそれぞれの感性語に対応する雰囲気を表現・強調するように撮影させる実験を行った。 被験者は、２０代前半の大学院生１０名で、全くビデオ撮影の経験がない者が５名、１〜２本のビデオ作品を撮影したことのある者が２名、５本以上が１名、１０本以上が２名であった。内訳は主にホームビデオ、他には研究のデモ映像や学園祭の露店のＣＭなどである。実験の際には、被験者に録画、ズームイン、ズームアウトの操作方法のみを教示し、他の機能は使用しないよう指示した。次に７つの感性語を与え、座っている被写体の撮影時のカメラアングルやカメラワークを用いてそれぞれを表現するよう指示した。
【００２８】
「感情」「力強さ」「ひ弱さ」に関してはカメラアングルのみを用いて、「緊張感・興奮」「共感・親密さ」「孤独感」「解放感」に関してはカメラワーク（移動、ズームイン、ズームアウトのみ）を用いて表現するよう指示を与え、それ以外の指示や教示をせずにそれぞれの感性語に応じた適切な撮影（例えば「力強さ」であれば、ローアングルショット）が行えるかどうかについて調査した。
【００２９】
実験の結果、明らかになったことは大きく分けて２つある。１つは、撮影経験があれば自分の撮影したものが適切に撮影できているかどうかは判断できる一方で、必ずしも撮影経験のある被験者が適切に撮影を行える訳ではないこと、もう１つはユーザ自身がうまく撮影できたと思っていても実際は必ずしも適切な撮影方法で撮影できている訳ではないことである。撮影経験を闇雲に増やしても、表現意図に沿った撮影ができるようにはならない。したがって、十分な撮影知識や経験を持たないユーザが適切な撮影を効率的に行うためには、システムが撮影中に撮影方法を適宜支援する必要がある。
【００３０】
ユーザの表現意図に沿った映像を撮影するためには、従来の方法では、まず撮影技法に関する知識をある程度学んで適切な撮影方法を知り、更に撮影時の状況や自分の状態に応じて柔軟な判断を行うための学習活動が必要である。本実施形態の撮影支援システム１を使用する場合、撮影システム１が被写体の種類や被写体の周辺状況ならびにユーザの状態を随時認識した上で適切にユーザに指示する、あるいはカメラ１０を制御することにより、撮影に関する学習プロセスを実撮影プロセスの中に取り込むことができ、適切なカメラアングル、ショットサイズ、カメラワークで被写体を撮影しつつ、適切な撮影を行う経験を効果的に積み重ねることを可能にする。また、撮影時の状態を反映して適切な時期に支援を受け、映像による感性情報表現に関する知識や技術がなくても目的とする映像表現に則した撮影が可能となり、撮影に関する専門知識を得る機会の乏しい一般ユーザの映像メディアリテラシ向上にも貢献すると考える。従来の撮影方法は、ユーザが自らの判断に基づいて撮影を行い、ビデオカメラはユーザの指示通りに撮影パラメタを設定する、あるいは自動的に色調や光学系パラメタを調整するのみであった。本実施形態の撮影支援システム１で実現できる撮影モデルにおいては、撮影支援システム１は被写体の種類や状況あるいはユーザの映像表現意図（どのような雰囲気や印象といった感性情報を表現したいのか）、ならびにユーザの状態を考慮した撮影手法の提案あるいはシステム制御による撮影を行う。それにより、ユーザは撮影を通して撮影方法とその方法が表現する雰囲気や印象との関係についての撮影技術を十分に知らずとも適切な撮影ができ、かつ、感性情報に基づいた映像表現技術を身につけることができる。従来の撮影モデルはユーザの知識や経験のみに基づいた映像撮影であり、ビデオカメラはあくまでそれを受動的な装置という位置づけにあったが、本実施形態の撮影モデルは、人と撮影支援システム１が協調して1つの映像を適切に作り上げる方式を実現するものである。
【００３１】
図２は、各撮影技法と、これらの技法を用いた場合の印象（感性情報）と関係を説明するための表である。
映像を撮影する際には、画面の中に被写体がどの位の大きさで写っているか（映像フレームに占める大きさ。ショットサイズという。）、被写体がどのような角度で映っているか（水平、上向き、下向きならびにその角度。カメラアングルという。）、カメラをどのように操作するか（パン、チルト、ズームなど。カメラワークという。）を適切に決定する必要がある。例えば被写体の感情描写を強調させたければクロースアップ撮影が効果的であるし、「力強さ」を印象付ける映像を撮影したいのであれば被写体を下から上に仰ぐように撮影することによってそのような印象あるいは雰囲気を視聴者に与えるような映像を効果的に表現することができる。図２（Ａ）及び（Ｂ）は、ショットサイズ、カメラアングルについてまとめたものである。
【００３２】
ロングショットで撮影すると、被写体（基本的に人物を想定）は小さく写ることになるので、その結果、画像のどこが、ユーザが視聴者に注目してもらいたい重要な部分なのか不明瞭になる。ミディアムショットは、被写体の腰から上が含まれるように写したショットで、人と人とが会話をするときの距離を想起させるため、特別な印象を与えることはない。一方、被写体の肩より上部を主に写すクロースアップで撮影する場合は、人物の顔により接している印象を与えるため、被写体の感情描写を印象付ける映像となる。ローアングルショット（下の位置から上向きに撮影）、ハイアングルショット（上の位置から下向きに撮影）、アイレベルショット（被写体の目の位置から水平方向に撮影）はそれぞれ、日本ではアオリ、俯瞰、目高と呼ばれている。これらのショットを適切に使い分けることで、背の高い人物が背の低い人物を見下したり、あるいはその逆の印象を与えることができる（図２（Ｂ））。アオリを使用することで、画面内の被写体の力強さや威圧感を、俯瞰を使用することでひ弱さや脅されている雰囲気を、また、斜めのショットを使用すれば被写体の狂気や世界の歪みなどを表現することができる。
【００３３】
カメラの配置方法以外にも、図２（Ｃ）に例示するように、急激なズームインやズームアウトなどカメラワークによっても緊張感や解放感などを表すことができる。
ドリーとは移動式の撮影機材を載せる台車のことで、ドリーイン／アウトとはこの台車を被写体に向けて、あるいは被写体から離れていくように移動させながら撮影する技法を指す。ズームを使用した撮影とは背景の変化が異なるため全く同じ効果は得られないが、ズームをドリーと同じ視覚効果をもたらすように用いることが可能な場合もある。これらのカメラワークを用いることで、緊張感や解放感、共感や孤独感などを効果的に表現できる。
【００３４】
ショットサイズ、カメラアングル、カメラワークにより、例えば「感情表現」、「力強さ」、「ひ弱さ」、「緊張感・興奮」、「共感・親密さ」、「孤独感」、「解放感」の７つの印象を視聴者が受けるような映像を撮影できるようにユーザを支援、あるいは電気信号等により計算機制御可能なカメラ装置を制御し、表現したい印象、雰囲気どおりに撮影できるようにする。また、撮影中の映像がどのような印象あるいは雰囲気を視聴者に与える映像になっているのかを判定する。その判定処理は以下のように行う。
【００３５】
「感情表現」：人の感情を引きだすためにはクロースアップ（被写体に寄る）で撮影を行う必要がある。このような映像表現になっているかを検出する処理ではカメラに写された映像より人の顔領域を検出し、顔領域の大きさ（領域の縦あるいは横の長さ、あるいはそれらの複合判定による）が閾値より小さければ、基準値を超えるまでズームインまたは被写体により近づいて顔部分をより大きく撮影するよう「もっと大きく撮影してください」等の文字によるメッセージや近づくことを促す矢印、あるいは音声等による指示が出力される。あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３６】
「力強さ」「ひ弱さ」：映像技法では、人を力強く見せるためには被写体より下の位置から見上げるように撮影する必要があり、ひ弱く見せるためには被写体より上の位置から見下ろすように撮影する必要がある。この処理では人の顔の有無およびカメラの角度を検出し、「力強さ」であればカメラの角度が閾値より小さい場合により上向きに傾けるよう指示が、「ひ弱さ」であればカメラの角度が閾値より大きい場合に角度を抑えるよう「もっと傾けてください」「傾きを抑えてください」などの文字によるメッセージやカメラの角度修正を指示する図表現、あるいは音声等による指示が出力される。あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３７】
「緊張感・興奮」「共感・親密さ」：映像技法では、緊張感や興奮を表すためには速いズームインを、共感や親密さを表す為には遅いズームインを用いる。この処理ではカメラ１０のズームインの速さを検出し、「緊張感・興奮」ではズームの速度が閾値より小さければ、より速くズームインするように「もっと速くズームインして下さい」などのメッセージやズームインを表すイラストや音声による指示が、「共感・親密さ」ではズームの速度が基準値より大きければ、速度を抑えるよう「もっとゆっくりズームインしてください」など指示が文字、イラスト、あるいは音声により提示される。
あるいは上記条件を満たすようにシステムがカメラの位置、角度、ズーム等の制御を行う。
【００３８】
「解放感」「孤独感」：映像技法では、孤独感を表すためには遅いズームアウトを、解放感を表すためには速いズームアウトを用いる。この処理ではカメラのズームアウトの速さを検出し、「解放感」ではズームの速度が閾値より小さい場合、速くズームアウトするように「もっと速くズームアウトして下さい」などのメッセージやズームアウトを表すイラストや音声による指示が、「孤独感」ではズームの速度が閾値より大きい場合ズームアウトの速度を抑えるよう指示が文字、イラストや音声で指示される。あるいは上記条件を満たすようにシステム１がカメラ１０の位置、角度、ズーム等の制御を行う。
【００３９】
このような印象判断条件は、基本的な一例であり、上記記載以外の条件も被写体の種別や撮影環境に応じて付与する場合もある。
このように、撮影技法などの知識を体系化し、目的とする映像表現、つまり感情表現（クロースアップに対応）、力強さ（アオリに対応）、ひ弱さ（俯瞰に対応）、緊張感・興奮（速いズームインに対応）、共感・親密さ（遅いズームインに対応）、孤独感（遅いズームアウトに対応）、解放感（速いズームアウトに対応）の大きく７つに大別した表現目標に基づき撮影支援をするシステムにより、あるいは被写体の種類や撮影環境から表現すべき印象や雰囲気、すなわち感性情報への対応付けを行ったうえで、現在撮影している映像がどのような印象を視聴者に与えうるものであるのかを判定し、目標とする映像表現を実現するためのユーザに対する操作支援、あるいはシステムによるカメラ制御を行う。
【００４０】
なお、ユーザに指示するカメラ操作あるいはシステム１が直接制御することにより実現されるカメラ操作に代えて、高解像度映像より特定領域を切り出し、拡大、縮小処理等を行った画像を出力する、仮想的なカメラ操作により上記撮影を実現する方法も可能であり、物理的カメラ操作、仮想的カメラ操作のいずれにより目標とするカメラ操作を実現するかは撮影環境等に応じ適宜選択し実行する。
【００４１】
図３は、撮影支援システムのハードウェア構成を例示する図である。
図４は、撮影支援システムを実現するための撮影支援プログラム及びデータを例示する図である。
図３（Ａ）に例示するように、撮影支援システム１は、カメラ１０と、これに内蔵された制御部１００、記憶部１０２、データ入力部１０４、操作部１０６、データ出力部１０８及びセンサ１１０とを備えて構成されている。なお、カメラ１０に内蔵された制御部１００、記憶部１０２、データ入力部１０４、操作部１０６、データ出力部１０８及びセンサ１１０は、本発明に係る撮影支援装置の一例である。
制御部１００は、内蔵プログラムの命令を実行するＣＰＵ（central processing unit）、プログラムを展開するＲＡＭ（random access memory）、プログラムやデータを格納したＲＯＭ（read only memory）などを備えたコンピュータによって構成されている。そして、制御部１００は、撮影支援プログラム（図４の制御部内に設けられた機能ブロックに相当）を実行することにより、印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０の各部として機能する。さらに、記憶部１０２には、入力印象情報記録部６００、操作情報記録部６０２、検知情報記録部６０４、場合情報記録部６０６、及び、撮影データ記録部６０８が設けられている。
【００４２】
上記撮影支援プログラム（すなわち、印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０を実現するプログラムコード）は、そのプログラムを記録した記録媒体から上記カメラ１０に供給することができる。この撮影支援プログラムを記録した記録媒体は、上記カメラ１０と分離可能に構成してもよく、上記カメラ１０に組み込むようになっていてもよい。この記録媒体は、記録したプログラムコードをカメラ１０などのコンピュータが直接読み取ることができるようにコンピュータに装着されるものであっても、外部記憶装置としてコンピュータに接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。上記記録媒体としては、例えば、磁気テープ、フレキシブルディスク、ハードディスク、ＭＯ、ＭＤ、ＤＶＤ（各種）、ＣＤ（各種）、ＩＣカード、各種ＲＯＭなどを用いることができる。なお、制御部を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。つまり、上記撮影支援プログラムは、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態をとって供給されることもある。
【００４３】
なお、本実施形態では、カメラ１０と撮影支援プログラムとによって制御部１００の上記各部を実現することを想定しているが、ハードウェアによって制御部１００の上記各部を構成してもよい。記憶部１０２は、ハードディスクなどの記憶媒体によって構成され、ユーザによって撮影された映像データなどを記憶する。
なお、記憶部１０２に記憶される各種データの一部は、記憶部１０２に記憶する代わりに、制御部１００内部のＲＡＭ等に記憶するようにしてもよい。また、記憶部１０２は、ハードディスクに限らず、上記データを記憶することができる記憶装置であればよい。
【００４４】
データ入力部１０４は、外部から撮影支援装置（制御部１００）に対して供給される映像データを内部へ入力するためのものであり、データ出力部１０８は、カメラ１０を用いて撮影された映像データを外部へ出力するためのものである。
操作部１０６は、カメラ１０の操作者からの操作入力を受け付け、その操作入力に応じた信号を制御部１００に対して出力するものである。
【００４５】
制御部１００内の各部（図４の印象選択部５００、印象表示部５０２、撮影対象解析部５０４、映像分析部５０６、センサ入力部５０８、及び、撮影方法提示部５１０）の機能や動作の詳細については、フローチャートに基づいて以下に説明する。
なお、図３（Ｂ）に例示するように、カメラ１０と、撮影支援装置１１とが別体で構成され、ＵＳＢケーブルなどの通信回線３０を介して、カメラ１０と撮影支援装置１１とが互いに通信し、全体して撮影支援システム１として機能してもよい。
【００４６】
次に、図５〜図１０のフローチャートを参照して、撮影支援システム１の具体的な動作を説明する。
図５（Ａ）は、撮影支援システム１の全体動作を説明するフローチャート（Ｓ１）であり、図５（Ｂ）は、変形例の全体動作を説明するフローチャート（Ｓ２）である。
図５（Ａ）に示すように、撮影支援システム１は、まず、初期画面を表示し（Ｓ１０）、システム初期化（Ｓ１２）ののち、カメラ１０により撮影された映像を内蔵モニタで表示する。
次に、操作部１０６は、通常撮影または感性表現支援の選択をユーザに促し（Ｓ１６：図１１）、ユーザの選択操作を受け付ける（Ｓ１８）。制御部１００は、感性表現支援が選択された場合（Ｓ１８：２を選択）、現在カメラ１０により撮影されている映像に基づいて感性表示処理を行い（Ｓ２０）、通常撮影が選択された場合（Ｓ１８：１を選択）、Ｓ１４に戻り、通常の撮影を行う。
【００４７】
次に、制御部１００は、「感情表現」、「力強さ」、「ひ弱さ」、「緊張感・興奮」、「共感・親密さ」、「孤独感」、「解放感」を感性情報の選択肢として提示し（Ｓ２４）、いずれかの感性情報を指定するユーザの操作を受け付ける（Ｓ２５）。なお、図１２は、感性情報の選択肢を表示した表示例であり、本例では、同時に、各感性情報に対応する撮影方法の説明文も含まれている。
次に、制御部１００は、「感情表現」がユーザに選択された場合に、カメラ１０により撮影されている映像に基づいて、「感情表現」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ２６）。また、制御部１００は、「力強さ」がユーザに選択された場合に、カメラ１０により撮影されている映像と、センサ１１０により検知されたカメラ１０の傾き（角度）とに基づいて、「力強さ」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ２８）。また、制御部１００は、「ひ弱さ」がユーザに選択された場合に、カメラ１０により撮影されている映像と、センサ１１０により検知されたカメラ１０の傾き（角度）とに基づいて、「ひ弱さ」に適する撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３０）。また、制御部１００は、「緊張感・興奮」がユーザに選択された場合に、カメラ１０により撮影されている映像と、カメラ１０のズームインの速度とに基づいて、「緊張感・興奮」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３２）。また、制御部１００は、「共感・親密さ」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「共感・親密さ」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３４）。また、制御部１００は、「孤独感」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「孤独感」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３６）。また、制御部１００は、「解放感」がユーザに選択された場合に、カメラ１０により撮影された映像と、カメラ１０のズームアウトの速度とに基づいて、「解放感」に適した撮影方法であるか否かを判定し、必要なアシスト情報をモニタに表示する（Ｓ３８）。
【００４８】
なお、図５（Ｂ）に例示するように、感性表示（Ｓ２０）の後、制御部１００は、ユーザに撮影状況（運動会など）の入力を促し、ユーザが被写体とその場面の種類を選択すると、自動的にその状況に適応した印象（感性情報）を特定し（Ｓ４４）、特定された印象（感性情報）に応じて、Ｓ２６〜Ｓ３８のいずれかの処理に移行するようにしてもよい。
【００４９】
図６（Ａ）は、初期化処理（Ｓ１２）のフローチャートである。
図６（Ａ）に示すように、制御部１００は、まずカメラの接続をチェックし（Ｓ１２０）、接続が確認された場合（Ｓ１２２：Ｙｅｓ）、カメラ１０により撮影されている映像を読み込み（Ｓ１２６、接続が確認されない場合（Ｓ１２２：Ｎｏ）、カメラ１０が接続されていない旨を通知する（Ｓ１２４）。
その後、制御部１００は、加速度センサなどのセンサ１１０を接続し（Ｓ１２８）、接続に成功した場合（Ｓ１３０：Ｙｅｓ）、初期化処理を終了し、接続に失敗した場合（Ｓ１３０：Ｎｏ）、その旨を通知し（Ｓ１３２）、再度センサ１１０の接続を行う。
なお、加速度センサはカメラ１０の撮影角度検出のためのセンサ１１０の一例であり、カメラ１０の傾きを検出可能な他のセンサを用いてもよい。
【００５０】
図６（Ｂ）は、印象選択処理（Ｓ４４）のフローチャートである。
図６（Ｂ）に示すように、制御部１００は、ユーザが撮影状況を入力すると（Ｓ４４０）、被写体や場面の状況などと感性情報が対応付けられたテーブルである被写体感性情報変換テーブルと照合が行われ（Ｓ４４２）、場面に対応した印象を返す（Ｓ４４４）。
【００５１】
図７は、感性表示処理（Ｓ２０）のフローチャートである。
図７に示すように、制御部１００は、データ入力部１０４を介して、カメラ１０により撮影されている映像の入力が行われると、まず撮影対象解析部５０４が顔検出を行い（Ｓ２００：Ｙｅｓ）、検出された顔の大きさが閾値FaceSIZE（すなわち、「感情表現」に関連付けて設定された閾値）より大きい場合（Ｓ２０２：Ｙｅｓ）、「感情表現」であると判定し、その旨を文字やアイコンなどイラストによる表示を行う（Ｓ２０４）。
制御部１００は、検出された顔の大きさが閾値FaceSIZEより小さい場合（Ｓ２０２：Ｎｏ）、センサ１１０によってカメラ１０の角度を特定し、特定された角度が閾値THSTRENGTH（「力強さ」に関連付けて設定された閾値）より大きい場合（Ｓ２０６：Ｙｅｓ）、「力強さ」であると判定してその旨表示する（Ｓ２０８）。制御部１００は、特定された角度が閾値THSTRENGTHより小さい場合（Ｓ２０６：Ｎｏ）、特定されたカメラ１０の角度が閾値THWEAKNESS（「ひ弱さ」に関連付けて設定された閾値）より小さいか比較し、小さい場合（Ｓ２１０：Ｙｅｓ）、「ひ弱さ」であると判定して表示を行う（Ｓ２１２）。
【００５２】
制御部１００は、次にズームの有無を判断し（Ｓ２１４）、なければそのまま処理を終了する（Ｓ２１４：Ｎｏ）。ズームがあった場合は（Ｓ２１４：Ｙｅｓ）、制御部１００は、ズームインであるか否かを判断し（Ｓ２１６）、ズームインであった場合は（Ｓ２１６：Ｙｅｓ）、制御部１００は、ズームインの速度が閾値ZITENSION（「緊張感・興奮」に関連付けて設定された閾値）より速い場合（Ｓ２１８：Ｙｅｓ）、「緊張感・興奮」と判定して表示を行う（Ｓ２２０）また、制御部１００は、ズームインの速度が閾値ZIINTIMACY（「共感・親密さ」に関連付けて設定された閾値）より遅ければ（Ｓ２２２：Ｙｅｓ）、「共感・親密さ」であると判定して表示を行う（Ｓ２２４）。
【００５３】
制御部１００は、ズームアウトがあった場合は（Ｓ２１６：Ｎｏ）、ズームアウトの速度が閾値ZOLIBERATION（「解放感」に関連付けて設定された閾値）より速ければ（Ｓ２２６：Ｙｅｓ）、「解放感」であると判定して表示を行い（Ｓ２２８）、ズームアウトの速度がZOLONELINESS（「孤独感」に関連付けて設定された閾値）より遅ければ（Ｓ２３０：Ｙｅｓ）、「孤独感」であると判定して表示を行う（Ｓ２３２）。
【００５４】
図８（Ａ）は、感情表現判定支援処理（Ｓ２６）のフローチャートである。
図８（Ａ）に示すように、制御部１００は、顔検出処理（Ｓ２６０）および顔の大きさ検出（Ｓ２６６）を行い、顔が検出されなかった場合（Ｓ２６２：Ｎｏ）や、検出された顔の大きさが閾値FaceSIZE（「感情表現」に関連付けて設定された閾値）より小さかった場合（Ｓ２６８：Ｎｏ）は、文字やアイコンなどで「顔を映して下さい」のメッセージ（Ｓ２６４）又は「顔をより大きく映して下さい」のメッセージ（Ｓ２７２）を表示する（図１１）。なお、図１３（Ａ）は、顔をより大きく映すことを促すアイコン表示の一例である。
また、制御部１００は、検出された顔の大きさが閾値FaceSIZEより大きい場合（Ｓ２６８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ２７０）。
【００５５】
図８（Ｂ）は、力強さ判定支援処理（Ｓ２８）のフローチャートである。
図８（Ｂ）に示すように、制御部１００は、顔検出（Ｓ２８０）およびカメラの傾きを検出し（Ｓ２８６）、顔が検出されなかった場合（Ｓ２８２：Ｎｏ）や、カメラ１０の角度が閾値THSTRENGTH（「力強さ」に関連付けて設定された閾値）より小さい場合（Ｓ２８８：Ｎｏ）は、「顔を映してください」のメッセージ（Ｓ２８４）又は「もっと下から映して下さい」のメッセージ（Ｓ２９２）を表示する。また、制御部１００は、検出されたカメラの角度が閾値THSTRENGTHより大きい場合（Ｓ２８８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ２９０）。
【００５６】
図８（Ｃ）は、ひ弱さ判定支援処理（Ｓ３０）のフローチャートである。
図８（Ｃ）に示すように、制御部１００は、顔検出（Ｓ３００）およびカメラの傾きを検出し（Ｓ３０６）、顔が検出されなかった場合（Ｓ３０２：Ｎｏ）や、カメラ１０の角度が閾値THWEAKNESS（「ひ弱さ」に関連付けて設定された閾値）より大きい場合（Ｓ３０８：Ｎｏ）は、「顔を映してください」のメッセージ（Ｓ３０４）又は「もっと上から映してください」のメッセージ（Ｓ３１２）を表示する。なお、図１３（Ｂ）は、カメラ１０の角度を下げることを促すアイコン表示の一例である。
また、制御部１００は、検出されたカメラの角度が閾値THWEAKNESSより小さい場合（Ｓ３０８：Ｙｅｓ）は、適切な撮影方法である旨を通知する（Ｓ３１０）。
【００５７】
図９（Ａ）は、緊張感・興奮判定支援処理（Ｓ３２）のフローチャートである。
図９（Ａ）に示すように、制御部１００は、顔検出（Ｓ３２０）およびズームインの有無を検出する（Ｓ３２４）。顔が検出され（Ｓ３２２：Ｙｅｓ）、同時にズームインがある場合（Ｓ３２８：Ｙｅｓ）、制御部１００は、ズームインの速さが閾値ZITENSION（「緊張感・興奮」に関連付けて設定された閾値）より速ければ（Ｓ３３０：Ｙｅｓ）、適切な撮影方法であると判定して表示する（Ｓ３３４）。また、制御部１００は、ズームアウトが検出された場合（Ｓ３２８：Ｎｏ）、速いズームインを促すメッセージを表示し（Ｓ３３２）、ズームインが閾値ZITENSIONより遅い場合（Ｓ３３０：Ｎｏ）、ズームインの速度を上げるよう促すメッセージを表示する（Ｓ３３６）。なお、図１３（Ｃ）は、ズームインを促すアイコン表示の一例である。
【００５８】
図９（Ｂ）は、共感・親密さ判定支援処理（Ｓ３４）のフローチャートである。
図９（Ｂ）に示すように、制御部１００は、顔検出（Ｓ３４０）のうえ、逆にズームインが閾値ZIINTIMACY（「共感・親密さ」に関連付けて設定された閾値）より遅ければ（Ｓ３５０：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３５４）。また、制御部１００は、ズームインが検出されなかった場合（Ｓ３４８：Ｎｏ）、遅いズームインを促すメッセージを表示し（Ｓ３５２）、ズームインが閾値ZIINTIMACYより速い場合（Ｓ３５０：Ｎｏ）、ズームインの速度を落とすよう促すメッセージを表示する（Ｓ３５６）。
【００５９】
図１０（Ａ）は、解放感判定支援処理（Ｓ３８）のフローチャートである。
図１０（Ａ）に示すように、制御部１００は、顔検出のうえ（Ｓ３８０）、ズームアウトの速さが閾値ZOLIBERATION（「解放感」に関連付けて設定された閾値）より速ければ（Ｓ３８８：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３９２）。また、制御部１００は、ズームアウトが検出されなかった場合（Ｓ３８６：Ｎｏ）、速いズームアウトを促すメッセージを表示し（Ｓ３９０）、ズームアウトが閾値ZOLIBERATIONより遅い場合（Ｓ３８８：Ｎｏ）、ズームアウトの速度を上げるよう促すメッセージを表示する（Ｓ３９４）。
【００６０】
図１０（Ｂ）は、孤独感判定支援処理（Ｓ３６）のフローチャートである。
図１０（Ｂ）に示すように、制御部１００は、顔検出のうえ（Ｓ３６０）、ズームアウトの速さが閾値ZOLONELINESS（「孤独感」に関連付けて設定された閾値）より遅ければ（Ｓ３６８：Ｙｅｓ）、適切な撮影方法であると判定し表示する（Ｓ３７２）。また、制御部１００は、ズームアウトが検出されなかった場合（Ｓ３６６：Ｎｏ）、遅いズームアウトを促すメッセージを表示し（Ｓ３７０）、ズームアウトが閾値ZOLONELINESSより速い場合（Ｓ３６６：Ｎｏ）、ズームアウトの速度を落とすよう促すメッセージを表示する（Ｓ３７４）。
【００６１】
［実験例］
次に、上記実施形態の実験例を説明する。
撮影支援システムの評価のため、一般ユーザ１０名に７つの感性語に基づいて撮影を行う２種類の実験を指示した。１つは、撮影支援システムを使用せずに被験者が考えた通り自由に撮影を行うものであり、もう一つは、撮影支援システムを使用してナビゲーションに従って撮影を行うものである。
【００６２】
感性情報表現支援を行うシステム（撮影支援システム）を実装し、下記の実験に用いた。用いた器具は、ビデオカメラＨＸＲ−ＭＣ２０００Ｊ、タッチパネル付き液晶ディスプレイＨＭ−ＴＬ７Ｔ、加速度センサＴＤＳ０１Ｖ、及び自作のズーム操作検出ユニットである。カメラの映像出力並びに液晶ディスプレイは、ノートＰＣ（ＣＰＵ：Ｉｎｔｅｌ Ｃｏｒｅ ２Ｄｕｏ ２．４０ＧＨｚ）に接続しており、動画像処理の速度や応答性を保つため、処理はこのＰＣで行った。ソフトウェアは、ＶｉｓｕａｌＣ＋＋とＯｐｅｎ ＣＶを用いて実装している。
【００６３】
以下は、感性語である「感情表現」の撮影の実験結果について説明である。なお、クロースアップショットの定義は、顔のショットではなく、頭部のショットである。
そのため、実験者（本願発明者）は、フレームサイズに対しての被験者の頭部のサイズを手動で測定した。被験者は、「感情表現」を表現するため、被写体の感情を強調することができるにクロースアップショットを使用する必要がある。撮影支援システムを使用する際、システムは顔を映すように指示を行い、自動的に顔の高さを測定し正しい大きさになるよう指導を行った。
【００６４】
図１４は、「感情表現」タスクにおいて被験者がどのように撮影したか表している。
縦軸は、フレームサイズに対する頭部のサイズ比率を示し、横軸は、被験者を示す。実線は、システム未使用時を示し、点線は、システム使用時を示している。縦に伸びる線は、実線及び点線共に、被験者が撮影中にズームを使用したことを表している。短い横線は、ズームを使用しなかったことを示している。図１４の結果より、顔の最大サイズは、システム使用時の方がシステム未使用時よりも大きくなる傾向にあることが判明した。また、システムが大きく撮影するように指示を与えたために撮影中にズームを行う傾向があった。
【００６５】
以下は、感性語の「力強さ」、及び「弱さ」の撮影の実験結果についての説明である。
図１５、及び図１６の実線は、撮影支援システム使用時のカメラの平均角度、点線は、撮影支援システム未使用時のカメラの平均角度を示している。図１５、及び図１６において白い棒グラフは、撮影支援システム使用時のピッチ角度が撮影支援システム未使用時より高いことを示す。黒い棒グラフは、撮影支援システム使用時のピッチ角度が撮影支援システム未使用時よりも低いことを示す。
【００６６】
図１５は、カメラ撮影による「力強さ」の表現におけるカメラ角度の違いを表したグラフである。
力強さを表現するためには、被験者は、カメラを上に向けたまま被写体の顔を撮影する必要がある。カメラが大きく、重いことから、被験者の数人は、カメラを大きく傾けること自体が困難であり、十分に傾けることができなかった被験者も存在した。
図１５より、カメラの角度は、撮影支援システム未使用時より撮影支援システム使用時の方が大きい傾向にあることが判明した。
【００６７】
図１６は、カメラ撮影による「弱さ」の表現におけるカメラ角度の違いを表したグラフである。
「弱さ」を表現するためには、ハイアングルショットを使用する必要があり、被験者は、カメラを下に向けて被写体の顔を撮影する必要がある。図１６より、ピッチ角度は、撮影支援システム未使用時よりも撮影支援システム使用時の方が小さい傾向にあることが判明した。
【００６８】
以下は、感性語の「緊張感・興奮」、「共感・親密さ」、「孤独感」、及び「解放感」の撮影の実験結果についての説明である。
「緊張感・興奮」、「共感・親密さ」、「孤独感」、及び「解放感」は、ズームを使用することにより表現することが出来る。図１７、図１９、図２１、及び図２３は、各感性語を表現するタスクにおいて被験者がどのように撮影したかを表している。実線は、撮影支援システム使用時にどの程度ズームを使用したかを表しており、点線は、撮影支援システム未使用時を表している。各グラフの縦軸は、ショット自体の長さに対し、どの程度該当のズームを使用したかを表している。図１８、図２０、図２２及び図２４は、各感性語の表現の撮影において１０名の被験者がショットを撮影中にどの程度の時間の割合でどのような操作を行ったかを積算して表したものである。
【００６９】
図１７は、カメラ撮影による「緊張感・興奮」の表現における速いズームイン比率を表したグラフである。
図１８は、カメラ撮影による「緊張感・興奮」の表現において撮影中の動作の割合を表したグラフである。
図１７より、全ての被験者において、撮影支援システム未使用時よりも撮影支援システム使用時に、速いズームの比率は増加したが、該当の操作が行われる秒数そのものが少ないために、撮影支援システム使用時と撮影支援システム未使用時の速いズームの比率の差は、比較的小さかった。また、図１８より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の速いズームインの割合が増していることが分かった。図１７及び図１８から「緊張感・興奮」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７０】
図１９は、カメラ撮影による「共感・親密さ」の表現における遅いズームイン比率を表したグラフである。
図２０は、カメラ撮影による「共感・親密さ」の表現において撮影中の動作の割合を表したグラフである。
図１９より、殆どの被験者において、システム未使用時よりもシステム使用時の方が、遅いズームの比率は、増加した。また、図２０より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の遅いズームインの割合が増していることが分かった。図１９及び図２０から「共感・親密さ」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７１】
図２１は、カメラ撮影による「孤独感」の表現における遅いズームアウト比率を表したグラフである。
図２２は、カメラ撮影による「孤独感」の表現において撮影中の動作の割合を表したグラフである。
図２１より殆どの被験者において、撮影支援システム未使用時よりも撮影支援システム使用時の方が、遅いズームアウトの比率は増加した。また、図２２より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の遅いズームアウトの割合が増していることが分かった。図２１及び図２２から「孤独感」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７２】
図２３は、カメラ撮影による「解放感」の表現における速いズームアウト比率を表したグラフである。
図２４は、カメラ撮影による「解放感」の表現において撮影中の動作の割合を表したグラフである。
図２３より、殆どの被験者において、撮影支援システム未使用時よりも撮影支援システム使用時の方が、速いズームアウトの比率は増加した。また、図２４より、撮影支援システム未使用時に比べて撮影支援システム使用時の方がショットの撮影時間中の速いズームアウトの割合が増していることが分かった。図２３及び図２４から「解放感」を表現するタスクにおいては、撮影支援システム使用時の方がユーザは、より適切な操作を行えることが確認された。
【００７３】
図２５は、各被験者の実験に掛かった時間を表した表である。
図２５より、１０名の撮影実験を行うためには計６時間４０分３５秒かかっている。各被験者の所要時間（撮影時間）には、制限を設けなかったため、被験者それぞれで撮影時間が異なっている。撮影支援システムの使用により、撮影時間が短縮している傾向にある。
【００７４】
評価実験や、被験者の質問紙回答により、撮影支援システムは、撮影方法考案時間の減少と、撮影支援による学習効果とが得られることが分かった。被験者からは、システム未使用時には、実際に撮影するまでにどのように撮影するのかイメージすることに時間がかかったが、撮影支援システムによりイメージする時間を省くことが可能になり、撮影方法が理解できた等の意見が存在した。
【００７５】
［その他の変形例］
上記実施形態では、ユーザがカメラ１０の全操作を行う場合を説明したが、これに限定されるものではなく、撮影支援装置１１が一部の操作を代替して行う形態、又は、撮影支援装置１１が全てのカメラ操作を行う形態も考えられる。
ユーザが装置の全操作を行う場合、ユーザが装置を手で保持する、あるいは三脚に載せてカメラ操作を行い、カメラ１０内蔵の撮影支援装置又は外付けの撮影支援装置１１が撮影方法を前述の方法により提示し、ユーザを支援することができる。
また、撮影支援装置１１が一部の操作を代替して行う場合、ユーザが全操作を行うのではなく、撮影支援装置１１が一部の操作を代替することもできる。例えば、「感情表現」を選択した際に、ユーザが選択した撮影対象の顔がフレーム内で適切な大きさになるように自動的にズームを行う場合や、「緊張感・興奮」を選択した際に、場合によって適切なズームスピードを自動制御することが考えられる。
また、撮影支援装置１１が全ての操作を行う場合、三脚の上に固定されたカメラなど同期させることによって、ユーザは感情、力強さなどパラメタを入力するだけで装置は自動的に被写体の撮影を行う。
また、上記実施形態では、撮影方法を促す情報を画面表示で出力する形態を具体例として説明したが、これに限定されるものではなく、例えば、音声によって、感性情報に対応する撮影方法を促すメッセージを提示してもよい。
【符号の説明】
【００７６】
１ 撮影支援システム
１０ カメラ
１１ 撮影支援装置
【特許請求の範囲】
【請求項１】
静止画像又は動画像を撮影するカメラと、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、
前記入力手段により受け付けた感性情報に応じて、それを表現するに適切な前記カメラによる撮影方法を出力する出力手段と
を有する撮影支援システム。
【請求項２】
前記感性情報は、感情表現、力強さ、ひ弱さ、緊張感、興奮、共感、親密さ、解放感、及び、孤独感あるいはそれに同等な感性表現のうち、少なくとも１つを示す情報を含み、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記カメラによる撮影の撮影状況を判断するために有用な情報とに基づいて、前記カメラの撮影位置、前記カメラの姿勢、前記カメラの移動、及び、前記カメラによるズームイン又はズームアウトの少なくとも１つに関する指示情報を画面に表示させる、または、音声により前記指示情報を提示する
請求項１に記載の撮影支援システム。
【請求項３】
前記カメラの姿勢を検知する姿勢検知手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記姿勢検知手段により検知されたカメラの姿勢と、前記カメラにより撮影されている画像とに基づいて、少なくとも、前記カメラの姿勢に関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する
請求項２に記載の撮影支援システム。
【請求項４】
前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置に関する指示情報、あるいは、ズームイン又はズームアウトに関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する
請求項２に記載の撮影支援システム。
【請求項５】
前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段と、
前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる撮影状況変化手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置、姿勢、ズームイン又はズームアウトに関する指示情報を、前記撮影状況変更手段に出力し、
前記撮影状況変更手段は、前記出力手段により出力された指示情報に応じて、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる
請求項１に記載の撮影支援システム。
【請求項６】
カメラによる静止画像又は動画像の撮影を支援する撮影支援装置であって、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、
前記入力手段により受け付けた感性情報に応じて、前記カメラによる撮影方法を出力する出力手段と
を有する撮影支援装置。
【請求項７】
カメラによる静止画像又は動画像の撮影を支援する撮影支援方法であって、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、
受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップと
を有する撮影支援方法。
【請求項８】
カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、
受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップと
を実行させるプログラム。
【請求項９】
カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、
前記カメラにより撮影される画像に関して、被写体の種類あるいは撮影しようとしている場面の種類を入力として受け入れ，それをその被写体あるいは撮影しようとしている場面の特徴を表現するに適切な感性情報へと変換し，その感性情報に応じて、前記カメラによる撮影方法を出力する，あるいはカメラ自体を自動制御するステップと
を実行させるプログラム。
【請求項１】
静止画像又は動画像を撮影するカメラと、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、
前記入力手段により受け付けた感性情報に応じて、それを表現するに適切な前記カメラによる撮影方法を出力する出力手段と
を有する撮影支援システム。
【請求項２】
前記感性情報は、感情表現、力強さ、ひ弱さ、緊張感、興奮、共感、親密さ、解放感、及び、孤独感あるいはそれに同等な感性表現のうち、少なくとも１つを示す情報を含み、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記カメラによる撮影の撮影状況を判断するために有用な情報とに基づいて、前記カメラの撮影位置、前記カメラの姿勢、前記カメラの移動、及び、前記カメラによるズームイン又はズームアウトの少なくとも１つに関する指示情報を画面に表示させる、または、音声により前記指示情報を提示する
請求項１に記載の撮影支援システム。
【請求項３】
前記カメラの姿勢を検知する姿勢検知手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記姿勢検知手段により検知されたカメラの姿勢と、前記カメラにより撮影されている画像とに基づいて、少なくとも、前記カメラの姿勢に関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する
請求項２に記載の撮影支援システム。
【請求項４】
前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置に関する指示情報、あるいは、ズームイン又はズームアウトに関する指示情報を画面に表示させる、又は、前記指示情報を音声により提示する
請求項２に記載の撮影支援システム。
【請求項５】
前記カメラにより撮影された画像に基づいて、被写体の顔に相当する領域を検出する顔検出手段と、
前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる撮影状況変化手段
をさらに有し、
前記出力手段は、前記入力手段により受け付けた感性情報と、前記顔検出手段により検知された顔領域の位置又は大きさとに基づいて、少なくとも、前記カメラの位置、姿勢、ズームイン又はズームアウトに関する指示情報を、前記撮影状況変更手段に出力し、
前記撮影状況変更手段は、前記出力手段により出力された指示情報に応じて、前記カメラの位置又は姿勢を変化させ、あるいは、前記カメラにズームイン又はズームアウトを行わせる
請求項１に記載の撮影支援システム。
【請求項６】
カメラによる静止画像又は動画像の撮影を支援する撮影支援装置であって、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付ける入力手段と、
前記入力手段により受け付けた感性情報に応じて、前記カメラによる撮影方法を出力する出力手段と
を有する撮影支援装置。
【請求項７】
カメラによる静止画像又は動画像の撮影を支援する撮影支援方法であって、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、
受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップと
を有する撮影支援方法。
【請求項８】
カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、
前記カメラにより撮影される画像に関して、感性情報の入力を受け付けるステップと、
受け付けた感性情報に応じて、前記カメラによる撮影方法を出力するステップと
を実行させるプログラム。
【請求項９】
カメラによる静止画像又は動画像の撮影を支援するコンピュータにおいて、
前記カメラにより撮影される画像に関して、被写体の種類あるいは撮影しようとしている場面の種類を入力として受け入れ，それをその被写体あるいは撮影しようとしている場面の特徴を表現するに適切な感性情報へと変換し，その感性情報に応じて、前記カメラによる撮影方法を出力する，あるいはカメラ自体を自動制御するステップと
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１４５９２２（Ｐ２０１２−１４５９２２Ａ）
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願番号】特願２０１１−２６５３５０（Ｐ２０１１−２６５３５０）
【出願日】平成２３年１２月３日（２０１１．１２．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年７月２３日 インターネットアドレス「ｈｔｔｐ：／／ｗｗｗ．ｉｐｓｊ．ｏｒ．ｊｐ／０９ｓｉｇ／ｋａｉｋｏｋｕ／２０１０／ＨＣＩ１３９．ｈｔｍｌ」「ｈｔｔｐ：／／ｆｗ８．ｂｏｏｋｐａｒｋ．ｎｅ．ｊｐ／ｃｍ／ｉｐｓｊ／ｓｅａｒｃｈ．ａｓｐ？ｆｒｏｍ＝＆ｆｌａｇ＝６＆ｋｅｙｗｏｒｄ＝ＩＰＳＪ−ＨＣＩ１０１３９０１３＆ｐａｇｅ＝０＆ｖｎ＝＆ｙｍ＝＆ｓｅｌｅｃｔ＿ｏｒｄｅｒ＝１」に発表
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
【Ｆターム（参考）】
【公開日】平成２４年８月２日（２０１２．８．２）
【国際特許分類】
【出願日】平成２３年１２月３日（２０１１．１２．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年７月２３日 インターネットアドレス「ｈｔｔｐ：／／ｗｗｗ．ｉｐｓｊ．ｏｒ．ｊｐ／０９ｓｉｇ／ｋａｉｋｏｋｕ／２０１０／ＨＣＩ１３９．ｈｔｍｌ」「ｈｔｔｐ：／／ｆｗ８．ｂｏｏｋｐａｒｋ．ｎｅ．ｊｐ／ｃｍ／ｉｐｓｊ／ｓｅａｒｃｈ．ａｓｐ？ｆｒｏｍ＝＆ｆｌａｇ＝６＆ｋｅｙｗｏｒｄ＝ＩＰＳＪ−ＨＣＩ１０１３９０１３＆ｐａｇｅ＝０＆ｖｎ＝＆ｙｍ＝＆ｓｅｌｅｃｔ＿ｏｒｄｅｒ＝１」に発表
【出願人】（３０４０２４４３０）国立大学法人北陸先端科学技術大学院大学 (169)
【Ｆターム（参考）】
[ Back to top ]